Python缓存方案常见问题及解决方案大全

Python 缓存方案常见问题及解决方案大全

缓存不是“加一层就变快”，而是命中率、一致性、内存、并发、过期策略之间的平衡。下面按问题类型整理，适合排查和面试复盘。

一、工具选错：lru_cache 并不适合所有场景

问题

functools.lru_cache 只能缓存函数返回值，参数必须可哈希，不支持 TTL、分布式共享、异步调用。

解决方案

纯函数、参数可哈希、单进程场景：用 lru_cache(maxsize=...)。

需要过期时间：用 cachetools.TTLCache 或 diskcache。

多进程/多实例/高并发：用 Redis、Memcached 等分布式缓存。

需要持久化、突破内存限制：用 diskcache。

异步框架如 FastAPI：用 aioredis 或异步缓存层，避免阻塞事件循环。

二、参数不可哈希导致 lru_cache 报错

问题

传入 list、dict、set 等可变对象时，lru_cache 无法生成缓存键。

解决方案

把参数转为 tuple、frozenset 等可哈希类型。

对 kwargs 做确定性序列化，例如 hashlib.md5(str(sorted(kwargs.items())).encode()).hexdigest()。

把不参与缓存判断的参数(如 trace_id、日志对象)从缓存键中剔除。

三、缓存键设计混乱，导致冲突、误命中或数据泄露

问题

键名过于简单，缺少环境、租户、用户、版本信息;或者把敏感信息直接拼进键里。

解决方案

推荐结构化键名：

{业务}:{作用域}:{主键}:{版本}

例如：user:profile:1001:v2、order:tenantA:uuid-xxx:v1。

注意：

不同环境、租户、用户必须隔离键空间。

不要在键里直接放手机号、token 等敏感信息。

数据模型变更时，通过版本号批量失效旧缓存。

四、缓存没有过期时间，导致脏数据或内存膨胀

问题

缓存长期不失效，数据库更新后仍返回旧数据;或者缓存持续增长，最终 OOM。

解决方案

所有缓存尽量设置 TTL。

热点数据 TTL 不宜过长，例如库存、价格可设为 5~30 秒。

会话、配置类数据可按业务设置分钟/小时级 TTL。

内存缓存要设置 maxsize 或容量上限。

定期检查 cache_info()、命中率、内存占用。

五、缓存穿透：查询不存在的数据打爆数据库

问题

请求大量不存在的 key，例如 -1、随机 ID、恶意爬虫参数。缓存和数据库都没有数据，每次请求都穿透到 DB。

解决方案

对空结果也缓存，并设置较短 TTL，例如 30~60 秒。

使用布隆过滤器前置拦截不存在的 key。

对异常参数做校验，避免无效请求进入缓存层。

Redis 示例思路：查询为空时写入 NULL 标记，而不是不写。

六、缓存击穿：热点 key 过期瞬间压垮数据库

问题

某个极热点 key 过期后，大量并发请求同时回源到数据库。

解决方案

使用互斥锁：只有一个请求回源，其他请求等待或返回旧值。

Redis 可用 SETNX / redis.lock 实现分布式锁。

拿到锁后做双重检查，避免重复回源。

对极热点数据可考虑逻辑过期 + 后台异步刷新。