跟练二：缓存击穿故障复盘

第 17 章 · 跟练二：缓存击穿故障复盘

类型：故障复盘工作坊（约 2.5～3 小时）

场景：贤紫社区电商 爆款商品缓存击穿 导致 order-api 雪崩 —— 基于真实生产事故模式的教学案例。

前置：ch03 缓存、ch07 可观测性、ch13 错误预算、ch16 大促预热（本事故暴露 ch16 Runbook 缺口）。

产出物（内嵌本章）：

1. 完整 Postmortem 报告（§17.6 模板 + §17.7 示范）
2. ADR-017 热点库存策略（§17.8）
3. staging 复现实验记录（§17.5）
4. Grafana 告警规则（§17.9）
5. 修复前后压测对比（§17.4）

17.0 工作坊目标

17.1 事故概要

17.2 事故时间线（必填进 Postmortem）

时间线绘制要求：提交物用表格或 Mermaid timeline 均可，须标注 检测延迟（20:00 出事 → 20:12 告警 = 12 分钟）。

17.3 根因分析（5 Whys）

Why 1: 为什么用户看到大量 500？
  → order-api 超时，连接池与线程池饱和

Why 2: 为什么 order-api 饱和？
  → 每次下单都回源查库存，RT 从 5ms 升至 800ms+

Why 3: 为什么集体回源？
  → Redis key `stock:HOT-999` 同时失效，缓存 miss 风暴

Why 4: 为什么同时失效？
  → 上架脚本批量 SETEX，固定 TTL=60s，无随机抖动

Why 5: 为什么 miss 风暴打穿 DB？
  → 无互斥重建（singleflight）、无限流、无本地缓存

非根因（排除项）

17.4 技术复盘：反例与修复

17.4.1 反例代码（catalog-api / order-api 共用库存读）

# ❌ 反例：apps/inventory/cache.py（教学简化）
import redis
from django.db import connection

redis_client = redis.Redis.from_url(settings.REDIS_URL)

def get_stock(sku_id: str) -> int:
    key = f"stock:{sku_id}"
    raw = redis_client.get(key)
    if raw is not None:
        return int(raw)
    # 击穿点：数百并发同时进入
    with connection.cursor() as cur:
        cur.execute("SELECT qty FROM inventory WHERE sku=%s", [sku_id])
        row = cur.fetchone()
    qty = row[0] if row else 0
    redis_client.setex(key, 60, qty)  # 固定 TTL，批量写入时同时过期
    return qty

17.4.2 修复方案 A：互斥锁 + TTL 抖动

# ✅ 修复：互斥重建 + 抖动 TTL
import random
import time
import redis
from django.db import connection

redis_client = redis.Redis.from_url(settings.REDIS_URL)
LOCK_TTL_SEC = 5
BASE_TTL_SEC = 300

def get_stock(sku_id: str) -> int:
    key = f"stock:{sku_id}"
    raw = redis_client.get(key)
    if raw is not None:
        return int(raw)

    lock_key = f"lock:stock:{sku_id}"
    acquired = redis_client.set(lock_key, "1", nx=True, ex=LOCK_TTL_SEC)
    if acquired:
        try:
            with connection.cursor() as cur:
                cur.execute("SELECT qty FROM inventory WHERE sku=%s", [sku_id])
                row = cur.fetchone()
            qty = row[0] if row else 0
            ttl = BASE_TTL_SEC + random.randint(0, 30)
            redis_client.setex(key, ttl, qty)
            return qty
        finally:
            redis_client.delete(lock_key)
    else:
        time.sleep(0.05)
        return get_stock(sku_id)  # 生产可改有限重试 + 降级文案

17.4.3 修复方案 B：逻辑过期（高并发推荐）

# ✅ 逻辑过期：物理 key 仍在，逻辑时间戳判断
import json, time, random

def get_stock_logical(sku_id: str) -> int:
    key = f"stock:v2:{sku_id}"
    raw = redis_client.get(key)
    if raw:
        obj = json.loads(raw)
        if obj["expire_at"] > time.time():
            return obj["qty"]
        # 逻辑过期：先返回旧值，异步刷新
        if redis_client.set(f"refresh:{sku_id}", "1", nx=True, ex=10):
            enqueue_refresh_stock(sku_id)  # Celery / 线程池
        return obj["qty"]
    return _rebuild_stock(sku_id)  # 冷启动走互斥

17.4.4 修复方案 C：进程内本地缓存（极热 key）

# Caffeine 等价：cachetools TTLCache，1 秒本地缓存
from cachetools import TTLCache
_local = TTLCache(maxsize=1000, ttl=1)

def get_stock_layered(sku_id: str) -> int:
    if sku_id in _local:
        return _local[sku_id]
    qty = get_stock_logical(sku_id)
    _local[sku_id] = qty
    return qty

17.5 跟练实验：staging 复现击穿（分步）

环境

Step 1：写入热点 key（模拟上架）

redis-cli -h redis.staging SETEX stock:HOT-999 5 1000
# TTL 故意设 5 秒，便于快速复现

Step 2：启动流量（另一终端）

# 简易 ab 压测（或复用 ch16 k6 脚本改 skuId）
ab -n 5000 -c 100 -p order.json -T application/json \
  http://staging-api/api/v1/orders

order.json 内容：{"userId":1,"items":[{"skuId":"HOT-999","qty":1}]}

Step 3：在 key 即将过期时批量触发

# 监控
watch -n1 'redis-cli TTL stock:HOT-999; curl -s -o /dev/null -w "%{http_code} %{time_total}\n" http://staging-api/api/v1/health"'

Step 4：观察击穿特征

Step 5：部署修复并复测

# 部署含 §17.4.2 的镜像后重复 Step 1～4
# 填写你的对比表截图

实验记录表（提交）