努力
加油

Redis和MySQL共用服务器时,内存资源如何合理分配?

这是一个非常经典但也非常“危险”的架构问题。在回答具体的内存分配比例之前,我必须先泼一盆冷水:从生产环境的最佳实践来看,Redis 和 MySQL 共用同一台服务器(尤其是高并发或数据量较大的场景)通常是不推荐的。

原因很简单:两者的资源争抢模式完全不同。MySQL 是 CPU 密集型(查询优化、索引扫描)和磁盘 I/O 密集型(随机读写),而 Redis 是纯内存操作,对内存带宽和延迟极度敏感。当两者混部时,一旦 MySQL 发生全表扫描或大量连接堆积,CPU 飙升会导致 Redis 的持久化(RDB/AOF)阻塞,或者因为上下文切换导致 Redis 响应变慢,进而引发雪崩。

但如果受限于成本、测试环境或轻量级业务,确实需要混部,那么核心原则只有一个:确保 Redis 的数据集能完全加载到内存中,且预留足够的 OS Page Cache 给 MySQL 使用。

以下是基于国内主流云厂商(如阿里云 ECS、腾讯云 CVM)实际运维经验总结出的具体策略:

1. 核心计算逻辑:Redis 优先,MySQL 兜底

Redis 的性能瓶颈几乎全部在于内存是否足够容纳热点 Key。如果内存不足导致频繁 Swap 或 OOM,Redis 会直接不可用。而 MySQL 虽然也依赖内存(Buffer Pool),但它有磁盘作为后备,即使 Buffer Pool 命中率下降,只是变慢,不会直接宕机。

因此,分配公式应遵循:
$$ text{可用总内存} = text{Redis Max Memory} + text{MySQL Buffer Pool} + text{OS Reserved (至少 2-4GB)} $$

第一步:确定 Redis 的最大内存 (maxmemory)

这是最关键的一步。你需要知道你的 Redis 数据集大小(Dataset Size)。

  • 监控获取:通过 INFO memory 查看 used_memory_rss(系统实际占用)和 used_memory(逻辑占用)。
  • 设定值:建议将 maxmemory 设置为数据集大小的 80%-90%。
    • 为什么要留余地?因为 Redis 内部对象有 overhead,且需要空间处理过期键删除、大 Key 分裂等临时内存消耗。
    • 淘汰策略:必须配合 maxmemory-policy。对于缓存场景,通常设为 allkeys-lru 或 volatile-lru,防止内存打满导致服务拒绝写入。

第二步:为 MySQL 分配 Buffer Pool

MySQL 的 innodb_buffer_pool_size 决定了它能缓存多少数据和索引。

  • 保守估计:在混部环境下,不要给 MySQL 分配过多内存。建议将其设置为总剩余内存的 30%-50%。
  • 注意:如果 MySQL 主要做 OLAP(分析型)或有大事务,这个比例可以适当降低,依靠磁盘 I/O 弥补。

第三步:操作系统预留 (OS Reserved)

千万不要把物理内存 100% 分配给应用进程。

  • Linux 内核需求:文件系统缓存、网络栈、进程控制块等都需要内存。
  • Swap 设置:强烈建议关闭 Swap 或者将 Swappiness 设为 0。Redis 对延迟极其敏感,一旦发生 Swap,性能会断崖式下跌。如果必须保留 Swap 以防 OOM,请确保它只是一个最后的救命稻草,而不是日常使用的内存池。

2. 具体配置示例(以一台 16GB 内存的服务器为例)

假设这是一台用于中小型项目的服务器,运行一个 Web App,后端连 MySQL 和 Redis。

组件 配置项 推荐值 说明
OS Swappiness 0 禁用交换分区,避免 Redis 卡顿
Redis maxmemory 8 GB 假设热点数据约 6-7GB,留有余地应对峰值
Redis maxmemory-policy allkeys-lru 保证缓存可用性,旧数据自动剔除
MySQL innodb_buffer_pool_size 4 GB 剩余内存的一半,足以支撑常用表的索引缓存
MySQL tmp_table_size/max_heap_size 64M – 128M 限制临时表内存,防止单个复杂查询吃光内存
OS Reserved ~4 GB 用于 Kernel Page Cache, Network Buffers, System Overhead

验证方法:
启动后,使用 free -h 查看状态。确保 available 内存不为负数,且没有频繁的 swap in/out。可以使用 vmstat 1 观察 si/so 列,如果长期大于 0,说明内存分配不合理,需要调整。

3. 高级优化技巧:隔离与限制

仅仅分配静态数值是不够的,还需要通过 Linux 内核特性进行软隔离。

A. 使用 cgroups 限制 MySQL 内存上限

虽然 MySQL 自身有 innodb_buffer_pool_size,但它可能会尝试申请更多内存用于其他用途(如排序、线程栈)。你可以使用 systemd 或 cgroup v1/v2 来限制 MySQL 进程的内存使用上限。

例如,在 /etc/systemd/system/mysqld.service.d/override.conf 中:

[Service]
MemoryMax=6G
MemoryHigh=5G

这样,即使 MySQL 失控,最多只能吃掉 6GB,剩下的 10GB 留给 Redis 和 OS。

B. 启用 Redis 的 LRU/LFU 算法

确保你使用的是较新版本的 Redis(6.0+ 推荐 LFU,4.0+ 推荐 LRU)。这比简单的 FIFO 更能适应真实的访问模型,减少热数据被误删的概率。

C. 调整 NUMA 设置(针对多核服务器)

如果服务器是多路 CPU 或多 NUMA 节点,务必检查 NUMA 绑定。

  • 执行 numactl --hardware 查看节点分布。
  • 启动 Redis 和 MySQL 时,建议使用 numactl --interleave=all 或绑定到特定节点,避免跨 NUMA 访问带来的内存延迟增加。
  • 在 /etc/sysctl.conf 中设置 vm.zone_reclaim_mode = 1 可以缓解跨 NUMA 节点的内存回收压力。

4. 监控与告警指标

混部环境下,你必须关注以下三个关键指标,任一超标都意味着分配失衡:

  1. Redis Hit Rate: 如果低于 90%,说明内存太小,数据频繁淘汰,MySQL 负载会激增。
  2. MySQL Buffer Pool Hit Ratio: 如果低于 95%,说明 MySQL 缓存不足,磁盘 I/O 会成为瓶颈,拖慢整个系统。
  3. System Load Average & Context Switches: 如果 cs(上下文切换)过高,说明两个进程在疯狂争夺 CPU 时间片,此时单纯调内存可能无效,需要考虑升级 CPU 核心数或拆分实例。

5. 终极建议:何时必须拆分?

出现以下情况,请立即停止混部方案,改为独立部署(哪怕是用两台低配机器):

  • Redis 数据集超过物理内存的 50%:这意味着你需要极大的内存条,性价比极低,且风险极高。
  • MySQL 存在大量长事务或复杂 Join 查询:这类查询会瞬间吃光内存并锁定 CPU,直接压垮 Redis。
  • QPS > 5000:在高并发下,网络中断和 GC 停顿的影响会被放大,混部系统的稳定性无法保证 SLA。

总结:
Redis 和 MySQL 混部,本质上是用稳定性换成本。合理的分配不是看“各占一半”,而是看Redis 能否无 Swap 运行,MySQL 能否维持高 Buffer Pool 命中率。记住,Redis 是易碎品,MySQL 是耐用品。保护 Redis 的内存完整性,是混部成功的关键。