做物联网(IoT)平台,尤其是跑 MQTT 协议,核心痛点从来不是“算力强不强”,而是“连接数多不多”和“并发高不高”。
MQTT 是一种基于 TCP 的轻量级发布/订阅消息传输协议,它的特性决定了它对服务器资源的需求与传统 Web 应用(如 HTTP REST API)有本质区别。HTTP 是短连接,用完即走;MQTT 是长连接,客户端一旦连上,心跳包会一直维持,直到断线。这意味着你的服务器需要同时维护成千上万甚至百万级别的活跃 Socket 连接。
因此,配置云服务器时,不能只看 CPU 主频,必须从以下几个维度来拆解:
1. 内存(RAM):最关键的瓶颈
这是最容易踩坑的地方。很多人以为 CPU 够强就行,结果发现内存爆了。
- 为什么吃内存?
- 会话状态保持:MQTT Broker(如 EMQX、Mosquitto、VerneMQ)需要在内存中维护每个客户端的 Session、订阅关系、Last Will 等状态信息。
- TCP 缓冲区:每个长连接都需要占用内核的网络缓冲区和用户态的内存结构。
- 数据缓存:如果开启了 QoS 1 或 QoS 2 的消息确认机制,或者使用了持久化存储,内存开销会进一步增加。
- 配置建议:
- 单机测试/小规模:至少 4GB – 8GB。不要低于 2GB,否则稍微有点并发就会 OOM(内存溢出)。
- 中等规模(万级连接):建议 16GB – 32GB。通常经验值是每 1000 个稳定连接约需 5-10MB 内存(取决于 Broker 实现和优化程度),但为了应对突发流量和 GC(垃圾回收)压力,预留余量很重要。
- 大规模(十万/百万级):必须使用集群架构,单节点内存建议 32GB 起步,甚至更高。此时主要靠水平扩展(Scale-out)来解决,而不是堆单个节点的内存。
2. CPU:关注核数而非主频
MQTT 处理主要是 I/O 密集型,而非计算密集型。
- 为什么看核数?
- 每个连接的建立、心跳检测、消息路由都需要线程或协程参与。CPU 核数越多,能并行处理的连接数就越多。
- 现代高性能 MQTT Broker(如 EMQX 基于 Erlang/OTP,VerneMQ 基于 Erlang,HiveMQ 基于 Java Netty)都高度依赖多线程模型来利用多核优势。
- 配置建议:
- 低频场景:2-4 核足够。
- 高频场景:建议 8 核及以上。对于超大规模部署,通常选择高主频的多核实例(如 AWS 的 C 系列,阿里云的 c7/c8 系列),因为上下文切换开销也需要考虑。
- 注意:避免使用超低主频的共享型实例(如阿里云 t5/t6 基础型),这些实例在 CPU 积分耗尽时会严重卡顿,导致心跳超时,客户端频繁重连,形成雪崩效应。
3. 网络带宽与 IOPS:被忽视的隐形杀手
MQTT 消息体通常很小(几十字节到几 KB),但连接数巨大。
- 内网带宽:如果你的 Broker 集群内部通信频繁(如集群同步订阅关系、消息路由),内网带宽至关重要。确保云服务器之间通过内网互通,不要走公网。
- 公网带宽:
- MQTT 本身不占大带宽,但如果你允许客户端上传大量遥测数据或图片元数据,带宽需求会上升。
- 关键点:限制单连接带宽。很多云平台按固定带宽计费,如果不限流,一个恶意客户端可以轻易打满你的带宽。建议在应用层或网关层做速率限制。
- 系统盘/数据盘 IOPS:
- 如果启用了消息持久化(例如将未确认消息存入数据库或磁盘队列),磁盘 IOPS 会成为瓶颈。
- 建议使用云盘(ESSD 或 SSD),避免使用本地 HDD,因为随机读写延迟对消息确认机制影响极大。
4. 操作系统与内核参数优化
选对了云主机只是第一步,Linux 内核参数默认值往往不适合高并发长连接场景。
- 文件描述符限制(ulimit):
- Linux 默认单进程最大打开文件数是 1024。一个 MQTT 连接就是一个文件描述符。你必须修改
/etc/security/limits.conf,将nofile调高到 65535 或更高,否则连接数刚过千就会报错 “Too many open files”。
- Linux 默认单进程最大打开文件数是 1024。一个 MQTT 连接就是一个文件描述符。你必须修改
- TCP 参数优化:
net.core.somaxconn:监听队列长度,建议设为 65535,防止 SYN 队列溢出。net.ipv4.tcp_tw_reuse:允许重用 TIME_WAIT 状态的 socket,加快连接回收。net.ipv4.ip_local_port_range:扩大 ephemeral port 范围,避免端口耗尽。
- 防火墙与安全组:
- 国内云厂商(阿里云、腾讯云、华为云)的安全组规则匹配顺序可能带来性能损耗。尽量精简安全组规则,只开放必要端口(1883, 8883, 8083 等)。
5. 云厂商产品选型建议(以国内主流为例)
-
自建 vs PaaS:
- 初创/小团队:直接使用云厂商的 IoT 平台服务(如阿里云 IoT Core、腾讯云 IoT Explorer、华为云 IoTDA)。它们底层做了极致优化,你无需关心服务器配置,按设备数和消息量付费即可。省心,但成本随规模线性增长。
- 中大型/定制化需求:自建 MQTT Broker 集群。推荐使用 EMQX(目前国产开源 MQTT Broker 市场占有率最高,社区活跃,对中文支持好,文档完善)。
-
实例类型选择:
- 推荐:通用型或计算型实例(如阿里云 ecs.g7/c7,腾讯云 s5/c5)。这些实例提供独享 CPU 和稳定的网络性能。
- 避免:突发性能实例(t 系列)、共享型实例。它们无法保证持续的高并发处理能力,容易导致 MQTT 连接抖动。
总结 checklist
- 先定规模:预估峰值在线连接数(CPS)和消息吞吐量(TPS)。
- 内存优先:确保内存充足,避免 OOM。
- 多核 CPU:选择多核、高主频的实例,避开共享型。
- 优化内核:调整 ulimit 和 TCP 参数,这是新手最容易忽略的一步。
- 监控先行:部署 Prometheus + Grafana,重点监控
tcp_connections、memory_usage、cpu_steal_time(如果是共享型,steal time 高说明邻居抢资源了)。
最后提醒一点:MQTT 平台的扩展性依赖于集群。当单台服务器达到其设计上限(通常是几千到几万连接,取决于硬件和优化)时,不要试图继续升级单机配置,而应该引入负载均衡器(SLB/NLB),横向添加更多 Broker 节点。这才是工业级 IoT 平台的正确做法。
云技术博客