努力
加油

云服务器ECS出现高带宽占用,如何排查和处理?

云服务器 ECS 带宽跑满,通常意味着你的实例正在经历“流量洪峰”或者遭遇了异常攻击。排查这个问题不能靠猜,得按步骤剥离干扰项,定位是业务正常增长、配置瓶颈还是恶意攻击。

以下是基于阿里云及主流云厂商通用逻辑的排查与处理流程:

第一阶段:快速定性(确认现象)

首先登录 ECS 控制台,查看监控数据。重点关注以下两个指标的时间相关性:

  1. 公网流出/流入带宽:是否真的达到了带宽上限或接近上限?
  2. CPU 使用率:伴随高带宽时,CPU 是否也飙升?
  • 如果带宽高但 CPU 低:通常是静态资源下载、视频流媒体分发,或者是遭受了 DDoS/CC 攻击(攻击者消耗带宽但不一定消耗计算资源)。
  • 如果带宽高且 CPU 也高:通常是动态内容生成、数据库查询频繁、病毒XX程序在上传数据,或者应用层存在死循环导致大量日志/数据输出。

第二阶段:系统内部排查(Linux 为例)

通过 SSH 登录服务器,使用命令行工具进一步缩小范围。

1. 确定是哪个进程在占用带宽

默认情况下,top 命令看不到网络流量。你需要安装或使用 iftop、nethogs 或 bmon。

  • 推荐工具 nethogs:它能按进程显示带宽占用。

    # 安装
    yum install nethogs -y  # CentOS/RHEL
    apt install nethogs -y  # Ubuntu/Debian
    
    # 运行(指定网卡,通常是 eth0)
    sudo nethogs eth0

    观察结果:看哪个 PID 对应的进程名(如 nginx, java, python, mysqld)排在最前面。

  • 备选方案 iftop:如果你更关心连接的对端 IP 而不是进程。

    sudo iftop -i eth0

2. 分析具体连接和协议

如果 nethogs 发现是某个 Web 服务(如 Nginx/Apache)占用了带宽,下一步要看是谁在访问。

  • 查看实时连接数:
    netstat -an | grep ESTABLISHED | wc -l
    # 或者用 ss 命令(更快)
    ss -s
  • 找出高频访问 IP:
    # 假设日志在 /var/log/nginx/access.log
    tail -n 10000 access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -20
    • 正常情况:IP 分布均匀,符合预期用户群。
    • 异常情况:几个 IP 占据绝大多数请求,或者出现大量非标准 User-Agent,极可能是 CC 攻击或爬虫。

3. 检查是否有异常进程(XX/木马)

如果 nethogs 显示一个名字奇怪、路径隐蔽的进程(如 /tmp/.hidden/miner),或者 CPU 占用极高但无明确业务逻辑,大概率是中马了。

  • 检查定时任务:crontab -l
  • 检查启动项:systemctl list-unit-files --type=service
  • 检查文件完整性:对比关键二进制文件哈希值。

4. Windows 服务器排查

  • 打开 任务管理器 -> 性能 -> 以太网,右键点击带宽图,选择“显示详细信息”,可以看到每个进程的实时网络活动。
  • 或者使用第三方工具如 NetLimiter 或 GlassWire,它们能更直观地展示出站/入站流量及对应进程。

第三阶段:外部视角排查(云平台层面)

有时候问题不在服务器内部,而在网络链路或上层防护。

1. 检查是否被 DDoS 攻击

  • 登录阿里云控制台,进入 云盾/DDoS 防护 页面。
  • 查看是否有攻击告警。如果是大规模 TCP SYN Flood 或 UDP Flood,ECS 本身的监控可能无法准确反映,因为流量在到达 ECS 之前就被清洗或丢弃了,或者已经打满了弹性公网 IP(EIP)的带宽限制。
  • 关键点:如果你的带宽是 EIP 级别的,攻击流量会直接耗尽 EIP 带宽,导致所有业务不可用,此时需立即开启 DDoS 高防或切换至高防 IP。

2. 检查带宽类型与配额

  • 固定带宽 vs 按使用流量计费:
    • 如果是固定带宽(如 5Mbps),跑满就是上限,需要升级带宽规格。
    • 如果是按使用量计费,跑满只是产生高额费用,不会断网,但需警惕异常流量带来的账单爆炸。
  • 共享带宽包:如果你将多个 ECS 加入同一个共享带宽包,检查是否是其他实例产生了突发流量,挤占了你的可用带宽。

3. 安全组与防火墙规则

  • 检查安全组是否放行了不必要的端口(如 22, 3389 对全网开放)。虽然这不直接导致带宽高,但会增加被扫描和利用的风险,间接引发攻击流量。

第四阶段:解决方案与优化建议

根据排查结果,采取对应措施:

场景 A:正常业务增长(如促销活动、视频发布)

  1. 扩容带宽:临时升降配带宽,或升级为更高规格的 ECS 实例(通常高配实例自带更高基准带宽)。
  2. 引入 CDN:这是最根本的解决方案。将静态资源(图片、JS、CSS、视频)托管到 CDN,回源压力大幅降低,带宽成本显著下降。
  3. 对象存储 OSS + CDN:配合 OSS 使用,实现动静分离。

场景 B:遭遇 CC 攻击或恶意爬虫

  1. WAF 防护:接入 Web 应用防火墙,设置频率限制(QPS 限制)、验证码拦截。
  2. 封禁 IP:在安全组或主机防火墙(iptables/firewalld)中临时封禁异常 IP。
  3. 调整应用逻辑:优化接口响应速度,减少单次请求的数据量;启用 Gzip/Brotli 压缩。

场景 C:DDoS 攻击(大流量)

  1. 启用 DDoS 高防:普通 ECS 无法抵御超过其带宽容量的攻击。必须切换到高防 IP 或高防包,让流量先经过清洗中心。
  2. 黑洞策略:如果攻击流量极大,云厂商可能会触发“黑洞”(路由丢弃),此时唯一办法是联系技术支持申请解封,并加强防护等级。

场景 D:服务器中毒/XX

  1. 隔离主机:立即断开网络连接,防止横向移动。
  2. 清理进程:终止异常进程,删除恶意文件。
  3. 重装系统:最彻底的办法。备份重要数据后,重新初始化磁盘,更新所有补丁,修改强密码。
  4. 溯源:检查入侵入口(弱口令、漏洞未修补等),修复后再上线。

总结 Checklist

  1. 看监控:带宽 vs CPU,判断性质。
  2. 抓进程:用 nethogs 找到罪魁祸首。
  3. 查来源:用日志分析 IP,区分正常用户与攻击者。
  4. 辨攻击:通过云平台控制台确认是否有 DDoS/WAF 告警。
  5. 做决策:
    • 正常业务 -> 上 CDN,升带宽。
    • 小攻击 -> WAF 限频,封 IP。
    • 大攻击 -> 切高防。
    • 中毒 -> 杀进程,重系统。

记住,预防优于治疗。日常做好基线监控报警(例如带宽持续 10 分钟超过 80% 即告警),比事后排查要高效得多。