logo
阿辉
banner
NEWS LETTER

Ingress流量问题排查指南

Scroll down

本文作者：丁辉

Ingress流量问题排查指南

排查流程图

1
流量异常 → 云监控确认 → 定位异常IP → 分析请求路径 → 检查User-Agent → 判断问题类型 → 制定解决方案

核心排查命令集共

1. 快速定位问题范围

  • 查看最近1小时最活跃的客户端IP

    1
    kubectl logs <ingress-controller-pod> --since=1h | awk '{print $1}' | sort | uniq -c | sort -nr | head -10

  • 查看最近1小时最频繁的请求路径

    1
    kubectl logs <ingress-controller-pod> --since=1h | awk '{print $7}' | sort | uniq -c | sort -nr | head -10

2. 深入分析特定IP行为

  • 查看特定IP的详细访问记录

    1
    kubectl logs <ingress-controller-pod> --since=1h | grep '可疑IP'

  • 分析特定IP的User-Agent

    1
    kubectl logs <ingress-controller-pod> --since=1h | grep '可疑IP' | awk -F'"' '{print $6}' | sort | uniq

  • 查看特定IP访问的路径分布

    1
    kubectl logs <ingress-controller-pod> --since=1h | grep '可疑IP' | awk '{print $7}' | sort | uniq -c | sort -nr

3. 分析特定接口/路径

  • 查看特定接口的访问详情

    1
    kubectl logs <ingress-controller-pod> --since=1h | grep "接口路径" | head -20

  • 统计接口的响应状态码分布

    1
    kubectl logs <ingress-controller-pod> --since=1h | grep "接口路径" | awk '{print $9}' | sort | uniq -c

4. 实时监控

  • 实时查看Ingress访问日志

    1
    kubectl logs -f <ingress-controller-pod>

  • 实时查看特定服务的日志

    1
    kubectl logs -f <后端服务pod>

日志字段解析指南

关键字段说明：

  • $1 - 客户端IP地址
  • $7 - 请求路径和参数
  • $9 - HTTP状态码
  • 引号内第6个字段 - User-Agent
  • 倒数第6个字段 - 请求处理时间（秒）
  • 方括号内字段 - 转发的K8s服务

常见问题模式识别

1. 爬虫/自动化脚本特征

  • 单一IP高频访问
  • User-Agent包含bot、crawler、python、go等
  • 规律的请求间隔

2. API滥用特征

  • 针对特定API接口的高频调用
  • 异常的POST/PUT请求模式
  • 大量4xx状态码

3. 性能问题特征

  • 请求处理时间普遍较长（>5秒）
  • 大量5xx状态码
  • 特定的慢接口

4. 安全威胁特征

  • 扫描行为（访问不存在的路径）
  • 注入攻击特征（SQL、XSS等）
  • 暴力破解（大量登录尝试）

解决方案工具箱

1. 紧急限流措施

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
# ===============================================
# 🧱 Ingress 限流配置（通过注解实现）
# 使用 NGINX Ingress Controller 的内建限流功能，
# 可有效防止暴力请求、爬虫或瞬时流量过载。
# ===============================================
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: example-ingress
  annotations:
    # 🎯 每秒请求数限制 (Requests Per Second)
    # 定义每个客户端 IP 每秒允许的最大请求数。
    # 超过该值的请求会被拒绝（返回 limit-status-code 指定的状态码）。
    # ⚙️ 实现方式：使用 NGINX 的 limit_req_zone + limit_req。
    # 💡 建议范围：
    #   - 普通API: 5~20
    #   - 静态资源: 50~200
    nginx.ingress.kubernetes.org/limit-rps: "10"
    
    # ⚡ 每秒连接数限制 (Connections Per Second)
    # 定义每个客户端 IP 每秒可新建的最大连接数。
    # 对于 HTTP/1.1 Keep-Alive 长连接影响较小，但能防御连接泛洪攻击。
    # ⚙️ 实现方式：使用 limit_conn_zone + limit_conn。
    # 💡 建议范围：
    #   - 一般网站: 10~50
    #   - 高并发API: 100+
    nginx.ingress.kubernetes.org/limit-connections: "20"
    
    # 🛡️ 白名单设置（免限流）
    # 指定 IP 或网段不受限流影响。
    # 可用于信任的反向代理、内部系统或监控探针。
    # 支持单个 IP 或 CIDR（逗号分隔）。
    # ⚠️ 建议仅加入受信任来源，否则可能绕过防护。
    nginx.ingress.kubernetes.org/limit-whitelist: "192.168.0.0/24,10.0.0.1"
    
    # 🚀 突发请求缓冲（突发容忍）
    # 允许在短时间内超出 limit-rps 的请求数量。
    # 适用于偶发瞬时高峰（如页面资源集中加载）。
    # ⚙️ 内部机制：令牌桶算法 (burst capacity)。
    # 💡 建议：burst 通常设为 limit-rps 的 2~3 倍。
    nginx.ingress.kubernetes.org/limit-burst: "20"
    
    # 🚫 限流响应码
    # 当请求被限流时返回的 HTTP 状态码。
    # 通常设置为 429（Too Many Requests）或 503（Service Unavailable）。
    # 💡 若你的客户端或上游依赖特定响应行为，可自定义此状态码。
    nginx.ingress.kubernetes.org/limit-status-code: "503"

# ===============================================
# 📋 提示：
# - 若同一个 Ingress 使用多个路径，限流策略对整个 Ingress 生效。
# - 如需区分路径限流，可分别定义多个 Ingress。
# - 可配合 nginx.ingress.kubernetes.org/limit-rpm (每分钟请求数)。
# - 修改后执行：
#     kubectl apply -f example-ingress.yaml
#     kubectl describe ingress example-ingress
#   以确认注解生效。
# ===============================================

2. IP封禁

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# ===============================================
# 🧱 NGINX Ingress Controller IP 封禁与访问控制配置
# 通过 ConfigMap 对客户端 IP 进行白名单、黑名单或基于地理位置的控制。
# ===============================================
apiVersion: v1
kind: ConfigMap
metadata:
  name: nginx-config
  namespace: ingress-nginx
data:
  # 🔒 全局访问控制（白名单/黑名单）
  # allow-snippet 使用原生 NGINX 语法控制访问：
  #   - allow <IP/CIDR>：允许访问
  #   - deny all：拒绝所有其他访问
  # ⚙️ 使用场景：
  #   - 内网服务只允许特定网段访问
  allow-snippet: |
    allow 192.168.0.0/16;
    allow 10.0.0.0/8;
    deny all;

3. 优化配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
apiVersion: v1
kind: ConfigMap
metadata:
  name: nginx-configuration
  namespace: ingress-nginx
data:
  # ================================
  # 🌐 NGINX Ingress Controller 全局配置
  # 此 ConfigMap 控制 ingress-nginx 控制器内 NGINX 实例的行为。
  # 修改后通常需要重新加载 Ingress Controller 才会生效。
  # ================================

  # ⏱️ 连接超时时间（秒）
  # 定义 NGINX 与上游后端（Service Pod）建立 TCP 连接的超时。
  # 若上游响应缓慢或网络不稳定，可适当调大。
  # 建议范围：5~30秒
  proxy-connect-timeout: "10"

  # ⏱️ 读取超时时间（秒）
  # 定义 NGINX 在与上游通信时，等待上游响应数据的最长时间。
  # 超时后会返回 504 Gateway Timeout。
  # 建议范围：10~60秒，取决于上游处理逻辑耗时。
  proxy-read-timeout: "30"

  # ⏱️ 发送超时时间（秒）
  # 定义 NGINX 向上游发送请求数据的超时。
  # 对上传大文件或慢速后端可适当调大。
  # 建议与 proxy-read-timeout 一致。
  proxy-send-timeout: "30"

  # ⏱️ 客户端请求头超时
  # 定义 NGINX 等待客户端（例如浏览器或负载均衡器）
  # 发送完整请求头的超时时间。
  # 过低可能影响慢速客户端，过高可能被滥用进行慢速攻击。
  client-header-timeout: "10"

  # 📦 客户端请求体大小限制
  # 限制客户端请求体（例如上传文件）的最大大小。
  # 超出时返回 413 Request Entity Too Large。
  # 例如 "10m" 表示最大 10MB。
  # 建议根据业务场景调整：普通 API 可设为 1~5m，大文件上传可放宽。
  proxy-body-size: "10m"

  # 🔄 保持连接超时
  # 定义客户端与 NGINX 之间的 keep-alive 持续时间（秒）。
  # 影响 HTTP 连接复用性能和资源占用。
  # 值过低会增加连接重建开销；过高可能导致空闲连接占用资源。
  # 建议范围：30~120秒。
  keep-alive: "75"

  # 📊 缓冲区设置
  # 控制 NGINX 在代理上游响应时的内存缓冲。
  # 调整这些值可优化大响应体（例如 JSON、大型页面）的性能。
  # proxy-buffer-size: 单个缓冲区大小。
  # proxy-buffers-number: 缓冲区数量。
  # 默认通常足够，除非你的后端返回非常大的头部或响应。
  proxy-buffer-size: "8k"
  proxy-buffers-number: "4"

  # ====================================
  # 🧩 补充说明：
  # - 修改 ConfigMap 后需触发 ingress-nginx 控制器 reload。
  #   可执行: kubectl rollout restart deployment ingress-nginx-controller -n ingress-nginx
  # - 所有 timeout 值均为秒（字符串形式）。
  # - 若使用 AWS/GCP LB，还需确保 LB 层超时 >= 这些值。
  # ====================================

4. 安全加固配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
apiVersion: v1
kind: ConfigMap
metadata:
  name: nginx-config
  namespace: ingress-nginx
data:
  # 🔐 隐藏 NGINX 版本信息
  # 设置为 "false" 可防止 NGINX 在响应头中显示 Server: nginx/版本号
  # ⭐ 注意：部分版本可能仍在某些情况下显示 Server 字段，建议验证生成的 nginx.conf。
  server-tokens: "false"
  
  # 🔍 是否允许 HTTP 请求头中包含下划线 (_) 字符
  # 若设置为 "false"，Nginx 会拒绝或忽略带下划线的头部字段。
  # 若你的客户端或上游服务使用 “X_Custom_Header” 这类头部，请设置为 "true"。
  enable-underscores-in-headers: "false"
  
  # 🔒 是否忽略无效的 HTTP 头部字段
  # 设置为 "true" 时，Nginx 遇到格式错误或不合法的头部，将会忽略而不是拒绝。
  ignore-invalid-headers: "true"

  # 🛡️ SSL 强化配置 — 协议版本
  # 只启用 TLS v1.2 和 v1.3，禁用旧版本（如 TLS1.0/1.1）以提高安全性。
  ssl-protocols: "TLSv1.2 TLSv1.3"

  # 🛡️ SSL 强化配置 — 加密套件 (Cipher Suites)
  # 指定特定的、安全性较强的加密套件。请参考你所用 NGINX 版本所支持的套件列表。
  ssl-ciphers: "ECDHE-ECDSA-AES128-GCM-SHA256,ECDHE-RSA-AES128-GCM-SHA256"

# 📋 提示：修改后请滚动重启 ingress-nginx 控制器 Pod，例如：
# kubectl rollout restart deployment ingress-nginx-controller -n ingress-nginx
# 并使用 kubectl exec 查看 /etc/nginx/nginx.conf 中是否包含你配置的指令。

5. 日志与监控配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
apiVersion: v1
kind: ConfigMap
metadata:
  name: nginx-config
  namespace: ingress-nginx
data:
  # 📝 自定义日志格式（上游代理请求日志）
  # 用于记录更多有用的调试信息，如：客户端地址、上游地址、请求时间、响应时间等。
  # ⚠️ 生效条件：确保使用的 ingress‑nginx 版本支持 log-format-upstream，并且正在使用该 ConfigMap。 :contentReference[oaicite:5]{index=5}
  log-format-upstream: |
    '$remote_addr - $remote_user [$time_local] "$request" '
    '$status $body_bytes_sent "$http_referer" '
    '"$http_user_agent" "$http_x_forwarded_for" '
    'upstream_addr: $upstream_addr '
    'request_time: $request_time '
    'upstream_response_time: $upstream_response_time'

  # 📊 访问日志设置 — **需确认键是否被支持**
  # enable-access-log: 若设置为 “true”，希望启用访问日志。
  # access-log-path: 指定访问日志文件路径（例如 /var/log/nginx/access.log）。
  # ⚠️ 文档未明确将这两项列为标准 ConfigMap 键，实际生效需验证。
  enable-access-log: "true"
  access-log-path: "/var/log/nginx/access.log"

  # 🔍 错误日志级别
  # 可选值：debug|info|notice|warn|error|crit|alert|emerg
  # 推荐生产环境使用 “warn” 或 “error” 以减少噪声，调试期可用 “info” 或 “debug”。
  error-log-level: "warn"

# 📋 提示：
# - 修改后需要滚动重启 ingress‑nginx 控制器 Pod：kubectl rollout restart deployment <controller> -n ingress-nginx  
# - 若 log-format‑upstream 未生效，可查看 /etc/nginx/nginx.conf 中是否包含你的自定义格式。  
# - 若 enable‑access‑log / access‑log‑path 无效果，请查阅当前版本支持的键列表或用 `access-log-off`、`disable-access-log` 等键进行切换。

6. 高级限流策略

方法 A：使用注解（推荐）

1
2
3
4
5
6
7
8
9
10
11
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: example-ingress
  annotations:
    # 每个IP每秒最多10个请求
    nginx.ingress.kubernetes.org/limit-rps: "10"
    # 突发请求允许数量
    nginx.ingress.kubernetes.org/limit-burst: "20"
    # 并发连接限制
    nginx.ingress.kubernetes.org/limit-connections: "5"
  • 优点：官方支持，简单。
  • 缺点：无法直接实现 $request_uri 分路径的限流。

方法 B：Server / Configuration Snippet

1
2
3
4
5
6
7
8
9
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: example-ingress
  annotations:
    nginx.ingress.kubernetes.io/server-snippet: |
      limit_req_zone $binary_remote_addr zone=global:10m rate=10r/s;
      limit_req_zone $request_uri zone=api:10m rate=5r/s;
      limit_conn_zone $binary_remote_addr zone=addr:10m;
  • 这里可以写原生 NGINX 指令，并在 ingress-nginx 的 server 块中生效。
  • 注意：需要确认你使用的 ingress-nginx 版本允许 server-snippet 注解。

7. 实际应用示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: protected-app
  annotations:
    # =========================================
    # ⚡ 基础限流：每个IP每秒允许的请求数
    # nginx.ingress.kubernetes.org/limit-rps
    # - 控制每个客户端 IP 的请求频率
    # - 超过此速率的请求将被限流
    # - 建议值：5~20，视业务请求量而定
    nginx.ingress.kubernetes.org/limit-rps: "10"
    
    # 🚀 突发流量允许值（burst）
    # nginx.ingress.kubernetes.org/limit-burst
    # - 短时间内允许超过 limit-rps 的请求数
    # - 可缓解瞬时高峰流量
    # - 建议值：limit-rps 的 2~3 倍
    nginx.ingress.kubernetes.org/limit-burst: "20"
    
    # 🔗 并发连接限制
    # nginx.ingress.kubernetes.org/limit-connections
    # - 每个客户端 IP 的最大并发连接数
    # - 防止单个IP占用过多连接导致资源耗尽
    # - 建议值：5~20，视服务并发能力而定
    nginx.ingress.kubernetes.org/limit-connections: "10"
    
    # 🛡️ 白名单（免限流）
    # nginx.ingress.kubernetes.org/limit-whitelist
    # - 指定 IP 或网段不受限流影响
    # - 可用于内部网络或可信代理
    # - 支持逗号分隔的 CIDR 或单个 IP
    nginx.ingress.kubernetes.org/limit-whitelist: "10.0.0.0/8,192.168.0.0/16"
    
    # ⏱️ 超时设置：避免长连接占用资源
    # nginx.ingress.kubernetes.org/proxy-read-timeout / proxy-send-timeout
    # - 分别控制 NGINX 读取上游响应和发送请求的超时时间
    # - 建议值：10~60秒，视后端响应时间而定
    nginx.ingress.kubernetes.org/proxy-read-timeout: "30"
    nginx.ingress.kubernetes.org/proxy-send-timeout: "30"
    
    # 🚫 限流响应码
    # nginx.ingress.kubernetes.org/limit-status-code
    # - 当请求被限流时返回的 HTTP 状态码
    # - 常用 429 (Too Many Requests) 或 503 (Service Unavailable)
    nginx.ingress.kubernetes.org/limit-status-code: "429"

# =========================================
# 📋 使用提示：
# 1. 修改注解后无需修改 ConfigMap，直接 kubectl apply -f ingress.yaml 即可生效。
# 2. 对于高峰业务，可适当调高 limit-burst 和 limit-rps，避免误伤正常用户。
# 3. 白名单只应包含可信内部 IP，防止绕过限流。
# 4. 若配合负载均衡器或 CDN，确保 LB 层超时时间 >= proxy-read/send-timeout。

配验证命令

1
2
3
4
5
6
7
8
9
10
11
# 验证配置语法是否正确
kubectl exec -it <ingress-pod> -n ingress-nginx -- nginx -t

# 重新加载配置（不中断服务）
kubectl exec -it <ingress-pod> -n ingress-nginx -- nginx -s reload

# 查看当前生效的配置
kubectl exec -it <ingress-pod> -n ingress-nginx -- cat /etc/nginx/nginx.conf

# 实时监控限流效果
kubectl logs -f <ingress-pod> -n ingress-nginx | grep "limiting requests"

监控和告警设置

1. 关键监控指

  • QPS（每秒请求数）
  • 错误率（4xx/5xx）
  • 响应时间P95/P99
  • 带宽使用率

2. 告警阈值建议

1
2
3
4
5
# 异常流量检测规则示例
- QPS突增 > 50%
- 5xx错误率 > 5%
- 平均响应时间 > 3s
- 单一IP请求占比 > 20%

💡 经验总结

快速诊断清单：

  1. ✅ 先看IP分布 - 找到异常源头
  2. ✅ 再看请求路径 - 定位问题接口
  3. ✅ 分析User-Agent - 判断请求性质
  4. ✅ 检查响应时间和状态码 - 确认影响范围
  5. ✅ 关联后端服务日志 - 深入根本原因

I'm so cute. Please give me money.

其他文章
cover
Ingress公开TCP和UDP服务
  • 70/01/01
  • 00:00
  • Kubernetes-网关
cover
Ingress问题记录
  • 70/01/01
  • 00:00
  • Kubernetes-网关
目录导航 置顶
  1. 1. Ingress流量问题排查指南
    1. 1.1. 排查流程图
    2. 1.2. 核心排查命令集共
      1. 1.2.1. 1. 快速定位问题范围
      2. 1.2.2. 2. 深入分析特定IP行为
      3. 1.2.3. 3. 分析特定接口/路径
      4. 1.2.4. 4. 实时监控
    3. 1.3. 日志字段解析指南
    4. 1.4. 常见问题模式识别
      1. 1.4.1. 1. 爬虫/自动化脚本特征
      2. 1.4.2. 2. API滥用特征
      3. 1.4.3. 3. 性能问题特征
      4. 1.4.4. 4. 安全威胁特征
    5. 1.5. 解决方案工具箱
      1. 1.5.1. 1. 紧急限流措施
      2. 1.5.2. 2. IP封禁
      3. 1.5.3. 3. 优化配置
    6. 1.6. 4. 安全加固配置
    7. 1.7. 5. 日志与监控配置
    8. 1.8. 6. 高级限流策略
      1. 1.8.1. 方法 A：使用注解（推荐）
      2. 1.8.2. 方法 B：Server / Configuration Snippet
    9. 1.9. 7. 实际应用示例
    10. 1.10. 配验证命令
    11. 1.11. 监控和告警设置
      1. 1.11.1. 1. 关键监控指
      2. 1.11.2. 2. 告警阈值建议
    12. 1.12. 💡 经验总结
      1. 1.12.1. 快速诊断清单：
请输入关键词进行搜索
  • to close