websocket反代压测笔记(自用)

目标：突破nginx单机反代65535限制（最终没足够精力实现 熬夜太晚了）

不做特殊处理情况下，nginx反代肯定不超过65535个（TCP网络四元组）

1. 2台服务器：1台server+压测2w 一台压测4w
2. nginx 总量7w的情况下 必定崩溃 收集log（方便复盘和观察）
3. nginx处理虚拟IP

server架构

client -> nginx -> php swoole websocket

压测工具

go-stress-testing 直接使用（github）

https://github.com/link1st/go-stress-testing

日志收集

websocket.Dial ws://172.16.16.10: dial tcp 172.16.16.10:80: socket: too many open files

优化内核

websocket.Dial ws://172.16.16.10: read tcp 172.16.16.8:33482->172.16.16.10:80: read: connection reset by peer

https://www.cnblogs.com/xzkzzz/p/16005034.html

websocket.Dial ws://172.16.16.10:9501: dial tcp 172.16.16.10:9501: connect: cannot assign requested address

优化内核 https://blog.csdn.net/weixin_43525993/article/details/123198990

net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_mem = 786432 2097152 3145728
net.ipv4.tcp_rmem = 4096 4096 16777216
net.ipv4.tcp_wmem = 4096 4096 16777216
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

sysctl -p

测试数据

A机器-> 5w websocket连接 B机器 server （直连）

1. 建立链接的速度越来越慢（单台机器 可能分配随机端口会越来越慢？）
2. 9万链接 纯swoole server simple demo 资源耗费： CPU一直稳定 50%以下 内存2.8G（本机也有压测客户端 所以可能纯server在2G左右）

内网出包量13176个/秒

CPU MAX 65.85%

nginx 固定在2044个链接 上不去

# nginx keealive配置 

http {
	# 客户端连接的超时时间, 为 0 时禁用长连接,
	keepalive_timeout 120s;
	# 在一个长连接上可以服务的最大请求数目, 当达到最大请求数目且所有已有请求结束后, 连接被关闭, 默认为 100, 即每个连接的最大请求数
	keepalive_request 10000;
}


# nginx 单进程数量限制 worker_connections

其他一些参考文章（我自己也没有看完 而且有知识重复 只是收集）

-在 nginx 这里采用多个内网 IP，这些 IP 使用 proxy_bind 来指定。参考 https://nginx.org/r/proxy_bind

• nginx 用 proxy_bind 这种方法最多能撑多少量级的长连接？如何克服 nginx中的临时端口耗尽问题？https://www.nginx.com/blog/overcoming-ephemeral-port-exhaustion-nginx-plus
• nginx使用proxy_bind负载tcp socket，解决代理端口耗尽https://www.sundayle.com/nginx-proxy-65535-port
• 高并发中负载均衡器临时端口耗尽问题https://www.maideliang.com/index.php/archives/48
• 一台Linux服务器最多能支撑多少个TCP连接？https://blog.csdn.net/sqlquan/article/details/111561959
• nginx 性能调优
  Tuning NGINX for Performance
  http://nginx.com/blog/tuning-nginx
  https://www.cnblogs.com/clnchanpin/p/7026413.html
  Ideal way to overcome port exhaustion/unix socket limit?
  https://studygolang.com/resources/5916?fr=sidebar
  使用 HAProxy 负载均衡300k并发tcp连接
  https://www.sundayle.com/haproxy-optimization
  Use HAProxy to load balance 300k concurrent tcp socket connections: Port Exhaustion, Keep-alive and others
  https://www.linangran.com/?p=547
  Nginx作为反向代理服务器是否可以突破单机65535TCP连接的限制？如果是，是如何实现的？
  https://www.zhihu.com/question/306520501
  Nginx 高级篇：单机并发 1 万 10 万次请求解决和优化方案
  https://learnku.com/articles/42203
  nginx 并发数问题思考：worker_connections,worker_processes与 max clients
  https://blog.51cto.com/liuqunying/1420556
  nginx tcp负载突破端口数量限制 proxy_bind split_client
  https://www.codenong.com/cs105164127/
  nginx代理websocket连接上限
  https://blog.csdn.net/Wjhsmart/article/details/107385614