100万并发连接服务器笔记之Java Netty处理1M连接会怎么样

每一种该语言在某些极限情况下的表现一般都不太一样，那么我常用的java语言，在达到100万个并发连接情况下，会怎么样呢，有些好奇，更有些期盼。这次使用经常使用的顺手的nettynio框架（netty-3.6.5.final），封装的很好，接口很全面，就像它现在的域名netty.io，专注于网络io。整个过程没有什么技术含量，浅显分析过就更显得有些枯燥无聊，准备好，硬着头皮吧。

运行在vmwareworkstation9中，64位centos6.2系统，分配14.9g内存左右，4核。已安装有java7版本：

javaversion"1.7.0_21"java(tm)seruntimeenvironment(build1.7.0_21-b11)javahotspot(tm)64-bitservervm(build23.21-b01,mixedmode)

测试端和以前一样的程序，翻看前几篇博客就可以看到client5.c的源码。

在/etc/sysctl.conf中添加如下配置：

fs.file-max=1048576net.ipv4.ip_local_port_range=102465535net.ipv4.tcp_mem=78643220971523145728net.ipv4.tcp_rmem=4096409616777216net.ipv4.tcp_wmem=4096409616777216net.ipv4.tcp_tw_reuse=1net.ipv4.tcp_tw_recycle=1

这次也是很简单呐，没有业务功能，客户端http请求，服务端输出chunked编码内容。

每次服务器端达到一百万个并发持久连接之后，然后关掉测试端程序，断开所有的连接，等到服务器端日志输出在线用户为0时，再次重复以上步骤。在这反反复复的情况下，观察内存等信息的一些情况。以某次断开所有测试端为例后，当前系统占用为（设置为list_free_1）:

totalusedfreesharedbufferscachedmem:1518977367453018120-/+buffers/cache:75977592swap:40959483147

通过top观察，其进程相关信息

piduserprnivirtresshrs%cpu%memtime+command4925root2008206m4.3g2776s0.328.850:18.66java

在启动脚本start.sh中，我们设置堆内存为6g。

psaux|grepjava命令获得信息：

root492538.028.884034444484764?sl15:2650:18java-server...httpchunkedserver8000

rss占用内存为4484764k/1024k=4379m

然后再次启动测试端，在服务器接收到onlineuser1023749时，psaux|grepjava内容为：

root492543.628.484034444422824?sl15:2662:53java-server...

查看当前网络信息统计

ss-stotal:1024050(kernel1024084)tcp:1023769(estab1023754,closed2,orphaned0,synrecv0,timewait0/0),ports12transporttotalipipv6*1024084--raw000udp761tcp1023767121023755inet1023774181023756frag000

通过top查看一下

top-p4925top-17:51:30up3:02,4users,loadaverage:1.03,1.80,1.19tasks:1total,0running,1sleeping,0stopped,0zombiecpu0:0.9%us,2.6%sy,0.0%ni,52.9%id,1.0%wa,13.6%hi,29.0%si,0.0%stcpu1:1.4%us,4.5%sy,0.0%ni,80.1%id,1.9%wa,0.0%hi,12.0%si,0.0%stcpu2:1.5%us,4.4%sy,0.0%ni,80.5%id,4.3%wa,0.0%hi,9.3%si,0.0%stcpu3:1.9%us,4.4%sy,0.0%ni,84.4%id,3.2%wa,0.0%hi,6.2%si,0.0%stmem:15554336ktotal,15268728kused,285608kfree,3904kbuffersswap:4194296ktotal,1082592kused,3111704kfree,37968kcachedpiduserprnivirtresshrs%cpu%memtime+command4925root2008206m4.2g2220s3.328.462:53.66java

四核都被占用了，每一个核心不太平均。这是在虚拟机中得到结果，可能真实服务器会更好一些。因为不是cpu密集型应用，cpu不是问题，无须多加关注。

系统内存状况

free-mtotalusedfreesharedbufferscachedmem:15189149262630556-/+buffers/cache:14864324swap:409510573038

物理内存已经无法满足要求了，占用了1057m虚拟内存。

查看一下堆内存情况

jmap-heap4925attachingtoprocessid4925,pleasewait...debuggerattachedsuccessfully.servercompilerdetected.jvmversionis23.21-b01usingparallelthreadsinthenewgeneration.usingthread-localobjectallocation.concurrentmark-sweepgcheapconfiguration:minheapfreeratio=40maxheapfreeratio=70maxheapsize=6442450944(6144.0mb)newsize=629145600(600.0mb)maxnewsize=629145600(600.0mb)oldsize=5439488(5.1875mb)newratio=2survivorratio=1permsize=52428800(50.0mb)maxpermsize=52428800(50.0mb)g1heapregionsize=0(0.0mb)heapusage:newgeneration(eden+1survivorspace):capacity=419430400(400.0mb)used=308798864(294.49354553222656mb)free=110631536(105.50645446777344mb)73.62338638305664%usededenspace:capacity=209715200(200.0mb)used=103375232(98.5863037109375mb)free=106339968(101.4136962890625mb)49.29315185546875%usedfromspace:capacity=209715200(200.0mb)used=205423632(195.90724182128906mb)free=4291568(4.0927581787109375mb)97.95362091064453%usedtospace:capacity=209715200(200.0mb)used=0(0.0mb)free=209715200(200.0mb)0.0%usedconcurrentmark-sweepgeneration:capacity=5813305344(5544.0mb)used=4213515472(4018.321487426758mb)free=1599789872(1525.6785125732422mb)72.48054631000646%usedpermgeneration:capacity=52428800(50.0mb)used=5505696(5.250640869140625mb)free=46923104(44.749359130859375mb)10.50128173828125%used1439internedstringsoccupying110936bytes.

老生代占用内存为72%，较为合理，毕竟系统已经处理100万个连接。

再次断开所有测试端，看看系统内存（free-m）

totalusedfreesharedbufferscachedmem:1518977237466013120-/+buffers/cache:75897599swap:40959503145

记为list_free_2。

list_free_1和list_free_2两次都释放后的内存比较结果，系统可用物理已经内存已经降到7589m，先前可是7597m物理内存。总之，我们的java测试程序在内存占用方面已经，最低需要7589+950=8.6g内存为最低需求内存吧。

我们在启动脚本处设置的一大串参数，到底是否达到目标，还得从gc日志处获得具体效果，推荐使用gcviewer。

gc事件概览：

其它:

总之：

只进行了一次fullgc，代价太高，停顿了12秒。

partnew成为了停顿大户，导致整个系统停顿了41秒之久，不可接受。

当前jvm调优喜忧参半，还得继续努力等

java与与erlang、c相比，比较麻烦的事情，需要在程序一开始就得准备好它的堆栈到底需要多大空间，换个说法就是jvm启动参数设置堆内存大小，设置合适的垃圾回收机制，若以后程序需要更多内存，需停止程序，编辑启动参数，然后再次启动。总之一句话，就是麻烦。单单jvm的调优，就得持续不断的根据检测、信息、日志等进行适当微调。

jvm需要提前指定堆大小，相比erlang/c，这可能是个麻烦

gc(垃圾回收)，相对比麻烦，需要持续不断的根据日志、jvm堆栈信息、运行时情况进行jvm参数微调

设置一个最大连接目标，多次测试达到顶峰，然后释放所有连接，反复观察内存占用，获得一个较为合适的系统运行内存值

eclipsememoryanalyzer结合jmap导出堆栈dump文件，分析内存泄漏，还是很方便的

想修改运行时内容，或者称之为热加载，默认不可能

真实机器上会有更好的反映

吐槽一下：javaosgi，相对比erlang来说，需要人转换思路，不是那么原生的东西，总是有些别扭，社区或商业公司对此的修修补补，不过是实现一些面向对象所不具备的热加载的企业特性。

测试源代码，下载just_test。