Merge branch 'master' of https://github.com/xtaci/kcptun

README.en.md

@@ -28,10 +28,13 @@ A tool for converting tcp stream into kcp+udp stream, :zap: ***[download address
 ***kcptun is based on [kcp-go](https://github.com/xtaci/kcp-go)***   
 
 ### *QuickStart* :lollipop:
+Client, server, respectively, download the corresponding platform binary compression package, and extract, through the following command to start port forwarding.
 ```
-Server Side: ./server_linux_amd64 -t "127.0.0.1:1080" -l ":4000" -mode fast2  // forwarding to local port 1080
-Client Side: ./client_darwin_amd64 -r "SERVERIP:4000" -l ":1080" -mode fast2  // listening on port 1080
+Server: ./server_linux_amd64 -t "SERVER_IP:8388" -l ":4000" -mode fast2
+Client: ./client_darwin_amd64 -r "SERVER_IP:4000" -l ":8388" -mode fast2
 ```
+The above command can establish 8388/tcp port forwarding (through 4000/udp port).
+
 
 ### *Performance* :lollipop:
 <img src="fast.png" alt="fast.com" height="256px" />       
@@ -106,6 +109,9 @@ GLOBAL OPTIONS:
    --help, -h                show help
    --version, -v             print the version
 ```
+#### *Parameters by Layers* :lollipop:   
+
+<p align="left"><img src="layeredparams.png" alt="params" height="450px"/></p>
 
 ### *Applications* :lollipop:   
 1. Real-time gaming.
@@ -178,7 +184,7 @@ It is able to detect and correct multiple symbol errors. By adding t check symbo
 
 ![reed-solomon](rs.png)
 
-Setting parameters of RS-Code with ```-datashard 10 -parityshard 3``` 
+Setting parameters of RS-Code with ```-datashard m -parityshard n```
 
 ### *Snappy Stream Compression* :lollipop: 
 > Snappy is a compression/decompression library. It does not aim for maximum

README.md

@@ -1,5 +1,5 @@
 <p align="center"><img src="logo.png" alt="kcptun" height="60px" /></p>
-<p align="center"><b>也许是世界上最快的UDP传输工具</b></p>
+<p align="center"><em>A Simple UDP Tunnel Based On KCP</em></p>
 
 -
 
@@ -24,7 +24,8 @@
 [20]: https://gitter.im/xtaci/kcptun?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge
 
 <p align="center"><img src="kcptun.png" alt="kcptun" height="200px"/></p>
-<p align="center"><strong><a href="https://github.com/xtaci/kcptun/releases/latest">下载预编译二进制（支持  macOS/Linux/Windows/FreeBSD）</a></strong></p>
+<p align="center"><a href="https://github.com/xtaci/kcptun/releases/latest">立即安装</a></p>
+<p align="center"><em>支持macOS/Linux/Windows/FreeBSD/ARM/Raspberry Pi/OpenWrt</em></p>
 <p align="right"><a href="https://github.com/xtaci/kcptun/blob/master/README.en.md">ENG</a></p>
 
 -
@@ -33,21 +34,21 @@
 
 客户端、服务器分别**下载**对应平台的二进制压缩包，并**解压**，通过下面的命令**启动**端口转发。
 ```
-服务器: ./server_linux_amd64 -t "服务器IP地址:8388" -l ":4000" -mode fast2     // 转发到服务器的本地8388端口
-客户端: ./client_darwin_amd64 -r "服务器IP地址:4000" -l ":8388" -mode fast2    // 监听客户端的本地8388端口
-注: 服务器端需要有服务监听8388端口
+服务器: ./server_linux_amd64 -t "服务器IP地址:8388" -l ":4000" -mode fast2
+客户端: ./client_darwin_amd64 -r "服务器IP地址:4000" -l ":8388" -mode fast2
 ```
+以上命令可以实现8388/tcp端口的转发（通过4000/udp端口）。
 
 ### 速度对比
 
 <img src="fast.png" alt="fast.com" height="256px" />       
 * 测速网站: https://fast.com
-* 接入: 100M ADSL
+* 接入速度: 100Mbps
 * WIFI: 5GHz TL-WDR3320
 
 ### 使用方法
 
-在Mac OS X El Capitan下的帮助输出: 
+在Mac OS X El Capitan下的帮助输出，注意默认值: 
 ```
 $ ./client_darwin_amd64 -h
 NAME:
@@ -57,7 +58,7 @@ USAGE:
    client_darwin_amd64 [global options] command [command options] [arguments...]
 
 VERSION:
-   20160922
+   20161025
 
 COMMANDS:
      help, h  Shows a list of commands or help for one command
@@ -90,7 +91,7 @@ USAGE:
    server_darwin_amd64 [global options] command [command options] [arguments...]
 
 VERSION:
-   20160922
+   20161025
 
 COMMANDS:
      help, h  Shows a list of commands or help for one command
@@ -113,8 +114,41 @@ GLOBAL OPTIONS:
    --help, -h                show help
    --version, -v             print the version
 ```
+#### 分层参数图
 
-### 参数调整
+<p align="left"><img src="layeredparams.png" alt="params" height="450px"/></p>
+
+### 内置模式
+
+响应速度:     
+*fast3 > fast2 >* **[fast]** *> normal > default*        
+有效载荷比:     
+*default > normal >* **[fast]** *> fast2 > fast3*       
+中间mode参数比较均衡，总之就是越快，包重传越激进。       
+更高级的 **手动档** 需要理解KCP协议，并通过 **隐藏参数** 调整，例如:
+```
+ -mode manual -nodelay 1 -resend 2 -nc 1 -interval 20
+```
+
+* 搭配1. fast + FEC(5,5)
+* 搭配2. fast2 + FEC(10,3)
+* 搭配3. fast2 + FEC(0,0)
+
+默认profile参考: https://github.com/xtaci/kcptun/blob/master/client/main.go#L248
+
+### 前向纠错
+
+前向纠错采用Reed Solomon纠删码, 它的基本原理如下： 给定n个数据块d1, d2,…, dn，n和一个正整数m， RS根据n个数据块生成m个校验块， c1, c2,…, cm。 对于任意的n和m， 从n个原始数据块和m 个校验块中任取n块就能解码出原始数据， 即RS最多**容忍m个数据块或者校验块同时丢失**。
+
+![reed-solomon](rs.png)
+
+通过参数```-datashard n -parityshard m``` 在两端同时设定。
+
+数据包发送顺序严格遵循: n个datashard紧接m个parityshard，重复。
+
+注意：为了发挥FEC最佳效果，设置 parityshard/(parity+datashard) > packet loss，比如5/(5+5) > 30%
+
+### 窗口调整
 
 **两端参数必须一致的有**:
 
@@ -126,51 +160,69 @@ GLOBAL OPTIONS:
 
 其余为两边可独立设定的参数
 
-**简易自我调优方法**：
+**简易窗口自我调优方法**：
 
 > 第一步：同时在两端逐步增大client rcvwnd和server sndwnd;        
 > 第二步：尝试下载，观察如果带宽利用率（服务器＋客户端两端都要观察）接近物理带宽则停止，否则跳转到第一步。
 
 **注意：产生大量重传时，一定是窗口偏大了**
 
-#### 带宽计算公式
-
-```
-在不丢包的情况下，有最大-rcvwnd 个数据包在网络上正在向你传输，以平均数据包大小avgsize计算，在任意时刻，有：     
-
-		network_cap = rcvwnd*avgsize
-
-数据流向你，这个值再除以ping值(rtt)，等于最大带宽使用量。
-
-		max_bandwidth = network_cap/rtt = rcvwnd*avgsize/rtt
-		
-举例，设rcvwnd = 1024, avgsize = 1KB, rtt = 400ms，则：
-
-		max_bandwidth = 1024 * 1KB / 400ms = 2.5MB/s ~= 25Mbps
-		
-（注：以上计算不包括前向纠错的数据量）
-
-前向纠错是最大带宽量的一个固定比例增加：
-
-		max_bandwidth_fec = max_bandwidth*(datashard+parityshard)/datashard
-
-举例，设datashard = 10 , partiyshard = 3，则：
-
-		max_bandwidth_fec = max_bandwidth * (10 + 3) /10 = 1.3*max_bandwidth ＝ 1.3 * 25Mbps = 32.5Mbps
-```
-
 ### 安全
 
-无论你上层如何加密，如果```-crypt none```，那么**协议头部**都是**明文**的，建议至少采用```-crypt aes-128```加密。
+无论你上层如何加密，如果```-crypt none```，那么**协议头部**都是**明文**的，建议至少采用```-crypt aes-128```加密，并修改密码。
 
-注意: ```-crypt xor``` 也是不安全的，除非你知道你在做什么。
+密码可以通过`-key`指定，也可以通过环境变量`KCPTUN_KEY`指定。
+
+注意: ```-crypt xor``` 也是不安全的，除非你知道你在做什么。 
+
+附加密速度Benchmark：
+
+```
+BenchmarkAES128-4      	  200000	     11182 ns/op
+BenchmarkAES192-4      	  200000	     12699 ns/op
+BenchmarkAES256-4      	  100000	     13757 ns/op
+BenchmarkTEA-4         	   50000	     26441 ns/op
+BenchmarkSimpleXOR-4   	 3000000	       441 ns/op
+BenchmarkBlowfish-4    	   30000	     48036 ns/op
+BenchmarkNone-4        	20000000	       106 ns/op
+BenchmarkCast5-4       	   20000	     60222 ns/op
+BenchmarkTripleDES-4   	    2000	    878759 ns/op
+BenchmarkTwofish-4     	   20000	     68501 ns/op
+BenchmarkXTEA-4        	   20000	     77417 ns/op
+BenchmarkSalsa20-4     	  300000	      4998 ns/op
+```
 
 ### 内存控制
 
 路由器，手机等嵌入式设备通常对**内存用量敏感**，通过调节环境变量GOGC（例如GOGC=20)后启动client，可以降低内存使用。      
 参考：https://blog.golang.org/go15gc
 
+
+### DSCP
+
+DSCP差分服务代码点（Differentiated Services Code Point），IETF于1998年12月发布了Diff-Serv（Differentiated Service）的QoS分类标准。它在每个数据包IP头部的服务类别TOS标识字节中，利用已使用的**6比特**和未使用的2比特，通过编码值来区分优先级。     
+常用DSCP值可以参考[Wikipedia DSCP](https://en.wikipedia.org/wiki/Differentiated_services#Commonly_used_DSCP_values)，至于有没有用，完全取决于数据包经过的设备。 
+
+通过 ```-dscp ``` 参数指定dscp值，两端可分别设定。
+
+注意：设置dscp不一定会更好，需要尝试。
+
+### Snappy数据流压缩
+
+> Snappy is a compression/decompression library. It does not aim for maximum
+> compression, or compatibility with any other compression library; instead,
+> it aims for very high speeds and reasonable compression. For instance,
+> compared to the fastest mode of zlib, Snappy is an order of magnitude faster
+> for most inputs, but the resulting compressed files are anywhere from 20% to
+> 100% bigger.
+
+> Reference: http://google.github.io/snappy/
+
+通过参数 ```-nocomp``` 在两端同时设定以关闭压缩。
+> 提示: 关闭压缩可能会降低延迟。
+
 ### 流量控制
+
 **必要性: 针对流量敏感的服务器，做双保险。**      
 
 > 基本原则: SERVER的发送速率不能超过ADSL下行带宽，否则只会浪费您的服务器带宽。  
@@ -188,50 +240,6 @@ root@kcptun:~#
 ```
 其中eth0为网卡，有些服务器为ens3，有些为p2p1，通过ifconfig查询修改。
 
-### DSCP
-
-DSCP差分服务代码点（Differentiated Services Code Point），IETF于1998年12月发布了Diff-Serv（Differentiated Service）的QoS分类标准。它在每个数据包IP头部的服务类别TOS标识字节中，利用已使用的**6比特**和未使用的2比特，通过编码值来区分优先级。     
-常用DSCP值可以参考[Wikipedia DSCP](https://en.wikipedia.org/wiki/Differentiated_services#Commonly_used_DSCP_values)，至于有没有用，完全取决于数据包经过的设备。 
-
-通过 ```-dscp ``` 参数指定dscp值，两端可分别设定。
-
-注意：设置dscp不一定会更好，需要尝试。
-
-### 前向纠错
-
-前向纠错采用Reed Solomon纠删码, 它的基本原理如下： 给定n个数据块d1, d2,…, dn，n和一个正整数m， RS根据n个数据块生成m个校验块， c1, c2,…, cm。 对于任意的n和m， 从n个原始数据块和m 个校验块中任取n块就能解码出原始数据， 即RS最多**容忍m个数据块或者校验块同时丢失**。
-
-![reed-solomon](rs.png)
-
-通过参数```-datashard 10 -parityshard 3``` 在两端同时设定。
-
-### Snappy数据流压缩
-
-> Snappy is a compression/decompression library. It does not aim for maximum
-> compression, or compatibility with any other compression library; instead,
-> it aims for very high speeds and reasonable compression. For instance,
-> compared to the fastest mode of zlib, Snappy is an order of magnitude faster
-> for most inputs, but the resulting compressed files are anywhere from 20% to
-> 100% bigger.
-
-> Reference: http://google.github.io/snappy/
-
-通过参数 ```-nocomp``` 在两端同时设定以关闭压缩。
-> 提示: 关闭压缩可能会降低延迟。
-
-### 内置模式
-
-响应速度:     
-*fast3 >* **[fast2]** *> fast > normal > default*        
-有效载荷比:     
-*default > normal > fast >* **[fast2]** *> fast3*       
-中间mode参数比较均衡，总之就是越快越浪费带宽，推荐模式 **fast2**        
-更高级的 **手动档** 需要理解KCP协议，并通过 **隐藏参数** 调整，例如:
-```
- -mode manual -nodelay 1 -resend 2 -nc 1 -interval 20
-```
-高丢包率的网络建议采用fast2, 低丢包率的网络，建议采用normal。
-
 ### SNMP
 
 ```go
@@ -260,7 +268,33 @@ type Snmp struct {
 ```
 
 使用```kill -SIGUSR1 pid``` 可以在控制台打印出SNMP信息，通常用于精细调整**当前链路的有效载荷比**。        
-观察```RetransSegs,FastRetransSegs,LostSegs,OutSegs```这几者的数值比例，用于参考调整```-mode manual,fec```的参数。        
+观察```RetransSegs,FastRetransSegs,LostSegs,OutSegs```这几者的数值比例，用于参考调整```-mode manual,fec```的参数。    
+
+#### 带宽计算公式
+
+```
+在不丢包的情况下，有最大-rcvwnd 个数据包在网络上正在向你传输，以平均数据包大小avgsize计算，在任意时刻，有：     
+
+		network_cap = rcvwnd*avgsize
+
+数据流向你，这个值再除以ping值(rtt)，等于最大带宽使用量。
+
+		max_bandwidth = network_cap/rtt = rcvwnd*avgsize/rtt
+		
+举例，设rcvwnd = 1024, avgsize = 1KB, rtt = 400ms，则：
+
+		max_bandwidth = 1024 * 1KB / 400ms = 2.5MB/s ~= 25Mbps
+		
+（注：以上计算不包括前向纠错的数据量）
+
+前向纠错是最大带宽量的一个固定比例增加：
+
+		max_bandwidth_fec = max_bandwidth*(datashard+parityshard)/datashard
+
+举例，设datashard = 10 , partiyshard = 3，则：
+
+		max_bandwidth_fec = max_bandwidth * (10 + 3) /10 = 1.3*max_bandwidth ＝ 1.3 * 25Mbps = 32.5Mbps
+```
 
 ### 故障排除
 
@@ -283,10 +317,12 @@ type Snmp struct {
 
 ![donate](donate.png)          
 
-特别感谢: 
-> 郑H立, 南东风, Li, 七七, 凌君, 昶，LesMiserables, KyOn, 噼里啪啦, 继斌, 小苍辛苦, Ken, 
-> 乔槁, 佳晨, 猪肉佬, lcx, 昊文, 冰峰, 凡, alex, 海豹SS, 奥姐, 张冰, 司成, 
-> 武子, 慎
+### 特别鸣谢
+
+> 郑H立, 南东风, Li, 七七, 凌君, 昶，LesMiserables, KyOn, 噼里啪啦, 继斌, 小苍辛苦, **Ken**, 
+> 乔槁, 佳晨, 猪肉佬, lcx, 昊文, 冰峰, 凡, alex, **海豹叔叔**, 奥姐, 张冰, 司成, 
+> 武子, **慎**，Alex43211，**Coxxs**，荣，NeroNg，吴骁，定一，我不是林J，Patrick, 超, 陈，windfarer, 宇,
+> 今晶，斌，晓东，最后一缕阳光。
 
 好人一生平安!
 
@@ -296,6 +332,7 @@ type Snmp struct {
 2. https://github.com/EasyPi/openwrt-kcptun
 3. https://github.com/kuoruan/luci-app-kcptun
 4. https://github.com/dfdragon/kcptun_gclient
+5. https://github.com/dfdragon/kcptun_xclient
 
 ### 参考资料
 
@@ -312,3 +349,4 @@ type Snmp struct {
 11. https://tools.ietf.org/html/rfc5827 -- Early Retransmit for TCP and Stream Control Transmission Protocol (SCTP).
 12. http://http2.github.io/ -- What is HTTP/2?
 13. http://www.lartc.org/LARTC-zh_CN.GB2312.pdf -- Linux Advanced Routing & Traffic Control
+14. https://en.wikipedia.org/wiki/Noisy-channel_coding_theorem -- Noisy channel coding theorem

build-release.sh

@@ -12,7 +12,7 @@ fi
 
 VERSION=`date -u +%Y%m%d`
 LDFLAGS="-X main.VERSION=$VERSION -s -w"
-GCFLAGS="-B"
+GCFLAGS=""
 
 OSES=(linux darwin windows freebsd)
 ARCHS=(amd64 386)
@@ -40,3 +40,15 @@ done
 if $UPX; then upx -9 client_linux_arm* server_linux_arm*;fi
 tar -zcf kcptun-linux-arm-$VERSION.tar.gz client_linux_arm* server_linux_arm*
 $MD5 kcptun-linux-arm-$VERSION.tar.gz
+
+#MIPS32LE
+env CGO_ENABLED=0 GOOS=linux GOARCH=mipsle go build -ldflags "$LDFLAGS" -gcflags "$GCFLAGS" -o client_linux_mipsle github.com/xtaci/kcptun/client
+env CGO_ENABLED=0 GOOS=linux GOARCH=mipsle go build -ldflags "$LDFLAGS" -gcflags "$GCFLAGS" -o server_linux_mipsle github.com/xtaci/kcptun/server
+env CGO_ENABLED=0 GOOS=linux GOARCH=mips go build -ldflags "$LDFLAGS" -gcflags "$GCFLAGS" -o client_linux_mips github.com/xtaci/kcptun/client
+env CGO_ENABLED=0 GOOS=linux GOARCH=mips go build -ldflags "$LDFLAGS" -gcflags "$GCFLAGS" -o server_linux_mips github.com/xtaci/kcptun/server
+
+if $UPX; then upx -9 client_linux_mips* server_linux_mips*;fi
+tar -zcf kcptun-linux-mipsle-$VERSION.tar.gz client_linux_mipsle server_linux_mipsle
+tar -zcf kcptun-linux-mips-$VERSION.tar.gz client_linux_mips server_linux_mips
+$MD5 kcptun-linux-mipsle-$VERSION.tar.gz
+$MD5 kcptun-linux-mips-$VERSION.tar.gz

client/main.go

@@ -53,7 +53,12 @@ func newCompStream(conn net.Conn) *compStream {
 	return c
 }
 
-func handleClient(p1, p2 io.ReadWriteCloser) {
+func handleClient(sess *smux.Session, p1 io.ReadWriteCloser) {
+	p2, err := sess.OpenStream()
+	if err != nil {
+		return
+	}
+
 	log.Println("stream opened")
 	defer log.Println("stream closed")
 	defer p1.Close()
@@ -383,23 +388,14 @@ func main() {
 			checkError(err)
 			idx := rr % numconn
 
-		OPEN_P2:
-			// do auto expiration
-			if config.AutoExpire > 0 && time.Now().After(muxes[idx].ttl) {
+			// do auto expiration && reconnection
+			if muxes[idx].session.IsClosed() || (config.AutoExpire > 0 && time.Now().After(muxes[idx].ttl)) {
 				chScavenger <- muxes[idx].session
 				muxes[idx].session = waitConn()
 				muxes[idx].ttl = time.Now().Add(time.Duration(config.AutoExpire) * time.Second)
 			}
 
-			// do session open
-			p2, err := muxes[idx].session.OpenStream()
-			if err != nil { // mux failure
-				chScavenger <- muxes[idx].session
-				muxes[idx].session = waitConn()
-				muxes[idx].ttl = time.Now().Add(time.Duration(config.AutoExpire) * time.Second)
-				goto OPEN_P2
-			}
-			go handleClient(p1, p2)
+			go handleClient(muxes[idx].session, p1)
 			rr++
 		}
 	}