两台PC，都跑fedora10。
服务器端一个进程，启用3个线程，一个收UDP（只收，大量数据），两个收发TCP（少量控制命令）。
客户端一个进程，启用3个线程，一个UDP线程发数据（只发，大量数据），两个TCP线程收发（收命令并对应服务端命令作出反馈等）。

带宽有限，当客户端往上发的UDP数据把带宽占满时，发现服务器无法通过TCP链路往下发送数据，调用send返回OK但客户端一直收不到。如果带宽比较宽裕，则不存在这样的问题。此时当服务器把tcp链路关闭时，客户端会一瞬间收到所有累计的tcp数据，然后关闭连接。

两边tcp socket都设置了nodelay。

麻烦各位大侠指点一下，怎么避免或者处理这种TCP完全发不动的情况。

我现在让UDP发20K就停30ms，貌似没啥影响。

限制udp流量。这个跟网络上面的p2p传输很像。很多公司都想禁止p2p传输都禁止不了的。最好能在自己的源头上面控制最好。
其实你说的那种情况就是丢包。

在同一台机器上是不是可以考虑以带外数据传送控制消息

用iptable限制一下服务器端udp对应的那个端口的流量试试。

这种带宽都被占完了那还有什么办法呢。

那试着减小TCP的缓冲区看看呢，将缓冲区大小设置为0
SO_SNDBUF    Sets send buffer size.
SO_RCVBUF    Sets receive buffer size.