opsd训练 The client socket has timed out after 300000ms while trying to connect to xxxxx:51216

[Sting-Scorpion]

Checklist / 检查清单

• I have searched existing issues, and this is a new question or discussion topic. / 我已经搜索过现有的 issues，确认这是一个新的问题与讨论。

Question Description / 问题描述

我在进行opsd训练，看其他issues说server的51216端口是用于通信的。但是我使用了另一台服务器来对student模型进行rollout和teacher模型进行deploy，该服务器只对外开放了rollout和deploy时的两个端口（host和port会变），51216端口未另外开放，因此会有The client socket has timed out的问题。
我想请问，我是额外再让部署模型的服务器对外开放一个通信的端口吗？该端口需要提前部署什么服务吗

[hjh0119]

If port 51216 is already in use, set --vllm_server_group_port to a different value

[Sting-Scorpion]

So the rollout server use init_communicator method to create port 51216 for communication, and i need to open port 51216 to the public. But since the host and port will change during opening the port, for example, I open port 51216 on the rollout server, but the port open to the public(like other servers) would be 30678, should I change the code, to make the port number to be open as 51216, but vllm_server_group_port as 30678?

[hjh0119]

参与权重同步的 rollout server 需要一个额外的内部通信端口 vllm_server_group_port（默认 51216），在你的场景下即 student rollout 那台需要。注意它和 rollout server 自身的 HTTP 服务端口（训练端 --vllm_server_port）是两条独立的通道，不要混淆：HTTP 端口走 /infer/ 等请求，group port 用于建立权重同步的 NCCL 通信。

这个端口不需要你预先部署任何服务，vLLM server 收到训练端的 /init_communicator/ 请求后会自己在上面创建 TCPStore，你只要保证它可达且没被占用即可。如果 51216 不方便开放，可以用 --vllm_server_group_port <已开放端口> 指定成一个允许的端口。

另外跨机的 rollout server 还需要确认 nccl 联通

[Sting-Scorpion]

感谢答疑。另外，如果我使用colocate方式，训练35b-a3b的模型，总是遇到CUDA out of memory的问题。在8x80G的A800上是否能符合显存需求？以及像vllm_gpu_memory_utilization等参数如何设置能让显存不炸

[hjh0119]

可以试试 megatron https://github.com/modelscope/ms-swift/blob/main/examples/megatron/grpo/moe_colocate_lora.sh