语音端点检测识别错误

[sealofyou]

请问各位大佬，语音端点检测将两个人说的话识别为一句如何解决。
一般是另一个人说的比较短，导致识别到一起了。
请问如何提高其识别精度，防止下面的情况发生

例子

[{'key': 'crop', 'text': '喂，你好，我是交通银行服务中心客服代表，为防范微信诈骗保障账户安全。我行，对您进行间断的回访。请问您是郭先生本人吗？嗯，是。'
中： 将客服的话和回答放到了一起。
还有这种也是：
[{'key': 'crop', 'text': '好的，请问这个账户是你本人在使用吗？呃，是。', 'timestamp': [[250, 390], [390, 630], [670, 810], [810, 990], [990, 1090], [1090, 1230], [1230, 1390], [1390, 1630], [1630, 1730], [1730, 1930], [1930, 2090], [2090, 2270], [2270, 2470], [2470, 2610], [2610, 2850], [2850, 3090], [3730, 3970], [4050, 4435]]}]

[LauraGPT]

这不是一个单纯的 ASR “识别精度”问题，需要先区分两个目标：

1. 按静音切开语音：由 FSMN-VAD 负责。
2. 判断是否换了说话人：需要 speaker diarization；VAD 只判断语音/非语音，不知道客服和客户是谁。

你第二个例子的时间戳里，前一句最后一个词到回答第一个词约有 3730 - 3090 = 640 ms 的间隔。当前 FSMN-VAD 配置的 max_end_silence_time 默认是 800 ms（配置源码），所以 640 ms 的停顿仍被保留在同一个 VAD 片段里，符合当前配置。

只需要按这段静音切开

可以先把端点静音阈值降到 300–500 ms，例如从 400 ms 开始：

from funasr import AutoModel

model = AutoModel(
    model="paraformer-zh",
    vad_model="fsmn-vad",
    vad_kwargs={"max_end_silence_time": 400},
    punc_model="ct-punc",
)

res = model.generate(input="call.wav", batch_size_s=60)
print(res[0]["text"])

这对你示例中的 640 ms 停顿有机会切开，但阈值越低，客服句子内部的自然停顿也越容易被切碎，所以应在一批真实电话上比较 300/400/500 ms，而不是只看一条录音。max_single_segment_time 和 batch_size_s 都不能识别换人。

需要真正区分两个人

加入 CAM++ 说话人模型；已知通话固定为两人时，可以传 preset_spk_num=2：

from funasr import AutoModel

model = AutoModel(
    model="paraformer-zh",
    vad_model="fsmn-vad",
    vad_kwargs={"max_end_silence_time": 400},
    punc_model="ct-punc",
    spk_model="cam++",
    spk_mode="punc_segment",
)

res = model.generate(
    input="call.wav",
    batch_size_s=60,
    preset_spk_num=2,
)

for seg in res[0].get("sentence_info", []):
    print(seg["start"], seg["end"], seg["spk"], seg["sentence"])

当前流水线会在 VAD/ASR/标点之后计算说话人 embedding、聚类并写入 sentence_info（流水线源码、聚类及输出）。

还有一个与你的“另一个人说得很短”直接相关的限制：当前 CAM++ 后处理会把 短于 0.7 秒 的说话人片段平滑到相邻说话人（源码）。我在 PyPI FunASR 1.3.14 上做了最小校验，0.6 秒的中间说话人片段会被合并，1.2 秒则保留。因此，极短的“嗯”“是”即使启用 CAM++ 也不能保证独立成段；如果业务必须保留所有不足 0.7 秒的插话，需要使用可配置最短说话时长的 diarization 后处理，并在真实电话集上同时评估误切率。