Skip to content

[疑问] 精度测试适配于哪些模型? #197

Closed

Description

@cxj01

疑问描述

在使用ais_banch精度测试Qwen2.5-7B、32B、Qwen3.5-35B-A3B时,利用demo_gsm8k_gen_4_shot_cot_chat_prompt测试时,结果都是0,是prompt问题?那精度测试只适配哪些模型?

前置检查

  • 我已读懂主页文档的快速入门,无法解答我的疑惑

Activity

  1. github-actions commented on Mar 17, 2026

    @github-actions

    🌟欢迎给AISBench benchmark测评工具提issue,您可以先尝试以下途径寻求issue的解决方法:

    1. 【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库
    2. 在 工具历史issue 中通过问题的关键日志片段或关键词检索相似issue
    3. 在 官方文档 的搜索栏中通过问题的关键日志片段或关键词检索
    4. 寻求仓库维护者的帮助(issue评论区中 @SJTUyh)
  2. github-actions commented on Mar 17, 2026

    @github-actions

    🤖 基于AI机器人的issue内容完整性检查结果:

    问题内容检查结果

    检查状态

    PASS

    详细检查

    • 疑问描述: COMPLETE

    改进建议

    所有内容已完备!

    补充说明

    当前Issue内容已包含所有必需部分,并且信息充分,描述清晰。

    👉 如果想重新检查,在评论区@issue_checker即可。

    【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库

  3. cxj01 commented on Mar 17, 2026

    @cxj01
    Author
  4. Keithwwa commented on Mar 23, 2026

    @Keithwwa
    Collaborator

    请参考精度测评结果介绍,可在predictions路径下查看详细的推理结果,以进一步分析结果为0的原因。初步猜测是配置最大输出长度较小,输出被截断。

  5. self-assigned this
    on Jun 25, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

content_check_passedissue content check passedquestionFurther information is requested

Type

No type

Projects

No projects

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions