Skip to content

[疑问] ais_bench 评测qwen3-14B 量化模型时耗时过久 #109

Closed

Description

@ilovexsir

疑问描述

如题,使用ais_bench工具评测qwen3-14b的量化后的模型时耗时过久,使用的数据集是:
http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/aime.zip
如下图:只有一个task
Image

查看日志耗时如下:

Image 服务运行终端: Image

前置检查

  • 我已读懂主页文档的快速入门,无法解答我的疑惑

Activity

  1. github-actions commented on Jan 14, 2026

    @github-actions

    🌟欢迎给AISBench benchmark测评工具提issue,您可以先尝试以下途径寻求issue的解决方法:

    1. 【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库
    2. 在 工具历史issue 中通过问题的关键日志片段或关键词检索相似issue
    3. 在 官方文档 的搜索栏中通过问题的关键日志片段或关键词检索
    4. 寻求仓库维护者的帮助(issue评论区中 @SJTUyh)
  2. github-actions commented on Jan 14, 2026

    @github-actions

    🤖 基于AI机器人的issue内容完整性检查结果:

    问题内容检查结果

    检查状态

    PASS

    详细检查

    • 疑问描述: COMPLETE

    改进建议

    所有内容已完备!

    补充说明

    该 issue 包含了所有必需的章节,并且“疑问描述”部分提供了足够的信息,包括问题描述、使用的工具、模型、数据集以及相关的截图,内容完整且相关。

    👉 如果想重新检查,在评论区@issue_checker即可。

    【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库

  3. github-actions commented on Jan 14, 2026

    @github-actions

    🤖 基于AI机器人的issue内容完整性检查结果:

    问题内容检查结果

    检查状态

    PASS

    详细检查

    • 疑问描述: COMPLETE

    改进建议

    所有内容已完备!

    补充说明

    该issue的“疑问描述”部分内容完整,清晰地阐述了问题(使用ais_bench评测qwen3-14b模型时耗时过久),并提供了关键信息,如使用的工具、模型、数据集链接,以及相关的截图作为佐证,有助于理解和排查问题。

    👉 如果想重新检查,在评论区@issue_checker即可。

    【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库

  4. github-actions commented on Jan 14, 2026

    @github-actions

    🤖 基于AI机器人的issue内容完整性检查结果:

    问题内容检查结果

    检查状态

    PASS

    详细检查

    • 疑问描述: COMPLETE

    改进建议

    所有内容已完备!

    补充说明

    该问题提供了清晰的问题描述,包括使用的工具、模型、数据集,并附上了相关的截图(任务列表和日志耗时),这些信息对于理解和解决问题非常有帮助。

    👉 如果想重新检查,在评论区@issue_checker即可。

    【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库

  5. github-actions commented on Jan 14, 2026

    @github-actions

    🤖 基于AI机器人的issue内容完整性检查结果:

    问题内容检查结果

    检查状态

    PASS

    详细检查

    • 疑问描述: COMPLETE

    改进建议

    所有内容已完备!

    补充说明

    该issue的“疑问描述”部分内容详尽,清晰地阐述了问题(评测耗时过久),提供了使用的工具、模型和数据集信息,并附上了多张截图作为佐证,包括任务列表、日志耗时和服务运行终端界面,信息非常充分。

    👉 如果想重新检查,在评论区@issue_checker即可。

    【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库

  6. SJTUyh commented on Jan 15, 2026

    @SJTUyh
    Collaborator

    请提供ais_bench命令以及对应的配置文件内容

  7. SJTUyh commented on Jan 15, 2026

    @SJTUyh
    Collaborator

    但是光看服务的日志感觉像是服务卡死了

  8. self-assigned this
    on Jun 25, 2026
  9. Keithwwa commented on Sep 23, 2026

    @Keithwwa
    Collaborator

    可通过配置超时REQUEST_TIME_OUT参数,来避免因请求超时、丢失等导致的测评无法结束。
    https://ais-bench-benchmark.readthedocs.io/zh-cn/latest/base_tutorials/all_params/cli_args.html#id7

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

content_check_passedissue content check passedquestionFurther information is requested

Type

No type

Projects

No projects

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions