Skip to content

[Bug] 使用harbor框架进行agent测评时,有些时候AISBench计算出的分数和harbor自己打印的reward对不上 #607

Closed

Description

@SJTUyh

操作系统及版本

ubuntu 24.04

安装工具的python环境

docker容器中的python环境

python版本

其他

AISBench工具版本

3.1.20261013

AISBench执行命令

ais_bench xxxxxx.py --mode agent xxxxxxx

模型配置文件或自定义配置文件内容

不关键

预期行为

No response

实际行为

当harbor中存在一些agenttimeout但是实际把交付件生成正确的case时,AISBench会把这些正确的case忽略,导致算出的分比harbor的resukts.json中低

前置检查

  • 我已读懂主页文档的快速入门,无法解决问题
  • 我已检索过FAQ,无重复问题
  • 我已搜索过现有Issue,无重复问题
  • 我已更新到最新版本,问题仍存在

Activity

  1. github-actions commented on Oct 20, 2026

    @github-actions

    🌟欢迎给AISBench benchmark测评工具提issue,您可以先尝试以下途径寻求issue的解决方法:

    1. 【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库
    2. 在 工具历史issue 中通过问题的关键日志片段或关键词检索相似issue
    3. 在 官方文档 的搜索栏中通过问题的关键日志片段或关键词检索
    4. 寻求仓库维护者的帮助(issue评论区中 @SJTUyh)
  2. github-actions commented on Oct 20, 2026

    @github-actions

    🤖 基于AI机器人的issue内容完整性检查结果:

    问题内容检查结果

    检查状态

    FAIL

    详细检查

    • 操作系统及版本: COMPLETE
    • 安装工具的python环境: COMPLETE
    • python版本:

    👉 如果想重新检查,在评论区@issue_checker即可。

    【强烈推荐❤️‍🔥】确保issue描述完整后,可以试着将issue交给Ask DeepWiki回答,deepwiki包含了和工具相关的所有知识库

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workingcontent_check_failedissue content check failed

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions