[疑问] 多个不同系统提示词，如何提取和构造测试集 #235

Activity

1. li404106603

   added

   questionFurther information is requestedFurther information is requested

   on Apr 10, 2026
2. github-actions commented on Apr 10, 2026

   

   github-actionsBot

   on Apr 10, 2026 – with GitHub Actions

   More actions

   🌟欢迎给AISBench benchmark测评工具提issue，您可以先尝试以下途径寻求issue的解决方法：

   1. 【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库
   2. 在 工具历史issue 中通过问题的关键日志片段或关键词检索相似issue
   3. 在 官方文档 的搜索栏中通过问题的关键日志片段或关键词检索
   4. 寻求仓库维护者的帮助（issue评论区中 @SJTUyh）
3. github-actions commented on Apr 10, 2026

   

   github-actionsBot

   on Apr 10, 2026 – with GitHub Actions

   More actions

   🤖 基于AI机器人的issue内容完整性检查结果:

   问题内容检查结果

   检查状态

   PASS

   详细检查

   • 疑问描述: COMPLETE

   改进建议

   所有内容已完备！

   补充说明

   该issue内容完整，清晰地描述了疑问背景和具体问题，并且包含了前置检查，符合要求。

   👉 如果想重新检查，在评论区@issue_checker即可。

   【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库
4. github-actions

   added

   content_check_passedissue content check passedissue content check passed

   on Apr 10, 2026
5. SJTUyh commented on Apr 10, 2026

   

   SJTUyh

   on Apr 10, 2026

   Collaborator

   More actions

   以这个 https://github.com/AISBench/benchmark/blob/master/ais_bench/benchmark/configs/datasets/custom/custom_qa_gen.py 为基础做如下修改：

   from ais_bench.benchmark.openicl.icl_prompt_template import PromptTemplate
   from ais_bench.benchmark.openicl.icl_retriever import ZeroRetriever
   from ais_bench.benchmark.openicl.icl_inferencer import GenInferencer
   from ais_bench.benchmark.datasets import CustomDataset
   from ais_bench.benchmark.openicl.icl_evaluator import AccEvaluator
   
   
   custom_reader_cfg = dict(
       input_columns=['system_prompt', 'question', 'max_out_len'], # 自定义数据集中每条数据添加'system_prompt'列表示系统提示词，'question'列表示问题
       output_column='answer', # 数据集中需要有 'answer' 列
   )
   
   
   custom_infer_cfg = dict(
       prompt_template=dict(
           type=PromptTemplate,
           template=dict(
               round=[
                   dict(role="SYSTEM", prompt="{system_prompt}"), # 传入系统提示词
                   dict(role="HUMAN", prompt="{question}"), # 传入问题
               ]
           )
       ),
       retriever=dict(type=ZeroRetriever),
       inferencer=dict(type=GenInferencer)
   )
   
   custom_eval_cfg = dict(
       evaluator=dict(type=AccEvaluator), pred_role='BOT',
   )
   
   custom_datasets = [
       dict(
           abbr='qa',
           type=CustomDataset,
           path='ais_bench/datasets/custom/qa.jsonl', # 数据集路径，使用相对路径时相对于源码根路径，支持绝对路径
           meta_path = '',   # 可选，传入数据集补充信息
           reader_cfg=custom_reader_cfg,
           infer_cfg=custom_infer_cfg,
           eval_cfg=custom_eval_cfg
       )
   ]
6. jschen069

   self-assigned this

   on Jun 25, 2026
7. Keithwwa

   added this to the AISBench 2026 Q4 Roadmap milestone on Sep 20, 2026
8. Keithwwa

   closed this as completedon Sep 23, 2026