Expand MOI RAG benchmark plans and parser evaluation

rag/.env.example

@@ -0,0 +1,13 @@
+# Copy this file to /Users/muuushroom/gitrepos/moi-benchmark/rag/.env.
+# Never commit the real token.
+MINERU_API_TOKEN=replace-with-token-created-in-mineru-api-console
+
+# Local MatrixFlow OpenXML parser (DOCX/PPTX/XLSX)
+OPENXML_BASE_URL=http://127.0.0.1:8080
+SOFFICE_BIN=/absolute/path/to/soffice
+MOI_DOCX_GEOMETRY_ALIGNER=/absolute/path/to/docx-geometry-aligner
+
+# MatrixOrigin TaaS OpenAI-compatible multimodal endpoint
+TAAS_BASE_URL=https://api-taas.moi.matrixorigin.cn/v1
+TAAS_VL_MODEL=qwen3-vl-plus
+TAAS_API_KEY=replace-with-taas-api-key

rag/.gitignore

@@ -7,3 +7,10 @@
 taas*.py
 weekly*.md
 .env
+*.difypkg
+runs/
+outputs/parsed-documents/
+benchmarks/
+tmp/
+~$*.xlsx
+tmp/

rag/decisions/moi-identity.md

@@ -0,0 +1,17 @@
+# MOI 身份决策（Canonical Identity Decision）
+
+- **MOI 全称**：MatrixOne Intelligence
+- **厂商**：MatrixOrigin
+- **官方 URL**：https://www.matrixorigin.io/moi
+- **用户确认日期**：2026-08-04
+
+moi-ai.com 的 **MoiAI** 是不同产品，不得与 MatrixOrigin 的 MOI 混用。
+
+## 引用规则
+
+后续关于 MOI 的产品定位、竞品、能力或评测，只能引用已核验的 MatrixOrigin 官方资料及明确属于 MatrixOne Intelligence 的材料；不得将 moi-ai.com 的 MoiAI 资料归入 MOI。
+
+以下两份稿件属于身份污染稿，仅保留作历史记录，**DO NOT CITE**：
+
+- `plans/drafts/moi-product-positioning-and-local-test.md`
+- `plans/todo/moi-rag-competitor-landscape.md`

rag/dify-rag-eval/.gitignore

@@ -5,3 +5,4 @@ __pycache__/
 *.py[cod]
 runs/*
 !runs/.gitkeep
+config.multihop.local.json

rag/plans/drafts/moi-product-positioning-and-local-test.md

@@ -0,0 +1,98 @@
+> ⚠️ **WARNING / 身份污染 / DO NOT CITE**：本稿将 moi-ai.com 的 **MoiAI** 误识别为 MatrixOrigin 的 **MOI**，因此不得作为 MOI 的产品定位、竞品、能力或评测依据。仅保留作历史记录；身份以 [canonical identity decision](../../decisions/moi-identity.md) 为准。
+
+# MoiAI 产品定位与本地对比测试建议
+
+更新日期：2026-08-04
+
+## 结论
+
+MoiAI 不宜以“RAG 准确率冠军”作为主要发布定位。更可信、更有差异化的定位是：**把用户本地与企业知识变成可直接交付的工作成果的桌面 AI Agent**。RAG 是 Moi 的知识入口；真正可能形成产品优势的是知识检索之后的 Word 审阅、文档比较、文书生成、PPT、邮件和本地文件操作闭环。
+
+公开发布建议对比四个产品：**Gemini Notebook（原 NotebookLM）、腾讯 ima.copilot、ChatDOC、AnythingLLM**。内部研发另加 **RAGFlow** 作为复杂文档解析与可调检索的工程基线。
+
+## 为什么是这四个公开竞品
+
+| 竞品 | 它代表的上限 | 与 Moi 的核心对比 | 是否适合发布材料 |
+|---|---|---|---|
+| Gemini Notebook（原 NotebookLM） | 基于来源的多文档研究、引用验证和内容综合 | Moi 能否在答案质量接近时，进一步完成本地办公交付 | 是；品牌认知高、操作可复现 |
+| 腾讯 ima.copilot | 中文知识库工作台、个人/共享知识组织、搜读写体验 | Moi 的中文专业文档、桌面文件与原生办公操作是否更强 | 是；国内用户容易理解 |
+| ChatDOC | PDF/扫描件/表格/公式、跨文档问答、页码和片段溯源 | 直接揭示 Moi 的复杂文档解析、证据引用短板或能力 | 是；垂直能力边界清晰 |
+| AnythingLLM | 真正的桌面端、设备内运行、私有文档知识库、模型可选 | 与 Moi 最接近的本地桌面架构对手；验证隐私、部署与操作闭环 | 是；可下载、可重复测试 |
+
+RAGFlow、FastGPT、Dify、MaxKB 不应进入首发主榜：它们更像可配置的 RAG/Agent 构建平台，成绩高度依赖模型、解析器、切分、召回和重排参数，与开箱即用的桌面/SaaS 产品混排并不公平。RAGFlow 可进入内部工程榜，用于判断 Moi 距离一个经过调优的复杂文档 RAG 上限有多远。
+
+## Moi 的独特性与可能优势
+
+### 1. Knowledge-to-action，而不只是 knowledge-to-answer
+
+官方能力把本地文件搜索、知识库与 Word、PPT、邮件、日历和文件操作放在一个桌面 Agent 中。Notebook/ChatDOC 的典型终点是“给出答案或摘要”；Moi 的潜在终点是“生成带批注的 Word、完成多文档条款对比、输出客户邮件或演示文稿”。这是最值得验证和发布的差异。
+
+### 2. 桌面与本地文件系统是产品主场
+
+Moi 官方宣称可语义索引和搜索整个本地文件系统，并通过原生工具调用操作文件和办公应用。若测试证明无需反复上传、能感知文件更新、能从检索结果继续执行任务，这会比传统“上传文件到一个聊天框”更贴近日常专业工作。
+
+### 3. 面向法律、财务、咨询等专业交付物
+
+Moi 的快速指南已展示 DOCX 审阅批注、法律文书生成、多文档条款比较和风险提示。它可能不需要在所有通用知识问答上赢，只要在“准确找到依据，并形成可复核的专业交付物”上明显减少步骤，就能形成更强的产品价值。
+
+### 4. 企业部署与模型选择
+
+企业版支持在企业服务器/设备内处理，并允许云模型或本地小模型。对敏感文档行业，这种部署和模型选择是有价值的。但这项优势必须分版本表达。
+
+## 不能直接当成优势发布的部分
+
+- **个人版不等于完全本地。** 官方安全页将个人版描述为共享服务上的独立 sandbox；安装文档也要求连接 MoiAI private server。只有企业版以及明确选择本地模型/本地处理路径时，才能严格表述为本地或私有部署。
+- **引用和证据体验尚无充分公开说明。** 官方快速指南展示知识库搜索，但没有像 Gemini Notebook、ChatDOC 那样明确说明页码级/段落级引用。发布前必须实测。
+- **复杂文档解析边界不清楚。** OCR、扫描 PDF、表格、公式、图片、超长文档和大规模语料的公开规格不足。
+- **“99% 准确率”等营销数字不能直接使用。** 在没有公开数据集、评测方法和可复现实验前，应换成自己的基准结果。
+
+## 发布测试应使用双榜，而非一个总分
+
+### 榜一：知识库问答能力
+
+- 答案事实正确性
+- 支撑证据是否召回
+- 引用能否准确跳转到页码/段落
+- 无证据问题是否拒答
+- 跨文档、多跳问题
+- 扫描件、表格、公式和图片
+- 中文、多轮追问、文档更新后的一致性
+
+### 榜二：从知识到交付的任务完成能力
+
+- 根据多个合同找到冲突条款并生成带批注 Word
+- 根据政策库生成一页风险备忘录并保存为 DOCX/PDF
+- 根据产品资料生成客户邮件草稿和 PPT
+- 从本地目录自动选择正确文件，而不是要求人工逐个上传
+- 原文更新后重新检索并更新交付物
+- 总步骤数、人工点击数、完成时间、最终文件可用性
+
+这两个榜应分别公布。Moi 即使在纯问答榜只处于中上水平，也可能凭任务闭环赢得产品价值；把两者揉成一个分数反而会掩盖真正差异。
+
+## 建议的测试矩阵
+
+| 层级 | 系统 | 默认测试方式 |
+|---|---|---|
+| 公开 SaaS 对照 | Gemini Notebook、ima、ChatDOC | 使用免费/标准个人版默认设置 |
+| 公开桌面本地对照 | AnythingLLM、MoiAI | 使用相同电脑；记录 CPU/GPU/内存、模型及是否联网 |
+| 内部工程上限 | RAGFlow | 固定模型；同时报告默认配置与一次合理调优配置 |
+
+准备 20–50 份专业文档，包含 DOCX、原生 PDF、扫描 PDF、表格密集报告、重复/冲突版本和无答案干扰文档。纯问答每类至少 30 题，交付任务至少 10 个；所有系统使用同一份语料和同一措辞。公开结果同时展示成功案例与失败案例。
+
+## 推荐的发布主张
+
+> MoiAI 不是另一个“和 PDF 聊天”的工具。它让专业人士在自己的桌面和企业知识上完成从查找依据、交叉核验，到生成 Word、PPT、邮件与本地文件的完整工作闭环。
+
+在实测支持前，不建议使用“最准确的 RAG”“完全本地”“零幻觉”等绝对表述。
+
+## 官方依据
+
+- MoiAI 首页：https://moi-ai.com/
+- MoiAI 快速指南：https://moi-ai.com/introduction-chs
+- MoiAI 安装说明：https://moi-ai.com/help-center/article/download-install-moi-ai
+- MoiAI 安全与部署：https://moi-ai.com/security
+- MoiAI 隐私政策：https://moi-ai.com/privacy
+- Gemini Notebook：https://workspace.google.com/products/gemini-notebook/
+- ChatDOC：https://doc.chatdoc.com/guide/what-is-chatdoc/
+- AnythingLLM：https://anythingllm.com/
+- RAGFlow：https://ragflow.net/docs