FinanceBench 是 Patronus AI 发布的金融开放书问答评测基准，用于评估大模型在公开上市公司文件上的问答能力。它包含一批公开样例，问题围绕真实公司、真实文件和可验证答案展开，并强调证据字符串。FinanceBench 的重要性在于，它不是展示模型多聪明，而是揭示当前大模型在金融问答中的可靠性不足。

该项目论文中提到，即使使用强模型和检索增强，很多问题仍然会出现错误、拒答或幻觉。这对银行非常有警示意义：金融问答不能只看回答是否流畅，而要看是否引用正确文件、是否理解问题、是否进行正确计算、是否承认无法回答。FinanceBench 把这种评测做成了可复用样例。

与 FinQA、TAT-QA 相比，FinanceBench 更接近企业落地评测。它关注“用户拿真实公司文件问一个清晰问题，模型能不能给出正确、可证据支持的答案”。这正是银行构建内部知识库问答、财报助手和投研助手时必须解决的问题。

FinanceBench 对数据标注的启发也很大。它要求问题、答案、公司、文件和证据都要明确，避免只有泛泛的问题。银行未来如果建立自己的 AI 评测集，也应该采用类似方法：从真实业务问题出发，标注标准答案和证据位置，再用它持续评测模型版本、检索策略和提示词。

• 面向金融开放书问答，基于真实上市公司文件和可验证答案。
• 强调证据字符串，适合评估 RAG、长上下文和金融 LLM 的可靠性。
• 关注企业落地中的真实问题，而不是只做学术任务分数。
• 可作为银行内部知识库问答评测集建设的参考模板。

FinanceBench 最值得学习的是“金融 AI 评测要接近业务真实问题”。评测不应只问定义题，而应问需要查文件、核数字、比口径、给证据的问题。它也展示了人工复核的重要性，因为金融答案的正确性不能只由模型自评。

对银行来说，这个项目非常适合作为内部 benchmark 设计参考。比如可以为授信制度、产品制度、财务报表、监管通知分别设计问题、答案和证据，用来评估内部大模型助手是否可靠。

• 金融 RAG、长上下文模型和财报问答系统评测。
• 银行内部制度问答、授信问答和投研助手的测试集设计。
• 模型幻觉、拒答、证据引用和计算错误分析。
• 金融 AI 上线前验收和版本回归测试。
• 训练业务人员理解“模型回答好看不等于正确”。

FinanceBench 公开样例规模有限，完整数据并非全部开放；仓库本身未明确标注开源协议，生产复用前需要确认授权边界。它主要面向英文公开公司文件，不能直接覆盖中文银行制度和内部数据。使用时应把它作为评测方法参考，而不是唯一评测标准。