OpenFinData 是东方财富与上海人工智能实验室联合发布的开源金融评测数据集,面向大语言模型金融能力评估。它强调来自实际金融业务场景,包含金融知识、金融事实、金融判别、金融计算、金融分析、金融解读、金融合规等模块。 这个项目非常适合作为“产业化评测”的样本。相比只用考试题,OpenFinData 更强调金融场景拆分:术语解释、事实判断、意图理解、情绪识别、实体识别、数值提取、指标计算、股票/基金/行业分析、公告解读、宏观解读和合规判断。这些模块与真实金融机构应用更接近。 OpenFinData 还与 OpenCompass 评测框架结合,说明金融模型评估不仅是数据集问题,也是工具链问题。银行如果未来做内部模型评测,也需要类似机制:统一数据格式、统一运行脚本、统一指标输出、统一报告模板,避免每个团队用不同方法评估。
项目主要介绍
OpenFinData 是东方财富与上海人工智能实验室联合发布的开源金融评测数据集,面向大语言模型金融能力评估。它强调来自实际金融业务场景,包含金融知识、金融事实、金融判别、金融计算、金融分析、金融解读、金融合规等模块。
这个项目非常适合作为“产业化评测”的样本。相比只用考试题,OpenFinData 更强调金融场景拆分:术语解释、事实判断、意图理解、情绪识别、实体识别、数值提取、指标计算、股票/基金/行业分析、公告解读、宏观解读和合规判断。这些模块与真实金融机构应用更接近。
OpenFinData 还与 OpenCompass 评测框架结合,说明金融模型评估不仅是数据集问题,也是工具链问题。银行如果未来做内部模型评测,也需要类似机制:统一数据格式、统一运行脚本、统一指标输出、统一报告模板,避免每个团队用不同方法评估。
金融 + AI 核心特点
- 项目方向是:开源金融评测数据集,核心学习问题是:真实产业金融场景如何转化为大模型金融能力评测数据。
- 能帮助理解金融场景中数据、模型、检索、推理、智能体、知识图谱或评测之间的衔接方式。
- 适合用公开数据做原型学习,再思考如何迁移到银行内部制度、产品、客户、风控或运营场景。
- 项目地址:https://github.com/open-compass/OpenFinData。 ↗
- 开源协议标注为:Apache-2.0;若协议未明确,建议仅作学习研究参考。
可学习内容
重点学习金融评测任务如何按业务模块组织。它把金融能力拆成知识、事实、判别、计算、分析、解读和合规,适合直接迁移到银行内部评测框架设计。
还可以学习评测和框架结合的方式。一个好的评测集如果没有可复现运行方式,实际价值会下降;OpenCompass 接入提供了更标准的模型测试路径。
应用方向
- 金融 LLM 内部验收测试。
- 银行业务场景化题库和模块化评测设计。
- 公告、研报、基金、行业、宏观解读任务参考。
- 合规问答和风险提示能力测试。
- 对多个模型进行统一评测报告输出。
风险与局限
公开数据集不能覆盖机构私有知识和内部流程,且模型可能针对公开 benchmark 过拟合。银行落地时应把 OpenFinData 作为框架参考,再补充内部数据、脱敏样例和真实人工审核标准。
原始来源与整理依据
文字分析来自内容源;业务分类、技术标签由 SeekingDAO 按规则整理。披露效果保留原有时间、范围和预测口径,未作独立审计。开源项目与 Skill 的当前许可、兼容性及依赖请以其上游为准。