金融大模型应用评估与评测指南
为规范金融大模型的应用，提升其在金融领域的效能，上海市人工智能行业协会和上海金融业联合会联合发布了全国首个以金融业务能力为核心的团体标准——《金融大模型应用评估指南》。该指南以金融业务为核心，以金融机构模型应用为导向，构建了金融领域大模型的能力测评框架，涉及模型基础、金融安全与价值对齐、金融风险控制、金融专业认知和金融业务辅助拓展五个维度，共计 185 项指标要求。
模型基础能力
在模型基础能力方面，指南围绕模型基础理解和推演功能，定义了包括文本分类、信息抽取等在内的 11 项单模态指标要求，以及图文检索、视频问答等在内的 6 项多模态指标要求。
金融安全与价值对齐能力
在金融安全与价值对齐能力方面，指南围绕模型的可靠性、可解释性和隐私保护，设计了内容合规、文化价值、伦理价值等在内的 9 项指标要求，确保大模型应用的安全性、合规性和社会责任感。
金融风险控制能力
在金融风险控制能力方面，指南围绕模型在实际应用中的风险防范与控制，提出了利率风险、汇率风险、舆情风险等在内的 19 项指标要求，助力金融机构有效识别和管理大模型应用带来的风险。
金融专业认知能力
在金融专业认知能力方面，指南围绕模型的金融基础知识和信息解读，归纳了会计核算、财务报表编制与分析等在内的 23 项指标要求，确保大模型应用具备必要的金融专业知识和分析能力。
金融业务辅助拓展能力
在金融业务辅助拓展能力方面，指南围绕银行、基金、保险、证券、信托等 5 个领域，提炼了 28 项业务场景，包括存贷款业务、量化交易等在内的 117 项指标要求，支持金融机构利用大模型提升金融服务能力和创新业务模式。
同日发布的金融大模型评测数据集
为了支持《金融大模型应用评估指南》的实施，上海库帕思科技有限公司发布了多维度金融大模型评测数据集 (2024 版)。该数据集结合了金融行业的实践，包含 44000 余句对的评测数据，覆盖了指南中的所有指标要求。
数据集特点
金融大模型评测数据集 (2024 版) 具有规模大、结构优、价值对齐等特点：
* 规模大：包含 44000 余句对的评测数据，涵盖多种金融业务场景和知识类型。
* 结构优：评测数据按照指南的指标要求进行分类和组织，便于金融机构针对性地开展评测。
* 价值对齐：评测数据与金融行业的实践高度对齐，能够有效反映金融大模型在实际应用中的效能。
该数据集将定期更新，并已在 Open Data Lab 和开放原子社区发布。
应用指南的重要意义
《金融大模型应用评估指南》的发布具有重要意义，它为金融机构评估和应用金融大模型提供了统一的标准和框架，有助于：
* 提升金融大模型的应用水平，充分发挥其在金融领域的潜力。
* 规范金融大模型的应用，确保其安全、合规和负责任地使用。
* 推动金融科技创新，促进金融产业的数字化转型。
上海库帕思科技有限公司董事长山栋明表示，此次发布的应用指南将金融业务需求置于首位，打破了传统评测的局限，能够更全面、准确地评估金融大模型的效能，为金融机构在金融科技时代取得成功提供有力支撑。
原创文章，作者：讯知在线，如若转载，请注明出处：http://web.xzxci.cn/2024/12/07/30405.shtml
