上海首家生成式AI质检中心挂牌为人工智能软件各项指标“体检”

新民晚报| 2023-07-31 08:57:39

(相关资料图)

新民晚报讯（记者马亚宁）“无中生有”堪称生成式人工智能强大学习能力的“本色”。可是，在从无到有的过程中，人工智能会不会犯错？近日，由上海计算机软件技术开发中心筹建的上海市生成式人工智能质量检验检测中心挂牌。作为上海首家批筹的人工智能领域质检中心，其将帮助生成式人工智能在深度学习，智能生成过程中及时修偏纠错，助生成式AI产品名副其实，少走弯路。

Chatgpt强大的智能潜力，让生成式AI瞬间火遍全球。今年5月发布的《中国人工智能大模型地图研究报告》显示，我国已有79个10亿级以上参数规模的大模型。不过，在一些大语言模型应用初期，部分恶意用户可能会通过角色扮演、分步提问等方式，规避大语言模型安全规则，诱导其给出违反法律法规的回答，或者生成违背伦理道德的内容。如何客观地评价大模型的性能，同时让刚刚萌芽且学习能力飞快的大模型应用合礼、合规，成为赋能各行各业的重要一环。

生成式人工智能质量检验检测中心，正是要检测生成式AI产品中潜在的类似漏洞，提升人工智能系统的安全性，减少各类风险。“我们会对送检的人工智能软件各项指标进行‘体检’，并出具详细‘体检报告’。”上海科学院直属上海计算机软件技术开发中心主任蔡立志说，上海市生成式人工智能质检中心重点聚焦生成式人工智能、工业智能质检、智慧医疗、人脸识别、自动驾驶领域的人工智能检验检测。

据介绍，该质检中心将参考国内外人工智能测评标准，自主研发人工智能深度安全和测评技术与工具，包括对抗样本生成与防御评估工具、自然语言处理系统测评数据生成工具、人工智能虚假人脸检测工具、人工智能风险评估与治理工具等，为企事业单位提供人工智能质量“一站式”测评服务。

近年来，在上海科学院部署下，上海计算机软件技术开发中心布局并开展了人工智能的应用、治理、测评等技术研究与第三方技术服务，参与编写了《人工智能标准化白皮书（2021版）》，完成了《人工智能深度合成图像系统技术规范》《人工智能计算机视觉系统测评规范》等30余项标准研制，近三年来为人工智能企业与应用方提供第三方测评年均超过500项。