学术活动
ACADEMIC EVENTS
实验室完成首轮20家企业算法测评任务
来源:日期:2021/09/10浏览量:1290

受公安部科技信息化局委托,视频图像信息智能分析与共享应用技术国家工程实验室(以下简称:视频国家工程实验室)于今年6-8月开展算法测评,对在全国各地实际应用的30余个算法版本进行了测试,按时、按质完成了任务,得到了委托单位和参测企业的一致认可和好评。大华、海康、华为、旷视、商汤、云从、宇视、依图、紫光等近20家企业参与了本次测试,测评结果于9月7日向参测企业进行了通报。

图一

本次测评以考察算法在实际应用场景中的识别准确率、计算资源占用情况和软硬件兼容性为目标,秉持科学性、公正性、实用性原则,在统一软硬件环境下独立对各算法进行测试,测试结果指出了各算法的差距和优化方向。图一为所有算法的准确率权衡曲线,图中的每条曲线代表了一个算法版本的准确率,曲线越靠下,表示这个算法识别准确率越高。图二展示了各算法准确率和响应时间的分布关系,图中每一个圆点代表一个算法版本。圆点越靠左,表示算法速度越快;圆点越靠下,表示算法准确率越高。黄色框内是本次测评中表现较好的一批算法,绿色框内是最好的一批算法。后续,视频国家工程实验室将根据各地行业应用需求,和相关企业共同探讨,以开放的态度继续优化测评方法和指标,进一步完善测评系统功能。同时,进一步丰富测试数据集,让数据分布更接近实际应用场景,同时也保持区分性和选拔性。

图二

视频国家工程实验室团队自“十一五”起,依托多个国家级、部级重点研发项目,经过十余年努力,初步构建了智能视频分析测评方法体系,形成了专业的测试方法及评价指标、亿级规模实际应用场景数据集和自动化测试系统,并在多地实际应用。为了逐步建立行业视频AI应用关键技术指标参考基线,为各地智能视频系统的规划、选型、应用、考核等提供参照依据,为视频AI算法及系统优化提供科学指导,视频国家工程实验室于2019年启动了FAT-AI应用测试和竞赛。FAT-AI旨在打造科学、公正、开放的国家级AI赛道,目前已开展了1:1验证、基于质量评估的1:1验证、口罩佩戴条件下的1:1验证、Re-ID识别等赛道的多期竞赛。FAT-AI将长期举办,未来将开展更多赛道,以测评促进产业升级、以竞赛带动创新应用。

二维码
010-68773553-6666
neliva@zhongdun.com.cn
会员登录