受公安部科技信息化局委托，视频图像信息智能分析与共享应用技术国家工程实验室（以下简称：视频国家工程实验室）于今年6-8月开展算法测评，对在全国各地实际应用的30余个算法版本进行了测试，按时、按质完成了任务，得到了委托单位和参测企业的一致认可和好评。大华、海康、华为、旷视、商汤、云从、宇视、依图、紫光等近20家企业参与了本次测试，测评结果于9月7日向参测企业进行了通报。

图一

本次测评以考察算法在实际应用场景中的识别准确率、计算资源占用情况和软硬件兼容性为目标，秉持科学性、公正性、实用性原则，在统一软硬件环境下独立对各算法进行测试，测试结果指出了各算法的差距和优化方向。图一为所有算法的准确率权衡曲线，图中的每条曲线代表了一个算法版本的准确率，曲线越靠下，表示这个算法识别准确率越高。图二展示了各算法准确率和响应时间的分布关系，图中每一个圆点代表一个算法版本。圆点越靠左，表示算法速度越快；圆点越靠下，表示算法准确率越高。黄色框内是本次测评中表现较好的一批算法，绿色框内是最好的一批算法。后续，视频国家工程实验室将根据各地行业应用需求，和相关企业共同探讨，以开放的态度继续优化测评方法和指标，进一步完善测评系统功能。同时，进一步丰富测试数据集，让数据分布更接近实际应用场景，同时也保持区分性和选拔性。

图二

视频国家工程实验室团队自“十一五”起，依托多个国家级、部级重点研发项目，经过十余年努力，初步构建了智能视频分析测评方法体系，形成了专业的测试方法及评价指标、亿级规模实际应用场景数据集和自动化测试系统，并在多地实际应用。为了逐步建立行业视频AI应用关键技术指标参考基线，为各地智能视频系统的规划、选型、应用、考核等提供参照依据，为视频AI算法及系统优化提供科学指导，视频国家工程实验室于2019年启动了FAT-AI应用测试和竞赛。FAT-AI旨在打造科学、公正、开放的国家级AI赛道，目前已开展了1:1验证、基于质量评估的1:1验证、口罩佩戴条件下的1:1验证、Re-ID识别等赛道的多期竞赛。FAT-AI将长期举办，未来将开展更多赛道，以测评促进产业升级、以竞赛带动创新应用。