NELIVA FAT-AI聚类竞赛榜单发布
视频国家工程实验室于2021年11月8日-12月10日举办了NELIVA FAT-AI聚类应用竞赛(以下简称:聚类竞赛)。本次聚类竞赛要求参赛者实现图像特征抽取和聚类算法,以聚类结果精确率和召回率的调和平均数(Pairwise F-score)为最终指标,评价参赛算法的综合聚类性能。排行榜按指标得分从高到低进行排名。
2022年1月21日,视频国家工程实验室发布了FAT-AI聚类竞赛的最新排行榜,浏览地址:https://mfat.neliva.com.cn/top?id=Clustering。本次聚类竞赛中最优秀的成绩为:Pairwise F-score:0.92985。
——▪ 名 词 解 释 ▪——
本次竞赛采用Pairwise F-score作为对人脸聚类的性能评价指标。Pairwise F-score为精确率(precision)和 召回率(recall)的调和平均数。
TP表示基准类别相同且预测类别也相同的样本对数量;
FP表示基准类别不同但预测类别相同的样本对数量;
FN表示基准类别相同但预测类别不同的样本对数量。
召回率 = TP/(TP+FN)
二、冠军队经验分享
本次的冠军队是来自浙江****股份有限公司的iatface团队(应参赛者要求,暂不公布全称。)
(二)在聚类算法中,采用了基于图卷积网络的层次聚类算法。考虑到常用的整体聚类+精细化分割的思路难以适应竞赛对内存的限制,iatface团队借鉴了层次聚类的思路,即先将特征预分成一个个紧密的子簇进行预聚类,子簇之间的连接紧密可保证准确性,之后再对这些子簇进行合并。预聚类与合并模型均采用图卷积网络在大规模数据上进行训练。特别值得一提的是,iatface团队利用了第一点中提到的辅助属性特征,先将不同类型的特征拉齐到相近的稀疏程度,然后再一并聚类;
(三)在工程方面,有两个问题值得特别重视。一是内存问题。iatface团队在阅读竞赛指南时注意到,设备内存上限为16G,那么特征提取环节模型的内存占用、输入数据的内存占用等都有可能会紧张,在现实中,算法也必须保证低资源消耗,这也正是FAT-AI竞赛高要求与专业性的体现;二是耗时问题。考虑到前面的内存限制和此处的耗时要求,在耗时占比最高的相似度计算环节,iatface团队采用了根据系统当前内存余量动态调整批次大小的方法,充分利用了大矩阵乘法的速度优势,同时控制了内存占用。另外,iatface团队对深度学习推理引擎做了底层优化,排查了一些高耗时操作,并做了计算层合并等,最终耗时远低于FAT竞赛的限制时间。
【冠军队赛后评价】:聚类算法是对相同ID的图片进行分类归档,是后续数据治理、快速检索和自动化清洗等实际应用的基础,也是很多上层语义挖掘的基础能力。本竞赛除了具有很高的前瞻性外,难能可贵的是,设置的限制条件充分展现了工业现实要求,具有较高的代表性。非常感谢主办方的辛勤工作,提供这次机会来帮助我们验证和提升聚类算法,可惜本次竞赛我们准备较晚,很多效果优化性细节未能充分考虑。我们后续将积极地参与FAT-AI的其他竞赛,不断锤炼、提升自己的技术水平。我们祝愿FAT-AI竞赛越办越好,在专业性、权威性、实用价值等方面打造成国内独具特色的赛事平台。
三、2021年FAT-AI竞赛年度证书获得者名单
四、2022年FAT-AI竞赛计划
▪ FAT-AI Re-ID应用竞赛将于3月启动 ▪
自视频国家工程实验室开展FAT2019应用测试以来,NELIVA FAT-AI成长至今已2年。FAT-AI一直坚持“以专业测评,引领视频AI技术创新及应用”为使命,努力打造成为科学、公正、开放的专业测评平台。近期,视频国家工程实验室以人工智能2035年发展目标和“十四五”发展路线为指导,拟定了2022年FAT-AI的竞赛计划。
2022年,视频国家工程实验室将进一步升级FAT-AI测试数据集,并拟于3月起分批次举办Re-ID竞赛、1:1竞赛、聚类竞赛、高仿真面具防伪检测竞赛、基于视频的目标分析竞赛等面向行业应用的竞赛。欢迎广大的视频AI研发者积极参与。2022,我们一起携手共进,为科技强国再谱华章!