2021年2月3日,视频国家工程实验室正式发布了FAT-AI的最新排行榜,其中包括1:1竞赛第一期排行榜和ReID竞赛第二期排行榜。
依托多年来构建的智能视频分析测评体系、专业的测评方法及评价指标、亿级实际应用场景数据集和自动化测试系统,视频国家工程实验室继发布FAT2019应用测试结果及关键技术指标行业基线之后,结合当前重点关注的疫情防控需求组织了NELIVA FAT-AI应用竞赛(简称:FAT-AI)。竞赛的主旨是:打造公正、开放的国家级AI赛道,通过竞赛为创新拓路,为企业赋能,以竞赛带动创新应用,以竞赛促进产业升级。
本期发布的两项竞赛吸引了来自北京、上海、重庆、浙江、广东、山东、福建、四川、山西等地的几十个企业、团体和个人积极参赛,经过一个半月分期分阶段的专业化测评,绝大部分参赛者都取得了优良的成绩并光荣上榜。特别值得一提的是,本期竞赛还推出了独立的企业排行榜,可以为图像识别算法的选型提供参考。
FAT-AI排行榜展示了每位参赛者在竞赛中的历史最佳算法成绩。最终排名是由每一项独立测评指标的排序值加权得到。排行榜中的每一列代表着不同的测评指标项, 具有不同的参考意义。
1:1竞赛评估了真实场景下各参赛者算法在标准照和抓拍照之间比对的精准度。在0.00001低误识率, 即每10万次比对只允许出现1次错误通过的条件下, 竞赛分别测试了各算法在全体人员、男性、女性这三类不同集合上的通过率、准确率, 并按照从高到低来排序。 最后的排名由这三项排名的加权和来决定。榜单中TMR表示全员, TMR_M表示男性, TMR_F表示女性。
1:1竞赛第一期中最优秀的成绩为:
TMR@FMR(全员之间的比对精度)≤e-5:0.99103,
TMR_M@FMR(男性之间的比对精度)≤e-5:0.99679,
TMR_F@FMR(女性之间的比对精度)≤e-5:0.97702,
被一位昵称为“CMHI_Aibility”的优胜者全部包揽。
1:1竞赛第一期排行榜: http://fat.neliva.com.cn/home/top?id=1vs1
本期Re-ID竞赛评估了真实场景下行人重识别的性能,采用的是当前学术界最流行的mAP、Rank-1指标。Rank-1即首位命中率, 表示算法在用查询图片搜索行人底库时, 返回的最相似行人ID是否匹配。排行榜按照mAP和Rank-1从高到低对各参赛者算法进行排序, 并计算排名的加权和,来决定最终的排名;mAP即 mean Average Precision(平均查准率), 表示算法在用查询图片搜索行人底库时, 返回的最相似行人结果列表中, 正确ID的排序关系和平均精度。
第二期Re-ID竞赛中最优秀的成绩为:Rank-1(首位命中率):0.77176,——为重庆中科云从科技有限公司获得,
mAP(平均查准率):0.64416,——为芯翌科技获得。
第二期ReID竞赛排行榜: http://fat.neliva.com.cn/home/top?id=Re-id
FAT-AI第二期1:1竞赛将于2021年2月18日至3月18日举办(验证集截止3月8日含),第三期Re-ID竞赛将于2021年2月25日至3月25日举办(验证集截止3月5日含)。此外,针对实际无约束场景,视频国家工程实验室还开展了口罩佩戴条件下的识别等竞赛项目。
FAT-AI咨询热线:010-68773553-6317。