CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛

挑战赛背景
挑战赛规则
挑战赛赛程
权责说明
交流群及联系方式
最新排行榜

挑战赛背景

当新冠肺炎疫情突然来袭之际，口罩瞬间成了公众的生命防线，也给人脸识别技术带来了前所未有的新挑战。为促进产学研融合发展，推动开放场景中人脸识别技术的提升，引领广大视频AI研究者进行常态化疫情防控下的“战疫”科技创新，选拔出人工智能领域的高精尖人才，由中国图象图形学学会和视频图像信息智能分析与共享应用技术国家工程实验室（简称“视频国家工程实验室”，英文简称：NELIVA）共同主办了“CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛”。本挑战赛内容为非约束场景中佩戴口罩条件下的人脸识别，采用的是真实开放场景、严格标注筛选的多样化测试集，分为线上挑战赛和线下答辩两个阶段。

本次挑战赛的主旨是：打造公正、开放的国家级 AI 赛道，以专业测评推动人脸识别技术的创新及应用。通过竞赛为创新拓路，为企业和科技人才赋能，以竞赛带动创新应用，以竞赛促进产业升级。

本挑战赛的意义在于，排除了参赛者数据积累能力的偏差，让更多学术界研究者与工业界研究者具有针对工业领域应用的对等竞争能力，使研究者聚焦算法本身的跨域泛化能力研究。跨域泛化是目标识别乃至深度学习技术中的难点问题，该问题的研究不管对学术界理论突破还是工业界应用水平提升都具有重大价值。

（1）挑战赛介绍

竞赛名称：CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛（简称：“CFAT 2021”）
竞赛网址：http://fat.neliva.com.cn/CFAT2021

本挑战赛依托于视频国家工程实验室多年来构建的智能视频分析测评体系、专业的测评方法、评价指标以及实际应用场景数据集和自动化测试系统，在本实验室的FAT-AI应用竞赛平台（http://fat.neliva.com.cn）上设立了CFAT 2021挑战赛的独立赛道，用于参赛者的程序提交、获取结果通知、及时查看排行榜等工作。挑战赛要求参赛者使用统一的开放学术数据集进行训练，训练出的算法模型在应用场景数据集和统一的硬件平台上进行测试，模型格式统一采用onnx开源格式。

本挑战赛将分为线上挑战赛和线下答辩两个阶段。线上挑战赛为基于图片的口罩佩戴条件下的人脸识别1:1，即给定两张人脸图片, 一张图片佩戴口罩, 一张不佩戴口罩, 算法需要判断两张照片是否属于同一个人。比赛将使用（TMR@FMR<=e-5）作为客观性能指标。线下答辩将在ICIG 2021会议现场（海口）进行。

（2）组织结构

主办单位：中国图象图形学学会、视频国家工程实验室
协办单位：CSIG视频图像与安全专业委员会、北京图象图形学学会

挑战赛规则

（1）挑战赛项目

挑战赛项目为口罩佩戴条件下的人脸识别1:1，比对所有参赛者在测试集上误识别率<=0.00001下的召回率，从高到低排序。

（2）训练集

挑战赛将为参赛者指定数据集作为训练集，不可采用任何外部数据，指定数据集如下：

a) MS1M-RetinaFace: 5M images，93K classes；

数据来源(请前往该地址下载训练数据)：https://github.com/deepinsight/insightface/tree/master/challenges/iccv19-lfr

b) 数据集已对齐为112x112, 参赛者可对图片截取部分矩形区域做训练和测试，但在此过程中不可引入外部知识，也不可重新做矫正对齐；

c) 参赛者可使用以下工具来抽取人脸关键点和制作假口罩贴图，口罩图片可以自行收集，不超过10张: https://github.com/deepinsight/insightface/tree/master/recognition/tools。

（3）测试集

测试集来自面向行业应用的实际无约束场景，标准照与开放场景下的戴口罩照片比例为1:1。

（样例图采自视频国家工程实验室工作人员）

（4）测试规则

1. 参赛者利用主流的深度学习框架(如PyTorch，MXNet，TensorFlow等)以及指定的训练集完成算法训练，训练完成后将结果模型转换为onnx格式(https://onnx.ai/)并在视频国家工程实验室的竞赛平台上提交。竞赛将定期对模型进行准确率评估，反馈给参赛者；

2. 参赛者需保证提交的模型可被onnxruntime工具正确加载和调用, 并且输出层即为人脸特征层；转换onnx模型工具脚本请参考(https://github.com/nelivacn/FAT/tree/master/onnx_converter)，测评服务器软件环境为 onnxruntime-gpu==1.6, cuda==10.2, cudnn==8.0.5。自测脚本: https://github.com/nelivacn/FAT/blob/master/onnx_converter/onnx_helper_sample.py；

3. 特征相似度评估将采用cosine函数；

4. 参赛者不可对训练、测试集做二次对齐, 即只可使用预定义的112x112对齐图片，参赛者可使用可复现的自定义口罩增广方法；

5. 参赛者可选择性要求对测试图片进行矩形框的裁剪和缩放拉伸. 当需要裁剪或拉伸缩放时, 提交包中需要包含 crop.txt, 分为6行, 包含裁剪的框坐标: [x1, y1, x2, y2]和最终缩放后的图片大小[width, height]. 例如参赛者只想用图片的上半部分进行推理, 则 crop.txt 内容为: [0 0 112 56 112 56](6行), 同时保证提供的onnx模型可接收(1,3,56,112)的输入. 另、如参赛者想用上半部分进行推理并拉伸到112x112, 则crop.txt内容为 [0 0 112 56 112 112]. crop.txt可不提供, 默认使用全图进行推理；

6. 参赛者可选择性提供onnx模型的输入归一化值文件, 名为pixel_norm.txt, 分为2行. 第一行为RGB的mean值, 第二行为RGB的std值, 最终输入网络的数据为input_data = (rgb_img - mean) / std. 例如, 用insightface MXNet版本训练的模型可设置为"0", "1", 此项也为默认值, 即不提供pixel_norm.txt下默认使用的参数. 如使用PyTorch训练, 则通常可设置为 "127.5", "127.5", 来做手动的像素值归一化；

7. 我们要求参赛者提交的模型在Tesla-V100 GPU上单张图片FP32推理时间不超过15ms；

8. 参赛者仅可提交FP32参数类型的onnx模型, 且模型文件大小不超过1GB；

9. 模型特征维度限制为 <= 512；

10. 模型提交：参赛者每日最多在挑战赛平台提交1次模型，待收到组织方测评出的成绩后才可再次提交新的作品；

11. 禁止使用除主办方指定以外的训练集；

12. 禁止使用除主办方提供以外的任何外部数据和预训练模型。

（5）参赛者要求

企事业单位或高校、团队、个人均可参赛。

挑战赛赛程

线上挑战赛阶段：2021.04.26 - 2021.07.23

公告挑战赛开始，开始报名: 2021.04.26
公布训练集和测试方案: 2021.05.06
挑战赛测试开启：2021.05.07
挑战赛测试关闭: 2021.07.09
优胜者方案验证: 2021.07.10 ~ 2021.07.23
公布优胜结果: 2021.07.26

线下答辩阶段: 2021年12月27日在中国海口举办的第十一届国际图象图形学学术会议上进行答辩及颁奖

挑战赛激励

（1）奖项设立

奖项	获得奖励
冠军	5万元+证书
亚军	2万元+证书
季军	1万元+证书
优秀奖（第4-10名）	1000元+证书

注：获奖者以注册时提交的身份证姓名及号码为准，奖金个人所得税或其他形式税收由获奖者自行承担，由挑战赛组织方代缴。
获奖者自行负责成员之间的奖金分配。

权责说明

参赛人群：挑战赛面向社会各界开放，不限年龄、高校、科研院所、企业从业人员、个人均可登录竞赛平台报名参赛。提交注册申请时需要提交一人的身份证信息、手机号、邮箱（用于接收挑战赛通知）。组织方单位人员不可参赛；
公平竞赛：参赛者禁止在比赛中抄袭他人作品，禁止利用规则漏洞或技术漏洞等不良途径提高成绩排名，经发现将取消比赛成绩并通告；
组织声明：组织方保留对比赛规则进行调整和修改的权利、比赛作弊行为的判定权利和处置权利；
沟通方式：组织方将通过参赛优胜者预留的联系方式邀请参赛者参与决赛及相关活动、领取奖金。若参赛者在相关通知发出后3个工作日内未答复则视为自动放弃，组织方有权顺位递补其他参赛者。
若出现不可抗因素，组织方保留修改比赛作品的提交截止日期、答辩日期和颁奖日期的权利，组委会有权在特殊条件下暂停或终止比赛，保留调整挑战赛入选名次数量的权利，以及调整奖项设置的权利；
若因故出现数据更新、评审代码更新、作弊检查等原因组织方有权对参赛结果进行重新测评并更新排行榜。

交流群及联系方式

官方公众号：NELIVA视频国家工程实验室
联系人：董老师
EMAIL：fat@neliva.com.cn
电话：010-68773553-6317
手机：18510511981
联系地址：北京市海淀区首体南路1号
微信群：CSIG FAT-AI 2021口罩识别挑战赛

欢迎扫码入群