一、挑战赛目的及意义

       如今,人脸识别技术在各行各业中的应用越来越广泛,给人们日常生活带来便利的同时,也面临着各类人脸欺诈攻击。一旦虚假人脸攻击成功,极有可能对用户造成重大损失,因此针对防欺诈的人脸活体检测技术的深入研究已经势在必行。
       为进一步提升人脸识别技术在实际应用中的安全性、可靠性,促进产学研深度融合发展,视频图像信息智能分析与共享应用技术国家工程实验室(简称“视频国家工程实验室”,英文简称:NELIVA)继成功举办“CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛”、“CSIG FAT-AI 2022开放场景人脸对抗伪装挑战赛”之后,与中国图象图形学学会中国科学院自动化研究所携手,共同举办“CSIG FAT-AI 2023 人脸活体检测挑战赛”(简称:CFAT 2023)。本次挑战赛将于2023年5月正式开赛,现已启动报名,报名网址:https://fat.neliva.com.cn/home/index。已在该网站注册成功并审核通过的拟参赛者需填写报名表进行登记。

挑战赛名称CSIG FAT-AI 2023 人脸活体检测挑战赛(简称:“CFAT 2023”)
挑战赛网址:
https://fat.neliva.com.cn/CFAT2023
CFAT 2023初赛 排行榜浏览地址:https://fat.neliva.com.cn/home/top?id=252
CFAT 2023复赛 排行榜浏览地址:https://fat.neliva.com.cn/home/top?id=302
数据样例:

数据样例

(样例图出自:Surveillance Face Anti-spoofing. arXiv preprint arXiv:2301.00975.

      本次挑战赛旨在对人脸真伪进行判断,即判断视频或图像中捕获的人脸是否来自一个真实的人脸,还是来自照片或面具伪装的人脸。CFAT 2023的复赛测评数据来源于开放场景,为非公开数据集。

      本次挑战赛分为初赛、复赛、决赛三个阶段,初赛与复赛将在线上举行。在初赛阶段,参赛者只可使用公开数据集 SuHiFiMask中的人脸图片作为训练数据集,不可使用其他数据集。只有进入初赛最终排行榜前20名的参赛者方可参加复赛。复赛结束后,我们将要求前10名参赛者提交模型的训练代码,主办方将对获奖者的最优方案结果进行完整复现。进入复赛最终排行榜前3名的参赛者需参加线下的决赛答辩。

二、组织结构

主办单位:中国图象图形学学会 视频国家工程实验室
协办单位:中国科学院自动化研究所
支持单位:CSIG视频图像与安全专委会
独家赞助:江苏范特科技有限公司

三、参赛者要求

全国企事业单位、高校的师生及社会团队、个人均可参赛。(学校师生注册时需要填写学校邮箱,同一位导师名下只能有一支学生队伍参赛。)

四、挑战赛数据及基线代码

(一)线上初赛数据
       CFAT 2023 的初赛测评数据来源于学术界公开的数据集: SuHiFiMask。该数据集包含了101名不同年龄的参与者、232个面具和200次2D攻击,由7台主流摄像机在40个真实场景中采集到的10195个视频。
       攻击手段包括:纸质海报、人形立牌,三维遮罩(头套、头模)以及两种对抗攻击纸板遮挡;
       采集场景包括:日常生活场景(咖啡馆、电影院和剧院)与安全检查场景(安检通道和停车场)等;
       环境因素包括:四种天气(晴天、风天、阴天和雪天)和两种不同光照(白天和夜间灯光)。

(二)线上复赛数据
       CFAT 2023的复赛测评数据来源于开放场景,为非公开数据集。

(三)初赛数据集获取方式

       第1步,新参赛者在FAT-AI竞赛平台(网址:https://fat.neliva.com.cn/home/index,以下简称:FAT平台)注册并通过审核。已审核通过的老会员请及时登录FAT平台>用户中心确认当前信息是否属实,且为最新信息,以免发生参赛后收不到邮件、短信,信息不符无法领取奖金等情况;
       第2步,已审核通过的参赛者登录FAT平台>用户中心,扫描二维码填写CFAT 2023参赛报名表(报名开放时间为:2023年5月8日-6月20日),之后下载《竞赛数据使用协议》填写并签字。协议中所填内容必须属实,且与注册所填信息一致。否则,一经发现,主办方将取消该参赛者的参赛资格。如是同一位导师下的学生组队参赛,只需推选一名代表注册、参赛、签署协议即可,签协议时请附上导师或主管老师的签名;
       第3步,参赛者将签署完毕的《竞赛数据使用协议》的电子版(扫描件或清晰照片)通过注册邮箱发送至 fat@neliva.com.cn
       第4步,主办方对签署好的协议内容审核通过之后,将通过电子邮件发送数据集 SuHiFiMask 的下载地址给到参赛者。此邮件将同时抄送 SuHiFiMask 竞赛数据的版权所有者 jun.wan@ia.ac.cn, ajian.liu@ia.ac.cn

  (四)CFAT 2023 初赛基线代码

       基线代码下载链接地址(请登录会员中心查看)。

       

五、挑战赛规则

(一)线上初赛规则:

1、任务描述
       在 SuHiFiMask 数据集上, 参赛者需要先使用训练集(包括train和dev)训练,并对测试集进行预测, 然后输出每个测试图片的真实样本置信度 (0-1 之间), 再生成单个文本文件作为提交的结果文件。只有进入初赛最终排行榜前 20 名的参赛者方可参加复赛。
2、测评流程
       (1) 第1步,参赛者在自己的本地环境只能利用主办方提供的训练集(包括train和dev)训练活体检测模型。任何额外的数据或根据额外数据训练的预训练模型都不能用于此挑战
       (2) 第2步,参赛者利用训练好的活体检测模型对测试集图片进行预测, 对每张图片输出 0-1 之间的置信度, 表示该图片是真实样本的概率, 并生成一个
每行一组’(测试图片文件名<空格>置信度)’ 的文本文件, 如下所示:
              test/0000/000001.jpg 0.153
              ,,,,,
              test/0164/164557.jpg 0.637
       (3) 第3步,参赛者登录挑战赛官网FAT平台(网址为:https://fat.neliva.com.cn)的用户中心提交该预测结果文件;
       (4) 第4步,FAT平台将自动比对测试集的真实标签与参赛者的预测结果文件,输出最终的ACER得分,并以短信和邮件的方式通知参赛者;
       (5) 第5步,在初赛期间的每个工作日,主办方将会对当日的竞赛情况核查后发榜。如遇特殊情况延迟测评或发榜,主办方将会在相关的竞赛群里发通知。

(二)线上复赛规则:

1、任务描述
       与初赛不同的是,初赛入围的榜单前 20 名参赛者先使用初赛的训练集(包括train和dev)训练,然后封装成可用于进行活体检测的算法包,提交到FAT平台。之后主办方将使用非公开数据集对参赛者的算法包进行测评。每工作日16:00为下载程序包的时间(16:00点后上传的包将于第2个工作日下载),测评成功后如有新成绩更新则发布榜单。
       复赛结束后至发最终榜单前,获奖参赛者需提交模型的训练代码,主办方将对获奖者的最优方案结果进行完整复现。在此过程中,获奖者需予以配合(包括训练和推理)。
2、流程
       (1) 第1步,参赛者需按主办方提供的算法API封装标准,在FAT平台提交算法包;
       (2) 第2步,主办方调用算法包的API,对非公开数据集按提交的时间顺序进行一一测试,输出真实样本的置信度;
       (3) 第3步,主办方将测试输出的置信度与真实值对比,计算出最终的ACER得分并发出通知,同时更新榜单;
       (4) 第4步,主办方将对获奖参赛者的最优方案进行完整复现。确认无误后发出最终复赛排行榜。

——《评价指标》——

       CFAT 2023 以平均分类错误率 (average classification error rate, ACER) 作为人脸活体检测的测评指标,ACER 越小,指标越优。
       平均分类错误率 (average classification error rate, ACER),ACER 为 APCER 和 BPCER 的平均值。我们在计算时,通过迭代所有可能的阈值γ(0.0<=γ<=1.0)计算出不同的γ对应的测试集 APCER、BPCER和ACER 得分, 并取其中最小的ACER对应的γ作为最终选取的阈值。然后,利用选取的阈值计算出测试集上的APCER、BPCER和ACER得分,并选取ACER 作为最终排名准则。公式为:

指标公式

 

       * 具体参赛规则详见: 《CFAT 2023 竞赛技术方案》(更新日期:2023-05-15)。

六、挑战赛赛程

   线上挑战赛阶段:2023.05.15 -09.08

本次挑战赛的时间表暂定如下,如遇特殊情况将及时调整时间表并告知大家。

  1. 挑战赛自本通知发布之日起即可登录官网注册报名,已在该网站注册成功并审核通过的参赛者不用报名即可参赛。
  2. 公布测试方案: 2023.04.25

————  初赛开始  ————

  1. 初赛开启:2023.05.15. 8:00
  2. 初赛关闭: 2023.06.21. 23:59
  3. 发布初赛排行榜: 2023.06.24

————  初赛结束,复赛开始  ————

  1. 复赛开启: 2023.07.01. 8:00
  2. 复赛关闭: 2023.08.20. 20:00
  3. 发布复赛排行榜 : 2023.09.08

————  复赛结束  ————

   线下答辩阶段:2023年9月22日,在南京举办的 第十二届国际图象图形学学术会议(ICIG 2023)上进行决赛答辩及颁奖。

七、挑战赛激励

(1)奖项设立

奖金池共计42000人民币,其中冠军2万元,亚军1万元,季军5000元,另设7名优秀奖(取第4-10名),每名1000元。

奖项 获得奖励
冠军 2万元+证书
亚军 1万元+证书
季军 5000元+证书
优秀奖(第4-10名) 1000元+证书

注:获奖者以注册时提交的身份证姓名及号码为准,奖金个人所得税或其他形式税收由获奖者自行承担,由挑战赛组织方代缴。
获奖者自行负责成员之间的奖金分配。

八、权责说明

(一)竞赛规则

1、参赛者禁止在比赛中抄袭他人作品,禁止利用规则漏洞或技术漏洞等不良途径提高成绩排名,经发现将取消比赛成绩并通告;
2、系统排行榜将按照历史最优成绩进行排名展示,做最终排名计算。最终晋级排名以官方公示为准。参赛者可多次提交结果,以截止日期之前最优成绩为最终成绩。

(二)线下决赛答辩

1、决赛将以现场答辩的形式进行,主办方不承担决赛选手的差旅费用;
2、晋级决赛的参赛者需提前准备答辩材料,包括但不限于答辩PPT、参赛总结、算法核心代码等,并在规定的时间内提交给主办方。

(三)参赛人群

挑战赛面向社会各界开放,不限年龄、高校、科研院所、企业从业人员、个人均可登录竞赛平台报名参赛。提交注册申请时需要提交一人的真实身份证信息、手机号、邮箱(用于接收挑战赛通知)。选手信息需真实有效,组委会有权取消不符合条件的选手/团队的参赛资格及奖励。主办方、协办方及各相关单位人员不可参赛;

(四)沟通方式

1、主办方将通过参赛优胜者预留的联系方式邀请参赛者参与决赛及相关活动、领取奖金。若参赛者在相关通知发出后3个工作日内未答复则视为自动放弃,主办方有权顺位递补其他参赛者;

2、若出现不可抗因素,主办方保留修改比赛的提交截止日期、答辩日期和颁奖日期的权利,主办方有权在特殊条件下暂停或终止比赛,保留调整挑战赛入选名次数量的权利,以及调整奖项设置的权利; 若因故出现数据更新、评审代码更新、作弊检查等原因主办方有权对参赛结果进行重新测评并更新排行榜。

(五)组织声明

1、主办方保留对比赛规则进行调整和修改的权利、比赛作弊行为的判定权利和处置权利;
2、如发现违规或作弊行为,参赛者自行承担责任。本次活动最终解释权归主办方所有;
3、所有报名参赛者,均视为已同意本次竞赛相关规定。如有疑问,请在报名前咨询主办方工作人员沟通确认。

九、交流群及联系方式

官方公众号:NELIVA视频国家工程实验室
联系人:董老师
EMAIL:fat@neliva.com.cn
电话:010-68773553-6317
联系地址:北京市海淀区首体南路1号
微信群:CFAT 2023

   image.png
扫码添加FAT群管理员申请入群