克日,盘算机视觉顶级集会ECCV 2020宣布收录效果。电子科技大学信通学院智能视觉信息处置惩罚团队硕士一年级学生阳隆荣的论文《Learning with Noisy Class Label for Instance Segmentation》乐成入选,阳隆荣为论文第一作者,李嘹亮教授为通讯作者,电子科技大学为唯一作者单元。信通学院2016级本科生钱宇阳在商汤科技研究院举行科研实习期间撰写的论文《Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues》也乐成入选该集会,钱宇阳为论文第一作者,电子科技大学为第一作者单元。阳隆荣阳隆荣自大四起加入李嘹亮教授团队,到场多项科研项目,并曾在国家基金委主办的遥感图像智能分析大赛中与团队博士生组队斩获一等奖(语义支解单元全国第一)。
近年来,李嘹亮老师率领的智能视觉信息处置惩罚团队努力勉励学生理论联系实际、造就学生求真务实的学风和综合知识运用能力,取得了一系列优异的结果。阳隆荣基于带噪种别标签提供的前景-配景信息始终是正确的这一事实,设计出一种新的组合损失在多实例支解的前景-配景分类的子任务中充实地使用带噪的种别标签。多实例支解(instance segmentation)是一项基础且富有挑战性的盘算机视觉研究课题,包罗前景-配景分类和前景-实例分类两个子任务。
在多实例支解中,数据至关重要,然而,种别自己的模糊性或者标志者履历的局限性会导致错误标注的种别标签,这些误标的种别标签会严重恶化模型的精度。此外,分类任务中提出的对噪声鲁棒的对称损失会严重恶化多实例支解中前景-配景分类的精度。详细来说,本文将一个batch内的样天职为四类:负样本(NEG)、伪负样本(PSN)、潜在噪声样本(POS)和其他样本(OS)。
针对差别的样本,本文提出的方法能够在多个数据库以及多种噪声样本的设置下稳定地提高模型精度,且均优于现有的方法。每一个batch内差别样本使用的损失。训练的第二个阶段中,负样本和伪负样本使用交织熵损失来充实地使用带噪种别标签正确的前景-配景信息钱宇阳钱宇阳在校期间平均GPA3.98,专业排名前5%。
在2018 ACM CCPC中国大学生法式设计竞赛全国邀请赛中获得金牌。荣获2019荣耀通信年度人物,优秀学生奖学金,优秀本科生结业论文等奖励。现在已免试推免至南京大学LAMDA实验室继续深造。
近年来,随着人工智能尤其是深度学习的生长,Face Forgery(人脸合成技术)和Deepfake(Deep Learning 和Fake的合成词,即使用机械学习技术举行"换脸",伪造某人的图像和视频)技术也越来越成熟,可以生成、窜改出越发传神的人脸。一旦被人恶意使用,结果不堪设想:小到恶搞侵犯他人肖像权利,大到影响政治人物的形象。为了越发准确地识别出这些Deepfake图像视频,钱宇阳同学的事情提出了新颖的Frequency in Face Forgery Network。
和先前使用空间域特征(如RGB、HSV特征等)的技术差别,F3-Net更关注图像的频域特征。在低分辨率图像视频中,小规模的人工窜改痕迹虽然在RGB空间中难以视察到,但在频域中能很容易地被识别出来。基于这一思路,F3-Net通过挖掘图像中的多种频域特征,更准确地识别出低分辨率图像的小规模窜改痕迹。详细而言,F3-Net首先提取了FAD(Frequency-Aware Decomposition)和LFS(Local Frequency Statistics)两种频域特征,然后设计了MixBlock模块,使用cross-attention机制将二者融合并配合举行优化,最终输出效果。
网络结构如图所示。F3-Net的网络结构图F3-Net从图片中提取获得的两种频域特征(FAD和LFS)是该事情的创新点与焦点所在。在传统的方法中,人们使用手动设计的牢固滤波器提取频域特征,而FAD使用可学滤波器,自适应地对图像频域特征举行剖析,能够更准确地发现差别频段身分中的伪造痕迹;LFS提取出图像的局部频域统计信息,对细节处的异常越发敏感,且LFS使用滑窗DCT技术,保留了图像的结构信息,使其能够与CNN网络兼容。实验效果讲明,F3-Net在FaceForensics++(FF++)数据集上取得了较好的效果,识别准确率比之前的SOTA方法好了约4%。
尤其是在经由压缩后的低分辨率(Low Quality, LQ)的图像视频中,取得了较大的提升。通过挖掘频域特征,F3-Net更准确地让难以分辨的图像视频得以"现形"。
一直以来,电子科技大学高度重视本科生学术能力的造就,坚持以学生为中心、通专联合,以"价值塑造、启迪思想、唤起好奇、引发潜能、探究知识、个性生长"六位一体为造就理念,致力于造就具有家国情怀、全球素养、扎实基础、知识综合与集成创新能力,未来能引领学术前沿、科技与社会经济生长,堪当民族再起大任的创新引领性人才。延伸阅读:欧洲盘算机视觉集会(European Conference on Computer Vision)每两年举行一次,与CVPR、ICCV并称为盘算机视觉领域的三大顶级集会,受到全世界学术界和工业界的广泛关注。关注"电子科大本科招生"头条号,获取更多关于985、211、"双一流"建设A类高校——电子科技大学最新精彩资讯!本文素材泉源:电子科技大学官网。
本文来源:亚慱体育app在线下载-www.63jsnt.com