美图AI技术携手宝贝回家:愿天下尽“团圆”

来源:中国公益网 2021-11-15 17:05:00
2021年9月,美图公司的技术大脑——美图影像研究院携手国内最具影响力的寻亲平台——宝贝回家,向宝贝回家寻人网站免费开放美图画质修复功能接口,为照片提供AI修复服务,借助人工智能的力量为画质受损的照片恢复高清画质。

2021年7月,电影《失孤》原型人物郭刚堂历经24年寻子苦旅,终获团聚的报道瞬间引爆舆论,所有人都在为这个悲喜交加的结局欢呼与落泪。北到漠河,南到海南,50万公里,31个省,10辆报废摩托车,二十四载苦难与悲痛是这位不幸而可敬的父亲创下的记录,这串数字背后却是无数“失孤”家庭真实的缩影。这些年有太多“失孤”父母将郭刚堂寻子的一举一动当成行动的灯塔,但人们却不得不面对这样一个残酷的现实,绝大部分“失孤”家庭远没有郭家“幸运”,苦寻多年的结果是他们的孩子依旧下落不明,他们仍然只能在充满绝望中怀抱渺茫希望艰难行走。

每一个失踪孩子的背后都是一个甚至几个支离破碎的家庭,失孤”无疑是中国乃至全世界所共同面临的沉重社会话题。而寻亲过程中存在的时间跨度大、丢失地点复杂、关键信息模糊、报案时间晚、传播渠道不畅通等重重困难,也让人们更加深刻意识到它的复杂程度。与此同时,近年来我国在全国范围内部署开展打拐专项行动,一系列工作已经取得了阶段性成效,结合了现代技术优势的新模式在此期间表现亮眼,科学技术的发展似乎正在为寻亲带来更多的力量与希望。

美图画质修复技术助力“宝贝回家”

目前在我国,寻亲面临的往往是10年、20年甚至时间跨度更大的找寻周期,早年间由于传播手段与技术手段有限,人口拐卖问题尚未拥有如今的社会关注度,像郭刚堂早期唯一能做的,也就是骑上最经济实用的交通工具摩托车,走尽可能多的地方。而他所拥有的最有价值的线索,是那面插在车保险杠上,印有放大的儿子照片,随风飘扬的醒目旗帜。尽管寻亲正在从“千里走单骑”的“人找人”时代,迈向融合更多科学技术的线上、线下通力配合时代,但与郭刚堂一样,大量被拐儿童的父母寻遍全国各地,手里握着的除了孩子的基本信息,仅存的孩童照片无疑仍是至关重要的线索。

但受限于早年的拍摄条件,许多寻亲家庭持有的孩子照片的清晰度往往不高,而由于保存手段有限,这些照片的画质往往很容易受到不同程度的损伤,这对寻人来说无疑是雪上加霜。孩子的照片是“失孤”家庭寻亲的关键突破口之一,尽管目前市面上也有人工修复服务,但人工修复成本高,修复水平良莠不齐,最致命的问题是人工介入的修复过程很有可能导致修复结果与事实有所偏差。

关注到这个问题,2021年9月,美图公司的技术大脑——美图影像研究院(MTLab)携手国内最具影响力的寻亲平台——宝贝回家,向宝贝回家寻人网站免费开放美图画质修复功能接口,为照片提供AI修复服务,借助人工智能的力量为画质受损的照片恢复高清画质。

美图画质修复功能依托的正是今年6月MTLab最新的AI技术研发成果——美图画质修复算法V2,该算法在美图旗下产品的正式上线也还不足3个月。作为美图公司的顶级研发团队,展现科技发展的人文关怀,以创新技术惠及更广大的弱势群体是MTLab的研发愿景之一。此次与宝贝回家共享这项最新技术,MTLab意在能够帮助到更多的寻亲群体,让技术的微光中照亮更多人的团圆路,美图公司也希望借此举践行社会责任的同时,能够鼓励更多人和群体参与到公益事业中。

美图照片画质修复全流程

美图画质修复功能的背后,是全新迭代升级的美图画质修复算法V2。MT Lab基于深度学习方法自主与前沿技术,自主研发全新生成网络结构 MTIR-GAN,并在此基础上凭借美图数亿量级数据对模型进行训练学习,实现了优异的人像修复效果,完整的照片修复处理通过人脸与全图修复-照片合成-超分网络处理三个步骤来实现。

首先,人脸面部细节多,在基于自研人脸技术对人脸点进行精准定位后。会对脸部进行单独的精细化处理,包括人脸裁框和脸部生成修复两个流程。在人脸裁框上,MT Lab舍弃了以往单纯利用眼睛间距进行人脸裁切的方式,而采用最小包围盒矩形框对人脸进行裁切,以最大限度保证人脸的完整性。

在脸部生成修复上,目前StyleGAN2虽可以生成逼真且高清的人脸,但其生成的人脸是随机的,因而会导致人像身份信息发生改变,无法直接用于人像画质修复。对此,MT Lab通过自研的Encoder网络提取待修复人像的结构信息和纹理,基于结构信息保持人像五官形状,防止发生形变。同时,纹理信息可以用来引导人像发丝、肤色、睫毛等细节生成,继而再输入StyleGAN2的生成网络,就能够获得修复完好且保留人脸身份信息(identity),保持人脸不发生形变的人像照片。

与此同时,同步对全图进行去彩噪、去噪、去马赛克、去jpeg压缩、去模糊、去轻微抖动等画质修复操作,实现全图画质效果的增强,其中包括低分辨率修复和高分辨率增强。此外,针对分辨率较高的图像处理耗时较为严重的问题,则采取先将待修复图缩小到一定尺度,再进行分块、去噪等画质修复操作。

最后,通过guided-filter网络结构的画质增强方案将其恢复为原始分辨率,从而高效提升计算效率,大幅压缩处理所需的等候时长。上述脸部修复工作和全图修复工作并行处理完成,修复后的脸部将被贴回图像中,合成完整的修复图。再利用超分网络对合成的完整修复图进行处理,实现图像整体画质的清晰度提升。

目前,美图画质修复功能在保留人脸身份信息(identity),保持人脸不发生形变的情况下实现了对睫毛、眉毛、发丝和肤质等脸部细节最大程度地还原修复。同时,有效解决因图像多次压缩所导致的画质受损以及由于拍摄环境如夜拍、抓拍和拍摄过程抖动等造成的照片模糊、失焦、噪声、马赛克等画质修复方面的关键问题。不仅如此,通过优化美图自研神经网络推理框架,有效提升了修复效率,在1.5秒以内即可看到单人像修复后的效果。这项技术因而也可以高效、高质量地帮助“失孤”家庭修复失踪孩子照片的画质。

宝贝回家修复效果对比图

美图AI技术:科技让公益更有温度

从技术的角度出发,人工智能(AI)本身是中性的,而在技术应用场景背后,推动算法落地的使用者才是核心,从这个层面上看,技术应该是拥有价值观的。进入互联网发展的下半场,作为一支致力于人工智能领域的顶级研发团队,MTLab在努力实现基础研究层面的更多重大突破时,也在与美图公司一起用更多的时间去沉淀和思考如何将它发挥得更好。因为技术进步带来的荣耀仅仅是科技发展意义背后的一部分,而人与技术之间的共同成长,互相影响与彼此赋能或许才是更终极的命题。

让科技更有温度,一直以来都是MTLab秉持的重要研发理念,此次与宝贝回家的携手是MTLab为世间再无“失孤”的愿望所贡献的一份力量,也是利用人工智能技术解决社会问题的一次尝试,更是AI植根于真实社会需求的技术应用场景落地。未来,MTLab也希望能够通过AI的创新技术更深入地触及和帮助弱势群体,服务于更多社会问题的解决。用公益回报社会,放大技术的社会效益,让更多人能够看到AI所带来的未来之光,感受AI为生活所赋予生活的更多美好,这将是MTLab与美图公司不断努力的方向,也是美图公司作为一家互联网科技企业应尽的责任与担当。

(原文链接:http://www.zggyw.org/zixun/qiye/content-22-31946-1.html

本文为 数央公益(https://www.gongyidaily.com)转载作品,转载请联系原作者。本文仅代表原作者观点,不代表数央公益观点。