请选择 进入手机版 | 继续访问电脑版
搜索
房产
装修
汽车
婚嫁
健康
理财
旅游
美食
跳蚤
二手房
租房
招聘
二手车
教育
茶座
我要买房
买东西
装修家居
交友
职场
生活
网购
亲子
情感
龙城车友
找美食
谈婚论嫁
美女
兴趣
八卦
宠物
手机

从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白

[复制链接]
查看: 31|回复: 0

2万

主题

2万

帖子

6万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
61833
发表于 2020-6-27 18:35:23 | 显示全部楼层 |阅读模式
呆板之心报道
呆板之心编辑部

不会画画却也想画出帅哥美女?梦中情人不用空想!克日一篇被盘算机图形学顶会 SIGGRAPH 2020 罗致的论文提出了一种新的基于草图深度天生人脸图像的方式。


基于该方式的智强人脸画板,不必要用户具有专业的绘画本事,便可以也许从粗糙以致不完整的草图天生高质量的人脸图像,而且同时支持劈面部细节的编辑与控制。该算法低落了人脸肖像绘制的门坎,同时也减轻专业画家的工作难度,简单适用。
人脸图像的天生在各个行业有着垂危利用,例如刑事观察、人物筹划、教导培训等。但是一幅传神的人脸肖像,对于职业画家也要最少数小时才华绘制出来;对于从未兵戈过绘画的新手,就更是难如登天了。新手绘制出来的人脸草图凡是很是大略笼统,以致有不均匀、不完整。但假如利用智强人脸画板,无疑是有如神助。
 从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白 免费赠品


在 2009 年就有益用草图作为输入举行图像分解的研讨工作 Sketch2Photo [1],CVPR 2018 上的工作 Mask-guided[2] 实现了基于参考图像和语义标签的人脸图像天生。2018 年 SIGGRAPH 上颁发的工作 FaceShop[3] 利用草图交互实现人脸图像编辑。现有的从徒手草图快速天生的方式中,大部分都是基于深度进修的图像到图像转换技术,如 pix2pix,cycleGAN,pix2pixHD 等。但是,当前这些治理计划凡是过拟合于草图,凡是必要专业绘画的草图以致边沿图作为输入,才华天生五官均匀公道的图像。对于线条粗犷、边沿不完整封锁的情况难以处置惩罚。这就意味着现有的治理计划对于输入草图的质量要求偏高,即没法满足新手大要手残党的需求。
为了处理这个题目,DeepFaceDrawing 工作另辟门路。其焦点思绪并非间接用输入草图作为收集天生条件,而是将人脸举行分块操纵后利用数据驱动的脑筋对笼统的草图特征空间举行隐式建模,并在这个流形空间中找到输入草图特征的近邻组合来重构特征,进而分解人脸图像。
让我们先来看一下基于该方式利用大略草图天生人脸的成果:
 从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白 免费赠品

图一:DeepFaceDrawing 草图分解人脸成果

可以看到,即使草图是「歪瓜裂枣」、欠缺细节表达,大要线条粗犷以致线条不完整,DeepFaceDrawing 都能为这些草图天生雅观实在的人脸图像。与此同时,基于 DeepFaceDrawing 的方式,用户以致无需举行绘画,可以间接拼集,从而天生新的人脸:
 从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白 免费赠品

图二. DeepFaceDrawing 实现的人脸拼接成果

下面让我们来具体看看这类高度传神的人脸天生究竟是怎样做到的。
在已有的研讨中,凡是将输入的草图作为条件天生收集的硬约束,天生成果受草图质量影响较大。也有将草图投影到 3D 空间然后用 3D 模子作条件天生人脸图形的方式,但这类全局参数模子不够灵活,没法包容丰富的图像细节,难以支持部分编辑。受作者之前 SDM-NET [4]工作启发,而且经过考证发现,全局 - 部分结构的收集对于细节的分解很是有用。是以,这篇论文也采纳了对人脸举行分块,然后在特征空间隐式建模的思绪。
在这篇论文中,作者一方面将人脸关键地域(双眼、鼻、嘴和其他地域)作为面元,进修其特征嵌入,将输入草图的对应部分送到由数据库样本中面元的特征向量组成的流形空间举行校准。另一方面,参考 pix2pixHD [5]的收集模子筹划,利用 conditional GAN 来进修从编码的面元特征到实在图像的映照天生成果。该方式焦点亮点之一,即是以多通道特征图作为中心成果来改良信息流。从本质上看,这是将输入草图作为软约束来更换传统方式中的硬约束,是以可以也许用粗糙以致不完整的草图来天生高质量的完整人脸图像。
DeepFaceDrawing 模子什么样
正所谓大道至简,本论文成果好,框架实在也不复杂。如图三所示,DeepFaceDrawing 系统由三个模块组成:内容嵌入模块(Component Embedding)、特征映照模块(Feature Mapping)、图像分解模块(Image Synthesis),鄙人文它们别离被简称为 CE、FM、IS 模块。
 从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白 免费赠品

图三:DeepFaceDrawing 收集构架。
CE 模块采纳自编码器结构,将人脸草稿分为五部分(左眼、右眼、鼻、嘴、其他部位)作为五个特征描摹符,投影到部分线性的流形空间。每个部位的流形空间由数据库中大量样本编码的特征向量组成。输入的手绘草图样本特征向量则作为点样本投影到这个空间中根究近邻,经过线性组合重组成来举行优化草图输入,如图四所示。
 从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白 免费赠品

图四:流形空间中的投影表示图

FM 和 IS 模块一路组成另一个用于条件图像天生的深度进修子收集,并将组件特征向量映照到现实图像。FM 模块与 CE 模块的解码部分类似,但是所差此外是,FM 模块将特征向量映照到 32 通道的特征映照空间并非 1 通道的草图。由于草图只要一个通道,是以经过草图到图像的收集很难明决堆叠地域相邻组件的不兼容性题目。FM 模块中的映照方式改良了信息流,从而供给了更大的灵活性来融合单小我面部位,以获得更高质量的分解成果。
搭建好团体的框架以后,要想练习出好的天生成果自然必要大量的人脸与草图图片对。为了实现用稀疏线条便能笼统表示人脸,该论文基于 CelebAMask-HQ[6]人脸图像数据库,挑选无遮挡的面部图像后,利用 Photoshop 加草图简化的方式提取草图,构建了一个新的含有 17K 对人脸图像和响应草图的数据集。
数据集构建终了以后,则起头对收集举行练习。在这里,练习分为两个阶段,如图三所示,阶段一先练习内容嵌入模块,将编码的草图重建后的 MSE loss 做为损失函数练习。阶段二则是牢固好内容嵌入模块参数后,再以端到端方式对特征映照模块和图像分解模块收集举行练习。
用户怎样画 为了更方便用户轻松画好,DeepFaceDrawing 供给了数据驱动下猜测的草图供用户参考。每次用户画下一笔后,系统就会按照更新的草图婚配出最靠近 “实在人脸” 的草图作为背景阴影,供用户参考。
同时为了方便用户调解细节,DeepFaceDrawing 也供给了对细节的调解,以下图五所示,包含针劈面部五部分的五个参数(eyeL、eyeR、Nose、Mouth、Others)的控制滑条。每个滑条的值代表着原始草图特征和系统优化特征的肴杂权重,滑条值越高代表肴杂特征越靠近原始草图特征。
 从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白 免费赠品

图五:界面展现

不止画脸,更多利用
由于 DeepFaceDrawing 实现了将草图各部位编码为对应特征空间中的特征向量,并在流形空间上举行投影,因此可以对响应份量的源特征向量与目标特征向量举行线性插值,再将插值后的特征向量送入收集模块天生中心人脸图像成果,实现人脸变更(Face Morphing)。
一样,由于采纳特征向量分析,也可以未来自差他人不同部位的图像提取草图编码成特征向量,将其整合看做一张脸送入收集天生人脸图像,实现人脸拼接(Face Copy-Paste),成果如图二所示。
结语
DeepFaceDrawing 采纳部分到全局的方式,将用户输入的草图分块投影到特征空间举行重构优化,制止了不公道草图的影响,能天生完整风雅的人脸图像,行之有用,很是奇妙。
有关论文的更多细节,及论文、视频、代码的下载,请欣赏项目主页。
抓紧来画出你心中的那个他 / 她!


  • 智强人脸画板系统和论文见项目主页:http://www.geometrylearning.com/DeepFaceDrawing/
  • Jittor 实今世码:https://github.com/IGLICT/DeepFaceDrawing-Jittor

论文:DeepFaceDrawing: Deep Generation of Face Images from Sketches
 从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白 免费赠品


现在智强人脸画板开源代码将供给 Pytorch 版本和 Jittor 两个版本。计图(Jittor)是清华大学盘算机系胡事民教授带领团队研发的一个全新的国产深度进修框架。对照 Jittor 版本和 Pytorch 版本运转时候,收集模子在模子练习上 Jittor 相对于 Pytorch 均匀加速比为 168%,在图像天生上均匀加速比为 300%。
Jittor 网址:https://cg.cs.tsinghua.edu.cn/jittor/
参考内容:[1] Tao Chen,  Ming-Ming Cheng, Ping Tan, Ariel Shamir, and Shi-Min Hu. Sketch2Photo: Internet Image Montage.ACM Transactions on Graphics (Siggraph Asia 2009), 2009, Vol 28, No. 5, 124:1-124:10.[2] Shuyang Gu, Jianmin Bao, Hao Yang, Dong Chen, Fang Wen, and Lu Yuan. MaskGuided Portrait Editing with Conditional GANs, CVPR 2019.[3] Tiziano Portenier, Qiyang Hu, Attila Szabo, Siavash Arjomand Bigdeli, Paolo Favaro, and Matthias Zwicker. Faceshop: Deep sketch-based face image editing. ACM Transactions on Graphics, 2018, Vol. 37, No. 4, 99:1-99:13.[4] Lin Gao, Jie Yang, Tong Wu, Yu-Jie Yuan, Hongbo Fu, Yu-Kun Lai, and Hao (Richard) Zhang. SDM-NET: Deep Generative Network for Structured Deformable Mesh. ACM Transactions on Graphics (Siggraph Asia 2019), 2019, Vol 38, No. 6, 243:1–243:15. [5] Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Andrew Tao, Jan Kautz, and Bryan Catanzaro. High-resolution image synthesis and semantic manipulation with conditional gans, CVPR 2018. [6] Cheng-Han Lee, Ziwei Liu, Lingyun Wu, and Ping Luo. MaskGAN: Towards Diverse and Interactive Facial Image Manipulation, CVPR 2020.
WAIC 2020 黑客马拉松由全国人工智能大会组委会主办,张江团体、优必选科技、软银团体旗下软银呆板人、Watson Build 创新中心、呆板之心团结承办,遭到新冠疫情的影响,角逐将于 7 月 8 日 - 11 日时代以远程和小范围线下结合的方式举行,招募举世顶级斥地者同台竞技。
点击图片或「阅读原文」搭乘参赛
 从草图到人脸:这篇SIGGRAPH2020论文帮你轻松画出心中的「林妹妹」,开源「游胜白 免费赠品

免责声明:假如加害了您的权益,请联系站长,我们会实时删除侵权内容,感谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2006-2014 网赚研究院-致富网赚论坛-网赚宝盒-华夏网赚论坛-28网赚-贵族网赚论坛-日付网赚联盟 版权所有 法律顾问:高律师 客服电话:0791-88289918
技术支持:迪恩网络科技公司  Powered by Discuz! X3.2
快速回复 返回顶部 返回列表