美妆APP早就不是什么新鲜事,但部分APP呈现出来的“假脸”效果让网友戏称其为毁图功能。不过,最近发布的天天P图1.3版却因为其搭载了腾讯人脸配准技术,而与现实生活中的化妆效果非常相近。
据了解,腾讯旗下领先的图像处理团队——优图此前一直钻研人脸配准技术,此次优图开发的人脸配准在60%的图像识别上超越人工标注。当这项拥有人工智能级别的技术运用到美妆功能上,效果甚至能媲美专业的化妆师。例如,眼妆中较难掌握的眼线部分,连专业化妆师都需要仔细专注才能精确地完成,但天天p图却可以依靠配准图片的五官,准确地达到眼线效果。
素颜与天天P图“自然美妆”效果对比
从上面这张美妆效果对比图来看,腾讯优图团队在底妆、眼妆、唇妆等关键妆容位置方面,不仅五官定位十分精准,而且效果也足够贴合和自然。
高精度的人脸五官配准技术
人脸五官配准技术是很多技术与应用的基础。据了解,为了获得高精度的人脸配准结果,优图团队不仅利用大量的多样化人脸图像数据,共筛选图片近百万张,挑选训练样本数万张;还利用精准的人工标注,如线级标注精度、人工绘制五官轮廓线、工具自动提取标注点坐标,在最大程度上降低人工误差,创新地提出了嵌套式逐步求精的五官配准学习算法框架和迭代式模型改进策略。最终在三个测试集,累计数千张测试图片上的评估结果显示,优图人脸配准在约60%的图上能够超越人工标准精度,优于所有已知人脸配准技术。
由于人的脸型变化非常多,加上各种表情和姿态,为了捕获到足够多的变化,优图团队采用了从人脸五官粗定位到精确定位的策略,这样既保证了算法能处理多种人脸姿态和各种表情,同时也能保证在五官细节处的定位足够精准。另外,训练数据的数量以及人脸图片的多样性对于算法的成败至关重要,为了保证训练样本的质量,并尽可能的降低人工标注成本,优图团队使用统计分布的观点验证了“海量”和“足够”的关系。训练样本不在于多,而在于分布合理且数量足够。通过模型多次迭代,筛选误差较大的样本进行下一轮标注,以此获得了预期的模型精度并节省了约80%的人工标注成本。
在测试集上RMSE量化比较结果
效果贴合、自然的美妆技术
搭载优图技术的天天P图“自然美妆”功能,在妆容效果和妆容贴合度上,都超出同类产品。尤其是在底妆、眼妆、唇妆等关键妆容位置上,采用更优的算法和处理方式,使得妆容更加自然、素材的形变更加贴合,与现实生活中的化妆效果非常相近。
为了使人脸美妆更自然,优图积累和使用了大量的训练和测试样本图片,通过反复训练学习和比对优化,得到了比较通用的人脸各器官特征数据,在此基础上再结合人脸五官配准定位点信息和各器官自身的局部特征进行二次分析,以保证各器官的美妆效果足够贴合和逼真。
目前部分美妆类APP只对脸部和脖子部分进行处理,导致肤色反差过大。为了实现脸部与身体部分皮肤纹理一致的效果,优图通过分析国人皮肤颜色特征和纹理特征,在肤色数据基础上指导粉底的计算处理,从而有效地避免了脸部皮肤和身体其他部分皮肤的纹理色彩不一致的问题。
在眼妆技术上,优图美妆技术先对妆容素材资源依据通用数据进行简单粗变形,再进行二次精细调整适配,以适用不同人物和不同姿态的人眼形状,使得妆容素材和真实人眼的贴合更精确。而同类美妆产品通常只进行简单变形,导致眼妆比较浮不贴合,并容易出现位置错乱。而唇妆技术由于嘴唇形状多变,一般美妆功能均采用常规人脸配准得到的定位点连接成形状,但是这种方式很难准确地贴合嘴唇区域。而优图唇妆是采用结合人脸配准定位点和自创的唇部二次精准定位技术,大大提高了嘴唇的检测精度,可以得到自然贴合的边缘,最后通过上色得到的处理效果,非常接近现实中的唇彩效果。
此外,优图针对腮红、鼻梁、眉毛等器官,使用定位点信息、区域形状信息和颜色纹理特征信息等综合分析,结合素材模板特点来对器官的形状和颜色进行适配调整和过渡变换,以体现不同模板风格特征同时能够适应人脸不同形状和不同姿态的变换。