东方时讯网动漫是日本的动画艺术，由抽象形式的手绘草图组成，具有独特的特征和对现实生活主题的夸张。虽然生成式人工智能(AI)已在动漫肖像等内容创作中得到应用，但它在增强人类创造力和指导徒手绘画方面的应用却具有挑战性。
主要的挑战在于生成与徒手绘画过程中不完整和抽象的笔画相对应的合适的参考图像。当绘图过程中创建的笔划不完整并且为生成式人工智能提供的信息不足以预测绘图的最终形状时尤其如此。
为了解决这个问题，日本高级科学技术研究所(JAIST)和日本早稻田大学的一个研究团队试图开发一种新颖的生成人工智能工具，该工具可以提供渐进式绘图帮助，并帮助从手绘草图生成动漫肖像。
该工具基于草图到图像(S2I)深度学习框架，该框架将原始草图与生成模型的潜在向量进行匹配。它通过预训练的风格生成对抗网络(StyleGAN)采用两阶段训练策略，这是一种使用对抗网络生成新图像的最先进的生成模型。
由JAIST的ZhengyuHuang博士领导的团队，包括谢浩然副教授和KazunoriMiyata教授以及早稻田大学讲师TsukasaFukusato，提出了一种新颖的“笔画级解缠”策略，该策略将手绘草图的输入笔画与边缘相关属性，在StyleGAN的潜在结构代码中。
这种方法允许用户操纵属性参数，从而对生成图像的属性有更大的自主权。黄博士说：“我们在StyleGAN中引入了一种无监督的笔划级解缠训练策略，能够将稀疏笔划的粗略草图自动匹配到动漫肖像中相应的局部部分，而无需语义标签。”
这项研究将在ACMSIGGRAPH2023上发表，这是计算机图形和交互技术的顶级会议，也是全球研究领域唯一的CORE排名A*会议。
关于该工具的开发，谢教授补充道：“我们首先使用预先训练的StyleGAN模型作为教师编码器来训练图像编码器。在第二阶段，我们在没有额外数据的情况下模拟生成图像的绘制过程来训练草图编码器用于不完整的渐进式草图。这有助于我们生成与教师编码器的解开表示相一致的高质量肖像图像。”
为了进一步凸显AniFaceDrawing在帮助用户创作动漫肖像方面的有效性和可用性，团队进行了一项用户研究。他们邀请15名研究生使用AniFaceDrawing工具绘制数字手绘动漫风格肖像，并可以选择在粗略和详细的线条艺术指导模式之间切换。
前者提供特定面部部位的提示，后者则根据用户的绘画进度提供全脸肖像的提示。一旦生成的指导符合他们的期望，参与者就可以固定它，并进一步完善他们的输入草图。该工具还允许参与者选择参考图像来生成其输入草图的彩色肖像。接下来，他们通过调查评估了该工具的用户满意度和指导匹配。
该团队指出，该系统始终提供高质量的面部指导，并有效支持动漫风格肖像的创作，不仅增强了用户草图，而且还生成了理想的相应彩色图像。福里教授表示：“我们的系统可以成功地将用户的草图转化为高质量的动漫肖像。用户研究表明，即使是新手也可以在系统的帮助下画出合理的草图，并最终获得高质量的彩色艺术图。”
“我们的生成式人工智能框架使用户，无论其技能水平和经验如何，甚至可以从不完整的绘图中创建专业的动漫肖像。我们的方法在整个创作过程中始终如一地产生高质量的图像生成结果，无论绘图顺序或效果有多差。最初的草图是，”宫田教授总结道。
从长远来看，这些发现可以帮助人工智能技术民主化，并协助用户完成创造性任务，从而在没有技术障碍的情况下增强他们的创造力。