Нейросеть для создания 3D карикатуры из фото

Китайские разработчики предложили автоматический метод создания карикатур из 2D фото с помощью нейросети.

Карикатура — это художественная абстракция человека, искажающая или преувеличивающая определенные черты лица, но при этом сохраняющая сходство с данным лицом.

Из-за большого разнообразия геометрических и текстурных вариаций автоматическое определение ориентира и трехмерная реконструкция лица для карикатуры являются сложной проблемой и практически не изучалась ранее. Китайские разработчики Джуонг Чжан , Хунруй Цай , Юдун Го , Чжуан Пэн предложили первый автоматический метод решения этой задачи с использованием нового трехмерного подхода на основе нейросетей.

Нейросеть изначально обучается на наборе данных из различных стилей 2D-карикатур и их соответствующими 3D-формами, а затем применяет параметрическую модель на основе деформации вершин для 3D-карикатуры.

Исходный код и обученная модель

Подробная техническая информация о работе алгоритма: «Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model»