RU2004126185A - Способ и устройство для фотореалистического трехмерного моделирования лица на основе изображения - Google Patents

Claims (56)

1. Способ создания трехмерной фотореалистической модели головы, заключающийся в том, что

(a) обнаруживают фронтальные и профильные особенности во вводимых фронтальном и профильном изображениях,

(b) генерируют трехмерную модель головы путем подгонки трехмерной универсальной модели, используя обнаруженные особенности лица,

(c) генерируют реалистическую текстуру из вводимых фронтального и профильного изображений, и

(d) отображают текстуру на трехмерную модель головы.

2. Способ по п.1, отличающийся тем, что на этапе (b) генерации трехмерной модели головы дополнительно генерируют информацию глубины из фронтального изображения и почти фронтального изображения, выполняют подгонку универсальной модели, используя особенности лица, для определения трехмерной формы конкретного лица, и генерируют подогнанную трехмерную модель головы, используя информацию глубины.

3. Способ по п.1, отличающийся тем, что на этапе (c) дополнительно смешивают с искусственной текстурой.

4. Способ по п.1, отличающийся тем, что на этапе (a) обнаружения фронтальных особенностей обнаруживают область кожи, обнаруживают область лица, обнаруживают ограничивающие глаза рамки, обнаруживают радужные оболочки и нормализуют фронтальное изображение.

5. Способ по п.1, отличающийся тем, что этап (a) обнаружения фронтальных особенностей содержит по меньшей мере один из этапов: обнаруживают контуры глаз, обнаруживают брови, обнаруживают контур губ, обнаруживают контур носа и обнаруживают контур подбородка и щек.

6. Способ по п.4, отличающийся тем, что этап обнаружения области кожи выполняют, используя предварительно обученный байесовский классификатор максимальной вероятности, который классифицирует пиксели изображения на пиксели кожи и пиксели "не-кожи" в нормализованном r-g хроматическом цветовом пространстве.

7. Способ по п.6, отличающийся тем, что на этапе обнаружения области лица

(i) инициализируют наибольший связанный компонент цвета кожи, как область лица,

(ii) инициализируют и расширяют эллипс, перемещая граничные точки эллипса на основе инициализированной области лица, до тех пор, пока эллипс не будет устойчивым,

(iii) определяют рамку, ограничивающую устойчивый эллипс, как область лица.

8. Способ по п.7, отличающийся тем, что при существовании двух наибольших связанных компонентов, имеющих подобные размеры на этапе (i) выбирают один из двух наибольших связанные компонентов, который расположен ближе к центру изображения, как область лица.

9. Способ по п.7, отличающийся тем, что на этапе (ii) инициализации и расширения эллипса определяют прямоугольный образец, центрированный на граничной точке эллипса на основе инициализированной области лица, вычисляют количество пикселей кожи, которые лежат и в данном образце, и в эллипсе, перемещают граничные точки эллипса на предварительно определенное расстояние внутрь, если расчетное количество пикселей кожи меньше предварительно определенного порога, вычисляют количество пикселей кожи, которые лежат внутри данного образца и снаружи эллипса, если расчетное количество пикселей кожи не меньше предварительно определенного порогового значения, и перемещают граничную точку эллипса на предварительно определенное расстояние наружу, если расчетное количество пикселей кожи, которые лежат внутри данного образца и вне эллипса, больше предварительно определенного порога.

10. Способ по п.6, отличающийся тем, что на этапе обнаружения ограничивающих глаза рамок генерируют размытое изображение с помощью фильтрации нижних частот, получают изображение, вычитая размытое изображение из исходного изображения, генерируют новое изображение, вычисляя среднее значение каждого пикселя и соседних с ним пикселей полученном изображении, и преобразуют новое изображение в двоичную форму, используя предварительно определенное пороговое значение, обнаруживают связанные сегменты, как глаза-кандидаты, и определяют ограничивающие глаза рамки, оценивая глаза-кандидаты на основе формы, размера и относительного расположения.

11. Способ по п.4, отличающийся тем, что на этапе обнаружения радужных оболочек обнаруживают радужные оболочки в пределах ограничивающих глаза рамок изображения красного канала.

12. Способ по п.11, отличающийся тем, что дополнительно обнаруживают центры и радиусы радужных оболочек, причем на этапе обнаружения центров и радиусов радужных оболочек сравнивают с пороговым значением количество пикселей, имеющих максимальные значения яркости в каждой ограничивающей глаза рамке изображения красного канала, для определения, существует ли блик, инициализируют центр масс самых темных пикселей, как центр радужной оболочки, если блик не найден, инициализируют центр области с высокой контрастностью около блика, как центр радужной оболочки, если блик существует, расширяют начальный круг в центре радужной оболочки и измеряют градиенты пикселей по кругу, и расширяют начальный круг в центре радужной оболочки и неоднократно измеряют градиенты пикселей по кругу, и выбирают область, имеющую наибольший градиент, как центр радужной оболочки и определяют радиус радужной оболочки.

13. Способ по п.4, отличающийся тем, что на этапе нормализации фронтального изображения вращают фронтальное изображение так, чтобы линия между центрами радужных оболочек была горизонтальной, и масштабируют фронтальное изображение к предварительно определенному разрешению.

14. Способ по п.5, отличающийся тем, что на этапе обнаружения контуров глаз аппроксимируют контуры глаз, используя два полинома для верхнего и нижнего контуров глаза, причем на этапе аппроксимации контура глаза предварительно определяют область поиска в соответствии с центром и радиусом радужной оболочки, выбирают пиксели на каждой горизонтальной линии сканирования на изображении красного канала в области поиска, в которых существуют локальные минимумы или яркость резко изменяется, как левую и правую точки века, выбирают крайнюю левую точку и крайнюю правую точки среди оставшихся точек века, как углы глаза, оценивают кривую верхнего века, используя точки на линии, соединяющей углы глаза способом минимальных квадратов, и оценивают кривую нижнего века, используя выбранные углы глаза и нижнюю точку радужной оболочки.

15. Способ по п.5, отличающийся тем, что на этапе обнаружения бровей аппроксимируют брови, используя полином, который соответствует темным пикселям в предварительно определенной области выше ограничивающих глаза рамок после адаптивной бинаризации.

16. Способ по п.5, отличающийся тем, что на этапе обнаружения контура губ обнаруживают верхнюю и нижнюю губы, причем на этапе обнаружения верхней и нижней губ инициализируют прямоугольник рта, уточняют прямоугольник рта так, чтобы он был меньше, анализируя моменты первого и второго порядка для пикселей цвета "не кожи", генерируют изображение функции губ и вычисляют вероятность того, что каждый пиксель в уточненном прямоугольнике рта принадлежит губам или коже, инициализируют контур губ с помощью эллипса, измеряя центральные моменты второго порядка для пикселей, имеющих большие значения функции губ, динамически перемещают контур губ с помощью направленных внутрь и наружу сил, и с помощью аппроксимации генерируют полином, выражающий контур губ, используя точки перемещенного контура.

17. Способ по п.16, отличающийся тем, что направленная наружу сила является силой, перемещающей точки контура к границе между губами и кожей, а внутренняя сила состоит из внутренней силы формирования, которая формирует контур, чтобы он был эллиптическим, и внутренней силы сглаживания, которую определяют с помощью предварительно определенных факторов, которые включают в себя силу, предотвращающую перемещение точек контура за границу.

18. Способ по п.5, отличающийся тем, что на этапе обнаружения контура носа обнаруживают боковые стороны носа, причем при обнаружении боковых сторон носа выполняют сравнение изображения краев в предварительно определенной области поиска с шаблоном, имеющем предварительно определенную форму, выбирают среди обнаруженных кандидатов, имеющих большие значения соответствий, пару кандидатов, которые удовлетворяют требованию симметрии, и определяют выбранные пары кандидатов, как позиции крыльев носа, и выражают каждую из боковых сторон носа, используя полином, который подгоняют к обнаруженным шаблонам крыльев носа и трем точкам, интерполированным между крылом носа и углами глаза с предварительно определенными коэффициентами.

19. Способ по п.5, отличающийся тем, что на этапе обнаружения контура подбородка и щек вычисляют поля векторов градиента на изображении красного канала, устанавливают начальный шаблон контура в области лица, определенной двумя полиноминальными кривыми, пересекающимися в точке подбородка, расширяют контур подбородка и щек наружу до тех пор, пока контур подбородка и щек не достигнет сильных краев по касательным к кривым, и останавливают расширение контура подбородка и щек, когда контур подбородка и щек достигнет сильных краев по касательным к кривым.

20. Способ по п.1, отличающийся тем, что на этапе (a) обнаружения особенностей профиля обнаруживают область профиля, обнаруживают кривую профиля, обнаруживают опорные точки, и обнаруживают контур уха.

21. Способ по п.20, отличающийся тем, что на этапе обнаружения области профиля классифицируют пиксели на пиксели цвета кожи и пиксели цвета "не кожи", и выбирают наибольший связанный компонент цвета кожи, как область профиля.

22. Способ по п.21, отличающийся тем, что при существовании двух наибольших связанных компонентов, имеющих подобные размеры, один из двух наибольших связанных компонентов, который расположен ближе к центру изображения, выбирают в качестве области профиля.

23. Способ по п.20, отличающийся тем, что на этапе обнаружения кривой профиля обнаруживают правую границу области лица в указанной пользователем ограничивающей рамке, определенной из фронтального изображения, как кривую профиля.

24. Способ по п.20, отличающийся тем, что на этапе обнаружения контура уха инициализируют позицию уха, сравнивая шаблон кривой с изображением профиля, и обнаруживают более точную границу уха, изменяя форму инициализированного шаблона уха, используя алгоритм отслеживания контура.

25. Способ по п.24, отличающийся тем, что на этапе инициализации позиции уха вращают оригинал изображения так, чтобы сегмент между вершиной переносицы носа и точкой подбородка стал вертикальным, и масштабируют длину сегмента к предварительно определенному значению, определяют область поиска уха, сравнивают границу между областью профиля и областью волос с шаблоном кривой для нахождения из двух кривых, соответствующих подсегментов, имеющих подобную форму, обнаруживают сегменты, имеющие подобную форму, с помощью сравнения края, обнаруженного с использованием детектора края, и шаблона уха, если длина сравниваемых сегментов меньше предварительно определенного порогового значения, и вычисляют вектор сдвига подсегментов шаблона к точкам совпавшего изображения с помощью алгоритма наименьших квадратов.

26. Способ по п.2, отличающийся тем, что на этапе генерации информации глубины из фронтального и почти фронтального изображений определяют характерные точки на фронтальном изображении, выполняют основанное на модели Lucas-Kanade отслеживание характерных точек для поиска соответствующих точек на почти фронтальном изображении, получают плотную карту различий с помощью интерполяции данных, используя сравнение соответствий, и преобразуют карту различий в информацию глубины.

27. Способ по п.26, отличающийся тем, что на этапе преобразования карты различий в информацию глубины получают разностное значение между максимальным и минимальным значениями различий, определяют коэффициент с помощью деления разностного значения на ширину головы и умножения полученного результата на предварительно определенную константу, и получают значения глубины пикселя, умножая коэффициент на значение, полученное вычитанием минимального значения различия из измеренного значения различия.

28. Способ по п.1, отличающийся тем, что на этапе подгонки универсальной модели на этапе (b) преобразуют кривые особенностей, обнаруженных на изображениях, в двумерные точки, соответствующие особенностям, определенным в трехмерной универсальной модели, используя соотношения длин для характерных точек на кривой лицевых особенностей трехмерной универсальной модели, и выполняют подгонку трехмерной универсальной модели с помощью 3-этапной трансформации на основе функции с радиальным смещением (RBF) на основе соответствий между особенностями изображений и характерными точками трехмерной универсальной модели.

29. Способ по п.28, отличающийся тем, что при основанной на RBF 3-этапной трансформации устанавливают координаты X и Y перемещенных ключевых точек модели в соответствующие характерные точки изображения, и оставляют координату Z такой же, как в трехмерной универсальной модели, для выполнения RBF интерполяции по фронтальным особенностям, корректируют масштаб изображения профиля с учетом особенностей профиля и используют масштабированные особенности профиля, как входную информацию для RBF интерполяции при сдерживании их координат X, чтобы они остались в их позициях в универсальной модели, и выполняют RBF интерполяцию и по фронтальным, и по профильным особенностям, используя координаты Z, полученные на предыдущем этапе.

30. Способ по п.29, отличающийся тем, что основанную на RBF 3-этапную трансформацию выполняют так, чтобы вершины универсальной полигональной модели перемещались к соответствующим трехмерным точкам, полученным в процессе восстановления информации глубины.

31. Способ по п.1, отличающийся тем, что на этапе (c) генерации реалистической текстуры выполняют коррекцию цвета в вводимых изображениях для компенсации различных условий освещения или различий цветового баланса между камерами, генерируют фронтальную и профильную текстуры путем отображения фронтального и профильного изображений на общую плоскость UV на основе соответствия между вершинами трехмерной модели и проецируемыми двумерными позициями, и объединяют фронтальную и профильную текстуры и искусственную текстуру, используя сплайновый алгоритм в разных разрешениях для завершения текстурирования.

32. Устройство для создания трехмерной фотореалистической модели головы, содержащее блок обнаружения особенностей лица, который обнаруживает фронтальные и профильные особенности во вводимых фронтальном и профильном изображениях, блок подгонки модели лица, который генерирует трехмерную модель головы путем подгонки трехмерной универсальной модели, используя обнаруженные особенности лица, блок генерации текстуры, который генерирует реалистическую текстуру из вводимых фронтального и профильного изображений, и блок отображения, который отображает текстуру на трехмерную модель головы, сгенерированную в блоке подгонки модели лица.

33. Устройство по п.32, отличающееся тем, что блок подгонки модели лица содержит узел генерации информации глубины, который извлекает информацию глубины из фронтального изображения и почти фронтального изображения и генерирует трехмерную модель головы с помощью выполнения подгонки универсальной модели, используя особенности лица, обнаруженные в блока обнаружения особенностей лица, и информацию глубины, сгенерированную в узле генерации информации глубины.

34. Устройство по п.32, отличающееся тем, что блок генерации текстуры смешивает реалистическую текстуру и искусственную текстуру.

35. Устройство по п.32, отличающееся тем, что блок обнаружения особенностей лица содержит узел обнаружения фронтальных особенностей, который обнаруживает фронтальные особенности, и узел обнаружения особенностей профиля, который обнаруживает особенности профиля.

36. Устройство по п.35, отличающееся тем, что узел обнаружения фронтальных особенностей содержит узел обнаружения области кожи, который обнаруживает область кожи, узел обнаружения области лица, который обнаруживает область лица, узел обнаружения ограничивающих глаза рамок, который обнаруживает ограничивающие глаза рамки, узел обнаружения радужной оболочки, который обнаруживает радужные оболочки, и узел нормализации фронтального изображения, который нормализует фронтальное изображение.

37. Устройство по п.36, отличающееся тем, что узел обнаружения области кожи обнаруживает область кожи, используя предварительно обученный байесовский классификатор максимальной вероятности, который классифицирует пиксели изображения на пиксели кожи и пиксели "не-кожи" в нормализованном r-g хроматическом цветовом пространстве.

38. Устройство по п.36, отличающееся тем, что блок обнаружения области лица содержит узел инициализации области лица, который инициализирует наибольший связанный компонент цвета кожи, как область лица, узел стабилизации эллипса, который инициализирует и расширяет эллипс с помощью перемещения граничных точек эллипса на основе инициализированной области лица до тех пор, пока эллипс не будет устойчивым, и узел определения области лица, который определяет ограничивающую устойчивый эллипс рамку, как область лица.

39. Устройство по п.36, отличающееся тем, что узел обнаружения ограничивающих глаза рамок содержит узел генерации размытого изображения, который генерирует размытое изображение с помощью фильтрации нижних частот, узел бинаризации изображения, который генерирует новое изображение путем вычисления среднего значения каждого пикселя и соседних с ним пикселей на изображении, полученном путем вычитания размытого изображения из исходного изображения и преобразования в двоичную форму нового изображения, используя предварительно определенное пороговое значение, узел поиска глаз-кандидатов, который находит связанные сегменты в преобразованном в двоичную форму изображении в узле бинаризации изображения, как глаза-кандидаты, и узел определения ограничивающих глаза рамок, который определяет ограничивающие глаза рамки, оценивая глаза-кандидаты на основе формы, размера и относительного расположения.

40. Устройство по п.36, отличающееся тем, что узел обнаружения радужной оболочки обнаруживает радужные оболочки в пределах ограничивающей глаза рамки на изображении красного канала.

41. Устройство по п.40, отличающееся тем, что узел обнаружения радужной оболочки содержит узел поиска блика, который определяет, существует ли блик, сравнивая количество пикселей, имеющих максимальные значения яркости в каждой ограничивающей глаза рамке изображения красного канала, с пороговым значением, узел инициализации центра радужной оболочки, который инициализирует центр массы самых темных пикселей, как центр радужной оболочки, если блик не найден, и инициализируют центр области с высокой контрастностью около блика, как центр радужной оболочки, если блик существует, узел измерения центра/радиуса радужной оболочки, который неоднократно измеряет градиенты пикселей по начальному кругу в центре радужной оболочки при расширении начального круга, и узел определения радужной оболочки, который определяет область, имеющую наибольший градиент, как центр радужной оболочки, и определяет радиус радужной оболочки.

42. Устройство по п.36, отличающееся тем, что узел нормализации фронтального изображения нормализует фронтальное изображение с путем вращения фронтального изображения так, чтобы линия между центрами радужных оболочек стала горизонтальной, и масштабирования фронтального изображения к предварительно определенному разрешению.

43. Устройство по п.35, отличающееся тем, что узел обнаружения фронтальных особенностей дополнительно содержит по меньшей мере один из узлов: узел обнаружения контура глаз, узел обнаружения бровей, узел обнаружения контура губ, узел обнаружения контура носа и узел обнаружения контура подбородка и щек.

44. Устройство по п.43, отличающееся тем, что узел обнаружения контура глаз аппроксимирует контуры глаз, используя два полинома для верхнего и нижнего контуров глаза, причем аппроксимация контуров глаза включает в себя предварительное определение области поиска в соответствии с центром и радиусом радужной оболочки, выбор пикселей на каждой горизонтальной линии сканирования на изображении в красном канале в области поиска, в которых существуют локальные минимумы или яркость резко изменяется, как левой и правой точек века, выбор крайних левой и правой точек среди оставшихся точек века, как углов глаза, оценку верхней кривой века при использовании точек на линии, соединяющей углы глаза, с помощью способа минимальных квадратов, и оценку нижней кривой века при использовании выбранных углов глаза и нижней точки радужной оболочки.

45. Устройство по п.43, отличающееся тем, что узел обнаружения бровей обнаруживает брови с помощью аппроксимации, используя полином, который соответствует темным пикселям в предварительно определенной области, расположенной выше ограничивающих глаза рамок, после адаптивной бинаризации.

46. Устройство по п.43, отличающееся тем, что узел обнаружения контура губ ищет верхнюю и нижнюю губы, причем обнаружение верхней и нижней губ включает в себя инициализацию прямоугольника рта, уточнение прямоугольника рта для того, чтобы он был меньше, путем анализа моментов первого и второго порядка для пикселей цвета "не-кожи", генерирование изображения функции губ и вычисление вероятности того, что каждый пиксель в уточненном прямоугольнике рта принадлежит губам или коже, инициализацию контура губ с помощью эллипса путем измерения центральных моментов второго порядка для пикселей, имеющих большие значения функции губ, динамическое перемещение контура губ с помощью направленных внутрь и наружу сил, и генерирование полинома, выражающего контур губ путем аппроксимации с использованием точек перемещенного контура.

47. Устройство по п.43, отличающееся тем, что узел обнаружения контура носа обнаруживает боковые стороны носа, причем обнаружение боковых сторон носа включает в себя выполнение сравнения изображения краев в предварительно определенной области поиска с шаблоном, имеющим предварительно определенную форму, выбор среди обнаруженных кандидатов, имеющих большие значения соответствия, пары кандидатов, которые удовлетворяют требованию симметрии, и определение выбранной пары кандидатов, как позиции крыльев носа, и выражение каждой из боковых сторон носа при использовании полинома, который подгоняют к обнаруженным шаблонам крыльев носа и трем точкам, интерполированным между крылом носа и углами глаза с предварительно определенными коэффициентами.

48. Устройство по п.43, отличающееся тем, что узел обнаружения контура подбородка и щек содержит узел вычисления градиента, который вычисляет поле векторов градиента на изображении в красном канале, узел расширения контура подбородка и щек, который определяет положение начального шаблона контура в области лица, определенной двумя полиноминальными кривыми, пересекающимися в точке подбородка, и расширяет контур подбородка и щек наружу до тех пор, пока контур подбородка и щек не достигнет сильных краев по касательным к кривым, и узел определения контура подбородка и щек, который прекращает расширение контура подбородка и щек, когда контур подбородка и щек достиг сильных краев по касательным к кривым.

49. Устройство по п.35, отличающееся тем, что узел обнаружения особенностей профиля содержит узел обнаружения области профиля, узел обнаружения кривой профиля, узел обнаружения опорных точек и узел обнаружения контура уха.

50. Устройство по п.49, отличающееся тем, что узел обнаружения области профиля обнаруживает область профиля путем классификации пикселей на пиксели цвета кожи и пиксели цвета "не-кожи", и выбора наибольшего связанного компонента цвета кожи, как области профиля.

51. Устройство по п.49, отличающееся тем, что узел обнаружения кривой профиля обнаруживает границу правой области лица в указанной пользователем ограничивающей рамке, определенной из фронтального изображения, как кривую профиля.

52. Устройство по п.49, отличающееся тем, что узел обнаружения контура уха обнаруживает контур уха с помощью инициализации позиции уха, сравнивая шаблон кривой с изображением профиля, и обнаруживая более точную границу уха с помощью изменения формы инициализированного шаблона уха, используя алгоритм отслеживания контура.

53. Устройство по п.33, отличающееся тем, что блок генерации информации глубины содержит узел обнаружения характерных точек, который определяет характерные точки на фронтальном изображении и находит соответствующие характерные точки на почти фронтальном изображении, узел получения различий, который получает плотную карту различий с помощью интерполяции данных, используя сравнение соответствий, и узел преобразования различий в информацию глубины, который преобразует карту различий в информацию глубины.

54. Устройство по п.32, отличающееся тем, что блок подгонки универсальной модели содержит узел преобразования в двумерные точки, который преобразует кривые особенностей, обнаруженных на изображениях, в двумерные точки, соответствующие особенностям, определенным в трехмерной универсальной модели, используя соотношения длин для характерных точек на кривой лицевых особенностей трехмерной универсальной модели, и узел подгонки полигональной модели, который выполняет подгонку трехмерной универсальной модели с помощью 3-этапной трансформации на основе функции с радиальным смещением (RBF) на основе соответствий между особенностями изображений и характерными точками трехмерной универсальной модели.

55. Устройство по п.32, отличающееся тем, что блок генерации текстуры содержит узел компенсации вводимого изображения, который компенсирует различные условия освещения или различия цветового баланса между камерами, выполняя коррекцию цвета в вводимых изображениях, узел генерации фронтальной/профильной текстуры, который генерирует фронтальную и профильную текстуры с помощью отображения фронтального и профильного изображений на общую плоскость UV на основе соответствия между вершинами трехмерной модели и проецируемыми двумерными позициями, и узел завершения текстурирования, который объединяет фронтальную и профильную текстуры и искусственную текстуру, используя сплайновый алгоритм в разных разрешениях для завершения текстурирования.

56. Считываемый компьютером носитель информации, содержащий компьютерную программу для осуществления способа по п.1.