KR20190076858A

KR20190076858A - 개선된 나이 모델링 방법

Info

Publication number: KR20190076858A
Application number: KR1020180157981A
Authority: KR
Inventors: 빅토르 마르탱; 르노와 세귀에르; 오렐리 포쉐홍
Original assignee: 샤넬 파르퓜 보트
Priority date: 2017-12-22
Filing date: 2018-12-10
Publication date: 2019-07-02
Also published as: JP2019114253A; JP6744905B2; EP3503023B1; US20190197204A1; KR102014660B1; US10860755B2; EP3503023A1

Abstract

본 발명은 얼굴의 화상으로부터 얼굴의 나이 관련 특성들을 모델링하는 방법을 제안하는데, 여기서 나이 관련 특성들은 주름들 또는 나이 반점들 중 하나이고, 그 방법은,
- 동일한 성질의 얼굴의 각 나이 관련 특성에 대해, 특성의 모양 및 외모의 파라미터를 포함하는 벡터를 생성하는 단계,
- 생성된 벡터로부터 얼굴의 동일한 성질의 나이 관련 특성들을 모델링하는 단일 표현 벡터들을 생성하는 단계를 포함하고,
상기 단일 표현 벡터는 상기 얼굴의 특성들 개수, 및 상기 특성들의 모양 및 외모 특징들의 상기 얼굴에 걸친 결합 확률들을 저장한다. .

Description

개선된 나이 모델링 방법{IMPROVED AGE MODELLING METHOD}

본 발명은 얼굴의 화상에서 볼 수 있는 얼굴의 주름 및 나이 반점을 모델링하기 위한 이미지 처리 분야에 관한 것이다. 본 발명은 또한 얼굴의 주름 및 나이 반점의 시뮬레이션을 포함하는 노화 또는 젊어짐(de-aging)의 시뮬레이션에 관한 것이다.

Proc. European Conference on Computer Vision 1998, Vol. 2, pp. 484-498, Springer, 1998에서, T.F. Cootes 등에 의해 발표된 "활성 외모 모델(Active Appearance Models)"에 의하면, 얼굴 화상으로부터, 얼굴의 모양(shape)과 외모(appearance)에 관련된 일부 특징들을 추출하여 개인의 얼굴을 모델링하는 방법이 알려져있다.

이 방법은, 일단 얼굴 모델이 획득되면, 얼굴의 모양이나 외모가 변경된 새로운 화상을 시뮬레이션하기 위해 이 모델의 일부 파라미터를 변경할 수 있도록 한다.

이 모델은 특히 다음 두 발표에 설명된 것처럼 얼굴의 외모에 대한 나이 효과를 시뮬레이션하는 데 사용되었다.

- A. Lanitis et al. “Modeling the Process of Ageing in Face Images”, IEEE, pp 131-136 vol. 1, DOI 10.1109/ICCV.1999.791208.

-A. Lanitis et al. “Toward automatic simulation of aging effects on face images", IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(4):442-455.

나이 변화를 시뮬레이션하기 위해 구현된 기술은 T.F. Cootes의 활성 외모 모델(Active Appearance Model)을 사용한다. 기준 집단(reference population)을 형성하는 복수의 개인들의 얼굴들의 화상들이 각각의 얼굴에 대한 얼굴의 모델을 추출하기 위해 활성 외모 모델(Active Appearance Model)로 처리된다.

도 1에 개략적으로 도시된 바와 같이, 이 처리는 하나의 화상으로부터 얼굴의 모양(shape)을 나타내는 고정 길이 벡터(fixed-length vector)와 얼굴의 외모(appearance)를 나타내는 고정 길이 벡터를 추출하는 것을 포함한다.

상기 집단의 모든 얼굴에 대해 두 벡터를 얻은 다음, 얼굴의 모양을 나타내는 모든 벡터에 대해 주성분 분석을 수행하여 모양 가중치들을 획득하고, 또한 얼굴의 외모를 나타내는 모든 벡터에 대해 다른 주성분 분석을 수행하여 외모 가중치들을 획득하며, 모양 가중치들 및 외모 가중치들의 연결(concatenation)에 대해 최종 주성분 분석을 수행하여 얼굴의 질감(texture)과 모양 변화(shape variation)가 모두 모델링된 부분 공간을 생성한다.

나이에 대해 이 새로 생성된 공간에서 좌표들의 회귀(regression)는, 얼굴 노화의 방향을 나타낸다. 따라서, 이 공간에 새로운 얼굴을 투사하고 이를 얼굴 노화 방향으로 변환하며 수정된 모양 및 질감을 갖는 얼굴의 이미지를 재구성하여 노화 또는 젊어진 외모를 획득할 수 있다.

그러나 이러한 접근법은 주름이나 반점 같은 고주파 세부 사항이 모델에서 완전히 고려되지 않았기 때문에 그 만들어진 노화된 외모가 흐려지는 한계가 있다.

이 문제에 직면하여, Bukar AM 등이 “On Facial Age Progression Based on Modified Active Appearance Models with Face Texture” In Advances in Computational Intelligence Systems, vol 513, Springer International Publishing, Cham, pp 465-479, 에서 개시한 바와 같은 다른 접근법이 사용되고 있고, 그 다른 접근법은 외모와 모양을 포함하는 얼굴의 모델을 생성하기 위해 활성 외모 모델을 사용하고 고주파 세부 정보의 패치를 보충하기 위해 외모에 후처리 단계를 추가한다. 이 후처리는 이러한 고주파 세부 정보의 나이 진행에 미치는 영향에 대한 통계적 분석을 기반으로 수행되지 않으므로 나이 진행을 시뮬레이션하기에는 정확하지 않을 수 있다.

마지막으로, WO2009/014832로부터, 사람의 얼굴 이미지를 조작하여 나이에 따른 주름 변화를 시뮬레이션하는 방법이 또한 공지되어 있다. 그러나 이 방법은 사람의 얼굴에 대한 중립적인 이미지와 표현 이미지를 처리함으로써 구현되므로 나이 진행으로부터 통계적으로 학습되지 않고 그 결과 나이 진행에 대한 관련 시뮬레이션을 할 수 없다.

상기 관점에서, 본 발명은 종래기술의 한계 중 적어도 하나를 극복하는 것을 목적으로 한다.

특히, 본 발명은 주름과 같은 얼굴의 고주파 세부 사항을 적절하게 모델링하고, 이 모델링을 사용하여 사람의 나이 변화를 시뮬레이션하는 것을 목적으로 한다.

본 발명의 다른 목적은 나이 변화가 주름의 진화에 미치는 영향을 정확하게 반영하는 것이다.

본 발명의 또 다른 목적은 사람이 가질 수 있는 상이한 라이프 스타일 또는 행동에 따라 동일한 사람의 노화를 시뮬레이션하는 것이다.

상기 목적을 위해, 나이 관련 특성이 주름들 또는 나이 반점들인 얼굴의 화상으로부터 얼굴의 나이 관련 특성들을 모델링하는 방법은,

- 얼굴의 동일한 성질의 각 나이 관련 특성에 대해, 나이 관련 특성의 모양 및 외모의 파라미터들을 포함하는 벡터를 생성하는 단계; 및

- 상기 생성된 벡터로부터, 얼굴의 동일한 성질의 나이 관련 특성들을 모델링하는 단일 표현 벡터를 생성하는 단계를 포함하고,

상기 단일 표현 벡터는 상기 얼굴의 특성들의 개수, 및 상기 특성들의 모양 및 외모 특징들의 상기 얼굴에 걸친 결합 확률들을 저장한다.

실시예들에서, 상기 특성의 모양 및 외모의 파라미터들을 포함하는 벡터를 생성하는 단계는,

- 상기 특성의 복수의 점들의 좌표를 획득하는 단계; 및

- 상기 특성의 모양 파라미터들을 추론하기 위해 상기 좌표를 처리하는 단계를 포함한다.

특정 실시예에서, 상기 나이 관련 특성들은 주름들이며, 상기 방법은 각 주름의 적어도 5개 점들의 좌표를 획득하는 단계를 포함하고, 상기 점들은 주름에 걸쳐 규칙적으로 이격되고 주름의 각 끝에 적어도 하나의 점을 포함한다.

그 경우 있어서, 주름의 모양 특징들은,

- 주름의 중심 좌표,

- 주름의 길이,

- 및 기준 축에 대한 주름의 각도 및

- 주름의 곡률을 포함할 수 있다.

주름의 외모 파라미터들은 주름의 두께 σ 및 깊이 A를 포함하고, 이들 파라미터들을 추출하기 위한 이미지의 처리는, 각각의 주름에 대해,

- 주름을 포함하는 이미지의 일부를 하이-패스 필터링하는 단계,

- 각 주름을 공통 모양으로 왜곡시키는 단계,

- 왜곡된 주름의 복수의 횡단 프로파일에 곡선을 피팅하여 각 프로파일에 대해 상기 피팅된 곡선의 최대 진폭 값 및 폭 값을 추출하는 단계;

- 상기 복수의 프로파일 각각에 대해 추출된 최대 진폭 값들 및 폭 값들 각각으로부터 A 및 σ를 계산하는 단계를 포함한다.

바림직하게, 상기 곡성은 2차 미분 로렌츠 함수이다.

실시예들에서, 상기 단일 표현 벡터는 얼굴의 동일한 성질의 특성들의 평균 특징들을 더 포함한다.

바람직하게, 상기 표현 벡터를 생성하는 단계는,

- 얼굴에 적어도 하나의 구역을 정의하고,

- 각 구역에 대해,

o 구역의 나이 관련 특성들의 결합 확률을 계산하는 단계,

o 나이 관련 특성들의 결합 확률, 구역의 나이 관련 특성들의 개수 및 구역의 나이 관련 특성들의 평균 특징들을 포함하는 구역 벡터를 정의하는 단계,

o 표현 벡터를 획득하기 위해 상기 구역 벡터들을 연결하는 단계를 포함한다.

바람직한 실시예에서, 상기 나이 관련 특성들의 결합 확률들은, 한 번에 2 개씩 취해진 각 특성을 나타내는 벡터의 모든 특징들의 결합 확률들을 계산함으로써 근사화된다.

사람의 나이를 모델링하는 방법이 또한 개시된다. 그 방법은,

- 기준 집단을 형성하는 복수의 개인들의 얼굴들의 화상들을 처리하여 각각의 화상에 대해,

o 제 1 항에 따른 방법을 수행함으로써 얻어지는 주름 모델 및 나이 반점 모델 중 적어도 하나

o 모양 모델, 및

o 외모 모델을 추출하는 단계,

- 주름들 및/또는 나이 반점들, 모양 및 외모 가중치들을 각각 얻기 위해 복수의 주름 및/또는 나이 반점 모델, 모양 모델 및 외모 모델에 대해 각각의 주성분 분석을 수행하는 단계,

- 주름들 및/또는 나이 반점들, 모양 및 외모 가중치들에 대한 주성분 분석을 수행하여 집합 가중치를 얻는 단계 및

- 함수의 피팅에 의해, 집합 가중치와 나이 또는 인지된 나이 사이의 관계를 추론하는 단계를 포함한다.

상기 기준 집단은 다음 중 적어도 하나에 대한 유사한 라이프 스타일을 갖는 것으로 선택될 수 있다.

- 흡연,

- 음주,

- 태양 노출,

- 영양,

- 스킨 케어 제품 사용.

상기 기준 집단은 또한 성별, 지리적 위치 및 인종에 따라 선택될 수 있다.

실시예들에서, 사람의 나이를 모델링하는 상기 방법은, 사람의 나이 변화를 시뮬레이션하는 단계를 더 포함할 수 있고, 그 시뮬레이션하는 단계는,

- 사람의 얼굴의 화상에 대응하는 플롯의 하나의 집합 가중치를 선택하는 단계;

- 대응하는 나이 또는 인지된 나이를 식별하는 단계;

- 나이 변화에 따라 수정된 나이 또는 인지된 나이에 대한 업데이트된 집합 가중치를 피팅된 함수로 시뮬레이션하는 단계;

- 나이 변화에 대응하는 사람의 얼굴의 화상을 추론하기 위해 상기 업데이트된 집합 가중치를 처리하는 단계를 포함한다.

프로세서에 의해 실행될 때, 상술한 방법을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그램 제품이 또한 개시된다.

명령들을 저장하는 메모리 및 상기 메모리에 저장된 명령들을 실행하도록 구성된 계산기를 포함하는 화상 처리 유닛이 또한 개시되고, 그 화상 처리 유닛은, 사람의 얼굴의 적어도 하나의 화상을 수신하고, 수신된 화상에 대해 상술한 방법을 구현하기 위해 구성된다.

본 발명에 따른 방법은 화상을 찍은 사람의 나이가 얼마이든 얼굴의 화상으로부터 얼굴의 주름의 고정 길이 표현을 생성할 수 있게 한다. 더 구체적으로, 주름의 개수와 외모에 상관없이 모든 주름을 모델링하는 벡터는 항상 동일한 크기이다.

결과적으로, 복수의 얼굴의 주름들을 모델링하는 벡터는 주성분 분석을 받을 수 있으므로, 이 주름 모델링은 이 모델의 증가된 정확성 및 관련성을 위해 활성 외모 모델에 통합될 수 있다.

이 모델을 통해 나이 변화를 정확하게 시뮬레이션하고 노화된 외모의 화상을 제작할 수 있다. 또한 나이의 인식에 영향을 미치는 얼굴의 시각적 단서에 대한 노화의 영향을 줄이기 위해 사람의 라이프 스타일에 따른 다양한 노화된 외모를 시뮬레이션하고 특정 스킨 케어 제품을 추천할 수 있다.

본 발명의 다른 특징 및 이점은 첨부 도면을 참조하여 비제한적인 예로서 주어진 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은, 활성 외모 모델의 구현을 개략적으로 보여주는 도면이다.
도 2는 모델링 방법 및 그 모델링 방법을 사람의 얼굴을 모델링하기 위해 활성 외모 모델에 통합한 실시 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 모델링 방법의 주요 단계들을 도시한 도면이다.
도 4a는 평균 모양으로 왜곡된 주름 및 그 주름의 선택된 강도 프로파일을 나타낸 도면이다.
도 4b는 도 4a의 선택된 강도 프로파일에 대해 맞추어진 2차 미분 로렌츠 곡선(lorentzian curve)을 나타낸 도면이다.
도 5는 한 사람의 찡그린 라인에 대한 동시 확률(joint probabilities)의 서브 세트의 예를 도시한 도면이다.
도 6a 내지 도 6e는 주름 모델로부터의 주름의 재현의 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 노화 시뮬레이션 방법의 결과의 예를 나타낸 것으로서, 사람의 얼굴의 원본 이미지를 중간에 보여주며, 왼쪽에는 20년 더 젊어진 동일한 사람을, 그리고 오른쪽에는 20년 더 나이가 든 동일한 사람을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 방법을 수행하기 위한 시스템을 개략적으로 도시한 도면이다.

사람의 얼굴의 나이 관련 특성(traits)을 모델링하는 방법이 도 2 및 도 3을 참조하여 설명될 것이다.

다음과 같은 모든 것들에서, 나이와 관련된 특성들은 나이와 함께 증가하는 경향이 있고 따라서 나이의 인식에 영향을 미치는 두 가지 시각적 단서인 주름이나 나이 반점과 관련이 있다.

이 방법은 바람직하게는 도 8에 개략적으로 도시된 화상 처리 유닛(1)에 의해 구현될 수 있으며, 이는 아래 개시된 방법에 따라, 화상들 및 화상들로부터 추출된 데이터를 처리하기 위한 코드 명령들, 바람직하게는 소프트웨어 명령들을 저장하는 메모리(10)를 포함한다. 화상 처리 유닛(1)은 또한 코드 명령들을 실행하도록 구성된 계산기(11)를 포함한다. 계산기는 바람직하게는 프로세서, 마이크로 프로세서 또는 마이크로 컨트롤러 일 수 있다.

화상 처리 유닛(1)에 의해 처리될 화상들은 바람직하게는 전용 인터페이스(15)를 통해 카메라(12) 또는 저장 장치(13)로부터 로드된다. 저장 장치는 SD 카드, USB 스틱과 같은 휴대용 저장 장치일 수 있다. 또한, 화상 처리 유닛(1)이 연결된 로컬 또는 원격 데이터베이스와 같은 고정 메모리 일 수도 있다.

주름 또는 나이 반점 모델링 방법

도 2 및 도 3을 참조하여, 얼굴의 주름들 또는 나이 반점들을 모델링하는 벡터를 추출하기 위한 얼굴의 화상 처리를 설명한다. 주름들과 나이 반점들의 모델링이 필요한 경우, 이 모델링은, 주름들에 대해 한 번, 그리고 나이 반점들에 대해 한 번 별도로 수행될 수 있다.

방법은 우선 동일한 성질의 얼굴의 각 나이 관련 특성(trait)(즉, 주름 또는 나이 반점)에 대해, 특성의 모양(shape) 및 외모(appearance) 특징들을 저장하는 벡터를 생성하는 단계(100)를 포함한다.

제 1 서브 단계(110) 동안, 특성은 복수의 점으로 주석이 달리고, 좌표들이 획득된다. 주석은 바람직하게는 얼굴 이미지상에서 조작자에 의해 수동으로 수행된다.

바람직한 실시예에서, 특성이 주름인 경우, 각각의 주름은 적어도 5개의 점들, 더욱 바람직하게는 정확히 5개의 점들로 주석된다. 바람직한 실시예에서, 상기 점들은 상기 주름의 길이를 따라 규칙적으로 위치하고, 상기 점들 중 하나는 상기 주름의 각 끝에 위치한다. 따라서 5개의 점의 경우, 두 개의 점이 주름의 끝 부분에 위치하고 하나는 중심에 위치하며 나머지 두 점은 중심과 각 끝 사이의 반 거리에 위치한다.

반점의 경우에, 복수의 점들이 반점의 경계 주위에 규칙적으로 분포되는 것이 바람직할 수 있다.

주석 점들의 좌표들이 서브 단계(120) 동안 처리되어 복수의 모양 특징들이 추론된다.

바림직하게, 주름의 모양 특징들은 다음을 포함한다.

- 주름의 중심의 좌표 (c_x, c_y)

- 주석의 첫 번째 점과 마지막 점 사이의 측지 거리와 동일한 주름의 길이 l

- 미리 정의된 축, 예를 들어 수평 축을 기준으로 한 주름의 각도 α

- 다음의 최소 자승 최소화(least squares minimization)로 계산된 주름의 곡률 C:

여기서 X 및 Y는 원점을 중심으로 한 주름의 가로 좌표와 세로 좌표이며, 첫 번째와 마지막 점은 수평으로 정렬되어 있다.

따라서 주름들의 경우, 모양은 5가지 파라미터 (c_x, c_y, l, α, C)로 모델링될 수 있다.

반점의 경우에, 주석 점들의 좌표들이, 반점 상에 미리 결정된 모양, 예를 들어 원 또는 타원에 피팅(fit)되기 위해 처리될 수 있고, 모양 파라미터들은 피팅된 모양을 특징짓는 파라미터들(예를 들어, 중심 또는 초점들의 좌표, 반경 또는 장반경 및 단반경, 미리 정의된 축을 기준으로 한 각도)를 포함할 수 있다. 벡터는 바람직하게는 반점에 맞추어진 모양이 무엇이든, 동일한 길이를 갖도록 만들어진다.

바람직한 실시예에 따라, 나이 반점의 모양 특징들은 다음을 포함한다.:

- 나이 반점의 중심의 좌표 (c_x, c_y)

- 장축(major axis)의 길이 및 단축(minor axis)의 길이와 각각 동일한 나이 반점의 길이 l_MAJ 및 l_min. 이 축들은 나이 반점의 경계를 따라 점들에 피팅된 타원의 축이다.

- 미리 정의된 축, 예를 들어 수평 축을 기준으로 한 나이 반점의 각도 α.

따라서, 나이 반점들의 경우에, 모양은 5개의 파라미터 (c_x, c_y, l_MAJ, l_min, α)로 모델링될 수 있다.

방법은 각각의 주름 또는 나이 반점으로부터의 외모 특징들을 추출하는 단계(130)를 포함한다.

주름들의 경우 그렇게 하기 위해, 각 주름은 주름 주위에 경계 박스를 생성하여 선택되고, 각 박스는 하이-패스 필터링되어 피부색과 관련된 저주파 정보를 제거하며, 주름 외모 자체에 관련된 고주파 정보를 유지한다.

상기 하이-패스 필터링은 박스에 포함된 이미지 부분과 그것의 흐릿한 버전 간의 가우시안 차이(Gaussian difference)에 의해 수행된다.

그러면 주름 외관이 미리 정의된 모양으로 왜곡된다. 이 미리 정의된 모양은 예를 들어 얼굴의 주름들의 평균 모양일 수 있다. 또한, 얼굴의 특정 구역에서, 얼굴들의 복수의 이미지들의 주름진 부분의 평균 모양일 수 있다. 도 4a에 도시된 특정 실시예에서, 미리 정의된 모양은 또한 결정된 길이의 수평 주름진 모양일 수 있다.

곡선이 주름의 복수의 횡단 프로파일(transverse profiles) 각각에 피팅된다. 도 4a의 예시적인 실시예에서, 횡단 프로파일은 경계 박스의 픽셀들의 열(column)로서, 각 픽셀은 연관된 그레이 레벨 또는 강도를 갖는다. 일 실시예에서, 곡선이 경계 박스의 픽셀들의 모든 열의 각각에 피팅될 수 있다. 그러나 계산 요구를 제한하기 위해 더 적은 열들을 선택하는 것이 바람직하다. 따라서, 샘플링 속도는 방법의 정밀도와 계산 요구 사이의 균형에 따라 정의될 수 있다. 예를 들어, 주름은 그 길이에 걸쳐 픽셀들의 5 내지 10개의 열로 샘플링될 수 있다.

바람직하게는, 도 4b의 예시적인 실시예에서와 같이, 곡선은 벨 곡선의 2차 미분, 특히 2차 미분 가우시안 함수(second derivative Gaussian function) 또는 2차 미분 로렌츠 함수(second derivative Lorentzian function)로서, 주름의 강도 프로파일에 대한 그 함수의 피팅을 나타낸다 .

2차 미분 로렌츠 함수는 다음과 같다:

여기서:

- O는 세로 축을 따른 오프셋 파라미터,

- μ는 가로 축을 따른 오프셋 파라미터,

- A는 함수의 피크 진폭,

- σ는 함수의 표준 편차이다

따라서, 2차 미분 로렌츠 함수가, 주름의 깊이 및 폭을 각각 나타내는 값 A 및 σ를 추론하기 위해, 주름의 복수의 강도 프로파일 각각에 대한 최소 자승 최소화에 의해 피팅될 수 있다.

각 평균 값

및

는, 바람직하게, 각 강도 프로파일에 대한 함수의 피팅으로부터 얻어진 값으로부터 계산된다.

나이 반점의 경우에서의 대안적인 단계(130') 동안, 외모 파라미터들이 반점의 평균값 또는 중앙값에서 반점을 에워싸는 피부의 평균값 또는 중앙값을 뺀 값으로서 계산될 수 있다.

서브 단계(140)는 모양 및 외모 특징들을 포함하는 벡터를 생성하는 단계를 포함한다. 위의 주름과 관련한 예에 따르면 벡터는 (c_x, c_y, l, α, C,

,

)와 같은 7개의 파라미터의 세트이다.

그 다음, 방법은 얼굴의 모든 주름 또는 얼굴의 모든 나이 반점을 모델링하는 단일 고정 길이 표현 벡터를 생성하는 단계(200)를 포함한다. "고정 길이"란 표현 벡터가 얼굴의 주름들 / 나이 반점들의 개수와 배치에 관계없이 동일한 길이를 갖는 것을 의미한다.

이 고정 길이 표현은, 보다 상세히 후술되는 바와 같이, 집단상에서 획득된 복수의 표현 벡터에 대한 주성분 분석의 수행을 가능하게 한다. .

표현 벡터는 각 얼굴의 주름 또는 나이 반점의 구조 및 배치를 모델링하는 적어도 하나의 확률 밀도를 포함한다. 바람직하게는, 각 얼굴은 예를 들면 이마, 팔자주름, 턱, 뺨 등과 같은 다수의 구역으로 분할된다. 구역의 수는 적어도 5개일 수 있고, 다음의 예에서는 15개일 수 있다. 또 다른 실시예에서, 처리는 전체 얼굴에 걸쳐 정의된 단일 구역에 대해 수행될 수 있다.

단계(200)는 단계(100)의 종료시에 획득된 얼굴에 걸쳐 주름 / 나이 반점들의 모양 및 외모 특징들의 결합 확률들(joint probabilities)을 계산하는 서브 단계(210)를 포함한다. 바람직하게는, 결합 확률들은 얼굴을 구성하는 복수의 구역들 각각에 대해 계산될 수 있다.

위의 주름에 관한 예에서, 하나의 주름을 나타내는 벡터는 7개의 파라미터를 가지므로, 결합 확률은 P(d₁,…d₇)이고, 여기서 di, i=1..7은 하나의 주름을 나타내는 벡터의 i번째 변수이다.

이러한 결합 확률은 차원(dimensionality) 때문에 많은 메모리 공간을 가질 수 있다. 이 문제를 회피하기 위해, 바람직한 실시예에 따르면, 상기 결합 확률은 한 번에 2개씩 취해진 모든 랜덤 변수에 대한 모든 결합 확률을 계산함으로써 근사화된다. 그러므로 P(d₁,…d₇)는 집합 {P(d₁,d₂), P(d₁,d₃), …, P(d₆,d₇)}로 근사회되고, 여기서 각 P(d_i,d_j)는 현재 구역에 대한 특성 파마리터 d_i와 d_j의 분포를 나타낸다.

7개의 파라미터를 갖는 벡터의 경우, 21개의 결합 확률이 계산된다. 계산은 KDE(Kernel Density Estimation)에 의해 수행되는 것이 바람직하다.

바람직하게는, 이 계산은, 평균 특성을 뺀, 특성(주름 또는 나이 반점)을 나타내는 벡터의 파라미터들에 대해 수행된다. 평균 특성은 단계(100)의 마지막에서 얻어진 것과 동일한 구조를 갖는 벡터이며, 상기 파라미터들은 각각 고려된 구역에서 계산된 벡터들의 파라미터들의 평균값이다.

한 사람의 찡그린 라인들에 대응하는 얼굴의 한 구역에 대해 계산된 세트의 결합 확률들의 일부의 예가 도 5에 도시되고, 그 세트의 21개의 결합 확률들 중 10개를 포함한다.

그 다음 방법은 벡터를 생성하는 서브 단계(220)를 포함하고, 그 벡터는 얼굴의 각 구역에 대해, 다음을 포함한다.

- 구역의 주름 또는 나이 반점들의 개수,

- 구역의 평균 주름 또는 나이 반점, 및

- 평균 주름(나이 반점)을 뺀 주름이나 나이 반점들에 대해 계산된 21개의 결합 확률.

결합 확률들을 벡터로 변환하기 위해, 예를 들어 얼굴의 구역의 각 라인에 대한 결합 확률들의 값이 이전 라인의 끝에서 벡터에 첨부될 수 있다.

마지막으로, 각 구역에 대해 생성된 벡터가 연결되어 얼굴의 주름 또는 나이 반점의 표현 벡터를 생성한다.

이 방법은 표현 벡터로부터 일련의 주름들 또는 일련의 나이 반점들을 재구성하기 위해 반전될 수 있다는 것을 강조하는 것이 중요하다. 상기 표현 벡터로부터 나이 관련 특성을 재구성하기 위한 방법(300)이 이제 도 6a 내지 도 6e를 참조하여 설명될 것이다.

다음 프로세스는 구역의 주름들 또는 나이 반점들의 개수가 도달될 때까지 반복적으로 수행된다.

제1단계(310)는 결합 확률들 P(d_i,d_j) 중 하나의 피크를 검출하는 단계와, 피크의 대응 값들을 갖는 벡터를 개시하는(initiating) 단계를 포함한다. 주름들의 재구성에 관한 특정 예에 따르면, 피크는 바람직하게 주름 중심의 좌표의 결합 확률 C_x, C_y에 대해 검출될 수 있다. 도 6a에 도시된 예에서, C_x=39, C_y=41이고 개시된 벡터는 (39,41,0,0,0,0,0)이다. 재구성된 주름은 C_x=39 및 C_y=41을 갖는 것을 의미한다.

다음 단계(320)는 두 개의 제1파라미터와 제3파라미터 사이의 결합 확률 각각을 최대화하는 제3파라미터 d를 결정하는 단계를 포함한다. 앞의 예에서 이 단계는 결합 확률 P(c_x=39, d)와 P(c_y=41, d)를 최대화하는 것이다.

도 6b 및 도 6c에 주어진 예에 따르면, 제3파라미터 d는 주름의 길이 l이다. 도 6c에서, 1차원 밀도 P(c_x=39, l) 및 P(c_y=41, l)이 추출되고, 요소별(element-wise) 최소 연산자(minimum operator)가 상기 1차원 밀도에 적용되어 제3곡선을 얻는다. l의 값은 argmax(min(P(c_x=39, l), P(c_y=41, l))와 같이 가장 높은 확률을 갖는 좌표로 선택된다. 도면들에서 보여진 예에 따르면, l=1이다.

이어서, 도 6d 및 6e에 도시된 바와 같이, 이 단계는 제4파라미터 d'를 찾기 위해 반복된다. 도면들에서 제4파라미터는 α로 선택된다. 1차원 밀도 P(c_x=39, α), P(c_y=41, α), P(l=1, α)가 추출되고, 요소별 최소 연산자의 결과로서 곡선이 생성되며, α의 값은 이 곡선의 최대 값으로 선택된다:

α = argmax(min(P(c_x=39, α), P(c_y=41, α), P(l=1, α)).

이 단계는, 주름들의 모든 파라미터들이 발견될 때까지 반복된다.

모든 파라미터들이 얻어지면, 평균 특성의 파라미터들에 합쳐져서, 재구성될 특성을 특징짓는 파라미터들을 얻는다.

특성은 모양과 외모 파라미터들로부터 간단히 생성될 수 있다. 주름들에 대한 이전 예에 따르면, 원하는 길이 l에 도달할 때까지 곡률에 의해 정의된 다항식을 샘플링하여 모양 파라미터 (c_x, c_y, l, α, C)로부터 모양이 만들어지고, 모양을 구성하는 점들은 각도 α에 따라 회전되고, 그 모양은 중심 (c_x, c_y) 상에 중심이 맞춰진다. 외모는 빈 이미지를 생성하고 파라미터 (A, σ)의 2차 미분 로렌츠 함수에 따라 각 열에 변화 프로파일(variation profile)을 적용함으로써 생성된다.

마지막으로 외모가 새로 만들어지는 모양으로 왜곡된다.

사람의 나이를 모델링하는 방법

도 2를 참조하여, 사람들의 나이를 모델링하는 방법이 설명될 것이다.

이 방법(400)은 얼굴 모델을 추론하기 위해, 기준 집단(reference population)을 형성하는 복수의 개인의 얼굴들의 화상들을 처리하는 단계(410)를 포함한다.

각 화상의 처리(411)는 다음을 포함할 수 있다.

- 이후에 “모양 모델링 벡터”로 불리는, 얼굴의 모양 파라미터들을 모델링하는 벡터를 추출하는 단계,

- 이후에 “외모 모델링 벡터”라고 불리는, 얼굴의 외모 파리미터들을 모델링하는 벡터를 추출하는 단계, 및

- 이후에 “주름 모델링 벡터”라고 불리는, 상술한 방법에 따라 얼굴의 주름들을 모델링하는 벡터를 추출하는 단계, 및/또는,

- 이후에 “나이 반점 모델링 벡터”라고 불리는, 상술한 방법에 따라 얼굴의 나이 반점들을 모델링하는 벡터를 추출하는 단계.

본 발명의 바람직한 실시예에 따르면, 모양 및 외모 파라미터들의 추출은 상기 인용된, Cootes 등의 공표에 상세히 기재된 “Active Appearance Model”에 따라 수행된다. 또는 Image and Vision Computing, Vol. 16, no 3, pp 203-211, 1998.에서 G.J. Edwards, A. Lanitis, C.J. Taylor 및 T.F. Cootes이 발표한 “Statistical Face Models : Improved Specificity” 제목의 논문에 개시한 것과 같은, 다른 얼굴 모델들이 사용될 수 있다.

따라서, 모양 모델링 벡터들의 세트, 외모 모델링 벡터들의 세트, 및 주름 모델링 벡터들의 세트 및/또는 나이 반점 모델링 벡터들이, 기준 집단에 대해 얻어진다.

처리는, 각각의 벡터들의 세트에 각각 주성분 분석(Principal Component Analysis, PCA)을 수행하는 단계(412), 및 기준 집단의 평균 얼굴에 관하여 모양, 외모 및 주름들에서의 얼굴의 변화를 모델링하는 공간을 생성하기 위해 각각의 이전 PCA의 결과에 대한 최종 PCA를 수행하는 단계(413)를 포함한다.

따라서, 처리된 각 화상은 그 생성된 공간에서 가중치의 벡터 W_i를 생성한다.

기준 집단의 가중치 행렬 W는 단계(420) 동안 화상들이 촬영된 사람들의 나이 또는 인지된 나이와 관련된다.

그런 다음, 공간으로의 화상들의 투사(projections)의 PCA 가중치 W와, 기준 집단의 나이 또는 인지된 나이

사이에서 회귀가 수행된다. 바람직하게는, 최상의 결과를 얻기 위해 3차 다항 회귀(cubic polynomial regression)가 수행된다:

여기서 K, L, M 및 N는 회귀 함수 f의 파라미터들의 행렬이다. 바람직하게, 회귀는 선형 최소 자승 회귀에 의해 수행된다.

다음으로, 기준 집단의 얼굴이 단계(430) 동안 아래에 의해 더 늙게 보이거나 더 젊게 보이게 만들어진다.

- 얼굴에 대응하고, 그 사람의 나이 또는 인지된 나이 a에 대응하는 가중치 W_current를 선택하는 단계,

- 회귀 함수를 사용하여, y년(y는 노화 또는 젊어짐을 시뮬레이션하기 위해 양수 또는 음수일 수 있음)의 나이 변화를 갖는 동일한 얼굴에 대응하는 가중치 W_new를 시뮬레이션하는 단계로서, 그 가중치는 다음 공식에 의해 계산되는 단계:

여러 개의 다른 얼굴들이 같은 나이로 매칭될 수 있다고 가정할 때, f^- ¹(a)는 나이 a에 대응하는 평균 PCA 가중치 W_mean,a로 계산된다. f^- ¹(a)를 얻기 위해, 몬테-카를로 시뮤레이션(Monte-Carlo simulation)이 다음을 포함하여 수행된다:

- 복수의 가중치 W의 생성,

- f(W)를 계산하여 대응하는 나이(또는 인지된 나이)의 결정,

- 주어진 나이 a에 대해, f(W_a)=a가 되도록 f^-1(a)가 상기 생성된 가중치 W로부터 모든 가중치 W_a의 평균이 되는, 룩업 테이블을 생성.

일단 가중치 W_new가 얻어지면, 이 가중치에 해당하는 얼굴은 주성분 분석의 반전(inversion)에 의해 얻어질 수 있다.

따라서 나이 증가 또는 감소를 시뮬레이션할 수 있다. 도 6에 주어진 예에서, 가운데 화상으로 얼굴의 원본 화상이, 왼쪽에 20년이 젊게 보이는 얼굴의 재구성된 화상이, 오른쪽에는 20년이 더 나이들게 재구성된 화상이 보여진다.

이 예에서 기준 데이터베이스는 중립적인 표현과 동일한 조명 조건을 사용하여 정면 자세로 촬영한 400명의 백인 여성으로 구성되었다. 각 얼굴에서 모양, 외모 및 주름을 모델링한 벡터들을 추출하고 상기 방법에 따라 PCA를 수행하였다. PCA 가중치는 인지된 나이에 대해 회귀되었으며, 인지된 나이는 평균 인지된 나이를 얻기 위해 30개의 비공식 비율로 평가된다. 데이터 세트에서 인지된 나이는 49세에서 85세로 평균 69세이다.

도 6에서 볼 수 있듯이 시뮬레이션된 노화는 얼굴의 모양에 영향을 준다: 입, 눈 및 눈썹의 크기가 감소하는 경향이 있으며, 턱 아래쪽에 얼굴 처짐이 나타난다. 또한 얼굴 외모에 영향을 미친다: 얼굴이 전체적으로 희고 황색을 띄며, 눈썹과 속눈썹이 잘 보이지 않으며, 입이 붉은색을 잃는다. 더 많은 주름이 나타나기 때문에 마지막으로 주름에 영향을 준다. 기존의 주름은 더 깊고, 넓어지며 길어진다.

바람직하게는, 보다 적절하고 정확한 시뮬레이션을 얻기 위해, 회귀 함수가 구축되는 기준 집단은 인종, 지리적 위치 및/또는 성별에 따라 선택될 수 있다.

또한 한 사람의 노화를 시뮬레이션하기 위해 사용된 회귀 함수는 노화에 미치는 영향을 시뮬레이션하기 위해, 다른 라이프 스타일, 성별, 인종 또는 지리적 위치를 갖는 다른 기준 집단의 회귀로부터 얻을 수 있다.

예를 들어, 기준 집단은 유사한 음주나 담배 소비, 영양(nutrition), 태양 노출, 스킨 케어 제품 사용 등에 기초하여 정교화될 수 있다.

그런 다음, 회귀 함수는 각 기준 집단에 대해 계산될 수 있으며, 여러 라이프 스타일이 얼굴 노화에 미치는 영향을 비교하기 위해 여러 회귀 함수를 사용하여 같은 얼굴에 노화 시뮬레이션을 수행할 수 있다.

이 비교는 또한 스킨 케어 제품이나 태양 보호 제품을 사용하지 않을 때와 대비하여 그러한 제품들의 사용에 대한 시각적 단서에 대한 영향을 시뮬레이션하기 위해 수행될 수 있다.

또 다른 예에 따르면, 노화에 대한 환경 요인의 영향은 각 지리적 위치에 대해 플롯된 다른 회귀 함수들의, 동일한 얼굴에 대한 효과를 비교함으로써 연구될 수 있다.

1 : 화상 처리 유닛
10 : 메모리
11 : 계산기

Claims

나이 관련 특성이 주름들 또는 나이 반점들인 얼굴의 화상으로부터 얼굴의 나이 관련 특성들을 모델링하는 방법으로서,
- 얼굴의 동일한 성질의 각 나이 관련 특성에 대해, 나이 관련 특성의 모양 및 외모의 파라미터들을 포함하는 벡터를 생성하는 단계(100); 및
- 상기 생성된 벡터로부터, 얼굴의 동일한 성질의 나이 관련 특성들을 모델링하는 단일 표현 벡터를 생성하는 단계(200)를 포함하고,
상기 단일 표현 벡터는 상기 얼굴의 특성들의 개수, 및 상기 특성들의 모양 및 외모 파라미터들의 상기 얼굴에 대해 계산된 결합 확률들을 저장하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 특성의 모양 및 외모의 파라미터들을 포함하는 벡터를 생성하는 단계(100)는,
- 상기 특성의 복수의 점들의 좌표를 획득하는 단계(110); 및
- 상기 특성의 모양 파라미터들을 추론하기 위해 상기 좌표를 처리하는 단계(120)를 포함하는 것을 특징으로 하는 방법.
제 2 항에 있어서,
상기 나이 관련 특성들은 주름들이며,
상기 방법은 각 주름의 적어도 5개 점들의 좌표를 획득하는 단계를 포함하고,
상기 점들은 주름에 걸쳐 규칙적으로 이격되고 주름의 각 끝에 적어도 하나의 점을 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
주름의 모양 특징들은,
- 주름의 중심 좌표,
- 주름의 길이,
- 및 기준 축에 대한 주름의 각도 및
- 주름의 곡률을 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
주름의 외모 파라미터들은 주름의 두께 σ 및 깊이 A를 포함하고, 이들 파라미터들을 추출하기 위한 이미지의 처리(130)는, 각각의 주름에 대해,
- 주름을 포함하는 이미지의 일부를 하이-패스 필터링하는 단계,
- 각 주름을 일반적인 모양으로 왜곡시키는 단계,
- 왜곡된 주름의 복수의 횡단 프로파일에 곡선을 피팅하여 각 프로파일에 대해 상기 피팅된 곡선의 최대 진폭 값 및 폭 값을 추출하는 단계;
- 상기 복수의 프로파일 각각에 대해 추출된 최대 진폭 값들 및 폭 값들 각각으로부터 A 및 σ를 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
제 5 항에 있어서,
상기 곡선은, 2차 미분 로렌츠 함수인 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 단일 표현 벡터는 얼굴의 동일한 성질의 특성들의 평균 특징들을 더 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 표현 벡터를 생성하는 단계(200)는,
- 얼굴에 적어도 하나의 구역을 정의하고,
- 각 구역에 대해,
o 구역의 나이 관련 특성들의 결합 확률을 계산하는 단계(210),
o 나이 관련 특성들의 결합 확률, 구역의 나이 관련 특성들의 개수 및 구역의 나이 관련 특성들의 평균 특징들을 포함하는 구역 벡터를 정의하는 단계,
o 표현 벡터를 획득하기 위해 상기 구역 벡터들을 연결하는 단계(220)를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 나이 관련 특성들의 결합 확률들은, 한 번에 2 개씩 취해진 각 특성을 나타내는 벡터의 모든 특징들의 결합 확률들을 계산함으로써 근사화되는 것을 특징으로 하는 방법.
사람의 나이를 모델링하는 방법으로서,
- 기준 집단을 형성하는 복수의 개인들의 얼굴들의 화상들을 처리하여 각각의 화상에 대해,
o 제 1 항에 따른 방법을 수행함으로써 얻어지는 주름 모델 및 나이 반점 모델 중 적어도 하나.
o 모양 모델, 및
o 외모 모델을 추출하는 단계(411),
- 주름들 및/또는 나이 반점들, 모양 및 외모 가중치들을 각각 얻기 위해 복수의 주름 및/또는 나이 반점 모델, 모양 모델 및 외모 모델에 대해 각각의 주성분 분석을 수행하는 단계(412),
- 주름들 및/또는 나이 반점들, 모양 및 외모 가중치들에 대한 주성분 분석을 수행하여 집합 가중치를 얻는 단계(413) 및
- 함수의 피팅에 의해, 집합 가중치와 나이 또는 인지된 나이 사이의 관계를 추론하는 단계(420)를 포함하는 방법.
제 10 항에 있어서,
상기 기준 집단은 다음 중 적어도 하나에 대한 유사한 라이프 스타일을 갖는 것으로 선택되는 것을 특징으로 하는 방법.
- 흡연,
- 음주,
- 태양 노출,
- 영양,
- 스킨 케어 제품 사용.
제 10 항에 있어서,
상기 기준 집단은 성별, 지리적 위치 및 인종에 따라 선택되는 것을 특징으로 하는 방법.
제 10 항에 있어서,
사람의 나이 변화를 시뮬레이션하는 단계(430)를 더 포함하고, 그 시뮬레이션하는 단계(430)는,
- 사람의 얼굴의 화상에 대응하는 플롯의 하나의 집합 가중치를 선택하는 단계;
- 대응하는 나이 또는 인지된 나이를 식별하는 단계;
- 나이 변화에 따라 수정된 나이 또는 인지된 나이에 대한 업데이트된 집합 가중치를 피팅된 함수로 시뮬레이션하는 단계;
- 나이 변화에 대응하는 사람의 얼굴의 화상을 추론하기 위해 상기 업데이트된 집합 가중치를 처리하는 단계를 포함하는 것을 특징으로 하는 방법.
프로세서에 의해 실행될 때, 제 1 항에 따른 방법을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그램 제품.
명령들을 저장하는 메모리(10) 및 상기 메모리에 저장된 명령들을 실행하도록 구성된 계산기(11)를 포함하는 화상 처리 유닛(1)에 있어서,
사람의 얼굴의 적어도 하나의 화상을 수신하고, 수신된 화상에 대해 제 1 항 또는 제 10 항에 따른 방법을 구현하기 위해 구성된 화상 처리 유닛.