KR101732807B1 - 3차원 얼굴 비대칭 분석 장치 및 방법 - Google Patents

3차원 얼굴 비대칭 분석 장치 및 방법 Download PDF

Info

Publication number
KR101732807B1
KR101732807B1 KR1020150140407A KR20150140407A KR101732807B1 KR 101732807 B1 KR101732807 B1 KR 101732807B1 KR 1020150140407 A KR1020150140407 A KR 1020150140407A KR 20150140407 A KR20150140407 A KR 20150140407A KR 101732807 B1 KR101732807 B1 KR 101732807B1
Authority
KR
South Korea
Prior art keywords
dimensional
processing apparatus
face data
image processing
rigid transformation
Prior art date
Application number
KR1020150140407A
Other languages
English (en)
Other versions
KR20170041005A (ko
Inventor
장준수
정창진
도준형
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020150140407A priority Critical patent/KR101732807B1/ko
Publication of KR20170041005A publication Critical patent/KR20170041005A/ko
Application granted granted Critical
Publication of KR101732807B1 publication Critical patent/KR101732807B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Abstract

프로세서를 포함하며, 상기 프로세서에 의해 적어도 일시적으로 구현되는 영상 처리 장치가 제공된다. 상기 영상 처리 장치는 업데이트된 강체 변환 벡터를 이용하여 기저장된 3차원 얼굴 데이터를 변환하고, 상기 변환된 3차원 얼굴 데이터에서 업데이트된 2차원 얼굴 영상을 획득하는 획득부, 상기 업데이트된 2차원 얼굴 영상에서 에지 및 특징점을 추출하는 추출부, 상기 특징점 및 상기 변환된 3차원 입력 얼굴 데이터를 이용하여 대표 평면을 계산하고, 상기 대표 평면의 노말 벡터의 방향을 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제1 강체 변환 벡터를 생성하는 제1 계산부, 상기 에지에 대응하는 픽셀들의 위치 데이터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제2 강체 변환 벡터를 생성하는 제2 계산부 및 상기 제1 강체 변환 벡터 및 제2 강체 변환 벡터 중 어느 하나를 새로운 강체 변환 벡터로 업데이트하는 업데이트부를 포함할 수 있다.

Description

3차원 얼굴 비대칭 분석 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR 3D FACE ASYMMETRY ANALYSIS}
얼굴 분석을 수행하는 영상 처리 장치 및 그 방법에 연관되며, 보다 구체적으로는 얼굴의 비대칭 정도를 계산하는 영상 처리 장치 및 그 방법에 연관된다.
얼굴의 비대칭 정도를 분석하는 기술은 턱 관절 교정, 안면 마비 진단 등과 같은 의료 분야뿐만 아니라 얼굴 인식을 이용하여 개인 식별 기술 분야 등 다양한 분야에 폭 넓게 활용 가능한 기술이다.
종래에는 2차원 촬영 영상을 이용하여 얼굴의 비대칭이 분석되었는데, 2차원으로 측정된 사진은 촬영 카메라와 얼굴의 자세에 따른 오차 요인이 존재한다는 문제점이 존재한다. 즉, 촬영 카메라의 광학 축과 얼굴의 정면 방향이 정확히 일치 하지 않기 때문에 오차가 존재할 수 있고, 그와 같은 오차 때문에 추출되는 비대칭 정보의 신뢰성이 감소하게 된다.
다른 기술로는 얼굴 영상에 대한 3차원 측정을 실시하고, 측정된 3차원 얼굴 데이터를 분석할 때 원하는 자세로 강체 변환(rigid transformation)하여 얼굴 비대칭 정도를 측정하는 기술이 존재한다. 다만 강체 변환으로 얼굴의 자세를 보정할 수 있지만, 보다 높은 정확성을 확보하기 위해 강체 변환 벡터를 다시 보정하는 기술의 필요성은 여전히 존재한다.
일측에 따르면, 3차원 입력 얼굴 데이터를 이용하여 투영된 2차원 얼굴 영상을 획득하고, 상기 2차원 얼굴 영상에서 특징점을 추출하여 상기 3차원 입력 얼굴 데이터의 자세 보정을 수행하는 강체 변환 벡터를 생성하는 영상 처리 장치가 제공된다. 상기 영상 처리 장치는 프로세서를 포함하며, 상기 프로세서에 의해 적어도 일시적으로 구현될 수 있다. 상기 영상 처리 장치는 제1 강체 변환 벡터를 이용하여 변환된 3차원 입력 얼굴 데이터에서 2차원의 제1 얼굴 영상을 획득하는 획득부, 상기 제1 얼굴 영상에서 특징점을 추출하는 추출부 및 상기 추출된 특징점 및 상기 변환된 3차원 입력 얼굴 데이터를 이용하여 대표 평면을 계산하고, 상기 대표 평면의 노말 벡터의 방향을 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제2 강체 변환 벡터를 생성하는 계산부를 포함할 수 있다.
일실시예에 따르면, 상기 계산부는 상기 변환된 3차원 입력 얼굴 데이터의 위치 데이터의 어느 한 축의 방향과 상기 노말 벡터의 방향이 일치하도록 상기 변환된 3차원 입력 얼굴 데이터의 자세를 보정하는 상기 제2 강체 변환 벡터를 생성할 수 있다.
다른 일실시예에 따르면, 상기 계산부는 상기 추출된 특징점에 대응하는 상기 변환된 3차원 입력 얼굴 데이터를 계산하고, 최소 제곱법을 이용하여 상기 변환된 3차원 입력 얼굴 데이터에 가장 가깝게 근사 되는 평면을 상기 대표 평면으로 계산할 수 있다.
또 다른 일실시예에 따르면, 상기 획득부는 상기 제2 강체 변환 벡터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세를 보정하여 재변환된 3차원 입력 얼굴 데이터를 획득하고, 상기 재변환된 3차원 입력 얼굴 데이터를 이용하여 2차원의 제2 얼굴 영상을 획득할 수 있다.
다른 일측에 따르면, 2차원 얼굴 영상에서 에지를 추출하고, 상기 에지에 대응하는 픽셀들의 위치 데이터를 이용하여 3차원 입력 얼굴 데이터의 자세 보정을 수행하는 강체 변환 벡터를 생성하는 영상 처리 장치가 제공된다. 상기 영상 처리 장치는 제1 강체 변환 벡터를 이용하여 변환된 3차원 입력 얼굴 데이터에서 2차원의 제1 얼굴 영상을 획득하는 획득부, 상기 제1 얼굴 영상을 이용하여 에지를 추출하는 추출부 및 상기 에지에 대응하는 픽셀들의 위치 데이터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제2 강체 변환 벡터를 생성하는 계산부를 포함할 수 있다.
일실시예에 따르면, 상기 계산부는 상기 에지에 대응하는 픽셀들의 위치 데이터 중 X 좌표들을 추출하고, 상기 X 좌표들의 평균 값이 0이 되도록 상기 제1 강체 변환 벡터를 이동 변환하여 상기 제2 강체 변환 벡터를 생성할 수 있다.
다른 일실시예에 따르면, 상기 추출부는 상기 제1 얼굴 영상의 상기 에지에서 특징점을 추출하고, 상기 계산부는 상기 에지에 대응하는 픽셀들의 위치 데이터 중 X 좌표들을 추출하고, 상기 특징점에 소정의 가중치를 부여하여, 상기 X 좌표들의 가중 평균 값이 0이 되도록 상기 제1 강체 변환 벡터를 이동 변환하여 상기 제2 강체 변환 벡터를 생성할 수 있다.
또 다른 일실시예에 따르면, 상기 획득부는 상기 제2 강체 변환 벡터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세를 보정하여 재변환된 3차원 입력 얼굴 데이터를 획득하고, 상기 재변환된 3차원 입력 얼굴 데이터를 이용하여 2차원의 제2 얼굴 영상을 획득할 수 있다.
또 다른 일측에 따르면, 2차원 얼굴 영상의 대표 평면의 노말 벡터 및 상기 2차원 얼굴 영상의 에지의 위치 데이터를 이용하여 강체 변환 벡터를 보정하는 영상 처리 장치가 제공된다. 상기 영상 처리 장치는 업데이트된 강체 변환 벡터를 이용하여 기저장된 3차원 얼굴 데이터를 변환하고, 상기 변환된 3차원 얼굴 데이터에서 업데이트된 2차원 얼굴 영상을 획득하는 획득부, 상기 업데이트된 2차원 얼굴 영상에서 에지 및 특징점을 추출하는 추출부, 상기 특징점 및 상기 변환된 3차원 입력 얼굴 데이터를 이용하여 대표 평면을 계산하고, 상기 대표 평면의 노말 벡터의 방향을 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제1 강체 변환 벡터를 생성하는 제1 계산부, 상기 에지에 대응하는 픽셀들의 위치 데이터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제2 강체 변환 벡터를 생성하는 제2 계산부 및 상기 제1 강체 변환 벡터 및 제2 강체 변환 벡터 중 어느 하나를 새로운 강체 변환 벡터로 업데이트하는 업데이트부를 포함할 수 있다.
일실시예에 따르면, 상기 업데이트부는 상기 새로운 강체 변환 벡터의 업데이트된 크기를 기설정된 임계치와 비교하고, 상기 업데이트된 크기가 상기 임계치보다 작은 경우에는 상기 새로운 강체 변환 벡터를 최종 강체 변환 벡터로 설정하고, 상기 업데이트된 크기가 상기 임계치보다 크거나 같은 경우에는 상기 영상 처리 장치가 새로운 강체 변환 벡터를 생성하도록 제어할 수 있다.
또 다른 일측에 따르면, 2차원 에지 영상을 이용하여 비대칭 특징 값을 계산하고, 상기 비대칭 특징 값을 포함하는 비대칭 특징 벡터를 생성하는 영상 처리 장치가 제공된다. 상기 영상 처리 장치는 획득된 3차원 입력 얼굴 데이터 이용하여 대표 평면을 계산하고, 상기 대표 평면의 노말 벡터를 Z 축으로 계산하는 계산부 및 상기 3차원 입력 얼굴 데이터의 상기 Z 축에 상응하는 위치 데이터를 변경하여서, 상기 3차원 입력 얼굴 데이터로부터 상기 위치 데이터에 상응하는 2차원 에지 영상을 획득하는 획득부를 포함할 수 있다.
일실시예에 따르면, 상기 영상 처리 장치는 상기 3차원 입력 얼굴 데이터로부터 코 끝에 상응하는 제1 위치 데이터 및 이주점에 상응하는 제2 위치 데이터를 추출하는 추출부를 더 포함할 수 있다. 상기 획득부는 상기 제1 위치 데이터에서부터 상기 제2 위치 데이터까지 범위로 상기 위치 데이터를 변경하여 상기 2차원 에지 영상을 획득할 수 있다.
다른 일실시예에 따르면, 상기 계산부는 상기 위치 데이터에 상응하는 2차원 에지 영상 각각에서 얼굴 중심선을 기준으로 대칭인 픽셀들의 X 좌표의 합을 비대칭 특징 값으로 계산하고, 상기 위치 데이터의 변화에 따라 상기 비대칭 특징 값을 포함하는 비대칭 특징 벡터를 생성할 수 있다.
도 1은 일실시예에 따른 강체 변환 벡터를 이용한 3차원 얼굴 데이터의 변환을 설명하는 예시도이다.
도 2a 및 도 2b는 일실시예에 따른 강체 변환 벡터의 생성을 설명하는 예시도이다.
도 3은 일실시예에 따른 영상 처리 장치의 블록도이다.
도 4는 다른 일실시예에 따른 강체 변환 벡터의 생성을 설명하는 예시도이다.
도 5는 다른 일실시예에 따른 영상 처리 장치의 블록도이다.
도 6a 및 도 6b는 일실시예에 따른 강체 변환 벡터의 업데이트 방법을 도시하는 흐름도이다.
도 7은 일실시예에 따른 3차원 입력 얼굴 데이터로부터 복수의 2차원 에지 영상을 획득하는 동작을 설명하는 예시도이다.
도 8은 또 다른 일실시예에 따른 영상 처리 장치의 블록도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 본 발명의 권리범위가 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 강체 변환 벡터를 이용한 3차원 얼굴 데이터의 변환을 설명하는 예시도이다. 도 1을 참조하면, 영상 처리 장치로 입력된 3차원의 제1 얼굴 데이터(110)가 도시된다. 제1 얼굴 데이터(110)는 얼굴 표면에 해당하는 3차원 점(voxel)의 집합 또는 얼굴에 연관되는 랜드마크 포인트의 집합으로 정의될 수 있다. 랜드마크 포인트는 얼굴에 상응하는 영상 데이터의 특징점으로서, 눈동자 점, 입고리 점, 눈고리 점 등과 같은 포인트를 나타낸다. 보다 구체적으로, 제1 얼굴 데이터(110)는 3차원 위치 데이터뿐만 아니고 밝기 정보 및 컬러 정보를 포함할 수 있다.
또한, 제1 얼굴 데이터(110)는 X 축, Y 축 및 Z 축에 따라 정의되는 위치 데이터를 포함할 수 있다. X 축은 오브젝트의 고개 끄덕임 등과 같이 피치 방향(pitch direction) 회전을 정의할 수 있고, Y 축은 오브젝트의 고개 가로젓기 등과 같은 요우 방향(yaw direction) 회전을 정의하는 축이다. Z 축은 오브젝트의 롤 방향(roll direction) 회전을 정의하는 축이고, 제1 얼굴 데이터(110)를 획득하는 영상 입력 장치의 촬영 방향과 평행한 방향으로 정의될 수 있다. 다만, 도시된 좌표 축은 본 발명의 사상을 설명하기 위한 예시적인 실시예 중 하나일 뿐, 영상 처리 장치에 따라 서로 다른 3차원 좌표계(coordinates system)를 이용하여 상기 위치 데이터를 정의할 수 있다. 더하여, 영상 입력 장치에는 CCD 카메라(charge coupled device camera) 등과 같이 영상 데이터를 획득할 수 있는 다양한 형태의 전자기기가 이용될 수 있다.
오브젝트의 얼굴 비대칭을 분석하기 위해서는 영상 입력 장치의 촬영 방향과 획득된 얼굴 데이터의 정면 방향이 일치된다는 사실이 전제될 수 있다. 이러한 사실을 전제로 촬영된 얼굴 데이터를 분석하여, 좌우 양안의 비대칭 정도, 안면 중심 선에 대한 위턱 중심선의 변위량, 양쪽 볼과 턱 선의 비대칭 정도의 분석 데이터를 획득할 수 있다. 다만, 영상 입력 장치의 촬영 방향에 대응하는 광학 축과 얼굴의 정면 방향에 오차가 존재한다면 상기 얼굴 비대칭의 분석 데이터의 신뢰성 및 정확성을 감소시키는 주요 원인이 될 수 있다.
그에 따라, 영상 처리 장치는 제1 얼굴 데이터(110)를 강체 변환하여 자세를 보정하고, 영상 입력 장치의 광학 축과 얼굴의 정면 방향을 일치시키는 보정을 수행할 수 있다. 보다 구체적으로, 영상 처리 장치는 강체 변환 벡터(120)를 생성하고, 제1 얼굴 데이터(110)에 생성된 강체 변환 벡터(120)를 적용하여 변환된 3차원의 제2 얼굴 데이터(130)를 획득할 수 있다.
다만, 생성된 제2 얼굴 데이터(130)에도 영상 입력 장치의 광학 축과 얼굴의 정면 방향 사이에 오차가 존재할 수 있다. 영상 처리 장치는 새로운 강체 변환 벡터를 다시 생성하여, 3차원 얼굴 데이터에 존재하는 오차가 임계치 이하가 될 때까지 얼굴 데이터의 자세 보정을 반복하여 수행할 수 있다.
일실시예로서, 영상 처리 장치는 제1 얼굴 데이터(110)의 대표 평면을 계산하고 상기 대표 평면의 노말 벡터(normal vector)와 Z 축의 방향이 일치되도록 하는 강체 변환 벡터를 생성할 수 있다. 다른 일실시예로서, 영상 처리 장치는 제1 얼굴 데이터(110)를 투영하여 2차원 얼굴 데이터를 획득하고, 상기 2차원 얼굴 데이터의 윤곽선(edge)을 추출하여 추출된 윤곽선에 대응하는 픽셀의 X 축 위치 데이터의 평균 값이 0이 되도록 하는 강체 변환 벡터를 생성할 수 있다. 보다 구체적으로, 상기 2차원 얼굴 데이터를 획득하기 위한 투영 방향은 정면 방향에 상응하는 Z 축의 방향일 수 있다. 보다 자세한 설명은 아래에서 첨부될 도면과 함께 기재될 것이다.
도 2a 및 도 2b는 일실시예에 따른 강체 변환 벡터의 생성을 설명하는 예시도이다. 도 2a를 참조하면, 3차원 얼굴 데이터를 상기 정면 방향으로 투영하여 생성된 2차원 얼굴 데이터(210)가 도시된다. 예시적으로, 2차원 얼굴 데이터(210)는 U 축과 V 축으로 정의되는 위치 데이터를 포함할 수 있다. 앞서 설명한 바와 같이, 3차원 얼굴 데이터는 X 축, Y 축 및 Z 축을 포함할 수 있고, 2차원 얼굴 데이터(210)의 U 축은 상기 X 축과 같은 방향을 나타내고, V 축 역시 상기 Y 축과 같은 방향을 나타낼 수 있다.
영상 처리 장치는 2차원 얼굴 데이터(210)에서 랜드마크 포인트(220)를 추출할 수 있다. 랜드마크 포인트(220)는 눈동자 중심점, 눈꼬리 점, 입술 끝점 등과 같이 입력된 얼굴의 자세를 추정하도록 하는 기준 픽셀을 나타낸다. 일실시예로서, 영상 처리 장치는 AAM(Active Appearance Model) 알고리듬,. ASM(Active Shape Model) 알고리듬 및 CLM(Constrained Local Models) 알고리듬 등과 같이 오늘날 얼굴 내에서 특징점 추출에 이용되는 다양한 알고리듬을 이용하여 랜드마크 포인트(220)를 추출할 수 있다. 영상 처리 장치는 랜드마크 포인트(220)에 대응하는 3차원 얼굴 데이터를 추출하고, 3차원 얼굴 데이터에 포함되는 위치 데이터를 추출할 수 있다.
도 2b를 참조하면, 정면 방향으로 투영된 2차원 얼굴 데이터(210)에 대응하는 3차원 얼굴 데이터(230)와 3차원 얼굴 데이터(230)에서 추출된 대표 평면(240)이 도시된다. 영상 처리 장치는 추출된 3차원 얼굴 데이터(230)를 이용하여 대표 평면(240)을 계산할 수 있다.
대표 평면(240)은 3차원 얼굴 데이터(230)에 가장 가깝게 피팅(fitting)되는 평면을 나타내며, 영상 처리 장치는 최소 제곱법(method of least squares)을 이용하여 상기 대표 평면(240)을 계산할 수 있다. 영상 처리 장치는 입력된 3차원 얼굴 데이터(230)가 갖는 위치 데이터와 편차 제곱이 최소가 되도록 하는 평면을 계산하고, 상기 계산된 평면을 3차원 얼굴 데이터(230)에 대응하는 대표 평면(240)으로 계산해낼 수 있다.
더하여, 영상 처리 장치는 대표 평면(240)의 노말 벡터(normal vector)(250)를 계산해낼 수 있다. 노말 벡터(250)는 대표 평면(240)에 수직인 벡터를 나타낸다. 영상 처리 장치는 노말 벡터(250)와 3차원 얼굴 데이터(230)를 정의하고 있는 Z 축 방향을 비교할 수 있다. 다만, 본 실시예에서는 3차원 얼굴 데이터(230)의 얼굴 정면을 나타내는 축 방향을 Z 축으로 정의하였지만, 영상 처리 장치에 따라 다양한 축으로 얼굴 정면 방향을 정의할 수 있다는 것은 기술 분야에 속하는 전문가에게는 자명한 사실일 것이다.
영상 처리 장치는 노말 벡터(250)가 상기 Z 축과 평행한 방향을 갖도록 3차원 얼굴 데이터(230)를 강체 변환할 수 있다. 더하여, 영상 처리 장치는 상기 강체 변환을 수행하기 위한 강체 변환 벡터를 계산해 낼 수 있다. 상기 계산된 강체 변환 벡터를 이용하여, 영상 처리 장치는 입력된 3차원 얼굴 데이터(230)의 자세를 보정하여 얼굴 방향이 보다 정면 방향에 근접하도록 보정할 수 있다.
도 3은 일실시예에 따른 영상 처리 장치의 블록도이다. 영상 처리 장치(300)는 획득부(310), 추출부(320) 및 계산부(330)를 포함할 수 있다. 영상 처리 장치(300)는 프로세서를 포함하며, 상기 프로세서에 의해 적어도 일시적으로 구현되는 장치일 수 있다.
영상 처리 장치(300)는 다수의 3차원 얼굴 샘플을 로 데이터(raw data)로 이용하고, 상기 로 데이터의 평균 값을 측정하여 Y 축에 대해 대칭성이 존재하는 3차원 표준 얼굴 모델을 계산할 수 있다. 더하여, 영상 처리 장치(300)는 영상 입력 장치를 이용하여 입력된 3차원 입력 얼굴 데이터를 투영하여 2차원 얼굴 영상을 생성할 수 있다. 일실시예로서, 영상 처리 장치는 입력된 3차원 입력 얼굴 데이터를 정면 방향에 상응하는 축 방향으로 투영하고, 상기 2차원 얼굴 영상을 생성할 수 있다. 또한, 영상 처리 장치(300)는 상기 2차원 얼굴 영상에서 랜드마크 포인트를 추출하고, 상기 3차원 표준 얼굴 모델에서 정의되는 랜드마크 포인트의 위치를 이용하여 현재 입력된 3차원 입력 얼굴 데이터의 자세를 추정할 수 있다. 그에 따라, 추정된 자세에 기초하여 3차원 입력 얼굴 데이터가 정면 방향을 향하도록 하는 제1 강체 변환 벡터를 계산해낼 수 있다.
영상 처리 장치(300)는 위와 같은 제1 강체 변환 벡터를 이용하여 3차원 입력 얼굴 데이터를 변환하여, 얼굴이 정면 방향을 향하도록 자세 보정을 수행할 수 있다. 다만, 제1 강체 변환 벡터는 랜드마크 포인트에 대한 위치 데이터의 오차, 랜드마크 포인트의 개수 제약에 따른 오차 등을 포함하고 있어, 보다 높은 신뢰성 및 정확성을 보장하는 얼굴 비대칭 분석을 위해서 추가적인 강체 변환 벡터의 보정이 필요할 것이다.
획득부(310)는 제1 강체 변환 벡터를 이용하여 변환된 3차원 입력 얼굴 데이터에서 2차원의 제1 얼굴 영상을 획득할 수 있다. 보다 구체적으로, 획득부(310)는 3차원 입력 얼굴 데이터를 평면에 투영하여 제1 얼굴 영상을 생성할 수 있다. 추출부(320)는 상기 제1 얼굴 영상에서 특징점을 추출할 수 있다. 보다 구체적으로, 상기 특징점은 얼굴에 존재하는 랜드마크 포인트로서, 눈동자 점, 입고리 점, 눈고리 점 등과 같은 포인트를 나타낸다. 일실시예로서, 추출부(320)는 앞서 획득된 2차원 얼굴 영상의 랜드마크 포인트가 상기 제1 강체 변환 벡터에 의해 어떻게 이동 되는지 계산하고, 상기 계산된 결과에 따라 이동된 포인트를 상기 랜드마크 포인트로서 다시 추출할 수 있다.
계산부(330)는 추출된 랜드마크 포인트와 변환된 3차원 입력 얼굴 데이터를 이용하여 대표 평면을 계산해 낼 수 있다. 더하여, 계산부(330)는 대표 평면의 노말 벡터의 방향이 변환된 3차원 입력 얼굴 데이터의 어느 한 축 방향과 일치하도록 하는 제2 강체 변환 벡터를 생성할 수 있다. 예시적으로, 상기 변환된 3차원 입력 얼굴 데이터의 어느 한 축은 영상 입력 장치의 촬영 방향에 대응하는 축으로서 얼굴의 정면 방향을 나타낼 수 있다. 보다 구체적으로, 제2 강체 변환 벡터는 상기 변환된 3차원 입력 얼굴 데이터를 강체 이동시켜 대표 평면의 노말 벡터의 방향과 변환된 3차원 입력 얼굴 데이터의 Z 축 방향이 일치하도록 할 수 있다. 본 실시예에서는 얼굴의 정면 방향에 대응하는 축 방향이 Z 축으로 제공되지만, 다양한 변형이 가능하다는 것은 기술 분야의 전문가에게는 자명한 사실일 것이다.
계산부(330)는 상기 추출된 랜드마크 포인트에 대응하는 변환된 3차원 입력 얼굴 데이터를 계산할 수 있다. 더하여, 계산부(330)는 최소 제곱법을 이용하여 상기 대표 평면을 계산할 수 있다. 계산부(330)는 3차원 입력 얼굴 데이터의 위치 데이터의 제곱 평균 값이 최소가 되도록 하는 평면을 계산하고, 상기 평면을 대표 평면으로 생성할 수 있다.
획득부(310)는 제2 강체 변환 벡터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세를 보정하고, 재변환된 3차원 입력 얼굴 데이터를 획득할 수 있다. 획득부(310)는 상기 재변환된 3차원 입력 얼굴 데이터를 다시 투영하여, 2차원의 제2 얼굴 영상을 획득할 수 있다. 제1 얼굴 영상과 비교할 때, 제2 얼굴 영상은 보다 정면 방향에 가깝게 보정된 영상일 것이다. 그에 따라, 영상 처리 장치(300)는 2차원의 제2 얼굴 영상을 이용하여, 보다 신뢰성 높은 얼굴의 비대칭 분석을 수행할 수 있다.
도 4는 다른 일실시예에 따른 강체 변환 벡터의 생성을 설명하는 예시도이다. 도 4를 참조하면, 정면 방향으로 투영된 2차원 얼굴 데이터에서 추출된 에지(410)가 도시된다. 보다 구체적으로, 상기 정면 방향은 3차원 얼굴 데이터의 Z 축 방향을 나타내고, 도 4에 표시되는 U 축 및 V 축 각각은 3차원 얼굴 데이터 상의 X 축 및 Y 축 각각에 대응되는 것일 수 있다. 에지(410)는 2차원 얼굴 데이터에 포함되는 픽셀과 이웃한 픽셀의 기울기 크기가 국소적(locally)으로 극대가 되는 픽셀을 나타낼 수 있다. 그에 따라, 에지(410)는 얼굴에 포함되는 얼굴 윤곽선, 눈, 코 및 입 라인을 나타낼 수 있다. 보다 구체적으로, 에지(410)는 얼굴의 외곽선(outline) 및 눈, 코, 입 등을 포함하는 랜드마크 포인트를 나타내는 에지 픽셀 중 어느 하나를 포함할 수 있다.
본 실시예에서, 3차원 얼굴 데이터를 이용하여 정면 방향에 상응하는 축 방향으로 투영된 2차원 얼굴 데이터의 에지(410)가 도시되지만, 투영 방향을 설정하는 것에 따라 다양한 방향으로 투영된 2차원 얼굴 데이터를 획득할 수 있다는 사실은 기술 분야에 속하는 당업자에게 자명한 사실 일 것이다.
일실시예로서, 영상 처리 장치는 에지(410)에 포함되는 픽셀들의 U 축에 대응하는 위치 데이터의 평균을 구할 수 있다. 더하여, 상기 위치 데이터의 평균 값이 0이 되도록 3차원 얼굴 데이터를 이동 변환(translation)하도록 하고, 상기 이동 변환에 상응하는 강체 변환 벡터를 계산해 낼 수 있다. 다시 말하여, 영상 처리 장치는 U 축에 대응하는 위치 데이터의 평균점이 V 축 위에 존재하도록 3차원 얼굴 데이터를 이동 변환하는 강체 변환 벡터를 계산해 낼 수 있다.
다른 일실시예로서, 영상 처리 장치는 추출된 에지(410)에서 눈동자 중심, 인중점 등과 같은 랜드마크 포인트(420)를 다시 추출할 수 있다. 더하여, 각각의 랜드마크 포인트(420)에 소정의 가중치(weight)를 설정할 수 있다. 영상 처리 장치는 에지(410)에 포함되는 픽셀들의 U 축에 대응하는 위치 데이터의 가중 평균을 구할 수 있다. 더하여, 상기 가중 평균 값이 0이 되도록 3차원 얼굴 데이터를 이동 변환하고, 이동 변환에 상응하는 강체 변환 벡터를 계산해 낼 수 있다.
도 4에 기재된 실시예에는, 2차원 얼굴 영상에 존재하는 픽셀들의 위치 데이터를 이용하여 3차원 얼굴 데이터의 자세를 보정하는 실시예가 제공된다. 위와 같이 생성된 강체 변환 벡터를 이용하여 입력된 3차원 얼굴 데이터를 이동 변환할 수 있고, 정면 방향에 상응하도록 보정된 3차원 얼굴 데이터를 획득할 수 있을 것이다.
도 5는 다른 일실시예에 따른 영상 처리 장치의 블록도이다. 영상 처리 장치(500)는 획득부(510), 추출부(520), 계산부(530)를 포함할 수 있다. 영상 처리 장치(500)는 프로세서를 포함하며, 상기 프로세서에 의해 적어도 일시적으로 구현되는 장치일 수 있다.
영상 처리 장치(500)는 3차원 표준 얼굴 모델과 추출된 랜드마크 포인트를 이용하여 얼굴의 자세를 추정하고, 추정된 자세를 정면 방향으로 보정하는 제1 강체 변환 벡터를 생성할 수 있다. 상기 생성 과정에는 앞서 기재된 영상 처리 장치(300)에 관한 설명이 적용될 수 있다.
획득부(510)는 제1 강체 변환 벡터를 이용하여 변환된 3차원 입력 얼굴 데이터를 평면에 투영하여 2차원의 제1 얼굴 영상을 획득할 수 있다. 추출부(520)는 상기 획득된 제1 얼굴 영상을 이용하여 에지를 추출할 수 있다. 더하여, 추출부(520)는 상기 에지에서 랜드마크 포인트를 추가로 추출할 수 있다.
계산부(530)는 에지에 대응하는 픽셀들의 위치 데이터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제2 강체 변환 벡터를 생성할 수 있다. 보다 구체적으로, 계산부(530)는 에지에 대응하는 픽셀들의 좌우방향에 대응하는 좌표들을 추출하고, 상기 좌표들의 평균 값을 계산할 수 있다. 더하여, 계산부(530)는 상기 평균 값이 0이 되도록 상기 제1 강체 변환 벡터를 이동 변환하는 제2 강체 변환 벡터를 생성할 수 있다.
다른 일실시예로서, 계산부(530)는 앞서 추출된 랜드마크 포인트에 소정의 가중치를 부여하고, 상기 좌표들 및 상기 가중치를 이용하여 계산된 가중 평균 값이 0이 되도록 상기 제1 강체 변환 벡터를 이동 변환하는 제2 강체 변환 벡터를 생성할 수 있다.
도 6a 및 도 6b는 일실시예에 따른 강체 변환 벡터의 업데이트 방법을 도시하는 흐름도이다. 도 6a를 참조하면, 기생성된 강체 변환 벡터의 업데이트 방법(600)이 도시된다. 강체 변환 벡터의 업데이트 방법(600)은 3차원 입력 얼굴 데이터에서 추정된 얼굴 자세를 정면 방향으로 변환하는 강체 변환 벡터를 계산하는 단계(610)와 상기 계산된 강체 변환 벡터를 업데이트 하는 단계(620) 및 업데이트된 강체 변환 벡터의 변화량을 임계치와 비교하여 업데이트의 지속 여부를 결정하는 단계(630)를 포함할 수 있다.
단계(610)는 입력된 3차원 얼굴 데이터 또는 변환된 3차원 얼굴 데이터를 이용하여 강체 변환 벡터를 계산하는 단계이다. 보다 구체적으로, 단계(610)에 따라 계산된 강체 변환 벡터는 단계(620)의 업데이트 대상이 되는 강체 변환 벡터일 수 있다. 단계(610)는 도 3에서 설명된 영상 처리 장치(300)에 관한 설명이 적용될 수 있다. 단계(610)에서 영상 처리 장치는 3차원 표준 얼굴 모델을 이용하여, 3차원 입력 얼굴 데이터에 대응하는 얼굴 자세를 추정할 수 있다. 보다 구체적으로, 단계(610)에서 영상 처리 장치는 상기 입력된 3차원 얼굴 데이터 또는 변환된 3차원 얼굴 데이터의 2차원의 투영 영상을 생성하고, 상기 2차원의 투영 영상에서 랜드마크 포인트를 추출할 수 있다. 단계(610)에서 영상 처리 장치는 추출된 랜드마크 포인트 및 3차원 표준 얼굴 모델을 이용하여 상기 3차원 얼굴 데이터를 정면 자세로 변환하도록 하는 강체 변환 벡터를 생성할 수 있다.
다른 일실시예로서, 단계(610)에서 영상 처리 장치는 추정된 얼굴 자세를 가상의 3차원 공간의 어느 하나의 축에 대응하는 정면 방향으로 변환하는 강체 변환 벡터의 초기 값을 계산할 수 있다.
단계(620)는 상기 계산된 강체 변환 벡터를 업데이트하는 단계이다. 도 6b에는 상기 계산된 강체 변환 벡터를 업데이트 하는 단계(620)에 관한 보다 구체적인 흐름도가 도시된다. 단계(620)는 상기 3차원 얼굴 데이터의 대표 평면의 노말 벡터를 이용하여 강체 변환 벡터를 업데이트하는 단계(621)와 2차원 투영 영상의 에지를 추출하고, 상기 추출된 에지의 위치 데이터를 이용하여 강체 변환 벡터를 업데이트 하는 단계(622)를 포함할 수 있다. 단계(621)에는 앞서 기재한 영상 처리 장치(300)의 설명이 적용될 수 있다. 마찬가지로, 단계(622)에는 앞서 기재한 영상 처리 장치(500)의 설명이 적용될 수 있다. 영상 처리 장치는 단계(620)를 수행하는데 있어서, 단계(621) 및 단계(622) 중 어느 하나 또는 모두를 수행할 수 있다. 단계(621) 및 단계(622) 사이에 수행되는 순서에는 제한이 없고, 단계(621)가 수행되고 단계(622)가 수행될 수도 있고, 단계(622)가 수행되고 단계(621)가 수행될 수도 있다.
단계(630)에서 영상 처리 장치는 업데이트된 강체 변환 벡터의 변화량을 소정의 임계치와 비교하고, 상기 강체 변환 벡터의 추가적인 업데이트 진행 여부를 결정할 수 있다. 상기 변화량은 강체 변환 벡터의 크기를 나타낼 수 있다. 단계(620)에 따른 업데이트가 수행되어도, 강체 변환 벡터가 임계치 이하로 변화하는 경우에 영상 처리 장치는 상기 업데이트된 강체 변환 벡터를 최종 값으로 설정할 수 있다. 다만, 강체 변환 벡터가 임계치 이상으로 변화한 경우에는, 영상 처리 장치는 3차원 입력 얼굴 데이터가 정면 상태로 수렴되지 않았다는 것을 판단하고, 새로운 강체 변환 벡터를 생성하기 위한 단계(610)을 시작할 수 있다.
도 7은 일실시예에 따른 3차원 입력 얼굴 데이터로부터 복수의 2차원 에지 영상을 획득하는 동작을 설명하는 예시도이다. 도 7을 참조하면, 3차원 입력 얼굴 데이터(710)와 획득된 복수의 2차원 에지 영상(721, 722)이 도시된다. 영상 처리 장치는 3차원 입력 얼굴 데이터(710)에서 Z 축에 상응하는 위치 데이터를 변화 시키고, 상기 변화에 따른 2차원 에지 영상을 추출할 수 있다. 일실시예로서, Z 축은 3차원 입력 얼굴 데이터(710)의 정면 방향에 상응하고, 오브젝트의 롤 방향의 회전을 나타내는 축일 수 있다. 보다 구체적으로, 상기 2차원 에지 영상은 XY 평면에 존재할 수 있다.
다만, 3차원 입력 얼굴 데이터(710)는 MRI(Magnetic Resonance Imaging)와 같이 내부 조직에 관한 정보를 포함하지는 않을 것이다. 그에 따라, Z 축에 상응하는 위치 데이터의 변화에 따라 추출되는 2차원 에지 영상은 얼굴 표면을 나타내는 윤곽선 형태를 나타낼 것이다. 예시적으로, 2차원의 제1 에지 영상(721)은 코 높이에서 추출된 영상으로서 코 볼의 윤곽선을 포함할 수 있다. 또한, 2차원의 제2 에지 영상(722)은 이주점(tragion) 위치에서 추출된 것으로, 오브젝트의 얼굴의 외곽선(outline)을 포함할 수 있다. 보다 구체적으로, 추출된 2차원의 에지 영상은 기설정된 Z 좌표에 따라 얼굴의 특정 부분의 윤곽선을 포함하는 에지 영상 및 얼굴형을 나타내는 최 외곽의 외곽선 중 적어도 하나를 포함할 수 있다.
도 8은 또 다른 일실시예에 따른 영상 처리 장치의 블록도이다. 영상 처리 장치(800)는 계산부(810), 획득부(820) 및 추출부(830)를 포함할 수 있다. 계산부(810)는 획득된 3차원 입력 얼굴 데이터를 이용하여, 대표 평면을 계산하고, 상기 대표 평면의 노말 벡터를 Z 축으로 계산할 수 있다.
획득부(820)는 상기 3차원 입력 얼굴 데이터의 상기 Z 축에 상응하는 위치 데이터를 변경하여서, 상기 3차원 입력 얼굴 데이터로부터 상기 위치 데이터에 상응하는 2차원 에지 영상을 획득할 수 있다. 적절한 Z 축의 이동 범위는 필요에 따라 다양하게 설정될 수 있다.
예시적으로, 추출부(830)는 상기 3차원 입력 얼굴 데이터로부터 코 끝에 상응하는 제1 위치 데이터 및 이주점에 상응하는 제2 위치 데이터를 추출할 수 있다. 획득부(820)는 상기 제1 위치 데이터에서부터 상기 제2 위치 데이터까지 범위를 이용하여 상기 위치 데이터를 변경시킬 수 있고, 그에 따라 복수의 2차원 에지 영상을 획득할 수 있다.
계산부(810)는 상기 위치 데이터에 상응하는 각각의 2차원 에지 영상을 이용하여 비대칭 특징 값을 계산할 수 있다. 비대칭 특징 값 FA는 아래의 수학식 1을 이용하여 계산될 수 있다.
Figure 112015096763551-pat00001
영상 처리 장치(800)는 Y 축을 기준으로 좌우 대칭으로 존재하는 에지들의 매칭 쌍을 찾을 수 있다. 예시적으로, Y 축은 오브젝트의 얼굴 중심선과 동일할 수 있다. 더하여, 매칭 쌍이 갖는 X 좌표를 xli와 xri로 표현하고 이들의 합을 계속 더해나가는 것으로 비대칭 특징 값 FA를 계산할 수 있다. 영상 처리 장치(800)는 전체 K 개의 매칭 쌍의 X 좌표의 합의 평균 값을 비대칭 특징 값 FA로서 계산해낼 수 있다. 상기 비대칭 특징 값 FA가 클 수록, 오브젝트의 얼굴에 존재하는 비대칭의 정도가 크다는 것을 알 수 있다.
더하여, 계산부(810)는 위치 데이터의 변환에 따라 비대칭 특징 값 FA를 각각 포함하는 비대칭 특징 벡터를 생성할 수 있다. 예시적으로, 영상 처리 장치(800)가 z1에서 zN까지 N 개의 2차원 에지 영상을 획득된 경우를 가정하자. 이 경우에, 영상 처리 장치(800)는 아래의 수학식 2와 같은 비대칭 특징 벡터 FAvec를 생성할 수 있다.
Figure 112015096763551-pat00002
비대칭 특징 값 FA 및 비대칭 특징 벡터 FAvec는 개개인에 따라 서로 다른 값이 생성될 것이다. 그에 따라, 비대칭 특징 값 FA 및 비대칭 특징 벡터 FAvec는 얼굴의 비대칭 정도 분석 및 개인 식별을 위한 얼굴 인식에 활용될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 영상 처리 장치에 있어서, 상기 영상 처리 장치에 포함되는 프로세서에 의해 적어도 일시적으로 구현되는,
    제1 강체 변환 벡터를 이용하여 변환된 3차원 입력 얼굴 데이터에서 2차원의 제1 얼굴 영상을 획득하는 획득부;
    상기 제1 얼굴 영상에서 특징점을 추출하는 추출부; 및
    상기 추출된 특징점 및 상기 변환된 3차원 입력 얼굴 데이터를 이용하여 대표 평면을 계산하고, 상기 대표 평면의 노말 벡터의 방향을 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제2 강체 변환 벡터를 생성하는 계산부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 계산부는 상기 변환된 3차원 입력 얼굴 데이터의 위치 데이터의 어느 한 축의 방향과 상기 노말 벡터의 방향이 일치하도록 상기 변환된 3차원 입력 얼굴 데이터의 자세를 보정하는 상기 제2 강체 변환 벡터를 생성하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 계산부는 상기 추출된 특징점에 대응하는 상기 변환된 3차원 입력 얼굴 데이터를 계산하고, 최소 제곱법을 이용하여 상기 변환된 3차원 입력 얼굴 데이터에 가장 가깝게 근사 되는 평면을 상기 대표 평면으로 계산하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 획득부는 상기 제2 강체 변환 벡터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세를 보정하여 재변환된 3차원 입력 얼굴 데이터를 획득하고, 상기 재변환된 3차원 입력 얼굴 데이터를 이용하여 2차원의 제2 얼굴 영상을 획득하는 영상 처리 장치.
  5. 영상 처리 장치에 있어서, 상기 영상 처리 장치에 포함되는 프로세서에 의해 적어도 일시적으로 구현되는,
    제1 강체 변환 벡터를 이용하여 변환된 3차원 입력 얼굴 데이터에서 2차원의 제1 얼굴 영상을 획득하는 획득부;
    상기 제1 얼굴 영상을 이용하여 에지를 추출하는 추출부; 및
    상기 에지에 대응하는 픽셀들의 위치 데이터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세 보정을 위한 제2 강체 변환 벡터를 생성하는 계산부
    를 포함하고,
    상기 계산부는 상기 에지에 대응하는 픽셀들의 위치 데이터 중 좌우방향을 나타내는 좌표들을 추출하고, 상기 좌표들의 평균 값이 0이 되도록 상기 제1 강체 변환 벡터를 이동 변환하여 상기 제2 강체 변환 벡터를 생성하는 영상 처리 장치.
  6. 삭제
  7. 제5항에 있어서,
    상기 추출부는 상기 제1 얼굴 영상의 상기 에지에서 특징점을 추출하고, 상기 계산부는 상기 에지에 대응하는 픽셀들의 위치 데이터 중 좌우방향을 나타내는 좌표들을 추출하고, 상기 특징점에 소정의 가중치를 부여하여, 상기 좌표들의 가중 평균 값이 0이 되도록 상기 제1 강체 변환 벡터를 이동 변환하여 상기 제2 강체 변환 벡터를 생성하는 영상 처리 장치.
  8. 제5항에 있어서,
    상기 획득부는 상기 제2 강체 변환 벡터를 이용하여 상기 변환된 3차원 입력 얼굴 데이터의 자세를 보정하여 재변환된 3차원 입력 얼굴 데이터를 획득하고, 상기 재변환된 3차원 입력 얼굴 데이터를 이용하여 2차원의 제2 얼굴 영상을 획득하는 영상 처리 장치.
  9. 영상 처리 장치에 있어서, 상기 영상 처리 장치에 포함되는 프로세서에 의해 적어도 일시적으로 구현되는,
    업데이트된 강체 변환 벡터를 이용하여 기저장된 3차원 얼굴 데이터를 변환하고, 상기 변환된 3차원 얼굴 데이터에서 업데이트된 2차원 얼굴 영상을 획득하는 획득부;
    상기 업데이트된 2차원 얼굴 영상에서 에지 및 특징점을 추출하는 추출부;
    상기 특징점 및 상기 변환된 3차원 얼굴 데이터를 이용하여 대표 평면을 계산하고, 상기 대표 평면의 노말 벡터의 방향을 이용하여 상기 변환된 3차원 얼굴 데이터의 자세 보정을 위한 제1 강체 변환 벡터를 생성하는 제1 계산부;
    상기 에지에 대응하는 픽셀들의 위치 데이터를 이용하여 상기 변환된 3차원 얼굴 데이터의 자세 보정을 위한 제2 강체 변환 벡터를 생성하는 제2 계산부; 및
    상기 제1 강체 변환 벡터 및 제2 강체 변환 벡터 중 어느 하나를 새로운 강체 변환 벡터로 업데이트하는 업데이트부
    를 포함하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 업데이트부는 상기 새로운 강체 변환 벡터의 업데이트된 크기를 기설정된 임계치와 비교하고, 상기 업데이트된 크기가 상기 임계치보다 작은 경우에는 상기 새로운 강체 변환 벡터를 최종 강체 변환 벡터로 설정하고, 상기 업데이트된 크기가 상기 임계치보다 크거나 같은 경우에는 상기 영상 처리 장치가 새로운 강체 변환 벡터를 생성하도록 제어하는 영상 처리 장치.
  11. 영상 처리 장치에 있어서, 상기 영상 처리 장치에 포함되는 프로세서에 의해 적어도 일시적으로 구현되는,
    획득된 3차원 입력 얼굴 데이터 이용하여 대표 평면을 계산하고, 상기 대표 평면의 노말 벡터를 Z 축으로 계산하는 계산부; 및
    상기 3차원 입력 얼굴 데이터의 상기 Z 축에 상응하는 위치 데이터를 변경하여서, 상기 3차원 입력 얼굴 데이터로부터 상기 위치 데이터에 상응하는 2차원 에지 영상을 획득하는 획득부
    를 포함하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 3차원 입력 얼굴 데이터로부터 코 끝에 상응하는 제1 위치 데이터 및 이주점에 상응하는 제2 위치 데이터를 추출하는 추출부
    를 더 포함하고,
    상기 획득부는 상기 제1 위치 데이터에서부터 상기 제2 위치 데이터까지 범위로 상기 위치 데이터를 변경하여 상기 2차원 에지 영상을 획득하는 영상 처리 장치.
  13. 제11항에 있어서,
    상기 계산부는 상기 위치 데이터에 상응하는 2차원 에지 영상 각각에서 얼굴 중심선을 기준으로 대칭인 픽셀들의 X 좌표의 합을 비대칭 특징 값으로 계산하고, 상기 위치 데이터의 변화에 따라 상기 비대칭 특징 값을 포함하는 비대칭 특징 벡터를 생성하는 영상 처리 장치.
KR1020150140407A 2015-10-06 2015-10-06 3차원 얼굴 비대칭 분석 장치 및 방법 KR101732807B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150140407A KR101732807B1 (ko) 2015-10-06 2015-10-06 3차원 얼굴 비대칭 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150140407A KR101732807B1 (ko) 2015-10-06 2015-10-06 3차원 얼굴 비대칭 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170041005A KR20170041005A (ko) 2017-04-14
KR101732807B1 true KR101732807B1 (ko) 2017-05-08

Family

ID=58579369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150140407A KR101732807B1 (ko) 2015-10-06 2015-10-06 3차원 얼굴 비대칭 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101732807B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101908851B1 (ko) 2017-04-14 2018-10-17 한국 한의학 연구원 얼굴 자세 보정 장치 및 방법
KR102260964B1 (ko) * 2019-05-09 2021-06-03 가천대학교 산학협력단 얼굴의 비대칭 특성정보를 도출하는 방법, 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
퍼지논리의 에지검출에 의한 정합을 이용한 3차원 얼굴모델 생성*

Also Published As

Publication number Publication date
KR20170041005A (ko) 2017-04-14

Similar Documents

Publication Publication Date Title
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
US9619704B2 (en) Fast articulated motion tracking
EP1811456B1 (en) Face feature point detector and feature point detector
US7925048B2 (en) Feature point detecting device, feature point detecting method, and feature point detecting program
KR101908851B1 (ko) 얼굴 자세 보정 장치 및 방법
JP2020526845A (ja) 姿勢変動に頑健な顔位置調整のためのシステム及び方法
US7809166B2 (en) Image processing apparatus for estimating motion of predetermined feature point of 3D object
WO2009091029A1 (ja) 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム
US20170019655A1 (en) Three-dimensional dense structure from motion with stereo vision
US20170345147A1 (en) Tooth axis estimation program, tooth axis estimation device and method of the same, tooth profile data creation program, tooth profile data creation device and method of the same
KR20180087947A (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
WO2011105134A1 (en) Position and orientation estimation method and apparatus therefor
JP7345664B2 (ja) 不確実性を有するランドマーク位置推定のための画像処理システムおよび方法
JP2005339288A (ja) 画像処理装置及びその方法
JP2013156680A (ja) フェーストラッキング方法、フェーストラッカおよび車両
JP2019114103A (ja) 物体認識処理装置、物体認識処理方法及びプログラム
CN109934869B (zh) 位置姿势推断装置、位置姿势推断方法及记录介质
Chan et al. Two and three dimensional image registration based on B-spline composition and level sets
KR101732807B1 (ko) 3차원 얼굴 비대칭 분석 장치 및 방법
WO2021026281A1 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
KR102333768B1 (ko) 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
KR101001184B1 (ko) 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
Luo et al. Automatic Tongue Tracking in X‐Ray Images
Martins et al. Single view head pose estimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right