KR101554403B1

KR101554403B1 - 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체

Info

Publication number: KR101554403B1
Application number: KR1020137020730A
Authority: KR
Inventors: 히로마츠 아오키
Original assignee: 오므론 가부시키가이샤
Priority date: 2011-03-10
Filing date: 2011-03-22
Publication date: 2015-09-18
Also published as: CN103430208B; CN103430208A; US20130343647A1; JP4831259B1; EP2685419A4; EP2685419A1; US9111132B2; EP2685419B1; WO2012120697A1; KR20130108456A; JP2012190287A

Abstract

여러가지의 조건에서 촬영된 얼굴화상에서의 입술의 색을 특정하고, 특정한 입술의 색을 이용하여 입술의 영역을 특정할 수 있는 화상 처리 장치 및 화상 처리 방법을 실현한다. 본 발명에 관한 화상 처리 장치(6)는, 인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 장치로서, 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정부(17)와, 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정부(18)와, 피부의 대표색과, 각 후보색과의 색상 및 채도에서의 차에 응하여, 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정부(19)를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM FOR CONTROL PROGRAM}

본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것으로, 특히 얼굴화상의 보정을 행하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

사진 또는 영상 등의 화상에 인물의 얼굴이 포함되는 경우, 그 화상에 포함되는 얼굴은 화상의 관찰자의 주의를 끄는 부분인 것이 많다. 종래로부터, 화상에 포함되는 얼굴이 보기에 좋게 되도록, 얼굴화상을 보정 또는 조정하는 기술이 있다.

예를 들면, 특허 문헌 1에는, 상하의 입술의 윤곽을 추출하고, 검출한 상하의 입술의 내측의 윤곽에 둘러쌓는 부분을, 치아에 대응하는 부분으로서 특정하고, 치아에 대응하는 부분의 밝기를 조정하는 기술이 개시되어 있다. 예를 들면 치아에 대응하는 부분의 화소치를 밝게 하여, 얼굴의 볼품을 좋게 할 수 있다. 특허 문헌 1의 기술에서는, 치아에 대응하는 부분을 특정하기 위해, 화상의 각 화소의 휘도치의 변화로부터, 입술의 윤곽을 검출하고 있다. 구체적으로는, 입 영역에 있어서 종방향(얼굴의 높이 방향)의 검출선을 복수 정의하고, 각 검출선에 따라 화소의 휘도치의 변화를 조사하고, 비교적 휘도치의 변화가 큰 점을 입술의 윤곽점으로서 특정한다. 그리고, 특정한 윤곽점의 공간 분포로부터, 상하의 입술의 외측의 윤곽 및 내측의 윤곽에 대응하는 윤곽점을 특정하고, 상하의 입술의 내측의 윤곽에 둘러싸이는 영역을 입의 내부로서 특정하고, 그곳에 치아에 대응하는 영역이 있다고 간주한다.

특허 문헌 1 : 일본국 공개특허공보 「특개2009-231879호 공보(2009년 10월 8일 공개)」

그렇지만, 상기 종래의 구성에서는, 이하의 문제가 생긴다.

특허 문헌 1의 기술을 이용하여 입술의 윤곽을 검출하기 위해서는, 조명 조건이 좋은 얼굴화상을 준비할 필요가 있다. 화상의 휘도치는, 조명 등의 촬영 환경에 의존하여 크게 변화한다. 예를 들면 역광의 조건으로 촬영된 얼굴화상에서는, 얼굴의 부분에 광이 닿지 않아, 얼굴 전체가 어두워진다. 그 때문에, 화소마다의 휘도치의 변화가 작아지고, 입술의 윤곽 부분의 휘도치의 변화도 작아져서, 윤곽점의 특정이 곤란해진다(오검출을 하기 쉬워진다)는 문제가 생긴다. 또한 옥내 등의 저(低)조도하에서 촬영된 경우, 노이즈가 상대적으로 커져서, 입술의 윤곽점의 특정이 또한 곤란해진다.

한편, 얼굴에 광이 닿고 있는 조명 조건으로 촬영된 경우, 입술의 윤곽 부분의 휘도치의 변화가 크고, 윤곽점의 특정은 하기 쉬워진다. 그렇지만, 광이닿는 방식에 다라서는 얼굴의 요철에 의해 음영(陰影)이 생겨서, 입술의 윤곽에서의 휘도치의 변화보다 큰휘도 변화가 음영의 경계부분에 생긴다. 그 결과, 음영의 경계와 입술의 윤곽과의 구별이 곤란해진다.

또한, 얼굴에 광이 강하게 닿고 있는 조명 조건으로 촬영된 경우, 얼굴 전체가 새하얗게 된다(휘도가 커진다). 그 때문에, 입술의 윤곽 부근이 새하얗게 되고, 윤곽 부분의 휘도치의 변화가 작아지고, 윤곽점의 특정이 곤란해진다. 또한, 립스틱이나 립글로스에 닿은 광의 반사(광택(艶))에 의해, 광택의 영역의 경계에 큰휘도 변화가 생긴 경우, 윤곽과 광택의 경계와의 구별이 곤란해지고, 오검출하기 쉬워진다.

개인차, 조명 조건의 변화, 및, 립스틱 또는 립글로스의 착색 등의 영향을 받아, 일반적으로 촬영된 얼굴화상의 입술의 색은, 크게 변화한다. 그 때문에, 일반적으로 얼굴화상의 입술의 색은 기지(旣知)가 아니다. 여러가지의 조건(촬영 환경 및 화장 등) 때문에, 얼굴화상의 입술의 색은 피부의 색에 유사한 것도 있고, 주위를 피부로 둘러싸여진 입술의 색을 특정하는 것은 곤란한 경우가 있다.

본 발명은, 상기한 문제점을 감안하여 이루어진 것으로, 그 목적은, 여러가지의 조건에서 촬영된 얼굴화상에서의 입술의 색을 특정하고, 특정한 입술의 색을 이용하여 입술의 영역을 특정하는 것에 있다.

본 발명에 관한 화상 처리 장치는, 인물의 입(口)을 포함하는 얼굴화상으로부터 입술(唇)의 특징을 특정하는 화상 처리 장치로서, 상기한 과제를 해결하기 위해, 상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정부와, 상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정부와, 상기 피부의 대표색과 각 후보색과의 색상(色相) 및 채도(彩度)에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정부를 구비하는 것을 특징으로 하고 있다.

본 발명에 관한 화상 처리 방법은, 인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 방법으로서, 상기한 과제를 해결하기 위해, 상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정 스텝과, 상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정 스텝과, 상기 피부의 대표색과, 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정 스텝을 구비하는 것을 특징으로 하고 있다.

상기한 구성에 의하면, 입술과 피부를 포함하는 얼굴화상의 색상 및 채도에서의 차에 의거하여, 후보색의 중에서 입술의 대표색을 특정한다. 따라서, 다양한 색일 수 있는 입술의 대표색을, 피부의 색과는 구별하여, 정확하게 특정할 수 있다. 여기서, 색상 및 채도에서의 차(差)란, 2개의 색의 색상채도평면에서의 차이(違)를 가리키고, 색상의 차이(違), 채도의 차이(違), 및, 색상채도평면에서의 거리 등이 포함된다.

이상과 같이, 본 발명에 의하면, 입술과 피부를 포함하는 얼굴화상의 색상 및 채도에서의 차에 의거하여, 후보색의 중에서 입술의 대표색을 특정한다.

그 때문에, 다양한 색일 수 있는 입술의 대표색을, 피부의 색과는 구별하여, 정확하게 특정할 수 있다.

도 1은 본 발명의 한 실시 형태에 관한 디지털 카메라의 개략 구성을 도시하는 블록도.
도 2(a)는, 정규화된 입영역의 화상을 도시하는 화상, (b)는, 평활화된 입영역의 화상을 도시하는 화상.
도 3은 입화상에서의 복수의 영역을 도시하는 도면.
도 4는 CbCr평면에서, 입술색의 후보가 되는 색의 범위를 단순화하여 도시하는 도면.
도 5는 본 실시 형태의 입술색 특정 처리 및 입술영역 특정 처리의 흐름을 도시하는 플로 차트.
도 6(a)는, 후보색과 피부의 대표색과의 CbCr평면에서의 거리와, 무게(Wa)와의 관계를 도시하는 도면, (b)는, 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 무게(Wa)를 계산한 결과를 도시하는 화상.
도 7(a)는, 후보색과 피부의 대표색과의 CbCr평면에서의 색상과, 무게(Wb)와의 관계를 도시하는 도면, (b)는, 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 무게(Wb)를 계산한 결과를 도시하는 화상.
도 8은 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 무게(Wc)를 계산한 결과를 도시하는 화상.
도 9는 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 화소치로부터 입술색도(D1)를 계산한 결과를 도시하는 화상.
도 10은 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 무게(Wd)를 계산한 결과를 도시하는 화상.
도 11은 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 화소치로부터 후보 평가치(D2)를 계산한 결과를 도시하는 화상.
도 12(a)는, 각 화소의 색과 입술의 대표색과의 CbCr평면에서의 거리와, 제1의 입술색 유사도(We)와의 관계를 도시하는 도면, (b)는, 도 2의 (b)에 대응하고, 입화상의 각 화소의 제1의 입술색 유사도(We)를 계산한 결과를 도시하는 화상.
도 13(a)는, 각 화소의 색과 입술의 대표색과의 CbCr평면에서의 색상과, 제2의 입술색 유사도(Wf)와의 관계를 도시하는 도면, (b)는, 도 2의 (b)에 대응하고, 입화상의 각 화소의 제2의 입술색 유사도(Wf)를 계산한 결과를 도시하는 화상.
도 14는 도 2의 (b)에 대응하고, 입술 후보 영역으로 분류된 화소를 도시하는 화상.
도 15(a) 및 (b)는, 도 14에 대응하고, 입술 후보 영역을 도시하는 화상으로부터 모델화한 입술영역을 특정하는 순서를 도시하는 화상.
도 16은 도 15의 (a)에 대응하고, 모델화된 입술영역을 도시하는 화상.
도 17은 본 실시 형태의 보정 처리의 흐름을 도시하는 플로 차트.
도 18은 각 수평 위치에서의 보정 무게(Wg)를 도시하는 도면.
도 19는 도 16에 대응하고, 보정 무게(Wg)를 도시하는 화상.
도 20은 도 19에 대응하고, 보정부분 평가치(D3)를 도시하는 화상.
도 21은 도 2의 (b)에 대응하고, 추출한 화소의 휘도를 도시하는 화상.
도 22는 추출한 화소의 휘도치에 무게를 곱한 결과의, 추출한 각 화소의 휘도치에 의한 히스토그램.
도 23은 도 21에 대응하고, 휘도 성분만을 갖는 광택 화상을 도시하는 화상.
도 24(a)는, 추출한 각 화소에 대한 제1 톤 커브를 도시하는 도면, (b)는, 추출한 각 화소에 대한 제2 톤 커브를 도시하는 도면.
도 25는 정규화된 입화상, 평활화된 입화상, 및 광택 화상의 합성 처리를 도시하는 도면.
도 26(a)는, 보정 전의 얼굴화상의 일부를 도시하는 화상, (b)는, 보정 후의 얼굴화상의 일부를 도시하는 화상.
도 27(a)는, 도 2의 (a)에 대응하고, 정규화된 입화상의 Cb성분의 값을 도시하는 화상, (b)는, 도 2의 (a)에 대응하고, 정규화된 입화상의 Cr성분의 값을 도시하는 화상.
도 28은 본 발명의 다른 실시 형태에 관한 디지털 카메라의 개략 구성을 도시하는 블록도.
도 29는 입 속 영역 특정 처리 및 보정 처리의 흐름을 도시하는 플로 차트.
도 30은 도 16에 대응하고, 입내부영역 및 입내부영역의 보정 무게(Wh)를 도시하는 화상.
도 31은 도 2의 (b)에 대응하고, 입화상의 각 화소의 치아색 유사도(Wi)를 계산한 결과를 도시하는 화상.
도 32는 도 12의 (b)에 대응하고, 각 화소의 (1-We)의 값을 도시하는 화상.
도 33은 도 13의 (b)에 대응하고, 각 화소의 (1-Wf)의 값을 도시하는 화상.
도 34는 도 31에 대응하고, 치아 광택 화상을 도시하는 화상.

이하에서는, 주로, 디지털 카메라에 탑재되고, 촬상된 화상에 포함되는 얼굴화상에 대해 처리를 행하는 화상 처리 장치에 관해 설명하지만, 본 발명은 이것으로 한정되는 것이 아니다. 예를 들면, 본 발명에 관한 화상 처리 장치는, 디지털 비디오 카메라, 퍼스널 컴퓨터(PC)의 Web 카메라, 또는 카메라 부착 휴대 전화 등의 촬영 장치에 탑재되고, 촬영 장치로 촬영하여 얻어진 화상에 대해 처리를 행하여도 좋다. 또한, 본 발명에 관한 화상 처리 장치는, 네트워크 등의 통신 경로, 또는 외부 기억 장치로부터 취득한 화상에 관해 처리를 행하여도 좋다. 또한, 촬상된 정지 화상만이 아니고, 동화 등의 얼굴화상에 처리를 행하여도 좋다. 또한, 디지털 카메라로 촬상을 행할 때에 디지털 카메라의 표시 장치에 표시되는 프리뷰 화상에 처리를 시행하여도 좋다.

[실시 형태 1]

이하, 본 발명의 실시 형태에 관해, 도면을 참조하여 상세히 설명한다.

<디지털 카메라의 구성>

도 1은, 본 실시 형태에 관한 디지털 카메라(1)의 개략 구성을 도시하는 블록도이다. 디지털 카메라(1)은, 지시 입력 장치(2), 촬상 장치(3), 화상 기억 장치(4), 표시 장치(5), 및 화상 처리 장치(6)를 구비한다.

지시 입력 장치(2)는, 버튼, 키 또는 터치 패널 등의 입력 장치를 구비하고, 이용자로부터 촬상의 지시를 접수하고, 촬상 장치(3)에 촬상의 지시를 출력한다. 또한, 지시 입력 장치(2)는, 이용자로부터 얼굴화상의 보정 처리의 지시를 접수하고, 화상 처리 장치(6)에 보정 처리의 지시를 출력한다.

촬상 장치(3)는, 예를 들면, CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 촬상 소자 등의 촬상 소자를 구비한다. 촬상 장치(3)는, 촬상의 지시에 응하여 촬상하고, 촬상한 화상(화상 데이터)를 화상 기억 장치(4)에 출력한다.

화상 기억 장치(4)는, 각종의 정보를 기억하는 것이고, 예를 들면 HDD(Hard Disk Drive), 또는 플래시 메모리 등의 기억 디바이스를 구비한다. 화상 기억 장치(4)는, 촬상 장치(3)로부터 수취한 화상을 기억하여 보존하여 둔다.

표시 장치(5)는, 디스플레이를 구비하고, 입력된 화상을 표시하여 이용자에게 제시한다. 또한, 표시 장치(5)는, 화상 처리 장치(6)로부터 보정 처리가 끝난 화상을 수취하고, 보정 처리가 끝난 화상을 표시한다.

<화상 처리 장치의 구성>

화상 처리 장치(6)는, 화상 취득부(지시 수령부)(11), 얼굴 검출부(12), 특징 검출부(13), 적부 판정부(14), 입화상(口畵像) 정규화부(15), 평활화부(16), 피부(肌)대표색 특정부(17), 후보색 특정부(18), 입술대표색 특정부(19), 입술영역 특정부(20), 화상 보정부(21), 합성부(22), 및 표시 제어부(23)를 구비한다.

화상 취득부(11)는, 지시 입력 장치(2)로부터 보정 처리의 지시를 수취한다. 보정 처리의 지시는, 처리 대상이 되는 화상을 나타내는 정보, 및, 어떤 보정 처리를 행하는지를 나타내는 정보를 포함한다. 보정 처리의 종류로서는, 예를 들면, 입술에 립글로스를 도포한 화상을 보정하는 립글로스 보정, 또는 치아(齒)가 하얗게 되도록 화상을 보정한 치아 화이트닝 보정 등이 있다. 화상 취득부(11)는, 수취한 보정 처리의 지시에 의거하여, 화상 기억 장치(4)로부터 처리 대상의 화상을 취득한다. 또한, 화상 취득부(11)는, 촬상 장치(3)로부터 촬상된 화상을 직접 수취하여도 좋다. 화상 취득부(11)는, 취득한 처리 대상의 화상을 얼굴 검출부(12), 특징 검출부(13), 적부 판정부(14), 입화상 정규화부(15), 피부대표색 특정부(17), 및 합성부(22)에 출력한다. 또한, 화상 취득부(11)는, 수취한 보정 처리의 지시를 화상 보정부(21)에 출력한다.

얼굴 검출부(12)는, 화상 취득부(11)로부터 수취한 화상의 중에 포함되는 얼굴화상을 검출한다. 얼굴 검출부(12)는, 화상에 포함되는 얼굴화상을 검출하면, 얼굴화상의 위치를 특정한다. 얼굴화상의 위치는, 얼굴화상의 소정의 점의 좌표를 나타내여도 좋고, 얼굴화상의 영역을 나타내여도 좋다. 얼굴 검출부(12)는, 얼굴화상의 위치를, 특징 검출부(13), 적부 판정부(14), 입화상 정규화부(15) 및 피부대표색 특정부(17)에 출력한다. 또한, 얼굴 검출부(12)는, 처리 대상의 화상으로부터 복수의 얼굴화상을 검출하여도 좋다. 복수의 얼굴화상을 검출한 경우, 얼굴 검출부(12)는, 각 얼굴화상의 위치를 특정하고, 복수의 얼굴화상의 위치를 상기 각 부에 출력하여도 좋다.

특징 검출부(13)는, 화상 취득부(11)로부터 수취한 처리 대상의 화상 및 얼굴 검출부(12)로부터 수취한 얼굴화상의 위치로부터, 그 얼굴화상의 얼굴의 각 특징의 위치를 검출한다. 구체적으로는, 특징 검출부(13)는, 예를 들면 눈(눈시울, 눈꼬리 등), 입(입끝점(口端点), 입의 중심점 등), 및 코(코의 정점(頂点) 등) 등의 얼굴의 기관의 특징, 및 얼굴의 윤곽 등의 특징(특징점)을 검출하고, 그들의 위치를 특정한다. 특징의 위치는, 특징점의 좌표를 나타내여도 좋고, 특징을 포함하는 영역을 나타내여도 좋다. 각 특징의 검출은, 공지의 기술을 이용하여 행할 수 있다. 특징 검출부(13)는, 검출한 얼굴의 특징의 위치를 적부 판정부(14), 입화상 정규화부(15), 및 피부대표색 특정부(17)에 출력한다. 또한, 특징 검출부(13)는, 복수의 얼굴화상의 특징의 위치를 특정하고, 복수의 얼굴화상의 특징의 위치를 상기 각 부에 출력하여도 좋다.

적부 판정부(14)는, 화상 취득부(11)로부터 수취한 처리 대상의 화상, 얼굴 검출부(12)로부터 수취한 얼굴화상의 위치, 및 특징 검출부(13)로부터 받아들인 얼굴의 특징의 위치로부터, 그 얼굴화상이 보정 처리를 행하는데 적합한지의 여부를 판정한다. 예를 들면, 적부 판정부(14)는, 횡방향의 얼굴화상 및 얼굴의 찍힘새가 너무 작은 얼굴화상 등을, 부적으로서 판정한다. 구체적인 판정 방법은 후술한다. 또한, 처리 대상의 화상에 복수의 얼굴화상이 포함되어 있는 경우, 적부 판정부(14)는, 각 얼굴화상에 관해 보정 처리를 행하는 것의 적부를 판정하여도 좋고, 보정 처리를 행하는데 보다 적합한 소정수(예를 들면 하나)의 얼굴화상을 특정하여도 좋다. 적부 판정부(14)는, 처리 대상으로서 적절하다고 판정한 얼굴화상을 나타내는 정보를 입화상 정규화부(15), 피부대표색 특정부(17), 및 후보색 특정부(18)에 출력한다.

입화상 정규화부(15)는, 화상 취득부(11), 얼굴 검출부(12), 및 특징 검출부(13)로부터 각각 처리 대상의 화상, 얼굴화상의 위치, 및 얼굴의 특징의 위치를 수취한다. 입화상 정규화부(15)는, 수취한 정보에 의거하여, 적부 판정부(14)에 의해 처리 대상으로서 적절하다고 판정된 얼굴화상에 관해, 처리 대상이 되는 얼굴화상의 입 영역의 화상을 추출한다. 후의 화상 처리에서 계산을 용이하게 하기 위해, 입화상 정규화부(15)는, 처리 대상의 화상의 입 영역이 소정의 크기가 되도록 화상 사이즈를 정규화한다. 구체적으로는, 입화상 정규화부(15)는, 입의 좌우의 끝점(端点)이 소정의 좌표에 위치하도록, 필요에 응하여 처리 대상의 얼굴화상을 회전 및 확대·축소시켜서, 소정의 사이즈의 입 영역(입을 포함하는 영역)을 처리 대상의 얼굴화상으로부터 잘라낸다. 도 2의 (a)는, 정규화된 입영역의 화상을 도시하는 화상이다. 또한, 처리 대상의 얼굴화상을 확대·축소하는 경우, 필요에 응하여 원래의 화소의 사이의 점의 화소치를 임의의 방법으로 보간하여도 좋다. 입화상 정규화부(15)는, 정규화된 입영역의 화상(입화상)을 평활화부(16), 및 화상 보정부(21)에 출력한다.

평활화부(16)는, 입화상 정규화부(15)로부터 수취한 입화상을 평활화한다. 구체적으로는, 평활화부(16)는, 입화상에 가우시안 필터 등을 적용하여, 평활화된 입화상을 생성한다. 도 2의 (b)는, 평활화된 입영역의 화상을 도시하는 화상이다. 평활화된 입화상을 이용함으로써, 노이즈를 배제하고, 입술 등의 소망하는 영역을 정확하게 특정할 수 있다. 또한, 정규화된 입화상 및 평활화된 입화상은 컬러의 화상이지만, 도 2에서는, 그 휘도치(Y치)에 의한 명암을 나타내고 있다. 평활화부(16)는, 평활화된 입화상을 후보색 특정부(18), 입술영역 특정부(20), 및 화상 보정부(21)에 출력한다.

피부대표색 특정부(17)는, 화상 취득부(11), 얼굴 검출부(12), 및 특징 검출부(13)로부터 각각 처리 대상의 화상, 얼굴화상의 위치, 및 얼굴의 특징의 위치를 수취한다. 피부대표색 특정부(17)는, 수취한 정보에 의거하여, 적부 판정부(14)에 의해 처리 대상으로서 적절하다고 판정된 얼굴화상에 관해, 처리 대상이 되는 얼굴화상의 피부의 대표색을 특정한다. 얼굴 영역의 일부의 색, 예를 들면, 얼굴 영역의 중심 부분(고 부근)의 평균색, 중앙치, 또는 최빈치(最頻値)의 색 등을 피부의 대표색으로 하여도 좋다. 또한, 얼굴 영역 전체의 평균색 등을 피부의 대표색으로 하여도 좋다. 또한, 얼굴의 어느 영역의 평균색을 구하고, 그 영역에서 그 평균색과 색상이 다른(CbCr평면에서 그 평균색과의 각도가 임계치보다 큰) 화소, 및/또는, 그 영역에서 그 평균색과의 색의 차가 큰(YCbCr색공간에서 그 평균색과의 거리가 임계치보다 큰) 픽셀을 제외하고, 나머지 픽셀로부터 산출한 평균색을, 대표색으로 하여도 좋다. 또한, 피부대표색 특정부(17)는, 피부의 색의 분산도를 구한다. 피부대표색 특정부(17)는, 피부의 대표색을 후보색 특정부(18) 및 입술대표색 특정부(19)에 출력한다. 피부대표색 특정부(17)는, 피부의 색의 분산도를 입술대표색 특정부(19)에 출력한다.

후보색 특정부(18)는, 입술의 색의 후보가 되는 복수의 후보색을 특정한다. 후보색 특정부(18)는, 입화상에서 복수의 영역을 설정하고, 각 영역의 대표색을 특정하여 후보색으로 한다. 도 3은, 입화상에서의 복수의 영역을 도시하는 도면이다. 도면 중의 ×표는, 특징 검출부(13)에 의해 검출된 입끝점을 나타낸다. 구체적으로는, 후보색 특정부(18)는, 이하의 처리를 행한다. 후보색 특정부(18)는, 입화상의 수평 방향의 중앙에서의 소정의 영역을, 종(수직)방향으로 나열하는 복수의 영역으로 분할한다. 후보색 특정부(18)는, 분할된 각 영역의 대표색(평균색 또는 중앙치 또는 최빈치의 색 등)을, 입술의 색의 복수의 후보색으로서 특정한다. 이와 같이 하여 분할된 영역의 적어도 하나는, 주로 하고 입술인 부분을 포함하는 영역이라고 생각된다. 따라서, 복수의 후보색의 적어도 하나는, 입술의 색의 대표색으로서 적합한다고 생각된다. 단, 각 영역의 설정(분할) 방법은 상기로 한하지 않고, 입술이 있다고 생각되는 2개의 입끝점의 사이에서 복수의 영역을 설정하면 좋다. 또한, 분할된 복수의 영역의 크기에 제한은 없고, 각 화소를 복수의 영역으로 하여도 좋다. 또한, 화상의 노이즈 등을 배제하여 후보색을 특정하기 위해, 후보색 특정부(18)는, 평활화된 입화상을 이용하여 후보색을 특정한다. 그러나, 이것으로 한하지 않고, 후보색 특정부(18)는, 평활화되지 않은 입화상을 이용하여 후보색을 특정하여도 좋다. 또한, 후보색 특정부(18)는, 분할된 영역의 색의 분산도를, 대응하는 후보색의 분산도로서 구한다. 후보색 특정부(18)는, 복수의 후보색을 입술대표색 특정부(19)에 출력한다. 후보색 특정부(18)는, 후보색의 분산도를 입술대표색 특정부(19)에 출력한다.

입술대표색 특정부(19)는, 피부의 대표색에 의거하여, 복수의 후보색의 중에서 입술의 대표색을 특정한다. 입술대표색 특정부(19)는, 피부의 대표색과, 각 후보색과의 색상 및 채도에서의 차에 응하여, 피부의 대표색과의 차가 큰 후보색을, 입술의 대표색으로서 특정한다. 입술대표색 특정부(19)는, YCbCr색공간 또는 L*a*b*색공간과 같은, 휘도(또는 명도)와, 색상 및 채도에 의해 색을 표현하는 색공간에서 처리를 행한다. 입술대표색 특정부(19)는, 휘도(또는 명도)의 정보를 사용하지 않고, 색공간에서의 색상 및 채도를 나타내는 CbCr평면(색상채도평면)의 정보에 의거하여, 각 후보색에 관해, 입술의 색인 정도를 구하고, CbCr평면에서의 입술의 대표색을 특정한다. 입술의 대표색을 특정하기 위한 상세한 처리는 후술한다. 입술대표색 특정부(19)는, 특정한 CbCr평면에서의 입술의 대표색을 입술영역 특정부(20) 및 화상 보정부(21)에 출력한다.

도 4는, CbCr평면에서, 입술색의 후보가 되는 색의 범위를 단순화하여 도시하는 도면이다. 입술의 색은, 피부의 대표색과는 어느 정도 다른 색이라고 생각된다. 그 때문에, CbCr평면에서, 피부의 대표색으로부터 거리가 가까운 범위(A)의 색은, 입술색의 후보로부터 제외하는 것이 좋다. 또한, 입술의 색은, 피부의 대표색과는 색상이 다르다고 생각된다. 그 때문에, CbCr평면에서, 피부의 대표색에 색상이 가까운 범위(B)의 색은, 입술색의 후보로부터 제외하는 것이 좋다. 또한, 피사체의 입이 열려 있어서 입화상에 치아가 포함되어 있는 경우, 복수의 후보색의 중에는, 치아의 색을 나타내는 새하얀 색이 있을 가능성이 있다. 치아의 색을 입술의 후보로부터 제외하기 위해, 채도가 작은 범위(C)의 색은, 입술색의 후보로부터 제외하는 것이 좋다. 입술색의 후보는, 범위(A), 범위(B), 범위(C)의 외측의 범위에 있다고 생각된다. 또한, 도 4에서는, 피부의 대표색으로부터 거리가 가깝고, 또한, 피부의 대표색에 색상이 가까운 범위를 피무색 범위로 하고, 채도가 작은 범위를 백(白)범위로 하여, 피무색 범위도 백범위도 아닌 범위를 입술색 후보 범위로 하고 있다.

입술영역 특정부(20)는, 평활화된 입화상, 및 입술의 대표색에 의거하여, 입화상에서의 입술인 영역을 특정한다. 입술영역 특정부(20)는, CbCr평면에서의 입술의 대표색과의 색상 및 채도에서의 차에 응하여, 입술의 대표색에 유사한 색의 영역을 입술영역으로 특정한다. 입술영역을 특정하기 위한 상세한 처리는 후술한다. 또한, 화상의 노이즈 등을 배제하여 입술영역을 특정하기 위해, 입술영역 특정부(20)는, 평활화된 입화상을 이용하여 입술영역을 특정한다. 그러나, 이것으로 한하지 않고, 입술영역 특정부(20)는, 평활화되지 않은 입화상을 이용하여도 좋다. 입술영역 특정부(20)는, 특정한 입술영역을 나타내는 정보, 및 입술 후보 영역을 나타내는 정보 등을 화상 보정부(21)에 출력한다.

화상 보정부(21)는, 보정 처리의 지시, 정규화된 입화상, 평활화된 입화상, 및 입술의 대표색에 의거하여, 입화상에서의 외관의 보정을 행하고, 보정된 입화상을 생성한다. 입화상의 보정의 방법은 후술한다. 화상 보정부(21)는, 보정된 입화상을 합성부(22)에 출력한다.

합성부(22)는, 보정된 입화상을 정규화하기 전의 원래의 사이즈로 되돌리고(필요에 응하여 보정된 입화상을 회전 및 확대·축소시켜), 처리 대상의 화상에 합성하고, 보정된 화상을 생성한다. 이와 같이 하여, 처리 대상의 화상에서의 입술 등의 외관이 보정된 화상을 얻을 수 있다. 합성부(22)는, 보정된 화상을, 표시 제어부(23)에 출력한다. 또한, 합성부(22)는, 보정된 화상을, 화상 기억 장치(4)에 출력하여 기억시켜도 좋다.

표시 제어부(23)는, 보정된 화상을 표시 장치(5)에 출력하고, 보정된 화상을 표시하도록 표시 장치(5)를 제어한다.

<화상 처리 플로>

이하에, 디지털 카메라(1)에서의 화상 보정 처리의 흐름에 관해 설명한다.

이용자는, 지시 입력 장치(2)를 통하여, 예를 들면 촬상되어 화상 기억 장치(4)에 기억되어 있는 화상의 중에서, 처리 대상의 화상을 선택한다. 또한, 이용자는, 지시 입력 장치(2)를 통하여, 처리 대상의 화상에 실시하는 보정 처리의 종류(립글로스 보정, 또는 치아 화이트닝 보정 등)를, 복수의 후보의 중에서 선택한다. 지시 입력 장치(2)는, 지정된 보정 처리의 종류의 정보를 포함하는 보정 처리의 지시를, 화상 처리 장치(6)의 화상 취득부(11)에 출력한다.

도 5는, 화상 처리 장치(6)에서의 입술색 특정 처리 및 입술영역 특정 처리의 흐름을 도시하는 플로 차트이다.

화상 취득부(11)는, 지시 입력 장치(2)로부터의 보정 처리의 지시를 수취하면, 화상 기억 장치(4)로부터 처리 대상이 되는 화상을 취득한다(S1).

얼굴 검출부(12)는, 처리 대상이 되는 화상에 포함되는 얼굴화상을 검출하고, 그 얼굴화상의 위치를 특정한다(S2). 얼굴 검출부(12)는, 처리 대상의 화상에 포함되는 복수의 얼굴화상을 검출하여도 좋다.

특징 검출부(13)는, 검출된 얼굴화상에 포함되는, 얼굴의 특징의 위치를 검출한다(S3). 특징 검출부(13)는, 예를 들면 눈(눈시울, 눈꼬리 등), 입(입끝점, 입의 중심점 등), 및 코(코의 정점 등) 등의 얼굴의 기관의 특징(특징점)을 검출하고, 그들의 위치를 특정한다. 또한, 특징 검출부(13)는, 얼굴의 윤곽 등의 특징을 검출하여도 좋다.

적부 판정부(14)는, 이러한 검출된 얼굴의 특징의 위치에 의거하여, 그 얼굴화상이 보정 처리를 행하는데 적합한지의 여부를 판정한다(S4). 예를 들면, 적부 판정부(14)는, 복수의 얼굴화상 샘플로부터 눈, 코, 입 등의 얼굴의 기관의 각 특징의 주변의 휘도 분포의 특징을 미리 학습하여 작성한 얼굴 모델을 기억하여 둔다. 적부 판정부(14)는, 얼굴 모델과, 검출된 얼굴화상을 비교함에 의해, 얼굴화상이 검출된 특징의 신뢰도 및 얼굴 방향을 특정한다.

예를 들면 검출된 특징의 신뢰도가, 소정의 임계치보다도 낮은 경우, 얼굴의 특징을 정확하게 검출하지 못할 가능성이 높기 때문에, 입 또는 입술 등에 적절하게 보정 처리를 행할 수가 없을 가능성이 있다. 그 때문에, 검출된 특징의 신뢰도가, 소정의 임계치보다도 낮은 경우, 적부 판정부(14)는, 그 얼굴화상은 보정 처리를 행하는데 적합하지 않다고 판정한다.

또한, 검출된 얼굴 방향이 정면에 대해 크게 어긋나 있는 경우(얼굴 방향이 소정의 범위 내에 없는 경우, 예를 들면 얼굴 방향이 정면에 대해 소정의 각도(예를 들면 30°)보다 큰 경우), 적절하게 보정 처리를 행할 수가 없을 가능성이 있다. 이 경우, 적부 판정부(14)는, 그 얼굴화상은 보정 처리를 행하는데 적합하지 않다고 판정한다.

또한, 얼굴화상이 너무 작은 경우(예를 들면 검출한 입의 양쪽의 끝점의 사이의 거리가 소정의 임계치(예를 들면 100화소)보다 작은 경우), 적절하게 보정 처리를 행할 수가 없을 가능성이 있기 때문에, 적부 판정부(14)는, 그 얼굴화상은 보정 처리를 행하는데 적합하지 않다고 판정한다.

보정 처리를 행하는데 적합하지 않다고 판정된 경우(S4에서 NO), 그 얼굴화상에 대한 처리는 종료한다.

보정 처리를 행하는데 적합한다고 판정된 경우(S4에서 YES), 다음에 피부대표색 특정부(17)는, 처리 대상으로서 적절하다고 판정된 얼굴화상에 관해, 처리 대상이 되는 얼굴화상의 피부의 대표색을 특정한다(S5). 여기서는, 얼굴 영역의 중심 부분(코 부근)의 평균색을 피부의 대표색으로 한다. 또한, 피부대표색 특정부(17)는, 피부의 색의 분산도(표준편차)를 구한다. 구체적으로는, 평균색을 구한 영역(코 부근)의 화소의 화소치의 색공간의 Cb축에서의 분산(σbs²), Cr축에서의 분산(σrs²), 및 색상의 분산(σps²)을 구한다.

입화상 정규화부(15)는, 처리 대상이 되는 얼굴화상의 입 영역의 화상을 추출하고, 처리 대상의 화상의 입 영역이 소정의 크기가 되도록 화상 사이즈를 정규화한 입화상을 생성한다(S6). 구체적으로는, 입화상 정규화부(15)는, 입의 좌우의 끝점이 소정의 좌표에 위치하도록, 필요에 응하여 처리 대상의 얼굴화상을 회전 및 확대·축소시켜서, 소정의 사이즈의 입 영역을 처리 대상의 얼굴화상으로부터 잘라낸다.

평활화부(16)는, 정규화된 입화상을 평활화한다(S7).

후보색 특정부(18)는, 입화상의 수평 방향의 중앙에서의 소정의 영역을, 종방향으로 나열하는 복수의 영역으로 분할하고, 분할된 각 영역의 대표색을, 입술의 색의 복수의 후보색으로서 특정한다(S8). 여기서는, 각 영역에 관해, 그 영역의 평균색을, 후보색으로 한다.

또한, 피부의 대표색 및 복수의 후보색은, 휘도의 정보를 포함하지 않아도 좋다. 이하의 처리에서는, 휘도(Y)를 이용하지 않고, CbCr평면에서의 피부의 대표색 및 복수의 후보색을 이용하여 입술의 색의 대표색 및 입술영역의 특정을 행한다.

입술대표색 특정부(19)는, 각 후보색에 관해, 입술의 색의 정도(입술색도)를 구한다(S9). 입화상의 입술의 색은, 피부의 색과는 다른 색이고, 피부의 색과는 다른 색상이라고 생각된다. 또한, 입화상의 입술의 색은, 일반적으로 새하얗게 비치는 치아와도 다른 색이라고 생각된다. 피부의 대표색과 CbCr평면에서의 거리가 크고, 피부의 대표색과 색상의 차가 크고, 채도가 클수록, 입술색도가 크다고 한다.

구체적으로는, 입술대표색 특정부(19)는, 각 후보색에 관해, 후보색과 피부의 대표색과의 CbCr평면에서의 거리에 응하여 커지는 제1의 비피부색도(피부의 색이 아닌 정도)를, 입술색도의 무게로서 구한다. 입술대표색 특정부(19)는, 각 후보색에 관해, 후보색과 피부의 대표색과의 색상의 차에 응하여 커지는 제2의 비피부색도를, 입술색도의 무게로서 구한다. 입술대표색 특정부(19)는, 각 후보색에 관해, 후보색의 채도에 응하여 커지는 비치아색도(치아의 색이 아닌 정도)를, 입술색도의 무게로서 구한다.

CbCr평면에서의 거리에 응한 입술색도의 무게(Wa)(제1의 비피부색도)는, 다음의 식으로 구할 수 있다.

[수식 1]

여기서, Cbs, Crs는, 각각 피부의 대표색(평균색)의 Cb성분 및 Cr성분이고, Cb, Cr는, 각각 후보색의 Cb성분 및 Cr성분이다. 또한, σbs, σrs는, 각각 색공간의 Cb축에서의 피부의 색의 표준편차, Cr축에서의 피부의 색의 표준편차이다. 도 6의 (a)는, 후보색과 피부의 대표색과의 CbCr평면에서의 거리와, 무게(Wa)와의 관계를 도시하는 도면이다. 식(1)에 의하면, 후보색과 피부의 대표색과의 CbCr평면에서의 거리가 작으면, 무게(Wa)는 0에 가깝고, 후보색과 피부의 대표색과의 CbCr평면에서의 거리가 커질수록, 무게(Wa)는 커지고, 1에 근접한다. 도 6의 (b)는, 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 화소치를 식(1)에 적용시켜서 무게(Wa)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 무게(Wa)가 크고, 어두운 개소은 무게(Wa)가 작은 것을 나타낸다. 이에 의하면, 입술의 영역은 무게(Wa)가 큰 것을 알 수 있다. 그렇지만, 치아의 영역도 무게(Wa)가 크게 되어 있다.

색상의 차에 응한 입술색도의 무게(Wb)(제2의 비피부색도)는, 다음의 식으로 구할 수 있다.

[수식 2]

여기서, Ps는, 피부의 대표색(평균색)의 색상이고, CbCr평면에서의 위상의 각도로 나타난다. 또한, P는, 후보색의 색상이다. 또한, σps는, 피부의 색의 색상의 표준편차이다. 또한, α는, 후보색의 색상과 피부의 대표색의 색상이 같아도 무게(Wb)가 0이 되지 않도록 하기 위한, 소정의 정수이다. 도 7의 (a)는, 후보색과 피부의 대표색과의 CbCr평면에서의 색상과, 무게(Wb)와의 관계를 도시하는 도면이다. 식(2)에 의하면, 후보색과 피부의 대표색과의 색상의 차가 작으면, 무게(Wb)는 α에 가깝고, 후보색과 피부의 대표색과의 색상의 차가 커질수록, 무게(Wb)는 커지고, 1+α에 근접한다. 도 7의 (b)는, 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 화소치를 식(2)에 적용시켜서 무게(Wb)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 무게(Wb)가 크고, 어두운 개소는 무게(Wb)가 작은 것을 나타낸다. 이에 의하면, 입술의 영역은 무게(Wb)가 큰 것을 알 수 있다. 그렇지만, 치아의 일부의 영역도 무게(Wb)가 크게 되어 있다.

채도에 응한 입술색도의 무게(Wc)(비치아색도)는, 다음의 식으로 구할 수 있다.

[수식 3]

여기서, Cb, Cr는, 각각 후보색의 Cb성분 및 Cr성분이다. 또한, c는, 소정의 정수이다. 식(3)에서의 exp의 분자는, 채도를 나타낸다. 식(3)에 의하면, 후보색의 채도가 작으면, 무게(Wc)는 0에 가깝고, 후보색의 채도가 커질수록, 무게(Wc)는 커지고, 1에 근접한다. 도 8은, 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 화소치를 식(3)에 적용시켜서 무게(Wc)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 무게(Wc)가 크고, 어두운 개소는 무게(Wc)가 작은 것을 나타낸다. 이에 의하면, 입술의 영역은 무게(Wc)가 큰 것을 알 수 있다. 한편, 새하얀 색인 치아의 일부의 영역은 무게(Wc)가 작은 것을 알 수 있다. 또한, 사진에 어둡게 비치기 쉬운 입의 중의 일부도, 무게(Wc)가 작게 되어 있다.

조명 등에 의해 하나의 화상의 중의 피부에 농담이 생긴 경우, 일반적으로, 같은 인물의 피부라도, 피부의 평균색으로부터의 피부의 각 점의 색까지의 색공간 또는 CbCr평면에서의 거리는 커지는 일이 있다. 즉, 피부의 색의 색공간 또는 CbCr평면에서의 분산은 커지는 일이 있다. 한편으로, 색상은 조명 등의 조건에 의해 그다지 변화하지 않는다. 따라서, 일부의 피부와 입술에 대해, CbCr평면에서의 거리에 응한 무게(Wa)의 값이 같은 정도가 되는 경우에도, 색상의 차에 응한 무게(Wb)에 의해 피부의 색과 입술의 색을 판별할 수 있다.

또한, 립스틱 등에 의해 하나의 화상의 중의 입술의 색과 피부의 색이 같은 색상인 경우, 피부와 입술에 대해, 색상의 차에 응한 무게(Wb)의 값은 같은 정도가 되는 일이 있다. 그러한 경우는, CbCr평면에서의 거리에 응한 무게(Wa)에 의해 피부의 색과 입술의 색을 판별할 수 있다.

또한, 치아의 영역에서 얻어진 입술 후보색은, CbCr평면에서의 거리에 응한 무게(Wa) 및 색상의 차에 응한 무게(Wb)가 함께 크게 될 수 있다. 치아의 색은 일반적으로 새하얗게 채도가 작은 것에 대해, 입술의 색은 채도가 크다고 생각되기 때문에, 채도에 응한 무게(Wc)에 의해, 치아의 색과 입술의 색을 판별할 수 있다. 또한, 입의 중에서 그늘로서 어둡게 찍힌 개소 등도 채도가 낮아지기 때문에, 채도에 응한 무게(Wc)에 의해, 입술의 색과 구별할 수 있다.

입술대표색 특정부(19)는, 각 후보색에 관해, 제1의 비피부색도(Wa)와 제2의 비피부색도(Wb)와 비치아색도(Wc)와의 곱을, 입술색도(D1)로서 구한다.

[수식 4]

도 9는, 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 화소치로부터 입술색도(D1)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 입술색도(D1)가 크고, 어두운 개소는 입술색도(D1)가 작은 것을 나타낸다. 이 입술색도(D1)가 큰 후보색이, 입술의 색일 가능성이 높다고 생각된다. 도 9에 도시하는 예에서는, 입술영역에서 얻어진 입술 후보색이 가장 입술색도(D1)가 크다. 입술대표색 특정부(19)는, 입술색도(D1)가 가장 큰 후보색을, 입술색의 제1의 후보(제1의 선택 후보색)로서 선택한다. 한편으로, 화상의 치아에 색이 붙어 있거나 하여 치아의 영역의 색의 채도가 작지 않은 경우, 또는, CbCr평면에서의 입술의 색과 피부의 색과의 차가 작은 경우, 제1의 선택 후보색으로서 치아의 색을 선택하여 버릴 가능성이 있다.

그래서, 본 실시 형태에서는, 남은 후보색으로부터 제1의 선택 후보색과는 색상·채도에 의한 차가 큰 제2의 후보(제2의 선택 후보색)를 선택하고, 제1의 선택 후보색과 제2의 선택 후보색과의 어느 하나를 입술의 색으로서 특정한다.

입술대표색 특정부(19)는, 제1의 선택 후보색을 제외한 다른각 후보색에 관해, 후보색과 제1의 선택 후보색과의 CbCr평면에서의 거리에 응하여 커지는 무게(Wd)(제1의 선택 후보색이 아닌 정도)를 구한다(S10). 제1의 선택 후보색과의 거리에 응한 무게(Wd)는, 다음의 식으로 구할 수 있다.

[수식 5]

여기서, Cbd, Crd는, 각각 제1의 선택 후보색의 Cb성분 및 Cr성분이고, Cb, Cr는, 각각 후보색의 Cb성분 및 Cr성분이다. 또한, σbd, σrd는, 각각 색공간의 Cb축에서의 제1의 선택 후보색의 표준편차(제1의 선택 후보색의 영역의 각 화소의 Cb성분의 표준편차), Cr축에서의 제1의 선택 후보색의 표준편차(제1의 선택 후보색의 영역의 각 화소의 Cr성분의 표준편차)이다. 제1의 선택 후보색의 표준편차는, 선택 후보색에 대응하는 영역(후보색 특정부(18)가 분할한 영역)의 각 화소의 화소치로부터 구할 수 있다. 식(5)에 의하면, 제1의 선택 후보색과 다른 후보색과의 CbCr평면에서의 거리가 작으면, 무게(Wd)는 0에 가깝고, 제1의 선택 후보색과 다른 후보색과의 CbCr평면에서의 거리가 커질수록, 무게(Wd)는 커지고, 1에 근접한다. 도 10은, 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 화소치를 식(5)에 적용시켜서 무게(Wd)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 무게(Wd)가 크고, 어두운 개소는 무게(Wd)가 작은 것을 나타낸다. 단, 도 10에 도시하는 예에서는, 제1의 선택 후보색으로서 입술영역에서 얻어진 입술 후보색이 선택되어 있다. 그 때문에, 입술영역의 화소의 무게(Wd)는, 작게 되어 있다.

입술대표색 특정부(19)는, 각 후보색에 관해, 입술색도(D1)와 무게(Wd)와의 곱을, 후보 평가치(D2)로서 구한다.

[수식 6]

도 11은, 도 2의 (b)에 대응하고, 후보색 대신에 입화상의 각 화소의 화소치로부터 후보 평가치(D2)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 후보 평가치(D2)가 크고, 어두운 개소는 후보 평가치(D2)가 작은 것을 나타낸다. 입술대표색 특정부(19)는, 후보 평가치(D2)가 가장 큰 후보색을, 입술색의 제2의 후보(제2의 선택 후보색)로서 선택한다. 이에 의하면, 만약, 제1의 선택 후보색으로서 치아의 색이 선택되어 있던 경우, 제2의 선택 후보색으로서 입술의 영역에서 얻어진 입술 후보색이 선택된다고 생각된다. 무게(Wd) 때문에, 제1의 선택 후보색과 제2의 선택 후보색은, 다른 영역(다른 얼굴의 부위)으로부터 얻어진 입술 후보색이 될 가능성이 높다. 복수의 후보색의 중에서, 다른 색인 2개의 후보색을 선택 후보색으로서 선택함으로써, 어는 하나의 선택 후보색에 입술의 색으로서 적절한 후보색이 포함되도록 한다.

입술대표색 특정부(19)는, 제1 및 제2의 선택 후보색으로부터, 보다 입술의 색같은 선택 후보색을, 입술의 대표색으로서 특정한다(S11). S10까지의 처리에 의해, 제1 및 제2의 선택 후보색으로서는, 입술의 영역에서 얻어진 입술 후보색과, 치아의 영역에서 얻어진 입술 후보색이 선택되어 있을 가능성이 높다. 그래서, 입술대표색 특정부(19)는, 제1 및 제2의 선택 후보색 중, 채도가 보다 큰 쪽을, 입술의 대표색으로서 특정한다. 또한, 입술대표색 특정부(19)는, 입술의 대표색의 휘도(Y)를 특정하여도 좋고, 휘도(Y)를 특정하지 않아도 좋다. 적어도 입술의 대표색의 색상 및 채도(또는 Cb성분 및 Cr성분)를 특정하면 좋다.

또한, 입술의 대표색을, 이하와 같이 하여 결정하여도 좋다. 입술대표색 특정부(19)는, 입술색도(D1)에 응하여 하나의 제1의 선택 후보색을 선택하고, 그것을 입술의 색으로서 특정하여도 좋다. 또한, 입술대표색 특정부(19)는, 입술색도(D1)에 응하여 복수의 제1의 선택 후보색을 선택하고, 그들 중에서 채도가 큰 것을 입술의 대표색으로서 특정하여도 좋다. 또한, 입술대표색 특정부(19)는, 입술색도(D1)에 응하여 제1의 선택 후보색을 선택하고, 후보 평가치(D2)에 응하여 복수의 제2의 선택 후보색을 선택하고, 제1의 선택 후보색 및 복수의 제2의 선택 후보색의 중에서, 채도가 가장 큰 것을 입술의 대표색으로서 특정하여도 좋다. 또는, 입술대표색 특정부(19)는, 제1 및 제2의 각 선택 후보색의 중에서, 그 색상이 가장 소정의 색상에 가까운 것을 입술의 대표색으로서 특정하여도 좋다. 입술은 붉다는 전제가 성립되는 경우가 많기 때문, 예를 들면, 소정의 색상은, 전형적인 입술의 색인 적색에 가까운 색상으로 하면 좋다.

입술영역 특정부(20)는, 입화상의 각 화소에 관해, 입술의 대표색과의 유사도를 구한다(S12). 입술의 대표색과 유사한 색의 영역은, 입술의 영역이라고 생각된다. 입술영역 특정부(20)는, 입술의 대표색과, 각 화소의 색과의 색상 및 채도에서의 차에 응하여, 입술의 대표색과 유사한 영역을 특정한다. 구체적으로는, 입술영역 특정부(20)는, 각 화소에 관해, 각 화소의 색과 입술의 대표색과의 CbCr평면에서의 거리에 응한 제1의 입술색 유사도(We), 및, 각 화소의 색과 입술의 대표색과의 색상의 차에 응한 제2의 입술색 유사도(Wf)를 구한다.

CbCr평면에서의 거리에 응한 제1의 입술색 유사도(We)는, 다음의 식으로 구할 수 있다.

[수식 7]

여기서, Cbl, Crl는, 각각 입술의 대표색의 Cb성분 및 Cr성분이고, Cb, Cr는, 각각 각 화소의 색의 Cb성분 및 Cr성분이다. 또한, σbl, σrl는, 각각 색공간의 Cb축에서의 입술의 색의 표준편차, Cr축에서의 입술의 색의 표준편차이다. 입술의 색의 표준편차는, 입술의 대표색(최종적으로 입술의 대표색으로서 특정된 후보색)에 대응하는 영역(후보색 특정부(18)가 분할한 영역)의 각 화소의 색으로부터 구할 수 있다. 도 12의 (a)는, 각 화소의 색과 입술의 대표색과의 CbCr평면에서의 거리와, 제1의 입술색 유사도(We)와의 관계를 도시하는 도면이다. 식(7)에 의하면, 각 화소의 색과 입술의 대표색과의 CbCr평면에서의 거리가 작으면, 제1의 입술색 유사도(We)는 1에 가깝고, 각 화소의 색과 입술의 대표색과의 CbCr평면에서의 거리가 커질수록, 제1의 입술색 유사도(We)는 작아지고, 0에 근접한다. 도 12의 (b)는, 도 2의 (b)에 대응하고, 입화상의 각 화소의 색을 식(7)에 적용시켜서 제1의 입술색 유사도(We)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 제1의 입술색 유사도(We)가 크고, 어두운 개소는 제1의 입술색 유사도(We)가 작은 것을 나타낸다. 이에 의하면, 입술의 영역은 제1의 입술색 유사도(We)가 큰 것을 알 수 있다. 단, 입술의 영역의 일부는, 조명 등에 의해 빛나게 찍히여 있고 채도가 작기 때문에, 제1의 입술색 유사도(We)는 작게 되어 있다. 또한, 입술에 그늘 등이 있는 경우도, 제1의 입술색 유사도(We)는 작아질 가능성이 있다.

색상의 차에 응한 제2의 입술색 유사도(Wf)는, 다음의 식으로 구할 수 있다.

[수식 8]

여기서, Pl는, 입술의 대표색의 색상이고, CbCr평면에서의 위상의 각도로 나타난다. 또한, P는, 각 화소의 색의 색상이다. 또한, σpl는, 입술의 색의 색상의 표준편차이다. 도 13의 (a)는, 각 화소의 색과 입술의 대표색과의 CbCr평면에서의 색상과, 제2의 입술색 유사도(Wf)와의 관계를 도시하는 도면이다. 식(8)에 의하면, 각 화소의 색과 입술의 대표색과의 색상의 차가 작으면, 제2의 입술색 유사도(Wf)는 1에 가깝고, 각 화소의 색과 입술의 대표색과의 색상의 차가 커질수록, 제2의 입술색 유사도(Wf)는 작아지고, 0에 근접한다. 도 13의 (b)는, 도 2의 (b)에 대응하고, 입화상의 각 화소의 색을 식(8)에 적용시켜서 제2의 입술색 유사도(Wf)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 제2의 입술색 유사도(Wf)가 크고, 어두운 개소는 제2의 입술색 유사도(Wf)가 작은 것을 나타낸다. 이에 의하면, 입술의 영역은 제2의 입술색 유사도(Wf)가 큰 것을 알 수 있다.

색상의 차에 응한 제2의 입술색 유사도(Wf)의 쪽이, 제1의 입술색 유사도(We)에 비하여 조명 등의 영향을 받기 어렵고, 안정되고 정밀도 좋은 결과를 얻을 수 있다. 한편으로, 입술은, 립스틱 또는 립글로스 등이 도포되기 때문에, 다양한 색일 수 있다. 피부의 색과 같은 색상의 립스틱이 입술에 도포되어 있는 경우, 색상의 차에 응한 제2의 입술색 유사도(Wf)로 정확하게 입술의 영역을 특정하는 것은 곤란하다. 따라서, 입술의 색의 색상이 피부의 색의 색상과 유사한 경우, 제1의 입술색 유사도(We)가, 입술의 영역을 판정하기 위한 보다 좋은 지표가 될 수 있다.

입술영역 특정부(20)는, 제1의 입술색 유사도(We) 및 제2의 입술색 유사도(Wf)에 의거하여, 입화상으로부터 입술의 후보가 되는 영역(입술 후보 영역, 제1의 입술영역)를 특정한다(S13). 입술 후보 영역은, 입술의 대표색에 유사한 색을 갖는 영역이라고 말할 수 있다. 본 실시의 형태에서는, 입술영역 특정부(20)는, 제1의 입술색 유사도(We) 및 제2의 입술색 유사도(Wf)의 적어도 어느 한쪽의 값이 큰 화소를, 입술 후보 영역이라고 판별한다. 구체적으로는, 입술영역 특정부(20)는, 각 화소에 관해, 제1의 입술색 유사도(We)를 소정의 임계치과 비교하고, 제1의 입술색 유사도(We)가 그 임계치보다 큰 화소를 입술 후보 영역으로 분류한다. 또한, 입술영역 특정부(20)는, 각 화소에 관해, 제2의 입술색 유사도(Wf)를 다른 임계치과 비교하고, 제2의 입술색 유사도(Wf)가 그 임계치보다 큰 화소를 입술 후보 영역으로 분류한다. 도 14는, 도 2의 (b)에 대응하고, 입술 후보 영역으로 분류된 화소를 도시하는 화상이다. 밝은 부분이 입술 후보 영역을 나타낸다. 도 14에 도시하는 화상은, 도 12의 (b)에 도시하는 화상 및 도 13의 (b)에 도시하는 화상을 각각 임계치에 의거하여 2치화하여, 합을 취한 것에 대응한다.

또한, 입술영역 특정부(20)는, 제1의 입술색 유사도(We) 및 제2의 입술색 유사도(Wf)의 어느 한쪽만을 사용하고 입술 후보 영역을 특정하여도 좋다. 또한, 입술영역 특정부(20)는, 제1의 입술색 유사도(We)가 임계치보다 크고, 또한, 제2의 입술색 유사도(Wf)가 다른 임계치보다 큰 화소를 입술 후보 영역으로서 특정하여도 좋다. 이 경우, 입술 후보 영역을 나타내는 화상은, 도 12의 (b)에 도시하는 화상 및 도 13의 (b)에 도시하는 화상을 각각 2치화하고, 곱을 취한 것에 대응한다. 또한, 입술영역 특정부(20)는, 각 화소에 관해, 2치화하기 전에 제1의 입술색 유사도(We) 및 제2의 입술색 유사도(Wf)의 합 또는 곱을 취하고, 그 결과에 의해 입술 후보 영역을 특정하여도 좋다. 또한, 입술영역 특정부(20)는, 1-(1-We)×(1-Wf)가 소정의 임계치보다 큰 화소를 입술 후보 영역으로서 특정하여도 좋다. 입술영역 특정부(20)는, 입술 후보 영역의 분포로부터, 분명히 입술이 아니다라고 판단할 수 있는 개소를, 입술 후보 영역에서 제외하여도 좋다.

입술영역 특정부(20)는, 입화상의 입술 후보 영역에서, 모델화한 입술영역(제2의 입술영역)을 특정한다(S14). 모델화한 입술영역을 특정하는 방법은 다양하고, 입화상의 입술 후보 영역의 경계를 모델이 되는 함수(고차함수 등)로 근사하여도 좋고, 입술 후보 영역의 공간 분포에 미리 준비한 입술형상 모델을 피팅시켜서 특정하여도 좋고, 미리 준비한 입술형상 모델을 기초로, 세그멘테이션 기술에 의해 입술영역을 특정하여도 좋다. 입술형상 모델은, 입술같은 입술의 형상을 함수 또는 범위 등에 의해 규정하는 것이고, 입술의 범위를 나타내는 소정의 순서로 정의되어도 좋다.

본 실시 형태에서 행하는 모델화한 입술영역을 특정하는 구체적인 처리에 관해, 이하에 설명한다. 도 15의 (a), 및 도 15의 (b)는, 도 14에 대응하고, 입술 후보 영역을 도시하는 화상으로부터 모델화한 입술영역을 특정하는 순서를 도시하는 화상이다. 수평 방향으로 x축, 종(수직)방향으로 Y축을 취한다. 우선, 윗입술에 관해, 모델화한 입술영역을 특정한다. 기지(旣知)인 좌우의 입끝점의 위치로부터, 입의 수평 방향에서의 중앙의 x좌표(x0)를 특정한다. 또한, 수평 방향 중앙(x좌표=x0)에서, 연속해서 종방향으로 분포하는 윗입술의 입술 후보 영역의 상단 및 하단의 위치로부터, 윗입술영역의 종방향의 중심 위치(y좌표 y0)를 추정한다.

좌표(x0, y0)를 중심 위치로 하여, 소정의 사이즈의 사각형을, 탐색 블록으로서 설정한다(도 15의 (a)). 또한, 탐색 블록은, 윗입술의 후보 영역의 상단 및 하단을 포함하는 정도로, 종방향의 사이즈가 큰 것이 바람직하다. 초기 위치의 탐색 블록에서, 탐색 블록에 포함되는 입술 후보 영역의 화소의 중심 위치를 구하고, 그 중심 위치의 y좌표를, x좌표=x0에서의 윗입술의 입술영역의 종방향의 중심 위치(y좌표=y1)로 한다.

다음에, 탐색 블록을 △x만큼 입끝점측으로 이동시켜, 좌표(x1, y1)를 중심 위치로 하여 탐색 블록을 설정한다(도 15의 (b)). x1=x0+△x이다. 이동시킨 탐색 블록에 포함되는 입술 후보 영역의 화소의 중심 위치를 구하고, 그 중심 위치의 y좌표를, x좌표=x1에서의 윗입술의 입술영역의 종방향의 중심 위치(y좌표=y2)로 한다.

이와 같이 탐색 블록을 입끝점의 부근까지 순차적으로 비켜 놓고 중심의 계산을 행함ㄴ으로써로, 윗입술의 입술영역의 종방향의 중심 위치를 나타내는 복수의 점의 좌표((x0, y1), (x1, y2), …)를 얻을 수 있다. 탐색 블록이 소정의 위치(예를 들면 입끝점)에 달할 때까지 처리를 계속하여도 좋고, 입술 후보 영역이 도절(途切)되는 위치까지 처리를 계속하여도 좋다. 예를 들면, 윗입술의 입술영역의 종방향의 중심 위치를 나타내는 복수의 점을 잇는 곡선(2차 곡선 또는 보다 고차원의 곡선 등)을 구함으로써, 윗입술의 입술영역의 종방향의 중심 위치를 나타내는 곡선을 얻을 수 있다. 또한, 아랫입술의 입술영역의 종방향의 중심 위치를 나타내는 복수의 점도, 마찬가지로 하여 얻을 수 있다.

입술영역 특정부(20)는, 입술영역의 종방향의 중심 위치를 나타내는 각 점을 중심으로 한, 종방향의 소정의 폭의 범위를, 모델화된 입술영역으로서 특정한다. 본 실시 형태에서는, 입술영역의 종방향의 중심 위치를 나타내는 각 점을 중심으로 한, 종방향의 소정의 폭의 범위가, 입술같은 형상을 나타내는 입술형상 모델이라고 말할 수 있다. 도 16은, 도 15의 (a)에 대응하고, 모델화된 입술영역을 도시하는 화상이다. 밝은 개소는 입술영역을 나타낸다. 입술 후보 영역에서 모델화한 입술형상의 영역을 입술영역으로서 특정함으로써, 노이즈 등을 배제하여 입술같은 입술영역을 특정할 수 있다. 또한, 도 16에 도시하는 예에서는, 후의 입술의 보정 처리에서 입끝 부근의 피부까지 보정 처리를 행하지 않도록, 굳이 입끝 부근은 입술영역에서 제외하고 있다.

또한, 입의 수평 방향 중앙 부근에서, 연속해서 종방향으로 분포하는 입술 후보 영역의 상끝부터 하단의 거리를, 모델화된 입술영역의 종방향의 폭으로 하여도 좋다. 또한, 입술영역 특정부(20)는, 입술영역의 종방향의 중심 위치를 나타내는 각 점을 잇는 곡선을 구하고, 그 곡선의 종방향의 소정의 폭의 영역을, 모델화된 입술영역으로서 특정하여도 좋다. 또한, 입술영역 특정부(20)는, 입끝점측을 향할수록 입술영역의 세로의 폭이 작아지도록, 입술영역의 종방향의 중심 위치를 나타내는 각 점에 의거하여, 입술영역을 특정하여도 좋다. 그 쪽이, 특정한 입술영역이 보다 자연스러운 모델의 입술형상으로 된다.

이와 같이 하여 입술영역 특정부(20)는, 입술영역을 특정한다. 또한, 입술영역 특정부(20)는, 입술 후보 영역의 화소를, 입술영역으로서 특정하여도 좋다. 또한, 입술영역 특정부(20)는, 입술 후보 영역이고, 또한, 모델화된 입술영역인 영역(도 14의 화상의 영역과 도 16의 화상의 영역의 곱을 취한 영역)만을 입술영역으로서 특정하여도 좋다. 이상으로, 입술색 특정 처리 및 입술영역 특정 처리가 완료된다.

다음에, 특정한 입술영역에 대해, 립글로스 보정을 행한다. 립글로스를 도포한 것처럼 보이기 위해, 입술의 광택을 강하게 한다. 그 때문에, 입술의 일부의 영역의 휘도를 크게 하여, 입술영역의 색 변화를 전체적으로 매끈하게 한다. 구체적으로는, 입술영역의 일부의 화소에 휘도를 가산하기 위한 광택 화상을 준비하고, 입술영역을 평활화한 입화상에 광택 화상을 겹침(합성함)으로써, 입술영역을 매끈하게 하고, 입술의 일부의 광택을 강하게 한다.

도 17은, 화상 처리 장치(6)에서의 보정 처리의 흐름을 도시하는 플로 차트이다.

화상 보정부(21)는, 도 16에 도시하는 입술영역의 각 화소 위치에 대해, 입술의 화상 보정을 행하기 위한 무게(보정 무게(Wg))를 구한다(S21). 예를 들면, 입술영역의 중심 부근에서는 광택 증강의 보정을 보다 강하게 걸고, 입술영역의 주변부 부근에서는, 광택 증강의 보정을 보다 약하게 걸므로서, 자연스러운 외관의 화상 보정을 행한다.

구체적으로는, 화상 보정부(21)는, 상하의 각 입술에 관해, 입술영역의 수평 방향의 중심 위치일수록 무게가 크고, 입술영역의 수평 방향의 외측(입끝점측)일수록 무게가 작아지도록 보정 무게(Wg)를 설정한다. 또한, 화상 보정부(21)는, 상하의 각 입술에 관해, 입술영역의 종방향의 중심 위치일수록 무게가 크고, 입술영역의 종방향의 끝부(端部)일수록 무게가 작아지도록 보정 무게(Wg)를 설정한다. 예를 들면, 입술영역의 수평 방향의 중심 위치, 또한, 종방향의 중심 위치에서는, 보정 무게가 1이 되고, 입술영역의 수평 방향의 중심 위치, 또한, 종방향의 입술영역의 끝부에서는, 보정 무게가 0이 되도록 한다. 또한, 입술영역의 수평 방향의 외측의 끝(端), 또한, 종방향의 중심 위치에서는, 보정 무게가 0.5가 되고, 입술영역의 수평 방향의 외측의 끝, 또한, 종방향의 입술영역의 끝부에서는, 보정 무게가 0이 되도록 한다. 그 사이에서의 보정 무게는, 예를 들면 선형으로 변화시켜도 좋다. 도 18은, 각 수평 위치에서의 보정 무게(Wg)를 도시하는 도면이다. 종축은 입술영역의 종방향에서의 위치, 횡축은 각 위치의 보정 무게(Wg)를 나타낸다. 또한, 좌측의 그래프는 입술영역의 수평 방향의 중심의 위치에 대응하는 것이고, 우측의 그래프는 입술영역의 수평 방향의 외측의 위치에 대응하는 것이다. 각 수평 위치에서, 입술영역의 폭의 중심에서는 보정 무게(Wg)가 크다. 또한, 수평 방향의 중심에서는, 보정 무게(Wg)가 크다. 도 19는, 도 16에 대응하고, 보정 무게(Wg)를 도시하는 화상이다. 밝은 개소는 보정 무게(Wg)가 큰 것을 나타낸다. 도 16에 도시하는 입술영역에 대해, 도 19에 도시하는 보정 무게(Wg)는, 보다 입술같게 보이는 영역의 보정 무게가 크게 되어 있음을 알 수 있다. 또한, 이 처리를 입술영역 특정부(20)가 행하고, 입술영역 특정부(20)가, 도 19에 도시하는 화상을 2치화한 것을 입술영역으로서 특정하여도 좋다.

화상 보정부(21)는, 보정 무게(Wg), 입술 후보 영역, 제1의 입술색 유사도(We), 및 제2의 입술색 유사도(Wf)에 의거하여, 입술영역 중에서 광택(휘도)의 보정을 행하는 광택 보정 영역을 특정한다(S22). 구체적으로는, 화상 보정부(21)는, 각 화소에 관해, 보정 무게(Wg)(도 19), 입술 후보 영역(도 16), 제1의 입술색 유사도(We)(도 12의 (b)), 및 제2의 입술색 유사도(Wf)(도 13의 (b))의 곱을 보정부분 평가치(D3)로서 구한다. 도 20은, 도 19에 대응하고, 보정부분 평가치(D3)를 도시하는 화상이다. 밝은 개소는 보정부분 평가치(D3)의 값이 큰 것을 나타낸다. 화상 보정부(21)는, 보정부분 평가치(D3)의 값이 소정의 임계치보다 큰 영역(화소)을, 광택 보정의 대상인 광택 보정 영역으로서 특정한다.

자연스러운 외관의 광택 보정을 행하기 위해, 광택 보정 영역 중에서도, 가장 밝은 일부의 개소(영역)에 관해, 보다 휘도가 커지도록 보정을 행한다. 여기서는, 광택 보정 영역 중에서 최대휘도를 갖는 화소의 주변의 화소에 관해, 휘도를 증대시킨다. 그 때문에, 이하의 처리에서는, 입술영역의 일부의 화소의 휘도를 가산하기 위한 광택 화상을 준비한다.

화상 보정부(21)는, 평활화된 입화상에 대해, 광택 보정 영역에 포함되는 화소만을 추출한다(S23). 도 21은, 도 2의 (b)에 대응하고, 추출한 화소의 휘도를 도시하는 화상이다. 밝은 개소는 추출한 화소의 휘도가 크고, 어두운 개소는 추출한 화소의 휘도가 작은 것을 나타낸다. 또한, 추출되지 않은 화소의 위치는, 어둡게 나타나고 있다. 화상 보정부(21)는, 추출한 화소 중에서 최대의 휘도를 갖는 화소를 중심으로 하여, 동심원형상의 무게를 각 화소의 휘도치를 곱한다. 동심원형상의 무게는, 중심이 1이고, 중심으로부터 떨어질수록 작아진다. 도 21에서는, 최대휘도를 갖는 화소는, 도면에 도시하는 원의 중심에 위치한다.

도 22는, 추출한 화소의 휘도치에 무게를 곱한 결과의, 추출한 각 화소의 휘도치에 의한 히스토그램이다.

화상 보정부(21)는, 추출한 화소에 관해, 무게를 곱한 각 화소의 휘도의 값이 큰 상위의 소정의 비율의 화소에 관해, 휘도가 큰 광택 화상을 생성한다(S24). 도 23은, 도 21에 대응하고, 휘도 성분만을 갖는 광택 화상을 도시하는 화상이다. 도 21에 도시하는 화상에서의 최대휘도를 갖는 화소를 중심으로 하여, 대응하는 광택 화상의 화소는 큰휘도를 갖는다. 예를 들면, 화상 보정부(21)는, 추출한 화소의 휘도치에 무게를 곱한 휘도치가 상위 4%에 포함되는 화소에 관해, 휘도가 커지도록, 광택 화상을 생성한다. 즉, 도 22에 도시하는 히스토그램의 상위 4%에 포함되는 화소의 휘도치가 보정 후에 커지도록, 도 21에 도시하는 화상에 대해 톤 커브를 조정하여, 광택 화상을 생성한다.

도 24의 (a)는, 추출한 각 화소(도 21)에 대한 제1 톤 커브를 도시하는 도면이고, 도 24의 (b)는, 추출한 각 화소에 대한 제2 톤 커브를 도시하는 도면이다. 도 24의 (a), 도 24의 (b)에서의 횡축은 입력휘도를, 종축은 톤 커브에 의한 출력휘도를 나타내고, 참고로 도 22의 히스토그램를 겹쳐서 표시하고 있다. 또한, 휘도치는 0 내지 255의 값을 취하는 것으로 한다. 제1 톤 커브에서는, 추출한 각 화소의 휘도치에 대해, 그 중에서 최고의 휘도치를 갖는 화소의 휘도가 128이 되도록, 또한, 휘도치의 상위 4%를 제외한 모든 화소의 휘도가 0이 되도록, 출력휘도를 보정한다. 그리고, 제1 톤 커브에서는, 휘도치의 상위 4%의 화소에 관해서는, 그 휘도치에 응하여 휘도가 0부터 128로 선형으로 변화하도록 출력휘도를 보정한다. 제2 톤 커브에서는, 추출한 각 화소의 휘도치에 대해, 최대 입력휘도 255가 최대 출력휘도 127이 되도록 출력휘도를 선형으로 변화시킨다. 도 21에 도시하는 화상(추출한 각 화소)의 휘도치를 제1 톤 커브로 조정한 화상과, 도 21에 도시하는 화상(추출한 각 화소)의 휘도치를 제2 톤 커브로 조정한 화상을 가산한 화상(최대휘도는 255)에, 소정의 보정도(예를 들면 0. 1)를 곱한 화상을, 광택 화상(도 23)으로서 생성한다. 소정의 보정도 때문에, 광택 화상의 최대휘도는, 예를 들면 25 정도가 된다. 광택 화상의 휘도치는, 입화상에 대한 휘도의 보정치가 된다.

화상 보정부(21)는, 각 화소의 휘도치에 관해, 도 2의 (a)에 도시하는 정규화된 입화상, 도 2의 (b)에 도시하는 평활화된 입화상, 및 도 23에 도시하는 광택 화상을 합성하여, 보정된 입화상을 생성한다(S25). 구체적으로는, 화상 보정부(21)는, 각 화소에 관해, 평활화된 입화상(도 2의 (b))의 휘도치에 도 19에 도시하는 보정 무게(Wg)를 곱한 것과, 정규화된 입화상(도 2의 (a))의 휘도치에 무게(1-Wg)를 곱한 것과, 광택 화상(도 23)의 휘도치와의 합을, 보정된 입화상의 휘도치로 한다. 도 25는, 정규화된 입화상, 평활화된 입화상, 및 광택 화상의 합성 처리를 도시하는 도면이다. 보정된 입화상의 각 화소의 휘도치(Yc)는, 다음 식으로 구하여진다.

[수식 9]

여기서, Yf는 평활화된 입화상의 화소의 화소치를 나타내고, Yn는 정규화된 입화상의 화소의 화소치를 나타내고, Yg는 광택 화상의 화소의 화소치를 나타낸다. 또한, 보정 무게(Wg)는, 0부터 1의 값을 취한다. 또한, 가산의 결과의 휘도치(Yc)가 최대휘도 255를 넘을 때는, 그 화소의 휘도치를 255로 한다. 입술영역에 관해 평활화된 입화상을 합성함으로써, 입술영역의 휘도 변화를 매끈하게 하고, 입술영역에 광택 화상을 합성함으로써, 입술영역의 광택을 증강시킬 수 있다. 또한, 여기서는 화상 보정부(21)는, 색상 및 채도에 관해서는, 보정하지 않는다.

다음에, 합성부(22)는, 보정된 입화상을 정규화하기 전의 원래의 사이즈로 되돌려서(필요에 응하여 보정된 입화상을 회전 및 확대·축소시켜서), 처리 대상의 화상(얼굴화상)에 합성하여, 보정된 화상을 생성한다(S26). 이와 같이 하여, 처리 대상의 화상에서의 입술 등의 외관이 보정된 화상을 얻을 수 있다.

도 26의 (a)는, 보정 전의 얼굴화상의 일부를 도시하는 화상이고, 도 26의 (b)는, 보정 후의 얼굴화상의 일부를 도시하는 화상이다. 상하의 입술 전체의 외관이 매끈하게 되고, 아랫입술의 일부의 광택이 증강되어 있음을 알 수 있다. 또한, 도 26의 (b)에서는, 실시 형태 2에서 설명한 치아 화이트닝 처리의 보정도 적용되어 있다.

표시 제어부(23)는, 보정 처리 후의 화상을 표시 장치(5)에 표시시키고, 보정 처리를 종료한다.

<본 실시 형태의 장점>

본 실시 형태의 화상 처리 장치(6)에 의하면, 입술과 피부를 포함하는 입화상의 휘도를 제외한 색상 및 채도의 정보에 의거하여, 다양한 색일 수 있는 입술의 대표색을 특정하고, 특정한 입술의 대표색에 의거하여 입술영역을 정확하게 특정할 수 있다. 그리고, 특정한 입술영역에 보정 처리를 행함으로써, 화상의 중의 인물의 입술에, 적절한 보정 처리를 시행할 수 있다.

종래의 화상 처리에서는, 휘도의 정보를 이용하여 입술의 영역을 검출하는 것이 당연하다고 생각되어 있다. 그것은, 휘도에 의거하여 입술의 영역을 검출하는 이점이 있는 것에 기인한다. 이 이유로서는, 이하를 들 수 있다.

제1로, 휘도에 의거한 방법은, 그레이 스케일 화상에도 적용할 수 있는 것을 들 수 있다.

제2로, 일반적으로, 입화상의 Y성분은, Cb성분 및 Cr성분에 비하여, 에지가 명료하고, Y성분을 이용하면 입술 등의 에지를 검출하기 쉬운 것을 들 수 있다. 도 27의 (a)는, 도 2의 (a)에 대응하고, 정규화된 입화상의 Cb성분의 값을 도시하는 화상이고, 도 27의 (b)는, 도 2의 (a)에 대응하고, 정규화된 입화상의 Cr성분의 값을 도시하는 화상이다. 밝은 개소는 각 성분의 값이 큰 것을 나타낸다. CbCr성분을 도시하는 도 27의 (a) 및 도 27의 (b)와, 휘도(Y)를 도시하는 도 2의 (a)를 비교하면, 휘도(Y)를 도시하는 화상의 쪽이, 보다 입술의 에지를 선명하게 분간할 수 있다.

이와 같이, 종래에 있어서, 조명 조건 등이 좋은 경우는, 휘도에 의거하여 입술의 영역 및 입술의 색을 특정할 수 있다. 한편으로, 조명 조건 등이 나쁜 경우(부분적으로 그늘이 생기는 경우, 또는 조명이 너무 강한 경우 등)는, 종래와 같이 휘도에 의거하여 입술의 영역 및 입술의 색을 특정하면, 오검출이 많아지고, 정확하게 입술의 영역 및 입술의 색을 특정할 수가 없는 일이 있다.

또한, 입술의 색(색상 등)이 기지인 경우에, 색상 또는 채도에 의해 입술의 영역을 특정하는 것은, 종래로부터 행하여지고 있다. 또한, 일반적인 방법으로, 얼굴의 넓은 범위에 분포하는 피부의 색을 검출하는 경우와 달리, 입술이라는 얼굴의 중의 좁은 영역의 색을 같은 방법으로 검출하는 것은 곤란한 경우가 많다.

이에 대해, 본 실시 형태의 화상 처리 장치(6)에 의하면, 입술의 색이 기지가 아니고, 또한, 입술의 영역도 기지가 아닌 경우에, 입술의 대표색을 특정하고, 입술의 영역을 특정할 수 있다. 화상 처리 장치(6)는, 색상과 채도에서의 차에 응하여, 피부의 색 및 치아의 색과는 다른(차이가 크다) 후보색을 입술의 대표색으로서 특정한다. 그 때문에, 그늘, 조명 또는 화장 등에 의해, 화상에서의 피부와 입술이 같은 색상인 경우에도, 또한, 화상에서의 피부의 색이 장소에 의해 크게 다른 경우에도, 피부 및 치아와 입술을 정확하게 구별하여, 입술의 대표색을 특정할 수 있다. 또한, 피부의 색의 분산 등을 고려하여 각 후보색이 입술의 색인 정도를 구하기 때문에, 보다 적절한 입술색도를 구할 수 있다. 여기서, 색상 및 채도에서의 차란, 2개의 색의 색상채도평면(CbCr평면)에서의 차를 가리키고, 색상의 차이, 채도의 차이, 및, 색상채도평면에서의 거리 등이 포함된다.

또한, 화상 처리 장치(6)는, 피부의 색과의 색상 및 채도에 의한 차에 응하여 복수의 후보색을 선택하고, 그 중으로부터 보다 입술의 색같은(예를 들면 채도가 큰) 후보색을 입술의 대표색으로서 선택한다. 그 때문에, 보다 정확하게 입술의 대표색을 특정할 수 있다.

또한, 화상 처리 장치(6)는, 입술의 대표색과 각 화소와의 색상과 채도에서의 차에 응하여, 입술의 대표색에 유사한 영역을 입술영역으로서 특정한다. 비교적 밝은 조명 환경하에서 촬영된 화상의 경우, 입술의 일부가 새하얗게 되는 일이 있다. 입술이 새하얗게 된 광택 영역은 채도가 작고, 한편으로 입술의 다른 영역은 채도가 크기 때문에, 광택 영역과 그 이외의 입술영역의 색의 CbCr평면에서의 거리는 커진다. 그렇지만, 광택 영역도 색상은 변화하지 않기 때문에, 색상을 고려함으로서 광택 영역도 정확하게 입술영역으로 판정할 수 있다. 한편으로, 피부와 입술이 같은 색상이였던 경우에도, 입술의 대표색과 각 화소와의 CbCr평면에서의 거리를 고려함으로써, 정확하게 입술영역을 특정할 수 있다.

또한, 화상 처리 장치(6)는, 입술의 대표색에 유사한 화소(입술 후보 영역의 화소)의 공간 분포에 의거하여, 소정의 입술형상의 모델 등을 적용하고, 입술같은 형상을 구성하는 화소 및/또는 입술같은 위치에 있는 화소를, 모델화된 입술영역으로서 특정한다. 입술 이외에서 입술의 대표색에 유사한 영역이 있는 경우, 입술 후보 영역의 중에서 입술의 영역만을 판별할 필요가 있다. 그래서, 입술형상의 모델을 입술 후보 영역에 적합시킴(피트시킴)에 의해, 입술 후보 영역으로부터 입술같은 위치에 있는 화소만을 입술영역으로서 특정할 수 있다. 또한, 조명 조건 등에 의해, 입술의 일부가 입술의 대표색에 유사하지 않은 경우에도, 입술형상의 모델을 입술 후보 영역에 적합시킨 경우에 입술형상의 모델에 포함되는 화소를, 입술영역으로서 특정할 수 있다. 따라서, 촬영시에 희게 빛나거나 하여 색상·채도의 정보가 잃어버려진 입술의 영역도, 정확하게 입술영역으로서 특정할 수 있다.

이와 같이, 본 실시 형태의 화상 처리 장치(6)에 의하면, 악조건하에서 촬영된 화상에 대해서도, 정확하게 입술의 대표색을 특정하고, 입술영역을 특정할 수 있다.

[실시 형태 2]

본 실시 형태에서는, 보정 처리로서 치아 화이트닝 보정을 행하는 경우에 관해 설명한다. 또한, 설명의 편의상, 실시 형태 1에서 설명한 도면과 같은 기능을 갖는 부재·구성에 관해서는, 같은 부호를 부기하고, 그 상세한 설명을 생략한다. 이하, 본 실시 형태에 관해, 도면을 참조하여 상세히 설명한다.

<디지털 카메라의 구성>

도 28은, 본 실시의 형태에 관한 디지털 카메라(30)의 개략 구성을 도시하는 블록도이다. 디지털 카메라(30)는, 지시 입력 장치(2), 촬상 장치(3), 화상 기억 장치(4), 표시 장치(5), 및 화상 처리 장치(31)를 구비한다.

<화상 처리 장치의 구성>

화상 처리 장치(31)는, 실시 형태 1의 화상 처리 장치(6)의 구성에 더하여, 입내부영역 특정부(32), 치아후보색 특정부(33), 및 치아대표색 특정부(34)를 구비한다.

입내부영역 특정부(32)는, 입술영역 특정부(20)로부터 입술영역을 나타내는 정보를 수취하고, 입술영역 특정부(20)가 특정한 윗입술영역 및 아랫입술영역의 사이의 영역을, 입내부영역으로서 특정한다. 입술영역 특정부(20)가, 상하의 입술의 영역을 정확하게 특정함으로써, 입화상의 중의 치아를 포함하는 입 내부의 영역을 특정할 수 있다. 또한, 상하의 입술영역의 사이에 공간이 없는 경우, 치아 화이트닝 보정은 행하지 않는다. 입내부영역 특정부(32)는, 특정한 입내부영역을 나타내는 정보를 치아후보색 특정부(33)에 출력한다.

치아후보색 특정부(33)는, 입내부영역을 나타내는 정보, 및 평활화부(16)로부터 수취한 평활화된 입화상에 의거하여, 치아의 색의 후보가 되는 복수의 치아후보색을 특정한다. 치아후보색 특정부(33)는, 입화상의 입내부영역에 포함되는 복수의 영역에서 각 영역의 대표색을 특정하고, 치아후보색으로 한다. 예를 들면, 치아후보색 특정부(33)는, 도 3에 도시하는 바와 같이 입화상을 복수의 영역으로 분할한다. 그 중, 입내부영역에 포함되는 각 영역의 대표색(평균색 또는 중앙치 또는 최빈치의 색 등)을, 치아의 색의 복수의 후보색(치아후보색)으로서 특정한다. 이와 같이 하여 분할된 영역의 적어도 하나는, 주로 치아를 포함하는 영역이라고 생각된다. 따라서, 복수의 치아후보색의 중에는, 치아의 색의 대표색으로서 적합한 색이 있다고 기대된다. 단, 각 영역의 설정(분할) 방법은 상기로 한하지 않는다. 분할된 복수의 영역의 크기에 제한은 없고, 각 화소를 복수의 영역으로 하여도 좋다. 또한, 화상의 노이즈 등을 배제하여 치아후보색을 특정하기 위해, 치아후보색 특정부(33)는, 평활화된 입화상을 이용하여 치아후보색을 특정한다. 그러나, 이것으로 한하지 않고, 치아후보색 특정부(33)는, 평활화되지 않은 입화상을 이용하여 치아후보색을 특정하여도 좋다. 또한, 치아후보색 특정부(33)는, 분할된 영역의 색의 분산도를, 대응하는 치아후보색의 분산도로서 구한다. 치아후보색 특정부(33)는, 복수의 치아후보색 및 치아후보색의 분산도를 치아대표색 특정부(34)에 출력한다. 또한, 치아후보색 특정부(33)는, 치아후보색의 분산도를 화상 보정부(21)에 출력한다.

치아대표색 특정부(34)는, 복수의 치아후보색의 중에서 치아의 색의 정도가 큰 치아의 대표색을 특정한다. 구체적으로는, 치아대표색 특정부(34)는, 채도가 가장 작은 치아후보색을, 치아의 대표색으로서 특정한다. 치아대표색 특정부(34)는, 치아의 대표색을 화상 보정부(21)에 출력한다.

화상 보정부(21)는, 보정 처리의 지시, 정규화된 입화상, 평활화된 입화상, 입술의 대표색 및 치아의 대표색에 의거하여, 입화상에서의 외관의 보정을 행하고, 보정된 입화상을 생성한다. 입화상의 보정의 방법은 후술한다. 화상 보정부(21)는, 보정된 입화상을 합성부(22)에 출력한다.

<화상 처리 플로>

이하에, 디지털 카메라(30)에서의 화상 보정 처리의 흐름에 관해 설명한다. 또한, 입술영역을 특정하기 까지의 처리(도 5에 도시하는 처리)는, 실시 형태 1과 마찬가지이다.

도 29는, 화상 처리 장치(31)에서의 입 속 영역 특정 처리 및 보정 처리(이 화이트닝 처리)의 흐름을 도시하는 플로 차트이다. 화상 처리 장치(31)는, 치아의 영역의 휘도를 크게 함에 의해, 화상의 중의 치아를 희게 빛나보이도록 보정한다.

우선, 입내부영역 특정부(32)는, 입술영역 특정부(20)가 특정한 윗입술영역 및 아랫입술영역의 사이의 영역을, 입내부영역으로서 특정한다(S31). 구체적으로는, 도 16에 도시하는 상하의 입술영역에 끼여지는 영역을, 입내부영역으로 한다. 입화상의 입내부영역에, 치아의 영역이 포함되어 있다고 생각된다.

치아후보색 특정부(33)는, 입화상의 입내부영역의 적어도 일부를, 복수의 영역으로 분할하고, 분할된 각 영역의 대표색을, 치아의 색의 복수의 후보색(치아후보색)으로서 특정한다(S32). 여기서는, 각 영역에 관해, 그 영역의 평균색을, 치아후보색으로 한다.

치아대표색 특정부(34)는, 각 치아후보색의 채도를 비교하고, 가장 채도가 작은 치아후보색을 치아의 대표색으로서 특정한다(S33).

화상 보정부(21)는, 입내부영역의 각 화소 위치에 대해, 치아의 화상 보정을 행하기 위한 무게(보정 무게(Wh))를 구한다(S34). 예를 들면, 입내부영역의 입끝점에 가까운 영역은, 입의 내부에서 그늘로 되어 있는 일이 많다고 생각된다. 그 때문에, 치아를 하얗게 하는 보정 처리는, 입내부영역의 수평 방향의 중앙 부근에 관해보다 중점적으로 행하면 좋다. 이에 의해, 자연스러운 외관의 화상 보정을 행한다.

구체적으로는, 화상 보정부(21)는, 입내부영역의 수평 방향의 중심 위치일수록 무게가 크고, 입내부영역의 수평 방향의 외측(입끝점측)일수록 무게가 작아지도록 보정 무게(Wh)를 설정한다. 예를 들면, 입내부영역의 수평 방향의 중심 위치에서는, 보정 무게가 1이 되고, 입내부영역의 수평 방향의 외측의 끝에서는, 보정 무게가 0이 되도록 한다. 그 사이에서의 보정 무게는, 예를 들면 선형으로 변화시켜도 좋다. 도 30은, 도 16에 대응하고, 입내부영역 및 입내부영역의 보정 무게(Wh)를 도시하는 화상이다. 밝은 개소는 보정 무게(Wh)가 큰 것을 나타낸다.

화상 보정부(21)는, 입내부영역의 각 화소에 관해, 치아의 대표색과의 유사도를 구한다(S35). 구체적으로는, 화상 보정부(21)는, 각 화소의 색과 치아의 대표색과의 색공간에서의 거리에 응한 치아색 유사도(Wi)를 구한다.

색공간에서의 거리에 응한 치아색 유사도(Wi)는, 다음의 식으로 구할 수 있다.

[수식 10]

여기서, Yt, Cbt, Crt는, 각각 치아의 대표색의 휘도 Y성분, Cb성분, Cr성분이고, Y, Cb, Cr는, 각각 각 화소의 색의 Y성분, Cb성분, Cr성분이다. 또한, σyt, σbt, σrt는, 각각 색공간의 Y축에서의 치아의 색의 표준편차, Cb축에서의 치아의 색의 표준편차, Cr축에서의 치아의 색의 표준편차이다. 치아의 색의 표준편차는, 치아의 대표색(최종적으로 치아의 대표색으로서 특정된 치아후보색)에 대응하는 영역(치아후보색 특정부(33)가 분할한 영역)의 각 화소의 색으로부터 구할 수 있다. 또한, 어두운 화소는 치아의 영역이 새하얀 화소와 마찬가지로, 색상 및 채도가 작아진다. 그 때문에, 치아색 유사도(Wi)를 구할 때에 휘도(Y)를 고려하여, 어두운 화소는 치아색 유사도(Wi)가 낮아지도록 하고 있다. 도 31은, 도 2의 (b)에 대응하고, 입화상의 각 화소의 색을 식(10)에 적용시켜서 치아색 유사도(Wi)를 계산한 결과를 도시하는 화상이다. 밝은 개소는 치아색 유사도(Wi)가 크고, 어두운 개소는 치아색 유사도(Wi)가 작은 것을 나타낸다. 이에 의하면, 치아의 영역은 치아색 유사도(Wi)가 큰 것을 알 수 있다. 입내부영역의 치아 이외의 영역, 즉, 잇몸이나 입의 속, 및 혀 등은, 치아색 유사도(Wi)가 작게 되어 있다.

자연스러운 외관의 치아 광택 보정을 행하기 위해, 이하의 처리에서는, 치아 영역의 화소의 휘도를 가산하기 위한 치아 광택 화상을 준비한다.

화상 보정부(21)는, 입내부영역에 관해, 입내부영역의 보정 무게(Wh), 치아색 유사도(Wi), 제1의 입술색 유사도(We), 및 제2의 입술색 유사도(Wf)에 의거하여, 치아 광택 화상을 생성한다(S36). 구체적으로는, 각 화소에 관해, 입내부영역의 보정 무게(Wh) 및 치아색 유사도(Wi)의 곱을 취한 것에, (1-We) 및 (1-Wf)를 곱하고, 또한 소정의 보정도(예를 들면 20)를 곱한 화상을, 치아 광택 화상으로서 생성한다.

도 32는, 도 12의 (b)에 대응하고, 각 화소의 (1-We)의 값을 도시하는 화상이다. 도 33은, 도 13의 (b)에 대응하고, 각 화소의 (1-Wf)의 값을 도시하는 화상이다. 도 34는, 도 31에 대응하고, 치아 광택 화상을 도시하는 화상이다. 밝은 개소는 값이 큰 것을 나타낸다. 또한, 입내부영역의 보정 무게(Wh), 치아색 유사도(Wi), 제1의 입술색 유사도(We), 및 제2의 입술색 유사도(Wf)는, 0부터 1의 값을 취한다. 예를 들면 보정도가 20인 경우, 치아 광택 화상의 각 화소는, 0부터 20의 값을 취한다. 치아 광택 화상의 각 화소의 값이, 입화상을 보정할 때의 휘도의 보정치가 된다. 또한, 입내부영역의 보정 무게(Wh)와 치아색 유사도(Wi)와의 곱을 취함에 의해, 입내부영역의 치아인 영역의 수평 방향 중앙 부근의 보정의 무게를 크게할 수 있다.

화상에서의 입이 열려 있는데도 치아가 보이지 않는 경우에, 혀 등의 색을 치아의 대표색으로 특정하여 버리는 일이 있다. 혀의 색은 입술의 색에 비교적 유사하여 있다고 생각된다. 이와 같은 경우에, 혀의 색을 밝게 보정하는 일이 없도록, (1-We) 및 (1-Wf)를 고려함에 의해, 입술에 유사한 색상·채도의 영역(예를 들면 혀)을 보정하지 않도록 할 수 있다.

화상 보정부(21)는, 각 화소의 휘도치에 관해, 도 2의 (a)에 도시하는 정규화된 입화상, 및 도 34에 도시하는 치아 광택 화상을 합성하고, 보정된 입화상을 생성한다(S37). 구체적으로는, 화상 보정부(21)는, 각 화소에 관해, 정규화된 입화상(도 2의 (a))의 휘도치와, 치아 광택 화상(도 34)의 휘도치와의 합을, 보정된 입화상의 휘도치로 한다. 또한, 가산의 결과의 휘도치가 최대휘도 255를 넘을 때는, 그 화소의 휘도치를 255로 한다.

합성부(22)는, 보정된 입화상을 처리 대상의 화상(얼굴화상)에 합성한다. 이후의 처리는 실시 형태 1과 마찬가지이다.

도 26의 (a)와 도 26의 (b)를 비교하면, 도 26의 (b)에 도시하는 보정 후의 얼굴화상의 일부를 도시하는 화상에서는, 치아의 특히 수평 방향의 중앙의 영역의 휘도가 올라 있음을 알 수 있다.

<본 실시 형태의 장점>

본 실시 형태의 화상 처리 장치(31)에 의하면, 입술영역에 의거하여, 입내부영역을 정확하게 특정할 수 있다. 그리고, 입내부영역의 중의 치아인 정도가 큰 영역에 대해 보정 처리를 행함으로써, 화상의 중의 인물의 치아에, 적절한 보정 처리를 시행할 수 있다.

또한, 도 34에 도시하는 치아 광택 화상에서, 밝은 개소는 치아인 정도가 큰 부분을 나타내고 있다. 그 때문에, 치아 광택 화상은, 치아의 영역을 나타내고 있다고 말할 수 있다. 이와 같이, 본 실시 형태에 의하면, 정확하게 치아의 영역을 특정할 수 있다.

[다른 변형례]

본 발명에 관한 화상 처리 장치는, 인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 장치로서, 상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정부와, 상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정부와, 상기 피부의 대표색과 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정부를 구비한다.

본 발명에 관한 화상 처리 방법은, 인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 방법으로서, 상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정 스텝과, 상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정 스텝과, 상기 피부의 대표색과, 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정 스텝을 구비한다.

상기한 구성에 의하면, 입술과 피부를 포함하는 얼굴화상의 색상 및 채도에서의 차에 의거하여, 후보색의 중에서 입술의 대표색을 특정한다. 따라서, 다양한 색일 수 있는 입술의 대표색을, 피부의 색과는 구별하여, 정확하게 특정할 수 있다. 여기서, 색상 및 채도에서의 차란, 2개의 색의 색상채도평면에서의 차이를 가리키고, 색상의 차이, 채도의 차이, 및, 색상채도평면에서의 거리 등이 포함된다.

또한, 상기 입술대표색 특정부는, 상기 피부의 대표색과 각 후보색과의, 휘도 또는 명도를 제외한, 색상 및 채도에서의 차에 응하여, 상기 입술의 대표색을 특정하여도 좋다.

조명 조건 등이 나쁜 경우(입술의 주변에 부분적으로 그늘이 생기는 경우, 또는 조명이 너무 강한 경우 등)는, 종래와 같이 휘도에 의거하여 입술의 영역 및 입술의 색을 특정하면, 오검출이 많아지고, 정확하게 입술의 영역 및 입술의 색을 특정할 수가 없는 일이 있다.

상기한 구성에 의하면, 휘도 또는 명도의 정보를 이용하지 않고, 색상 및 채도에서의 차에 응하여, 상기 입술의 대표색을 특정한다. 그 때문에, 그늘, 조명 또는 화장 등에 의해, 화상에서의 피부와 입술이 같은 색상인 경우에도, 또한, 화상에서의 피부의 색이 장소에 의해 크게 다른 경우에도, 피부와 입술을 정확하게 구별하여, 입술의 대표색을 정확하게 특정할 수 있다.

또한, 상기 입술대표색 특정부는, 색공간의 색상채도평면에서의 각 후보색과 상기 피부의 대표색과의 사이의 거리와, 각 후보색과 상기 피부의 대표색과의 색상의 차와, 각 후보색의 채도의 크기에 응하여, 상기 입술의 대표색을 특정하여도 좋다.

또한, 상기 입술대표색 특정부는, 각 후보색에 관해, 색공간의 색상채도평면에서의 그 후보색과 상기 피부의 대표색과의 사이의 거리에 응한 제1의 무게와, 그 후보색과 상기 피부의 대표색과의 색상의 차에 응한 제2의 무게와, 그 후보색의 채도의 크기에 응한 제3의 무게를 구하고, 상기 제1의 무게, 상기 제2의 무게, 및 상기 제3의 무게에 의거한 입술색도를 구하고, 상기 입술색도가 큰 상기 후보색을, 상기 입술의 대표색으로서 특정하는 구성이고, 상기 제1의 무게는, 색공간의 색상채도평면에서의 상기 후보색과 상기 피부의 대표색과의 사이의 거리가 클수록 무게가 커지고, 상기 제2의 무게는, 상기 후보색과 상기 피부의 대표색과의 색상의 차가 클수록 무게가 커지고, 상기 제3의 무게는, 상기 후보색의 채도가 클수록 무게가 커지고, 상기 입술색도는, 상기 제1의 무게, 상기 제2의 무게, 및 상기 제3의 무게에 응하여 커지는 것이라도 좋다.

상기한 구성에 의하면, 색상채도평면에서의 각 후보색과 상기 피부의 대표색과의 사이의 거리와, 각 후보색과 상기 피부의 대표색과의 색상의 차에 의해, 피부와 입술을 구별할 수 있다. 또한, 각 후보색의 채도의 크기에 의해, 치아와 입술을 구별할 수 있다. 따라서, 피부 또는 치아와 입술을 구별하여, 정확하게 입술의 대표색을 특정할 수 있다.

또한, 상기 입술대표색 특정부는, 각 후보색에 관해, 색공간의 색상채도평면에서의 그 후보색과 상기 피부의 대표색과의 사이의 거리에 응한 제1의 무게와, 그 후보색과 상기 피부의 대표색과의 색상의 차에 응한 제2의 무게와, 그 후보색의 채도의 크기에 응한 제3의 무게를 구하고, 상기 제1의 무게, 상기 제2의 무게, 및 상기 제3의 무게에 의거한 입술색도를 구하고, 상기 입술색도가 큰 상기 후보색을 제1의 선택 후보색으로서 선택하고, 상기 제1의 무게는, 색공간의 색상채도평면에서의 상기 후보색과 상기 피부의 대표색과의 사이의 거리가 클수록 무게가 커지고, 상기 제2의 무게는, 상기 후보색과 상기 피부의 대표색과의 색상의 차가 클수록 무게가 커지고, 상기 제3의 무게는, 상기 후보색의 채도가 클수록 무게가 커지고, 상기 입술색도는, 상기 제1의 무게, 상기 제2의 무게, 및 상기 제3의 무게에 응하여 커지는 것이고, 상기 입술대표색 특정부는, 상기 제1의 선택 후보색을 제외한 각 후보색에 관해, 색공간의 색상채도평면에서의 그 후보색과 상기 제1의 선택 후보색과의 사이의 거리에 응한 제4의 무게를 구하고, 상기 입술색도, 및 상기 제4의 무게에 의거한 후보 평가치를 구하고, 상기 제1의 선택 후보색을 제외한 각 후보색으로부터, 상기 후보 평가치가 큰 상기 후보색을 적어도 하나 제2의 선택 후보색으로서 선택하고, 상기 제4의 무게는, 색공간의 색상채도평면에서의 상기 후보색과 상기 제1의 선택 후보색과의 사이의 거리가 클수록 무게가 커지고, 상기 후보 평가치는, 상기 입술색도, 및 상기 제4의 무게에 응하여 커지는 것이고, 상기 입술대표색 특정부는, 제1의 선택 후보색 또는 제2의 선택 후보색으로서 선택된 상기 후보색 중, 채도가 가장 큰, 또는, 색상이 가장 소정의 색상에 가까운 상기 후보색을 상기 입술의 대표색으로서 특정하는 구성이라도 좋다.

상기한 구성에 의하면, 색상채도평면에서의 각 후보색과 상기 피부의 대표색과의 사이의 거리와, 각 후보색과 상기 피부의 대표색과의 색상의 차와, 각 후보색의 채도의 크기에 의해, 피부의 색과 차이가 큰 후보색을 제1의 선택 후보색으로서 선택한다. 또한, 제1의 선택 후보색을 제외한 각 후보색에 관해, 색상채도평면에서의 그 후보색과 상기 제1의 선택 후보색과의 사이의 거리에 응하여, 제1의 선택 후보색을 제외한 각 후보색으로부터, 제1의 선택 후보색과 차이가 큰 후보색을 제2의 선택 후보색으로서 선택한다. 그리고, 제1의 선택 후보색 또는 제2의 선택 후보색으로서 선택된 상기 후보색 중, 채도가 가장 큰, 또는, 색상이 가장 소정의 색상에 가까운 상기 후보색을 입술의 대표색으로서 특정한다.

따라서, 피부의 색과의 색상 및 채도에 의한 차에 응하여 복수의 후보색을 선택하고, 그 중으로부터 보다 입술의 색같은(예를 들면 채도가 큰, 또는, 색상이 적색에 가까운) 후보색을 입술의 대표색으로서 선택한다. 그 때문에, 피부와 입술의 색이 유사하여 있는 경우라도, 잘못하여 치아의 색을 입술의 대표색으로 하는 것을 막고, 피부 또는 치아와 입술을 구별하여, 보다 정확하게 입술의 대표색을 특정할 수 있다.

또한, 상기 화상 처리 장치는, 상기 입술의 대표색과의 색상 및 채도에서의 차에 응하여, 상기 입술의 대표색에 유사한 색을 갖는 영역을 제1의 입술영역으로서 특정하는 입술영역 특정부를 구비하는 구성이라도 좋다.

비교적 밝은 조명 환경하에서 촬영된 화상의 경우, 입술의 일부가 새하얗게 되는 일이 있고, 입술에 부분적으로 밝은 영역이 존재하기 때문에, 휘도를 이용하여 영역 판별을 하면 오검출을 하는 일이 있다.

상기한 구성에 의하면, 부분적으로 밝은 영역이라도, 색상을 고려함으로써 정확하게 입술영역으로 판정할 수 있다. 한편으로, 피부와 입술이 같은 색상이였던 경우에도, 상기한 구성에 의하면, 입술의 대표색과 각 영역(예를 들면 화소)의 색과의 색상채도평면에서의 거리를 고려함으로써, 정확하게 입술영역을 특정할 수 있다. 그 때문에, 특정된 입술의 대표색에 의거하여, 입술영역을 정확하게 특정할 수 있다.

또한, 상기 입술영역 특정부는, 색공간의 색상채도평면에서의 상기 입술의 대표색으로부터의 거리가 제1의 임계치 이하, 또한/또는, 상기 입술의 대표색과의 색상의 차가 제2의 임계치 이하인 색을 갖는 영역을 상기 제1의 입술영역으로서 특정하여도 좋다.

또한, 상기 입술영역 특정부는, 입술의 형상을 규정하는 소정의 입술형상 모델을, 상기 제1의 입술영역에 적합시키고, 적합시킨 상기 입술형상 모델이 나타내는 영역을, 제2의 입술영역으로서 특정하여도 좋다.

입술의 대표색에 유사한 영역인 제1의 입술영역은, 피부 또는 입의 중의 입술의 대표색에 유사하지만 입술이 아닌 화소(노이즈)를 포함할 가능성이 있다.

상기한 구성에 의하면, 입술의 대표색에 유사한 영역인 제1의 입술영역에 의거하여, 입술같은 입술의 형상을 규정한 입술형상 모델의 형상 및/또는 위치를 제1의 입술영역에 적합시킨다. 적합시킨 입술형상 모델이 나타내는 영역은, 상기 노이즈의 화소를 제외한, 입술같은 화소의 집합이 된다. 그 때문에, 보다 입술같은 위치에 있는 화소만을 (제2의) 입술영역으로서 특정할 수 있다. 또한, 촬영시에 희게 빛나거나 하여 색상·채도의 정보를 잃어버린 입술의 영역도, 정확하게 입술영역으로서 특정할 수 있다.

또한, 상기 입술영역 특정부는, 상기 제1의 입술영역에 의거하여, 복수의 수평 위치에 관해, 윗입술 또는 아랫입술의 종방향에서의 중심점을 특정하고, 각 중심점을 중심으로 하는 종방향의 소정의 폭의 영역을, 제2의 입술영역으로서 특정하여도 좋다.

상기한 구성에 의하면, 윗입술 또는 아랫입술의 종방향의 중심점을 특정하고, 각 중심점에 의거하여 보다 입술같은 영역을 제2의 입술의 영역으로서 특정할 수 있다.

(프로그램 및 기록 매체)

또한, 상기 화상 처리 장치는, 일부를 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 부로서 동작시킴에 의해 상기 화상 처리 장치를 컴퓨터에 실현시키는 제어 프로그램, 및 상기 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.

화상 처리 장치(6·31)의 각 블록, 특히 화상 취득부(11), 얼굴 검출부(12), 특징 검출부(13), 적부 판정부(14), 입화상 정규화부(15), 평활화부(16), 피부대표색 특정부(17), 후보색 특정부(18), 입술대표색 특정부(19), 입술영역 특정부(20), 화상 보정부(21), 합성부(22), 표시 제어부(23), 입내부영역 특정부(32), 치아후보색 특정부(33), 및 치아대표색 특정부(34)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU(central processing unit)를 이용하여 소프트웨어에 의해 실현하여도 좋다.

즉, 화상 처리 장치(6·31)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현한 소프트웨어인 화상 처리 장치(6·31)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터로 판독 가능하게 기록한 기록 매체를, 상기 화상 처리 장치(6·31)에 공급하고, 그 컴퓨터(또는 CPU나 MPU(microprocessor unit))가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD-R(CD Recordable) 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또한, 화상 처리 장치(6·31)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN(local area network), ISDN(integrated services digital network), VAN(value-added network), CATV(community antenna television) 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE(institute of electrical and electronic engineers)1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL(asynchronous digital subscriber loop) 회선 등의 유선이라도, IrDA(infrared data association)나 리모컨과 같은 적외선, Bluetooth(등록상표), 802. 11 무선, HDR(high data rate), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다.

본 발명은 상술한 각 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하고, 다른 실시 형태에 각각 개시된 기술적 수단을 적절히 조합시켜서 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포함된다.

산업상의 이용 가능성

본 발명은, 화상 처리 장치를 구비하는 디지털 카메라 등에 이용할 수 있다.

1, 30 : 디지털 카메라
2 : 지시 입력 장치
3 : 촬상 장치
4 : 화상 기억 장치
5 : 표시 장치
6, 31 : 화상 처리 장치
11 : 화상 취득부(지시 수령부)
12 : 얼굴 검출부
13 : 특징 검출부
14 : 적부 판정부
15 : 입화상 정규화부
16 : 평활화부
17 : 피부대표색 특정부
18 : 후보색 특정부
19 : 입술대표색 특정부
20 : 입술영역 특정부
21 : 화상 보정부
22 : 합성부
23 : 표시 제어부
32 : 입내부영역 특정부
33 : 치아후보색 특정부
34 : 치아대표색 특정부

Claims

인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 장치에 있어서,
상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정부와,
상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정부와,
상기 피부의 대표색과 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정부를 구비하고,
상기 입술대표색 특정부는, 색공간의 색상채도평면에서의 각 후보색과 상기 피부의 대표색과의 사이의 거리와, 각 후보색과 상기 피부의 대표색과의 색상의 차와, 각 후보색의 채도의 크기에 응하여, 상기 입술의 대표색을 특정하는 것을 특징으로 하는 화상 처리 장치.
인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 장치에 있어서,
상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정부와,
상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정부와,
상기 피부의 대표색과 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정부를 구비하고,
상기 입술대표색 특정부는, 각 후보색에 관해, 색공간의 색상채도평면에서의 그 후보색과 상기 피부의 대표색과의 사이의 거리에 응한 제1의 무게와, 그 후보색과 상기 피부의 대표색과의 색상의 차에 응한 제2의 무게와, 그 후보색의 채도의 크기에 응한 제3의 무게를 구하고, 상기 제1의 무게, 상기 제2의 무게, 및 상기 제3의 무게에 의거한 입술색도를 구하고,
상기 제1의 무게는, 색공간의 색상채도평면에서의 상기 후보색과 상기 피부의 대표색과의 사이의 거리가 클수록 무게가 커지고, 상기 제2의 무게는, 상기 후보색과 상기 피부의 대표색과의 색상의 차가 클수록 무게가 커지고, 상기 제3의 무게는, 상기 후보색의 채도가 클수록 무게가 커지고, 상기 입술색도는, 상기 제1의 무게, 상기 제2의 무게, 및 상기 제3의 무게에 응하여 커지는 것이고,
상기 입술대표색 특정부는, 상기 입술색도가 가장 큰 상기 후보색, 또는, 상기 입술색도가 가장 큰 쪽부터 소정 순위까지의 상기 후보색의 중에서 채도가 가장 큰 것을, 상기 입술의 대표색으로서 특정하는 것을 특징으로 하는 화상 처리 장치.
인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 장치에 있어서,
상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정부와,
상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정부와,
상기 피부의 대표색과 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정부를 구비하고,
상기 입술대표색 특정부는, 각 후보색에 관해, 색공간의 색상채도평면에서의 그 후보색과 상기 피부의 대표색과의 사이의 거리에 응한 제1의 무게와, 그 후보색과 상기 피부의 대표색과의 색상의 차에 응한 제2의 무게와, 그 후보색의 채도의 크기에 응한 제3의 무게를 구하고, 상기 제1의 무게, 상기 제2의 무게, 및 상기 제3의 무게에 의거한 입술색도를 구하고, 상기 입술색도가 가장 큰 상기 후보색을 제1의 선택 후보색으로서 선택하고,
상기 제1의 무게는, 색공간의 색상채도평면에서의 상기 후보색과 상기 피부의 대표색과의 사이의 거리가 클수록 무게가 커지고, 상기 제2의 무게는, 상기 후보색과 상기 피부의 대표색과의 색상의 차가 클수록 무게가 커지고, 상기 제3의 무게는, 상기 후보색의 채도가 클수록 무게가 커지고, 상기 입술색도는, 상기 제1의 무게, 상기 제2의 무게, 및 상기 제3의 무게에 응하여 커지는 것이고,
상기 입술대표색 특정부는, 상기 제1의 선택 후보색을 제외한 각 후보색에 관해, 색공간의 색상채도평면에서의 그 후보색과 상기 제1의 선택 후보색과의 사이의 거리에 응한 제4의 무게를 구하고, 상기 입술색도, 및 상기 제4의 무게에 의거한 후보 평가치를 구하고, 상기 제1의 선택 후보색을 제외한 각 후보색으로부터, 상기 후보 평가치가 가장 큰 쪽부터 소정의 순위까지의 상기 후보색을 제2의 선택 후보색으로서 선택하고,
상기 제4의 무게는, 색공간의 색상채도평면에서의 상기 후보색과 상기 제1의 선택 후보색과의 사이의 거리가 클수록 무게가 커지고, 상기 후보 평가치는, 상기 입술색도, 및 상기 제4의 무게에 응하여 커지는 것이고,
상기 입술대표색 특정부는, 제1의 선택 후보색 또는 제2의 선택 후보색으로서 선택된 상기 후보색 중, 채도가 가장 큰, 또는, 색상이 가장 소정의 색상에 가까운 상기 후보색을 상기 입술의 대표색으로서 특정하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 입술의 대표색과의 색상 및 채도에서의 차에 응하여, 상기 입술의 대표색에 유사한 색을 갖는 영역을 제1의 입술영역으로서 특정하는 입술영역 특정부를 구비하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,
상기 입술영역 특정부는, 색공간의 색상채도평면에서의 상기 입술의 대표색으로부터의 거리가 제1의 임계치 이하, 및 상기 입술의 대표색과의 색상의 차가 제2의 임계치 이하인 조건들 중 적어도 하나의 조건을 만족하는 색을 갖는 영역을 상기 제1의 입술영역으로서 특정하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,
상기 입술영역 특정부는, 입술의 형상을 규정하는 소정의 입술형상 모델을, 상기 제1의 입술영역에 적합시키고, 적합시킨 상기 입술형상 모델이 나타내는 영역을, 제2의 입술영역으로서 특정하는 것을 특징으로 하는 화상 처리 장치.
인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 장치에 있어서,
상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정부와,
상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정부와,
상기 피부의 대표색과 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정부와,
상기 입술의 대표색과의 색상 및 채도에서의 차에 응하여, 상기 입술의 대표색에 유사한 색을 갖는 영역을 제1의 입술영역으로서 특정하는 입술영역 특정부를 구비하고,
상기 입술영역 특정부는, 상기 제1의 입술영역에 의거하여, 복수의 수평 위치에 관해, 윗입술 또는 아랫입술의 종방향에서의 중심점을 특정하고, 각 중심점을 중심으로 하는 종방향의 소정의 폭의 영역을, 제2의 입술영역으로서 특정하는 것을 특징으로 하는 화상 처리 장치.
인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 방법에 있어서,
상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정 스텝과,
상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정 스텝과,
상기 피부의 대표색과, 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정 스텝을 구비하고,
상기 입술대표색 특정 스텝은, 색공간의 색상채도평면에서의 각 후보색과 상기 피부의 대표색과의 사이의 거리와, 각 후보색과 상기 피부의 대표색과의 색상의 차와, 각 후보색의 채도의 크기에 응하여, 상기 입술의 대표색을 특정하는 것을 특징으로 하는 화상 처리 방법.
인물의 입을 포함하는 얼굴화상으로부터 입술의 특징을 특정하는 화상 처리 장치의 제어 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서,
상기 얼굴화상의 피부의 대표색을 특정하는 피부대표색 특정 스텝과,
상기 얼굴화상에서, 적어도 어느 하나의 영역이 입술의 일부를 포함하도록 복수의 영역을 설정하고, 각 영역의 대표색을 후보색으로서 특정하는 후보색 특정 스텝과,
상기 피부의 대표색과, 각 후보색과의 색상 및 채도에서의 차에 응하여, 상기 복수의 후보색으로부터 입술의 대표색을 특정하는 입술대표색 특정 스텝을 컴퓨터에 실행시키고,
상기 입술대표색 특정 스텝은, 색공간의 색상채도평면에서의 각 후보색과 상기 피부의 대표색과의 사이의 거리와, 각 후보색과 상기 피부의 대표색과의 색상의 차와, 각 후보색의 채도의 크기에 응하여, 상기 입술의 대표색을 특정하는 것을 특징으로 하는 제어 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
삭제
삭제