KR20130100314A

KR20130100314A - 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기록 매체

Info

Publication number: KR20130100314A
Application number: KR1020137009838A
Authority: KR
Inventors: 히로마츠 아오키
Original assignee: 오므론 가부시키가이샤
Priority date: 2010-10-29
Filing date: 2011-03-17
Publication date: 2013-09-10
Also published as: EP2615577A4; EP2615577A1; JP2012095730A; CN103180873B; CN103180873A; US9679397B2; US20130271484A1; KR101455950B1; WO2012056744A1; EP2615577B1; JP4760999B1

Abstract

다양한 조건의 얼굴화상에 대해 적절하게 메이크업 처리를 행할 수 있는 화상 처리 장치 및 화상 처리 방법을 실현하는 것을 목적으로 하고, 본 발명에 관한 화상 처리 장치(6)는, 얼굴화상의 피부에, 지정된 색의 메이크업을 합성하는 처리를 행하는 것으로서, 얼굴화상에서의 메이크업을 합성하는 좌우의 메이크업 영역에 관해, 합성 후의 좌우의 메이크업 영역의 색의 차가 작아지도록, 얼굴화상에서의 왼쪽의 메이크업 영역의 대표색과 오른쪽 메이크업 영역의 대표색의 차를 이용하여, 메이크업 색을 보정하여 왼쪽용 메이크업색 및 오른쪽용 메이크업 색을 결정하는 색 보정부(16)와, 얼굴화상의 좌우의 메이크업 영역의 피부의 색에, 각각 왼쪽용 메이크업색 및 오른쪽용 메이크업 색을 겹침에 의해 메이크업을 합성하는 착색부(17)를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 및 제어 프로그램{IMAGE-PROCESSING DEVICE, IMAGE-PROCESSING METHOD, AND CONTROL PROGRAM}

본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것으로, 특히 얼굴화상의 보정을 행하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

종래로부터, 화장품을 이용자의 얼굴에 바른 때에 어떻게 보이는지를 시뮬레이트하기 위해, 얼굴화상에 가상적으로 메이크업을 시행하는 기술이 알려져 있다.

특허 문헌 1은, 촬상한 이용자의 얼굴화상에 볼연지(頰紅)를 도포하는 볼연지 메이크업 시뮬레이션 기술을 개시하고 있다. 특허 문헌 2는, 촬상한 이용자의 얼굴화상에 아이섀도 및 아이라인을 그리는 눈매(目元) 메이크업 시뮬레이션 기술을 개시하고 있다. 이들의 기술에 의하면, 이용자의 얼굴화상의 색에 볼연지 또는 아이섀도 등의 색을 겹처서 도포하기 때문에, 이용자의 피부의 색에 응한 메이크업을 시행할 수 있다.

특허 문헌 1 : 일본국 공개특허공보 「특개2000-279228호 공보(공개일 : 2000년 10월 10일)」 특허 문헌 2 : 일본국 공개특허공보「특개2000-285222호 공보(공개일 : 2000년 10월 13일 공개)」

그러나, 상기 종래의 구성에서는, 하기한 문제가 생긴다.

특허 문헌 1 및 특허 문헌 2에 기재된 기술은, 메이크업 시뮬레이션을 행하기 위해 최적의 얼굴화상을 준비하는 것을 전제로 하고 있다. 구체적으로는, 상기 종래의 기술은, 눈이나 볼의 주변이 다른 물체로 은폐되어 있지 않고, 얼굴의 전면(全面)에 균일한 광이 닿고 있는, 무표정한 정면(正面)의 얼굴화상을 이용하는 것을 전제로 하고 있다. 그 때문에, 예를 들면, 화장품 판매점에서, 우선 고객(이용자)에게 카메라를 향하여 앉게 하고, 앞머리를 올리는, 안경을 벗는 등의 준비를 하게 한다. 그 후, 균일하게 조사되도록 배치된 조명의 아래에서, 판매원이 고객의 최적의 얼굴화상을 촬상하고, 무표정한 정면의 얼굴화상을 메이크업 시뮬레이터에 입력한다는 일이 행하여진다. 메이크업 시뮬레이션에 실패한 경우는, 상기한 과정을 반복한다는 일이 행하여진다. 그 때문에, 이용자는, 메이크업 시뮬레이션을 행하기 위해 화장품 판매점으로 갈 필요가 있고, 또한 판매원의 보조도 필요로 한다. 그 때문에, 이용자가 메이크업 시뮬레이션을 부담 없이 시도할 수가 없다. 또한, 특허 문헌 1 및 특허 문헌 2에 기재된 기술에서는, 평소 그대로의 상태, 즉 앞머리를 내린 상태 또는 안경을 쓴 상태에서의 메이크업 시뮬레이션을 행할 수가 없다.

또한, 예를 들면 특허 문헌 1 및 특허 문헌 2에 기재된 기술을, 디지털 카메라 또는 카메라 부착 휴대 전화 등에 적용하고, 촬상된 얼굴화상에 메이크업을 시행하는 소프트웨어를 실현할 수도 있다. 또한, 퍼스널 컴퓨터 또는 인터넷상의 서버에서 동작하는 메이크업 시뮬레이터로서 적용하는 것도 생각된다. 이 경우는, 판매원에게 메이크업 시뮬레이션을 의뢰하는 것은 필요없다.

그러나, 특허 문헌 1 및 특허 문헌 2에 기재된 기술에서는, 메이크업 시뮬레이션에 최적의 화상, 즉, 눈이나 볼의 주변이 다른 물체로 은폐되어 있지 않고, 얼굴의 전면에 균일한 광이 닿고 있는, 무표정한 정면의 얼굴화상을, 이용자 스스로가 준비할 필요가 있다. 만약, 디지털 카메라 또는 카메라 부착 휴대 전화에 의해 촬영한 스냅 사진(예를 들면, 스냅 셧의, 자연스러운 상태를 찍은 사진)을 이용하여, 종래의 기술에 의한 메이크업 시뮬레이션을 행하는 경우, 이하와 같은 문제가 생긴다.

첫번째로, 스냅 사진에는, 방향이 정면이 아닌 얼굴, 또는 고의로 비뚤어진 표정을 한 얼굴 등, 원래 메이크업 시뮬레이션을 행하는 것이 곤란한 얼굴화상이 포함되어 있는 것이 적지 않다. 그와 같은 얼굴화상에 대해, 종래의 기술에 의한 메이크업 시뮬레이션을 행하면, 의도하는 바의 보정을 행할 수가 없어서, 부자연스러운 결과가 생겨 버린다.

두번째로, 스냅 사진에 찍힌 얼굴 방향이 정면에 가까운 경우라도, 안경을 쓰고 있는, 또는 머리카락이 눈의 가까이에 걸처저 있는 등, 메이크업하여야 할 영역의 일부 또는 전부가 다른 물체로 덮이여 있는 것은 자주 있는 것이다. 그와 같은 얼굴화상에 대해, 종래의 기술에 의한 메이크업 시뮬레이션을 행하면, 메이크업하여야 할 영역에 겹쳐진 다른 물체에 대해 메이크업을 시행한 결과가 얻어진다는 문제가 생긴다.

또한, 메이크업하여야 할 영역 부근에 안경 또는 머리카락 등이 없었다고 하여도, 종래의 기술에서는, 얼굴의 특징점 또는 눈의 윤곽 등을 올바르게 추출할 수 없었던 경우, 눈에 아이섀도가 들어가는 등, 의도하지 않은 부분에 메이크업을 시행한 결과가 얻어진다는 문제가 생긴다.

또한, 스냅 사진 등에서는, 얼굴에 균일하게 광이 닿지 않는 것도 적지 않고, 얼굴의 좌우의 한편의 측이 밝고, 반대측이 어둡게 되어 있는 것도 자주 있는 것이다. 그와 같은 얼굴화상에 대해, 종래의 기술에 의한 메이크업 시뮬레이션을 행하면, 적용하는 메이크업의 색(화장품의 색)에 의해서는, 부자연스럽게 보이는 결과가 생긴다. 예를 들면, 종래의 기술에 의해 아이섀도(또는 볼연지)의 색과 피부의 색을 에어브러시 처리 등에 의해 합성하여 얻어진 색(메이크업 후의 색)의 좌우의 차는, 원래의 좌우의 피부의 색의 차에 대해 부자연스럽게 보이는 일이 있다. 이 문제는, 특히 원래의 좌우의 피부의 색의 밝기의 차이가 일견 알기 어려운 경우에 현저하다.

본 발명은, 상기한 문제점을 감안하여 이루어진 것이고, 그 목적은, 폭넓은 조건의 얼굴화상에 대해 적절하게 메이크업 처리를 행할 수 있는 화상 처리 장치 및 화상 처리 방법을 실현하는 것에 있다.

본 발명에 관한 화상 처리 장치는, 인물 화상의 피부에, 어느 색의 모양을 착색하는 처리를 행하는 화상 처리 장치로서, 상기한 과제를 해결하기 위해, 상기 인물 화상에서의 상기 모양을 착색하는 복수의 영역에 관해, 각각의 영역에 적용하는 상기 모양의 색을 다르게 할 수 있도록 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 색 보정부와, 상기 인물 화상의 각 영역의 색에, 각각의 상기 영역용 색을 겹침에 의해 상기 모양을 착색하는 착색부를 구비하고, 상기 색 보정부는, 착색 후의 각 영역의 색의 차가 작아지도록, 상기 인물 화상에서의 각 영역의 대표색의 차이를 이용하여, 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 것을 특징으로 하고 있다.

본 발명에 관한 화상 처리 방법은, 인물 화상의 피부에, 어느 색의 모양을 착색하는 처리를 행하는 화상 처리 방법으로서, 상기한 과제를 해결하기 위해, 상기 인물 화상에서의 상기 모양을 착색하는 복수의 영역에 관해, 각각의 영역에 적용하는 상기 모양의 색을 다르게 할 수 있도록 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 색 보정 스텝과, 상기 인물 화상의 각 영역의 색에, 각각의 상기 영역용 색을 겹침에 의해 상기 모양을 착색하는 착색 스텝을 포함하고, 상기 색 보정 스텝에서는, 착색 후의 각 영역의 색의 차가 작아지도록, 상기 인물 화상에서의 각 영역의 대표색의 차이를 이용하여, 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 것을 특징으로 하고 있다.

촬상시의 조명 등의 영향에 의해, 인물 화상의 피부의 모양을 착색하여야 할 복수의 영역 중의 제1영역과 제2영역은, 음영이 생겨서 밝기가 크게 다른 것이 있다. 그와 같은 인물 화상에 대해 제1영역 및 제2영역에 같은 색을 이용하여 착색하면, 원래의 피부의 색이 반영되어 착색 후의 제1영역 및 제2영역의 모양의 색이 크게 다르도록 보여 버린다.

상기한 구성에 의하면, 인물 화상의 제1영역의 대표색과 제2영역의 대표색의 차에 응하여, 착색 후의 제1영역 및 제2영역의 색의 차가 작아지도록, 모양의 색을 보정하여 제1영역용 색 및 제2영역용 색을 결정하고, 상기 인물 화상의 제1영역 및 제2영역의 색에, 각각 제1영역용 색 및 제2영역용 색을 겹침에 의해 상기 모양을 착색한다. 따라서, 인물 화상의 피부의 제1영역의 색과 제2영역의 색이 크게 다른 경우에도, 착색 후의 제1영역 및 제2영역의 모양의 색의 차를 작게 할 수 있다. 그 때문에, 자연스러운 외관이 되도록 인물 화상의 피부에 모양(예를 들면 메이크업)을 착색할 수 있다. 그 때문에, 예를 들면 이용자가, 균일하게 조명을 닿게 한 화상을 준비하지 않더라도, 폭넓은 조건으로 찍힌 화상을 이용하여 메이크업 시뮬레이션을 행할 수가 있다.

이상과 같이, 본 발명에 의하면, 인물 화상의 피부의 제1영역의 색과 제2영역의 색이 크게 다른 경우에도, 착색 후의 제1영역 및 제2영역의 모양의 색의 차를 작게 할 수 있다. 그 때문에, 자연스러운 외관이 되도록 인물 화상의 피부에 모양을 착색할 수 있다. 그 때문에, 폭넓은 조건으로 찍힌 화상을 이용하여 메이크업 시뮬레이션을 행할 수가 있다.

본 발명의 또 다른 목적, 특징, 및 우수한 점은, 이하에 나타내는 기재에 의해 충분히 알 수 있을 것이다. 또한, 본 발명의 이익은, 첨부 도면을 참조한 다음의 설명으로 명백하게 될 것이다.

도 1은 본 발명의 한 실시의 형태에 관한 디지털 카메라의 개략 구성을 도시하는 블록도.
도 2는 윗눈꺼풀용 아이라인의 기본 형상의 한 예를 도시하는 화상.
도 3은 아랫눈꺼풀용 아이라인의 기본 형상의 한 예를 도시하는 화상.
도 4는 아이섀도의 기본 형상의 한 예를 도시하는 화상.
도 5는 볼연지의 기본 형상의 한 예를 도시하는 화상.
도 6은 형상의 조정을 행한 후의 메이크업 형상을 도시하는 화상.
도 7은 상기 디지털 카메라가 구비하는 화상 처리 장치에서의 메이크업 처리의 흐름을 도시하는 플로 차트.
도 8은 눈의 메이크업 처리에 사용하는 무게 분포를 산출하는 처리의 상세한 흐름을 도시하는 플로 차트.
도 9는 화상에 관해 구한 피부색도(Ds)의 예를 도시하는 화상.
도 10은 도 9에 대응하는, 눈의 마스크의 예를 도시하는 화상.
도 11은 도 9에 대응하는, 피부색도(Ds)와 마스크와의 곱을 도시하는 화상.
도 12는 도 6에 대응하는, 무게 분포를 도시하는 화상.
도 13은 볼의 메이크업 처리에 사용하는 무게 분포를 산출하는 처리의 상세한 흐름을 도시하는 플로 차트.
도 14는 보정된 메이크업색과 얼굴화상의 대응하는 픽셀값과의 색공간에서의 관계를 도시하는 도면.

본 실시의 형태에서는, 주로, 디지털 카메라에 탑재되고, 촬상된 화상에 포함되는 얼굴화상에 대해 메이크업 처리를 행하는 화상 처리 장치에 관해 설명하지만, 본 발명은 이것으로 한정되는 것이 아니다. 이하, 본 실시의 형태에 관해, 도 1 내지 도 14를 참조하여 상세히 설명한다.

<디지털 카메라의 구성>

도 1은, 본 실시의 형태에 관한 디지털 카메라(1)의 개략 구성을 도시하는 블록도이다. 디지털 카메라(1)는, 지시 입력 장치(2), 촬상 장치(3), 화상 기억 장치(4), 표시 장치(5), 및 화상 처리 장치(6)를 구비한다.

지시 입력 장치(2)는, 버튼, 키 또는 터치 패널 등의 입력 장치를 구비하고, 이용자로부터 촬상의 지시를 접수하고, 촬상 장치(3)에 촬상의 지시를 출력한다. 또한, 지시 입력 장치(2)는, 이용자로부터 메이크업 처리의 지시를 접수하고, 화상 처리 장치(6)에 메이크업 처리의 지시를 출력한다.

촬상 장치(3)는, 예를 들면, CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 촬상 소자 등의 촬상 소자를 구비한다. 촬상 장치(3)는, 촬상의 지시에 응하여 촬상하고, 촬상한 화상(화상 데이터)을 화상 기억 장치(4)에 출력한다.

화상 기억 장치(4)는, 각종의 정보를 기억하는 것이고, 예를 들면 HDD(Hard Disk Drive), 또는 플래시 메모리 등의 기억 디바이스를 구비한다. 화상 기억 장치(4)는, 촬상 장치(3)로부터 수취한 화상을 기억하여 보존하여 둔다.

표시 장치(5)는, 디스플레이를 구비하고, 입력된 화상을 표시하여 이용자에게 제시한다. 또한, 표시 장치(5)는, 화상 처리 장치(6)로부터 메이크업 처리가 끝난 화상을 수취하고, 메이크업 처리가 끝난 화상을 표시한다.

<화상 처리 장치의 구성>

화상 처리 장치(6)는, 화상 취득부(11), 얼굴 검출부(12), 특징 검출부(검출부)(13), 적부 판정부(14), 메이크업 형상 결정부(15), 색 보정부(16), 합성부(착색부)(17), 및 표시 제어부(18)를 구비한다.

화상 취득부(11)는, 지시 입력 장치(2)로부터 메이크업 처리의 지시를 수취한다. 메이크업 처리의 지시는, 처리 대상이 되는 화상을 나타내는 정보, 및, 어떤 메이크업(아이섀도 또는 볼연지, 그 형상, 및 색 등)을 행하는지를 나타내는 정보를 포함한다. 화상 취득부(11)는, 수취한 메이크업 처리의 지시에 의거하여, 화상 기억 장치(4)로부터 처리 대상의 화상을 취득한다. 또한, 화상 취득부(11)는, 촬상 장치(3)로부터 촬상된 화상을 직접 수취하여도 좋다. 화상 취득부(11)는, 취득한 처리 대상의 화상을 얼굴 검출부(12)에 출력한다. 또한, 화상 취득부(11)는, 메이크업 처리의 지시를 메이크업 형상 결정부(15)에 출력한다.

얼굴 검출부(12)는, 화상 취득부(11)로부터 수취한 화상 중에 포함되는 얼굴화상을 검출한다. 얼굴 검출부(12)는, 화상에 포함되는 얼굴화상을 검출하면, 얼굴화상의 위치를 특정한다. 얼굴화상의 위치는, 얼굴화상의 소정의 점의 좌표를 나타내여도 좋고, 얼굴화상의 영역을 나타내여도 좋다. 얼굴 검출부(12)는, 처리 대상의 화상과 얼굴화상의 위치를, 특징 검출부(13)에 출력한다. 또한, 얼굴 검출부(12)는, 처리 대상의 화상으로부터 복수의 얼굴화상을 검출하여도 좋다. 복수의 얼굴화상을 검출한 경우, 얼굴 검출부(12)는, 각 얼굴화상의 위치를 특정하고, 복수의 얼굴화상의 위치를 특징 검출부(13)에 출력하여도 좋다.

특징 검출부(13)는, 얼굴 검출부(12)로부터 수취한 처리 대상의 화상 및 얼굴화상의 위치로부터, 그 얼굴화상의 얼굴의 각 특징의 위치를 검출한다. 구체적으로는, 특징 검출부(13)는, 예를 들면 눈(눈시울(目頭), 눈초리(目尾), 윗눈꺼풀(上瞼) 윤곽점, 아랫눈꺼풀(下瞼) 윤곽점 등), 입(입끝점(口端)점, 입중심점 등), 및 코(코의 정점(頂點) 등) 등의 얼굴의 기관의 특징, 및 얼굴의 윤곽 등의 특징(특징점)을 검출하고, 그들의 위치를 특정한다. 특징의 위치는, 특징점의 좌표를 나타내여도 좋고, 특징을 포함하는 영역을 나타내여도 좋다. 각 특징의 검출은, 공지의 기술을 이용하여 행할 수 있다. 특징 검출부(13)는, 처리 대상의 화상과 얼굴화상의 위치와 검출한 얼굴의 특징의 위치를 적부(適否) 판정부(14)에 출력한다. 또한, 특징 검출부(13)는, 복수의 얼굴화상의 특징의 위치를 특정하고, 복수의 얼굴화상의 특징의 위치를 적부 판정부(14)에 출력하여도 좋다.

적부 판정부(14)는, 특징 검출부(13)로부터 수취한 처리 대상의 화상, 얼굴화상의 위치, 및 얼굴의 특징의 위치로부터, 그 얼굴화상이 메이크업 처리를 행하는데 적합한지의 여부를 판정한다. 예를 들면, 적부 판정부(14)는, 옆을 향한 얼굴화상 및 사진이 너무 작은 얼굴화상 등을, 부적으로서 판정한다. 구체적인 판정 방법은 후술한다. 또한, 처리 대상의 화상에 복수의 얼굴화상이 포함되어 있는 경우, 적부 판정부(14)는, 각 얼굴화상에 관해 메이크업 처리를 행하는 것의 적부를 판정하여도 좋고, 메이크업 처리를 행하는데 보다 적합한 소정수(예를 들면 하나)의 얼굴화상을 특정하여도 좋다. 적부 판정부(14)는, 처리 대상의 화상과, 처리 대상으로서 적절하다고 판정한 얼굴화상의 위치와, 그 얼굴의 특징의 위치를 메이크업 형상 결정부(15)에 출력한다.

메이크업 형상 결정부(15)는, 적부 판정부(14)로부터 수취한 처리 대상의 화상, 처리 대상의 얼굴화상의 위치, 및 그 얼굴의 특징의 위치와, 화상 취득부(11)로부터 수취한 메이크업 처리의 지시에 의거하여, 처리 대상의 얼굴화상에 대해 행하는 메이크업(모양)의 형상 및 그 농담의 분포를 결정한다. 본 실시의 형태에서는, 이용자에 의해 지정된 메이크업 색을, 산출한 무게 분포에 응하여, 원래의 얼굴화상의 피부의 색과 합성한다. 그 무게 분포는 픽셀마다의 메이크업의 농담의 분포를 나타낸다. 메이크업 형상 결정부(15)는, 메이크업의 형상과 농담의 분포로서, 색의 합성에 이용하는 무게 분포를 특정한다.

메이크업 형상 결정부(15)는, 형상 조정부(21), 피부 특정부(22), 마스크부(23), 및 무게 분포 결정부(24)를 구비한다.

형상 조정부(21)는, 메이크업 처리의 지시에 의거하여, 메이크업의 종류(아이라인 또는 볼연지 등)와, 그 기본 형상을 결정한다. 형상 조정부(21)는, 미리 준비된 복수의 메이크업 기본 형상중, 메이크업 처리의 지시에 의거하여, 메이크업 처리에 사용하는 메이크업 기본 형상을 특정한다. 또한, 형상 조정부(21)는, 메이크업 처리할 때마다 메이크업 기본 형상을 소정의 함수를 이용하여 계산에 의해 산출하여도 좋다. 또한, 메이크업 기본 형상의 템플릿을 이용자의 지시에 의해 형상 및 농도 분포 등을 변화시켜서 이용하여도 좋다.

도 2는, 윗눈꺼풀용 아이라인의 기본 형상의 한 예를 도시하는 화상이다. 도 3은, 아랫눈꺼풀용 아이라인의 기본 형상의 한 예를 도시하는 화상이다. 도 4는, 아이섀도의 기본 형상의 한 예를 도시하는 화상이다. 도 5는, 볼연지의 기본 형상의 한 예를 도시하는 화상이다. 도 2 내지 5에서, 밝은(흰) 개소는 메이크업의 색이 진한 것을 나타내고, 어두운(검은) 개소는 메이크업의 색이 엷은 것을 나타낸다. 즉, 메이크업의 기본 형상은, 메이크업의 형상 및 농담을 나타낸다. 예를 들면, 도 2에 도시하는 윗눈꺼풀용 아이라인의 기본 형상은, 각 픽셀마다 0 내지 1의 값을 가지며, 값이 큰 픽셀일수록 밝게 나타내어져 있고, 각 픽셀의 값은 합성할 때의 무게에 대응한다. 또한, 도 2 내지 5에 도시하는 메이크업의 기본 형상은 오른눈용 또는 오른볼용의 것이고, 좌우 반전하면 왼눈용 또는 오른볼용의 기본 형상을 얻을 수 있다.

형상 조정부(21)는, 사용하는 메이크업 기본 형상을, 얼굴화상의 특징에 응하여 변형한다. 예를 들면, 형상 조정부(21)는, 얼굴화상의 크기 또는 눈 등의 크기에 맞추어서 사용하는 메이크업 기본 형상의 크기를 조정(스케일링)한다. 또한, 형상 조정부(21)는, 검출한 눈의 윤곽의 형상에 응하여, 예를 들면 검출한 윗눈꺼풀의 윤곽에 도 2에 도시하는 윗눈꺼풀용 아이라인의 하측의 윤곽(흰 개소분)이 따르도록, 메이크업 형상을 조정한다. 이와 같이, 형상 조정부(21)는, 각 특징에 응하여 메이크업 형상을 조정한다. 도 6은, 형상의 조정을 행한 후의 메이크업 형상을 도시하는 화상이다. 도 2 내지 5와 마찬가지로, 도 6에서, 밝은(흰) 개소는 메이크업의 색이 진한 것을 나타내고, 어두운(검은) 개소는 메이크업의 색이 엷은 것을 나타낸다. 형상 조정부(21)는, 크기 및 형상을 조정한 메이크업 형상을 무게 분포 결정부(24)에 출력한다.

피부 특정부(22)는, 얼굴화상 중의 피부인 개소를 특정한다. 피부 특정부(22)는, 픽셀의 색이 피부의 색이라고 생각되는 픽셀을, 피부라고 판정한다. 구체적으로는, 피부 특정부(22)는, 처리 대상인 얼굴화상의 각 픽셀에 관해, 피부색도를 특정한다. 본 실시의 형태에서는, 피부색도가 작은 개소, 즉, 피부가 아니라고 생각되는 개소에 관해서는, 무게를 작게 하여 메이크업의 색을 엷게 겹치는, 또는 거의 메이크업의 색을 합성하지 않는다. 피부 특정부(22)는, 처리 대상의 얼굴화상의 각 픽셀의 피부색도를 무게 분포 결정부(24)에 출력한다.

마스크부(23)는, 처리 대상의 얼굴화상 및 그 특징의 위치로부터, 눈의 부분(소정의 부위)의 마스크를 생성한다. 여기서, 속눈썹 등의 영향에 의해, 특징 검출부(13)에 의해 검출되는 눈의 윤곽의 위치에는 오차가 있을 가능성이 있다. 아이라인 등의 메이크업 형상은, 형상 조정부(21)에 의해 눈의 윤곽에 응하여 조정되지만, 검출되는 눈의 윤곽의 위치가 본래의 위치로부터 빗나가 있는 경우, 눈 속으로 아이라인 등이 들어가는 일이 있다. 본 실시의 형태에서는, 얼굴화상의 눈의 부분에 마스크를 적용함에 의해, 아이라인 등이 잘못하여 눈 속으로 들어가는 것을 방지한다. 또한, 마스크부(23)는, 형상 조정부(21)가 이용하는 눈의 윤곽과는 다른 알고리즘에 의해 얻은 눈의 윤곽에 관한 정보를 이용하여, 마스크를 생성한다. 그와 같이 함에 의해, 검출 오차에 의해 형상 조정부(21)에서 발생하는 부적합함(아이라인 등이 눈 속으로 들어가는 것)을 방지할 수 있다. 본 실시의 형태에서는, 생성된 마스크는, 각 픽셀에 관해 0 내지 1의 값을 갖는다. 여기서, 마스크의 값이 1인 개소는 마스크하지 않는 것을, 값이 작은 개소일수록 강하게 마스크하는(메이크업의 색을 합성시키지 않는) 것을 의미한다. 또한, 코나 입 등, 눈 이외의 부분의 마스크를 생성하여도 좋다. 마스크부(23)는, 생성한 마스크를 무게 분포 결정부(24)에 출력한다.

무게 분포 결정부(24)는, 조정된 메이크업 형상, 얼굴화상의 피부색도, 및 마스크에 의거하여, 색의 합성(메이크업색과 피부의 색과의 합성)에 이용하는 무게 분포를 결정한다. 구체적으로는, 무게 분포 결정부(24)는, 얼굴화상에 대응하는 각 픽셀에 관해, 메이크업 형상과 피부색도와 마스크와의 곱(積)을 산출하고, 이 곱을 각 픽셀에서의 무게로 한다. 여기서는, 색의 합성을 위한 무게 분포는, 무게의 값이 작은 개소일수록 메이크업 색을 엷게 합성하고, 무게의 값이 큰 개소일수록 메이크업 색을 진하게 합성한다는 것을 나타낸다. 무게 분포 결정부(24)는, 결정한 무게 분포를 합성부(17)에 출력한다. 또한, 무게 분포 결정부(24)는, 처리 대상의 화상, 처리 대상의 얼굴화상의 위치, 및 그 얼굴의 특징의 위치를 색 보정부(16)에 출력한다.

색 보정부(16)는, 처리 대상의 화상, 처리 대상의 얼굴화상의 위치, 및 그 얼굴의 특징의 위치에 의거하여, 처리 대상의 얼굴화상의 피부의 색의 대표색을 특정한다. 얼굴 영역의 일부의 색, 예를 들면, 얼굴 영역의 중심부분(코 부근)의 평균색, 중앙치, 또는 최빈수(最頻數)의 색 등을 피부의 색의 대표색으로 하여도 좋다. 또한, 얼굴 영역 전체의 평균색 등을 피부의 색의 대표색으로 하여도 좋다. 또한, 얼굴이 있는 영역의 평균색을 구하고, 그 영역에서 그 평균색과 색상이 다른(CbCr 평면에서의 그 평균색과의 각도가 임계치보다 큰) 픽셀, 및/또는, 그 영역에서 그 평균색과의 색의 차가 큰(YCbCr 색공간에서의 그 평균색과의 거리가 임계치보다 큰) 픽셀을 제외하고, 나머지 픽셀로부터 산출한 평균색을, 대표색으로 하여도 좋다. 색 보정부(16)는, 얼굴화상의 각 픽셀에 관해, 각 픽셀의 색과 피부의 색의 대표색을 이용하여, 이용자가 지정한 메이크업 색을 보정한다. 또한, 색 보정부(16)는, 좌우의 메이크업 영역의 대표색의 차이에 응하여, 합성 후의 좌우의 메이크업 영역의 색의 차가 작아지도록, 좌우의 메이크업 영역마다 메이크업 색을 보정한다. 색 보정부(16)는, 픽셀마다 보정된 메이크업 색을, 합성부(17)에 출력한다. 또한, 색 보정부(16)는, 처리 대상의 화상, 및 처리 대상의 얼굴화상의 위치를 합성부(17)에 출력한다.

합성부(17)는, 처리 대상의 얼굴화상과, 보정된 메이크업 색을, 무게 분포에 응하여 합성하고, 메이크업 처리를 시행한 얼굴화상을 생성한다. 합성부(17)는, 메이크업 처리가 끝난 화상을 표시 제어부(18)에 출력한다. 또한, 합성부(17)는, 메이크업 처리가 끝난 화상을 화상 기억 장치(4)에 출력하여 기억시켜도 좋다.

표시 제어부(18)는, 메이크업 처리가 끝난 화상을 표시 장치(5)에 출력하고, 메이크업 처리가 끝난 화상을 표시하도록 표시 장치(5)를 제어한다.

<화상 처리 플로>

이하에, 디지털 카메라(1)에서의 메이크업 처리의 흐름에 관해 설명한다.

이용자는, 지시 입력 장치(2)를 통하여, 예를 들면 촬상되어 화상 기억 장치(4)에 기억되어 있는 화상 중에서, 처리 대상의 화상을 선택한다. 또한, 이용자는, 지시 입력 장치(2)를 통하여, 처리 대상의 화상에 시행하는 메이크업의 종류(아이라인, 아이섀도, 및/또는 볼연지 등)와, 각 메이크업의 형상과, 각 메이크업 색을, 복수의 후보중에서 선택한다. 지시 입력 장치(2)는, 메이크업의 종류, 메이크업의 형상, 및 메이크업 색을 나타내는 정보를 포함하는 메이크업 처리의 지시를, 화상 처리 장치(6)의 화상 취득부(11)에 출력한다.

도 7은, 화상 처리 장치(6)에서의 메이크업 처리의 흐름을 도시하는 플로 차트이다.

화상 취득부(지시 수령부)(11)는, 지시 입력 장치(2)로부터의 메이크업 처리의 지시를 수취하면, 화상 기억 장치(4)로부터 처리 대상이 되는 화상을 취득한다(S1).

얼굴 검출부(12)는, 처리 대상이 되는 화상에 포함되는 얼굴화상을 검출하고, 그 얼굴화상의 위치를 특정한다(S2). 얼굴 검출부(12)는, 처리 대상의 화상에 포함되는 복수의 얼굴화상을 검출하여도 좋다.

특징 검출부(13)는, 검출된 얼굴화상에 포함되는, 얼굴의 특징의 위치를 검출한다(S3). 특징 검출부(13)는, 예를 들면 눈(눈시울, 눈초리, 윗눈꺼풀 윤곽점, 아랫눈꺼풀 윤곽점 등), 입(입끝점, 입중심점 등), 및 코(코의 정점 등) 등의 얼굴의 기관의 특징(특징점)을 검출하고, 그들의 위치를 특정한다. 또한, 특징 검출부(13)는, 얼굴의 윤곽 등의 특징을 검출하여도 좋다.

적부 판정부(14)는, 이들의 검출된 얼굴의 특징의 위치에 의거하여, 그 얼굴화상이 메이크업 처리를 행하는데 적합한지의 여부를 판정한다(S4). 예를 들면, 적부 판정부(14)는, 복수의 얼굴화상 샘플로부터 눈, 코, 입 등의 얼굴의 기관의 각 특징의 주변의 휘도 분포의 특징을 미리 학습하여 작성한 얼굴 모델을 기억하여 둔다. 적부 판정부(14)는, 얼굴 모델과, 검출된 얼굴화상을 비교함에 의해, 얼굴화상이 검출된 특징의 신뢰도 및 얼굴 방향을 특정한다.

예를 들면 검출된 특징의 신뢰도가, 소정의 임계치보다도 낮은 경우, 얼굴의 특징을 정확하게 검출하지 않을 가능성이 높기 때문에, 적절하게 메이크업 처리를 행할 수가 없을 가능성이 있다. 그 때문에, 검출된 특징의 신뢰도가, 소정의 임계치보다도 낮은 경우, 적부 판정부(14)는, 그 얼굴화상은 메이크업 처리를 행하는데 적합하지 않다고 판정한다.

또한, 검출된 얼굴 방향이 정면에 대해 크게 빗나가 있는 경우(얼굴 방향이 소정의 범위 내에 없는 경우, 예를 들면 얼굴 방향이 정면에 대해 소정의 각도보다 큰 경우), 적절하게 메이크업 처리를 행할 수가 없을 가능성이 있기 때문에, 적부 판정부(14)는, 그 얼굴화상은 메이크업 처리를 행하는데 적합하지 않다고 판정한다.

또한, 얼굴화상이 너무 작은 경우(예를 들면 검출한 좌우의 눈(동자) 중심점 사이의 거리가 소정의 임계치보다 작은 경우), 적절하게 메이크업 처리를 행할 수가 없을 가능성이 있기 때문에, 적부 판정부(14)는, 그 얼굴화상은 메이크업 처리를 행하는데 적합하지 않다고 판정한다.

또한, 검출한 눈의 윤곽으로부터, 눈이 감겨 있다고 판단할 수 있는 경우, 적절하게 메이크업 처리를 행할 수가 없을 가능성이 있기 때문에, 적부 판정부(14)는, 그 얼굴화상은 메이크업 처리를 행하는데 적합하지 않다고 판정한다.

또한, 조명의 반사에 의해, 피부의 색이 하얗게 되어 있는 개소에 메이크업 처리를 시행하면, 메이크업 부분이 부자연스럽게 들떠서 보이는 일이 있다. 따라서, 얼굴화상의 피부의 색의 대표색의 휘도가 소정의 임계치보다도 높은 경우, 적부 판정부(14)는, 그 얼굴화상은 메이크업 처리를 행하는데 적합하지 않다고 판정하여도 좋다.

또한, 나뭇잎 사이로 비치는 햇빛이 얼굴에 닿고 있는 등에 의해, 볼 또는 눈꺼풀의 영역의 휘도 분포가 얼룩덜룩하게 되어 있어서, 그 휘도차가 극단적으로 큰 경우, 메이크업 처리를 시행하면 부자연스럽게 보이는 일이 있다. 따라서, 얼굴 영역의 피부의 색의 휘도의 분산이 소정의 임계치보다 큰 경우, 적부 판정부(14)는, 그 얼굴화상은 메이크업 처리를 행하는데 적합하지 않다고 판정하여도 좋다.

또한, 피부의 색에 가까운 물체가 얼굴화상에 겹쳐져 있는 경우, 특징 검출부(13)는, 그 물체를 얼굴의 특징점으로서 오검출하는 일이 있다. 검출된 특징점의 위치가, 다른 특징점(목, 비, 입 등)에 비하여 부자연스러운 위치에 있는 경우, 그 검출된 특징점은 얼굴에 겹쳐지는 다른 물체의 것이라고 판정할 수 있다. 그와 같은 특징점이 검출된 경우, 메이크업 처리를 시행하면 얼굴에 겹쳐지는 다른 물체에 까지 메이크업을 합성할 가능성이 있기 때문에, 적부 판정부(14)는, 그 얼굴화상은 메이크업 처리를 행하는데 적합하지 않다고 판정하여도 좋다.

또한, 메이크업 처리를 행할 수 있는지의 여부의 판정에 있어서, 메이크업의 종류(아이라인, 아이섀도, 볼연지 등)에 따라 판정 기준이 달라도 좋다.

메이크업 처리를 행하는데 적합하지 않다고 판정된 경우(S4에서 No), 그 얼굴화상에 대한 처리는 종료한다.

메이크업 처리를 행하는데 적합하다고 판정된 경우(S4에서 Yes), 다음에 형상 조정부(21)는, 처리 대상의 얼굴화상의 피부의 색의 정보를 취득한다(S5). 피부의 색의 정보로서, 처리 대상의 얼굴화상으로부터, 피부 전체의 평균색과, 오른눈꺼풀, 왼눈꺼풀, 오른볼, 왼볼, 및 코 등의 각 영역의 평균색을 구한다. 또한, 평균이 아니라, 각 영역의 대표가 되는 색을 구하여도 좋다.

형상 조정부(21)는, 지시된 메이크업의 종류에 응하여, 처리 대상을 눈 또는 볼로 설정한다(S6). 또한, 복수의 메이크업을 시행하는 것이 지시되어 있는 경우, 미처리의 메이크업의 종류에 응하여, 처리 대상의 부위를 설정한다.

형상 조정부(21)는, 좌우의 기관의 어느 하나를 처리 대상으로서 설정한다(S7). 예를 들면, 형상 조정부(21)는, 처리 대상을 오른쪽기관(오른눈 또는 오른볼)으로 설정한다. 이미 오른쪽기관에 대한 메이크업 처리가 완료되어 있는 경우, 처리 대상을 왼쪽기관(왼눈 또는 왼볼)으로 설정한다.

처리 대상이 눈인 경우(S8에서 Yes), 눈의 메이크업 처리(아이라인, 아이섀도 등)에 사용하는 무게 분포를 산출한다(S9).

처리 대상이 볼인 경우(S8에서 No), 볼의 메이크업 처리(볼연지 등)에 사용하는 무게 분포를 산출한다(S10).

도 8은, 눈의 메이크업 처리에 사용하는 무게 분포를 산출하는 처리의 상세한 흐름을 도시하는 플로 차트이다.

형상 조정부(21)는, 메이크업 처리에 사용하는 메이크업의 기본 형상을 결정한다(S21). 예를 들면, 아이섀도의 기본 형상은, 도 4에 도시하는 바와 같이 눈의 윤곽에 가까운 하측의 무게가 크고(아이섀도의 색이 진하고), 그곳부터 떨어짐에 따라 서서히 무게가 작아지는(아이섀도의 색이 엷어지는) 무게 분포를 갖는다. 또한, 형상 조정부(21)는, 메이크업 처리의 지시에 의해, 아이섀도 등의 기본 형상을 변형하거나, 무게의 분포를 조정하여도 좋다. 형상 조정부(21)는, 메이크업 기본 형상을 소정의 함수를 이용하여 계산에 의해 산출하여도 좋고, 미리 준비된 메이크업 기본 형상의 템플릿으로부터 사용하는 메이크업 기본 형상을 선택하여도 좋다.

형상 조정부(21)는, 사용하는 메이크업 기본 형상을, 얼굴화상의 눈의 형상에 적합하도록, 검출된 눈의 특징에 응하여 변형한다(S22). 우선, 형상 조정부(21)는, 검출된 눈의 특징(눈시울, 눈초리, 눈의 윤곽 등)의 정보를 이용하여, 사용하는 메이크업 기본 형상의 크기를, 얼굴화상의 눈의 크기에 적합한 크기로 변경한다. 또한, 윗눈꺼풀용 아이라인이라면, 검출한 윗눈꺼풀 윤곽의 몇개의 대표점과, 크기가 조정된 메이크업 기본 형상의 대응하는 점이 각각 일치하도록, 형상 조정부(21)는, 크기가 조정된 메이크업 기본 형상을 변형하고, 얼굴화상에서의 배치를 결정한다. 메이크업 기본 형상의, 대표점에 대응하는 점 이외의 개소는, 선형 보간을 이용하여 변형시켜도 좋고, 3차 B스플라인 함수 등의 고차원 함수 보간을 이용하여 변형시켜도 좋다. 크기 및 형상이 조정된 메이크업 형상은, 메이크업 색을 합성할 때의 무게로서 사용된다.

피부 특정부(22)는, 처리 대상의 얼굴화상의 각 픽셀에 관해, 피부색도를 특정한다(S23). 피부 특정부(22)는, 처리 대상의 얼굴화상의, 메이크업 처리를 행하는 주변을 포함하는 일부의 영역에 관해서만 피부색도를 특정하여도 좋다. 피부색도는, 처리 대상의 얼굴화상의 피부의 색을 대표하는 대표색과 각 픽셀의 색과의 색공간에서의 거리를 이용하여 산출한다. 피부의 대표색으로서, 얼굴 영역 전체의 피부의 평균색을 이용하여도 좋지만, 음영이 있는 경우에는 얼굴 영역 전체로부터 피부의 색을 안정적으로 취득하기는 어렵다. 그 때문에, 피부의 색을 안정적으로 취득하기 위해, 피부의 대표색으로서 코의 주변의 평균색 등을 이용하여도 좋다. 피부색도는, 픽셀의 색이 피부의 색의 대표색과 같은(거리 0) 경우에 값이 최대가 되고, 색공간에서의 거리가 커질수록 값이 작아지도록 한다.

예를 들면, 피부 특정부(22)는, 코 부근의 평균색을 취득하고, 그 얼굴화상의 피부의 대표색(Yc, Cbc, Crc)으로 한다. 여기서는 색공간으로서 YCbCr 색공간을 이용하고 있지만, 이것으로 한하지 않고 임의의 색공간을 이용할 수 있고, 예를 들면 L*a*b* 색공간을 이용하여도 좋다. 피부 특정부(22)는, 얼굴화상의 피부의 대표색(Yc, Cbc, Crc)을 피부의 색의 중심으로 하고, 색공간 내에서의 얼굴화상의 각 픽셀값(Y, Cb, Cr)과 얼굴화상의 피부의 대표색(Yc, Cbc, Crc)과의 거리를 구한다. 여기서는, 거리가 0이면 값이 1, 거리가 무한대일 때에 값이 0이 되도록, 각 픽셀에 관해 피부색도(Ds)를 구한다. 예를 들면, 피부색도(Ds)를 구하는 식은, 이하와 같이 둘 수 있다.

[수식 1]

여기서, σ는 피부색의 범위를 정하는 정수이다. exp를 이용한 피부색도(Ds)를 구하는 윗식은 한 예이고, 거리에 관해 단조감소를 하는 지수함수, 또는 시그모이드형의 함수 등을 이용하여도 좋다. 피부색도(Ds)는, 값이 0 내지 1이 되고, 값이 큰 개소는 피부의 대표색에 가까운 색의 개소이다. 또한, 피부색도(Ds)를, 복수의 픽셀을 포함하는 블록마다, 그 블록의 평균색으로부터 산출하여도 좋다. 또한, 피부 특정부(22)는, 색공간에서의 상기 거리와 임계치을 비교함으로써, 각 픽셀이 피부인 지의 여부를 특정하고, 피부가 아니다라고 특정한 피부색도의 값을 0으로 하여, 피부가 아닌 개소에 메이크업 색을 도포시키지 않도록 하여도 좋다.

도 9는, 얼굴화상에 관해 구한 피부색도(Ds)의 예를 도시하는 화상이다. 도 9에서, 밝은(흰) 개소는 피부색도(Ds)의 값이 큰 개소을 나타내고, 어두운(검은) 개소는 피부색도(Ds)의 값이 작은 개소를 나타낸다. 또한, 도 9에서는, 오른눈의 주변의 피부색도(Ds)를 나타내고 있다. 피부색도(Ds)는, 메이크업 색을 합성할 때의 무게로서 사용되기 때문에, 피부색도(Ds)의 값이 크고 피부라고 생각되는 개소(밝은 개소)에서는, 메이크업색이 진하게 겹쳐진다. 역으로, 피부색도(Ds)의 값이 작고 피부가 아니라고 생각되는 개소(어두운 개소)에서는, 메이크업 색은 엷게 겹쳐지는, 또는 거의 겹쳐지지 않는다. 그 때문에, 도 9로부터도 알 수 있는 바와 같이, 피부색도가 낮은 눈동자 및 눈썹 등에는, 메이크업 색은 합성되지 않는다. 또한, 안경 등을 쓰고 있는 경우, 안경에 메이크업 색을 합성하는 것을 막을 수 있다. 또한, 머리카락이 눈의 가까이에 걸쳐저 있는 경우, 머리카락에 메이크업 색을 합성하는 것을 막을 수 있다.

그러나, 색의 차로는, 흰자위의 부분은 새하얀 피부와의 구별이 되기 어려워, 메이크업 형상이 정확하게 눈꺼풀의 윤곽에 피트하지 않는 경우, 흰자위의 부분에 메이크업색이 들어갈 가능성이 있다. 그 때문에, 본 실시의 형태에서는, 다음에 눈을 마스크하는 처리를 행한다.

마스크부(23)는, 눈의 부분의 마스크를 생성한다(S24). 구체적으로는, 눈시울점과 눈초리점을 잇는 선분을 장축으로 하고, 윗눈꺼풀측의 눈의 윤곽의 1점, 눈시울점, 및 눈초리점을 통과하는 타원을 구하고, 그 타원의 상측의 활모양(弧)을 윗눈꺼풀측의 마스크의 경계선으로 한다. 또한 마찬가지로, 눈시울점과 눈초리점을 잇는 선분을 장축으로 하고, 아랫눈꺼풀측의 눈의 윤곽의 1점, 눈시울점, 및 눈초리점을 통과하는 타원을 구하고, 그 타원의 하측의 활모양(弧)을 아랫눈꺼풀측의 마스크의 경계선으로 한다. 마스크의 상하의 경계선에 둘러싸여진 내부를 마스크 영역으로 한다. 이 마스크 영역은, 눈꺼풀의 윤곽을 타원이라고 가정하여 구하는 것이기 때문에, 마스크 영역을 완전하게 마스크하면, 마스크 영역이 얼굴화상의 눈으로부터 비어져 나온 때에 눈꺼풀의 경계 부근에 메이크업 처리가 시행되지 않는다는 부적합함이 일어난다. 그 때문에, 마스크 영역의 단(端)의 쪽에서는 약한 마스크가 되도록 한다. 마스크부(23)는, 눈초리점과 눈시울점의 중점(마스크 영역의 중심)에서의 마스크값이 0, 마스크 영역의 경계선상의 마스크값이 1이 되도록, 또한, 가우스 분포에 따라서 마스크 영역의 중심으로부터 떨어질수록 마스크값이 커지도록, 마스크 영역 내의 각 픽셀의 마스크값을 설정한다. 또한, 가우스 분포가 아니라, 마스크값을 선형으로 변화시켜도 좋고, 다른 함수 또는 테이블을 이용하여 마스크값을 변화시켜도 좋다. 또한, 마스크는 타원이 아니라, 다른 형상이라도 좋다.

도 10은, 도 9에 대응하는, 눈의 마스크의 예를 도시하는 화상이다. 도 10에서, 밝은(흰) 개소는 마스크값이 큰 개소을 나타내고, 어두운(검은) 개소는 마스크값이 작은 개소를 나타낸다. 마스크값은, 메이크업 색을 합성할 때의 무게로서 사용되기 때문에, 마스크값이 작은 개소(어두운 개소)는 강하게 마스크되고, 메이크업 색은 거의 합성되지 않는다. 역으로 마스크값이 큰 개소(밝은 개소)에서는 마스크는 약하게 되어, 메이크업 색은 마스크되지 않고 합성된다.

무게 결정부(24)는, 무게 분포를 나타내는 각 요소, 즉, 크기 및 형상이 조정된 메이크업 형상과, 피부색도(Ds)와, 마스크를 합성하여, 색의 합성에 이용하는 무게 분포를 구한다(S25). 구체적으로는, 무게 결정부(24)는, 무게 분포로서, 각 픽셀에 관해, 크기 및 형상이 조정된 메이크업 형상과, 피부색도(Ds)와, 마스크와의 곱을 구한다.

도 11은, 도 9에 대응하는, 피부색도(Ds)와 마스크와의 곱을 도시하는 화상이다. 도 9와 비교하면, 마스크에 의해, 눈의 부분이 마스크되어 있음을 알 수 있다. 또한, 메이크업 색은, 도 11에서 밝게 나타나 있는 픽셀에 관해, 보다 진하게 겹쳐진다. 또한, 무게 결정부(24)는, 피부색도(Ds)와 마스크와의 곱의 값을, 소정의 임계치(예를 들면 0.5)와 비교함에 의해, 각 픽셀이 피부인지의 여부를 판정하여도 좋다. 그리고, 예를 들면, 피부라고 판정된 픽셀의 값을 1, 피부가 아니다라고 판정된 픽셀의 값을 0으로 하여 무게를 2치화하여도 좋다. 또는, 곱이 소정의 임계치보다 작은 픽셀만, 무게를 0으로 하여도 좋다.

도 12는, 도 6에 대응하는, 무게 분포를 도시하는 화상이다. 무게 분포는, 조정된 메이크업 형상과 피부색도(Ds)와 마스크와의 곱이고, 도 12는, 도 6에 도시하는 무게와 도 11에 도시하는 무게를 각 픽셀에 관해 곱을 취한 무게 분포를 나타낸다. 도 12에서, 밝은(흰) 개소는 무게가 큰 개소를 나타내고, 어두운(검은) 개소는 무게가 작은 개소를 나타낸다. 도 12에 도시하는 것이 최종적인 무게이고, 밝은(흰) 개소는 메이크업색이 진하게 칠하여진다. 이상으로 눈의 메이크업 처리에 사용하는 무게 분포의 산출 처리가 종료된다.

도 13은, 볼의 메이크업 처리에 사용하는 무게 분포를 산출하는 처리의 상세한 흐름을 도시하는 플로 차트이다. 볼인 경우는, 눈의 마스크 처리를 필요로 하지 않는 점이 다르지만, 다른 것은 눈의 경우와 같은 처리를 행하기 때문에 간단하게 설명한다.

형상 조정부(21)는, 메이크업 처리에 사용하는 메이크업의 기본 형상을 결정한다(S31). 예를 들면, 볼연지의 기본 형상은, 도 5에 도시하는 바와 같이 볼연지의 도포 영역중심 부근의 무게가 가장 크고(볼연지의 색이 진하고), 중심으로부터 떨어짐에 따라 서서히 무게가 작아지는(볼연지의 색이 엷어지는) 무게 분포를 갖는다.

형상 조정부(21)는, 사용하는 메이크업 기본 형상을, 얼굴화상의 볼의 형상에 적합하도록, 검출된 눈, 입, 및 코의 특징에 응하여 변형한다(S32). 우선, 형상 조정부(21)는, 검출된 눈, 입, 및 코 등의 특징의 위치 관계로부터, 사용하는 메이크업 기본 형상의 크기를, 얼굴화상의 볼의 크기에 적합한 크기로 변경한다. 또한, 형상 조정부(21)는, 목, 입, 및 코 등의 특징의 위치 관계로부터 볼의 몇개의 대표점의 위치를 추정한다. 그 대표점과, 크기가 조정된 메이크업 기본 형상의 대응하는 점이 각각 일치하도록, 형상 조정부(21)는, 크기가 조정된 메이크업 기본 형상을 변형한다.

피부 특정부(22)는, 처리 대상의 얼굴화상의 각 픽셀에 관해, 피부색도(Ds)를 특정한다(S33). 이 처리는 눈의 메이크업 처리의 경우와 같다.

무게 결정부(24)는, 무게 분포를 나타내는 각 요소, 즉, 크기 및 형상이 조정된 메이크업 형상과, 피부색도(Ds)를 합성하고, 색의 합성에 이용하는 무게 분포를 구한다(S34). 구체적으로는, 무게 결정부(24)는, 무게 분포로서, 각 픽셀에 관해, 크기 및 형상이 조정된 메이크업 형상과, 피부색도(Ds)와의 곱을 구한다. 이상으로 볼의 메이크업 처리에 사용하는 무게 분포의 산출 처리가 종료된다.

도 7의 플로로 되돌아와, S9 또는 S10의 후, 색 보정부(16)는, 이용자가 지정한 메이크업 색을 보정하여, 합성에 이용하는 픽셀마다 보정된 메이크업 색을 구한다(S11). 색 보정부(16)는, 눈꺼풀 영역(또는 볼 영역)의 각 픽셀의 색의 차에 의거한 보정과, 좌우의 눈꺼풀 영역(또는 볼 영역)의 밝기(휘도)의 차에 의거한 보정을 행한다.

구체적으로는, 우선, 색 보정부(16)는, 메이크업을 시행하는 영역의 피부의 색의 대표색(Yo, Cbo, Cro)을 취득한다. 피부의 색의 대표색은, 그 영역의 평균색 등이라도 좋다. 또한, 얼굴 영역 전체의 피부의 색의 평균색을 대표색으로서 이용하여도 좋다. 또한, 여기서는 색공간으로서 YCbCr 색공간을 이용하지만 이것으로 한하지 않는다. 색 보정부(16)는, 이용자가 지정한 메이크업색(Ys, Cbs, Crs)과 피부의 색의 대표색(Yo, Cbo, Cro)으로부터, θ 및 r을 구한다. 여기서, θ는, CbCr 평면에서 벡터(Cbs, Crs)와 벡터(Cbo, Cro)가 이루는 각이다. 또한, r=Ys/Yo이다. θ는, 메이크업색과 피부의 색의 대표색과의 색미(色味) 또는 색상(色相)의 차라고 말할 수 있다. 또한, r은, 메이크업색과 피부의 색의 대표색과의 휘도의 비를 나타낸다.

색 보정부(16)는, 얼굴화상의 각 픽셀값(Y, Cb, Cr)에 대해, 그 픽셀에 겹치는(합성하는) 메이크업색(Y', Cb', Cr')을 픽셀마다 구한다. 여기서, Y'=rY가 되도록 메이크업색의 휘도(Y')를 결정한다. 또한, CbCr 평면에서 벡터(Cb', Cr')와 벡터(Cb, Cr)가 이루는 각이 θ가 되도록, Cb' 및 Cr'를 결정한다. 환언하면, 색 보정부(16)는, 이용자가 지정한 메이크업색과 피부의 색의 대표색과의 휘도의 비 및 색상의 차를 이용하여, 얼굴화상의 피부의 색(각 픽셀값)에 응하여 보정한 메이크업색(Y', Cb', Cr')을 구한다. 또한, 휘도의 비(또는 차) 및 색상의 차의 어느 한쪽만을 이용하여 메이크업 색을 보정하여도 좋다.

도 14는, 보정된 메이크업색(Y', Cb', Cr')과 얼굴화상의 대응하는 픽셀값(Y, Cb, Cr)과의 색공간에서의 관계를 도시하는 도면이다. 도 14에 도시하는 바와 같이, 얼굴화상의 각 픽셀값(Y, Cb, Cr)과, 그것에 대응하는 보정된 메이크업색(Y', Cb', Cr')과의 색공간에서의 관계(θ, r의 관계)가, 피부의 색의 대표색(Yo, Cbo, Cro)과, 이용자가 지정한 메이크업색(Ys, Cbs, Crs)과의 관계와 같게 되도록, 색 보정부(16)는, 메이크업 색을 보정한다. 또한, 픽셀마다 보정하지 않고 이용자에게서 지정된 메이크업 색을 그대로 이용하여도 좋다.

다음에, 색 보정부(16)는, 얼굴의 좌측의 메이크업을 시행하는 영역(예를 들면 왼눈꺼풀)의 픽셀의 휘도의 평균(Yl)과, 얼굴의 우측의 메이크업을 시행하는 영역(예를 들면 오른눈꺼풀)의 픽셀의 휘도의 평균(Yr)을 취득한다. 그리고, 색 보정부(16)는, 좌우의 메이크업 영역의 휘도의 차(d)=Yl-Yr를 이용하여, 메이크업색(Y', Cb', Cr')의 휘도(Y')를 더욱 보정하고, 좌우의 피부의 밝기의 차에 의거하여 보정된 메이크업색의 휘도(Yl'(왼쪽용) 및 Yr'(오른쪽용))를 구한다.

Yl'=Y'-γd

Yr'=Y'+γd

여기서, γ(0≤γ≤0.5)는 좌우의 메이크업이 보이는 모습의 차이를 조정하는 파라미터이고, 메이크업의 종류마다 미리 설정되어 있어도 좋고, 이용자가 지정하여도 좋다. 또한, 좌우 어느 하나의 메이크업 색을 기준으로 하여, 또 한쪽의 메이크업색의 휘도만을 보정하여도 좋다. 또한, 좌우의 평균휘도의 비(Yl/Yr)를 이용하여, Yr'=Y'(Yl/Yr)와 같이 보정하여도 좋다. 또한, 좌우의 평균휘도를 이용하는 대신에, 좌우의 메이크업 영역의 휘도의 중앙치 등, 메이크업 영역의 밝기를 대표하는 대표 휘도(대표색)를 이용하여 메이크업 색을 보정하여도 좋다.

촬상시의 조명 등의 영향에 의해, 좌우의 눈꺼풀(또는 볼) 영역의 밝기(휘도)가 다른 경우, 픽셀마다 보정한 후의 메이크업색(Y', Cb', Cr')을 그대로 얼굴화상에 합성하면, 메이크업색이 좌우에서 다르게 보이는 일이 있다. 그 때문에, 메이크업색의 좌우의 휘도차가 작아지도록 메이크업색의 휘도(Y')를 보정하여, Yl' 및 Yr'를 얻는다.

합성부(17)는, 무게 분포를 이용하여, 처리 대상의 얼굴화상의 색에, 보정된 메이크업 색을 합성함(겹침)에 의해, 얼굴화상에 메이크업 색을 도포(착색)한다(S12). 구체적으로는, 합성부(17)는, 각 픽셀에 관해, 그 픽셀의 무게(w)로 보정된 메이크업 색을 곱하여, 얼굴화상의 그 픽셀의 색과 합성한다. 합성 후의 각 픽셀의 색(Ya, Cba, Cra)은, 예를 들면 이하의 식을 이용하여 얻어진다.

Ya=(1-α×w)×Y+α×w×Yl' (왼눈꺼풀, 왼볼인 경우)

Ya=(1-α×w)×Y+α×w×Yr' (오른눈꺼풀, 오른볼인 경우)

Cba=(1-w)×Cb+w×Cb'

Cra=(1-w)×Cr+w×Cr'

여기서, w는 각 픽셀에 관한 무게이고, α(0<α≤1)는 휘도에 관해 무게를 조정하는 파라미터이다. 휘도의 변화는 시각적인 영향이 크고, 메이크업에 의해 휘도가 크게 변화하면 부자연스럽게 보이기 때문에, 합성부(17)는, 메이크업에 의한 휘도의 변화를 억제하여, 얼굴화상에 메이크업 색을 합성한다.

좌우의 메이크업 처리가 완료되지 않았으면(S13에서 No), S7로 되돌아와, 좌우의 나머지 처리를 행한다.

좌우의 메이크업 처리가 완료되어 있는 경우(S13에서 Yes), 계속해서 다른 메이크업 처리(아이라인, 볼연지 등)를 행한다.

다른 메이크업 처리가 미처리인 경우(S14에서 No), S6로 되돌아와, 미처리의 메이크업 처리를 행한다.

지시된 모든 메이크업 처리가 완료되어 있는 경우(S14에서 Yes), 표시 제어부(18)는, 메이크업 처리 후의 화상을 표시 장치(5)에 표시시키고, 메이크업 처리를 종료한다.

본 실시의 형태에 의하면, 처리 대상의 얼굴화상의 피부색도를 판정하고, 피부색도에 응하여 피부라고 생각되는 개소에 메이크업 처리를 시행한다. 피부색도가 작은 개소에 관해서는, 메이크업 처리의 무게를 작게 하거나, 또는 메이크업 처리를 행하지 않는다. 그 때문에, 메이크업하여야 할 영역의 일부가 안경 또는 머리카락 등의 다른 물체에 덮여 있는 경우에도, 다른 물체에 메이크업 처리를 행하는 것을 방지하고, 피부에만 메이크업 처리를 행하여 자연스러운 메이크업 처리 화상을 얻을 수 있다. 또한, 눈 등의 특징점의 검출을 잘못한 경우에도, 피부색도에 응하여 메이크업 처리를 행하기 때문에, 눈 속이나 얼굴의 범위 외에 메이크업 처리를 행하는 것을 방지할 수 있다. 그 때문에, 이용자는 최초에 메이크업의 종류, 형상, 색 등을 선택할 뿐으로, 부담 없이 메이크업 시뮬레이션을 행할 수가 있다.

또한, 눈의 윤곽 형상의 개인차, 얼굴화상의 얼굴 방향이 정면이 아닌 것, 또는 조명이 닿는 방식 때문에 눈의 윤곽이 확실치하지 않음 등에 기인하여, 검출한 특징점(눈초리, 눈시울, 눈 윤곽점 등)의 위치에 오차가 생기는 일이 있다. 이와 같은 경우, 종래의 기술에서는, 눈 속으로 아이라인 또는 아이섀도가 들어가는 일이 있다.

본 실시의 형태에서는, 형상 조정부(21)가 메이크업 형상을 조정하는 방법과는 다른 방법으로, 마스크부(23)가 눈의 영역을 규정하고, 눈의 영역에 마스크를 한다. 그 때문에, 메이크업 형상이 눈에 겹쳐지도록 배치된 경우에도, 눈의 영역은 마스크되기 때문에, 눈에 메이크업이 들어가는 것을 방지할 수 있다.

또한, 촬상시에 좌우의 조명이 닿는 방식이 균일하지가 않아, 얼굴화상의 좌우의 한쪽에 음영이 생기거나 하여, 좌우의 피부의 밝기가 같지가 않은 일이 있다. 그와 같은 얼굴화상에 메이크업을 도포할 때에, 좌우에서 다른 피부의 색에 같은 색의 메이크업 색을 합성하면 피부의 색의 차가 반영되어, 합성 후의 메이크업의 색은 좌우에서 다르도록 보이는 일이 있다.

본 실시의 형태에서는, 좌우의 메이크업 영역의 피부의 색의 차이에 응하여 좌우의 메이크업 영역마다 적용하는 메이크업 색을 보정하고, 합성에 사용하는 메이크업 색을 좌우에서 다른 색으로 함에 의해, 피부에 메이크업이 합성된 후의 메이크업 영역의 색의 차이를 감소시켜서, 자연스러운 외관의 메이크업 처리를 행할 수가 있다.

또한, 화상으로부터 검출한 얼굴 방향이 정면에서 크게 벗어나고 있거나, 웃는 등의 큰 표정 변화가 있어서 특징점을 능숙하게 검출할 수가 없는 경우, 메이크업 처리를 시행하면 의도하지 않은 위치에 메이크업을 합성하여 버려서, 부자연스럽게 되어 버리는 경우가 있다. 또한, 얼굴화상이 작은 경우, 메이크업을 시행하는 작은 영역에 능숙하게 그러데이션이 걸리지 않기 때문에 자연스러운 메이크업 처리가 곤란해지는 일이 있다.

본 실시의 형태에서는, 검출한 얼굴화상이 메이크업 처리에 적합한지를 판정하고, 적합하다고 판정된 얼굴화상에 관해 메이크업 처리를 행한다. 그 때문에, 메이크업 처리에 의한 실패를 방지하고, 메이크업에 적합한 얼굴화상에만 메이크업 처리를 행할 수가 있다.

또한, 본 실시의 형태에서는, 화상 처리 장치를 구비하는 디지털 카메라를 예로 들어 설명하였지만, 이것으로 한하지 않고, 디지털 비디오 카메라, 카메라 부착 휴대 전화, 컴퓨터 등에 적용할 수도 있다. 촬상되는 화상은, Web 카메라, 네트워크, 착탈 가능한 기억 장치 등을 통하여 취득되어도 좋다. 또한, 촬상된 정지 화상만이 아니고, 동화 등의 얼굴화상에 메이크업 처리를 행하여도 좋다. 또한, 디지털 카메라로 촬상을 행할 때에 디지털 카메라의 표시 장치에 표시된 프리뷰 화상에 메이크업 처리를 시행하여도 좋다.

또한, 메이크업으로 한하지 않고, 인물 화상의 얼굴 또는 피부 등에 임의의 모양을 합성하여도 좋다. 본 실시의 형태에서는, 합성 후의 좌우의 메이크업 영역의 색(휘도)의 차이가 작아지도록, 적용하는 메이크업 색을 좌우에서 다른 색에 보정하였지만, 좌우로 한하지 않고, 같은 색의 메이크업 색을 적용하는 복수의 다른 메이크업 영역에서, 합성 후의 복수의 메이크업 영역의 색(휘도)의 차이가 작아지도록, 각 메이크업 영역의 피부의 색의 차(예를 들면 각 메이크업 영역의 피부의 평균색과의 차)를 이용하여, 적용하는 메이크업 색을 각 메이크업 영역마다 보정하여도 좋다.

<과제를 해결하기 위한 수단>

상기한 구성에 의하면, 인물 화상의 제1영역의 대표색과 제2영역의 대표색의 차이에 응하여, 착색 후의 제1영역 및 제2영역의 색의 차가 작아지도록, 모양의 색을 보정하여 제1영역용 색 및 제2영역용 색을 결정하고, 상기 인물 화상의 제1영역 및 제2영역의 색에, 각각 제1영역용 색 및 제2영역용 색을 겹침에 의해 상기 모양을 착색한다. 따라서, 인물 화상의 피부의 제1영역의 색과 제2영역의 색이 크게 다른 경우에도, 착색 후의 제1영역 및 제2영역의 모양의 색의 차를 작게 할 수 있다. 그 때문에, 자연스러운 외관이 되도록 인물 화상의 피부에 모양(예를 들면 메이크업)을 착색할 수 있다. 그 때문에, 예를 들면 이용자가, 균일하게 조명을 닿게 한 화상을 준비하지 않더라도, 폭넓은 조건으로 찍힌 화상을 이용하여 메이크업 시뮬레이션을 행할 수가 있다.

또한, 상기 색 보정부는, 제1영역에 포함되는 각 화소에 관해, 당해 화소의 색과 당해 화소에 대응하는 모양 보정색과의 색공간에서의 위치 관계가, 상기 인물 화상의 피부의 대표색과 상기 모양의 색과의 색공간에서의 위치 관계와 같게 되도록, 상기 모양 보정색을 결정하고, 상기 인물 화상에서의 제1영역의 대표색과 제2영역의 대표색의 차이를 이용하여, 상기 모양 보정색을 더욱 보정하여 당해 화소에 대응하는 제1영역용 색을 결정하여도 좋다.

또한, 상기 색 보정부는, 제1영역에 포함되는 각 화소에 관해, 당해 화소의 색과 당해 화소에 대응하는 모양 보정색과의 색공간에서의 휘도의 비가, 상기 인물 화상의 피부의 대표색과 상기 모양의 색과의 색공간에서의 휘도의 비와 같게 되도록, 상기 모양 보정색을 결정하여도 좋다.

또한, 상기 색 보정부는, 제1영역에 포함되는 각 화소에 관해, 당해 화소의 색과 당해 화소에 대응하는 모양 보정색과의 색공간에서의 색상의 차가, 상기 인물 화상의 피부의 대표색과 상기 모양의 색과의 색공간에서의 색상의 차와 같게 되도록, 상기 모양 보정색을 결정하여도 좋다.

인물 화상의 피부의 색은, 일반적으로, 색공간에서 평균색을 중심으로 하여 퍼짐을 갖고서 분포하고 있다. 그 때문에, 인물 화상의 피부에 겹치는 모양의 색을, 피부의 각 화소의 색에 따르고 변화시켜서 적용함으로써, 보다 자연스럽게 피부에 모양을 착색할 수 있다.

상기한 구성에 의하면, 인물 화상의 피부의 각 화소의 색에 응하여, 당해 화소의 색과 당해 화소에 대응하는 모양 보정색과의 색공간에서의 위치 관계가, 인물 화상의 피부의 대표색과 모양의 색과의 색공간에서의 위치 관계와 같게 되도록, 모양 보정색을 결정한다. 따라서, 각 화소의 색의 분포에 대응하도록 모양의 색을 보정하여 착색을 위한 모양 보정색을 결정할 수 있다. 그 때문에, 보다 자연스럽게 인물 화상의 피부에 모양을 착색할 수 있다.

또한, 상기 색 보정부는, 상기 인물 화상에서의 제1영역의 대표 휘도와 제2영역의 대표 휘도와의 차이를 이용하여, 상기 모양의 색의 휘도를 보정하여 제1영역용 색 및 제2영역용 색을 결정하여도 좋다.

예를 들면, 인물 화상에서의 피부의 색의 차이는, 촬상시의 조명 등에 기인하는, 밝기의 차이인 일이 많다.

상기한 구성에 의하면, 인물 화상에서의 제1영역의 대표 휘도와 제2영역의 대표 휘도와의 차이에 응하여, 착색 후의 제1영역 및 제2영역의 색의 차가 작아지도록, 모양의 색의 휘도를 보정하여 제1영역용 색 및 제2영역용 색을 결정한다. 따라서, 인물 화상의 피부의 제1영역의 색의 밝기와 제2영역의 색의 밝기가 크게 다른 경우에도, 착색 후의 제1영역 및 제2영역의 모양의 색의 차를 작게 할 수 있다. 그 때문에, 자연스러운 외관이 되도록 인물 화상의 피부에 모양(예를 들면 메이크업)을 착색할 수 있다.

또한, 상기 화상 처리 장치는, 모양의 색을 지정하는 지시를 수취하는 지시 수령부를 구비하고, 색 보정부는, 지정된 색을 보정하여 제1영역용 색 및 제2영역용 색을 결정하는 구성이라도 좋다.

또한, 제1영역 및 제2영역은, 각각 상기 인물 화상의 얼굴의 좌우의 부위에 대응하는 것이라도 좋다.

상기한 구성에 의하면, 인물 화상의 얼굴의 좌우의 같은 부위에, 각각 모양을 착색하는 경우에, 착색 후의 좌우의 모양이 자연스러운 외관에 보이도록 인물 화상의 피부에 모양(예를 들면 메이크업)을 착색할 수 있다.

또한, 상기 화상 처리 장치는, 상기 인물 화상의 소정의 부위의 위치를 검출하는 검출부와, 검출된 상기 위치에 의거하여, 상기 소정의 부위에 착색하는 것을 억제하는 마스크를 생성하는 마스크부를 구비하고, 상기 착색부는, 상기 인물 화상의 제1영역 및 제2영역의 색에, 각각 제1영역용 색 및 제2영역용 색을, 상기 마스크를 반영한 무게를 이용하여 겹침에 의해 상기 모양을 착색하는 구성이라도 좋다.

상기한 구성에 의하면, 소정의 부위에 마스크를 설정하고, 소정의 부위를 모양의 색으로 착색하는 것을 방지할 수 있다. 따라서, 의도에 반하여 인물 화상의 소정의 부위에 모양이 들어가는 것을 방지할 수 있다.

또한, 상기 화상 처리 장치는, 상기 인물 화상의 소정의 부위의 위치를 검출하는 검출부와, 검출된 상기 위치에 의거하여, 상기 인물 화상의 얼굴이, 모양을 착색하는 대상으로서 적합한지의 여부를 판정하는 적부 판정부를 구비하고, 상기 인물 화상의 얼굴이, 모양을 착색하는 대상으로서 적합하다고 판정된 경우에, 상기 착색부는, 상기 인물 화상의 얼굴에 대해 상기 모양을 착색하는 구성이라도 좋다.

상기한 구성에 의하면, 인물 화상의 얼굴이, 모양을 착색하는 대상으로서 적합하다고 판정된 경우에, 모양을 착색하는 처리를 행하기 때문에, 모양을 착색하는 처리의 실패를 방지할 수 있다.

또한, 상기 적부 판정부는, 검출된 상기 위치에 의거하여, 상기 인물 화상의 얼굴 방향을 특정하고, 상기 인물 화상의 얼굴 방향이 소정의 범위 내에 있는 경우, 상기 인물 화상의 얼굴이, 모양을 착색하는 대상으로서 적합하다고 판정하여도 좋다.

인물 화상의 얼굴 방향이, 예를 들면 정면이 아니라 옆을 향함인 경우, 메이크업 등의 모양을 당해 얼굴에 착색하는 것이 어렵다. 상기한 구성에 의하면, 인물 화상의 얼굴 방향이 소정의 범위 내에 있는 경우, 상기 인물 화상의 얼굴이, 모양을 착색하는 대상으로서 적합하다고 판정하기 때문에, 메이크업 처리를 행할 수 있는 인물 화상을 적절하게 판정할 수 있다.

또한, 상기 착색부는, 상기 인물 화상의 얼굴에, 메이크업으로서 상기 모양을 착색하여도 좋다.

상기한 구성에 의하면, 인물 화상의 얼굴의 피부에, 보다 자연스러운 외관이 되도록 적절하게 메이크업을 시행할 수 있다.

또한, 상기 화상 처리 장치는, 일부를 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 부로서 동작시킴에 의해 상기 화상 처리 장치를 컴퓨터에 실현시키는 제어 프로그램, 및 상기 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.

최후로, 화상 처리 장치(6)의 각 블록, 특히 화상 취득부(11), 얼굴 검출부(12), 특징 검출부(13), 적부 판정부(14), 메이크업 형상 결정부(15), 색 보정부(16), 합성부(17), 표시 제어부(18), 형상 조정부(21), 피부 특정부(22), 마스크부(23), 및 무게 분포 결정부(24)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU(central processing unit)를 이용하여 소프트웨어에 의해 실현하여도 좋다.

즉, 화상 처리 장치(6)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 화상 처리 장치(6)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 화상 처리 장치(6)에 공급하고, 그 컴퓨터(또는 CPU나 MPU(microprocessor unit))가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD-R(CD Recordable) 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또한, 화상 처리 장치(6)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN(local area network), ISDN(integrated services digital network), VAN(value-added network), CATV(community antenna television) 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE(institute of electrical and electronic engineers)1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL(asynchronous digital subscriber loop) 회선 등의 유선이라도, IrDA(infrared data association)나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802. 11 무선, HDR(high data rate), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다.

본 발명은 상술한 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포함된다.

[산업상의 이용 가능성]

본 발명은, 화상 처리 장치를 구비하는 디지털 카메라 등에 이용할 수 있다.

1 : 디지털 카메라
2 : 지시 입력 장치
3 : 촬상 장치
4 : 화상 기억 장치
5 : 표시 장치
6 : 화상 처리 장치
11 : 화상 취득부(지시 수령부)
12 : 얼굴 검출부
13 : 특징 검출부(검출부)
14 : 적부 판정부
15 : 메이크업 형상 결정부
16 : 색 보정부
17 : 합성부(착색부)
18 : 표시 제어부
21 : 형상 조정부
22 : 피부 특정부
23 : 마스크부
24 : 무게 분포 결정부

Claims

인물 화상의 피부에, 어느 색의 모양을 착색하는 처리를 행하는 화상 처리 장치로서,
상기 인물 화상에서의 상기 모양을 착색하는 복수의 영역에 관해, 각각의 영역에 적용하는 상기 모양의 색을 다르게 할 수 있도록 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 색 보정부와,
상기 인물 화상의 각 영역의 색에, 각각의 상기 영역용 색을 겹침에 의해 상기 모양을 착색하는 착색부를 구비하고,
상기 색 보정부는, 착색 후의 각 영역의 색의 차가 작아지도록, 상기 인물 화상에서의 각 영역의 대표색의 차이를 이용하여, 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 것을 특징으로 하는 화상 처리 장치.
인물 화상의 피부에, 어느 색의 모양을 착색하는 처리를 행하는 화상 처리 장치로서,
상기 인물 화상에서의 상기 모양을 착색하는 제1영역 및 제2영역에 관해, 각각의 영역에 적용하는 상기 모양의 색을 다르게 할 수 있도록 상기 모양의 색을 보정하여 제1영역용 색과 제2영역용 색을 결정하는 색 보정부와,
상기 인물 화상의 제1영역 및 제2영역의 색에, 각각 제1영역용 색 및 제2영역용 색을 겹침에 의해 상기 모양을 착색하는 착색부를 구비하고,
상기 색 보정부는, 착색 후의 제1영역 및 제2영역의 색의 차가 작아지도록, 상기 인물 화상에서의 제1영역의 대표색과 제2영역의 대표색의 차이를 이용하여, 상기 모양의 색을 보정하여 제1영역용 색 및 제2영역용 색을 결정하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서,
상기 색 보정부는, 제1영역에 포함되는 각 화소에 관해, 당해 화소의 색과 당해 화소에 대응하는 모양 보정색과의 색공간에서의 위치 관계가, 상기 인물 화상의 피부의 대표색과 상기 모양의 색과의 색공간에서의 위치 관계와 같게 되도록, 상기 모양 보정색을 결정하고, 상기 인물 화상에서의 제1영역의 대표색과 제2영역의 대표색의 차이를 이용하여, 상기 모양 보정색을 더욱 보정하여 당해 화소에 대응하는 제1영역용 색을 결정하는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서,
상기 색 보정부는, 제1영역에 포함되는 각 화소에 관해, 당해 화소의 색과 당해 화소에 대응하는 모양 보정색과의 색공간에서의 휘도의 비가, 상기 인물 화상의 피부의 대표색과 상기 모양의 색과의 색공간에서의 휘도의 비와 같게 되도록, 상기 모양 보정색을 결정하는 것을 특징으로 하는 화상 처리 장치.
제3항 또는 제4항에 있어서,
상기 색 보정부는, 제1영역에 포함되는 각 화소에 관해, 당해 화소의 색과 당해 화소에 대응하는 모양 보정색과의 색공간에서의 색상의 차가, 상기 인물 화상의 피부의 대표색과 상기 모양의 색과의 색공간에서의 색상의 차와 같게 되도록, 상기 모양 보정색을 결정하는 것을 특징으로 하는 화상 처리 장치.
제2항 내지 제5항 중 어느 한 항에 있어서,
상기 색 보정부는, 상기 인물 화상에서의 제1영역의 대표 휘도와 제2영역의 대표 휘도와의 차이를 이용하여, 상기 모양의 색의 휘도를 보정하여 제1영역용 색 및 제2영역용 색을 결정하는 것을 특징으로 하는 화상 처리 장치.
제2항 내지 제6항 중 어느 한 항에 있어서,
상기 모양의 색을 지정하는 지시를 수취하는 지시 수령부를 구비하고,
상기 색 보정부는, 상기 지정된 색을 보정하여 제1영역용 색 및 제2영역용 색을 결정하는 것을 특징으로 하는 화상 처리 장치.
제2항 내지 제7항 중 어느 한 항에 있어서,
제1영역 및 제2영역은, 각각 상기 인물 화상의 얼굴의 좌우의 부위에 대응하는 것을 특징으로 하는 화상 처리 장치.
제2항 내지 제8항 중 어느 한 항에 있어서,
상기 인물 화상의 소정의 부위의 위치를 검출하는 검출부와,
검출된 상기 위치에 의거하여, 상기 소정의 부위에 착색하는 것을 억제하는 마스크를 생성하는 마스크부를 구비하고,
상기 착색부는, 상기 인물 화상의 제1영역 및 제2영역의 색에, 각각 제1영역용 색 및 제2영역용 색을, 상기 마스크를 반영한 무게를 이용하여 겹침에 의해 상기 모양을 착색하는 것을 특징으로 하는 화상 처리 장치.
제2항 내지 제8항 중 어느 한 항에 있어서,
상기 인물 화상의 소정의 부위의 위치를 검출하는 검출부와,
검출된 상기 위치에 의거하여, 상기 인물 화상의 얼굴이, 모양을 착색하는 대상으로서 적합한지의 여부를 판정하는 적부 판정부를 구비하고,
상기 인물 화상의 얼굴이, 모양을 착색하는 대상으로서 적합하다고 판정된 경우에, 상기 착색부는, 상기 인물 화상의 얼굴에 대해 상기 모양을 착색하는 것을 특징으로 하는 화상 처리 장치.
제10항에 있어서,
상기 적부 판정부는, 검출된 상기 위치에 의거하여, 상기 인물 화상의 얼굴 방향을 특정하고, 상기 인물 화상의 얼굴 방향이 소정의 범위 내에 있는 경우, 상기 인물 화상의 얼굴이, 모양을 착색하는 대상으로서 적합하다고 판정하는 것을 특징으로 하는 화상 처리 장치.
제2항 내지 제11항 중 어느 한 항에 있어서,
상기 착색부는, 상기 인물 화상의 얼굴에, 메이크업으로서 상기 모양을 착색하는 것을 특징으로 하는 화상 처리 장치.
인물 화상의 피부에, 어느 색의 모양을 착색하는 처리를 행하는 화상 처리 방법으로서,
상기 인물 화상에서의 상기 모양을 착색하는 복수의 영역에 관해, 각각의 영역에 적용하는 상기 모양의 색을 다르게 할 수 있도록 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 색 보정 스텝과,
상기 인물 화상의 각 영역의 색에, 각각의 상기 영역용 색을 겹침에 의해 상기 모양을 착색하는 착색 스텝을 포함하고,
상기 색 보정 스텝에서는, 착색 후의 각 영역의 색의 차가 작아지도록, 상기 인물 화상에서의 각 영역의 대표색의 차이를 이용하여, 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 것을 특징으로 하는 화상 처리 방법.
인물 화상의 피부에, 어느 색의 모양을 착색하는 처리를 행하는 화상 처리 장치의 제어 프로그램으로서,
상기 인물 화상에서의 상기 모양을 착색하는 각 영역에 관해, 착색 후의 각 영역의 색의 차가 작아지도록, 상기 인물 화상에서의 각 영역의 대표색의 차이를 이용하여, 상기 모양의 색을 보정하여 각 영역용 색을 결정하는 색 보정 스텝과,
상기 인물 화상의 각 영역의 색에, 각각의 상기 영역용 색을 겹침에 의해 상기 모양을 착색하는 착색 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 제어 프로그램.