KR20160030360A - 이미지 보정 장치, 이미지 보정 방법 및 기록 매체에 저장된 컴퓨터 프로그램 - Google Patents

Abstract

본 발명의 과제는 원하는 형태의 얼굴의 이미지를 보다 간단히 얻기 쉽게 하는 것이다. 본 발명의 일 실시예에 의하면, 촬상 장치는, 이미지 취득부와, 보정 범위 설정부와, 이미지 보정부를 포함한다. 이미지 취득부는, 이미지를 취득한다. 보정 범위 설정부는, 이미지 취득부에 의해 취득된 이미지 내의 인물의 얼굴의 위치를 기준으로 한 새로운 위치에 상기 얼굴의 보정의 범위를 설정한다. 이미지 보정부는, 보정 범위 설정부에 의해 설정된 보정의 범위 내의 이미지를 보정한다. 이에 의해, 상기 촬상 장치에 있어서는, 원하는 형의 얼굴의 이미지를 보다 간단하게, 그리고 용이하게 얻을 수 있다.

Description

이미지 보정 장치, 이미지 보정 방법 및 기록 매체에 저장된 컴퓨터 프로그램{IMAGE CORRECTING APPARATUS, IMAGE CORRECTING METHOD AND COMPUTER PROGRAM STORED IN RECORDING MEDIUM}

본 발명은, 인물의 이미지를 보정하는 이미지 보정 장치, 이미지 보정 방법 및 기록 매체에 저장된 컴퓨터 프로그램에 관한 것이다.

종래, 촬상된 이미지 내의 인물의 얼굴을 원하는 형으로 보정하는 기술이 존재한다. 일본 특허출원공개 특개2012-142772호 공보에는, 이미지 내의 인물의 얼굴의 윤곽을 추출해서 해당 윤곽에 대하여 보정 처리를 행하는 기술이 개시되어 있다.

일본 특허출원공개 특개2012-142772호 공보. 2012.7.26.

그러나, 상기 특허문헌 1에 개시되어 있는 기술로는, 추출된 윤곽의 위치가 벗어나는 경우, 보정 처리의 결과인 인물의 얼굴이 원하는 형이 되지 않는다는 문제가 있다.

본 발명은, 상기와 같은 문제를 감안하여 행해진 것이며, 원하는 형의 얼굴의 이미지를 보다 간단히, 그리고, 용이하게 얻을 수 있도록 하는 것을 목적으로 한다.

본 발명의 일 실시예에 의하면, 이미지를 취득하는 취득부와, 상기 이미지 내의 인물의 얼굴의 위치를 기준으로 한 소정의 위치에 상기 얼굴의 보정의 범위를 설정하는 설정부와, 상기 보정의 범위 내의 이미지를 보정하는 보정부를 포함하는 이미지 보정 장치가 제공된다.

본 발명의 일 실시예에 의하면, 이미지를 취득하는 취득 단계와, 상기 이미지 내의 인물의 얼굴의 위치를 기준으로 한 새로운 위치에 상기 얼굴의 보정의 범위를 설정하는 설정 단계와, 상기 설정 단계에서 설정된 보정의 범위 내의 이미지를 보정하는 보정 단계를 포함하는 이미지 보정 방법이 제공된다.

본 발명의 일 실시예에 의하면, 이미지 보정 장치에, 이미지를 취득하는 취득 기능, 상기 이미지 내의 인물의 얼굴의 위치를 기준으로 하는 새로운 위치에 상기 얼굴의 보정의 범위를 설정하는 설정 기능, 및 상기 설정 기능에 의해 설정된 보정의 범위 내의 이미지를 보정하는 보정 기능을 실현시키는, 컴퓨터로 읽을 수 있는 기록 매체에 저장된 프로그램이 제공된다.

본 발명의 이점들은 이하의 상세한 설명에 상세히 개시되어 있고, 부분적으로는 상기 상세한 설명으로부터 자명하고 본 발명의 실시에 의해 이해될 수도 있다. 본 발명의 이점들은 이하에 구체적으로 언급된 수단 및 조합에 의해 실현되고 성취될 수 있다.

본 발명에 의하면, 원하는 형의 얼굴의 이미지를 더욱 간단하게, 그리고, 용이하게 얻을 수 있다.

본 명세서에 통합되고 그 일부를 구성하는 첨부된 도면은 본 발명의 실시예들을 도시하고, 상기의 일반적인 설명 및 이하의 실시예들에 관한 상세한 설명과 함께, 본 발명의 원리를 설명하는데 사용된다.
도 1은, 본 발명의 일 실시 형태에 의한 촬상 장치의 하드웨어 구성을 도시한 블록도이다.
도 2는, 본 실시 형태에 있어서의 갸름한 얼굴 보정의 방법에 대해서 설명하는 모식도이다.
도 3은, 트리밍 영역과 보정 범위의 설정 방법을 설명하기 위한 모식도이다.
도 4는, 얼굴 위치에 따른 보정 강도의 변경을 설명하기 위한 모식도이다.
도 5는, 도 1의 촬상 장치의 기능적 구성 중, 갸름한 얼굴 보정 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.
도 6은, 도 5의 기능적 구성을 갖는 도 1의 촬상 장치가 실행하는 갸름한 얼굴 보정 처리의 흐름을 설명하는 흐름도이다.

이하, 본 발명의 실시 형태에 대해서, 도면을 이용해서 설명한다.

도 1은, 본 발명의 일 실시 형태에 의한 촬상 장치의 하드웨어 구성을 도시한 블록도이다. 촬상 장치 1은, 예를 들면, 디지털 카메라로서 구성된다.

촬상 장치 1은, CPU(Central Processing Unit) 11과, ROM(Read Only Memory) 12와, RAM(Random Access Memory) 13과, 버스 14와, 입출력 인터페이스 15와, 촬상부 16과, 입력부 17과, 출력부 18과, 기억부 19와, 통신부 20과, 드라이브 21을 포함하고 있다.

CPU 11은, ROM 12에 기록되어 있는 프로그램, 또는, 기억부 19로부터 RAM 13에 로드된 프로그램에 따라서 각종 처리를 실행한다.

RAM 13에는, CPU 11이 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.

CPU 11, ROM 12 및 RAM 13은, 버스 14를 통해서 서로 접속되어 있다. 이 버스 14에는 또한, 입출력 인터페이스 15도 접속되어 있다. 입출력 인터페이스 15에는, 촬상부 16, 입력부 17, 출력부 18, 기억부 19, 통신부 20 및 드라이브 21이 접속되어 있다.

촬상부 16은, 도시는 생략하지만, 광학 렌즈(optical lens)부와, 이미지 센서를 포함한다.

광학 렌즈부는, 피사체를 촬영하기 위해서, 빛을 모으는 렌즈, 예를 들면, 포커스 렌즈나 줌 렌즈 등으로 구성된다.

포커스 렌즈는, 이미지 센서의 수광면에 피사체 상을 결상시키는 렌즈다. 줌 렌즈는, 초점 거리를 일정한 범위에서 자유자재로 변화시키는 렌즈다. 광학 렌즈부에는 또한, 필요에 따라, 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 설치된다.

이미지 센서는, 광전 변환 소자나, AFE(Analog Front End) 등으로 구성된다.

광전 변환 소자는, 예를 들면 CMOS(Complementary Metal Oxide Semiconductor) 형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는, 광학 렌즈부로부터 피사체 상이 입사된다. 광전 변환 소자는, 피사체 상을 광전 변환(촬상)해서 이미지 신호를 일정 시간 축적하고, 축적한 이미지 신호를 아날로그 신호로서 AFE에 순차 공급한다.

AFE는, 이 아날로그의 이미지 신호에 대하여, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. 각종 신호 처리에 의해, 디지털 신호가 생성되어, 촬상부 16의 출력 신호로서 출력된다.

이러한 촬상부 16의 출력 신호를, 이하, "촬상 이미지의 데이터"라고 부른다. 촬상 이미지의 데이터는, CPU 11등에 적절히 공급된다.

입력부 17은, 각종 버튼 등으로 구성되고, 사용자의 지시 조작에 따라서 각종 정보를 입력한다.

출력부 18은, 디스플레이나 스피커 등으로 구성되고, 이미지나 음성을 출력한다.

기억부 19는, 하드 디스크 또는 DRAM(Dynamic Random Access Memory) 등으로 구성되고, 각종 이미지 데이터를 기억(저장)한다.

통신부 20은, 인터넷을 포함하는 네트워크를 통해서 다른 장치(도시는 생략)와의 사이에서 행하는 통신을 제어한다.

드라이브 21에는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는, 리무버블(removable) 미디어 31이 적절히 장착된다. 드라이브 21에 의해 리무버블 미디어 31로부터 독출된 프로그램은, 필요에 따라 기억부 19에 인스톨된다. 또, 리무버블 미디어 31은, 기억부 19에 기억되어 있는 이미지 데이터 등의 각종 데이터도, 기억부 19와 유사하게 기억할 수 있다.

종래의 갸름한 얼굴 보정으로는, 예를 들면, 이미지 보정의 대상이 되는 이미지(이하, "보정 대상 이미지"라고 함)로부터 얼굴의 턱의 윤곽을 추출해서, 추출한 턱의 페이스 라인에만 이미지 보정을 시행하고 있었다. 그렇지만, 이러한 방법을 채용하면, 이미지에서 턱 이외의 부분을 턱의 윤곽으로서 추출해 버리는 등의 턱의 윤곽의 추출에 실패한 경우에는, 적절한 장소에 이미지 보정이 행해지지 않고, 부자연스러운 얼굴의 이미지가 생성되어 버린다는 문제가 있었다.

따라서, 본 실시 형태에서는, 이미지 보정의 대상이 되는 영역을, 턱의 형상으로부터 특정한 턱의 윤곽으로 하지 않고, 검출된 얼굴로부터 좌우 양턱을 포함하는 입가에 상당하는 영역으로 한다.

도 2는, 본 실시 형태에 있어서의 갸름한 얼굴 보정의 방법에 대해서 설명하는 모식도이다. 본 실시 형태에 있어서의 갸름한 얼굴 보정의 방법은, 도 2에 도시된 것처럼, 검출된 얼굴에 설정되는 테두리(이하, "얼굴 테두리"라고 함) R1에 기초해서, 보정 대상 이미지로부터 보정의 대상이 되는 영역을 포함하는 소정의 영역(이하, "트리밍 영역"이라고 함) R2를 트리밍해서 이미지로서 절취한다. 그리고, 이 절취한 이미지(이하, "트리밍 이미지"라고 함)의 전체에 대하여, 이미지 보정을 시행하는 것은 아니고, 소정의 범위(이하, "보정 범위"라고 함) R3에 왜곡 보정을 시행한다. 그리고, 트리밍 이미지를 원래의 이미지에 부착하는 것과 같이 합성함으로써, 갸름한 얼굴 보정이 시행된 이미지가 된다.

여기서, 트리밍 영역 R2와 보정 범위 R3의 설정 방법에 대해서 설명한다.

도 3은, 트리밍 영역 R2와 보정 범위 R3의 설정 방법을 설명하기 위한 모식도이다.

보정 대상 이미지에 있어서의 트리밍 영역 R2는, 도 3에 도시된 바와 같이, 얼굴 검출의 결과, 설정된 얼굴 테두리 R1의 중심 위치 C1으로부터 얼굴의 아래쪽(턱 방향)으로 소정 거리 D(본 실시 형태에 있어서는, 얼굴 테두리 R1의 세로 방향 길이의 20~30%)만큼 이동한 위치를 트리밍 영역 R2의 중심 위치 C2로 하고, 얼굴 테두리 R1의 크기로부터 소정의 배율 S(본 실시 형태에 있어서는, 1.50~1.90배)만큼 커지도록 설정된다. 한편, 검출된 얼굴에 대한 트리밍 영역 R2의 중심 위치 C2 및 배율 S는, 검증 등에 의해 경험적으로 얻어진 것이므로, 촬영 상황에 따라서 변경가능하다.

개념적으로는, 얼굴의 눈·눈썹과 턱의 윤곽을 포함하는 위치에 얼굴 테두리 R1이 설정되고, 설정된 얼굴 테두리의 중심 위치 C1으로부터 얼굴의 코 부근으로 이동한 위치가 중심 위치 C2가 되고, 코 부근을 중심으로 해서 턱의 윤곽이 포함되는 배율 S가 되도록 트리밍 영역 R2가 설정된다.

또한, 본 실시 형태에 있어서는, 트리밍 이미지 전체에 대해서 이미지 보정을 시행하는 것은 아니고, 트리밍 이미지 내의 소정의 범위(이하, "보정 범위"라고 함) R3에 대하여 이미지 보정을 시행한다. 보정 범위 R3는, 트리밍 이미지의 중심 C2를 중심으로 한 소정의 범위(본 실시 형태에 있어서는, 얼굴에 대하여 가로로 긴 타원 형상이고, 가장 바깥쪽 가장자리가 트리밍 이미지의 조금 안쪽이 되는 범위)가 된다. 또, 보정 범위 R3의 보정 강도는, 보정 범위에 있어서의 장축의 방향이, 단축의 방향보다도 상대적으로 강해지도록 설정된다.

이러한 보정 범위 R3를 설정하는 것으로, 트리밍 이미지의 바깥쪽 가장자리 부분에는 이미지 보정이 시행되지 않게 되고, 트리밍 이미지를 원래의 이미지에 부착하는 것과 같이 합성한 경우에, 트리밍 이미지와 원래의 이미지의 트리밍 이미지 이외의 영역과의 경계에서의 이미지의 조정을 목적으로 하는 처리가 불필요해진다.

이렇게 해서, 얼굴의 양쪽 턱을 포함하는 입가를 포함하는 영역 전체를, 윤곽 추출을 하지 않고 보정함으로써, 턱을 추출해서 좌우의 턱에 개별적으로 이미지 보정을 실시하는 경우에 비해서, 이미지 보정에 관련된 처리 부담을 경감할 수 있고, 갸름한 얼굴 보정에 관련된 처리를 고속화할 수 있다.

또, 보정 범위 R3에 있어서의 이미지 보정은, 도 2에 도시된 것처럼, 얼굴이 원래보다 갸름해지도록 보정 범위의 중심을 향해서 픽셀을 조정하는(예를 들어, 보정 범위의 중심을 향해서 잡아당기는 것과 같은) 왜곡 보정을 실시한다.

이에 더하여, 본 실시 형태에 있어서는, 광각 렌즈를 이용한 경우의 광각 렌즈에 기인하는 왜곡의 보정(이하, "렌즈 수차 보정"이라고 함)에 기인하는 왜곡을 고려해서 이미지 보정의 강함의 정도(본 실시 형태에 있어서는, "보정 강도"라고 함)를 변경한다. 즉, 광각 렌즈를 이용한 경우에, 이미지에 있어서의 위치에 따라서는 상기 렌즈 수차 보정의 영향을 받기 때문에, 본 실시 형태에 있어서는, 보정 범위의 이미지에 있어서의 위치(본 실시 형태에 있어서는, 얼굴의 위치)에 따라서, 보정 강도를 바꾸도록 구성한다.

도 4는, 얼굴 위치에 따른 보정 강도의 변경을 설명하기 위한 모식도이다.

도 4에 도시된 것처럼, 이미지에 있어서 얼굴의 위치가 중앙 부근인 경우에는, 렌즈 수차 보정의 영향을 받지 않기 때문에, 보정 강도를 표준으로 한다.

또, 이미지에 있어서 얼굴의 위치가 상부 부근인 경우에는, 렌즈 수차 보정의 영향을 받고, 머리의 부분이 잡아 당겨져서 얼굴이 가늘고 길어지게 되기 때문에, 보정 강도를 0으로, 즉, 보정을 필요로 하지 않거나, 보정 강도를 약(弱)으로 한다.

또, 이미지에 있어서 얼굴의 위치가 하부 부근인 경우에는, 렌즈 수차 보정의 영향을 받고, 턱의 부분이 잡아 당겨져서 얼굴이 넓어지기 때문에, 보정 강도를 강(强)으로 한다.

도 5는, 이러한 촬상 장치 1의 기능적 구성 중, 갸름한 얼굴 보정 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.

갸름한 얼굴 보정 처리란, 취득한 촬상 이미지에 있어서 얼굴이 검출된 경우에는, 해당 얼굴의 위치에 기초한 트리밍 영역에서 이미지를 잘라내고, 상기 잘라낸 트리밍 이미지에 대하여, 얼굴의 위치로부터 판단되는 보정 강도로, 얼굴의 턱 등의 윤곽 추출을 하지 않고, 이미지의 보정을 행하여 보정 이미지를 생성하는 일련의 처리를 말한다.

갸름한 얼굴 보정 처리를 실행하는 경우에는, 도 5에 도시된 것처럼, CPU 11에 있어서, 촬상 제어부 51과, 이미지 취득부 52와, 얼굴 검출부 53과, 트리밍 영역 설정부 54와, 보정 강도 설정부 55와, 이미지 가공부 56과, 보정 범위 설정부 57과, 이미지 보정부 58과, 기억 제어부 59가 기능한다.

또, 기억부 19의 일 영역에는, 이미지 기억부 71과, 보정 정보 기억부 72가 설정된다.

이미지 기억부 71에는, 촬상부 16으로부터 취득한 촬상 이미지, 외부로부터 취득한 이미지, 이미지 보정 처리를 실시한 보정 이미지의 데이터가 기억된다.

보정 정보 기억부 72는, 트리밍 영역의 설정값, 얼굴의 위치에 있어서의 보정 강도, 보정 범위의 설정값, 왜곡 보정의 방법 등의 보정에 관련된 정보(이하, "보정 정보"라고 함)가 기억되어 있다. 트리밍 영역의 설정값은, 구체적으로는, 얼굴 테두리의 중심 위치로부터 산출할 수 있는, 이동 양의 값이나 크기의 배율이고, 얼굴의 위치에 있어서의 보정 강도는, 도 4에 도시된 것처럼, 중앙·상부·하부의 경우에 대응하는 보정 강도다.

촬상 제어부 51은, 촬영을 행하도록 촬상부 16을 제어한다. 이미지 취득부 52는 촬상부 16에 의해 촬영된 이미지를 현상 처리해서 촬상 이미지를 취득한다.

얼굴 검출부 53은, 이미지 취득부 52에 의해 취득된 촬상 이미지에 대하여, 얼굴 검출을 행한다. 얼굴 검출부 53은, 얼굴 검출을 행한 촬상 이미지 내에 얼굴이 존재하는지 아닌지를 판정한다. 이때, 얼굴 검출부 53은, 얼굴의 검출 시에, 이미지에 있어서의 얼굴의 위치도 검출한다. 예를 들면, 도 4에 도시된 것처럼, 얼굴 검출부 53은, 이미지에 있어서의 얼굴의 위치로서, 중앙·상부·하부의 얼굴 위치를 검출한다.

트리밍 영역 설정부 54는, 보정 정보 기억부 72에 기억되는 보정 정보에 기초해서, 트리밍 영역의 설정을 행한다. 도 3에 도시된 것처럼, 트리밍 영역 R2는, 얼굴 테두리의 중심 위치 C1으로부터 얼굴의 턱 방향으로 소정의 거리 D만큼 이동한 위치를 중심 위치 C2로 하고, 얼굴 테두리의 사이즈의 소정의 배율 S의 크기를 갖는다. 이에 의해, 얼굴의 코의 아래 부근을 중심으로 하는 영역이 트리밍 영역 R2로서 설정된다.

보정 강도 설정부 55는, 보정 정보 기억부 72에 기억되는 보정 정보에 기초해서, 얼굴 검출부 53에 의해 검출된 이미지에 있어서의 얼굴의 위치에 따라서, 보정 강도를 설정한다. 보정 강도는, 도 4에 도시된 것처럼, 이미지에 있어서 얼굴의 위치가 중앙 부근인 경우에는, 표준으로 설정되고, 상부 부근인 경우에는, 불필요이거나 약으로 설정되고, 하부 부근인 경우에는, 강으로 설정된다.

이미지 가공부 56은, 트리밍 처리를 실행한다. 구체적으로는, 이미지 가공부 56은, 촬상 이미지에 있어서, 설정된 트리밍 영역의 이미지(이하, "트리밍 이미지"라고 함)를 절취한다. 이에 의해, 촬상 이미지에 있어서, 얼굴의 코의 아래 부근을 중심으로 하는 트리밍 이미지가 잘라내진다.

또, 이미지 가공부 56은, 이미지 보정부 58에 의해 이미지 보정이 실시된 트리밍 이미지를, 상기 트리밍 이미지를 잘라낸 원래의 이미지의 위치에 부착하는 방식으로 합성된 이미지를 생성한다. 이에 의해, 보정 이미지가 생성된다.

보정 범위 설정부 57은, 보정 정보 기억부 72에 기억되는 보정 정보에 기초해서, 얼굴 테두리에 기초해서 설정된 위치에 보정 범위를 설정한다. 즉, 보정 범위 설정부 57은, 얼굴 테두리에 기초해서 잘라내진 트리밍 이미지의 중심으로부터의 소정의 범위를 보정 범위로서 설정한다. 본 실시 형태에 있어서는, 보정 범위 설정부 57은, 도 3에 도시된 것처럼, 트리밍 이미지의 중심 위치 C2를 중심으로 해서, 얼굴의 방향에 대하여 가로로 긴 타원 형상이고, 가장 바깥쪽 가장자리가 트리밍 이미지의 안쪽인 범위를 보정 범위로서 설정한다.

이미지 보정부 58은, 보정 정보 기억부 72에 기억되는 보정 정보에 기초해서, 이미지 보정 처리를 실행한다. 구체적으로는, 이미지 보정부 58은, 트리밍된 이미지에 대하여, 보정 범위 설정부 57에 의해서 설정된 보정 범위에, 예를 들면, 도 2에 도시된 것처럼 보정 범위의 중심을 향해서, 이미지의 좌우 방향이 상하 방향보다도 보정 강도가 상대적으로 강해지도록 잡아당기는 것과 같은 왜곡 보정을 실시한다. 이에 의해, 얼굴의 턱 부근에 대해서, 턱이 갸름해지는 방향으로 이미지가 왜곡된다. 또, 왜곡 보정은, 보정 범위 근방에서 실시되기 때문에, 잘라내진 이미지의 바깥 가장자리 부분에는 실시되지 않는다. 즉, 잘라내진 이미지를 트리밍 이미지를 잘라낸 원래의 이미지 위치에 부착하는 방식으로 합성하는 경우에, 원래의 이미지에 있어서의 경계의 이미지와의 조정을 목적으로 하는 처리가 불필요해진다.

기억 제어부 59는, 생성된 보정 이미지를 이미지 기억부 71에 기억시킨다.

도 6은, 도 5의 기능적 구성을 갖는 도 1의 촬상 장치 1이 실행하는 갸름한 얼굴 보정 처리의 흐름을 설명하는 흐름도이다.

갸름한 얼굴 보정 처리는, 사용자에 의한 입력부 17로의 갸름한 얼굴 보정 처리 개시의 조작에 의해 개시된다.

단계 S11에 있어서, 촬상 제어부 51은, 촬영을 행하도록 촬상부 16을 제어한다.

단계 S12에 있어서, 이미지 취득부 52는, 현상 처리를 행하고, 촬상 이미지를 취득한다.

단계 S13에 있어서, 얼굴 검출부 53은, 이미지 취득부 52에 의해 취득된 촬상 이미지에 대하여, 얼굴 검출을 행한다.

단계 S14에 있어서, 얼굴 검출부 53은, 얼굴 검출을 행한 촬상 이미지에 얼굴이 존재하는지 아닌지를 판정한다. 또, 얼굴이 존재한다고 판정된 경우에는, 이미지에 있어서의 얼굴의 위치도 판정한다.

얼굴이 존재하지 않는다고 판정된 경우에는, 단계 S14에서 "아니오"로 판정되고, 갸름한 얼굴 보정 처리를 종료한다.

얼굴이 존재한다고 판정된 경우에는, 단계 S14에서 "예"로 판정되고, 처리는 단계 S15로 진행한다.

단계 S15에 있어서, 트리밍 영역 설정부 54는, 보정 정보 기억부 72에 기억되는 보정 정보에 기초해서, 트리밍 영역의 설정을 행한다. 트리밍 영역은, 도 3에 도시된 것처럼, 검출된 얼굴에 설정된 얼굴 테두리 R1의 중심 위치 C1으로부터 얼굴의 턱 방향으로 소정의 거리 D만큼 이동한 위치를 트리밍 영역의 중심 위치 C2로 하고, 얼굴 테두리 R1의 사이즈의 배율 S의 크기를 갖는다. 이에 의해, 얼굴의 코의 아래 부근을 중심으로 하는 영역이 트리밍 영역 R2로서 설정된다.

단계 S16에 있어서, 보정 강도 설정부 55는, 보정 정보 기억부 72에 기억되는 보정 정보에 기초해서, 얼굴 검출부 53에 의해 검출된 이미지에 있어서의 얼굴의 위치에 따른 보정 강도를 설정한다. 보정 강도는, 도 4에 도시된 것처럼, 이미지에 있어서 얼굴의 위치가 중앙 부근인 경우에는, 표준으로 설정되어, 상부 부근인 경우에는, 불필요 또는 약으로 설정되며, 하부 부근인 경우에는, 강으로 설정된다.

단계 S17에 있어서, 이미지 보정부 58은, 이미지 보정 처리를 실행할 것인지 아닌지를 판정한다. 이미지 보정 처리의 실행 판정은, 보정 강도가 불필요로 설정되었는지 혹은 그 이외의 설정인지를 판정하는 것에 따라서 행한다.

이미지 보정 처리를 실행하지 않는 경우에는, 단계 S17에서 "아니오"로 판정되고, 처리는 단계 S22로 진행한다. 단계 S22의 처리는 후술한다.

이미지 보정 처리를 실행할 경우에는, 단계 S17에서 "예"로 판정되고, 처리는 단계 S18로 진행한다.

단계 S18에 있어서, 이미지 가공부 56은, 트리밍 처리를 실행한다. 구체적으로는, 이미지 가공부 56은, 촬상 이미지에 있어서, 설정된 트리밍 영역의 이미지를 잘라낸다(도 2를 참조). 이에 의해, 촬상 이미지에 있어서, 얼굴의 코 아래 부근을 중심으로 하는 트리밍 이미지가 잘라내진다.

단계 S19에 있어서, 보정 범위 설정부 57은, 보정 정보 기억부 72에 기억되는 보정 정보에 기초해서, 보정 범위를 설정한다. 구체적으로는, 보정 범위 설정부 57은, 도 3에 도시된 것처럼, 트리밍 이미지의 중심 위치 C2를 보정 중심으로 하는 가로로 긴 타원 형상의 범위를 보정 범위 R3로서 설정한다.

단계 S20에 있어서, 이미지 보정부 58은, 보정 정보 기억부 72에 기억되는 보정 정보에 기초해서, 이미지 보정 처리를 실행한다. 구체적으로는, 이미지 보정부 58은, 도 2에 도시된 것처럼, 보정 범위 설정부 57에 의해 설정된 보정 범위 R3에 대해서, 보정 강도가 좌우 방향이 상하 방향보다도 상대적으로 강해지도록 보정 중심으로 이미지를 잡아당기는 것과 같은 왜곡 보정을 시행한다. 이에 의해, 얼굴의 턱 부근에 대하여, 턱이 갸름해지는 방향으로 이미지를 왜곡시킬 수 있다. 또, 왜곡 보정은, 보정 범위 근방에서 실시되기 때문에, 잘라내진 이미지의 바깥 가장자리 부분(외연부)에는 실시되지 않는다. 즉, 잘라내진 이미지를 원래의 이미지 위치에 붙이는 방식으로 합성한 경우에, 트리밍 이미지와 원래의 이미지의 트리밍 이미지 이외의 영역과의 경계에서의 이미지의 조정을 목적으로 하는 처리가 불필요해진다.

단계 S21에 있어서, 이미지 가공부 56은, 이미지 보정이 시행된 트리밍 이미지를, 잘라낸 원래의 이미지의 위치에 부착하는 것과 같이 합성한다(도 2를 참조). 이에 의해, 보정 대상 이미지에 갸름한 얼굴 보정이 실시되어, 이미지의 얼굴이 갸름한 얼굴이 된 이미지가 생성된다.

단계 S22에 있어서, 기억 제어부 59는, 생성된 보정 이미지를 이미지 기억부 71에 기억시킨다. 그 후, 갸름한 얼굴 보정 처리는, 종료한다.

또한, 상기한 갸름한 얼굴 보정 처리의 흐름도에 있어서, 보정 대상 이미지에 있어서의 얼굴의 위치가 검출된 후에, 단계 S17의 처리를 단계 S15 전에 행하여, 보정 이미지의 생성의 유무를 초기에 판단하도록 구성해도 좋다. 이렇게 구성하는 것에 의해, 단계 S17에서 "아니오"가 되는 경우에 낭비되는 처리를 하지 않게 되어 바람직하다.

종래 기술에서는, 얼굴의 윤곽을 추출하고, 오른쪽 볼, 왼쪽 볼의 페이스 라인에만 이미지 처리를 실시하였다. 이 때문에 윤곽을 추출하는 처리가 요구되었다. 그렇지만, 본 실시 형태의 촬상 장치 1에 있어서는, 윤곽을 추출하지 않고, 입가를 중심으로 타원형으로 보정 처리함으로써, 얼굴 테두리만의 정보로 보정 처리가 가능해진다. 또, 변환 처리도 한번으로 끝나기 때문에 시간을 단축할 수 있게 된다. 또한, 렌즈 수차 보정을 더욱 고려해서, 얼굴이 촬영 범위의 어디에, 어느 방향으로 위치하고 있는지를 검출하고, 그 결과에 따라서 효과의 강도를 조정하는 것으로, 보다 효과적인 갸름한 얼굴의 결과를 얻을 수 있다. 즉, 촬상 장치 1에 있어서는, 촬영된 인물 이미지에 대하여 효과적으로, 그리고, 간단히 얼굴을 갸름하게 할 수 있다.

이상과 같이 구성되는 촬상 장치 1은, 이미지 취득부 52와, 보정 범위 설정부 57과, 이미지 보정부 58을 포함한다.

이미지 취득부 52는, 이미지를 취득한다.

보정 범위 설정부 57은, 이미지 취득부 52에 의해 취득된 이미지 내의 인물의 얼굴의 위치를 기준으로 한 새로운 위치에 해당 얼굴의 보정의 범위를 설정한다.

이미지 보정부 58은, 보정 범위 설정부 57에 의해 설정된 보정의 범위 내의 이미지의 형상을 보정한다.

이에 의해, 촬상 장치 1에 있어서는, 인물의 얼굴의 위치를 기준으로 한 새로운 위치에 보정을 행할 수 있기 때문에, 원하는 형의 얼굴의 이미지를 더욱 간단히, 그리고, 용이하게 얻을 수 있다.

또, 촬상 장치 1은, 이미지 내에서의 인물의 얼굴의 위치를 판정하는 얼굴 검출부 53을 더 포함한다.

이미지 보정부 58은, 얼굴 검출부 53에 의한 판정 결과에 따른 강도로 보정의 범위 내의 이미지의 형상을 보정한다.

이에 의해, 촬상 장치 1에 있어서는, 예를 들면, 렌즈 수차 보정이 필요한 경우에 있어서, 이미지에 있어서의 얼굴의 위치에 따라서 보정의 강도를 바꾸기 때문에, 원하는 형의 얼굴의 이미지를 보다 간단히, 그리고, 용이하게 얻을 수 있다.

또, 촬상 장치 1은, 얼굴의 위치를 기준으로 해서, 보정의 범위를 중심으로 하는 영역을 잘라내고, 잘라내진 영역을 상기 이미지 내의 원래의 영역의 위치에 부착하는 방식으로 합성하는 이미지 가공부 56을 더 포함한다.

이미지 보정부 58은, 이미지 가공부 56에 의해 잘라내진 영역에 포함되는 보정의 범위 내의 이미지의 형상을 보정한다.

이에 의해, 촬상 장치 1에 있어서는, 잘라내진 영역에 대하여 보정을 행하기 때문에, 원하는 대상에만 보정을 행하고, 보정의 대상이 되지 않는 영역에 대해서는 영향을 끼치지 않게 된다.

몇몇 실시예에서, 이미지 보정부 58은, 얼굴이 원래보다 갸름해지도록 보정 범위의 중심을 향해서 픽셀을 조정하는 왜곡 보정을 실시한다. 예를 들어, 이미지 보정부 58은 보정의 범위의 중심을 향해서 잡아당기는 것과 같은 보정을 행한다.

이에 의해, 촬상 장치 1에 있어서는, 예를 들면, 턱을 갸름하게 하는 것과 같은 보정을 할 수 있기 때문에, 원하는 형의 얼굴의 이미지를 더욱 간단하고 용이하게 얻을 수 있다.

몇몇 실시예에서, 보정 범위 설정부 57은, 타원 형상으로 보정의 범위를 설정한다. 한편, 타원 형상의 개념에는, 거의 원형인 형상도 포함되는 것으로 한다.

이에 의해, 촬상 장치 1에 있어서는, 입가에 대하여, 보정을 실시할 수 있고, 원하는 형의 얼굴의 이미지를 보다 간단하고 용이하게 얻을 수 있다.

또한, 본 발명은, 상기 실시 형태로 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

상기 실시 형태에서는 트리밍 영역을 잘라내지만, 다른 실시예에서는, 트리밍 영역의 절취를 행하지 않고, 보정 대상 이미지에 있어서의 트리밍 영역으로부터 특정되는 보정 범위에만 이미지 보정을 시행하여도 좋다.

또, 상기 실시 형태에서는, 얼굴이 기울어져 있는 경우에 대해서는, 언급하지 않고 있지만, 얼굴이 이미지 중심을 향해서 기울어져 있는 경우에는, 보정 강도를 강하게 하고, 얼굴이 이미지 중심을 향해서 기울어져 있지 않은 경우에는, 보정 강도를 약하게(또는, 보정을 행하지 않음) 하도록 구성해도 좋다. 또, 이미지의 끝에 있거나 하는 경우에는, 이미지의 끝 쪽에 있는 형상을 왜곡시키는 등의 범위가 되도록 보정 범위의 형상 변경을 하도록 구성해도 좋다.

또, 상기 실시 형태에서는, 본 발명이 적용되는 촬상 장치 1은, 디지털 카메라를 예로서 설명했지만, 특별히 이것으로 한정되지 않는다.

예를 들면, 본 발명은, 갸름한 얼굴 보정 처리 기능을 갖는 전자 기기 일반에 적용할 수 있다.

구체적으로는, 예를 들면, 본 발명은, 노트형의 PC, 프린터, 텔레비전 수상기, 비디오 카메라, 휴대폰형 네비게이션 장치, 휴대 전화기, 스마트폰, 포터블 게임기 등에 적용가능하다.

상기한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

환언하면, 도 5의 기능적 구성은 예시에 지나지 않고, 특별히 한정되지 않는다. 즉, 상기한 일련의 처리를 전체로서 실행할 수 있는 기능이 촬상 장치 1에 구비되어 있으면 충분하고, 이 기능을 실현하기 위해서 어떤 기능 블록을 이용할지는 특별히 도 5의 예로 한정되지 않는다.

또, 한 개의 기능 블록은, 하나의 하드웨어로 구성해도 좋고, 하나의 소프트웨어로 구성해도 좋고, 이들의 조합으로 구성해도 좋다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는, 전용의 하드웨어에 편입되어 있는 컴퓨터이어도 좋다. 또, 컴퓨터는, 각종 프로그램을 인스톨하는 것으로, 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면, 범용 PC이어도 좋다.

이러한 프로그램을 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해서 장치 본체와는 별도로 배포되는 도 1의 리무버블(removable) 미디어 31에 의해 구성될 뿐만 아니라, 장치 본체에 미리 갖추어진 상태로 사용자에게 제공되는 기록 매체 등으로 구성된다. 리무버블 미디어 31은, 예를 들면, 자기 디스크(플로피 디스크(floppy disk)를 포함한다), 광 디스크, 또는 광자기 디스크 등에 의해 구성된다. 광 디스크는, 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk), Blu-ray(등록상표) Disc(블루레이 디스크) 등에 의해 구성된다. 광자기 디스크는, MD(Mini-Disk) 등에 의해 구성된다. 또, 장치 본체에 미리 갖추어진 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM 12나, 도 1의 기억부 19에 포함되는 하드 디스크 등으로 구성된다.

또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계들은, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 추가적인 이점과 개량들을 쉽게 인식할 수 있을 것이다. 따라서, 넓은 국면에서의 본 발명은 본 명세서에 기술되고 도시된 구체적인 상세와 대표적인 실시예들로 한정되지 않는다. 그러므로, 첨부된 청구범위 및 그 등가물에 의해 정의되는 일반적인 발명의 개념의 사상 또는 영역을 벗어나지 않으면서 다양한 개량을 만들 수 있다.

Claims (8)

1. 이미지를 취득하는 취득부와,
   상기 이미지 내의 인물의 얼굴의 위치를 기준으로 한 소정의 위치에 상기 얼굴의 보정의 범위를 설정하는 설정부와,
   상기 보정의 범위 내의 이미지를 보정하는 보정부
   를 포함하는 이미지 보정 장치.
   
2. 제1항에 있어서,
   상기 이미지 내에서의 인물의 얼굴의 위치를 판정하는 판정부를 더 포함하고,
   상기 보정부는, 상기 판정부에 의한 판정 결과에 따라서 상기 보정의 범위 내의 이미지를 보정하는,
   이미지 보정 장치.
   
3. 제1항에 있어서,
   상기 얼굴의 위치를 기준으로 해서, 상기 보정의 범위를 중심으로 하는 영역을 잘라내는 절취부와,
   상기 절취부에 의해 잘라내진 영역을 상기 이미지 내의 원래의 영역의 위치에 부착하는 방식으로 합성하는 합성부를 더 포함하고,
   상기 보정부는, 상기 절취부에 의해 잘라내진 영역에 포함되는 상기 보정의 범위 내의 이미지의 형상을 보정하는,
   이미지 보정 장치.
   
4. 제1항에 있어서,
   상기 보정부는, 상기 얼굴이 원래보다 갸름해지도록 상기 보정의 범위의 중심을 향해서 픽셀을 조정하는 보정을 행하는,
   이미지 보정 장치.
   
5. 제1항에 있어서,
   상기 설정부는 타원 형상으로 상기 보정의 범위를 설정하는,
   이미지 보정 장치.
   
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 설정부는, 상기 이미지 내의 인물의 얼굴의 위치를 기준으로 하는 얼굴 테두리의 중심 위치보다도 아래쪽의 위치에 상기 보정의 범위의 중심 위치가 배치되도록, 상기 보정의 범위를 설정하는,
   이미지 보정 장치.
   
7. 이미지를 취득하는 취득 단계와,
   상기 이미지 내의 인물의 얼굴의 위치를 기준으로 한 새로운 위치에 상기 얼굴의 보정의 범위를 설정하는 설정 단계와,
   상기 설정 단계에서 설정된 보정의 범위 내의 이미지를 보정하는 보정 단계
   를 포함하는 이미지 보정 방법.
   
8. 이미지 보정 장치에,
   이미지를 취득하는 취득 기능,
   상기 이미지 내의 인물의 얼굴의 위치를 기준으로 하는 새로운 위치에 상기 얼굴의 보정의 범위를 설정하는 설정 기능, 및
   상기 설정 기능에 의해 설정된 보정의 범위 내의 이미지를 보정하는 보정 기능
   을 실현시키는, 컴퓨터로 읽을 수 있는 기록 매체에 저장된 프로그램.

Images