KR20060112663A

KR20060112663A - 화상 판별 방법 및 화상 처리 장치

Info

Publication number: KR20060112663A
Application number: KR1020067011220A
Authority: KR
Inventors: 도시아끼 나까니시
Original assignee: 소니 가부시끼 가이샤
Priority date: 2003-12-10
Filing date: 2004-12-01
Publication date: 2006-11-01
Also published as: US8498450B2; EP1699013A4; US20070297649A1; WO2005057489A1; CN1890688A; KR101040461B1; EP1699013A1; EP1699013B1; JP2005173932A; JP4046079B2

Abstract

신을 자동적으로 판별할 수 있도록 하여, 신에 부합한 최적의 프린트를 얻을 수 있도록 하는 것을 목적으로 한다. 입력 화상으로부터 인물의 얼굴을 검출하여 인물의 유무를 판단하여, 인물이 없을 때에는 풍경 사진 화상이라고 판단하고, 인물이 있을 때에는, 그 후 얼굴의 면적의 산출 및 인원수를 카운트하여, 이 얼굴의 면적이 화면의 소정 비율 이상 및 이 인원수가 소정 인원수 이하가 아닐 때에는 인물·기념 사진 화상이라고 판단하고, 이 얼굴의 면적이 화면의 소정 비율 이상 및 이 인원수가 소정 인원수 이하일 때에는, 포토레이트 화상이라고 판단하도록 한 것이다.

입력 화상, 얼굴, 검출, 소정 비율, 신, 포토레이트, 최적

Description

화상 판별 방법 및 화상 처리 장치{IMAGE DISCRIMINATING METHOD AND IMAGE PROCESSING APPARATUS}

본 발명은 프린터, 디지털 카메라 등에 사용하기에 적합한 화상 판별 방법 및 화상 처리 장치에 관한 것이다.

일반적으로 사진을 촬영할 때, 피사체로서 많은 신이 존재한다. 포토레이트, 아이, 관광지의 기념 사진, 풍경 사진, 꽃, 스포츠, 야경, 단체 사진 등이 있다.

이 각각의 신에 적합한 화상 만들기, 색 만들기를 행함으로써, 깨끗한 프린트를 작성할 수 있다. 사진에서는 특히 인물의 피부를 깨끗하게 프린트할 수 있으면 대부분의 사람이 만족한다.

이 피부색은 너무 선명하면 부자연스럽게 되어, 바람직한 화상이라고는 할 수 없다. 한편 풍경 사진에서는 초목의 녹색이나 창공, 꽃 등은 선명하게 하는 편이 바람직한 화상으로 된다. 종래 디지털 카메라, 디지털 프린터에서는, 각 신을 깨끗하게 프린트할 수 있도록 다양한 궁리를 하고 있다(특허 문헌1 참조).

[특허 문헌1] 일본 특개2002-44451호 공보

종래의 디지털 프린터에서는 신의 판별을 시도하고 있지만, 이 판별 정밀도 가 불충분하여 인물의 검출이 되지 않는다. 이 때문에 계조 재현성, 색 재현성 등에서, 모든 화상에 공통된 화상 만들기, 색 만들기를 행하고 있었다.

이 때문에, 각각의 신에 맞는 최적의 프린트를 얻을 수 없었다. 예를 들면, 포토레이트에서는 피부색 재현에 취지를 두고, 계조 특성은 연조이고 차분한 마감에, 채도는 억제되는 화상 만들기, 색 만들기가 바람직하다. 한편 풍경에서는 명암이 있는 경조로 색이 선명한 화상 만들기, 색 만들기가 바람직한 화상으로 된다.

종래에는 신 판별을 자동적으로 적확하게 행할 수 없었으므로 각각의 신에 최적의 화상 만들기, 색 만들기를 할 수 없었다. 특허 문헌1에서도 유저가 판별하여 수동으로 화상 만들기를 행하고 있다.

<발명의 개시>

본 발명은 이러한 점을 감안하여, 신을 자동적으로 판별할 수 있도록 하여, 신에 부합한 최적의 프린트를 얻을 수 있도록 하는 것을 목적으로 한다.

본 발명에 따른 화상 판별 방법은, 입력 화상으로부터 인물의 얼굴을 검출하여 인물의 유무를 판단하여, 인물이 없을 때에는 풍경 사진 화상이라고 판단하고, 인물이 있을 때에는, 그 후, 얼굴의 면적의 산출 및 인원수를 카운트하여, 이 얼굴의 면적이 화면의 소정 비율, 예를 들면 20% 이상 및 이 인원수가 소정 인원수, 예를 들면 3인 이하가 아닐 때에는 인물·기념 사진 화상이라고 판단하고, 이 얼굴의 면적이 화면의 소정 비율 이상 및 이 인원수가 소정 인원수 이하일 때에는, 포토레이트 화상이라고 판단하도록 한 것이다.

또한, 본 발명 화상 처리 장치는, 화상 입력 수단과, 이 화상 입력 수단으로 부터의 화상 데이터의 인물의 얼굴을 검출하는 얼굴 검출 수단과, 이 얼굴 검출 수단의 얼굴 검출 신호로부터 얼굴의 면적을 산출하는 얼굴 면적 산출 수단과, 이 얼굴 면적 산출 수단의 얼굴 검출 신호로부터 인원수를 카운트하는 인원수 카운트 수단과, 상기 얼굴 면적 산출 수단에 의해 산출한 얼굴 면적이 화면의 소정 비율, 예를 들면 20% 이상인지 판단하는 얼굴 면적 비율 판단 수단과, 상기 인원수 카운트 수단에 의해 계수한 인원수가 소정 인원수, 예를 들면 3인 이하인지를 판단하는 인원수 판단 수단과, 상기 인물의 얼굴 검출 수단, 얼굴 면적 비율 판단 수단 및 인원수 판단 수단의 출력에 따라 상기 화상 입력 수단으로부터 입력되는 화상 데이터의 계조를 보정하는 계조 보정 수단 및 채도를 보정하는 채도 보정 수단을 갖는 것이다.

상기한 바와 같이 함으로써, 본 발명에 따르면 포토레이트 화상, 인물·기념 사진 화상, 풍경 사진 화상을 자동적으로 판별할 수 있어, 포토레이트, 인물·기념 사진, 풍경 사진의 서로 다른 신마다 최적의 화상 만들기, 색 만들기를 할 수 있다.

도 1은 본 발명 화상 판별 방법을 실시하기 위한 최량의 형태의 예를 도시하는 플로우차트.

도 2는 본 발명 화상 처리 장치를 실시하기 위한 최량의 형태의 예를 도시하는 구성도.

도 3은 본 발명의 설명을 위한 선도.

도 4는 본 발명의 설명을 위한 선도.

도 5는 인물의 얼굴 검출 장치의 예를 도시하는 구성도.

도 6은 피부색 영역 추출부의 예를 도시하는 구성도.

도 7은 본 발명의 설명을 위한 선도.

도 8은 본 발명의 설명을 위한 플로우차트.

<발명을 실시하기 위한 최량의 형태>

이하, 도면을 참조하여 본 발명 화상 판별 방법 및 화상 처리 장치를 실시하기 위한 최량의 형태의 예에 관하여 설명한다.

도 2는 본 예에 의한 디지털 카메라나 디지털 프린터에 사용되는 화상 처리 장치를 도시하고, 참조 부호 1은 컬러 화상의 화상 데이터가 입력되는 화상 입력부이다. 이 화상 입력부(1)에 공급된 화상 데이터를 이 화상 데이터의 계조를 보정하는 계조 보정 장치(2) 및 이 화상 데이터의 채도를 보정하는 채도 보정 장치(3)의 직렬 접속을 통하여 화상 데이터 출력 단자(4)에 공급한다.

이 계조 보정 장치(2) 및 채도 보정 장치(3)는 각각 마이크로컴퓨터 등으로 이루어지고, 포토레이트, 인물 기념 사진, 풍경 사진의 각 신에 대하여, 신별로 도 3의 화상 만들기 개념도에 따른 화상 만들기, 색 만들기를 행하도록 구성한다.

이 도 3에서, 횡축은 계조 특성으로 플러스측(우측)일수록 계조가 경조로 되어, 명암이 있는 화상으로 된다. 마이너스측(좌측)으로 되면 연조로 부드러운 화상으로 된다.

종축은 채도축으로서 플러스측(상측)은 선명하게 되고, 마이너스측(하측)일 수록 채도가 낮아 수수한 화상으로 된다.

포토레이트에서는 도 3에 도시한 바와 같이 계조는 연조이고 채도는 그다지 높지 않은 편이 바람직한 화상으로 된다. 디지털 카메라에서는 스트로브를 사용하여 근거리에서 찍으면, 얼굴의 계조 날림이 되기 쉬워 깨끗한 화상으로는 되지 않는다. 이러한 경우에는 연조인 편이 차분한 포토레이트 화상으로 된다.

풍경 사진의 경우에는 도 3에 도시한 바와 같이 경조로 명암을 넣어, 색이 선명한 화상인 편이 바람직하다. 또한 인물·기념 사진일 때에는 도 3에 도시한 바와 같이 포토레이트의 경우와 풍경 사진의 경우의 중간 정도의 화상인 편이 바람직하다.

또한 도 4는, 계조 보정 장치(2)의 계조 특성을 나타내고, 포토레이트는 이 연조의 커브가 바람직하고, 풍경 사진은 경조의 커브가 바람직하다.

본 예에서는, 이 화상 입력부(1)에 공급된 컬러 화상 데이터를 인물의 얼굴 검출 장치(5)에 공급한다. 이 인물의 얼굴 검출 장치(5)로서는 예를 들면 도 5에 도시한 바와 같이 피부색 영역 추출부(200) 및 피사체 검출부(300)로 구성하는 것이 있다(예를 들면 일본 특원2002-255865호 참조).

이 피부색 영역 추출부(200)는, 도 6에 도시한 바와 같이 화상 입력부(1)로부터 입력된 컬러 화상 데이터의 각 화소값을 색 공간 상의 좌표값으로 변환하는 색 변환부인 표색계 변환부(212)와, 이 색 공간 상으로 변환된 좌표값의 출현 빈도를 나타내는 히스토그램을 생성하는 히스토그램 생성부(213)와, 이 히스토그램에서의 출현 빈도의 극대점 및 그 근방의 화소를 초기 클러스터로서 추출하는 초기 클 러스터 추출부(214)와, 초기 클러스터 추출부(214)에 의해 추출된 초기 클러스터 및 화상 입력부(1)로부터 보내어지는 컬러 화상 데이터로부터 이 초기 클러스터를 포함하는 폐쇄 영역을 추출하는 초기 영역 추출부(215)와, 이 초기 영역 내에 복수의 초기 클러스터가 추출되어 있는 경우에 초기 클러스터를 1개의 클러스터로서 통합하는 클러스터 통합부(216)와, 이 초기 영역 내의 화소의 분포 상태에 따라 이 초기 영역을 복수의 영역으로 분할하는 영역 분할부(217)와, 인간의 피부의 색에 대응하는 클러스터에 속하는 화소가 포함되는 영역을 추출하는 영역 추출부(218)로 구성되고, 추출한 피부색 영역을 피사체 검출부(300)에 공급한다.

피사체 검출부(300)는, 도 5에 도시한 바와 같이, 화상 입력부(1) 및 피부색 영역 추출부(200)로부터 각각 컬러 화상 데이터 및 피부색 영역이 입력되고, 인물의 머리 꼭대기부의 위치를 검출하는 머리 꼭대기부 검출부(313)와, 컬러 화상 데이터 및 피부색 영역이 입력되고, 인물의 입의 위치를 검출하는 입 검출부(314)와, 컬러 화상 데이터, 피부색 영역, 머리 꼭대기부 및 입의 데이터가 입력되고, 인물의 눈의 위치를 검출하는 눈 검출부(315)와, 눈 및 입의 데이터가 입력되고, 인물의 턱의 위치를 검출하는 턱 검출부(316)와, 컬러 화상 데이터, 입 및 눈의 데이터가 입력되고, 인물의 얼굴의 중심선을 검출하는 중심선 검출부(317)와, 머리 꼭대기부, 눈, 입 및 얼굴의 중심선의 데이터가 입력되고, 얼굴 영역을 수정하는 영역 수정부(318)와, 컬러 화상 데이터, 피부색 영역, 눈 및 입의 데이터와 영역 수정부(318)로부터 수정 데이터가 입력되고, 추출된 피부색 영역 V가 인물의 얼굴인지의 여부를 판정하는 판정부(319)로 구성된다.

또한 이 인물의 얼굴 검출 장치(5)로서는, 전술한 것 외에 얼굴부의 검출은 얼굴의 형상 인식으로부터 판단하는 것이 있다. 현 상황에서는, 이 방법이 얼굴 인식의 검출 정밀도가 더 높다. 미리 인물의 얼굴로서 등록해 두면 얼굴 인식의 검출 정밀도는 현격하게 향상된다. 이 인물 얼굴 검출 장치(5)는 어떠한 것이어도 된다.

이 인물 얼굴 검출 장치(5)에 의해 얼굴이 인식되지 않을 때에는, 이 인물 얼굴 검출 장치(5)로부터 계조 보정 장치(2) 및 채도 보정 장치(3)에 지시 신호를 보내고, 계조 보정 장치(2) 및 채도 보정 장치(3)가 풍경 사진 화상이라고 판단하여, 이 컬러 화상 데이터에 풍경 사진의 보정을 행하도록 한다.

본 예에서는, 이 인물의 얼굴 검출 장치(5)에 얻어지는 얼굴 인식 신호를, 얼굴의 면적을 산출하는 얼굴 면적 산출 장치(6) 및 사람의 수를 카운트하는 인원수 카운트 장치(7)에 공급하도록 한다.

이 경우 이 인물의 얼굴 검출 장치(5)에서, 얼굴이 인식되지 않을 때에는, 이 얼굴 인식 신호는 출력되지 않고, 얼굴이 인식되었을 때에만 이 얼굴 인식 신호를 얼굴 면적 산출 장치(6) 및 인원수 카운트 장치(7)에 공급하도록 한다.

이 얼굴의 면적 산출 장치(6)는 인물의 얼굴 면적을 산출하고, 그 얼굴 면적이 화상의 몇 %인지를 산출한다. 예를 들면 인물이 있는 화상의 예가 도 7에 도시한 바와 같이, 인물 A의 얼굴 면적이 A, 인물 B의 얼굴 면적이 B이며, 화상 전체의 면적이 C이었을 때에는,

(A+ B)/C×100(%)

을 산출한다.

이 얼굴의 면적 산출 장치(6)의 출력측에 얼굴의 면적의 비율(%)을 얼굴의 면적이 소정의 비율, 예를 들면 20% 이상인지의 여부를 판단하는 소정 비율 이상 판단 회로(8)에 공급하고, 이 소정 비율 이상 판단 회로(8)의 출력측에 소정 비율, 예를 들면 20% 이상이었을 때에는, 하이 레벨 신호 "1"을 출력하고, 그렇지 않을 때에는 로우 레벨 신호 "0"을 출력하도록 한다.

이 경우, 포토레이트일 때에는, 얼굴이 크게 찍혀, 얼굴 면적의 비율이 20∼30% 정도이다. 본 예에서는 전체 화면 중의 얼굴 면적의 비율이 20% 이상을 판단 기준으로 하였다.

이 인원수 카운트 장치(7)는 화상 중의 인원수가 몇 사람인지를 카운트하여, 이 카운트값 즉, 인원수를 소정 인원수, 예를 들면 3인 이하인지의 여부를 판단하는 소정 인원수 이하 판단 회로(9)에 공급한다.

이 소정 인원수 이하 판단 회로(9)의 출력측에 소정 인원수, 예를 들면 3인 이하이었을 때에는 하이 레벨 신호 "1"을 출력하고, 그렇지 않을 때, 예를 들면 4인 이상일 때에는 로우 레벨 신호 "0"을 출력하도록 한다. 이 경우, 인원수가 4인 이상일 때에는 기념 사진·단체 사진이라고 판단한다.

이 소정 비율 이상 판단 회로(8)의 출력 신호 및 소정 인원수 이하 판단 회로(9)의 출력 신호를 각각 AND 회로(10)의 한 쪽 및 다른 쪽의 입력 단자에 공급한다. 이 AND 회로(10)의 출력측에 하이 레벨 신호 "1"이 얻어졌을 때에는, 얼굴의 면적의 비율이 소정 비율, 예를 들면 20% 이상이고 또한 소정 인원수, 예를 들면 3 인 이하이며, 이 하이 레벨 신호 "1"을 지시 신호로서 계조 보정 장치(2) 및 채도 보정 장치(3)에 공급하고, 이 계조 보정 장치(2) 및 채도 보정 장치(3)가 이 컬러 화상 데이터가 포토레이트 화상이라고 판단하여, 포토레이트의 보정 동작을 하도록 한다.

또한 소정 비율 이상 판단 회로(8)의 출력 신호 및 소정 인원수 이하 판단 회로(9)의 출력 신호를 각각 NAND 회로(11)의 한 쪽 및 다른 쪽의 입력 단자에 공급한다. 이 NAND 회로(11)의 출력측에 하이 레벨 신호 "1"이 얻어졌을 때에는, 이 하이 레벨 신호 "1"을 지시 신호로서 계조 보정 장치(2) 및 채도 보정 장치(3)에 공급하고, 이 계조 보정 장치(2) 및 채도 보정 장치(3)가 이 컬러 화상 데이터가 인물·기념 사진 화상이라고 판단하여, 인물·기념 사진의 보정 동작을 행한다.

전술한 본 예의 구성의 동작을 도 1 및 도 8의 플로우차트를 참조하여 설명한다. 컬러 화상 데이터가 입력되었을 때에는, 우선, 인물의 얼굴 검출 장치(5)에 의해 인물의 얼굴 검출을 행한다(스텝 S1). 그 후 신 판별(스텝 S2)을 행한다. 이 신 판별(스텝 S2)은 도 1에 도시한 바와 같이 하여 행한다. 이 신 판별은 우선, 이 컬러 화상 데이터에 인물이 존재하는지의 여부 및 인물의 유무를 판단하여, 얼굴 인식 신호를 얻는다(스텝 S3). 이 경우 인물이 존재하지 않을 때에는, 이 컬러 화상 데이터는 풍경 사진 화상이라고 판단한다.

인물이 존재할 때에는, 얼굴의 면적 산출 장치(6)에 의해 이 화상 데이터의 얼굴 인식 신호로부터 얼굴의 면적을 산출한다(스텝 S4). 다음에 이 얼굴의 면적의 화상에 대한 비율이 소정 비율, 예를 들면 20% 이상인지의 여부를 판단한다(스 텝 S5).

이 얼굴의 면적의 화상에 대한 비율이 소정 비율, 예를 들면 20% 미만일 때에는 이 화상 데이터가 인물·기념 사진 화상이라고 판단한다. 이 얼굴의 면적의 비율이 소정 비율, 예를 들면 20% 이상일 때에는 다음에 인원수 카운트 장치(7)에 의해 이 화상 데이터의 인원수를 카운트한다(스텝 S6). 그 후 이 인원수가 소정 인원수, 예를 들면 3인 이하인지의 여부를 판단한다(스텝 S7).

이 스텝 S7에서 소정 인원수 이하가 아닌, 예를 들면 4인 이상일 때에는, 이 화상 데이터가 인물·기념 사진 화상이라고 판단한다. 이 스텝 S7에서 소정 인원수, 예를 들면 3인 이하일 때에는 이 화상 데이터가 포토레이트 화상이라고 판단한다.

이 도 1의 플로우차트에서 스텝 S4 및 스텝 S5와 스텝 S6 및 스텝 S7의 순서가 반대이어도 된다. 이 경우에도 전술한 바와 동일한 결과를 얻을 수 있는 것은 용이하게 이해할 수 있다.

이 신 판별(스텝 S2)이 종료되었을 때에는 이 신 판별에 따른 최적의 화상 만들기, 색 만들기를 행하고(스텝 S8), 종료한다.

본 예에 따르면, 포토레이트 화상, 인물·기념 사진 화상, 풍경 사진 화상을 자동적으로 적확하게 판별할 수 있어, 포토레이트, 인물·기념 사진, 풍경 사진의 서로 다른 신마다 최적의 화상 만들기, 색 만들기를 할 수 있다.

또한, 전술한 예에서는, 포토레이트 화상, 인물·기념 사진 화상, 풍경 사진 화상을 판별하여 분류하고, 이 분류에 따라 계조 보정 장치(2) 및 채도 보정 장 치(3)에 의해 화상 만들기, 색 만들기를 하는 예에 관하여 설명했지만, 이 분류를 더욱 늘려, 예를 들면 풍경의 경우, 나무, 바다, 하늘, 설경, 야경, 건물 등 특징이 있는 풍경의 신으로 분류하도록 하고, 이 분류에 따라, 계조 보정 장치(2) 및 채도 보정 장치(3)에 의해 화상 만들기, 색 만들기를 하도록 해도 되는 것은 물론이다.

또한 본 발명은 전술한 예에 한하지 않고, 본 발명의 요지를 일탈하지 않고, 기타 다양한 구성을 취할 수 있는 것은 물론이다.

Claims

입력 화상으로부터 인물의 얼굴을 검출하여 인물의 유무를 판단하여,

인물이 없을 때에는 풍경 사진 화상이라고 판단하고, 인물이 있을 때에는, 그 후, 얼굴의 면적의 산출 및 인원수를 카운트하고,

상기 얼굴의 면적이 화면의 소정 비율 이상 및 상기 인원수가 소정 인원수 이하가 아닐 때에는 인물·기념 사진 화상이라고 판단하고, 상기 얼굴의 면적이 화면의 소정 비율 이상 및 상기 인원수가 소정 인원수 이하일 때에는, 포토레이트 화상이라고 판단하도록 한 것을 특징으로 하는 화상 판별 방법.
제1항에 있어서,

상기 소정 비율이 20%이며, 상기 소정 인원수가 3인인 것을 특징으로 하는 화상 판별 방법.
화상 입력 수단과,

상기 화상 입력 수단으로부터의 화상 데이터의 인물의 얼굴을 검출하는 얼굴 검출 수단과,

상기 얼굴 검출 수단의 얼굴 검출 신호로부터 얼굴의 면적을 산출하는 얼굴 면적 산출 수단과,

상기 얼굴 검출 신호에 기초하여 인원수를 카운트하는 인원수 카운트 수단 과,

상기 얼굴 면적 산출 수단에 의해 산출한 얼굴 면적이 화면의 소정 비율 이상인지를 판단하는 얼굴 면적 비율 판단 수단과,

상기 인원수 카운트 수단에 의해 계수한 인원수가 소정 인원수 이하인지를 판단하는 인원수 판단 수단과,

상기 인물의 얼굴 검출 수단, 상기 얼굴 면적 비율 판단 수단 및 상기 인원수 판단 수단의 출력에 따라

상기 화상 데이터의 계조를 보정하는 계조 보정 수단 및 채도를 보정하는 채도 보정 수단

을 갖는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서,

상기 소정 비율이 20%이며, 상기 소정 인원수가 3인인 것을 특징으로 하는 화상 처리 장치.