KR101624650B1

KR101624650B1 - 적목 현상 검출 방법 및 장치

Info

Publication number: KR101624650B1
Application number: KR1020090112787A
Authority: KR
Inventors: 김승훈
Original assignee: 삼성전자주식회사
Priority date: 2009-11-20
Filing date: 2009-11-20
Publication date: 2016-05-26
Also published as: KR20110056100A; US20110122279A1; US8558910B2

Abstract

본 발명은 인물을 촬영할 때 동공이 붉은색으로 촬영되는 적목을 빠르고 신뢰성 있게 검출할 수 있는 방법 및 장치에 관한 것이다. 입력 영상에서 결정한 눈 영역에서 신뢰성 있는 방법을 이용하여 적목 영역을 검출할 수 있으며, 또한 상기 눈 영역을 결정함에 있어서 하이라이트 영역을 신속하고 효과적으로 도출하고 도출한 하이라이트 영역을 이용하여 눈 영역을 결정할 수 있다.

Description

적목 현상 검출 방법 및 장치{Method for detecting red-eyes and apparatus for detecting red-eyes}

본 발명은 적목 현상 검출 방법 및 장치에 관한 것이다.

디지털 카메라와 같은 장치로 어두운 환경에서 플래시(Flash)를 사용하여 인물을 촬영할 때, 동공이 붉은색으로 촬영되는 적목 현상이 발생한다. 이는, 어두운 환경에서 사물을 볼 수 있도록 동공이 커져 있는 상태에서, 갑작스러운 플래시(Flash)에 의한 빛이 동공을 투과하여 안구 내부에서 반사되어 나타나는 현상이다. 이러한 적목 현상은 촬영자가 인물의 동공에서 보이는 것이 아니라, 플래시에 의해 디지털 카메라에서 임의로 인식하는 특이한 현상으로서, 보정 처리를 행할 필요가 있다.

본 발명은 적목 현상을 효과적으로 보정하기 위하여, 적목을 빠르고 신뢰성 있게 검출할 수 있는 방법 및 장치를 제공하고자 한다.

본 발명은 적목 현상 검출 방법 및 장치를 제공한다.

본 발명에 관한 적목 현상 검출 방법의 일 실시 예에 따르면, 입력 영상으로부터 눈 영역을 결정하는 단계와, 상기 눈 영역에서 가장 큰 적목 정도(Redness)를 갖는 픽셀을 도출하는 단계와, 상기 눈 영역 중에서, 상기 픽셀을 포함하는 일정 크기의 제1 마스크 영역을 생성하는 단계와, 상기 제1 마스크 영역 내의 픽셀들로부터 영상 데이터의 평균을 도출하는 단계와, 상기 눈 영역 중에서, 상기 영상 데이터의 평균에 대응하는 적목 픽셀들을 도출하는 단계와, 상기 적목 픽셀들을 이용하여 적목 영역을 결정하는 단계를 포함하는 적목 현상 검출 방법을 제공한다.

본 발명에 관한 적목 현상 검출 방법의 다른 실시 예는 입력 영상으로부터 눈 영역 결정하는 단계와, 상기 눈 영역의 픽셀에 대하여 하기 수학식 1에 따라 적목 정도(Redness)를 도출하는 단계와, 상기 눈 영역에서 기준 적목 정도(Redness)에 대응하는 적목 픽셀들을 도출하는 단계와, 상기 적목 픽셀들을 포함하는 적목 영역을 도출하는 단계를 구비할 수 있다.

[수학식 1]

Redness = (r-b)×(r-g)×(r+b-g)/((g+b)×(g+b)+1)

상기 수학식 1에서 r,g,b,는 픽셀의 R,G,B 영상 데이터를 의미한다.

또한, 본 발명에 관한 적목 현상 검출 장치의 일 실시 예로서, 입력 영상으로부터 눈 영역 결정하는 눈 영역 결정부와, 상기 눈 영역의 픽셀들에 대하여 하기 수학식 1에 따라 적목 정도(Redness)를 도출하는 적목 정도(Redness) 도출부와, 상기 눈 영역에서, 기준 적목 정도(Redness)에 대응하는 적목 픽셀들을 포함하는 적목 영역을 도출하는 적목 영역 도출부를 구비하는 적목 현상 검출 장치를 제공할 수 있다.

[수학식 1]

Redness = (r-b)×(r-g)×(r+b-g)/((g+b)×(g+b)+1)

본 발명에 관한 적목 현상 검출 장치의 다른 실시 예로서, 입력 영상으로부터 눈 영역 결정하는 눈 영역 결정부와, 상기 눈 영역에서 가장 큰 적목 정도(Redness)를 갖는 픽셀을 도출하는 적목 정도(Redness) 최대 픽셀 도출부와, 상기 눈 영역 중에서, 상기 픽셀을 포함하는 일정 크기의 제1 마스크 영역을 생성하는 제1 마스크 영역 생성부와, 상기 제1 마스크 영역 내의 픽셀들로부터 영상 데이터의 평균을 도출하는 영상 데이터 평균 도출부와, 상기 눈 영역 중에서, 상기 영상 데이터의 평균에 대응하는 적목 픽셀을 도출하는 적목 픽셀 도출부와, 상기 적목 픽셀을 이용하여 적목 영역을 결정하는 적목 영역 결정부를 포함하는 적목 현상 검출 장치를 제공할 수 있다.

본 발명에 따르면 적목 현상을 신속하고 정확하게 검출할 수 있다.

본 발명에 관한 적목 현상 검출 장치 및 방법에 관하여 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 관한 적목 현상 검출 장치의 일 실시 예로서 디지털 카메라를 설명하기 위한 블럭도이다. 본 실시 예에서는 상기 적목 현상 검출 장치로 디지털 카메라를 예시하였지만, 이에 한정되는 것은 아니며 상기 적목 현상 검출 장치는 비디오 카메라, PDA(personal digital assistant), TV, 디지털 액자, 휴대폰, PMP(portable multimedia player) 등의 디지털 기기에 적용가능하다.

도 1을 참조하면, 상기 디지털 카메라는 광학부(10), 촬상부(20), 버퍼 메모리(30), 프로그램 저장부(40), 기록 제어부(51), 기록부(52), 표시 구동부(61), 표시부(62), DSP/CPU(70), 조작부(80) 등을 구비한다.

상기 광학부(10)는 광학 신호를 집광하는 렌즈, 상기 광학 신호의 양(광량)을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터 등을 포함할 수 있다. 상기 렌즈는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수 렌즈들의 군집으로 이루어질 수도 있다. 셔터로 가리개가 위아래로 움직이는 기계식 셔터를 구비할 수 있다. 또는 별도의 셔터 장치 대신 촬상부(20)에 전기 신호의 공급을 제어하여 셔터 역할을 행할 수도 있다.

상기 광학부(10)를 구동하는 광학 구동부(11)는 오토 포커스, 자동 노출 조정, 조리개 조정, 줌, 초점 변경 등의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작 등을 구동할 수 있다. 상기 광학 구동부(11)는 DSP/CPU(70)로부터의 제어 신호를 제공받아, 이에 따라 상기 광학부(10)의 구동할 수 있다.

촬상부(20)는 광학부(10)를 통해 입력된 광학 신호를 수광하여 전기 신호로 변환하는 광전 변환 소자를 구비한다. 상기 광전 변환 소자로 CCD(Charge coupled device) 센서 어레이, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이 등을 사용할 수 있다. 또한, 상기 촬상부(20)는 CDS/AMP, A/D컨버터를 갖는다. CDS/AMP(상관 이중 샘플링 회로(correlated double sampling)/증폭기(amplifier))는 CCD에서 출력된 전기 신호에 포함된 저주파 노이즈를 제거함과 동시에 전기 신호를 임의의 레벨까지 증폭시킨다. A/D컨버터는 CDS/AMP에서 출력된 전기 신호를 디지털 변환하여 디지털 신호를 생성한다. A/D컨버터는 생성한 디지털 신호를 화상 입력 제어부(21)에 출력한다.

촬상부(20)는 DSP/CPU(70)로부터 공급되는 타이밍 신호에 따라 제어될 수 있다. 타이밍 제너레이터(TG)는 촬상부(20)에 타이밍 신호를 출력하여 광전 변환 소자 각 화소의 노광 기간을 제어하거나 전하의 독출을 제어한다. 따라서 촬상부(20)는 TG로부터 제공되는 타이밍 신호에 따라 일 프레임의 영상에 대응하는 영상 데이터를 제공할 수 있다.

버퍼 메모리(30)는 촬영한 영상의 영상 데이터를 일시적으로 저장한다. 여러 개 영상들의 영상 데이터를 기억할 수 있으며, 포커스 제어시의 영상 신호를 차례대로 유지하여 영상 신호를 출력한다. 화상 입력 제어부(21)에 영상을 읽고 쓰는 것이 제어될 수 있다. 또한, 상기 버퍼 메모리(30)는 적어도 하나의 채널을 갖는 영상 표시용 메모리를 구비할 수 있다. 상기 버퍼 메모리(30)에서 표시 구동부(61)로 영상 데이터의 입력과 출력을 동시에 실행할 수 있다. 표시부(62)의 해상도나 최대 발색수는 표시용 메모리의 용량에 의존한다.

프로그램 저장부(40)는 상기 디지털 카메라를 작동하는 필요한 OS, 응용 프로그램 등을 저장할 수 있다. 상기 프로그램 저장부(40)로서 E2PROM, 플래쉬 메모리, ROM 등을 사용할 수 있다.

기록 제어부(51)는 기록부(52)로의 영상 데이터의 기입, 또는 기록부(52)에 기록된 영상 데이터나 설정 정보 등의 독출을 제어한다. 기록부(52)는, 예를 들면 광디스크(CD, DVD, 블루레이디스크 등), 광자기 디스크, 자기 디스크, 반도체 기억매체 등으로서, 촬영된 영상 데이터를 기록한다. 기록 제어부(51), 기록부(52)는 상기 디지털 카메라에서 착탈 가능한 것일 수 있다.

표시 구동부(61)는 표시부(62)에서 각종 설정 화면 또는 촬영으로 생성된 영상 데이터에 대응하는 영상을 디스플레이하도록 구동한다. 상기 영상 데이터는 기록부(52)에 기록된 화상을 구현하는 것이나, 또는 버퍼 메모리(30)로부터 실시간 제공되는 것일 수 있다. 상기 표시부(62)로 LCD, OLED, PDP, EDD 등의 디스플레이 장치를 사용할 수 있다.

DSP/CPU(70)는 프로그램에 의해 연산 처리 장치 및 제어 장치로서, 상기 디지털 스틸 카메라 안에 설치된 각 구성 요소의 처리를 제어한다. DSP/CPU(70)는, 예를 들면 포커스 제어나 노출 제어에 기초하여 광학 구동부(11)에 제어 신호를 출력하고 광학부(10)를 구동시킨다. 또한, DSP/CPU(70)는 조작부(80)로부터의 신호에 기초하여 디지털 카메라의 각 구성 요소를 제어한다. 본 실시 예에서는 DSP/CPU(70)가 하나로만 이루어진 구성이지만, 신호계의 명령과 조작계의 명령을 각각 CPU에서 수행하는 등 여러 개의 CPU로 구성하는 것도 가능하다.

또한, 상기 DSP/CPU(70)는 압축 처리부(71), 영상 신호 처리부(72), 적목 현상 검출부(73)를 구비한다. 압축 처리부(71)는 압축 처리 전의 영상 신호를 받아 예를 들면 JPEG압축 형식 또는 LZW압축 형식 등의 압축 형식으로 화상 신호를 압축 처리한다. 영상 신호 처리부(72)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 신호 처리를 수행할 수 있다. 적목 현상 검출부(73)는 입력 영상에 대하여 적목 현상을 검출한다. 적목 현상 검출에 대하여 이ㅎ하 도면들을 참조하여 더욱 상세하게 설명한다.

조작부(80)는 촬영자가 상기 디지털 카메라를 조작하거나 촬영시 각종의 설정을 행하기 위한 부재를 포함할 수 있다. 예를 들어, 버튼, 키, 터치 패널, 터치 스크린, 다이얼 등의 형태로 구현될 수 있으며, 전원 온/오프, 촬영 개시/정지, 재생 개시/정지/서치, 광학계의 구동, 모드 변환, 메뉴 조작, 선택 조작 등의 촬영자 조작 신호를 입력할 수 있다. 일 예로서, 셔터 버튼은 촬영자에 의한 반누름, 완전누름, 해제가 가능하다. 셔터 버튼은 반누름(S1조작)되었을 때 포커스 제어 개시 조작 신호를 출력하고 반 누름 해제로 포커스 제어가 종료된다. 상기 셔터 버튼은 완전누름(S2조작)되었을 때 촬영 개시 조작 신호를 출력할 수 있다. 상기 조작 신호는 DSP/CPU(70) 등에 전송되어, 이에 따라 해당 구서 요소를 구동시킬 수 있다.

또한 상기 디지털 카메라에서 적목 현상을 발생시키는 플래시(미도시) 및 플레시 구동부(미도시)를 구비할 수 있다. 플래시는 LED로 형성할 수 있으며, 상기 플레시 구동부는 PWM 구동 방식으로 상기 LED의 발광량 및 발광 속도를 제어할 수 있다.

도 2는 도 1에 도시된 디지털 카메라에 있어서, 적목 현상 검출부의 일 실시 예를 설명하기 위한 블럭도이다.

도 2에 도시된 적목 현상 검출부(73a)는 입력 영상으로부터 눈 영역을 결정하는 눈 영역 결정부(73a-1), 상기 눈 영역의 픽셀들에 대하여 하기 수학식 1에 따라 적목 정도(Redness)를 도출하는 적목 정도 도출부, 상기 눈 영역에서 기준 적목 정도에 대응하는 적목 픽셀들을 포함하는 적목 영역을 도출하는 적목 영역 도출부를 구비한다.

[수학식 1]

상기 수학식 1에서 r,g,b 는 상기 입력 영상을 구성하는 픽셀의 R,G,B 영상 데이터를 의미한다.

상술한 수학식 1에 따르면, 결정된 눈 영역에서 가장 신뢰성 높은 적목 영역을 도출할 수 있다.

상기 적목 현상 검출부(73a)는 도시하지는 않았지만 하이라이트 영역 도출부를 더 구비할 수 있다. 상기 눈 영역 결정부(73a-1)는 입력 영상의 얼굴 검출 알고리즘을 통해 얼굴 영역을 검출하고, 검출한 얼굴 영역의 영상 패턴, 색상 등을 검출하여 눈 영역을 인식하여 결정할 수 있다. 그러나, 얼굴 검출이 실패(fail)하거나 또는 눈 영역 검출을 실패(fail)하는 경우에는 하이라이트 영역 도출부(미도시)를 더 구비하여 눈 영역을 결정할 수 있다. 본 실시 예에서 도시하지는 않았지만, 이후 도면들에서 설명하는 실시 예들의 얼굴 영역 검출부, 하이라이트 영역 도출부를 더 구비할 수 있다.

상기 하이라이트 영역 도출부는 하이라이트 가로 선분 및 하이라이트 세로 선분을 도출하는 하이라이트 선분 도출부와 상기 하이라이트 가로 선분 및 하이라이트 세로 선분을 포함하는 하이라이트 영역을 결정하는 하이라이트 영역 결정부를 구비할 수 있다.

또한, 상기 하이라이트 영역 도출부는 상기 하이라이트 가로 선분 및 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 시작점 또는 끝점의 제1 픽셀과 상기 제1 픽셀로부터 스캐닝 방향을 기준으로 2 픽셀들 이전의 제2 픽셀과의 적색 영상 데이터의 제1 차이를 상기 제1 픽셀과 상기 제2 픽셀의 녹색 영상 데이터 또는 상기 제1 픽셀과 상기 제2 픽셀의 청색 영상 데이터의 제2 차이와 비교하는 하이라이트 선분의 픽셀과 주변 픽셀의 비교부를 더 구비할 수 있다. 상기 하이라이트 영역 결정부는 상기 적색 영상 데이터들 간의 제1 차이가 상기 녹색 영상 데이터들 간 또는 상기 청색 영상 데이터들 간의 제2 차이보다 작은 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단할 수 있다. 적목 내의 하이라이트 영역에 해당하기 위해서는 상기 제1 차이가 상기 제2 차이보다 작아야 한다. 또 다른 비교 방법으로 상기 제1 차이가 경험치에 의해 정해진 제1 기준과 비교할 수 있으며, 상기 제2 차이를 미리 정해진 제2 기준과 비교할 수 있다. 이때, 상기 제1 기준은 상기 제2 기준 보다 작아야 할 것이다.

또한, 상기 하이라이트 영역 도출부는 상기 하이라이트 가로 선분 및 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 크기와 기준 선분 크기 범위를 비교하는 하이라이트 선분 크기 비교부를 더 구비할 수 있다. 상기 하이라이트 영역 결정부는 상기 적어도 어느 하나의 선분의 크기가 상기 기준 선분 범위에 해당하는 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단할 수 있다. 예를 들어, 도출한 하이라이트 가로 선분 또는 하이라이트 세로 선분의 크기가 입력 영상의 가로 크기 또는 세로 크기보다 크거나, 또는 검출한 얼굴 영역의 가로 크기 또는 세로 크기, 또는 결정한 눈 영역의 가로 크기 또는 세로 크기 보다 크 다면 적목 내의 하이라이트 영역이라고 보기 어렵기 때문이다.

도 1에 도시된 디지털 카메라에 있어서, 적목 현상 검출부의 다른 실시 예로서 도 3을 참조하여 구체적으로 설명한다.

도 3에 따르면, 본 실시 예에 따른 적목 현상 검출부(73b)는 입력 영상으로 부터 눈 영역을 결정하는 눈 영역 결정부(73b-5), 상기 눈 영역에서 적목 영역을 도출하는 적목 영역 도출부(73b-7)를 구비할 수 있다.

도 4를 함께 참조하여 설명하면, 상기 적목 영역 도출부(73b-7)는 상기 눈 영역에서 가장 큰 적목 정도(Redness)를 갖는 픽셀을 도출하는 적목 정도 최대 픽셀 도출부(73b-71), 상기 눈 영역 중에서 상기 픽셀을 포함하는 일정 크기의 제1 마스크 영역을 생성하는 제1 마스크 영역 생성부((73b-74), 상기 제1 마스크 영역 내의 픽셀들로부터 영상 데이터의 평균을 도출하는 영상 데이터 평균 도출부(73b-75), 상기 눈 영역 중에서 상기 영상 데이터의 평균에 대응하는 적목 픽셀을 도출하는 적목 픽셀 도출부(73b-76), 상기 적목 픽셀을 이용하여 적목 영역을 결정부(73b-77)를 구비한다. 상기 적목 픽셀 도출부(73b-76)에서 상기 영상 데이터의 평균±a 범위 내에 해당하는 영상 데이터를 갖는 픽셀을 적목 픽셀로 도출할 수 있다. 여기서 상기 a는 경험치에 의해 미리 정해진 값일 수 있다. 그리고 상기 적목 영역 결정부(73b-77)는 도출한 상기 적목 픽셀을 포함하는 일정 영역을 적목 영역으로 결정할 수 있다.

더욱 구체적으로, 도 5를 함께 참조하면, 상기 적목 영역 결정부(73b-77)는 상기 적목 픽셀들을 포함하는 제2 마스크 영역을 생성하는 제2 마스크 영역 생성부(73b-771), 상기 제2 마스크 영역을 이동시켜 상기 제2 마스크 영역 내 픽셀들의 적목 정도(Redness) 평균을 연산하는 적목 정도 평균 연산부(73b-772), 상기 평균이 가장 큰 상태의 상기 제2 마스크 영역을 적목 영역으로 판단하는 적목 영역 판단부(73b-773)를 구비할 수 있다.

다시 도 4를 참조하면, 상기 적목 영역 도출부(73b-7)는 가장 큰 적목 정도(Redness)를 기준 적목 정도와 비교하는 적목 정도 비교부(73b-72), 가장 큰 적목 정도(Redness)가 상기 기준 적목 정도 보다 작은 경우 적목 영역이 없는 것으로 판단하는 적목 정도 판단부(73b-73)를 더 구비할 수 있다. 상기 적목 정도 최대 픽셀 도출부(73b-71)는 가장 큰 적목 정도가 기준 적목 정도 보다 큰 경우 상기 눈 영역에서 가장 큰 적목 정도를 갖는 픽셀을 도출할 수 있다.

상기 적목 정도(Redness)는 상술한 수학식 1에 의해 도출할 수 있다. 상기 적목 정도(Redness)를 도출하기 위하여 R,G,B 영상 데이터를 이용할 수 있다. 따라서 촬상부로부터 제공되는 R,G,B 영상 데이터를 그대로 이용하므로, 처리 속도를 향상할 수 있다. 그러나 반드시 R,G,B 영상 데이터를 이용하는 것에 한정하는 것은 아니며 Y,Cb, Cr 영상 데이터 등을 사용할 수도 있다.

다시 도 3을 참조하면, 적목 현상 검출부(73b)는 상기 입력 영상에 대하여 얼굴 검출 알고리즘을 이용하여 얼굴 영역을 검출하는 얼굴 영역 검출부(73b-1)를 더 구비할 수 있다.

또한, 상기 적목 현상 검출부(73b)는 상기 얼굴 영역에서 눈 검출 알고리즘을 통하여 눈 영역을 검출하는 눈 영역 검출부(73b-3)를 더 구비할 수 있다.

상기 얼굴 영역 및 상기 눈 영역은 영상 패턴, 색상 정보 등을 이용하여 판단할 수 얼굴 및 눈을 검출할 수 있다. 그리고 미리 정해진 얼굴 정보 및 눈 정보와 비교하여 얼굴 및 눈을 검출할 수 있다.

또한, 상기 적목 현상 검출부(73b)는 검출한 상기 얼굴 영역의 면적을 기준 면적과 비교하는 얼굴 면적 비교판단부(73b-2)를 더 구비할 수 있다. 얼굴 면적에 따라 상기 얼굴 영역에서 눈 영역을 검출할 수 있다. 예를 들어, 상기 얼굴 면적이 상기 기준 면적 보다 작은 경우 눈 영역 검출부(73b-4)에서 눈 인식 알고리즘을 이용하여 상기 얼굴 영역에서 눈을 검출하고, 상기 눈 영역 결정부(73b-5)는 검출한 눈을 포함하는 일정 영역을 눈 영역으로 결정할 수 있다. 또는 상기 얼굴 면적이 상기 기준 면적 보다 큰 경우 하이라이트 영역을 도출하는 하이라이트 영역 도출부(73b-3)를 더 구비하고, 눈 영역 결정부(73b-5)는 상기 하이라이트 영역을 포함하는 일정 영역을 눈 영역으로 결정할 수 있다.

또는 상기 얼굴 영역 검출부(73b-1)에서 상기 얼굴 영역을 검출하지 않는 경우, 하이라이트 영역을 도출하는 하이라이트 영역 도출부(73b-3)를 구비할 수 있다. 그리고 상기 눈 영역 결정부(73b-5)는 상기 하이라이트 영역을 포함하는 일정 영역을 눈 영역으로 결정할 수 있다.

상기 하이라이트 영역 도출부(73b-3)는 도 6을 함께 참조하여 구체적으로 설명한다.

도 6을 참조하면, 상기 하이라이트 영역 도출부(73b-3)는 하이라이트 가로 선분 및 하이라이트 세로 선분을 도출하는 하이라이트 선분 도출부(73b-31), 상기 하이라이트 가로 선분 및 상기 하이라이트 세로 선분을 포함하는 하이라이트 영역을 결정하는 하이라이트 영역 결정부(73b-34)를 구비한다.

상기 하이라이트 선분 도출부(73b-31)는 상기 입력 영상의 각 픽셀에 대해 가로축 및 세로축으로 검사하여 현재 픽셀이 매우 밝은 흰색인지 판단할 수 있다. 하이라이트는 눈의 흰자위 보다 더욱 밝다. 이에 대한 조건식으로 하기 수학식 2 또는 3을 이용할 수 있다. 각 픽셀의 영상 데이터가 R,G,B 데이터인 경우 수학식 2를 사용함이 바람직하며, Y, Cb, Cr인 경우 수학식 3을 사용할 수 있다.

[수학식 2]

여기서, r,g,b 각각은 입력 영상에서 픽셀의 R,G,B 영상 데이터를 의미한다.

t_rgb는 하이라이트 영역에 해당하기 위한 R,G,B 영상 데이터 합의 기준이며, t_diff는 하이라이트 영역에 해당하기 위한 R,G,B 영상 데이터 간의 차이의 합의 기준이다. t_rgb, t_diff는 조절 가능한 값이다.

[수학식 3]

여기서, Y, Cb, Cr 각각은 입력 영상에서 픽셀에서 Y, Cb, Cr 영상 데이터를 의미한다.

t_Y는 하이라이트 영역에 해당하기 위한 Y 영상 데이터의 기준이며, 조절 가능하다.

t1은 하이라이트 영역에 해당하기 위한 Cb, Cr 영상 데이터 범위의 하한선 기준이며, 조절 가능하다. t2는 하이라이트 영역에 해당하기 위한 Cb, Cr 영상 데이터 범위의 상한선 기준이며, 조절 가능하다.

t_cr_diff는 하이라이트 영역에 해당하기 위한 Cb, Cr 영상 데이터의 차이의 기준이며, 조절 가능하다.

또한, 상기 하이라이트 영역 도출부(73b-3)는 상기 하이라이트 가로 선분 및 상기 하이라이트 세로 선분 중 어느 하나의 선분의 시작점 또는 끝점의 제1 픽셀과 상기 제1 픽셀로부터 스캐닝 방향을 기준으로 2개 이전의 제2 픽셀과의 적색 영상 데이터의 제1 차이를 상기 제1 픽셀과 상기 제 픽셀의 녹색 영상 데이터들 간 또는 청색 영상 데이터들 간의 제2 차이와 비교하는 하이라이트 선분의 픽셀과 주변 픽셀의 비교부(73b-32)를 더 구비할 수 있다.

하이라이트는 주변 픽셀들과 밝기 차이가 심하다. 적목 현상이 발생한 동공에서 R 영상 데이터는 크지만 G,B 영상 데이터는 상대적으로 작다. 반면, 하이라이트 영역은 R,G,B 영상 데이터 모두 높은 값을 갖는다. 이를 하기 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

여기서, t_r은 현재 픽셀이 하이라이트 영역이기 위한 현재 픽셀과 ppr 및 nnr 각각의 영상 데이터 차이의 문턱값이고,

t_g는 현재 픽셀이 하이라이트 영역이기 위한 현재 픽셀과 ppg, nng 각각의 영상 데이터 차이의 문턱값이며,

현재 픽셀이 하이라이트 영역이기 위한 현재 픽셀과 ppb, nnb 각각의 영상 데이터 차이의 문턱값이다.

상기 하이라이트 영역 결정부(73b-34)는 상기 제1 차이가 상기 제2 차이보다 작은 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단할 수 있다. 또 다른 비교 방법으로 상기 제1 차이가 경험치에 의해 정해진 제1 기준과 비교할 수 있으며, 상기 제2 차이를 미리 정해진 제2 기준과 비교할 수 있다. 이때, 상기 제1 기준은 상기 제2 기준 보다 작아야 할 것이다.

또한, 상기 하이라이트 영역 도출부(73b-3)는 상기 하이라이트 가로 선분 또는 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 크기와 기준 선분 크기 범위를 비교하는 하이라이트 선분 크기 비교부(73b-33)를 더 구비할 수 있다.

하이라이트 선분 크기 비교부(73b-33)는 하이라이트 영역은 일정 크기 이하로 형성될 것이기 때문에 판단할 수 있다. 일 예로서, 가장 가까이 있는 얼굴을 촬영하는 경우 입력 영상 전체의 가로 길이와 세로 길이 각각을 W,H 라고 한다면, 하이라이트의 한축에서 최대 크기는 상기 수학식 5와 같이 제한할 수 있다. 이는 조정가능하다. 상기에서 검출한 하이라이트 가로 선분 및 상기 하이라이트 세로 선분의 길이가 하기 수학식 5의 하이라이트 크기 제한 보다 큰 경우 검출한 하이라이트 가로 선분 및 하이라이트 세로 선분은 하이라이트 영역으로 구성하지 않을 수 있다.

[수학식 5]

여기서 K는 얼굴크기에 따른 하이라이트의 가능한 크기를 구하기 위한 하이라이트 크기 대비 얼굴크기의 비율이다.

상기 하이라이트 영역 결정부(73b-34)는 상기 적어도 어느 하나의 선분의 크기가 상기 기준 선분 범위에 해당하는 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단할 수 있다.

상기 눈 영역 결정부(73b-5)는 상기와 같이 검출한 하이라이트 선분들에 대해 가까이 있는 선분들끼리 병합하여(labeling) 하이라이트 영역을 도출한다. 병합한 하이라이트 영역에서 최대 가로축과 세로축이 만나는 지점을 하이라이트 영역의 중심으로 설정한다. 그리고 상기 하이라이트 영역의 중심으로부터 일정 영역을 눈 영역으로 결정할 수 있다.

이후, 결정한 눈 영역에 대하여 적목 정도 도출부(73b-6)에서 적목 정도(Redness)를 도출하고, 적목 정도(Redness)를 이용하여 적목 영역 도출부(73b-7)에서 적목 영역을 결정 및 도출할 수 있다. 적목 영역 도출부(73b-7)에 대해서는 도 4를 함께 참조하여 상술한 바 있다.

이하에서는 본 발명에 관한 적목 현상 검출 방법에 관하여 설명한다.

우선, 일 실시 예로서 도 7을 참조하여 설명한다.

도 7에 따르면, 입력 영상을 생성한다(S11). 상기 입력 영상은 피사체 사람을 촬영하여 형성한 영상일 수 있다. 또는 피사체 사람을 포함하는 기 저장된 영상일 수도 있다.

상기 입력 영상으로부터 눈 영역을 결정한다(S12). 눈 영역 결정은 눈 인식 알고리즘을 통해 인식한 눈을 포함하는 일 영역을 눈 영역으로 결정할 수 있으며, 또는 적목에 필수적으로 형성되는 하이라이트 영역을 검출하여 검출한 하이라이트 영역을 포함하는 일 영역을 눈 영역으로 결정할 수 있다.

상기 눈 영역의 픽셀에 대하여 하기 수학식 1에 따라 적목 정도(Redness)를 도출할 수 있다(S13).

[수학식 1]

그리고 적목에 해당하는 기준 적목 정도를 갖는 적목 픽셀들을 도출한다(S14).

도출한 적목 픽셀들을 포함하는 적목 영역을 도출한다(S15).

도 8은 본 발명에 관한 적목 현상 검출 방법의 다른 실시 예를 설명하기 위한 순서도이다.

도 8을 참조하면, 우선 입력 영상을 생성한다(S21).

상기 입력 영상으로부터 눈 영역을 결정한다(S22).

상기 눈 영역 중에서, 가장 큰 적목 정도(Redness)를 갖는 픽셀을 도출한다(S23).

가장 큰 적목 정도(Max Redness)가 기준 적목 정도(Redness th) 보다 큰지 판단할 수 있다(S24). 가장 큰 적목 정도(Max Redness)가 적목에 해당하기 위한 문턱 적목 정도인 상기 기준 적목 정도(Redness th) 보다 작은 경우라면 적목 현상이 없다고 판단할 수 있으며 또는 적목 검출을 종료할 수 있다.

가장 큰 적목 정도(Max Redness)가 기준 적목 정도(Redness th) 보다 큰 경우, 상기 눈 영역에서, 가장 큰 적목 정도(Max Redness)를 갖는 픽셀을 포함하는 일정 크기의 제1 마스크 영역을 생성한다(S25). 상기 제1 마스크 영역은 3×3의 크기, 5×5의 크기를 가질 수 있다.

상기 제1 마스크 영역 내의 픽셀들로부터 영상 데이터의 평균을 도출한 다(S26). 그리고 상기 영상 데이터의 평균이 기준 평균(평균 th)보다 큰지 판단한다(S27).

상기 제1 마스크 영역 내의 픽셀들 중에서 적목 정도(Redness)가 일정 크기 이상의 픽셀들에 대해 각 채널별 밝기 값의 평균을 구할 수 있다. 상기 제1 마스크 영역 내에서 하이라이트나 홍채의 영역을 제외하기 위해서이다. 그리고 R,G,B 영상 데이터의 평균을 도출하는 경우, R 영상 데이터의 평균, G 영상 데이터의 평균, B 영상 데이터의 평균을 구할 수 있다.

상기 영상 데이터의 평균이 기준 평균(평균 th)보다 작은 경우 적목 현상이 없다고 판단할 수 있으며 또는 적목 검출을 종료할 수 있다.

상기 영상 데이터의 평균이 기준 평균(평균 th)보다 큰 경우, 영상 데이터 범위에 속하는 적목 픽셀을 도출한다(S28). 상기 영상 데이터의 범위로 영상 데이터의 평균±a를 설정할 수 있다. a는 경험치에 의해 결정되며, 조절 가능하다.

그리고 도출한 적목 픽셀의 개수가 기준 개수(개수 th)와 비교한다(S29). 상기 적목 픽셀의 개수가 상기 기준 개수 보다 작은 경우 적목 현상이 없다고 판단할 수 있으며 또는 적목 검출을 종료할 수 있다.

상기 적목 픽셀의 개수가 상기 기준 개수 보다 큰 경우, 상기 적목 픽셀로부터 적목 영역을 결정할 수 있다(S30).

도 9는 본 발명에 관한 적목 현상 검출 방법의 또 다른 실시 예를 설명하기 위한 순서도이다.

도 9를 참조하면, 우선 입력 영상을 생성한다(S31). 그리고 상기 입력 영상 에 대하여 얼굴 인식 알고리즘을 통해 얼굴을 검출한다(S32).

검출한 얼굴의 개수(N)이 있는지 판단한다(S33). 검출한 얼굴의 개수(N)가 0없다면, 즉 얼굴이 검출되지 않은 경우 Modul 1의 방법으로 적목 현상을 검출한다. 또는 검출한 얼굴의 개수(N)가 0 보다 큰 경우, 검출 얼굴 면적(A)을 기준 면적(A th)과 비교한다(S35).

검출한 얼굴 면적(A)이 기준 면적(A th)보다 큰 경우 Modual 1 또는 2의 방법으로 적목 현상을 검출하며(S36), 검출한 얼굴 면적(A)이 기준 면적(A th)보다 작은 경우 Modual 2의 방법으로 적목 현상을 검출할 수 있다(S37).

검출한 얼굴의 개수(N)를 하나 줄인 후(S38), 즉 검출한 얼굴에 대하여 적목 현상을 검출한 후, 적목을 검출할 얼굴의 개수(N)가 남아있는지 판단한다(S39). 남아있는 경우 다시 S35 이후의 단계들을 실행한다. 남아있지 않는 경우, 적목 현상 검출을 종료한다.

도 10은 3명의 피사체들을 포함하는 입력 영상의 일 실시 예이다. 도 10에 따르면, 제1 피사체(P1)는 얼굴이 검출되어 얼굴 영역(F1)과 상기 얼굴 영역 내의 눈이 검출되어 눈 영역(E1)이 형성된 것이다. 제2 피사체(P2)도 얼굴 영역(F2)과 상기 얼굴 영역 내의 눈이 검출되어 눈 영역(E2)이 형성된 것이다. 그러나 상기 제2 피사체(P2) 영상은 상기 제1 피사체(P1)의 영상 보다 작으며, 상기 제2 피사체(P2)의 얼굴 영역(F2)의 면적도 상기 제1 피사체(P1)의 얼굴 영역(F1) 면적보다 작은 것이다. 또한, 상기 입력 영상은 얼굴 인식 알고리즘으로 검출하지 못한 제3 피사체(P3)를 포함할 수 있다.

11a와 도 11b는 도 9에 도시된 적목 현상 검출 방법에 있어서, Module 1의 방법을 설명하기 위한 순서도이다.

우선, 도 11a를 참조하면 얼굴을 검출하지 못하거나 얼굴 영역의 면적이 큰 경우 입력 영상에 대하여 하이라이트 선분을 도출한다(S41).

상기 입력 영상에 적목 현상이 발생한 눈 영역의 일 예를 도 12에 도시하였다. 도 12에 따르면, 눈 영역(Ei) 내에 동공 영역(Ii), 적목 영역(Ri) 및 하이라이트 영역(Wi)이 발생하였다.

도 13a를 더 참조하면, 상기 눈 영역(Ei)에 대하여 가로축으로 스캐닝하여 매우 밝은 흰색을 나타내는 하이라이트 가로 선분을 도출할 수 있다. 시작점(S1)과 끝점(E1)을 연결하는 하이라이트 가로 선분을 도출할 수 있다.

도 13b를 참조하면, 상기 눈 영역(Ei)에 대하여 세로축으로 스캐닝하여 시작점(S2)과 끝점(E2)을 연결하는 하이라이트 세로 선분을 도출할 수 있다.

하이라이트는 눈의 흰자위 보다 더욱 밝다. 이에 대한 조건식으로 하기 수학식 2 또는 3을 이용할 수 있다. 각 픽셀의 영상 데이터가 R,G,B 데이터인 경우 수학식 2를 사용함이 바람직하며, Y, Cb, Cr인 경우 수학식 3을 사용할 수 있다.

[수학식 2]

[수학식 3]

이렇게 형성한 하이라이트 선분들을 가까이 있는 것들끼리 병합하여 하이라 이트 영역을 도출할 수 있다(S42). 하이라이트 영역을 도출하기 위하여 하기와 같은 단계들 중 적어도 어느 하나를 더 수행할 수 있다.

[수학식 4]

상기 수학식 4에서 현재 픽셀과 2칸 이전의 픽셀의 영상 데이터를 비교함으로써, 하이라이트가 번져있는 영역까지 검출할 수 있다.

상기 수학식 4의 조건을 만족하는 하이라이트 선분에 대하여 유효한 하이라이트 선분으로 판단할 수 있다.

또한, 하이라이트는 일정 크기 이하이다. 이는 전체 영상 사이즈에서 가장 가까이 얼굴을 찍는 경우부터 생각했을 때, 전체 영상의 가로 길이와 세로 길이 각각을 W,H 라고 한다면, 하이라이트의 한축에서 최대 크기는 상기 수학식 5와 같이 제한할 수 있다. 이는 조정가능하다. 상기에서 검출한 하이라이트 가로 선분 및 상기 하이라이트 세로 선분의 길이가 하기 수학식 5의 하이라이트 크기 제한 보다 큰 경우 검출한 하이라이트 가로 선분 및 하이라이트 세로 선분은 하이라이트 영역으로 구성하지 않을 수 있다.

[수학식 5]

상기 적어도 어느 하나의 선분의 크기가 상기 기준 선분 범위에 해당하는 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 유효한 하이라이트 선분으로 판단할 수 있다.

상기와 같이 검출한 하이라이트 선분들에 대해 가까이 있는 선분들끼리 병합하여(labeling) 하이라이트 영역을 도출한다(S42).

일 예로서 도 14에서와 같이 하이라이트 영역(W)을 도출할 수 있다. 그리고 병합한 하이라이트 영역에서 최대 가로축과 세로축이 만나는 지점을 하이라이트 영역(W)의 중심으로 설정한다(S43).

반복 회수는 하이라이트 영역의 개수로, 처리 순번은 0으로 설정하고(S44). 반복 회수가 0보다 큰지 판단한다(S45). 반복 회수가 0보다 크다면 도 15에서와 같이 상기 하이라이트 영역(W)의 중심으로부터 일정 영역을 눈 영역(A)으로 결정할 수 있다(S46). 반복 회수가 0이라면, 즉 하이라이트 영역의 개수가 0이라면 적목 현상이 검출되지 않은 것으로 판단하거나 또는 적목 현상 검출을 종료할 수 있다.

도 15를 더 참조하면, 상기 눈 영역(A) 내에서 최대 적목 정도(Max redness)를 갖는 픽셀(Pr)을 도출한다. 이때 적목 정도(Redness)는 상기 수학식 1의 방법으로 도출할 수 있다. 상기 수학식 1은 눈 영역에서 발생한 적목을 검출하는데 있어서, 신뢰성을 향상한 식이다. 입력 영상에서 다양한 붉은 색을 나타내는 경우, 검붉은색, 선홍색 등을 제외한 적목에 대응하는 붉은 색을 선택적으로 검출하기 위한 신뢰성 있는 식이다.

최대 적목 정도(Max redness)를 적목으로 검출하기 위한 문턱값인 기준 적목 정도와 비교한다(S48). 기준 적목 정도는 40 내지 100으로 설정할 수 있으나, 이에 한정하는 것은 아니다. 최대 적목 정도(Max redness)가 상기 기준 적목 정도 보다 작다면, 반복 회수를 하나 줄이고(S56), 처리 순번은 하나 늘려 S45 단계 이후의 단계들을 수행한다. 즉, 도출된 하이라이트 영역들에 대하여 제1 하이라이트 영역은 적목 현상이 검출되지 않았다고 판단하고, 다른 제2 하이라이트 영역에 대하여 적목 현상을 검출하는 단계들을 수행하고자 함이다.

최대 적목 정도(Max redness)가 상기 기준 적목 정도 보다 크다면, 최대 적목 정도(Max redness)를 갖는 픽셀에서 일정 크기의 제1 마스크 영역을 생성한다(S49). 도 16을 함께 참조하면, 주위의 제1 마스크(M1)를 형성할 수 있다.

그리고 도 11b를 참조하면, 하이라이트나 홍채를 제외하기 위하여 상기 제1 마스크 영역 내의 픽셀들 중에서 적목 정도(Redness)가 일정 크기 이상인 픽셀들을 도출하고, 도출한 픽셀들에 대하여 영상 데이터의 평균을 도출한다(S50). 도출한 상기 픽셀들에 대하여 각 채널별로 영상 데이터의 평균을 도출할 수 있다.

상기 영상 데이터의 평균을 적목이기 위한 문턱값인 기준 평균(평균 th)과 비교한다(S51). 상기 기준 평균으로 30 내지 80으로 설정할 수 있으나, 이에 한정하는 것은 아니다. 상기 영상 데이터의 평균이 기준 평균(평균 th) 보다 작다면, 반복 회수를 하나 줄이고(S56), 처리 순번은 하나 늘려 S45 단계 이후의 단계들을 수행한다.

상기 영상 데이터의 평균이 기준 평균(평균 th) 보다 크다면, 적목으로 판단하기 위한 영상 데이터의 범위 내에 해당하는 픽셀을 도출한다(S52). 상기 영상 데이터의 범위는 상기 영상 데이터의 평균±a로 결정할 수 있다. 상기 영상 데이터 범위는 th1< 픽셀 계조 < th2로 형성할 수 있다. th 1 또는 th 2는 경험치에 의해 조정가능하다.

도 17을 함께 참조하면, 최대 적목 정도(Max redness)를 갖는 픽셀을 포함하는 일정 영역(Eⅱ) 내에서 상기 영상 데이터의 평균 범위에 해당하는 적목 픽셀들을 도출한다.

도출한 적목 픽셀의 개수와 기준 개수(개수 th)를 비교한다(S53). 도출한 적목 픽셀의 개수가 기준 개수(개수 th) 보다 작은 경우 반복 회수를 하나 줄이고(S56), 처리 순번은 하나 늘려 S45 단계 이후의 단계들을 수행한다. 도출한 적목 픽셀의 개수가 기준 개수(개수 th) 보다 큰 경우, 검출한 적목 픽셀들을 포함하는 적목 영역을 도출한다. 이때, 적목 영역의 Aspect ratio를 도출하고, 상기 Aspect ratio가 th3 내지 th4의 범위에 해당하는지 판단한다(S54). Aspect ratio 는 상기 적목 영역의 최대 가로축 대비 최대 세로축의 비이다. 여기서 th3은 0.4 내지 0.7이며, th 4는 1.2 내지 1.7으로 설정할 수 있으나, 이에 한정하는 것은 아니다. 상기 Aspect ratio가 th3 내지 th4의 범위에 해당하는 경우, 상기 적목 영역에 대하여 이후의 단계들을 수행한다. 또는 상기 Aspect ratio가 th3 내지 th4의 범위에 해당하지 않는 경우 반복 회수를 하나 줄이고(S56), 처리 순번은 하나 늘려 S45 단계 이후의 단계들을 수행한다.

도 18을 함께 참조하면, 상기 적목 영역(R)에서 최대 가로축(H)과 최대 세로축(V) 중 긴 선분을 적목 영역의 지름으로 설정하고, 상기 최대 가로축(H)과 최대 세로축(V)이 만나는 교점을 적목 영역(R)의 임시적인 중심(C)으로 결정한다.

그리고 도 19a 내지 도 19e를 함께 참조하면, 상기 적목 영역(R)의 임시적인 중심(C)을 일정량 이동시켜 적목 영역의 지름과 같은 원형 영역(R1, R2, R3, R4, R5 중 어느 하나) 내의 픽셀들의 적목 정도(Redness)의 평균이 가장 높은 임시적인 중심을 적목 영역의 최종 중심으로 결정하고, 적목 영역의 상기 지름을 절반 길이를 적목 영역의 반지름을 결정하여, 최종적으로 적목 영역을 결정할 수 있다(S55).

본 실시 예에 따르면 얼굴 검출 및 눈 검출 알고리즘이 없는 경우 또는 상기 알고리즘으로 얼굴 또는/및 눈 검출을 하지 못한 경우 플래시 빛을 반사하는 동공 근처의 하이라이트를 빠르고 정확하게 검출하며, 또한 상기 하이라이트 주위의 적목 현상을 효과적으로 검출할 수 있다.

도 20a와 도 20b는 도 9에 도시된 적목 현상 검출 방법에 있어서, Module 2의 방법을 설명하기 위한 순서도이다.

우선, 도 20a를 참조하면, 눈 인식 알고리즘을 이용하여 검출한 얼굴 영역에 대하여 눈을 검출하고, 검출한 눈을 포함하는 일 영역을 눈 영역으로 결정한다(S61).

반복 회수는 결정한 눈 영역의 개수로, 처리 순번은 0부터 시작한다(S62).

반복 회수가 0보다 큰지 판단한다(S63). 반복 회수가 0보다 크다면 상기 눈 영역에서 최대 적목 정도(Max redness)를 갖는 픽셀을 도출한다(S64). 이때 적목 정도(Redness)는 상기 수학식 1의 방법으로 도출할 수 있다. 상기 수학식 1은 눈 영역에서 발생한 적목을 검출하는데 있어서, 신뢰성을 향상한 식이다. 입력 영상에서 다양한 붉은 색을 나타내는 경우, 검붉은색, 선홍색 등을 제외한 적목에 대응하는 붉은 색을 선택적으로 검출하기 위한 신뢰성 있는 식이다. 반복 회수가 0이라면, 즉 하이라이트 영역의 개수가 0이라면 적목 현상이 검출되지 않은 것으로 판단하거나 또는 적목 현상 검출을 종료할 수 있다.

최대 적목 정도(Max redness)를 갖는 픽셀을 도출한 이후의 단계들은 도 11a와 도 11b에서 S48 이후의 단계들과 유사하게 수행할 수 있다.

구체적으로, 최대 적목 정도(Max redness)를 적목으로 검출하기 위한 문턱값인 기준 적목 정도(Redness th)와 비교한다(S65). 기준 적목 정도는 40 내지 100으로 설정할 수 있으나, 이에 한정하는 것은 아니다. 최대 적목 정도(Max redness)가 상기 기준 적목 정도 보다 작다면, 반복 회수를 하나 줄이고 처리 순번은 하나 늘려(S73), S63 단계 이후의 단계들을 수행한다. 즉, 결정한 눈 영역들 중에서 제1 눈 영역은 적목 현상이 검출되지 않았다고 판단하고, 다른 제2 눈 영역에 대하여 적목 현상을 검출하는 단계들을 수행하고자 함이다.

최대 적목 정도(Max redness)가 상기 기준 적목 정도 보다 크다면, 최대 적목 정도(Max redness)를 갖는 픽셀에서 일정 크기의 제1 마스크 영역을 생성한다(S66).

그리고 도 20b를 참조하면, 하이라이트나 홍채를 제외하기 위하여 상기 제1 마스크 영역 내의 픽셀들 중에서 적목 정도(Redness)가 일정 크기 이상인 픽셀들을 도출하고, 도출한 픽셀들에 대하여 영상 데이터의 평균을 도출한다(S67). 도출한 상기 픽셀들에 대하여 각 채널별로 영상 데이터의 평균을 도출할 수 있다.

상기 영상 데이터의 평균을 적목픽셀인지 판단하기 위한 문턱값인 기준 평균(평균 th)과 비교한다(S68). 상기 기준 평균으로 30 내지 80으로 설정할 수 있으나, 이에 한정하는 것은 아니다. 상기 영상 데이터의 평균이 기준 평균(평균 th) 보다 작다면, 반복 회수를 하나 줄이고, 처리 순번은 하나 늘려(S73), S63 단계 이후의 단계들을 수행한다.

상기 영상 데이터의 평균이 기준 평균(평균 th) 보다 크다면, 적목으로 판단 하기 위한 영상 데이터의 범위 내에 해당하는 픽셀을 도출한다(S69). 상기 영상 데이터의 범위는 상기 영상 데이터의 평균±a로 결정할 수 있다. 상기 영상 데이터 범위는 th1 < 픽셀 계조 < th2로 형성할 수 있다. th1 또는 th2는 경험치에 의해 조정가능하다.

도출한 적목 픽셀의 개수와 기준 개수(개수 th)를 비교한다(S70). 도출한 적목 픽셀의 개수가 기준 개수(개수 th) 보다 작은 경우 반복 회수를 하나 줄이고, 처리 순번은 하나 늘려(S73), S63 단계 이후의 단계들을 수행한다. 도출한 적목 픽셀의 개수가 기준 개수(개수 th) 보다 큰 경우, 검출한 적목 픽셀들을 포함하는 적목 영역을 도출한다. 이때, 적목 영역의 Aspect ratio를 도출하고, 상기 Aspect ratio가 th3내지 th4의 범위에 해당하는지 판단한다(S71). Aspect ratio 는 상기 적목 영역의 최대 가로축 대비 최대 세로축의 비이다. 여기서 th 3은 0.4 내지 0.7이며, th 4는 1.2 내지 1.7으로 설정할 수 있으나, 이에 한정하는 것은 아니다. 상기 Aspect ratio가 th 3 내지 th 4의 범위에 해당하는 경우, 상기 적목 영역에 대하여 이후의 단계들을 수행한다. 또는 상기 Aspect ratio가 th 3 내지 th 4의 범위에 해당하지 않는 경우 반복 회수를 하나 줄이고, 처리 순번은 하나 늘려(S73), S63 단계 이후의 단계들을 수행한다.

상기 적목 영역에서 최대 가로축과 최대 세로축 중 긴 선분을 적목 영역의 지름으로 설정하고, 상기 최대 가로축과 최대 세로축이 만나는 교점을 적목 영역의 임시적인 중심으로 결정한다.

그리고 상기 적목 영역의 임시적인 중심을 일정량 이동시켜 적목 영역의 지 름과 같은 원형 영역 내의 픽셀들의 적목 정도(Redness)의 평균이 가장 높은 임시적인 중심을 적목 영역의 최종 중심으로 결정하고, 적목 영역의 상기 지름을 절반 길이를 적목 영역의 반지름을 결정하여, 최종적으로 적목 영역을 결정할 수 있다(S72).

본 실시 예에 따르면 얼굴 굼출 및 눈 검출 알고리즘을 보유한 경우 이와 연동하여 더욱 효율적으로 적목 현상을 검출할 수 있다.

한편, 본 발명은 상술한 적목 현상 검출 방법을 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이 다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

도 1은 본 발명에 관한 적목 현상 검출 장치의 일 실시 예로서 디지털 카메라를 설명하기 위한 블럭도이다.

도 3은 도 1에 도시된 디지털 카메라에 있어서, 적목 현상 검출부의 다른 실시 예를 설명하기 위한 블럭도이다.

도 4는 도 3에 도시된 적목 현상 검출부에 있어서, 적목 영역 도출부의 일 실시 예를 설명하기 위한 블럭도이다.

도 5는 도 4에 도시된 적목 영역 도출부에 있어서, 적목 영역 결정부의 일 실시 예를 설명하기 위한 블럭도이다.

도 6은 도 3에 도시된 적목 현상 검출부에 있어서, 하이라이트 영역 도출부의 일 실시 예를 설명하기 위한 블럭도이다.

도 7은 본 발명에 관한 적목 현상 검출 방법의 일 실시 예를 설명하기 위한 순서도이다.

도 10은 복수의 피사체들을 촬영한 입력 영상의 일 실시 예를 나타낸 도면이 다.

도 11은 도 9에 도시된 적목 현상 검출 방법에 있어서, Module 1의 방법을 설명하기 위한 순서도이다.

도 12는 적목 현상이 발생한 눈 영역의 일 실시 예를 나타낸 도면이다.

도 13a는 도 12의 눈 영역에 있어서, 하이라이트 가로 선분의 일 실시 예를, 도 13b는 하이라이트 세로 선분의 일 실시 예를 나타낸 도면들이다.

도 14는 도 12의 눈 영역에 있어서, 하이라이트 영역의 일 실시 예를 나타낸 도면이다.

도 15는 도 12의 눈 영역에 있어서, 하이라이트 영역을 포함하는 주변 영역의 일 실시 예를 나타낸 도면이다.

도 16은 도 12의 눈 영역에 있어서, 가장 큰 적목 정도(Redness)를 갖는 픽셀을 포함하는 제1 마스크 영역의 일 실시 예를 나타낸 도면이다.

도 17은 도 12의 눈 영역에 있어서, 영상 데이터의 평균에 대응하는 적목 픽셀들을 검출하는 일 영역의 일 실시 예를 설명하기 위한 도면이다.

도 18은 도 12의 눈 영역에 있어서, 적목 픽셀들을 포함하는 제2 마스크 영역의 일 실시 예를 나타낸 도면이다.

도 19a 내지 도 19e는 상기 제2 마스크 영역을 이용하여 적목 영역을 도출하는 단계를 설명하기 위한 도면들이다.

도 20은 도 9에 도시된 적목 현상 검출 방법에 있어서, Module 2의 방법을 설명하기 위한 순서도이다.

Claims

입력 영상으로부터 눈 영역을 결정하는 단계;

상기 눈 영역에서 가장 큰 적목 정도(Redness)를 갖는 픽셀을 도출하는 단계;

상기 눈 영역 중에서, 상기 픽셀을 포함하는 일정 크기의 제1 마스크 영역을 생성하는 단계;

상기 제1 마스크 영역 내의 픽셀들로부터 영상 데이터의 평균을 도출하는 단계;

상기 눈 영역 중에서, 상기 영상 데이터의 평균에 대응하는 적목 픽셀들을 도출하는 단계;

상기 적목 픽셀들을 이용하여 적목 영역을 결정하는 단계를 포함하는 적목 현상 검출 방법.
제1항에 있어서, 상기 적목 픽셀들을 포함하는 제2 마스크 영역을 생성하는 단계;

상기 제2 마스크 영역을 이동시켜, 상기 제2 마스크 영역 내 픽셀들의 적목 정도(Redness) 평균이 가장 큰 상태의 상기 제2 마스크 영역을 적목 영역으로 결정하는 단계;를 더 포함하는 적목 현상 검출 방법.
제1항에 있어서, 가장 큰 적목 정도(Redness)를 기준 적목 정도(Redness)와 비교하는 단계;

가장 큰 적목 정도(Redness)가 기준 적목 정도(Redness) 보다 작은 경우 적목 영역이 없는 것으로 판단하는 단계;를 더 구비하고,

가장 큰 적목 정도(Redness)가 기준 적목 정도(Redness) 보다 큰 경우 상기 눈 영역에서 가장 큰 적목 정도(Redness)를 갖는 픽셀을 도출하는 단계를 행하는 것을 특징으로 하는 적목 현상 검출 방법.
제1항에 있어서, 상기 적목 정도(Redness)는 하기 수학식 1에 의해 도출하는 것을 특징으로 하는 적목 현상 검출 방법.

[수학식 1]

Redness = (r-b)×(r-g)×(r+b-g)/((g+b)×(g+b)+1)

상기 수학식 1에서 r,g,b,는 픽셀의 R,G,B 영상 데이터를 의미한다.
제1항에 있어서, 상기 입력 영상에 대하여 얼굴 영역을 검출하는 단계;를 더 구비하는 적목 현상 검출 방법.
제5항에 있어서, 상기 얼굴 영역을 검출한 경우, 눈 영역을 검출하는 단계를 더 포함하는 적목 현상 검출 방법.
제6항에 있어서, 검출한 얼굴 영역의 면적을 기준 면적과 비교하는 단계;

상기 검출한 얼굴 영역의 면적이 상기 기준 면적 보다 작은 경우 눈 영역을 검출하는 단계;

상기 검출한 얼굴 영역의 면적이 상기 기준 면적 보다 큰 경우 하이라이트 영역을 도출하는 단계; 및

상기 하이라이트 영역을 포함하는 일 영역을 눈 영역으로 결정하는 단계;를 더 포함하는 적목 현상 검출 방법.
제5항에 있어서, 상기 얼굴 영역을 검출하지 않은 경우, 하이라이트 영역을 도출하는 단계;

상기 하이라이트 영역을 포함하는 일 영역을 눈 영역으로 결정하는 단계;를 더 구비하는 적목 현상 검출 방법.
제7항 또는 제8항에 있어서, 상기 하이라이트 영역을 도출하는 단계는,

하이라이트 가로 선분 및 하이라이트 세로 선분을 도출하는 단계; 및

상기 하이라이트 가로 선분 및 하이라이트 세로 선분을 포함하는 하이라이트 영역을 도출하는 단계;를 포함하는 적목 현상 검출 방법.
제9항에 있어서, 상기 하이라이트 가로 선분 및 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 시작점 또는 끝점의 제1 픽셀과 상기 제1 픽셀의 스캐닝 방향을 기준으로 2개 이전의 제2 픽셀과의 영상 데이터 차이를 도출하는 단 계;

상기 제1 픽셀과 상기 제2 픽셀의 적색 영상 데이터 차이를 상기 제1 픽셀과 상기 제2 픽셀의 녹색 영상 데이터 또는 상기 제1 픽셀과 상기 제2 픽셀의 청색 영상 데이터 차이와 비교하는 단계;

상기 적색 영상 데이터 차이가 상기 녹색 영상 데이터 또는 상기 청색 영상 데이터 차이보다 작은 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단하는 단계;를 더 구비하는 적목 현상 검출 방법.
제10항에 있어서, 상기 하이라이트 가로 선분 또는 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 크기와 기준 선분 크기 범위를 비교하는 단계;

상기 적어도 어느 하나의 선분의 크기가 상기 기준 선분 크기 범위에 해당하는 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단하는 단계;를 더 구비하는 적목 현상 검출 방법.
입력 영상으로부터 눈 영역 결정하는 단계;

상기 눈 영역의 픽셀에 대하여 하기 수학식 1에 따라 적목 정도(Redness)를 도출하는 단계;

[수학식 1]

Redness = (r-b)×(r-g)×(r+b-g)/((g+b)×(g+b)+1)

상기 수학식 1에서 r,g,b,는 픽셀의 R,G,B 영상 데이터를 의미한다.

상기 눈 영역에서, 기준 적목 정도(Redness)에 대응하는 적목 픽셀들을 도출하는 단계;

상기 적목 픽셀들을 포함하는 적목 영역을 도출하는 단계;를 구비하는 적목 현상 검출 방법.
제12항에 있어서, 상기 입력 영상에서 하이라이트 영역을 도출하는 단계;

상기 하이라이트 영역을 포함하는 일 영역을 눈 영역으로 결정하는 단계;를 더 구비하는 적목 현상 검출 방법.
삭제
제13항에 있어서, 상기 하이라이트 영역을 도출하는 단계는,

하이라이트 가로 선분 및 하이라이트 세로 선분을 도출하는 단계; 및

상기 하이라이트 가로 선분 및 하이라이트 세로 선분을 포함하는 하이라이트 영역을 도출하는 단계;를 포함하는 적목 현상 검출 방법.
제15항에 있어서, 상기 하이라이트 가로 선분 및 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 시작점 또는 끝점의 제1 픽셀과 상기 제1 픽셀의 스캐닝 방향을 기준으로 2개이전의 제2 픽셀과의 영상 데이터 차이를 도출하는 단계;

상기 제1 픽셀과 상기 제2 픽셀의 적색 영상 데이터 차이를 상기 제1 픽셀과 상기 제2 픽셀의 녹색 영상 데이터 또는 상기 제1 픽셀과 상기 제2 픽셀의 청색 영상 데이터 차이와 비교하는 단계;

상기 적색 영상 데이터 차이가 상기 녹색 영상 데이터 또는 상기 청색 영상 데이터 차이보다 작은 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단하는 단계;를 더 구비하는 적목 현상 검출 방법.
제16항에 있어서, 상기 하이라이트 가로 선분 또는 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 크기와 기준 선분 크기 범위를 비교하는 단계;

상기 적어도 어느 하나의 선분의 크기가 상기 기준 선분 크기 범위에 해당하는 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단하는 단계;를 더 구비하는 적목 현상 검출 방법.
입력 영상으로부터 눈 영역 결정하는 눈 영역 결정부;

상기 눈 영역의 픽셀들에 대하여 하기 수학식 1에 따라 적목 정도(Redness)를 도출하는 적목 정도(Redness) 도출부;

[수학식 1]

Redness = (r-b)×(r-g)×(r+b-g)/((g+b)×(g+b)+1)

상기 수학식 1에서 r,g,b,는 픽셀의 R,G,B 영상 데이터를 의미한다.

상기 눈 영역에서, 기준 적목 정도(Redness)에 대응하는 적목 픽셀들을 포함하는 적목 영역을 도출하는 적목 영역 도출부;를 구비하는 적목 현상 검출 장치.
제18항에 있어서, 상기 입력 영상에서 하이라이트 영역을 도출하는 하이라이트 영역 도출부;를 더 구비하고,

상기 눈 영역 결정부는 상기 하이라이트 영역을 포함하는 일 영역을 눈 영역으로 결정하는 것을 특징으로 하는 적목 현상 검출 장치.
제19항에 있어서, 상기 하이라이트 영역 도출부는,

하이라이트 가로 선분 및 하이라이트 세로 선분을 도출하는 하이라이트 선분 도출부; 및

상기 하이라이트 가로 선분 및 하이라이트 세로 선분을 포함하는 하이라이트 영역을 결정하는 하이라이트 영역 결정부;를 포함하는 적목 현상 검출 장치.
제20항에 있어서, 상기 하이라이트 영역 도출부는,

상기 하이라이트 가로 선분 및 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 시작점 또는 끝점의 제1 픽셀과 상기 제1 픽셀로부터 스캐닝 방향을 기준으로 2개이전의 제2 픽셀과의 적색 영상 데이터 차이를 상기 제1 픽셀과 상기 제2 픽셀의 녹색 영상 데이터 또는 상기 제1 픽셀과 상기 제2 픽셀의 청색 영상 데 이터 차이와 비교하는 하이라이트 선분의 픽셀과 주변 픽셀의 비교부를 더 구비하고,

상기 하이라이트 영역 결정부는 상기 적색 영상 데이터 차이가 상기 녹색 영상 데이터 또는 상기 청색 영상 데이터 차이보다 작은 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단하는 것을 특징으로 하는 적목 현상 검출 장치.
제21항에 있어서, 상기 하이라이트 영역 도출부는,

상기 하이라이트 가로 선분 또는 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 크기와 기준 선분 크기 범위를 비교하는 하이라이트 선분 크기 비교부;를 더 구비하고,

상기 하이라이트 영역 결정부는 상기 적어도 어느 하나의 선분의 크기가 상기 기준 선분 크기 범위에 해당하는 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단하는 것을 특징으로 하는 적목 현상 검출 장치.
입력 영상으로부터 눈 영역 결정하는 눈 영역 결정부;

상기 눈 영역에서 가장 큰 적목 정도(Redness)를 갖는 픽셀을 도출하는 적목 정도(Redness) 최대 픽셀 도출부;

상기 눈 영역 중에서, 상기 픽셀을 포함하는 일정 크기의 제1 마스크 영역을 생성하는 제1 마스크 영역 생성부;

상기 제1 마스크 영역 내의 픽셀들로부터 영상 데이터의 평균을 도출하는 영상 데이터 평균 도출부;

상기 눈 영역 중에서, 상기 영상 데이터의 평균에 대응하는 적목 픽셀을 도출하는 적목 픽셀 도출부;

상기 적목 픽셀을 이용하여 적목 영역을 결정하는 적목 영역 결정부;를 포함하는 적목 현상 검출 장치.
제23항에 있어서, 상기 적목 영역 결정부는,

상기 적목 픽셀을 포함하는 제2 마스크 영역을 생성하는 제2 마스크 영역 생성부;

상기 제2 마스크 영역을 이동시켜, 상기 제2 마스크 영역 내 픽셀들의 적목 정도(Redness) 평균을 연산하는 적목 정도(Redness) 평균 연산부;

상기 평균이 가장 큰 상태의 상기 제2 마스크 영역을 적목 영역으로 판단하는 적목 영역 판단부;를 포함하는 적목 현상 검출 장치.
제23항에 있어서, 가장 큰 적목 정도(Redness)를 기준 적목 정도(Redness)와 비교하는 적목 정도(Redness) 비교부;

가장 큰 적목 정도(Redness)가 기준 적목 정도(Redness) 보다 작은 경우 적목 영역이 없는 것으로 판단하는 적목 정도(Redness) 판단부;를 더 구비하고,

상기 적목 정도(Redness) 최대 픽셀 도출부는 가장 큰 적목 정도(Redness)가 기준 적목 정도(Redness) 보다 큰 경우 상기 눈 영역에서 가장 큰 적목 정도(Redness)를 갖는 픽셀을 도출하는 것을 특징으로 하는 적목 현상 검출 장치.
제23항에 있어서, 상기 적목 정도(Redness)는 하기 수학식 1에 의해 도출하는 것을 특징으로 하는 적목 현상 검출 장치.

[수학식 1]

Redness = (r-b)×(r-g)×(r+b-g)/((g+b)×(g+b)+1)

상기 수학식 1에서 r,g,b,는 픽셀의 R,G,B 영상 데이터를 의미한다.
제23항에 있어서, 상기 입력 영상에 대하여 얼굴 영역을 검출하는 얼굴 영역 검출부;를 더 구비하는 적목 현상 검출 장치.
제27항에 있어서, 상기 얼굴 영역에서 눈 영역을 검출하는 눈 영역 검출부를 더 구비하는 적목 현상 검출 장치.
제28항에 있어서, 검출한 얼굴 영역의 면적을 기준 면적과 비교하는 얼굴 면적 비교판단부;를 더 구비하고,

상기 눈 영역 검출부는 상기 검출한 얼굴 영역의 면적이 상기 기준 면적 보다 작은 경우 눈 영역을 검출하고 상기 눈 영역 결정부에서 검출한 결과에 따라 눈 영역을 결정하며,

상기 검출한 얼굴 영역의 면적이 상기 기준 면적 보다 큰 경우 하이라이트 영역을 도출하는 하이라이트 영역 도출부를 더 구비하고, 상기 눈 영역 결정부는 상기 하이라이트 영역을 포함하는 일 영역을 눈 영역으로 결정하는 것을 특징으로 하는 적목 현상 검출 장치.
제27항에 있어서, 상기 얼굴 영역 검출부에서 상기 얼굴 영역을 검출하지 않은 경우,

하이라이트 영역을 도출하는 하이라이트 영역 도출부를 더 구비하고,

상기 눈 영역 결정부는 상기 하이라이트 영역을 포함하는 일 영역을 눈 영역으로 결정하는 것을 특징으로 하는 적목 현상 검출 장치.
제29항 또는 제30항에 있어서, 상기 하이라이트 영역 도출부는,

하이라이트 가로 선분 및 하이라이트 세로 선분을 도출하는 하이라이트 선분 도출부; 및

상기 하이라이트 가로 선분 및 하이라이트 세로 선분을 포함하는 하이라이트 영역을 결정하는 하이라이트 영역 결정부;를 포함하는 적목 현상 검출 장치.
제31항에 있어서, 상기 하이라이트 영역 도출부는,

상기 하이라이트 가로 선분 및 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 시작점 또는 끝점의 제1 픽셀과 상기 제1 픽셀로부터 스캐닝 방향을 기준으로 2개이전의 제2 픽셀과의 적색 영상 데이터 차이를 상기 제1 픽셀과 상기 제2 픽셀의 녹색 영상 데이터 또는 상기 제1 픽셀과 상기 제2 픽셀의 청색 영상 데이터 차이와 비교하는 하이라이트 선분의 픽셀과 주변 픽셀의 비교부를 더 구비하고,

상기 하이라이트 영역 결정부는 상기 적색 영상 데이터 차이가 상기 녹색 영상 데이터 또는 상기 청색 영상 데이터 차이보다 작은 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단하는 것을 특징으로 하는 적목 현상 검출 장치.
제32항에 있어서, 상기 하이라이트 영역 도출부는,

상기 하이라이트 가로 선분 또는 상기 하이라이트 세로 선분 중 적어도 어느 하나의 선분의 크기와 기준 선분 크기 범위를 비교하는 하이라이트 선분 크기 비교부;를 더 구비하고,

상기 하이라이트 영역 결정부는 상기 적어도 어느 하나의 선분의 크기가 상기 기준 선분 크기 범위에 해당하는 경우 상기 적어도 어느 하나의 선분은 하이라이트 영역에 속하는 것으로 판단하는 것을 특징으로 하는 적목 현상 검출 장치.