KR20100053194A - 디지털 영상 처리장치 및 그 제어방법 - Google Patents

Abstract

본 발명은, 입력된 영상에서 사람의 얼굴을 검출하고 검출된 얼굴의 부위별 유사도 정보를 이용함으로써, 얼굴의 일부가 가려진 경우에도 얼굴 인식 성능을 향상시킬 수 있는 디지털 영상 처리장치 및 그 제어방법에 관한 것이다. 본 발명은, 입력 영상을 입력받는 영상 입력부; 적어도 하나 이상의 등록 얼굴의 정보가 저장되는 저장부; 및 상기 입력 영상에서 검출 얼굴을 검출하고, 상기 검출 얼굴을 부위별로 분할하고, 상기 검출 얼굴의 각각의 부위별로 상기 등록 얼굴에 대한 유사도를 측정하여, 상기 검출 얼굴에 대응되는 상기 등록 얼굴을 인식 얼굴로 인식하는 제어부를 구비하는 디지털 영상 처리장치를 제공한다.

Description

디지털 영상 처리장치 및 그 제어방법{Apparatus for processing digital image and method for controlling thereof}

본 발명은 디지털 영상 처리장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 입력된 영상에서 사람의 얼굴을 찾아내어 인식할 수 있는 디지털 영상 처리장치 및 그 제어방법에 관한 것이다.

통상적으로, 디지털 영상 처리장치는 디지털 카메라, PDA(personal digital assistant), 폰 카메라, PC 카메라 등의 영상을 처리하거나 영상 인식 센서를 사용하는 모든 장치를 포함한다.

디지털 영상 처리장치는 촬상 소자를 통하여 입력받은 영상을 디지털 신호 처리기에서 이미지 프로세싱하고 이를 압축하여 이미지 파일을 생성하고, 그 이미지 파일을 메모리에 저장할 수 있다.

또한, 디지털 영상 처리장치는 촬상 소자를 통하여 입력받거나 저장매체에 저장된 이미지 파일의 이미지를 LCD(Liquid Crystal Display)와 같은 표시장치에 표시하여 보여줄 수 있다.

한편, 디지털 영상 처리장치에서는 얼굴 인식 방법이 사용될 수 있다. 즉, 얼굴 인식 방법에 의하여 입력된 영상에서 사람의 얼굴을 검출하고, 검출된 얼굴이 누구의 얼굴인지를 자동으로 인식할 수 있다.

본 발명은, 입력된 영상에서 사람의 얼굴을 검출하고 검출된 얼굴의 부위별 유사도 정보를 이용함으로써, 얼굴의 일부가 가려진 경우에도 얼굴 인식 성능을 향상시킬 수 있는 디지털 영상 처리장치 및 그 제어방법을 제공하는 것을 목적으로 한다.

본 발명은, 입력 영상을 입력받는 영상 입력부; 적어도 하나 이상의 등록 얼굴의 정보가 저장되는 저장부; 및 상기 입력 영상에서 검출 얼굴을 검출하고, 상기 검출 얼굴을 부위별로 분할하고, 상기 검출 얼굴의 각각의 부위별로 상기 등록 얼굴에 대한 유사도를 측정하여, 상기 검출 얼굴에 대응되는 상기 등록 얼굴을 인식 얼굴로 인식하는 제어부를 구비하는 디지털 영상 처리장치를 제공한다.

상기 등록 얼굴의 정보가, 상기 등록 얼굴의 각각의 부위에 대한 기저 영상, 및 상기 등록 얼굴의 상기 기저 영상에 대한 특징 정보에 해당하는 등록 특징 계수를 구비할 수 있다.

상기 검출 얼굴의 정보가, 상기 등록 얼굴의 각각의 부위에 대한 기저 영상, 및 상기 검출 얼굴의 상기 기저 영상에 대한 특징 정보에 해당하는 검출 특징 계수를 구비할 수 있다.

상기 유사도가 각각의 상기 기저 영상에 대하여 상기 등록 특징 계수와 상기 검출 특징 계수의 유사 정도로부터 산출될 수 있다.

상기 등록 특징 계수 및 상기 검출 특징 계수가 상기 기저 영상에 대한 색상 분포 및 모양 분포 중의 적어도 어느 하나에 의하여 결정될 수 있다.

상기 검출 얼굴에서 각각의 부위에 대한 위치 정보를 갖는 기저영상에 의하여 상기 검출 얼굴을 부위별로 자동 분할할 수 있다.

상기 유사도가 미리 설정된 기준값보다 낮은 부위를 제거하고, 상기 검출 얼굴에 대응되는 상기 등록 얼굴을 검색할 수 있다.

각각의 부위별 상기 유사도를 합하여, 그 합이 가장 큰 상기 등록 얼굴을 상기 검출 얼굴에 대응되는 얼굴로 검색할 수 있다.

각각의 부위별로 상기 검출 얼굴의 상기 인식 얼굴에 대한 유사도가 표시되는 표시부를 더 구비할 수 있다.

상기 유사도가 대응되는 각각의 부위에 대한 막대 그래프, 숫자, 도형에 대한 색상 가중치, 또는 아이콘에 대한 색상 가중치로 표시될 수 있다.

상기 표시부에 상기 인식 얼굴에 대한 정보가 얼굴 인식 결과로 표시될 수 있다.

본 발명의 다른 측면은, 입력 영상을 입력받는 단계; 상기 입력 영상에서 검출 얼굴을 검출하는 단계; 상기 검출 얼굴을 부위별로 분할하는 단계; 상기 검출 얼굴에 대한 각각의 부위별 특징 계수를 구하는 단계; 미리 저장된 적어도 하나 이상의 등록 얼굴과의 부위별 유사도를 측정하는 단계; 및 상기 부위별 유사도로부터 상기 검출 얼굴에 대응되는 상기 등록 얼굴을 인식 얼굴로 인식하는 단계를 구비하는 디지털 영상 처리장치의 제어방법을 제공한다.

상기 유사도가 미리 설정된 기준값보다 낮은 부위를 제거하는 단계를 더 구비할 수 있다.

각각의 부위별로 상기 검출 얼굴의 상기 인식 얼굴에 대한 유사도를 표시하는 단계를 더 구비할 수 있다.

본 발명에 따른 디지털 영상 처리장치 및 그 제어방법에 의하면, 입력된 영상에서 사람의 얼굴을 검출하고 검출된 얼굴의 부위별 유사도 정보를 이용함으로써, 얼굴의 일부가 가려진 경우에도 얼굴 인식 성능을 향상시킬 수 있다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1에는 본 발명에 따른 디지털 영상 처리장치의 일 실시예인 디지털 카메라(100)의 뒷면 외형이 도시되어 있다.

도면을 참조하면, 디지털 카메라(100)의 뒷면에는 방향 버튼(21), 메뉴-OK 버튼(22), 광각(Wide angle)-줌(Zoom) 버튼(W), 망원(Telephoto)-줌(Zoom) 버튼(T), 및 디스플레이 패널(25) 등이 구비될 수 있다.

방향 버튼(21)에는 상향 버튼(21a), 하향 버튼(21b), 좌향 버튼(21c), 우향 버튼(21d)의 총 4개의 버튼이 포함될 수 있다. 방향 버튼(21)과 메뉴-OK 버튼(22)은 디지털 카메라와 같은 디지털 영상 처리장치의 동작에 관한 각종 메뉴를 실행시키기 위해 입력하는 키이다.

광각-줌 버튼(W) 또는 망원-줌 버튼(T)은 그 입력에 따라 화각이 넓어지거나, 화각이 좁아진다. 특히, 선택된 노출영역의 크기를 변경시키고자 할 때 사용될 수 있다. 이때, 광각-줌 버튼(W)이 입력되면 선택된 노출영역의 크기가 커지고, 망원-줌 버튼(T)이 입력되면 선택된 노출영역의 크기가 작아질 수 있다.

디스플레이 패널(25)로는 LCD(liquid crystal display)등의 영상 표시소자가 사용될 수 있다. 디스플레이 패널(25)에는 본 발명에 따른 얼굴 인식 결과와 얼굴의 부위별 유사도가 표시될 수 있다.

한편, 디지털 카메라(100)의 앞면 또는 윗면에는 셔터 릴리즈 버튼(26), 플래시(미도시), 전원 스위치(28), 렌즈부(미도시)가 구비될 수 있다. 또한, 디지털 카메라(100)의 앞면과 뒷면에는 뷰 파인더(27)의 대물 렌즈와 접안 렌즈가 구비될 수 있다.

셔터 릴리즈 버튼(26) 및 전원 스위치(28) 등은 사용자가 외부로부터 조작하고자 하는 사항을 입력하는 사용자 조작부(도 3의 360)에 포함될 수 있다.

셔터 릴리즈 버튼(26)은 정해진 시간 동안 CCD(Charge Coupled Device)와 같은 촬상 소자나 필름을 빛에 노출시키기 위해 열리고 닫힌다. 또한, 셔터 릴리즈 버튼은 조리개(미도시)와 연동하여 피사체를 적정하게 노출시켜 촬상 소자에 영상을 기록한다.

한편, 셔터 릴리즈 버튼(26)은 2단으로 눌려질 수 있다. 셔터 릴리즈 버튼(26)이 일단으로 눌려지면 제1신호(S1)가 생성되고, 이단으로 눌려지면 제2신호(S2)가 생성될 수 있다. 제1신호(S1)에 의하여 촬영 준비 설정이 수행되고, 제2 신호(S2)에 의하여 촬영 작업이 수행될 수 있다.

이때, 얼굴 인식 모드가 온(ON)으로 설정된 경우에, 제1신호(S1)의 입력에 따라 본 발명에 의한 부위별 유사도 정보를 이용하여 얼굴 인식이 수행될 수 있다.

본 발명이 적용될 수 있는 디지털 영상 처리장치의 일 실시예로서 디지털 카메라와 그 제어장치, 및 그 제어방법이 본 출원인의 미국 특허출원 공개번호 제2004/0130650호(명칭: 카메라의 이차함수를 이용한 자동 포커싱 방법, Method of automatically focusing using a quadratic function in camera)에 개시되어 있다.

상기 미국출원에 개시된 디지털 카메라와 그 제어장치, 및 그 제어방법에 관한 사항은 본 명세서에 포함되는 것으로 하고, 그 자세한 설명은 생략한다.

도 2에는 본 발명에 따른 바람직한 실시예인 디지털 영상 처리장치의 제어장치(200)의 블록도가 도시되어 있다. 디지털 영상 처리장치의 제어장치(200)는 도 1의 디지털 카메라(100)의 내부에 장착될 수 있다.

도면을 참조하면, 렌즈부와 필터부를 포함한 광학계(OPS)는 피사체로부터의 빛을 광학적으로 처리한다. 광학계(OPS)의 렌즈부는 줌 렌즈, 포커스 렌즈 및 보상 렌즈를 포함한다. 사용자가 사용자 입력부(INP)에 포함된 광각-줌 버튼(W) 또는 망원-줌 버튼(T)을 누르면, 이에 상응하는 신호가 마이크로제어기(212)에 입력된다.

이에 따라, 마이크로제어기(212)가 렌즈 구동부(210)를 제어함에 따라, 줌 모터(M_Z)가 구동되어 줌 렌즈가 이동된다. 즉, 광각-줌 버튼(W)이 눌려지면 줌 렌즈 의 초점 길이가 짧아져서 화각이 넓어지고, 망원-줌 버튼(T)이 눌려지면 줌 렌즈의 초점 길이가 길어져서 화각이 좁아진다.

한편, 자동 초점 모드(auto focusing mode)에는, 디지털 신호 처리기(207) 안에 내장된 주 제어기가 마이크로제어기(212)를 통하여 렌즈 구동부(210)를 제어하고, 그에 따라 포커스 모터(M_F)가 구동된다. 즉, 포커스 모터(M_F)를 구동하여 가장 선명한 사진을 얻을 수 있는 위치로 포커스 렌즈를 이동시킨다.

자동 초점 모드는 사용자 입력부(INP)를 통하여 입력되는 셔터 릴리즈 버튼(도 1의 26)이 일단으로 눌려져 생성되는 제1신호(S1)에 따라 수행될 수 있다. 이때, 포커스 렌즈의 위치를 광축을 따라 이동시키면서 복수개의 영상을 입력받고, 복수개의 영상들 중에서 가장 선명한 영상을 얻어지는 포커스 렌즈의 위치를 구한다.

보상 렌즈는 전체적인 굴절률을 보상하는 역할을 하므로 별도로 구동되지 않는다. 참조 부호 M_A는 조리개(aperture, 도시되지 않음)를 구동하기 위한 조리개 조정 모터(M_A)를 가리킨다.

광학계(OPS)의 필터부에 있어서, 광학적 저역통과필터(Optical Low Pass Filter)는 고주파 성분의 광학적 노이즈를 제거한다. 적외선 차단 필터(Infra-Red cut Filter)는 입사되는 빛의 적외선 성분을 차단한다.

광전 변환부(OEC)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide- Semiconductor) 등의 촬상 소자를 포함하여 이루어질 수 있다. 광전 변환부(OEC)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다.

아날로그-디지털 변환부는 CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter) 소자(201)를 포함하여 이루어질 수 있다. 아날로그-디지털 변환부는 광전 변환부(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 신호로 변환시킨다. 여기서, 디지털 신호 처리기(207)는 타이밍 회로(202)를 제어하여 광전 변환부(OEC)와 아날로그-디지털 변환부(201)의 동작을 제어한다.

광학계(OPS), 광전 변환부(OEC), CDS-ADC 소자(201) 등은 본 발명에 따른 영상 입력부(도 3의 310)에 포함될 수 있다.

실시간 클럭(203)은 디지털 신호 처리기(207)에 시간 정보를 제공한다. 디지털 신호 처리기(207)는 CDS-ADC 소자(201)로부터의 디지털 신호를 처리하여 휘도(Y 값) 및 색도(R, G, B) 신호로 분류된 디지털 화상 신호를 발생시킨다.

디지털 신호 처리기(207)에 내장된 주 제어기의 제어에 따라 마이크로 제어기(212)에 의하여 구동되는 발광부(LAMP)에는, 셀프-타이머 램프, 자동-초점 램프, 모드 지시 램프 및 플래시 대기 램프 등이 포함될 수 있다.

사용자 입력부(INP)에는, 방향 버튼(21), 광각-줌 버튼(W) 및 망원-줌 버튼(T) 등이 포함될 수 있다. 이러한 사용자 입력부(INP)는 본 발명에 따른 사용자 조작부(도 3의 360)에 포함될 수 있다.

DRAM(Dynamic Random Access Memory, 204)에는 디지털 신호 처리기(207)로부터의 디지털 화상 신호가 일시 저장된다. EEPROM(Electrically Erasable and Programmable Read Only Memory, 205)에는 디지털 신호 처리기(207)의 동작에 필요한 부팅 프로그램 및 키 입력 프로그램 등과 같은 알고리즘 및 설정 데이터와 미리 등록되어 저장된 등록 얼굴에 대한 정보가 저장될 수 있다.

디지털 신호 처리기(207) 및/또는 마이크로 제어기(212)는 본 발명에 따른 제어부(도 3의 320)에 포함될 수 있다. 또한, 디지털 신호 처리기(207) 및/또는 마이크로 제어기(212)에는 임시 저장 공간으로 캐시 메모리가 장착될 수 있다.

이때, 캐시 메모리와 DRAM(204)는 입력되는 입력 영상, 입력 영상에서 검출된 검출 얼굴에 대한 정보, 및 검출 얼굴의 미리 등록되어 저장된 등록 얼굴에 대한 부위별 유사도 정보가 일시적으로 저장되는 제1 저장부(도 3의 330)에 포함될 수 있다. 제1 저장부(도 3의 330)에 포함되는 캐시 메모리는 디지털 신호 처리기(207) 및/또는 마이크로 제어기(212)와 분리되어 별도로 포함될 수 있다.

메모리 카드 인터페이스(206)에서는 사용자의 메모리 카드가 착탈될 수 있다. 메모리 카드 인터페이스(206)를 통하여 인식되는 메모리 카드는 촬영된 영상이 비휘발성으로 저장되는 것으로 도 3의 제2 저장부(340)에 포함될 수 있다.

디지털 신호 처리기(207)로부터의 디지털 화상 신호는 디스플레이 패널 구동부(214)에 입력되고, 이로 인하여 디스플레이 패널(215)에 화상이 디스플레이 된다.

디지털 영상 처리장치의 제어장치(200)는 표시부(214, 215)를 더 구비할 수 있다. 표시부(214, 215)는 디스플레이 패널(215) 및 디스플레이 패널(215)을 구동하는 디스플레이 패널 구동부(214)를 구비할 수 있다. 표시부(214, 215)는 본 발명 에 따른 표시부(도 3의 350)에 포함될 수 있다.

한편, 디지털 신호 처리기(207)로부터의 디지털 화상 신호는, USB(Universal Serial Bus) 접속부(31a) 또는 RS232C 인터페이스(208)와 그 접속부(31b)를 통하여 직렬 통신으로써 전송될 수 있고, 비디오 필터(209) 및 비디오 출력부(31c)를 통하여 비디오 신호로서 전송될 수 있다. 여기서, 디지털 신호 처리기(207)는 그 내부에 마이크로제어기를 내장할 수 있다.

오디오 처리기(213)는, 마이크로폰(MIC)으로부터의 음성 신호를 디지털 신호 처리기(207) 또는 스피커(SP)로 출력하고, 디지털 신호 처리기(207)로부터의 오디오 신호를 스피커(SP)로 출력한다.

도 3에는 본 발명에 따른 바람직한 실시예인 디지털 영상 처리장치(300)의 블록도가 도시되어 있다. 디지털 영상 처리장치(300)는 도 4에 도시된 디지털 영상 처리장치의 제어방법(S400)에 의하여 제어될 수 있다.

도면을 참조하면, 디지털 영상 처리장치(300)는 영상 입력부(310); 제어부(320); 저장부(330, 340, 370); 표시부(350); 및 사용자 조작부(360)를 구비할 수 있다.

영상 입력부(310)는 입력 영상을 입력받을 수 있다. 저장부(330, 340, 370)에는 적어도 하나 이상의 등록 얼굴의 정보가 저장될 수 있다. 제어부(320)는 입력 영상에서 검출 얼굴을 검출하고, 검출 얼굴을 부위별로 분할하고, 검출 얼굴의 각각의 부위별로 등록 얼굴에 대한 유사도를 측정하여, 검출 얼굴에 대응되는 등록 얼굴을 인식 얼굴로 인식할 수 있다.

종래의 디지털 영상 처리장치에 의한 얼굴 인식 기능에서는, 검출되는 인물이 마스크나 선글라스 등을 착용하여 얼굴의 일부가 가려졌을 때 얼굴 인식 성능이 현저히 저하될 수 있다.

이러한 문제를 해결하기 위하여, 피촬영자가 이처럼 얼굴을 가리는 것을 착용하지 못하게 하거나, 사용자가 착용 상태 또는 착용 위치를 시스템에 알려줄 수 있다. 이 경우 사진 촬영을 번거롭게 하거나, 사용자의 별도의 조작이 필요하여, 사용자가 사용에 불편을 겪을 수 있다.

하지만, 본 발명에 따른 디지털 영상 처리장치(300)는 얼굴의 부위별 유사도 정보를 이용하여, 특정 부위의 유사도가 현저하게 떨어지는 경우에는 등록 얼굴과의 비교 시에 해당 부위에 대하여 적게 고려하거나, 특정 부위를 제외하고 얼굴 인식을 수행할 수 있다. 즉, 본 발명에서는 부위별로 유사도를 측정하므로, 눈, 코, 입 등의 특징 부위가 사라진 경우에도, 자동으로 얼굴을 확인하여 인증할 수 있어 각종 산업분야에 유용하게 이용될 수 있다.

특히, 검출 얼굴과 데이터 베이스에 등록된 등록 얼굴들과 비교 시에, 얼굴을 부위별로 나누고, 부위별 특징 계수를 이용하여 얼굴 유사도 측정하므로, 얼굴의 일부가 가려진 경우에도 가려짐에 강인한 얼굴 인식 시스템을 구축할 수 있게 된다.

저장부(330, 340, 370)에는 얼굴 부위별 유사도, 입력 영상, 및 촬영된 영상이 저장될 수 있다. 저장부(330, 340, 370)는 제1 저장부(330), 제2 저장부(340), 및 등록 얼굴 정보 저장부(370)를 구비할 수 있다.

제1 저장부(330)에는 얼굴 부위별 유사도 및 입력 영상이 임시 저장될 수 있다. 제2 저장부(340)에는 촬영된 영상이 저장될 수 있다. 등록 얼굴 정보 저장부(370)에는 적어도 하나 이상의 등록 얼굴의 정보가 저장될 수 있다.

등록 얼굴 정보 저장부(370)에는 미리 만들어진 등록 얼굴에 대한 정보가 데이터 베이스 형태로 저장될 수 있다. 이때, 등록 얼굴의 정보가 기저 영상, 및 등록 특징 계수를 포함할 수 있다.

기저 영상은 등록 얼굴의 각각의 부위에 대한 위치 정보로서, 수학적으로는 벡터 값이 될 수 있다. 등록 특징 계수는 등록 얼굴의 기저 영상에 대한 특징 정보에 해당하는 값이다. 이때, 등록 특징 계수는 기저 영상에 대한 색상 분포 및 모양 분포 중의 적어도 어느 하나에 의하여 결정될 수 있다.

데이터 베이스로 저장되는 등록 얼굴의 정보는 반복되는 얼굴 인식에 의하여 그 정보가 학습되어 업데이트 되는 훈련 영상을 포함할 수 있다. 이러한 훈련 영상에서 각각의 등록 얼굴에 대한 각각의 부위에 해당하는 기저 영상을 구하고 기저 영상으로부터 부위별 얼굴의 특징 계수를 구할 수 있다. 이때, 부위별 얼굴의 특징 계수는 해당 얼굴에서 각각의 부위별 위치 정보, 색상 정보, 및 모양 정보로부터 구해지는 부위별 얼굴 특징으로 나타낼 수 있다.

제어부(320)는 영상 입력부(310); 제어부(320); 저장부(330, 340, 370); 표시부(350); 및 사용자 조작부(360)를 제어하여, 얼굴의 부위별 유사도를 측정하여 얼굴을 인식할 수 있다. 제어부(320)는 도 2에 도시된 디지털 신호 처리기(207) 및/또는 마이크로 제어기(212)를 포함할 수 있다.

먼저, 제어부(302)는 영상 입력부(310)를 제어하여 입력 영상이 입력될 수 있도록 한다. 다음으로, 입력 영상에 포함된 얼굴 즉 검출 얼굴을 검출할 수 있다. 검출 얼굴은 통상의 얼굴 검출 알고리즘에 의하여 검출될 수 있다.

다음으로, 검출 얼굴을 부위별로 분할할 수 있다. 이때, 검출 얼굴에서 각각의 부위에 대한 위치 정보는 기저 영상에 의하여 검출 얼굴을 부위별로 분할할 수 있다. 다음으로, 얼굴 부위별로 각각의 기저 영상에 대한 특징 계수를 구한다. 다음으로, 얼굴 부위별로 각각의 기저 영상에 대한 특징 계수를 구한다.

검출 얼굴의 정보는 기저 영상, 및 검출 특징 계수를 포함할 수 있다. 기저 영상은 등록 얼굴의 각각의 부위에 대한 위치 정보로서, 수학적으로는 벡터 값이 될 수 있다. 이때, 기저 영상은 등록 얼굴 정보와 검출 얼굴 정보에 공통적으로 포함되는 정보가 될 수 있다.

검출 특징 계수는 검출 얼굴의 기저 영상에 대한 특징 정보에 해당하는 값이다. 이때, 검출 특징 계수는 기저 영상에 대한 색상 분포 및 모양 분포 중의 적어도 어느 하나에 의하여 결정될 수 있다.

다음으로, 얼굴 부위별 유사도가 측정될 수 있다. 이때, 유사도는 각각의 기저 영상에 대하여 등록 특징 계수와 검출 특징 계수를 비교하여, 그 유사 정도로부터 산출될 수 있다.

등록 특징 계수 및 검출 특징 계수는 LNMF(Local Non-negative Matrix Factorization), LFA(Local Feature Analysis), ICA(Independent Component Analysis)와 같은 형상(Appearance) 기반의 국부적(Local) 기저 영상(Basis image) 을 갖는 얼굴인식 알고리즘을 이용하여 구할 수 있다.

도 5에는 LNMF 알고리즘에 의하여 표현된 등록 얼굴(51) 및 검출 얼굴(52)이 도시되어 있다. 이 경우, 등록 얼굴(51) 및 검출 얼굴(52)이 각각 도 5에 도시된 바와 같이 기저 영상(501, 502, 503, …, 50n)과 등록 특징 계수(a1, a2, a3, …, an) 또는 검출 특징 계수(b1, b2, b3, …, bn)의 선형 조합으로 표현될 수 있다.

이때, n개의 기저 영상(501, 502, 503, …, 50n)으로부터 등록 특징 계수(a1, a2, a3, …, an)와 검출 특징 계수(b1, b2, b3, …, bn)를 구할 수 있다. 등록 특징 계수 a1과 검출 특징 계수 b1은 눈 부위의 특징 계수가 되고, a2와 b2는 이마 부위의 특징 계수가 될 수 있다. 또한, a3과 b3은 입 부위를 나타내는 특징 계수가 되고, an과 bn은 코 부위를 나타내는 특징 계수가 될 수 있다.

도 5에 도시된 바와 같이 선글라스를 착용한 얼굴을 포함하는 입력 영상이 입력되면, a2와 b2, a3과 b3, an과 bn은 유사도가 높지만, 선글라스를 착용한 부위에 해당하는 a1과 b1은 유사도가 매우 떨어질 수 있다. 이때, 유사도는 코사인(Cosine) 또는 유클리디언(Euclidean) 거리 계산법이 사용될 수 있다.

각각의 유사도는 등록 특징 계수(a1, a2, a3, …, an)와 검출 특징 계수(b1, b2, b3, …, bn)가 유사한 정도가 큰 경우에는 그 값이 1에 가깝게, 유사한 정도가 작은 경우에는 0에 가까운 값이 되도록, 유사도를 구하는 계산식이 구성될 수 있다.

다음으로, 각각의 기저 영상에 대응되는 부위별 유사도를 이용하여 얼굴을 인식할 수 있다. 이를 위하여, 등록 얼굴 데이터 베이스에서 검출 얼굴과 가장 유 사한 얼굴을 검색하여, 그 등록 얼굴을 검출 얼굴에 대한 얼굴로 인식할 수 있다.

이때, 각각의 부위별 상기 유사도를 합하여, 그 합이 가장 큰 상기 등록 얼굴을 상기 검출 얼굴에 대응되는 얼굴로 검색할 수 있다. 즉, 유사도가 유사한 정도가 큰 경우에는 1에 가깝고 유사한 정도가 작은 경우에는 0에 가깝게 설정되는 경우에, 각각의 부위별 유사도를 모두 합한 값이 가장 큰 등록 영상의 얼굴을 매칭 얼굴로 찾아, 얼굴 인식을 할 수 있다.

다른 실시예로서, 유사도가 미리 설정된 기준값보다 낮은 부위를 제거하고, 검출 얼굴에 대응되는 등록 얼굴을 검색하여, 매칭 얼굴을 찾음으로써, 얼굴 인식을 수행할 수도 있다.

따라서, 본 발명에 의하면 검출 얼굴의 일부가 가려진 경우에도 강인한 얼굴 검색 성능을 보일 수 있다.

영상 입력부(310)는 외부로부터 입력 영상을 입력받는다. 영상 입력부(310)는 도 2에 도시된 광학계(OPS), 광전 변환부(OEC), CDS-ADC 소자(201) 등을 포함할 수 있다. 이때, 입력 영상은 광학계를 통하여 외부로부터 입력되는 영상에 한정되지 아니하고, 내부의 저장 매체에 저장된 이미지 파일로부터 읽어 들인 영상이 될 수 있다.

사용자 조작부(360)를 통하여 사용자가 외부로부터 원하는 지령을 입력할 수 있다. 사용자 조작부(360)는 도 1의 셔터 릴리즈 버튼(26) 및 전원 스위치(28) 등 및/또는 도 2의 사용자 입력부(INP) 등을 포함할 수 있다.

표시부(350)는 도 1에 도시된 디스플레이 패널(25) 및/또는 도 2의 디스플레 이 패널 구동부(214) 및 디스플레이 패널(215)을 포함할 수 있다. 표시부(350)에는 각각의 부위별로 검출 얼굴의 인식 얼굴에 대한 유사도가 표시될 수 있다. 또한, 인식 얼굴에 대한 정보가 얼굴 인식 결과로 표시될 수 있다.

도 6 내지 도 9에는 각각 인식 얼굴로 검색된 등록 얼굴에 대한 검출 얼굴의 얼굴 부위별 유사도와 얼굴 인식 결과가 표시된 입력 영상이 도시되어 있다. 도 6 내지 도 9에 도시된 입력 영상은 프리뷰(preview) 영상이 될 수 있다.

이때, 얼굴 인식 모드가 온(ON)으로 설정된 경우에, 셔터 릴리즈 버튼(26)이 일단으로 눌려져 제1신호(S1)가 생성되고, 제1신호(S1)의 입력에 따라 본 발명에 의한 부위별 유사도 정보를 이용하여 얼굴 인식이 수행될 수 있다.

이때, 얼굴 인식 결과는 인식 얼굴로 검색된 등록 얼굴에 대하여 미리 지정된 텍스트 또는 이미지가 표시될 수 있다. 도면에 도시된 실시예에서는 얼굴 인식 결과로 미리 지정된 홍길동이라는 이름이 텍스트로 표시될 수 있다.

또한, 유사도는 대응되는 각각의 부위에 대한 막대 그래프, 숫자, 도형에 대한 색상 가중치, 또는 아이콘에 대한 색상 가중치로 표시될 수 있다.

도 6에는 도시된 실시예에서는 인식된 얼굴에 대하여 눈, 코, 입 각각의 부위에 대한 유사도가 막대 그래프 형식으로 표시되어 있다. 도 7에는 도시된 실시예에서는 인식된 얼굴에 대하여 눈, 코, 입 각각의 부위에 대한 유사도의 퍼센트가 숫자로 표시되어 있다.

도 8에는 도시된 실시예에서는 인식된 얼굴에 대하여 눈, 코, 입 각각의 부위에 대한 유사도가 특정 아이콘에 대한 색상 가중치로 표시되어 있다. 도 9에는 도시된 실시예에서는 인식된 얼굴에 대하여 눈, 코, 입 각각의 부위에 대한 유사도가 특정 도형 예를 들어 원에 대한 색상 가중치로 표시되어 있다.

도 6 내지 도 9에 도시된 바와 같이 인식된 얼굴에 대하여 눈, 코, 입 각각의 부위에 대한 유사도를 표시부(350)에 표시함으로써, 사용자가 현재 인식된 얼굴의 각 부위별 유사도를 용이하게 확인할 수 있다.

본 발명에 따르면, 입력된 영상에서 사람의 얼굴을 검출하고 검출된 얼굴의 부위별 유사도 정보를 이용함으로써, 얼굴의 일부가 가려진 경우에도 얼굴 인식 성능을 향상시킬 수 있다.

도 4에는 본 발명에 따른 바람직한 실시예로서, 디지털 영상 처리장치의 제어방법(S400)에 대한 흐름도가 도시되어 있다.

디지털 영상 처리장치의 제어방법(S400)은 도 2 및/또는 도 3의 디지털 영상 처리장치 및 그 제어장치(200, 300)에서 구현될 수 있다. 이를 위하여, 본 발명에 따른 디지털 영상 처리장치의 제어방법(S400)이 도 2의 저장 수단에 저장되거나 펌웨어(Firmware) 등의 반도체 칩의 형태로 구현된 프로그램 또는 알고리즘이 될 수 있다.

따라서, 디지털 영상 처리장치의 제어방법(S400)에서 디지털 영상 처리장치 및 그 제어장치(200, 300)에 대하여 설명된 사항과 동일한 사항에 대해서는 이를 참조하고 자세한 설명은 생략한다.

도면을 참조하면, 디지털 영상 처리장치의 제어방법(S400)은, 영상 입력단계(S420); 얼굴 검출단계(S430); 얼굴 분할단계(S440); 특징계수 산출단계(S450); 유사도 측정단계(S460); 얼굴 인식단계(S470, S480); 및 표시단계(S490)를 구비할 수 있다.

영상 입력단계(S420)에는 입력 영상을 입력받는다. 얼굴 검출단계(S430)에는 입력 영상에서 검출 얼굴을 검출한다. 얼굴 분할단계(S440)에는 검출 얼굴을 부위별로 분할한다. 특징계수 산출단계(S450)에는 검출 얼굴에 대한 각각의 부위별 특징 계수를 구한다.

유사도 측정단계(S460)에는 미리 저장된 적어도 하나 이상의 등록 얼굴과의 부위별 유사도를 측정한다. 얼굴 인식단계(S470, S480)에는 부위별 유사도로부터 상기 검출 얼굴에 대응되는 등록 얼굴을 인식 얼굴로 인식한다.

표시단계(S490)에는 각각의 부위별로 검출 얼굴의 인식 얼굴에 대한 유사도를 표시한다.

본 발명에 따른 디지털 영상 처리장치의 제어방법(S400)은 얼굴 인식 모드 판단단계(S410)를 구비하고, 얼굴 인식 모드 판단단계(S410)에 현재 모드가 얼굴 인식 모드인가를 판단하여, 얼굴 인식 모드인 경우에 수행될 수 있다.

미리 만들어진 등록 얼굴에 대한 정보가 데이터 베이스 형태로 저장될 수 있다. 이때, 등록 얼굴의 정보가 기저 영상, 및 등록 특징 계수를 포함할 수 있다. 기저 영상은 등록 얼굴의 각각의 부위에 대한 위치 정보로서, 수학적으로는 벡터 값이 될 수 있다. 등록 특징 계수는 등록 얼굴의 기저 영상에 대한 특징 정보에 해당하는 값이다.

얼굴 검출단계(S430)에 검출 얼굴은 통상의 얼굴 검출 알고리즘에 의하여 검 출될 수 있다.

얼굴 검출단계(S430)에 검출 얼굴에서 각각의 부위에 대한 위치 정보, 모양 정보, 및 색상 정보에 의하여 검출 얼굴을 부위별로 분할할 수 있다. 이에 따라 분할된 각각의 부위는 검출 얼굴의 부위별 기저 영상에 대응되도록 분할될 수 있다.

특징계수 산출단계(S450)에는 검출 얼굴의 정보가 추출될 수 있다. 검출 얼굴의 정보는 기저 영상, 및 검출 특징 계수를 포함할 수 있다. 기저 영상은 등록 얼굴의 각각의 부위에 대한 정보로서, 수학적으로는 벡터 값이 될 수 있다. 이때, 기저 영상은 등록 얼굴 정보와 검출 얼굴 정보에 공통적으로 포함되는 정보가 될 수 있다.

등록 특징 계수 및 검출 특징 계수는 LNMF(Local Non-negative Matrix Factorization), LFA(Local Feature Analysis), ICA(Independent Component Analysis)와 같은 형상(Appearance) 기반의 국부적(Local) 기저 영상(Basis image)을 갖는 얼굴인식 알고리즘을 이용하여 구할 수 있다. 도 5에는 LNMF 알고리즘에 의하여 표현된 등록 얼굴(51) 및 검출 얼굴(52)이 도시되어 있다.

유사도 측정단계(S460)에는 얼굴 부위별 유사도가 측정될 수 있다. 이때, 유사도는 각각의 기저 영상에 대하여 등록 특징 계수와 검출 특징 계수를 비교하여, 그 유사 정도로부터 산출될 수 있다.

얼굴 인식단계(S470, S480)에는 등록 얼굴 데이터 베이스에서 검출 얼굴과 가장 유사한 얼굴을 검색하여, 그 등록 얼굴을 검출 얼굴에 대한 얼굴로 인식할 수 있다. 이때, 각각의 부위별 상기 유사도를 합하여, 그 합이 가장 큰 상기 등록 얼 굴을 상기 검출 얼굴에 대응되는 얼굴로 검색할 수 있다.

얼굴 인식단계(S470, S480)는 가려짐 부위 제거단계(S470) 및 매칭얼굴 찾기단계(480)를 구비할 수 있다. 가려짐 부위 제거단계(S470)에는 유사도가 미리 설정된 기준값보다 낮은 부위를 가려짐 부위로서 제거할 수 있다. 매칭얼굴 찾기단계(480)에는 가려짐 부위를 제거하고 유사도를 비교하여, 검출 얼굴과 매칭되는 얼굴을 검색하다.

이를 위하여, 가려짐 부위를 제거하고 유사도를 비교하여, 유사도가 가장 높은 등록 얼굴을 인식 얼굴로 찾을 수 있다. 가려짐 부위가 제거된 부위별 유사도로부터 해당 등록 얼굴이 검출 얼굴과 유사한 정도를 비교할 수 있다.

따라서, 본 발명에 의하면 검출 얼굴의 일부가 가려진 경우에도 강인한 얼굴 검색 성능을 보일 수 있다.

표시단계(S490)에는 각각의 부위별로 검출 얼굴의 인식 얼굴에 대한 유사도와 함께 인식 얼굴에 대한 정보가 얼굴 인식 결과로 표시될 수 있다. 도 6 내지 9에 도시된 바와 같이 얼굴 인식 결과로 미리 지정된 홍길동이라는 이름이 텍스트로 표시될 수 있다.

유사도는 대응되는 각각의 부위에 대한 막대 그래프, 숫자, 도형에 대한 색상 가중치, 또는 아이콘에 대한 색상 가중치로 표시될 수 있다. 도 6 내지 도 9에 도시된 바와 같이 인식 얼굴로 검색된 등록 얼굴에 대한 검출 얼굴의 얼굴 부위별 유사도와 얼굴 인식 결과가 표시된 입력 영상이 도시되어 있다.

도 6 내지 도 9에 도시된 바와 같이 인식된 얼굴에 대하여 눈, 코, 입 각각 의 부위에 대한 유사도를 표시하여 사용자에게 보여줌으로써, 사용자가 현재 인식된 얼굴의 각 부위별 유사도를 용이하게 확인할 수 있다.

본 발명에 따르면, 입력된 영상에서 사람의 얼굴을 검출하고 검출된 얼굴의 부위별 유사도 정보를 이용함으로써, 얼굴의 일부가 가려진 경우에도 얼굴 인식 성능을 향상시킬 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

도 1은 본 발명에 따른 디지털 영상 처리장치의 실시예로서, 디지털 카메라의 뒷면 외형을 보여주는 도면이다.

도 2는 도 1의 디지털 카메라 내부에 포함될 수 있는 제어장치를 개략적으로 도시한 블록도이다.

도 3은 본 발명에 따른 바람직한 실시예로서, 디지털 영상 처리장치를 개략적으로 도시한 블록도이다.

도 4는 본 발명에 따른 바람직한 실시예로서, 디지털 영상 처리장치의 제어방법을 개략적으로 도시한 흐름도이다.

도 5는 등록 얼굴과 검출 얼굴의 기저 영상들과 각각의 기저 영상에 대응되는 특징 계수를 개략적으로 도시한 도면이다.

도 6 내지 도 9는 각각 입력 영상에 대한 얼굴 인식 결과와 각각의 얼굴 부위별 유사도를 개략적으로 표시한 도면이다.

Claims (18)

1. 입력 영상을 입력받는 영상 입력부;

   적어도 하나 이상의 등록 얼굴의 정보가 저장되는 저장부; 및

   상기 입력 영상에서 검출 얼굴을 검출하고, 상기 검출 얼굴을 부위별로 분할하고, 상기 검출 얼굴의 각각의 부위별로 상기 등록 얼굴에 대한 유사도를 측정하여, 상기 검출 얼굴에 대응되는 상기 등록 얼굴을 인식 얼굴로 인식하는 제어부를 구비하는 디지털 영상 처리장치.
2. 제1항에 있어서,

   상기 등록 얼굴의 정보가,

   상기 등록 얼굴의 각각의 부위에 대한 기저 영상, 및

   상기 등록 얼굴의 상기 기저 영상에 대한 특징 정보에 해당하는 등록 특징 계수를 구비하는 디지털 영상 처리장치.
3. 제2항에 있어서,

   상기 검출 얼굴의 정보가,

   상기 등록 얼굴의 각각의 부위에 대한 기저 영상, 및

   상기 검출 얼굴의 상기 기저 영상에 대한 특징 정보에 해당하는 검출 특징 계수를 구비하는 디지털 영상 처리장치.
4. 제3항에 있어서,

   상기 유사도가 각각의 상기 기저 영상에 대하여 상기 등록 특징 계수와 상기 검출 특징 계수의 유사 정도로부터 산출되는 디지털 영상 처리장치.
5. 제3항에 있어서,

   상기 등록 특징 계수 및 상기 검출 특징 계수가 상기 기저 영상에 대한 색상 분포 및 모양 분포 중의 적어도 어느 하나에 의하여 결정되는 디지털 영상 처리장치.
6. 제1항에 있어서,

   상기 검출 얼굴에서 상기 기저 영상의 위치 정보에 의하여 상기 검출 얼굴을 부위별로 분할하는 디지털 영상 처리장치.
7. 제1항에 있어서,

   상기 유사도가 미리 설정된 기준값보다 낮은 부위를 제거하고, 상기 검출 얼굴에 대응되는 상기 등록 얼굴을 검색하는 디지털 영상 처리장치.
8. 제1항에 있어서,

   각각의 부위별 상기 유사도를 합하여, 그 합이 가장 큰 상기 등록 얼굴을 상 기 검출 얼굴에 대응되는 얼굴로 검색하는 디지털 영상 처리장치.
9. 제1항에 있어서,

   각각의 부위별로 상기 검출 얼굴의 상기 인식 얼굴에 대한 유사도가 표시되는 표시부를 더 구비하는 디지털 영상 처리장치.
10. 제9항에 있어서,

    상기 유사도가 대응되는 각각의 부위에 대한 막대 그래프, 숫자, 도형에 대한 색상 가중치, 또는 아이콘에 대한 색상 가중치로 표시되는 디지털 영상 처리장치.
11. 제1항에 있어서,

    상기 표시부에 상기 인식 얼굴에 대한 정보가 얼굴 인식 결과로 표시되는 디지털 영상 처리장치.
12. 입력 영상을 입력받는 단계;

    상기 입력 영상에서 검출 얼굴을 검출하는 단계;

    상기 검출 얼굴을 부위별로 분할하는 단계;

    상기 검출 얼굴에 대한 각각의 부위별 특징 계수를 구하는 단계;

    미리 저장된 적어도 하나 이상의 등록 얼굴과의 부위별 유사도를 측정하는 단계; 및

    상기 부위별 유사도로부터 상기 검출 얼굴에 대응되는 상기 등록 얼굴을 인식 얼굴로 인식하는 단계를 구비하는 디지털 영상 처리장치의 제어방법.
13. 제12항에 있어서,

    상기 등록 얼굴의 정보가,

    상기 등록 얼굴의 각각의 부위에 대한 기저 영상, 및

    상기 등록 얼굴의 상기 기저 영상에 대한 특징 정보에 해당하는 등록 특징 계수를 구비하는 디지털 영상 처리장치의 제어방법.
14. 제13항에 있어서,

    상기 검출 얼굴의 정보가,

    상기 등록 얼굴의 각각의 부위에 대한 기저 영상, 및

    상기 검출 얼굴의 상기 기저 영상에 대한 특징 정보에 해당하는 검출 특징 계수를 구비하는 디지털 영상 처리장치의 제어방법.
15. 제14항에 있어서,

    상기 유사도가 각각의 상기 기저 영상에 대하여 상기 등록 특징 계수와 상기 검출 특징 계수의 유사 정도로부터 산출되는 디지털 영상 처리장치의 제어방법.
16. 제12항에 있어서,

    상기 유사도가 미리 설정된 기준값보다 낮은 부위를 제거하는 단계를 더 구비하는 디지털 영상 처리장치의 제어방법.
17. 제12항에 있어서,

    각각의 부위별로 상기 검출 얼굴의 상기 인식 얼굴에 대한 유사도를 표시하는 단계를 더 구비하는 디지털 영상 처리장치의 제어방법.
18. 제17항에 있어서,

    상기 유사도가 대응되는 각각의 부위에 대한 막대 그래프, 숫자, 도형에 대한 색상 가중치, 또는 아이콘에 대한 색상 가중치로 표시되는 디지털 영상 처리장치의 제어방법.

Images