KR20100073189A - 얼굴 검출 방법 및 장치 - Google Patents

얼굴 검출 방법 및 장치 Download PDF

Info

Publication number
KR20100073189A
KR20100073189A KR1020080131783A KR20080131783A KR20100073189A KR 20100073189 A KR20100073189 A KR 20100073189A KR 1020080131783 A KR1020080131783 A KR 1020080131783A KR 20080131783 A KR20080131783 A KR 20080131783A KR 20100073189 A KR20100073189 A KR 20100073189A
Authority
KR
South Korea
Prior art keywords
face
eye
coordinates
image
record
Prior art date
Application number
KR1020080131783A
Other languages
English (en)
Other versions
KR101179497B1 (ko
Inventor
정성욱
정윤수
유장희
문기영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131783A priority Critical patent/KR101179497B1/ko
Priority to US12/484,644 priority patent/US8326000B2/en
Publication of KR20100073189A publication Critical patent/KR20100073189A/ko
Application granted granted Critical
Publication of KR101179497B1 publication Critical patent/KR101179497B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Abstract

본 발명은 얼굴 포즈 변화에 강인한 다수의 얼굴을 검출하기 위한 얼굴 검출 장치 및 얼굴 검출 방법에 관한 것이다. 즉, 본 발명은 얼굴을 검출하고자 하는 입력 영상에 대해 조명의 영향을 최소화하기 위해서 흑백 영상으로 변환시키고, 조명 처리 등의 전처리를 수행한 후, 어댑티브 부스팅 방법으로 off-line에서 학습시킨 얼굴과 눈의 강분류기를 이용하여, 입력 영상을 일정 비율로 축소하면서 얼굴 검출, 눈 검출, 정규화 및 얼굴 검증 단계를 실시하고, 얼굴 검증에서 통과되는 얼굴의 중심좌표, 얼굴의 너비, 얼굴의 높이, 눈의 중심좌표를 하나의 얼굴 레코드로서 생성한다. 이어 이와 같이 얻어진 얼굴 레코드에서 얼굴 중심좌표와 눈 중심좌표에 클러스터링 분류 기법을 적용하여 몇 개의 얼굴 후보군 및 눈 후보군으로 분류하고, 각각의 클러스터를 분석하여 최종 얼굴과 눈 위치를 검출한다.
얼굴, 검출, 얼굴 레코드, 클러스터링

Description

얼굴 검출 방법 및 장치{APPARATUS AND METHOD FOR DETECTING FACE IMAGE}
본 발명은 얼굴을 검출하는 시스템에 관한 것으로, 특히 입력영상에서 조명의 영향을 없애기 위해 흑백 영상으로 변환 및 조명 보정을 해주고, 얼굴검출기 및 눈 검출기로 얼굴과 눈을 검출하여 하나의 얼굴 레코드로 저장한 후, 클러스터링(clustering) 분류기법을 이용하여 얼굴 레코드를 분류/분석하여 정확한 얼굴 영역과 눈의 좌표를 검출하는 얼굴 검출 장치 및 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-020-02, 과제명: 프라이버시 보호형 바이오인식 시스템 개발].
어댑티브 부스팅(adaptive boosting) 기술이 나온 이후에 얼굴 검출 기술은 여러 분야에 걸쳐 사용되고 있다. 이 어댑티브 부스팅 기술은 오프라인(off-line)에서 얼굴을 학습시켜서, 실시간으로 얼굴 검출을 실시할 수 있고, 얼굴 검출률이 높다는 점에서 여러 얼굴 검출 및 검색 시스템에서 사용되고 있다.
예를 들어, CCTV/ DVR (Digital Video Recoder), 얼굴 인식 스마트 카메라, 얼굴 인식 휴대폰, 포토 부스, 얼굴인식 프린터, 디지털 카메라 등 얼굴 인식 기능이 들어있는 제품의 주요 모듈로서 사용된다.
실시간으로 영상을 받아들여 얼굴 검출을 하는 방법은 수많은 영상 입력 중에서 얼굴을 검출하는 것이기 때문에 얼굴 검출률이 크게 문제가 되지 않는다. 하지만, 데이터 베이스(data base) 검색 그리고, 사진 같은 단일 영상에서의 얼굴 검출은 얼굴 검출이 실패하면 그 뒷 단의 얼굴 인증 및 다른 후처리를 할 수 없다는 점에서 높은 정밀도를 필요로 한다. 또한, 오프라인에서 얼굴 학습을 하여 그 결과로서 얼굴을 검출하는 방법은 어떤 학습 데이터 베이스를 사용하느냐에 따라 얼굴 검출률이 차이가 날 수 밖에 없다.
또한, 영상의 칼라 정보를 사용하여 얼굴 후보영역을 찾거나, 영상을 세그멘테이션(segmentation) 하는 방법은 칼라 정보에 의존적이고, 칼라정보 자체가 조명에 영향을 많이 받기 때문에 높은 검출률을 필요로 하는 얼굴 검출에서는 부적절하다.
따라서, 단일 영상과 같은 높은 검출률을 필요로 하는 분야에서는 실시간으로 얼굴을 검출하는 분야와는 달리 시간에 제약은 없지만, 보다 정밀한 검색이 필요하다.
따라서 본 발명은 입력영상에서 조명의 영향을 없애기 위해 흑백 영상으로 변환 및 조명 보정을 해주고, 얼굴검출기 및 눈 검출기로 얼굴과 눈을 검출하여 하나의 얼굴 레코드로 저장한 후, 클러스터링 분류기법을 이용하여 얼굴 레코드를 분류/분석하여 정확한 얼굴 영역과 눈의 좌표를 검출하는 얼굴 검출 장치 및 방법을 제공하고자 한다.
상술한 본 발명은 얼굴 포즈 변화에 강인한 얼굴 검출 방법으로서, 입력 영상에 대해 전처리를 수행하는 단계와, 상기 전처리된 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에 대한 얼굴 레코드를 생성하는 단계와, 상기 얼굴 레코드를 이용하여 상기 입력 영상내 얼굴과 눈의 좌표를 생성하여 얼굴을 검출하는 단계를 포함하되,
상기 얼굴레코드 생성단계는, 상기 전처리 수행된 입력영상을 nㅧn 화소크기의 윈도우로 분할하는 단계와, 상기 각 윈도우로부터 얼굴 영역을 검출하는 단계와, 상기 얼굴영역에서 눈 위치를 검출하는 단계와, 상기 검출된 눈 위치에 대한 눈 좌표를 중심으로 상기 각 윈도우에 대해 일정 크기로 정규화를 수행하는 단계와, 상기 정규화된 윈도우에서 얼굴 검증을 수행하는 단계와, 상기 얼굴 검증된 윈도우내 얼굴에 대한 얼굴 레코드를 생성하는 단계를 포함한다.
또한, 상기 얼굴 검출 단계는, 상기 얼굴 레코드에 대해 클러스터링 기법을 통해 얼굴 후보군과 눈 후보군으로 분류하는 단계와, 상기 얼굴 후보군의 얼굴중심좌표의 평균 좌표값을 산출하고, 상기 평균 좌표와 일정 거리 이상되는 얼굴 레코 드를 제거시키는 단계와, 상기 제거 후 남은 얼굴 후보의 얼굴중심좌표의 평균좌표를 다시 산출하여 얼굴의 최종 중심좌표를 산출하는 단계와, 상기 눈 후보군의 눈 좌표의 평균 좌표값을 산출하고, 상기 평균 좌표와 일정 거리 이상되는 눈 후보를 제거시키는 단계와, 상기 제거 후 남은 눈 후보의 눈 좌표의 평균 좌표값을 다시 산출하여 눈의 최종 좌표를 산출하는 단계를 포함한다.
또한, 본 발명은 얼굴 포즈 변화에 강인한 얼굴 검출 장치로서, 입력 영상을 수신하는 영상 입력부와, 상기 입력 영상에 대해 전처리를 수행하는 전처리부와, 상기 전처리 수행된 영상을 nㅧn 화소크기의 윈도우로 분할한 후, 각 윈도우에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에 대한 얼굴 레코드를 생성하는 얼굴 레코드 생성부와, 상기 얼굴 레코드를 이용하여 상기 입력 영상내 얼굴과 눈의 좌표를 생성하여 얼굴을 검출하는 얼굴 검출부를 포함한다.
본 발명에서는 얼굴 포즈 변화에 강인한 다수의 얼굴을 검출하기 위한 얼굴 검출 장치 및 얼굴 검출 방법에 있어서, 어댑티브 부스팅 방법으로 오프라인에서 학습시킨 얼굴과 눈의 강분류기를 이용하여, 입력 영상을 일정 비율로 축소하면서 얼굴 검출, 눈 검출, 정규화 및 얼굴 검증 과정을 실시하고, 얼굴 검증 과정에서 생성되는 얼굴의 중심좌표, 얼굴의 너비, 얼굴의 높이, 눈의 중심좌표 등의 얼굴 레코드 정보를 이용하여 얼굴 검출을 수행함으로써, 다양한 얼굴 포즈 변화에도 정확하게 얼굴을 검출할 수 있는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따른 얼굴 포즈 변화에 강인한 다수의 얼굴을 검출하기 위한 얼굴 검출 장치의 상세 블록 구성을 도시한 것으로, 본 발명의 얼굴 검출 장치는 영상 입력부(100)와 전처리부(102)와 얼굴 레코드 생성부(104)와 얼굴 검출부(106)를 포함한다.
이하, 도 1을 참조하여 본 발명의 얼굴 검출장치 각 부의 동작을 상세히 설명하기로 한다. 영상 입력부(100)는 얼굴을 검출하고자 하는 영상을 입력받아 전처리부(102)로 인가시킨다.
전처리부(102)는 영상 입력부(100)로부터 입력된 영상에 대해 먼저 흑백 영상으로 변환처리 한 후, 변환된 흑백 영상에 대해 히스토그램 등화 처리(histogram equalization) 또는 SQI(Self Quotient Image) 처리를 통한 조명 보정을 수행하여, 얼굴 검출 동작에 있어 조명의 영향이 최소화될 수 있도록 한다.
얼굴 레코드 생성부(104)는 전처리부(102)를 통해 흑백전환, 조명 보정 등의 전처리가 수행된 영상에 대해 nㅧn 화소크기의 윈도우(window)를 생성하여, 각 윈도우 영상에서 얼굴이 존재하는지를 검사하여 얼굴 영역을 검출하고, 눈의 좌표를 검출한 후, 해당 영상을 눈 위치를 기준으로 일정 크기로 정규화하여 얼굴의 중심좌표, 눈의 좌표, 얼굴 크기 등의 얼굴 레코드를 생성한다.
얼굴 검출부(106)는 얼굴 레코드에 대해 클러스터링(clustering) 기법을 통해 얼굴 후보군과 눈 후보군으로 분류한 후, 상기 얼굴 후보군과 눈 후보군으로부터 얼굴 영역에 대한 평균좌표와 눈 위치에 대한 평균좌표 산출을 통해 얼굴 중심좌표와 눈 좌표를 산출한다.
즉, 얼굴 검출부(106)는 먼저, 얼굴 후보군의 얼굴중심좌표의 평균 좌표값을 산출하고, 평균 좌표와 일정 거리 이상되는 얼굴 후보의 얼굴 레코드를 제거시킨 후, 상기 제거 후 남은 얼굴 후보의 얼굴중심좌표의 평균좌표를 다시 산출하여 얼굴의 최종 중심좌표를 산출한다. 또한, 눈 좌표 산출 시에는 위 얼굴 중심좌표 산출 시 제거되고 남은 얼굴 레코드를 이용하여, 눈 후보군의 눈 좌표에 대한 평균 좌표값을 산출하고, 평균 좌표와 일정 거리 이상되는 눈 후보를 제거시킨 후, 이어 제거 후 남은 눈 후보의 눈 좌표의 평균 좌표값을 다시 산출하여 눈의 최종 좌표를 산출한다. 또한, 얼굴의 최종 중심좌표 산출 시 이용된 얼굴 후보의 각 얼굴 레코드에서 얼굴 크기 정보를 추출하여 이를 평균한 값으로 얼굴의 크기를 산출한다.
도 2는 본 발명의 실시 예에 따른 얼굴 검출 장치에서 얼굴포즈 변화에 강인한 다수의 얼굴을 검출하는 동작 제어 흐름을 도시한 것이다. 이하, 도 1 및 도 2를 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
먼저, 영상 입력부(100)를 통해 얼굴 검출이 요청되는 영상이 입력되면(S200), 위 입력된 영상은 전처리부(102)를 통해 흑백 영상으로 변환된 후, 조명 보정이 수행된다(S202). 이때, 조명 보정은 히스토그램 등화 또는 SQI(Self Quotient Image)와 같은 방법을 사용하여 조명의 영향을 최소화한다.
위와 같이, 전처리부(102)를 통해 전처리 수행된 영상은 얼굴 레코드 생성부(104)를 통해 얼굴에 대한 얼굴 레코드 정보가 생성된다. 즉, 얼굴 레코드 생성부(104)는 앞서 전처리된 영상에서 nxn 화소크기의 윈도우를 잡고, 그 안의 영상에서 얼굴 검출, 눈 검출, 정규화, 얼굴 검증을 수행하며, 위의 과정을 영상을 줄여가면서 얼굴 레코드를 생성한다(S204)).
이와 같이, 생성된 얼굴 레코드는 얼굴 검출부(106)를 통해 얼굴 검출에 사용된다. 즉, 얼굴 검출부(106)는 다수의 얼굴 레코드가 생성되었으면, 얼굴 레코드에 대해서 SOM(Self Organizing Map)이나 K-means 클러스터링 같은 클러스터링 분류 기법을 이용하여 얼굴 후보군과 눈 후보군으로 분류한다(S206).
이때, 위와 같이 얼굴 후보군과 눈 후보군이 분류가 되었으면, 먼저 각각의 얼굴 후보군에 대해서 평균 좌표를 구하고, 평균좌표에서 일정거리 이상 되는 얼굴 후보들이 포함된 얼굴 레코드를 제거한 후 다시 평균좌표를 구하여 얼굴의 최종 중심좌표를 산출한다. 또한 눈의 경우에도 각각의 눈 집합군의 평균 좌표를 구하고, 그 평균좌표에서 일정거리 이상 되는 눈 후보를 제거한 후 다시 평균좌표를 구하여 그 좌표를 눈의 최종 좌표로 산출한다(S208).
이어, 위와 같이 결정된 얼굴의 최종 중심좌표와 눈의 최종 좌표 정보를 이용하여 얼굴을 검출하게 된다(S210).
도 3은 위 도 2의 상술한 얼굴포즈 변화에 강인한 다수의 얼굴 검출방법에 있어서, 얼굴 레코드를 생성하는 방법을 상세히 나타낸 흐름도이다. 이하, 도 1, 도 2 및 도 3을 참조하여 얼굴 레코드 생성 동작을 상세히 설명하기로 한다.
먼저, 얼굴 레코드 생성부(104)는 조명이 전처리된 영상이 입력으로 들어오면(S301), 영상을 일정한 배율로 축소한다(S302). 이때 영상의 축소에 있어서 처음 루프(loof)인 경우는 영상을 축소하지 않고 사용하고, 두 번째부터 영상을 일정 비율로 축소한다.
이어, 얼굴 레코드 생성부(104)는 위와 같이 축소된 영상에서 모든 영역에 대해서 제한된 부분(nxn 크기의 화소)의 윈도우를 추출하고(S303), 이 추출된 영상이 얼굴인지 검사한다(S304). 이때, 얼굴을 검사하는 방법은 어댑티브 부스팅 알고리즘으로 학습된 얼굴 강분류기를 이용하여 얼굴인지 아닌지를 판단한다. 검사결과, 얼굴이 아닌 경우 그 다음 위치의 윈도우에 대해서 얼굴 검출을 실시하고, 얼굴이 검출되었을 경우 검출된 얼굴에서 눈 검출을 실시한다(S305).
이어, 얼굴 레코드 생성부(104)는 눈의 위치가 검출되었다면 눈의 위치를 영상 축소하기 전의 입력영상에서의 눈 위치로 계산하고, 그 입력영상에서의 눈 위치를 기준으로 영상을 일정 크기로 정규화를 한다(S306). 즉, 눈의 위치가 수평이 되도록 영상을 회전시키고, 일정한 크기가 되도록 영상을 축소한다.
그러고 나서, 얼굴 레코드 생성부(104)는 축소된 영상에 대해서 조명 보정을 해준다. 이때, 위 얼굴 검출된 영상이 정규화가 되었다면, 그 정규화된 영상에 대해서 얼굴 검증을 실시한다(S307). 이와 같이 얼굴 검출된 영상에 대해 다시 얼굴 검증을 실시하는 것은 앞 단계에서 얼굴을 검출하고, 눈을 검출하였다 하더라도, 얼굴 영상이 아닌 부분이 통과하는 경우가 생길 수 있기 때문이다.
따라서, 정규화된 영상에 대해서 얼굴 검증을 실시한다. 얼굴 검증은 어댑티브 부스팅으로 학습된 강분류기를 다시 이용할 수도 있고, 또한 얼굴 요소의 상대적인 밝기차를 이용할 수도 있다. 즉, 눈은 상대적으로 볼 부분 보다 밝기 값이 낮고, 입부분도 볼 부분보다 상대적으로 밝기 값이 낮다. 이런 특성들을 이용하여 얼굴 검증을 실시한다.
위와 같은, 모든 과정을 통과한 경우 얼굴 레코드 생성부(104)는 얼굴의 중심점의 좌표, 얼굴의 너비와 길이 등의 얼굴의 크기, 그리고, 눈의 좌표를 하나의 얼굴 레코드로서 저장한다(S308). 이 과정을 윈도우가 영상의 마지막 화소에 대해 이루어질 때 까지 계속 수행한 후(S309), 영상의 마지막 윈도우까지 했다면, 그 다음 영상을 일정 비율로 축소하여 위의 과정을 다시 반복한다(S310). 위와 같은 모든 과정을 거치면서 최종으로 다수의 얼굴 레코드를 생성하게 된다.
도 4는 상술한 얼굴포즈 변화에 강인한 다수의 얼굴 검출 방법에 있어서, 얼굴 레코드의 얼굴 중심좌표 및 눈 좌표들을 클러스터링하는 과정을 도시한 것이다.
이하, 도 4를 참조하여 얼굴 레코드의 얼굴 중심좌표 및 눈 좌표를 클러스터링하는 동작을 상세히 설명하기로 한다.
먼저, 이전 도 3에서 설명된 바와 같이, 얼굴 및 눈 후보가 추출되면 먼저 각각의 얼굴 레코드에서 얼굴 중심좌표 및 눈 중심 좌표에 대해서 클러스터링 분류 과정을 거처 얼굴 후보군 및 눈 후보군으로 분류한다. 일단 분류가 되면, 먼저 각각의 얼굴 후보 군에서 얼굴 중심 좌표의 평균 좌표 값을 구한다.
이렇게 구한 얼굴 중심 평균 좌표 값을 이용하여 이 좌표에서 일정 거리 이상 되는 얼굴 레코드를 제거한다. 그 이후에 남은 얼굴 후보군의 얼굴 중심좌표들의 평균을 다시 구하여 그 좌표를 얼굴 중심좌표로 산출한다. 그리고 얼굴의 너비 및 길이 등의 얼굴의 크기 정보도 남은 얼굴 레코드의 값을 평균하여 산출한다. 이어, 위에서 제거되고 남은 얼굴 레코드를 가지고, 눈의 중심좌표를 산출한다. 눈의 중심 좌표를 산출하는 방법도 위와 같은 방법으로, 먼저 눈 후보군에서 각각의 눈의 평균 중심 값을 구하고, 평균 중심 좌표에서 일정거리 이상 되는 눈 후보를 제거한 후, 나머지 남은 눈 후보들의 평균 좌표 값을 최종적인 눈 후보 값으로 산출한다.
위와 같은, 과정을 거치는 장점은 얼굴 및 눈 검출기로 분류한 얼굴 레코드는 영상을 축소해 가면서 얼굴 및 눈을 검출하기 때문에 정확한 얼굴 중심점 및 눈의 위치는 한 곳으로 모일 가능성이 많다. 따라서 이런 분포를 가지는 경우 오차범위를 제외한 평균값을 구하는 것이 오검출률을 최소화하는 방법이 될 수 있기 때문이다.
도 4a의 (a)는 얼굴 후보군을 입력 영상에 도시한 그림이고, 도 4a의 (b)는 얼굴 레코드의 얼굴 중심 좌표를 도시한 그림이다. 도 4a의 (c)는 클러스터링 분류 과정을 거쳐 얼굴 중심 좌표들을 각각의 얼굴 후보군으로 분류하여 도시한 그림이 다. 위 도 4a의 (c)그림에서 보여지는 바와 같이 각 얼굴 후보군은 도시한 원(400) 안에 들어가 있다. 도 4b의 (d)는 검출된 얼굴 영상을 도시한 그림이고, 도 4b의 (e)는 검출된 얼굴 영상에서 눈 후보군들을 도시한 그림이다.
도 5는 위의 모든 과정을 통해 최종적으로 나온 결과를 입력영상에 도시한 그림이다. 위 도 5에서는 검출된 얼굴 영역을 사각형으로 표시하고, 눈의 좌표는 십자모양의 선으로 표시되었다.
상기한 바와 같이, 본 발명에서는 얼굴 포즈 변화에 강인한 다수의 얼굴을 검출하기 위한 얼굴 검출 장치 및 얼굴 검출 방법에 있어서, 얼굴을 검출하고자 하는 입력 영상에 대해 조명의 영향을 최소화하기 위해서 흑백 영상으로 변환시키고, 조명 처리 등의 전처리를 수행한 후, 어댑티브 부스팅 방법으로 오프라인에서 학습시킨 얼굴과 눈의 강분류기를 이용하여, 입력 영상을 일정 비율로 축소하면서 얼굴 검출, 눈 검출, 정규화 및 얼굴 검증 단계를 실시하고, 얼굴 검증에서 통과되는 얼굴의 중심좌표, 얼굴의 너비, 얼굴의 높이, 눈의 중심좌표를 하나의 얼굴 레코드로서 생성한다. 이어 이와 같이 얻어진 얼굴 레코드에서 얼굴 중심좌표와 눈 중심좌표에 클러스터링 분류 기법을 적용하여 몇 개의 얼굴 후보군 및 눈 후보군으로 분류하고, 각각의 클러스터를 분석하여 최종 얼굴과 눈 위치를 검출한다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
도 1은 본 발명의 실시 예에 따른 얼굴 검출 장치의 상세 블록 구성도,
도 2는 본 발명의 실시 예에 따른 얼굴 검출 방법의 동작 제어 흐름도,
도 3은 본 발명의 실시 예에 따른 얼굴 레코드 생성 처리 흐름도,
도 4a 내지 도 4b는 본 발명의 실시 예에 따른 얼굴 검출을 위한 클러스터링 분류 처리 예시도,
도 5는 본 발명의 실시 예에 따른 얼굴 검출 결과 화면 예시도.
<도면의 주요 부호에 대한 간략한 설명>
100 : 영상 입력부 102 : 전처리부
104 : 얼굴 레코드 생성부 106 : 얼굴 검출부

Claims (20)

  1. 입력 영상에 대해 전처리를 수행하는 단계와,
    상기 전처리된 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에 대한 얼굴 레코드를 생성하는 단계와,
    상기 얼굴 레코드를 이용하여 상기 입력 영상내 얼굴과 눈의 좌표를 생성하여 얼굴을 검출하는 단계
    를 포함하는 얼굴 검출 방법.
  2. 제 1 항에 있어서,
    상기 전처리 단계는,
    상기 입력된 영상을 흑백영상으로 변환하는 단계와,
    상기 변환된 흑백영상에 대해 조명 보정을 수행하는 단계
    를 포함하는 얼굴 검출 방법.
  3. 제 2 항에 있어서,
    상기 조명보정 단계에서,
    상기 흑백영상에 대해 히스토그램 등화 또는 자기비율영상 처리를 수행하는 얼굴 검출 방법.
  4. 제 1 항에 있어서,
    상기 얼굴레코드 생성단계는,
    상기 전처리 수행된 입력영상을 n×n 화소크기의 윈도우로 분할하는 단계와,
    상기 각 윈도우로부터 얼굴 영역을 검출하는 단계와,
    상기 얼굴영역에서 눈 위치를 검출하는 단계와,
    상기 검출된 눈 위치에 대한 눈 좌표를 중심으로 상기 각 윈도우에 대해 일정 크기로 정규화를 수행하는 단계와,
    상기 정규화된 윈도우에서 얼굴 검증을 수행하는 단계와,
    상기 얼굴 검증된 윈도우내 얼굴에 대한 얼굴 레코드를 생성하는 단계
    를 포함하는 얼굴 검출 방법.
  5. 제 4 항에 있어서,
    상기 얼굴 검증은,
    어댑티브 부스팅 기법이나 윈도우 영상내 화소들의 상대적인 밝기차이 정보를 이용하여 수행되는 얼굴 검출 방법.
  6. 제 4 항에 있어서,
    상기 얼굴 레코드는,
    상기 얼굴 검증된 윈도우 영상내 위치된 얼굴의 중심좌표, 얼굴 크기, 눈좌표 정보를 포함하는 얼굴 검출 방법.
  7. 제 4 항에 있어서,
    상기 윈도우 분할 단계에서,
    상기 전처리 수행된 영상을 상기 윈도우 분할 전에, 기설정된 일정 비율로 축소시키는 얼굴 검출 방법.
  8. 제 1 항에 있어서,
    상기 얼굴 검출 단계는,
    상기 얼굴 레코드에 대해 클러스터링 기법을 통해 얼굴 후보군과 눈 후보군으로 분류하는 단계와,
    상기 얼굴 후보군의 얼굴중심좌표의 평균 좌표값을 산출하고, 상기 평균 좌표와 일정 거리 이상되는 얼굴 레코드를 제거시키는 단계와,
    상기 제거 후 남은 얼굴 후보의 얼굴중심좌표의 평균좌표를 다시 산출하여 얼굴의 최종 중심좌표를 산출하는 단계와,
    상기 눈 후보군의 눈 좌표의 평균 좌표값을 산출하고, 상기 평균 좌표와 일정 거리 이상되는 눈 후보를 제거시키는 단계와,
    상기 제거 후 남은 눈 후보의 눈 좌표의 평균 좌표값을 다시 산출하여 눈의 최종 좌표를 산출하는 단계
    를 포함하는 얼굴 검출 방법.
  9. 제 8 항에 있어서,
    상기 얼굴의 크기는,
    상기 얼굴의 최종 중심좌표 산출 시 이용된 얼굴 후보의 각 얼굴 레코드내 얼굴 크기 정보를 평균하여 산출되는 얼굴 검출 방법.
  10. 제 8 항에 있어서,
    상기 클러스터링 기법은,
    SOM(Self Organizing Map)이나 K-means 클러스터링 기법인 얼굴 검출 방법.
  11. 입력 영상을 수신하는 영상 입력부와,
    상기 입력 영상에 대해 전처리를 수행하는 전처리부와,
    상기 전처리 수행된 영상을 n×n 화소크기의 윈도우로 분할한 후, 각 윈도우에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에 대한 얼굴 레코드를 생성하는 얼굴 레코드 생성부와,
    상기 얼굴 레코드를 이용하여 상기 입력 영상내 얼굴과 눈의 좌표를 생성하여 얼굴을 검출하는 얼굴 검출부
    를 포함하는 얼굴 검출 장치.
  12. 제 11 항에 있어서,
    상기 전처리부는,
    상기 입력된 영상을 흑백영상으로 변환한 후, 상기 변환된 흑백영상에 히스토그래 등화 또는 자기비율영상 처리를 수행하여 조명 보정을 수행하는 얼굴 검출 장치.
  13. 제 11 항에 있어서,
    상기 얼굴 레코드 생성부는,
    상기 전처리 수행된 영상을 상기 윈도우 분할 전에, 기설정된 일정 비율로 축소시키는 얼굴 검출 장치.
  14. 제 13 항에 있어서,
    상기 얼굴 레코드 생성부는,
    상기 각 윈도우로부터 얼굴과 눈을 검출하고, 상기 검출된 눈에 대한 눈 좌표를 중심으로 상기 각 윈도우에 대해 일정 크기로 정규화를 수행한 후, 상기 정규화된 윈도우에서 얼굴 검증을 통해 상기 윈도우내 얼굴에 대한 얼굴 레코드를 생성하는 얼굴 검출 장치.
  15. 제 14 항에 있어서,
    상기 얼굴 레코드 생성부는,
    상기 얼굴 검증 시, 어댑티브 부스팅 기법이나 윈도우 영상내 화소들의 상대적인 밝기차이 비교를 통해 얼굴 검증을 수행하는 얼굴 검출 장치.
  16. 제 15 항에 있어서,
    상기 얼굴 레코드는,
    상기 얼굴 검증된 윈도우 영상내 위치된 얼굴의 중심좌표, 얼굴 크기, 눈좌표 정보를 포함하는 얼굴 검출 장치.
  17. 제 11 항에 있어서,
    상기 얼굴 검출부는,
    상기 얼굴 레코드에 대해 클러스터링 기법을 통해 얼굴 후보군과 눈 후보군으로 분류한 후, 상기 얼굴 후보군과 눈 후보군으로부터 평균좌표 산출을 통해 얼굴 중심좌표와 눈좌표를 산출하여 얼굴을 검출하는 얼굴 검출 장치.
  18. 제 17 항에 있어서,
    상기 얼굴 검출부는,
    상기 얼굴 후보군의 얼굴중심좌표의 평균 좌표값을 산출하고, 상기 평균 좌표와 일정 거리 이상되는 얼굴 레코드를 제거시킨 후, 상기 제거 후 남은 얼굴 후보의 얼굴중심좌표의 평균좌표를 다시 산출하여 얼굴의 최종 중심좌표를 산출하는 얼굴 검출 장치.
  19. 제 18 항에 있어서,
    상기 얼굴 검출부는,
    상기 눈 후보군의 눈 좌표의 평균 좌표값을 산출하고, 상기 평균 좌표와 일정 거리 이상되는 눈 후보를 제거시킨 후, 상기 제거 후 남은 눈 후보의 눈 좌표의 평균 좌표값을 다시 산출하여 눈의 최종 좌표를 산출하는 얼굴 검출 장치.
  20. 제 19 항에 있어서,
    상기 얼굴 검출부는,
    상기 얼굴의 최종 중심좌표 산출시 이용된 얼굴 후보의 각 얼굴 레코드에서 얼굴 크기 정보를 추출하여 이를 평균한 값으로 상기 검출된 얼굴의 크기를 산출하는 얼굴 검출 장치.
KR1020080131783A 2008-12-22 2008-12-22 얼굴 검출 방법 및 장치 KR101179497B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080131783A KR101179497B1 (ko) 2008-12-22 2008-12-22 얼굴 검출 방법 및 장치
US12/484,644 US8326000B2 (en) 2008-12-22 2009-06-15 Apparatus and method for detecting facial image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131783A KR101179497B1 (ko) 2008-12-22 2008-12-22 얼굴 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100073189A true KR20100073189A (ko) 2010-07-01
KR101179497B1 KR101179497B1 (ko) 2012-09-07

Family

ID=42266200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131783A KR101179497B1 (ko) 2008-12-22 2008-12-22 얼굴 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US8326000B2 (ko)
KR (1) KR101179497B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270604B1 (ko) * 2012-02-09 2013-06-03 (재)경북차량용임베디드기술연구원 스마트 에어백용 얼굴 검출 방법
KR101473991B1 (ko) * 2013-05-30 2014-12-24 주식회사 에스원 얼굴 검출 방법 및 그 장치
KR20200091715A (ko) * 2019-01-23 2020-07-31 한국전자통신연구원 마스킹 영역 처리 시스템 및 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721148B2 (en) 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
CN104866553A (zh) 2007-12-31 2015-08-26 应用识别公司 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序
US9639740B2 (en) 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
US8548207B2 (en) 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US8693739B2 (en) * 2011-08-24 2014-04-08 Cyberlink Corp. Systems and methods for performing facial detection
US8917913B2 (en) 2011-09-22 2014-12-23 International Business Machines Corporation Searching with face recognition and social networking profiles
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
KR101909082B1 (ko) * 2012-01-31 2018-10-18 삼성전자주식회사 사용자 인터랙션을 이용하여 이동 단말을 제어하는 장치 및 방법
US9639742B2 (en) * 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
JP6226440B2 (ja) * 2016-02-08 2017-11-08 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
CN108573230B (zh) * 2018-04-10 2020-06-26 京东方科技集团股份有限公司 人脸跟踪方法和人脸跟踪装置
CN108717530B (zh) * 2018-05-21 2021-06-25 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
CN110796600B (zh) * 2019-10-29 2023-08-11 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642431A (en) * 1995-06-07 1997-06-24 Massachusetts Institute Of Technology Network-based system and method for detection of faces and the like
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
KR100580626B1 (ko) 2003-10-31 2006-05-16 삼성전자주식회사 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
JP4286860B2 (ja) * 2004-05-21 2009-07-01 旭化成株式会社 動作内容判定装置
US20080080744A1 (en) * 2004-09-17 2008-04-03 Mitsubishi Electric Corporation Face Identification Apparatus and Face Identification Method
KR100621883B1 (ko) 2004-12-27 2006-09-19 학교법인 성균관대학 학습에 기반을 둔 적응형 실시간 얼굴검출방법
US7716169B2 (en) 2005-12-08 2010-05-11 Electronics And Telecommunications Research Institute System for and method of extracting and clustering information
KR100875915B1 (ko) 2005-12-08 2008-12-26 한국전자통신연구원 정보추출 군집화 시스템 및 그 방법
EP2048615A4 (en) * 2006-07-27 2009-08-05 Panasonic Corp AUTHENTICATION APPARATUS AND METHOD FOR DISPLAYING AN IMAGE FOR AUTHENTICATION
KR101330636B1 (ko) 2007-01-24 2013-11-18 삼성전자주식회사 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
JP2008244804A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 撮像装置及び撮像方法並びに制御プログラム
KR20080101388A (ko) 2007-05-17 2008-11-21 (주)코아정보시스템 엔엠씨티 기반의 얼굴 검출 방법
JP4845817B2 (ja) * 2007-06-14 2011-12-28 富士フイルム株式会社 撮像装置,レンズユニット,撮像方法及び制御プログラム
US8144945B2 (en) * 2008-12-04 2012-03-27 Nokia Corporation Method, apparatus and computer program product for providing an orientation independent face detector

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270604B1 (ko) * 2012-02-09 2013-06-03 (재)경북차량용임베디드기술연구원 스마트 에어백용 얼굴 검출 방법
KR101473991B1 (ko) * 2013-05-30 2014-12-24 주식회사 에스원 얼굴 검출 방법 및 그 장치
KR20200091715A (ko) * 2019-01-23 2020-07-31 한국전자통신연구원 마스킹 영역 처리 시스템 및 방법

Also Published As

Publication number Publication date
KR101179497B1 (ko) 2012-09-07
US8326000B2 (en) 2012-12-04
US20100158371A1 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
US8867828B2 (en) Text region detection system and method
Arth et al. Real-time license plate recognition on an embedded DSP-platform
Giannoukos et al. Operator context scanning to support high segmentation rates for real time license plate recognition
TWI497422B (zh) 車牌影像辨識系統及方法
JP4479478B2 (ja) パターン認識方法および装置
US7983480B2 (en) Two-level scanning for memory saving in image detection systems
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
US8938117B2 (en) Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
CN103605969A (zh) 一种人脸录入的方法及装置
CN111144366A (zh) 一种基于联合人脸质量评估的陌生人脸聚类方法
CN102007499A (zh) 检测数字图像中的脸部表情
US7715632B2 (en) Apparatus and method for recognizing an image
KR101705061B1 (ko) 차량 번호판의 글자 인식을 위한 번호판 검출방법
CN113095199B (zh) 一种高速行人识别方法及装置
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
Singh et al. Template matching for detection & recognition of frontal view of human face through Matlab
KR20200010658A (ko) 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법
Moseva et al. Development of a System for Fixing Road Markings in Real Time
CN111402185A (zh) 一种图像检测方法及装置
KR102326185B1 (ko) 딥러닝을 이용한 얼굴 매칭 방법 및 장치
KR100893086B1 (ko) 조명 변화에 강인한 얼굴 검출 방법
KR102139932B1 (ko) 에이다부스트 학습을 이용한 문자 데이터 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160726

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170727

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 8