KR100580626B1 - 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템 - Google Patents

얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템 Download PDF

Info

Publication number
KR100580626B1
KR100580626B1 KR1020030077040A KR20030077040A KR100580626B1 KR 100580626 B1 KR100580626 B1 KR 100580626B1 KR 1020030077040 A KR1020030077040 A KR 1020030077040A KR 20030077040 A KR20030077040 A KR 20030077040A KR 100580626 B1 KR100580626 B1 KR 100580626B1
Authority
KR
South Korea
Prior art keywords
face
face detection
frame image
image
detected
Prior art date
Application number
KR1020030077040A
Other languages
English (en)
Other versions
KR20050041772A (ko
Inventor
김정배
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020030077040A priority Critical patent/KR100580626B1/ko
Priority to US10/972,381 priority patent/US7773781B2/en
Publication of KR20050041772A publication Critical patent/KR20050041772A/ko
Application granted granted Critical
Publication of KR100580626B1 publication Critical patent/KR100580626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴검출방법 및 장치 및 이를 적용한 보안 감시시스템이 개시된다. 얼굴검출방법은 (a) 이전 프레임영상에서 얼굴이 검출되었는지 판단하는 단계, (b) 이전 프레임영상에서 얼굴이 검출되지 않은 경우 현재 프레임영상에 대하여 N개의 얼굴검출모드 중 하나를 선택하여 얼굴을 검출하는 단계, 및 (c) 이전 프레임영상에서 얼굴이 검출된 경우 현재 프레임영상을 이전 프레임에서 검출된 얼굴 크기를 고려하여 소정 크기로 제한한 영상에 대하여 N개의 얼굴추적모드 중 적어도 한개 이상을 순차적으로 수행하여 얼굴을 검출하는 단계로 이루어진다.

Description

얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템{Face detection method and apparatus and security system employing the same}
도 1은 본 발명에 따른 얼굴검출장치의 일실시예의 구성을 나타낸 블럭도.
도 2는 도 1에 있어서 얼굴검출모듈의 세부적인 구성을 보여주는 블럭도,
도 3은 도 1에 있어서 얼굴추적모듈의 세부적인 구성을 보여주는 블럭도,
도 4는 본 발명에 따른 얼굴검출방법의 일실시예의 동작을 설명하는 흐름도,
도 5는 도 4의 429 단계에 있어서 제1 정면얼굴 검출부에서 얼굴이 검출된 경우의 동작을 설명하는 흐름도,
도 6은는 도 4의 429 단계에 있어서 우회전얼굴 검출부에서 얼굴이 검출된 경우의 동작을 설명하는 흐름도,
도 7은 도 4의 429 단계에 있어서 제2 정면얼굴 검출부에서 얼굴이 검출된 경우의 동작을 설명하는 흐름도,
도 8은 도 4의 429 단계에 있어서 좌회전얼굴 검출부에서 얼굴이 검출된 경우의 동작을 설명하는 흐름도,
도 9는 본 발명에 적용된 캐스케이드 얼굴검출과정을 설명하는 도면,
도 10a 내지 도 10c는 본 발명에 적용된 심플 특징의 예를 나타낸 도면이고, 도 10d 및 도 10e는 심플 특징이 얼굴영상에 적용된 예를 보여주는 보여주는 도면,
도 11a 및 도 11b는 도 4의 417 단계 및 431 단계에서 얼굴을 검출하는 방법을 설명하는 흐름도,
도 12a 내지 도 12c는 본 발명에 따른 얼굴검출방법의 성능을 보여주는 도면, 및
도 13은 본 발명에 따른 보안 감시시스템의 일실시예의 구성을 보여주는 블럭도이다.
본 발명은 얼굴검출에 관한 것으로서, 보다 구체적으로는 이전 프레임영상에서의 얼굴검출여부에 따라서 현재 프레임영상에 대하여 얼굴검출모드와 얼굴추적모드 중 하나를 적용하여 실시간으로 정확하게 얼굴을 검출하기 위한 방법 및 장치와 이를 적용한 보안 감시시스템에 관한 것이다.
얼굴검출 기술은 얼굴 인식을 위한 전단계로서뿐만 아니라, 최근 휴먼 컴퓨터 인터페이스, 비디오 감시 시스템, 얼굴을 이용한 영상 검색등의 다양한 응용분야가 생겨나면서, 그 중요성이 점점 커지고 있다. 최근 얼굴검출 기술에 대한 많은 연구가 이루어지고 있으나, 실제 생활에 적용되기에는 아직 알고리즘의 신뢰성이 낮고, 검출속도가 만족스럽지 못하다.
이러한 문제를 해결하기 위해서, 얼굴샘플패턴으로부터 결정 바운더리(decision boundary)를 학습시켜 얼굴검출에 이용하는 방법이 연구되고 있 다. 그 대표적인 방법으로는 MLP(Multi Layer Perceptron)와 SVM(Support Vector Machine)이 있다. 종래의 MLP은 local receptive field를 사용해 얼굴 영상에 적용했고, 다른 종래의 방법은 다수의 PCA(Principle Component Analysis) 공간(subspace)에 영상 패턴을 투영(projection)하고, 공간(subspace)에 대한 거리들을 MLP의 입력으로 사용하였다. 그러나, MLP를 통한 학습 방법은 주어진 샘플 데이터로부터의 에러만을 최소화시키므로, 학습된 데이터에 대해서는 잘 동작하지만, 학습이 되지 않은 새로운 데이터에 대해서는 성공적인 동작을 보장할 수 없다. 특히, 조명, 표정 및 포즈등의 요인으로 의한 얼굴영상의 다양한 변화를 고려할 때, MLP에 기반한 방법은 샘플 데이터의 수가 광대하지 않다면 신뢰성이 떨어진다.
이에 반해, SVM은 주어진 데이터의 에러를 최소화시킬 뿐만 아니라, 전체 시스템의 마진(margin)을 동시에 최대화시키기 때문에, MLP에 비해 새로운 패턴에 대한 일반화 능력이 뛰어나다. 종래의 기술은 SVM을 얼굴 영상에 그대로 적용하여, 어느 정도 신뢰성 있는 얼굴 검출 결과를 얻었으나 실생활에 적용되기에는 아직 만족스럽지 못하고, 다른 종래 기술은 얼굴영상을 그대로 사용하지 않고, 독립성분 분석법(ICA , Independent Component Analysis)을 통해 특징을 추출하고, SVM을 적용함으로써 얼굴 검출의 신뢰성을 다소 향상하였다. 그러나, 이러한 종래의 기술은 신뢰성있는 얼굴 검출 성능을 얻기 위해서 일반적으로 비선형 SVM을 사용하는데, 이는 연산량이 많아 알고리즘의 수행 속도가 느린 문제점이 있다.
따라서, 기존의 보안 감시시스템에 적용되는 얼굴검출장치는 대체로 -10도에서 +10도까지의 좁은 각도로 회전된 얼굴만을 검출할 수 있다. 그런데 현금인출기 와 같은 보안 감시시스템에 접근하는 사용자의 영상은 x, y, z 축으로 상당히 큰 각도까지 얼굴회전이 존재하므로, 검출가능한 회전 범위를 벗어나는 경우에는 얼굴검출이 어려운 문제가 있다. 또한, 기존의 보안 감시시스템에서는 다수의 카메라에 의한 다채널의 얼굴영상을 저장해야 하고, 초당 15 프레임 이상의 얼굴검출 속도를 요구한다. 그런데, 현재까지의 얼굴검출기술에 의하면 최대 초당 5 프레임 정도에 불과하다. 그외 살색정보를 이용하여 얼굴을 검출하는 경우에는 조명변화에 대처하기 어려울 뿐 아니라, 손, 마스크나 선글라스 등으로 얼굴의 일부를 가리는 경우에는 얼굴검출율이 현저하게 떨어지는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 이전 프레임영상에서의 얼굴검출여부에 따라서 현재 프레임영상에 대하여 얼굴검출모듈와 얼굴추적모듈 중 하나로 제공하여 실시간으로 정확하게 얼굴을 검출하기 위한 방법 및 장치를 제공하는데 있다.
본 발명의 다른 기술적 과제는 정면얼굴 뿐만 아니라 큰 각도로 회전된 얼굴 및 일부가 가려진 얼굴을 실시간으로 정확하게 검출하기 위한 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 기술적 과제는 상기 얼굴검출장치를 적용한 보안 감시시스템을 제공하는데 있다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 얼굴검출방법은 (a) 이전 프레임영상에서 얼굴이 검출되었는지 판단하는 단계; (b) 이전 프레임영상에 서 얼굴이 검출되지 않은 경우 현재 프레임영상에 대하여 N개의 얼굴검출모드 중 하나를 선택하여 얼굴을 검출하는 단계; 및 (c) 이전 프레임영상에서 얼굴이 검출된 경우 현재 프레임영상을 이전 프레임에서 검출된 얼굴 크기를 고려하여 소정 크기로 제한한 영상에 대하여 N개의 얼굴추적모드 중 적어도 한개 이상을 순차적으로 수행하여 얼굴을 검출하는 단계를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 얼굴검출장치는 입력되는 프레임영상에 대하여 N의 얼굴검출모드 중 하나를 선택적으로 수행하여 얼굴을 검출하는 얼굴검출모듈; 입력되는 프레임영상을 이전에 검출된 얼굴 크기를 고려하여 소정 크기로 제한한 영상에 대하여 N개의 얼굴추적모드 중 적어도 한개 이상을 순차적으로 수행하여 얼굴을 검출하는 얼굴추적모듈; 상기 얼굴검출모듈의 출력 또는 상기 얼굴추적모듈의 출력을 입력으로 하여, 이전 프레임영상에서 얼굴이 검출되었는지 판단하는 얼굴검출 판단부; 상기 얼굴검출 판단부의 판단 결과에 따라서, 현재 프레임영상을 상기 얼굴검출모듈과 얼굴추적모듈 중 하나로 제공하는 스위칭부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 보안 감시시스템은 객체를 촬상하여 그레이스케일 영상으로 변환하는 촬상장치; 상기 촬상장치로부터 제공되는 이전 프레임영상에서 얼굴이 검출되지 않은 경우 현재 프레임영상에 대하여 N개의 얼굴검출모드 중 하나를 선택하여 얼굴을 검출하고, 상기 이전 프레임영상에서 얼굴이 검출된 경우 현재 프레임영상을 이전 프레임에서 검출된 얼굴 크기를 고려하여 소정 크기로 제한한 영상에 대하여 N개의 얼굴추적모드 중 적어도 한개 이 상을 순차적으로 수행하여 얼굴을 검출하는 얼굴검출장치; 및 상기 얼굴검출장치에서 검출되는 얼굴영상을 프레임단위로 저장하는 저장장치를 포함한다.
상기 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 얼굴검출장치의 일실시예의 구성을 나타내는 블럭도로서, 크게 프레임영상 입력부(110), 스위칭부(120), 얼굴검출모듈(130), 얼굴추적모듈(140) 및 얼굴검출판단부(150)로 이루어진다. 얼굴검출모듈(130)은 도 2에 도시된 바와 같이 4개의 얼굴검출모드를 가지며, 제1 정면얼굴 검출부(211), 우회전얼굴 검출부(213), 제2 정면얼굴 검출부(215), 및 좌회전얼굴 검출부(217)로 이루어지고, 얼굴추적모듈(140)은 도 3에 도시된 바와 같이 4개의 얼굴검출모드를 가지며, 제1 정면얼굴 추적부(311), 우회전얼굴 추적부(313), 제2 정면얼굴 추적부(315) 및 좌회전얼굴 추적부(317)로 이루어진다. 도 1에 도시된 얼굴검출장치의 동작을 도 2 및 도 3과 결부시켜 설명하기로 한다.
도 1을 참조하면, 프레임영상 입력부(110)는 입력되는 영상을 프레임 단위로 순차적으로 스위칭부(120)로 제공한다. 스위칭부(120)는 얼굴검출 판단부(150)에서의 얼굴검출여부에 대한 판단결과에 대응하여, 프레임영상 입력부(110)로부터 제공되는 프레임영상을 얼굴검출모듈(130) 또는 얼굴추적모듈(140)로 제공한다. 즉, 얼굴검출 판단부(150)의 판단결과, n번째 프레임영상에서 얼굴이 검출되지 않은 경우 (n+1)번째 프레임영상은 얼굴검출모듈(130)로 제공되고, n번째 프레임영상에서 얼굴이 검출된 경우 (n+1)번째 프레임영상은 얼굴추적모듈(140)로 제공된다.
얼굴검출모듈(130)은 얼굴검출모듈(130) 또는 얼굴추적모듈(140)에서 n번째 프레임영상에 대하여 얼굴이 검출되지 않은 경우, 스위칭부(120)를 통해 프레임영상 입력부(110)로부터 제공되는 (n+1)번째 프레임영상인 제1 영상으로부터 얼굴을 검출한다. 여기서 제1 영상은 320×240 화소 그레이스케일 영상인 것을 예로 들기로 한다.
얼굴검출모듈(130)에 있어서, 제1 및 제2 정면얼굴 검출부(211, 215)는 제1 영상에 대하여 얼굴을 검출한다. 제1 정면얼굴 검출부(211)는 캐스캐이드로 연결되는 스테이지(stage)가 예를 들면 20~30개로 비교적 많기 때문에 검출의 정확도는 높으나, 검출속도가 느리고, 제2 정면얼굴 검출부(215)는 캐스캐이드로 연결되는 스테이지가 예를 들면 10~20개로 제1 정면얼굴 검출부(211)에 비하여 적기 때문에 검출의 정확도는 낮으나, 검출속도가 빠르다.
우회전얼굴 검출부(213)는 제1 영상을 소정 각도만큼 우회전시킨 다음 얼굴을 검출하고, 좌회전얼굴 검출부(217)는 제1 영상을 소정 각도만큼 좌회전시킨 다음 얼굴을 검출한다. 우회전얼굴 검출부(213) 및 좌회전얼굴 검출부(217)에서 프레임영상을 우회전 및 좌회전시키는 각도는 예를 들면 20°내지 30° 범위이고, 바람직하게는 25°이다.
n번째 프레임영상에 대하여 얼굴이 검출되지 않은 경우, (n+1)번째 프레임영 상은 이전까지 얼굴이 검출되지 않은 프레임수(Cnon_det)를 4로 나눈 나머지값에 따라서 얼굴검출모듈(130)에서 4개의 얼굴검출부(211,213,215,217) 중 하나로 선택적으로 제공된다. 예를 들자면, 나머지값이 '0'인 경우에는 제1 정면얼굴 검출부(211), '1'인 경우에는 우회전얼굴 검출부(213), '2'인 경우에는 제2 정면얼굴 검출부(215), '3'인 경우에는 좌회전얼굴 검출부(217)로 (n+1)번째 프레임영상이 제공된다. 이와 같은 배열은 여기에 한정되지 않으며, 검출의 정확도 및 검출속도에 따라서 다양한 순서로 배열가능하며, 필요에 따라서는 일부가 생략될 수 있다.
얼굴추적모듈(140)은 얼굴검출모듈(130) 또는 얼굴추적모듈(140)에서 n번째 프레임영상에 대하여 얼굴이 검출된 경우, 스위칭부(120)를 통해 프레임영상 입력부(110)로부터 제공되는 (n+1)번째 프레임영상인 제2 영상으로부터 얼굴을 검출한다. 여기서 제2 영상은 얼굴이 검출된 n번째 프레임영상에서의 얼굴위치를 고려하여 (n+1)번째 프레임영상의 크기를 예를 들면, 100×100 화소로 제한시킨 영상으로, 이와 같은 사이즈제한은 영상절단부(135)에서 수행된다. 얼굴이 검출된 n번째 프레임영상에서의 얼굴위치에 대한 박스 좌표값은 얼굴검출판단부(150)에 저장되어 있으며, (n+1)번째 프레임영상의 크기를 n번째 프레임영상에서의 얼굴위치에 대한 박스 좌표값을 포함시켜 절단한 다음 얼굴추적모듈(140)에서의 얼굴검출을 수행한다.
얼굴추적모듈(140)에 있어서, 제1 및 제2 정면얼굴 추적부(311, 315)는 제2 영상에 대하여 얼굴을 검출한다. 제1 정면얼굴 추적부(311)는 캐스캐이드로 연결되는 스테이지가 20~30개로 비교적 많기 때문에 검출의 정확도는 높으나, 검출속도가 느리고, 제2 정면얼굴 추적부(315)는 캐스캐이드로 연결되는 스테이지가 10~20개로 제1 정면얼굴 추적부(311)에 비하여 작기 때문에 검출의 정확도는 낮으나, 검출속도가 빠르다. 이에 대해서는 도 9를 참조하여 후술하기로 한다.
우회전얼굴 추적부(313)는 제2 영상을 소정 각도만큼 우회전시킨 다음 얼굴을 검출하고, 좌회전얼굴 추적부(317)는 제2 영상을 소정 각도만큼 좌회전시킨 다음 얼굴을 검출한다. 우회전얼굴 추적부(313) 및 좌회전얼굴 추적부(317)에서 프레임영상을 우회전 및 좌회전시키는 각도는 예를 들면 20°내지 30° 범위이고, 바람직하게는 25°이다.
얼굴검출 판단부(150)는 얼굴검출모듈(130)의 각 얼굴검출부 (211,213,215,217) 또는 얼굴추적모듈(140)의 각 얼굴추적부(311,313,315,317)의 n번째 프레임영상에 대한 얼굴검출결과를 입력으로 하여, 이전까지 얼굴이 검출되지 않은 프레임수(Cnon_det)를 갱신하고, (n+1)번째 프레임영상을 얼굴검출모듈(130)과 얼굴추적모듈(140) 중 어디로 제공할 것인지를 결정한다. 즉, n번째 프레임영상에서 얼굴이 검출되지 않은 경우 (n+1)번째 프레임영상을 얼굴검출모듈(130)로 제공한다. n번째 프레임영상에서 얼굴이 검출된 경우 (n+1)번째 프레임영상은 영상절단부(135)를 거쳐서 얼굴추적모듈(140)에 제공된다. 또한, 얼굴검출 판단부(150)는 얼굴검출모듈(130) 또는 얼굴추적모듈(140)에서 n번째 프레임영상에 대하여 얼 굴이 검출된 경우 얼굴위치에 대한 박스좌표값을 저장해 두고, (n+1)번째 프레임영상으로부터 제2 영상을 추출하기 위한 기준으로 사용하기 위하여 스위칭부(120)를 통해 영상절단부(135)로 제공한다.
도 4는 본 발명에 따른 얼굴검출방법의 일실시예의 동작을 설명하는 흐름도로서, 그 동작에 대하여 도 1 내지 도 3과 결부시켜 설명하기로 한다.
도 4를 참조하면, 411 단계는 초기화단계로서, 이전까지 얼굴이 검출되지 않은 프레임수(Cnon_det)를 '0'으로, 프레임 번호(n)를 '1'로 설정한다. 413 단계에서는 n번째 프레임영상인 제1 영상을 얼굴검출모델(130)의 제1 정면얼굴 검출부(211), 우회전얼굴 검출부(213), 제2 정면얼굴 검출부(215) 및 좌회전얼굴 검출부(217) 중 어디로 제공할 것인지를 결정하기 위하여, 이전까지 얼굴이 검출되지 않은 프레임수(Cnon_det)를 제수 4로 나누어 나머지값을 산출한다. 여기서, 제수는 얼굴검출모델(130)을 구성하는 얼굴검출부의 수에 따라서 결정되는 값이다.
415 단계에서는 413 단계에서 산출된 나머지값에 따라서 얼굴검출모듈(130)의 해당 얼굴검출부로 n 번째 프레임영상을 제공하여 얼굴검출을 수행한다. 예를 들어, 나머지값이 '0'이면 제1 정면얼굴 검출부(211), '1'이면 우회전얼굴 검출부(213), '2'이면 제2 정면얼굴 검출부(215), '3'이면 좌회전얼굴 검출부(217)로 프레임영상을 제공한다. 각 얼굴검출부(211 내지 217)에서는 심플 특징(simple feature) 및 캐스케이드로 연결된 스테이지를 사용하여 얼굴을 검출하게 되는데, 이에 대해서는 후술하기로 한다.
417 단계에서는 415 단계에서의 얼굴검출 수행결과, 얼굴이 검출되었는지를 판단한다. 417 단계에서의 판단결과, 얼굴이 검출되지 않은 경우 419 및 421 단계에서 각각 이전까지 얼굴이 검출되지 않은 프레임수(Cnon_det)와 프레임번호(n)를 '1'만큼 증가시켜 413 단계로 복귀하여 (n+1) 번째 프레임영상에 대하여 얼굴검출을 시도한다. 한편, 417 단계에서의 판단결과, 얼굴이 검출된 경우 423 단계에서 이전까지 얼굴이 검출되지 않은 프레임수(Cnon_det)를 '0'으로 리셋시킨 다음, 425 단계에서 프레임번호를 '1'만큼 증가시켜 프레임영상을 입력받는다. 423 단계에서는 n 번째 프레임영상에서 검출된 얼굴위치에 대한 박스좌표값을 저장해 두고, (n+1)번째 프레임영상으로부터 제2 영상을 추출하기 위한 기준으로 사용한다.
427 단계에서는 입력되는 (n+1)번째 프레임영상에서 n번째 프레임영상에서 검출된 얼굴위치를 포함하여 소정 크기로 제한시킨 제2 영상을 얼굴추적모듈(140)로 제공한다. 이때, 얼굴추적모델(140)의 얼굴추적부(311 내지 317) 중 n번째 프레임영상에서 얼굴을 검출한 얼굴검출부에 대응하는 얼굴추적부로 (n+1)번째 프레임영상이 제공된다. 429 단계에서는 입력된 (n+1)번째 프레임영상에 대한 제2 영상에 대하여 적어도 한개 이상의 얼굴추적부에서 얼굴검출을 수행하는데, 이에 대해서는 도 5 내지 도 8을 참조하여 후술하기로 한다.
431 단계에서는 429 단계에서의 얼굴검출 수행결과, 얼굴이 검출되지 않은 경우 419 및 421 단계에서 각각 이전까지 얼굴이 검출되지 않은 프레임수(Cnon_det)와 프레임번호(n)를 '1'만큼 증가시켜 413 단계로 복귀하여 (n+2) 번째 프레임영상에 대하여 얼굴검출을 시도한다. 한편, 431 단계에서의 판단결과, 얼굴이 검출된 경우 433 단계에서는 427 단계에서 제공된 (n+1)번째 프레임영상이 마지막 프레임영상인가를 판단하고, 마지막 프레임영상인 경우 본 흐름도를 종료한다.
435 단계에서는 433 단계에서의 판단결과, (n+1)번째 프레임영상이 마지막 프레임영상이 아닌 경우 435 단계에서 프레임번호를 '1'만큼 증가시킨 다음, 437 단계에서 (n+2)번째 프레임영상을 재차 얼굴추적모듈(140)로 제공하여 429 단계로 복귀한다. 이때, (n+2)번째 프레임영상은 얼굴추적모듈(140)의 얼굴추적부(311 내지 317) 중 (n+1)번째 프레임영상에서 얼굴을 검출한 얼굴추적부로 제공된다.
도 5 내지 도 8은 도 4의 429 단계에 대한 세부적인 동작을 설명하는 흐름도로서, 도 5는 제1 정면얼굴 검출부(211) 또는 제1 정면얼굴 추적부(311)에서 이전 프레임영상으로부터 얼굴을 검출한 경우(429a), 도 6는 우회전얼굴 검출부(213) 또는 우회전얼굴 추적부(313)에서 이전 프레임영상으로부터 얼굴을 검출한 경우(429b), 도 7은 제2 정면얼굴 검출부(215) 또는 제2 정면얼굴 추적부(315)에서 이전 프레임영상으로부터 얼굴을 검출한 경우(429c), 도 8은 좌회전얼굴 검출부(217) 또는 좌회전얼굴 추적부(317)에서 이전 프레임영상으로부터 얼굴을 검출한 경우(429d)를 각각 나타낸다.
도 5를 참조하면, 511 단계에서는 도 4의 427 단계 또는 437 단계에서 이전 프레임영상에 대하여 제1 정면얼굴 검출부(211) 또는 제1 정면얼굴 추적부(311)에서 얼굴검출이 성공한 경우, 현재 프레임영상의 제2 영상을 제1 정면얼굴 추적부(311)로 제공하고, 얼굴검출이 시도된다. 513 단계에서는 제1 정면얼굴 추 적부(311)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행한다. 한편, 513 단계에서의 판단결과, 얼굴검출이 성공하지 못한 경우 515 단계에서는 우회전얼굴 추적부(313)로 현재 프레임영상의 제2 영상을 제공하여 얼굴검출을 시도한다. 517 단계에서는 우회전얼굴 추적부(313)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행한다. 한편, 517 단계에서의 판단결과, 얼굴검출이 성공하지 못한 경우 519 단계에서는 좌회전얼굴 추적부(317)로 현재 프레임영상의 제2 영상을 제공하여 얼굴검출을 시도한다. 521 단계에서는 좌회전얼굴 추적부(317)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행하고, 얼굴검출이 성공하지 못한 경우 도 4의 419 단계로 진행한다.
도 6을 참조하면, 611 단계에서는 도 4의 427 단계 또는 437 단계에서 이전 프레임영상에 대하여 우회전얼굴 검출부(213) 또는 우회전얼굴 추적부(313)에서 얼굴검출이 성공한 경우, 현재 프레임영상의 제2 영상을 우회전얼굴 추적부(313)로 제공하고, 얼굴검출이 시도된다. 613 단계에서는 우회전얼굴 추적부(313)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행한다. 한편, 613 단계에서의 판단결과, 얼굴검출이 성공하지 못한 경우 615 단계에서는 제1 정면얼굴 추적부(311)로 현재 프레임영상의 제2 영상을 제공하여 얼굴검출을 시도한다. 617 단계에서는 제1 정 면얼굴 추적부(311)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행하고, 얼굴검출이 성공하지 못한 경우 도 4의 419 단계로 진행한다.
도 7을 참조하면, 711 단계에서는 도 4의 427 단계 또는 437 단계에서 이전 프레임영상에 대하여 제2 정면얼굴 검출부(215) 또는 제2 정면얼굴 추적부(315)에서 얼굴검출이 성공한 경우, 현재 프레임영상의 제2 영상을 제2 정면얼굴 추적부(315)로 제공하고, 얼굴검출이 시도된다. 713 단계에서는 제2 정면얼굴 추적부(315)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행한다. 한편, 713 단계에서의 판단결과, 얼굴검출이 성공하지 못한 경우 715 단계에서는 우회전얼굴 추적부(313)로 현재 프레임영상의 제2 영상을 제공하여 얼굴검출을 시도한다. 717 단계에서는 우회전얼굴 추적부(313)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행한다. 한편, 717 단계에서의 판단결과, 얼굴검출이 성공하지 못한 경우 719 단계에서는 좌회전얼굴 추적부(317)로 현재 프레임영상의 제2 영상을 제공하여 얼굴검출을 시도한다. 721 단계에서는 좌회전얼굴 추적부(317)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행하고, 얼굴검출이 성공하지 못한 경우 도 4의 419 단계로 진행한다.
도 8을 참조하면, 811 단계에서는 도 4의 427 단계 또는 437 단계에서 이전 프레임영상에 대하여 좌회전얼굴 검출부(217) 또는 좌회전얼굴 추적부(317)에서 얼굴검출이 성공한 경우, 현재 프레임영상의 제2 영상을 좌회전얼굴 추적부(317)로 제공하고, 얼굴검출이 시도된다. 813 단계에서는 좌회전얼굴 추적부(317)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행한다. 한편, 813 단계에서의 판단결과, 얼굴검출이 성공하지 못한 경우 815 단계에서는 제1 정면얼굴 추적부(311)로 현재 프레임영상의 제2 영상을 제공하여 얼굴검출을 시도한다. 817 단계에서는 제1 정면얼굴 추적부(311)에서 현재 프레임영상의 제2 영상에 대하여 얼굴검출이 성공하였는지를 판단하고, 얼굴검출이 성공한 경우 도 4의 433 단계로 진행하고, 얼굴검출이 성공하지 못한 경우 도 4의 419 단계로 진행한다.
도 9는 얼굴검출모듈(130)의 각 얼굴검출부(211 내지 217)와 얼굴추적모듈(140)의 각 얼굴추적부(311 내지 317)의 구성을 보여주는 도면으로서, n개의 스테이지(S1 내지 Sn)가 캐스케이드로 연결된 구조이다. 여기서, 각 스테이지(S1 내지 Sn)는 심플특징에 기반한 분류기를 이용하여 얼굴검출을 수행하는데, 예를 들면 제1 스테이지(S1)는 4~5개의 분류기를 사용하고, 제2 스테이지(S2)는 15~20개의 분류기를 사용하는 등, 후단으로 갈수록 사용되는 분류기의 수가 증가되는 구조이다.
각 스테이지는 복수개의 분류기에 대한 가중치 합(weighted sum)으로 이루어져 가중치 합의 부호에 따라서 얼굴검출 성공여부를 판단하는데, 각 스테이지는 다 음 수학식 1과 같이 나타낼 수 있다.
Figure 112003041254755-pat00001
여기서, cm은 분류기의 가중치를 나타내고, fm(x)는 분류기의 출력을 나타내는 것으로서, 다음 수학식 2와 같이 나타낼 수 있다.
Figure 112003041254755-pat00002
즉, 각 분류기는 하나의 심플 특징과 문턱값으로 구성되어, -1 또는 1의 값을 출력한다.
도 9를 참조하면, 제1 스테이지(S1)는 제1 영상 또는 제2 영상의 k번째 서브윈도우영상을 입력으로 하여 얼굴검출을 시도하고, 얼굴검출에 실패하면(F) k번째 서브윈도우영상은 비얼굴로 결정하고, 얼굴검출에 성공하면(T) k번째 서브윈도우영상을 제2 스테이지(S2)로 제공한다. 각 얼굴검출부(211 내지 217) 또는 각 얼굴추적부(311 내지 317)를 구성하는 마지막 스테이지에서 k번째 서브윈도우영상에서 얼굴검출에 성공하면(T) k번째 서브윈도우영상을 얼굴로 결정한다. 한편, 각 분류기와 가중치 선택에는 아다부스트(Adaboost)에 기반한 학습알고리즘을 사용한다. 아다부스트 알고리즘에 의하면 대형 특징 세트로부터 몇개의 중요한 시각적인 특징을 선택하여 매우 효율적인 분류기를 생성한다. 아다부스트 알고리즘에 대해서는 Yoav Freund and Robert E. Schapire 에 의한 "A decision-theoretic generalization of on-line learning and an application to boosting", In Computational Learning Theory: Eurocolt '95, pp. 23-37, Springer-Verlag, 1995에 자세히 기재되어 있다.
이와 같은 케스케이드로 연결된 스테이지 구조에 따르면 비얼굴인 경우에는 작은 수의 심플 특징을 사용하더라도 결정가능하므로 제1 스테이지 또는 제2 스테이지 등과 같은 초기 단계에서 바로 리젝트시킨 다음, (k+1)번째 서브윈도우영상을 입력받아 얼굴검출을 시도할 수 있으므로 전체적인 얼굴검출 처리속도를 향상시킬 수 있다.
도 10a 내지 도 10c는 각 분류기에서 사용되는 심플특징의 예를 보여주는 것으로서, 도 10a는 에지 심플특징, 도 10b는 라인 심플특징, 도 10c는 중앙 포위 심플특징(center-surround simple feature)을 각각 나타낸다. 각 심플특징은 2개 또는 3개의 흰색 또는 검은색 사각형으로 이루어진다. 각 분류기는 심플특징에 따라서, 흰색 사각형내에 위치하는 화소의 계조값의 합을 검은색 사각형내에 위치하는 화소의 계조값의 합으로부터 감산하여, 감산된 결과값을 심플특징에 대응하는 문턱값과 비교한다. 감산된 결과값과 문턱값과의 비교결과에 따라서 1 또는 -1의 값을 출력한다.
도 10d는 1개의 흰색 사각형과 2개의 검은색 사각형으로 이루어진 라인 심플특징을 이용하여 눈 부분을 검출하는 예를 보여주는데, 눈 영역이 콧등 영역보다 더 어둡다는 측면을 고려하여 눈 영역과 콧등 영역간의 계조값의 차이를 측정한다. 도 10e는 1개의 흰색 사각형과 1개의 검은색 사각형으로 이루어진 에지 심플특징을 이용하여 눈 부분을 검출하는 예를 보여주는데, 눈 영역이 뺨 영역보다 더 어둡다는 측면을 고려하여 눈 영역과 뺨 위쪽 영역간의 계조값의 차이를 측정한다. 이와 같이 얼굴을 검출하기 위한 심플특징은 매우 다양하게 존재할 수 있다.
도 11a 및 도 11b는 도 4의 417 단계 및 431 단계에서 얼굴을 검출하는 방법을 설명하는 흐름도이다.
도 11a 및 도 11b를 참조하면, 151 단계에서는 소정 사이즈(w×h)의 영상을 입력한다. 입력되는 영상은 프레임 전체영상인 제1 영상이거나 프레임 전체영상을 소정 크기로 제한한 제2 영상일 수 있다. 153 단계에서는 도 10a 내지 도 10c에 도시된 심플특징 추출에 용이한 형태인 인테그럴 이미지(integral image)로 제1 영상 또는 제2 영상을 표현한다. 인테그럴 이미지 표현방법에 대해서는 Paul Viola에 의한 논문 "Rapid Object Detection using a Boosted Cascade of Simple Features", Accepted Conference on Computer Vision and Pattern Recognition, 2001에 자세히 기재되어 있다.
155 단계에서는 서브윈도우영상의 최소 크기를 설정하는데, 여기서는 30×30 화소를 예로 들기로 한다. 157 단계에서는 서브윈도우 영상에 대하여 조도 보정을 수행한다. 각 화소의 계조값으로부터 평균조도값(하나의 서브윈도우영상의 평균조도값)을 뺀 값을 표준편차로 나눔으로써 조도 보정이 수행된다. 159 단계에서는 서브윈도우영상의 위치(x,y)를 시작위치인 (0,0)로 설정한다.
161 단계에서는 스테이지의 번호(n)를 1로 설정하고, 163 단계에서는 서브윈 도우영상을 n번째 스테이지에서 테스트하여 얼굴검출을 시도한다. 165 단계에서는 n번째 스테이지에서의 얼굴검출이 성공하였는지를 판단하여 얼굴검출에 실패한 경우 서브윈도우영상의 위치나 크기를 바꾸기 위해서 173 단계로 이행한다. 165 단계에서의 판단결과 얼굴검출이 성공한 경우 167 단계에서 n번째 스테이지가 하나의 얼굴검출부를 구성하는 마지막 스테이지인지를 판단한다. 167 단계에서의 판단결과, n번째 스테이지가 마지막 스테이지가 아닌 경우에는 169 단계에서 n을 1만큼 증가시킨 다음 163 단계로 복귀한다. 한편, 167 단계에서의 판단결과, n번째 스테이지가 마지막 스테이지인 경우에는 171 단계에서 서브윈도우영상의 좌표를 저장한다.
173 단계에서는 y가 제1 영상 또는 제2 영상의 h에 해당하는지, 즉 y의 증가가 종료되었는지를 판단한다. 173 단계에서의 판단결과, y의 증가가 종료된 경우 177 단계에서 x가 제1 영상 또는 제2 영상의 w에 해당하는지, 즉 x의 증가가 종료되었는지를 판단한다. 한편, 173 단계에서의 판단결과, y의 증가가 종료되지 않은 경우 175 단계에서 y를 1만큼 증가시킨 다음 161 단계로 복귀한다. 177 단계에의 판단결과 x의 증가가 종료된 경우 181 단계로 진행하고, x의 증가가 종료되지 않은 경우 179 단계에서 y는 그대로 두고, x를 1만큼 증가시킨 다음 161 단계로 복귀한다.
181에서는 서브윈도우영상의 크기 증가가 종료되었는지를 판단하고, 판단결과, 서브윈도우영상의 크기 증가가 종료되지 않은 경우에는 183 단계에서 소정의 스케일팩터 비율로 서브윈도우영상의 크기를 증가시킨 다음, 157 단계로 복귀한다. 한편, 181 단계에서의 판단결과, 서브윈도우영상의 크기 증가가 종료된 경우에는 185 단계에서 171 단계에서 저장된 얼굴이 검출된 각 서브윈도우영상의 좌표를 그루핑한다.
본 발명에 의한 얼굴검출방법에 있어서 검출속도를 향상시키기 위한 방법으로는, 얼굴검출모듈(130)에 있어서 입력되는 프레임 전체영상 즉, 하나의 제1 영상에서 얼굴로 검출되는 서브윈도우영상의 총 갯수를 제한하는 방법을 들 수 있다. 한편, 얼굴추적모듈(140)에 있어서는 입력되는 프레임 전체영상으로부터 크기가 제한된 영상 즉, 하나의 제2 영상에서 얼굴로 검출되는 서브윈도우영상의 총 갯수를 제한하거나, 서브윈도우영상의 최소 크기를 (이전 프레임영상에서 검출된 얼굴 크기- (n×n) 화소)로 제한하거나, 제2 영상의 크기를 이전 프레임영상에서 검출된 얼굴위치의 박스 좌표의 소정 배수 예를 들면 두배 정도로 제한하는 방법을 들 수 있다.
다음, 본 발명에 따른 얼굴검출방법의 성능평가를 위하여 모의실험한 결과를 도 12a 내지 도 12c를 참조하여 설명하기로 한다. 이때 실험환경은 카메라와 프레임 그래버(frame grabber)를 장착한 1.5 GHz PC 환경이다. 실험에 따르면, 초당 30 프레임의 검출속도를 달성할 수 있고, 도 12a의 얼굴검출이 성공한 그룹(G1)을 살펴보면, 좌회전얼굴검출부 및 우회전얼굴검출에서 회전각도가 25인 경우 검출가능한 얼굴의 각도가 x 축(즉, 상부 및 하부회전각도)은 ±20°, y축(즉, 좌회전 및 우회전각도)은 ±40°이었고, 도 12b의 얼굴검출이 성공한 그룹(G2)을 살펴보면, 검출가능한 얼굴의 각도 z축은 ±35°로 각각 종래에 비하여 대폭 증가되었음을 알 수 있다. 또한, 도 12c를 살펴보면, 검출가능한 최소 눈사이 거리는 20 화소였다. 한편, 얼굴검출율을 살펴보면 CMU 데이터베이스에 대하여 92.3 % 였으며, 이때 검출가능한 조도는 10 룩스 내지 13,000 룩스로 조도 변화에 상관없이 정확하게 얼굴을 검출할 수 있음을 알 수 있다.
도 13은 본 발명에 따른 보안 감시시스템의 일실시예의 구성을 보여주는 블럭도로서, 촬상장치(171), 얼굴검출장치(173) 및 저장장치(175)를 포함하여 이루어진다.
도 13을 참조하면, 촬상장치(171)는 객체를 촬상하여 그레이스케일 영상으로 변환한다. 얼굴검출장치(173)는 촬상장치(171)로부터 제공되는 그레이스케일 영상으로부터 매 프레임 단위로 얼굴을 검출한다. 이때, 얼굴검출장치(173)는 촬상장치(171)로부터 제공되는 이전 프레임영상에서 얼굴이 검출되지 않은 경우 현재 프레임영상에 대하여 N개의 얼굴검출모드 중 하나를 선택하여 얼굴을 검출하고, 이전 프레임영상에서 얼굴이 검출된 경우 현재 프레임영상에 대하여 N개의 얼굴추적모드 중 적어도 한개 이상을 순차적으로 수행하여 얼굴을 검출한다. 얼굴검출장치(173)의 세부적인 구성 및 동작은 전술한 바와 같다.
저장장치(175)는 얼굴검출장치(173)에서 검출된 얼굴영상을 매 프레임단위로 저장한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한 다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따르면, 얼굴검출모듈 및 얼굴추적모듈을 각각 정면얼굴, 우회전얼굴 및 좌회전얼굴에 대하여 얼굴검출이 가능하도록 구성함으로써 마스크, 손 또는 선글라스에 의해 일부가 가려지거나 회전각도가 큰 얼굴에 대하여도 용이하게 얼굴검출이 가능한 이점이 있다. 또한, 이전 프레임영상에서 얼굴이 검출되지 않은 경우에는 현재 프레임영상을 얼굴검출모듈로, 이전 프레임영상에서 얼굴이 검출된 경우에는 얼굴추적모듈로 제공함으로써 처리속도를 향상시키면서 정확하게 얼굴검출이 가능한 이점이 있다. 또한, 이전 프레임영상에서 얼굴이 검출된 경우에는 얼굴검출부에 대응하는 얼굴추적부로 현재 프레임영상을 제공한 다음, 적어도 한개 이상의 얼굴추적부에서 얼굴검출을 수행함으로써 정확하게 얼굴검출이 가능한 이점이 있다. 또한, 케스케이드로 연결된 스테이지 구조와 심플특징으로 이용한 분류기를 이용함으로써 고속으로 얼굴검출이 가능한 이점이 있다.
본 발명은 신용카드, 현금카드, 전자주민등록증 등과, 신분확인을 필요로 하 는 카드류, 단말기 접근제어, 공공장소 관제시스템, 전자사진첩 및 범죄자사진인식 등 같이 얼굴인식을 필요로 하는 분야의 전단계로 널리 적용될 수 있을 뿐 아니라, 특히 보안감시 시스템에 유용하게 적용될 수 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (27)

  1. (a) 이전 프레임영상에서 얼굴이 검출되었는지 판단하는 단계;
    (b) 상기 이전 프레임영상에서 얼굴이 검출되지 않은 경우 현재 프레임영상에 대하여 N개의 얼굴검출모드 중 하나를 선택하여 얼굴을 검출하는 단계; 및
    (c) 상기 이전 프레임영상에서 얼굴이 검출된 경우 상기 현재 프레임영상을 이전 프레임에서 검출된 얼굴 크기를 고려하여 소정 크기로 제한한 영상에 대하여 N개의 얼굴추적모드 중 적어도 한개 이상을 순차적으로 수행하여 얼굴을 검출하는 단계를 포함하는 것을 특징으로 하는 얼굴검출방법.
  2. 제1 항에 있어서, 상기 얼굴검출모드는 정면얼굴 검출모드, 우회전얼굴 검출모드 및 좌회전얼굴 검출모드로 이루어지는 것을 특징으로 하는 얼굴검출방법.
  3. 제1 항에 있어서, 상기 얼굴추적모드는 정면얼굴 추적모드, 우회전얼굴 추적모드 및 좌회전얼굴 추적모드로 이루어지는 것을 특징으로 하는 얼굴검출방법.
  4. 제2 항 또는 제3 항에 있어서, 상기 정면얼굴 검출모드 및 추적모드는 상기 제1 정면얼굴 검출모드 및 추적모드와, 상기 제1 정면얼굴 검출모드 및 추적모드에 비하여 정확도는 낮으나 처리속도는 빠른 제2 정면얼굴 검출모드 및 추적모드로 이루어지는 것을 특징으로 하는 얼굴검출방법.
  5. 제1 항에 있어서, 상기 (b) 단계는 이전까지 얼굴이 검출되지 않은 프레임수를 N으로 나누고, 나머지값에 따라서 상기 N개의 검출모드 중 하나를 선택하여 얼굴검출을 수행하는 것을 특징으로 하는 얼굴검출방법.
  6. 제1 항에 있어서, 상기 (c) 단계는 이전 프레임영상에서 얼굴이 검출된 경우 얼굴이 검출된 얼굴검출모드 또는 얼굴추적모드에 대응하는 얼굴추적모드에서부터 현재 프레임영상에서의 얼굴검출을 수행하는 것을 특징으로 하는 얼굴검출방법.
  7. 제6 항에 있어서, 상기 (c) 단계는 이전 프레임영상에서 얼굴이 검출된 모드가 정면얼굴 검출모드 또는 추적모드인 경우, 현재 프레임영상에 대하여 정면얼굴 추적모드에서 얼굴검출이 실패한 경우, 우회전얼굴 추적모드 및 좌회전얼굴 추적모 드를 추가적으로 수행하는 것을 특징으로 하는 얼굴검출방법.
  8. 제6 항에 있어서, 상기 (c) 단계는 이전 프레임영상에서 얼굴이 검출된 모드가 우회전얼굴 검출모드 또는 우회전얼굴 추적모드인 경우, 현재 프레임영상에 대하여 우회전얼굴 추적모드에서 얼굴검출이 실패한 경우, 정면얼굴 추적모드를 추가적으로 수행하는 것을 특징으로 하는 얼굴검출방법.
  9. 제6 항에 있어서, 상기 (c) 단계는 이전 프레임영상에서 얼굴이 검출된 모드가 좌회전얼굴 검출모드 또는 좌회전얼굴 추적모드인 경우, 현재 프레임영상에 대하여 좌회전얼굴 추적모드에서 얼굴검출이 실패한 경우, 정면얼굴 추적모드를 추가적으로 수행하는 것을 특징으로 하는 얼굴검출방법.
  10. 제1 항에 있어서, 상기 (b) 및 (c) 단계에서는 케스케이드로 연결된 스테이지 구조를 이용하며, 각 스테이지를 하나의 심플특징에 대응하는 복수개의 분류기로 구성하여, 각 스테이지에서 하나의 스테이지를 구성하는 복수개의 분류기의 가중치 합으로부터 얼굴검출 여부를 결정하는 것을 특징으로 하는 얼굴검출방법.
  11. 제1 항에 있어서, 상기 (b) 및 (c) 단계에서는 서브윈도우영상을 최소크기에서부터 점차적으로 증가시키고, 각 서브윈도우영상을 현재 프레임영상에 대하여 스캐닝하면서 얼굴검출을 수행하는 것을 하는 것을 특징으로 하는 얼굴검출방법.
  12. 제11 항에 있어서, 상기 (b) 및 (c) 단계에서는 현재 프레임영상에서 처리하는 과정 중에 얼굴로 검출되는 서브윈도우영상의 총 갯수를 소정 갯수로 제한하는 것을 특징으로 하는 얼굴검출방법.
  13. 제11 항에 있어서, 상기 (c) 단계에서는 서브윈도우영상의 최소크기를 이전 프레임영상에서 검출된 얼굴 크기보다 소정 크기만큼 작게 제한하는 것을 특징으로 하는 얼굴검출방법.
  14. 제11 항에 있어서, 상기 (c) 단계에서는 상기 서브윈도우영상을 이용한 스캐닝영역을 이전 프레임영상에서 검출된 얼굴위치의 박스 좌표의 소정 배수로 제한하는 것을 특징으로 하는 얼굴검출방법.
  15. 제1 항 내지 제14 항 중 어느 한 항에 기재된 방법을 실행할 수 있는 프로그램을 기재한 컴퓨터로 읽을 수 있는 기록매체.
  16. 입력되는 프레임영상에 대하여 N개의 얼굴검출모드 중 하나를 선택적으로 수행하여 얼굴을 검출하는 얼굴검출모듈;
    입력되는 프레임영상을 이전에 검출된 얼굴 크기를 고려하여 소정 크기로 제한한 영상에 대하여 N개의 얼굴추적모드 중 적어도 한개 이상을 순차적으로 수행하여 얼굴을 검출하는 얼굴추적모듈;
    상기 얼굴검출모듈의 출력 또는 상기 얼굴추적모듈의 출력을 입력으로 하여, 이전 프레임영상에서 얼굴이 검출되었는지 판단하는 얼굴검출 판단부;
    상기 얼굴검출 판단부의 판단 결과에 따라서, 현재 프레임영상을 상기 얼굴검출모듈과 얼굴추적모듈 중 하나로 제공하는 스위칭부를 포함하는 것을 특징으로 하는 얼굴검출장치.
  17. 제16 항에 있어서, 상기 얼굴검출모듈은
    상기 프레임영상에 대하여 얼굴검출을 수행하는 정면얼굴 검출부;
    상기 프레임영상을 오른쪽으로 소정각도만큼 회전시킨 다음 얼굴검출을 수행하는 우회전얼굴 검출부; 및
    상기 프레임영상을 왼쪽으로 소정각도만큼 회전시킨 다음 얼굴검출을 수행하는 좌회전얼굴 검출부를 포함하는 것을 특징으로 하는 얼굴검출장치.
  18. 제16 항에 있어서, 상기 얼굴추적모듈은
    상기 프레임영상을 소정 크기로 제한한 영상에 대하여 얼굴검출을 수행하는 정면얼굴 추적부;
    상기 프레임영상을 소정 크기로 제한한 영상을 오른쪽으로 소정각도만큼 회전시킨 다음 얼굴검출을 수행하는 우회전얼굴 추적부; 및
    상기 프레임영상을 소정 크기로 제한한 영상을 왼쪽으로 소정각도만큼 회전 시킨 다음 얼굴검출을 수행하는 좌회전얼굴 추적부를 포함하는 것을 특징으로 하는 얼굴검출장치.
  19. 제17 항 또는 제18 항에 있어서, 상기 정면얼굴 검출부는 제1 정면얼굴 검출모드와 상기 제1 정면얼굴 검출모드에 비하여 정확도는 낮으나 처리속도는 빠른 제2 정면얼굴 검출모드로, 상기 정면얼굴 추적부는 제1 정면얼굴 추적모드와 상기 제1 정면얼굴 추적모드에 비하여 정확도는 낮으나 처리속도는 빠른 제2 정면얼굴 검출모드로 이루어지는 것을 특징으로 하는 얼굴검출장치.
  20. 제18 항에 있어서, 상기 얼굴검출모듈에서는 이전까지 얼굴이 검출되지 않은 프레임수를 N으로 나누고, 나머지값에 따라서 상기 N개의 얼굴검출부 중 하나를 선택하여 얼굴검출을 수행하는 것을 특징으로 하는 얼굴검출장치.
  21. 제19 항에 있어서, 상기 얼굴추적모듈에서는 이전 프레임영상에서 얼굴이 검출된 경우 얼굴이 검출된 얼굴검출부 또는 얼굴추적부에 대응하는 얼굴추적모드에서부터 현재 프레임영상에서의 얼굴검출을 수행하는 것을 특징으로 하는 얼굴검출장치.
  22. 제17 항에 있어서, 상기 얼굴검출모듈 및 얼굴추적모듈에서는 케스케이드로 연결된 스테이지 구조를 이용하며, 각 스테이지를 하나의 심플특징에 대응하는 복 수개의 분류기로 구성하여, 각 스테이지에서 하나의 스테이지를 구성하는 복수개의 분류기의 가중치 합으로부터 얼굴검출 여부를 결정하는 것을 특징으로 하는 얼굴검출장치.
  23. 제17 항에 있어서, 상기 얼굴검출모듈 및 얼굴추적모듈에서는 서브윈도우영상을 최소크기에서부터 점차적으로 증가시키고, 각 서브윈도우영상을 현재 프레임영상에 대하여 스캐닝하면서 얼굴검출을 수행하는 것을 하는 것을 특징으로 하는 얼굴검출방법.
  24. 제23 항에 있어서, 상기 얼굴검출모듈 및 얼굴추적모듈에서는 상기 현재 프레임영상에서 처리하는 과정 중에 얼굴로 검출되는 서브윈도우영상의 총 갯수를 소정 갯수로 제한하는 것을 특징으로 하는 얼굴검출장치.
  25. 제23 항에 있어서, 상기 얼굴추적모듈에서는 상기 서브윈도우영상의 최소크기를 이전 프레임영상에서 검출된 얼굴 크기보다 소정 크기만큼 작게 제한하는 것을 특징으로 하는 얼굴검출장치.
  26. 제23 항에 있어서, 상기 얼굴추적모듈에서는 상기 서브윈도우영상을 이용한 스캐닝영역을 이전 프레임영상에서 검출된 얼굴위치의 박스 좌표의 소정 배수로 제한하는 것을 특징으로 하는 얼굴검출장치.
  27. 객체를 촬상하여 그레이스케일 영상으로 변환하는 촬상장치;
    상기 촬상장치로부터 제공되는 이전 프레임영상에서 얼굴이 검출되지 않은 경우 현재 프레임영상에 대하여 N개의 얼굴검출모드 중 하나를 선택하여 얼굴을 검출하고, 상기 이전 프레임영상에서 얼굴이 검출된 경우 상기 현재 프레임영상을 상기 이전 프레임영상에서 검출된 얼굴 크기를 고려하여 소정 크기로 제한한 영상에 대하여 N개의 얼굴추적모드 중 적어도 한개 이상을 순차적으로 수행하여 얼굴을 검출하는 얼굴검출장치; 및
    상기 얼굴검출장치에서 검출되는 얼굴영상을 프레임단위로 저장하는 저장장치를 포함하는 것을 특징으로 하는 보안 감시시스템.
KR1020030077040A 2003-10-31 2003-10-31 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템 KR100580626B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020030077040A KR100580626B1 (ko) 2003-10-31 2003-10-31 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
US10/972,381 US7773781B2 (en) 2003-10-31 2004-10-26 Face detection method and apparatus and security system employing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030077040A KR100580626B1 (ko) 2003-10-31 2003-10-31 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템

Publications (2)

Publication Number Publication Date
KR20050041772A KR20050041772A (ko) 2005-05-04
KR100580626B1 true KR100580626B1 (ko) 2006-05-16

Family

ID=34545682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030077040A KR100580626B1 (ko) 2003-10-31 2003-10-31 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템

Country Status (2)

Country Link
US (1) US7773781B2 (ko)
KR (1) KR100580626B1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
JP4593314B2 (ja) * 2005-02-28 2010-12-08 富士フイルム株式会社 画像再生装置、プログラム及び方法、並びにフォトムービー作成装置、プログラム及び方法
JP4844053B2 (ja) * 2005-08-31 2011-12-21 セイコーエプソン株式会社 画像選択装置および画像選択方法
JP2007094633A (ja) * 2005-09-28 2007-04-12 Fujifilm Corp 顔検出装置ならびにプログラム
US20080107341A1 (en) * 2006-11-02 2008-05-08 Juwei Lu Method And Apparatus For Detecting Faces In Digital Images
JP4989243B2 (ja) * 2007-02-05 2012-08-01 株式会社リコー 撮像装置及びその被写体検出方法
WO2008107002A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
US7840037B2 (en) * 2007-03-09 2010-11-23 Seiko Epson Corporation Adaptive scanning for performance enhancement in image detection systems
US7844085B2 (en) * 2007-06-07 2010-11-30 Seiko Epson Corporation Pairwise feature learning with boosting for use in face detection
KR100883519B1 (ko) * 2007-08-27 2009-02-13 한국전자통신연구원 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법
US8509538B2 (en) * 2007-12-20 2013-08-13 Intel Corporation Method and apparatus for obtaining and processing Gabor image features
US8131065B2 (en) * 2007-12-20 2012-03-06 Intel Corporation Method and apparatus for obtaining and processing image features
US8194156B2 (en) * 2008-01-07 2012-06-05 Sony Ericsson Mobile Communications Ab EXIF object coordinates
JP5141317B2 (ja) * 2008-03-14 2013-02-13 オムロン株式会社 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
US8175992B2 (en) * 2008-03-17 2012-05-08 Intelliscience Corporation Methods and systems for compound feature creation, processing, and identification in conjunction with a data analysis and feature recognition system wherein hit weights are summed
US8634645B2 (en) * 2008-03-28 2014-01-21 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US8442327B2 (en) * 2008-11-21 2013-05-14 Nvidia Corporation Application of classifiers to sub-sampled integral images for detecting faces in images
KR101179497B1 (ko) 2008-12-22 2012-09-07 한국전자통신연구원 얼굴 검출 방법 및 장치
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
KR101816170B1 (ko) * 2010-12-22 2018-01-09 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
CN102306304B (zh) * 2011-03-25 2017-02-08 上海星尘电子科技有限公司 人脸遮挡物识别方法及其装置
KR101289087B1 (ko) * 2011-11-03 2013-08-07 인텔 코오퍼레이션 얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN102779274B (zh) * 2012-07-19 2015-02-25 冠捷显示科技（厦门）有限公司 一种基于双目摄像头的智能电视人脸识别方法
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US9571785B2 (en) * 2014-04-11 2017-02-14 International Business Machines Corporation System and method for fine-grained control of privacy from image and video recording devices
JP6630999B2 (ja) * 2014-10-15 2020-01-15 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
KR101648786B1 (ko) * 2014-12-05 2016-08-30 삼성에스디에스 주식회사 객체 인식 방법
CN106682645A (zh) * 2017-01-16 2017-05-17 中兴智能视觉大数据技术（湖北）有限公司 一种智能视觉大数据机场安检安防方法
CN108804987B (zh) * 2017-05-04 2023-03-10 株式会社日立制作所 门开闭状态检测方法和装置、以及人流检测系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6829384B2 (en) * 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
AUPR541801A0 (en) * 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
KR100571801B1 (ko) 2001-07-13 2006-04-17 삼성전자주식회사 디지탈 감시 장치 및 방법
KR100434907B1 (ko) 2001-08-01 2004-06-09 주식회사 이스턴정보통신 얼굴 인식 기능을 포함한 영상 감시 시스템 및 이를이용하는 방법
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7050607B2 (en) * 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems

Also Published As

Publication number Publication date
KR20050041772A (ko) 2005-05-04
US7773781B2 (en) 2010-08-10
US20050094854A1 (en) 2005-05-05

Similar Documents

Publication Publication Date Title
KR100580626B1 (ko) 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
Viola et al. Detecting pedestrians using patterns of motion and appearance
JP4755202B2 (ja) 顔特徴の検出方法
EP1426898B1 (en) Human detection through face detection and motion detection
CN103503029B (zh) 检测面部特性的方法
KR101247147B1 (ko) 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
GB2549554A (en) Method and system for detecting an object in an image
Kruppa et al. Skin patch detection in real-world images
Lu et al. [Retracted] Face Detection and Recognition Algorithm in Digital Image Based on Computer Vision Sensor
KR101330636B1 (ko) 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
JP2011210030A (ja) 顔認識装置及び顔認識方法
JP4757598B2 (ja) 顔検出方法および装置並びにプログラム
Goldmann et al. Components and their topology for robust face detection in the presence of partial occlusions
Gürel Development of a face recognition system
Mccullagh Face detection by using haar cascade classifier
Gul et al. A machine learning approach to detect occluded faces in unconstrained crowd scene
Shanmuhappriya Automatic attendance monitoring system using deep learning
Hbali et al. Object detection based on HOG features: Faces and dual-eyes augmented reality
Pande et al. Parallel processing for multi face detection and recognition
Seitner et al. Pedestrian tracking based on colour and spatial information
Nguyen et al. A comparative study on application of multi-task cascaded convolutional network for robust face recognition
KR102579610B1 (ko) Atm 이상행동감지 장치 및 그 장치의 구동방법
RU2758966C1 (ru) Способ определения подлинности лица по маскам сегментации
Khan et al. Facial features and Body parts Detection Methods: A Comprehensive Survey
Dixit et al. SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120423

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130422

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee