KR101235791B1 - 방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 - Google Patents

방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR101235791B1
KR101235791B1 KR1020117015400A KR20117015400A KR101235791B1 KR 101235791 B1 KR101235791 B1 KR 101235791B1 KR 1020117015400 A KR1020117015400 A KR 1020117015400A KR 20117015400 A KR20117015400 A KR 20117015400A KR 101235791 B1 KR101235791 B1 KR 101235791B1
Authority
KR
South Korea
Prior art keywords
face
edge
face detection
mosaic images
different
Prior art date
Application number
KR1020117015400A
Other languages
English (en)
Other versions
KR20110094112A (ko
Inventor
콩 치아오 왕
지앙웨이 리
레이 주
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20110094112A publication Critical patent/KR20110094112A/ko
Application granted granted Critical
Publication of KR101235791B1 publication Critical patent/KR101235791B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

방위 독립적인 얼굴 검출을 위한 방법은 다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하고, 상이한 방위의 복수의 에지 (edge) 검출기들을 채택하여 상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하고 그리고 상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출을 수행하는 것을 포함한다. 상기 방법에 대응하는 장치 및 컴퓨터 프로그램 제품이 또한 제공된다.

Description

방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 {Method, apparatus and computer program product for providing an orientation independent face detector}
본 발명의 실시예들은 보통은 이미지 프로세싱 기술에 관련되고, 더 상세하게는, 방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품에 관련된다.
얼굴 검출 및 인식은 점점 더욱 중요한 기술이 되고 있다. 이런 면에서, 예를 들면, 얼굴 검출은 바이오메트릭, 사용자 인터페이스 및 모바일 도메인에서 커뮤니티에 액세스하기 위한 환경을 생성하는 것과 같은 다른 영역들에서 유용할 수 있을 것이다. 얼굴 검출은 메타데이터 표준과 같은 발의에 관련하여 또한 중요하게 진행되고 있을 것이다.
비록 얼굴 검출 기술이 개선되고 있지만, 많은 현재의 방법들은 고도의 컴퓨팅 능력을 필요로 하거나 (예를 들면, 다중의 스케일들로 가로지르는 방식으로 이미지들을 스캐닝 함으로써 얼굴들을 검출하는 통계적인 방법) 또는 제한된 얼굴 검출 성능을 겪는다 (예를 들면, 얼굴 검출의 상대적으로 높은 오류 알람들을 구비한 구조-기반의 방법들). 또한, 몇몇의 통계적인 얼굴 검출 메커니즘들은 전면 얼굴 검출에 관련하여 다중-뷰 얼굴 검출에 대해서는 저하된 성능을 가진다. 다른 까다로운 문제로서, 특정 이미지에서 마주치는 얼굴들은 카메라에 대해서 항상 동일한 방향으로 위치하지 않을 수도 있을 것이며, 이는 얼굴 검출에는 부정적으로 영향을 미칠 수 있을 것이다. 예를 들면, 평면-내 (in-plane) 회전 (예를 들면, 얼굴부터 관찰자까지의 축을 따라서 회전하는 얼굴들)은 몇몇의 경우들에서는 얼굴 검출을 복잡하게 할 수 있을 것이다.
따라서, 요청하면 상대적으로 빠르게 콘텐트를 생성하고, 콘텐트를 저장하고 그리고/또는 콘텐트를 수신하기 위한 능력에 있어서 계속적으로 증가하는 기기들을 개발하는 경향, 현대의 세계에서는 점차적으로 도처에 나타나고 있는 전자 기기들 (예를 들면, 모바일 전화기들과 같은 모바일 전자 기기들)로 향하는 트렌드, 그리고 그런 기기들의 기능들을 열게 (unlock)하기 위한 인터페이스 및 액세스 메커니즘들에서의 계속적인 개선들에 대한 욕구는 얼굴 검출의 영역에 있어서 추가의 개선들을 제공하는 것을 바람직하게 만들 수 있을 것이다.
본 발명은 상기에서 언급된 저하된 성능을 일으키지 않을 개선된 얼굴 검출기를 제공하는 방법 및 장치를 제공하려고 한다.
그러므로, 방위 독립적인 얼굴 검출 메커니즘을 가능하게 하기 위해서 방법, 장치 및 컴퓨터 프로그램 제품이 제공된다. 예를 들면, 몇몇의 예시적인 실시예들에서, 가능한 평면-내 회전 각도들의 360도 범위에 걸쳐서 얼굴들을 검출할 수 있는 메커니즘이 제공된다. 또한, 몇몇 경우들에서, 예시의 실시예들은 오류의 알람들의 발생을 줄이기 위해서 통계적인 방법을 채택하는 검증 동작 (예를 들면, 에이다부스트 (적응적인 부스팅; adaptive boosting) 기반의 통계적인 검증)을 구비한 구조-기반의 검출 방식을 활용함으로써 상대적으로 빠르고 강건한 다중-뷰 얼굴 검출 메커니즘을 제공한다. 그처럼, 몇몇의 실시예들은 다중-스케일 및 다중-레벨 구조-기반의 검출 방법을 구비한 얼굴 후보들을 탐지하는 능력을 제공하며, 상기 검출 방법은 두 개의 검출된 눈들을 연결하는 라인에 관하여 수직으로 상기 후보들을 회전시킨 후에 얼굴 후보들에 대한 검증을 위해서 (예를 들면, 전면 얼굴들 그리고 90도의 평면-외 (out-of-plane) 회전 얼굴들을 검출하기 위한 강력한 능력을 구비한 에이다부스트 얼굴 검출기들을 이용하여) 다중 얼굴 검출기들을 채택한다.
예시의 일 실시예에서, 방위 독립적인 얼굴 검출이 제공된다. 상기 방법은 다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하고, 상이한 방위의 복수의 에지 (edge) 검출기들을 채택하여 상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하고 그리고 상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출을 수행하는 것을 포함할 수 있을 것이다.
다른 예시적인 실시예에서, 방위 독립적인 얼굴 검출을 제공하기 위한 컴퓨터 프로그램 제품이 제공된다. 상기 컴퓨터 프로그램 제품은 저장된 컴퓨터-실행가능 프로그램 명령어들을 구비한 적어도 하나의 컴퓨터-독출가능 저장 매체를 포함한다. 상기 컴퓨터-실행가능 프로그램 코드 명령어들은, 다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하기 위한 프로그램 코드 명령어들, 상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하기 위해서 상이한 방위의 복수의 에지 (edge) 검출기들을 채택하기 위한 프로그램 코드 명령어들 그리고 상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출을 수행하기 위한 프로그램 코드 명령어들을 포함할 수 있을 것이다.
다른 예시적인 실시예에서, 방위 독립적인 얼굴 검출을 제공하기 위한 장치가 제공된다. 상기 장치는 프로세서를 포함할 수 있을 것이다. 상기 프로세서는, 다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하고, 상이한 방위의 복수의 에지 (edge) 검출기들을 채택하여 상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하고 그리고 상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출하는 것을 수행하는 것을 적어도 수행하도록 하도록 구성될 수 있을 것이다.
또 다른 예시적인 실시예에서, 방위 독립적인 얼굴 검출을 제공하기 위한 장치가 제공된다. 상기 장치는, 다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하는 수단, 상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하기 위해서 상이한 방위의 복수의 에지 (edge) 검출기들을 채택하는 수단 및 상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출을 수행하는 수단을 포함할 수 있을 것이다.
본 발명의 실시예들은, 예를 들면, 모바일 환경 또는 고정된 환경에서 채택되기 위한 방법, 장치 및 컴퓨터 프로그램 제품을 제공할 수 있을 것이다. 결과적으로, 예를 들면, 컴퓨팅 기기 사용자들은 얼굴 탐지를 위한 개선된 능력을 즐길 수 있을 것이다.
본 발명의 효과는 본 발명의 설명의 해당되는 부분에 개별적으로 명시되어 있다.
본 발명의 몇몇 실시예들을 일반적인 용어들로 설명하면서, 첨부된 도면들을 이제 참조할 것이며, 상기 첨부된 도면들은 반드시 크기에 맞추어서 도시된 것은 아니다.
도 1은 본 발명의 예시적인 일 실시예에 따른 방위 독립적인 얼굴 검출을 가능하게 하는 장치의 개략적인 블록도의 일 예를 도시한다.
도 2는 본 발명의 예시적인 일 실시예에 따른 입력 이미지를 모자이크하는 예를 보여준다.
도 3은 본 발명의 예시적인 일 실시예에 따른 평면-내 회전들을 위한 완전한 범위 커버리지를 제공하기 위해서 4개의 에지 검출기들의 섹터 커버리지의 일 예를 보여준다.
도 4는 본 발명의 예시적인 일 실시예의 이미지 수정기 및 에지 검출기의 결합된 동작들을 도시하는 블록도를 보여준다.
도 5a는 본 발명의 예시적인 일 실시예에 따른 원래의 이미지로서 본 발명의 일 실시예로서 입력될 수 있을 이미지의 일 예를 보여준다.
도 5b는 본 발명의 예시적인 일 실시예에 따른 60의 그레일스케일 이진화 레벨에서 원래의 이미지의 0도 방향 에지 특징 맵의 일 예를 도시한다.
도 5c는 본 발명의 예시적인 일 실시예에 따른 얼굴 검출 결과의 일 예를 보여준다.
도 6a 및 도 6는 본 발명의 예시적인 일 실시예에 따른 탄성 얼굴 템플리트의 예들을 도시한다.
도 7은 본 발명의 예시적인 일 실시예와 결합하여 채택될 수 있을 7개의 상이한 haar-유형 특징들의 예들을 보여준다.
도 8은 본 발명의 예시적인 일 실시예에 따라서 부트스트랩에서 사용되기 위한 벌칙 방식을 예시한다.
도 9는 본 발명의 예시적인 일 실시예에 따라서 수행되는 동작들의 블록도를 보여준다.
도 10은 본 발명의 예시적인 일 실시예로부터 이득을 얻을 수 있을 모바일 단말의 블록도를 도시한다.
도 11은 본 발명의 예시적인 일 실시예에 따른 방위 독립적인 얼굴 검출을 제공하기 위한 예시적인 방법에 따른 흐름도이다.
이제 본 발명의 몇몇 실시예들이 첨부된 도면들을 참조하여 이하에서 더욱 완전하게 설명될 것이며, 그 경우 본 발명의 모든 실시예들이 아니라 몇몇의 실시예들만이 도시된다. 실제로, 본 발명의 다양한 실시예들이 많은 상이한 모습들로 구체화될 수 있을 것이며 그리고 여기에서 제시된 실시예들로 한정되는 것으로서 해석되어서는 안 된다: 오히려, 이런 실시예들은 본 개시가 적합한 법적인 요구 사항들을 만족시킬 수 있도록 제공된다. 명세서 내내 유사한 참조번호들은 유사한 엘리먼트들을 언급한다. 여기에서 사용되는 것처럼, "데이터", "콘텐트", "정보"의 용어들 및 유사한 용어들은 본 발명의 실시예들에 따라서 전송되고, 수신되고 그리고/또는 저장될 수 있을 데이터를 언급하기 위해서 교체적으로 사용될 수 있을 것이다. 또한, 여기에서 사용되는 것과 같은 "예시적인"의 용어는 어떤 정성적인 평가를 제공하기 위해서 제공된 것이 아니라, 일 예의 예시를 제공하기 위해서 제공된다. 추가로, 여기에서 사용된 '가까이' 그리고 '멀리'라는 용어들은 몇몇 포인트가 다른 포인트에 관해서 더 가까이에 그리고 더 멀리에 있는 물체들을 언급하기 위해서 상대적인 느낌으로 사용되는 것이며, 어떤 특정의 또는 정량화할 수 있는 위치를 나타내기 위한 것은 아니다. 그러므로, 그런 용어들 중의 어떤 것을 사용하는 것은 본 발명의 실시예들의 사상과 범위를 제한하기 위해서 채택되어서는 안 된다.
본 발명의 몇몇의 실시예들은 얼굴 검출에 관련하여 개선들이 경험될 수 있을 매커니즘을 제공할 수 있을 것이다. 이런 면에서, 예를 들면, 몇몇의 실시예들은 실시간의 또는 거의 실시간의 얼굴 검출 방식을 제공할 수 있을 것이며, 이는 메타데이터 할당, 바이오메트릭 및 핸드헬드 또는 다른 컴퓨팅 기기들 상에서의 다양한 다른 행동들에 적합할 수 있을 것이다.
도 1은 본 발명의 예시적인 일 실시예에 따른 방위 독립적인 얼굴 검출을 가능하게 하는 장치의 개략적인 블록도의 일 예를 도시한다. 본 발명의 예시적인 일 실시예는 이제 도 1을 참조하여 설명될 것이며, 이 경우에 방위 독립적인 얼굴 검출을 가능하게 하는 장치의 특정 엘리먼트들이 디스플레이된다. 도 1의 상기 장치는, 예를 들면, 모바일 단말 (예를 들면, 도 11의 모바일 단말 (10)) 또는 (예를 들면, 네트워크 기기, 개인용 컴퓨터, 랩탑 커뮤터 또는 유사한 것과 같은) 모바일 및 고정된 다양한 다른 기기들에 채택될 수 있을 것이다. 대안으로, 기기들이 결합된 것들에 실시예들이 채택될 수 있을 것이다. 따라서, 본 발명의 몇몇의 실시예들이 전체적으로 단일의 기기 (예를 들면 참조번호 10의 모바일 단말)에서 또는 클라이언트/서버 관계에서의 기기들에 의해서 구체화될 수 있을 것이다. 더군다나, 아래에서 설명되는 기기들 또는 엘리먼트들은 필수적인 것은 아닐 수 있을 것이며 그래서 몇몇은 어떤 실시예들에서은 생략될 수 있을 것이다.
이제 도 1을 참조하여, 방위 독립적인 (orientation independent) 얼굴 검출을 가능하게 하기 위한 장치가 제공된다. 상기 장치는 프로세서 (70), 사용자 인터페이스 (72), 통신 인터페이스 (74) 및 메모리 기기 (76)를 포함할 수 있을 것이며, 그렇지 않다면 그것들과 통신하고 있을 수 있다. 상기 메모리 기기 (76)는, 예를 들면, 휘발성 및/또는 비-휘발성 메모리를 포함할 수 있을 것이다. 상기 메모리 기기 (76)는 상기 장치가 본 발명의 예시적인 실시예들에 따라 다양한 기능들을 수행하는 것을 가능하게 하기 위해서 정보, 데이터, 애플리케이션들, 명령어들 또는 유사한 것을 저장하도록 구성될 수 있을 것이다. 예를 들면, 상기 메모리 기기 (76)는 상기 프로세서 (70)에 의한 프로세싱을 위해서 입력 데이터를 버퍼링하도록 구성될 수 있을 것이다. 추가로 또는 대안으로, 상기 메모리 기기 (76)는 상기 프로세서 (70)에 의한 실행을 위해서 명령어들을 저장하도록 구성될 수 있을 것이다. 다른 대안으로서, 상기 메모리 기기 (76)는 정보 및/또는 미디어 콘텐트를 저장하는 복수의 데이터베이스들 중의 하나일 수 있을 것이다.
상기 프로세서 (70)는 많은 다양한 방식들로 구체화될 수 있을 것이다. 예를 들면, 상기 프로세서 (70)는 프로세싱 엘리먼트, 보조 프로세서, 제어기 또는, 예를 들면, ASIC (application specific integrated circuit), FPGA (field programmable gate array), 하드웨어 가속기 또는 유사한 것과 같은 집적 회로들을 포함하는 다양한 다른 프로세싱 기기들과 같은 다양한 프로세싱 수단으로서 구체화될 수 있을 것이다. 예시적인 일 실시예에서, 상기 프로세서 (70)는 상기 메모리 기기 (76)에 저장된 또는 그렇지 않다면 상기 프로세서 (70)에 액세스 가능한 명령어들을 실행하도록 구성될 수 있을 것이다. 그처럼, 상기 프로세서 (70)는 하드웨어 또는 소프트웨어 방법들에 의해서 또는 그것들의 결합에 의해서 구성되는가의 여부에 따라서 구성되어 본 발명의 실시예들에 따른 동작들을 실행할 수 있는 엔티티를 대표할 수 있을 것이다.
한편, 상기 통신 인터페이스 (74)는 상기 장치와 통신하는 네트워크 및/또는 어떤 다른 기기나 모듈로/로부터 데이터를 전송하고 그리고/또는 수신하도록 구성된 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 결합의 어느 하나로 구체화된 기기 또는 회로와 같은 어떤 수단일 수 있을 것이다. 이런 면에서, 상기 통신 인터페이스 (74)는, 예를 들면, 무선 통신 네트워크 (예를 들면, 참조번호 78의 네트워크)와의 통신을 가능하게 하는 안테나 (또는 다중 안테나) 및 지원 하드웨어 및/또는 소프트웨어를 포함할 수 있을 것이다. 고정된 환경들에서, 상기 통신 인터페이스 (74)는 유선의 통신을 대안으로 또는 추가로 지원할 수 있을 것이다. 그처럼, 상기 통신 인터페이스 (74)는 케이블, 디지털 가입자 라인 (DSL), 범용 시리얼 버스 (USB) 또는 다른 메커니즘들을 경유한 통신을 지원하기 위한 통신 모뎀 및/또는 다른 하드웨어/소프트웨어를 포함할 수 있을 것이다.
상기 사용자 인터페이스 (72)는 상기 프로세서 (70)와 통신하여, 사용자 인터페이스 (72)에서의 사용자 입력 표시를 수신하고 그리고/또는 사용자에게 청각적인, 시각적인, 기계적인 또는 다른 입력을 제공할 수 있을 것이다. 그처럼, 상기 사용자 인터페이스 (72)는, 예를 들면, 키보드, 마우스, 조이스틱, 디스플레이, 터치 스크린, 마이크로포노, 스피커 또는 다른 입력/출력 메커니즘을 포함할 수 있을 것이다. 상기 장치가 서버 또는 몇몇의 다른 네트워크 기기들로서 구체화되는 예시적인 일 실시예에서, 상기 사용자 인터페이스 (72)는 제한되거나 또는 배제될 수 있을 것이다. 그러나, 상기 장치가 모바일 단말로서 구체화되는 일 실시예에서, 상기 사용자 인터페이스 (72)는 다른 기기들이나 엘리먼트들 사이에서 스피커, 마이크로폰, 디스플레이 및 키보드 또는 유사한 것 중의 어떤 것 또는 모두를 포함할 수 있을 것이다.
예시적인 일 실시예에서, 상기 프로세서 (70)는 이미지 수정기 (80), 에지 검출기 (82), 얼굴 검출기 (84), 후보 로테이터 (86) 및 검증기 (88)를 포함하거나 또는 그렇지 않으면 상기의 것들을 제어하는 것으로서 구체화될 수 있을 것이다. 상기 이미지 수정기 (80), 에지 검출기 (82), 얼굴 검출기 (84), 후보 로테이터 (86) 및 검증기 (88) 각각은 아래에서 설명되는 것과 같이 상기 이미지 수정기 (80), 에지 검출기 (82), 얼굴 검출기 (84), 후보 로테이터 (86) 및 검증기 (88) 각각의 대응하는 기능들을 수행하도록 구성된 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구체화된 기기나 회로와 같은 어떤 수단 (예를 들면, 소프트웨어 제어 하에서 동작하는 프로세서 (70), 여기에서 설명된 동작들을 수행하도록 특별하게 구성된 ASIC이나 RPGA로서 구현된 프로세서 (70), 또는 그것들의 결합)일 수 있을 것이다.
예시적인 일 실시예에서, 상기 이미지 수정기 (80), 에지 검출기 (82), 얼굴 검출기 (84), 후보 로테이터 (86) 및 검증기 (88)의 어떤 것 또는 모두는 얼굴 검출 서비스들의 해당 부분들을 제공하기 위한 명령어들, 코드, 모듈들, 애플리케이션들 및/또는 회로를 포함할 수 있을 것이다. 그러나, 상기 이미지 수정기 (80), 에지 검출기 (82), 얼굴 검출기 (84), 후보 로테이터 (86) 및 검증기 (88)와 연관된 코드, 회로 및/또는 명령어들은 반드시 모듈로 될 필요는 없다는 것에 유의해야만 한다. 일부 실시예들에서, 상기 이미지 수정기 (80), 에지 검출기 (82), 얼굴 검출기 (84), 후보 로테이터 (86) 및 검증기 (88) 사이에서의 통신은 상기 프로세서 (70)를 경유하여 수행된다. 그러나, 다른 실시예들에서 상기 이미지 수정기 (80), 에지 검출기 (82), 얼굴 검출기 (84), 후보 로테이터 (86) 및 검증기 (88)는 대안으로 서로와 직접 통신하며 또는 서로 사이에 전혀 통신을 하지 않을 수 있을 것이다.
예시적인 일 실시예에서, 상기 이미지 수정기 (80)는 입력 이미지를 픽셀-레벨 데이터로부터 특징-레벨 데이터로 수정하여 상기 에지 검출기 (82)는 특징-레벨 데이터 상에서 에지 (edge) 검출을 수행할 수 있다. 상기 얼굴 검출기 (84)는 그러면 아래에서 설명되는 것처럼 탄성 얼굴 템플리트 (elastic face template)를 이용하여 얼굴 후보들을 검출하며, 이는 평면-내 (in-plane) 회전 (rotation)의 360도 범위에 걸쳐서 얼굴들을 탐지할 수 있을 것이다. 후보 얼굴들이 검출된 이후에, 상기 후보 로테이터 (86)는 상기 검출된 후보들을 수직으로 회전시킬 수 있을 것이며, 그 이후에 상기 검증기 (88)는 상기 후보들이 얼굴들에 대응하는가의 여부를 검증할 수 있을 것이다.
예시적인 일 실시예에서, 상기 이미지 수정기 (80)는 아래에서 설명되는 것과 같은 분석에서 사용되기 위한 이미지 데이터를 수신하기 위해서 미디어 캡쳐 모듈 (예를 들면, 도 11의 카메라 모듈 (37))과 통신하는 상태일 수 있을 것이다. 그러나, 대안의 실시예들에서, 상기 이미지 수정기 (80)는 저장 위치 (예를 들면, 상기 메모리 기기 (76)) 또는 다른 기기로부터 이미지들을 수신할 수 있을 것이다. 상기 이미지 수정기 (80)는 입력 이미지를 모자이크 하도록 구성될 수 있을 것이다. 이런 면에서, 몇몇 실시예들에서 상기 이미지 수정기 (80)는 상기 이미지 내의 픽셀-레벨 데이터를 특징-레벨 데이터로 변환하도록 구성된다.
도 2는 예시적인 일 실시예에 따라서 입력 이미지를 모자이크하는 일 예를 보여준다. 이런 점에서, 일 예로서, 상기 이미지 수정기 (80)는 상기 입력 이미지 (예를 들면, 원래의 이미지)로부터 다중의 스케일 모자이크 이미지들을 구축하도록 구성된다. 몇몇의 경우들에서, 2x2, 4x4, 6x6 및 8x8 모자이크 셀 크기들을 각각 언급하는 4개의 스케일들이 채택될 수 있을 것이다. 도 2에 도시된 것처럼, 각 모자이크 셀의 값들은 해당되는 정의된 셀 윈도우 내에 있는 입력 이미지들의 모든 픽셀들의 값들을 평균화함으로써 계산될 수 있을 것이다. 임의의 두 이웃하는 모자이크 셀들 사이에서의 강한 상관 (correlation)으로 인해서, 평균값들을 계산할 때에 상기 셀들 사이에서 특정 퍼센트가 겹치는 것을 고려하는 것이 바람직할 수 있을 것이다. 예를 들면, 도 2에서의 모자이크 셀들 A, B, C 및 D의 각각은 어떤 다른 것들과 다소 겹치는 부분들을 가질 수 있을 것이다 (예를 들면, 셀 A는 셀 B 및 셀 C 각각과 50% 겹치지만, 셀 D와는 단지 25%만 겹친다). 그러므로, 예시적인 일 실시예에 따라서, 상기 이미지 수정기 (80)를 이용하여 상기 이미지를 모자이크하는 것은 얼굴 세부 결들을 효과적으로 제거하며 그리고 더 큰 얼굴 특징들 (예를 들면, 눈들, 입 및 얼굴 경계들)을 강조하며, 이는 모자이크 이미지가 픽셀들 대신에 모자이크 셀들로 구성되기 때문이다.
상기 이미지 수정기 (80)에 의해서 생성된 다양한 스케일들을 포함하는 모자이크된 입력 이미지는 상기 에지 검출기 (82)로 전달된다. 몇몇 실시예들에서, 상기 에지 검출기 (82)는 에지 특징들을 검출하기 위해서 상기 상이한 모자이크 스케일 이미지들을 이진화하도록 구성된다. 그처럼, 예시적인 일 실시예에서, 상기 에지 검출기 (82)는 다중-스케일 및 다중-레벨 에지 특징 검출기로서 행동할 수 있을 것이다. 이런 면에서, 예를 들면, 4개 에지 검출기들이 0도, 45도, 90도 및 135도의 방위인 일 실시예에서 4개 에지 검출기들이 채택될 수 있을 것이다. 이런 방식으로 방위가 정해진 4개 에지 검출기들을 구비한 것은 넓은 범위의 방위에 걸쳐서 (예를 들면, 360도 걸쳐서) 정밀한 에지 검출을 제공할 수 있을 것이다. 도 3은 상기에서 설명된 것과 같은 방위인 4개의 에지 검출기들이 어떻게 평면-내 (in-plane) 회전들에 대한 완전한 범위 커버리지를 제공할 수 있는가의 일 예를 보여준다. 도 3의 예에서 보여지는 것처럼, 0도 방위의 에지 검출기는 약 337.5도부터 22.5도까지 그리고 약 157.5도부터 202.5도까지의 범위로부터의 얼굴들을 검출하기 위해서 채택된다. 45도 방위의 에지 검출기는 약 22.5도부터 67.5도까지 그리고 약 202.5도부터 247.5도까지의 범위로부터의 얼굴들을 검출하기 위해서 채택된다. 90도 방위의 에지 검출기는 약 67.5도부터 112.5도까지 그리고 약 247.5도부터 292.5도까지의 범위로부터의 얼굴들을 검출하기 위해서 채택된다. 마지막으로, 135도 방위의 에지 검출기는 약 112.5도부터 157.5도까지 그리고 약 292.5도부터 337.5도까지의 범위로부터의 얼굴들을 검출하기 위해서 채택된다. 그러나, 도 3의 상기 실시예는 상기 에지 검출기의 가능한 방위의 일 예일뿐이며 그리고 360도 범위를 커버하도록 구성된 다른 방위들이 대안으로 채택될 수 있을 것이라는 것에 유의해야만 한다.
일반적으로, 수직의 인간 얼굴들을 일 예로서 채택함으로써, 얼굴 위의 눈들 및 입은 낮은 해상도의 오목한 수평 특징들로서 존재할 수 있을 것이다. 따라서, 특징들을 추출하고 그리고 그것들을 상기 얼굴의 눈들 및 입의 예측된 패턴에 들어맞는 하나의 패턴으로 그룹으로 하려고 시도하는 것에 의해서 얼굴들을 검출하는 것이 가능할 수 있을 것이다. 그러므로, 이미지 내에 존재하는 특징들의 일부가 상기 예측된 패턴을 구비한 미리 정의된 얼굴의 구조에 부합하면 얼굴 영역이 식별될 수 있을 것이다. 실제의 상황들에서, 얼굴들은 몇몇 개수의 상이한 평면-내 회전들을 가질 수 있을 것이며, 이는 상기에서 설명된 프로세스를 복잡하게 할 수 있을 것이다. 따라서, 상기에서 설명된 것과 같이 다양한 상이한 방위들에서 에지 검출기들을 채택하는 것은 모든 가능한 평면-내 회전 각도들에 대한 커버리지를 제공할 수 있을 것이다. 상기의 예에서, 각 에지 검출기는 서로 각각으로부터 180도의 방위인 두 개의 45도 폭들을 커버하도록 구성된다. 따라서, ML개의 이진화 레벨들이 존재하면 4*ML개의 에지 특징 맵들을 생성하는 것이 가능할 수 있을 것이다. 상기 에지 특징들이 다중 스케일들의 에지들을 결합하는 결과로서 결정되기 때문에, 각 에지 특징들은 분석되고 있는 특징 오브젝트의 방향과 모습을 대략적으로 반영할 수 있을 것이다.
도 4는 일 실시예에서 상기 이미지 수정기 (80) 그리고 상기 에지 검출기의 결합된 동작들을 예시하는 블록도를 보여준다. 이런 면에서, 입력 이미지 (100)는 상기 이미지 수정기 (80)에 의해서 모자이크되어 다양한 상이한 모자이크된 이미지 스케일들을 생성할 수 있을 것이다. 예를 들면, 상기 이미지 수정기 (80)는 참조번호 102에서 보여진 것과 같이 스케일 1로, 참조번호 104에서 보여진 것과 같이 스케일 2로, 그리고 참조번호 106에서 보여진 것과 같이 스케일 n으로 임의 개수의 추가적인 스케일로 스케일 다운되어 상기 이미지들을 모자이크할 수 있을 것이다. 그러면 참조번호 108의 동작에서 상기 에지 검출기 (82)에 의해서 문턱값 TH가 설립될 수 있을 것이다. 참조번호 110의 동작에서, 스케일 1로 모자이크된 상기 이미지를 상기 문턱값 TH와 비교한 것을 기반으로 하여 방향성 (directional) 에지들이 추출될 수 있을 것이다. 참조번호 112 및 114의 동작들 각각에서, 각 해당 스케일 (예를 들면, 2 그리고 n)에 대한 문턱값 TH를 기반으로 하여 방향성 에지들이 추출될 수 있을 것이다. 상기 에지 검출기 (82)는 몇몇의 경우들에서 방향성 에지 동작기들에 의해서 필터링된 모든 모자이크 이미지들을 (예를 들면, 0-255 그레이스케일들을 경유하여) 각각 또한 이진화하여 대응하는 (예를 들면, 0도 에지 검출기, 45도 에지 검출기, 90도 에지 검출기 및 135도 에지 검출기에 대응하는) 이진 에지 맵들 을 얻는다. 몇몇 실시예들에서, 이진화는 상이한 스케일들에 대해서 상이한 레벨들 을 위해서 세팅될 수 있을 것이다 (예를 들면, 20, 40 및 60과 같은 그레이스케일 값들). 각 스케일에 대응하는 출력은 그러면 논리적인 OR 연산 (116)을 이용하여 처리되어 동작 (118)에서 문턱값 TH 레벨에서 방향성 에지 특징 맵을 제공한다. 그처럼, 예를 들면, 상기 에지 특징 맵들은 동일한 이진화 레벨에서 상이한 스케일들의 모든 대응 에지 맵들을 결합함으로써 생성될 수 있을 것이다. 방향성 에지 특징 맵들은 그러므로 동일한 레벨에서 대응하는 방향성 에지 이미지들에 의해서 OR 연산 (116)을 통해서 생성될 수 있을 것이다.
도 5a는 본 발명의 일 실시예로 원래의 이미지로서 입력될 수 있을 이미지의 일 예를 보여준다. 도 5b는 그레이스케일 이진화 레벨 60에서 상기 원래의 이미지의 0도 방향성 에지 특징 맵의 일 예를 예시한다. 도 5c는 (예를 들면, 상기 얼굴 검출기 (84)에 의한) 얼굴 검출 결과의 일 예를 보여주며, 이는 아래에서 더욱 상세하게 설명될 것이다.
예시적인 일 실시예에서, 상기 얼굴 검출기 (84)는 템플리트 기반의 얼굴 인식 메커니즘을 채택하도록 구성된다. 몇몇의 예들에서, 상기 얼굴 검출기 (84)는 탄성 (elastic) 또는 유연성 (flexible) 얼굴 검출 프로세스를 적용하는 것으로 고려될 수 있을 것이다. 이런 면에서, 예를 들면, 탄성 얼굴 템플리트는 상기 에지 검출기 (82)에 의해서 제공되는 방향성 에지 특징 맵들 상에서 얼굴 후보들을 탐지하도록 정의될 수 있을 것이다. 상기 탄성 얼굴 템플리트는 인간 얼굴의 특정 구조를 기반으로 정의된다. 예를 들면, 인간 얼굴의 눈들과 입은 (눈들 두 개 모두가 보일 때에) 도 5c에서 보이는 것과 같이 삼각형을 형성한다. (도 6a 및 6b를 포함하는) 도 6은 예시적인 일 실시예에 따른 탄성 얼굴 템플리트의 일 예를 보여준다. 도 6a는 일 예에 따른 탄성 템플리트를 형성하는 다섯 개의 부분들 또는 블록들을 보여준다. 상기 다섯 개의 블록들은 각각 상단 얼굴 블록 (1), 콧구멍 블록 (2), 입술 상단 블록 (3) 그리고 왼쪽 뺨 블록 (4) 및 오른쪽 뺨 블록 (5)을 포함할 수 있을 것이다. 그러므로, 탄성 템플리트의 블록들은 눈들의 쌍의 초기 검출을 기반으로 하여 얼굴 후보 상에 코와 입의 위치를 정하는 것을 도울 수 있을 것이다. 상기 탄성 템플리트는 유연성 또는 탄성인 것으로 고려되며, 상기 템플리트의 폭 (W) 그리고 높이 (H)는 고정되지 않는다. 대신에, 상기 템플리트의 폭 (W)은 탐지된 눈들의 쌍에서 상기 눈들 사이의 거리에 의해서 결정될 수 있을 것이다. 상기 높이 (H)는 입 (또는 가능한 입) 그리고 눈들의 쌍을 연결하는 라인 사이의 거리를 기반으로 하여 결정될 수 있을 것이다. 도 6b는 눈들의 쌍과 입에 적용된 탄성 템플리트를 보여주며, 그 경우에 상기 눈들의 쌍은 평면-내 회전 (in-plane rotation)에서 θ도를 가진다.
예시적인 일 실시예에서, 상기 얼굴 검출기 (84)는 눈들의 쌍을 우선 찾도록 구성된다. 눈들의 쌍 위치를 정한 후에, 이 예에 따른 상기 얼굴 검출기 (84)는 위치가 정해진 눈들의 쌍 (또는 잠재적인 눈들의 쌍)에 탄성 템플리트를 적용함으로써 얼굴 후보를 결정하기 위해서 시도하도록 구성된다. 이런 면에서, 예를 들면, 눈들의 상기 쌍 위치를 정한 이후에, 상기 얼굴 검출기 (84)는 상기 눈들 사이의 거리를 기반으로 하여 탄성 얼굴 템플리트의 폭을 결정할 수 있을 것이다. 눈들 서로에 관련하여 상기 눈들의 방위는 평면-내 회전 각도 (예를 들면, 도 6b에서 θ)를 나타내며 그리고 상기 얼굴 검출기 (84)에 의해서 또한 결정될 수 있을 것이다. 이런 면에서, 예를 들면, 상기 탄성 템플리트는 상기 탄성 템플리트의 제일 윗면이 상기 눈들 사이의 연결 라인에 정렬되는 것을 보장하도록 회전될 수 있을 것이다. 추가로, 왼쪽 눈의 중심과 오른쪽 눈의 중심 각각은 상기 탄성 템플리트의 상단-왼쪽 및 상단-오른쪽 코너 각각에 위치할 수 있을 것이다 (회전된 탄성 템플리트의 일 예에 대해서 도 6b를 참조). 그러나, 몇몇의 경우들에서, 검출 실행은 상기 결정된 눈 쌍의 경사 각도 (θ)를 포함하는 범위를 구비한 방향성 에지 특징 맵들을 활용함으로써 개선될 수 있을 것이다. 이런 면에서, 예를 들면:
1) -22.5° < θ < 22.5° (0° < θ < 22.5° 또는 337.5° < θ < 360°) 또는 157.5° < θ < 202.5°이면, 얼굴 검출은 0° 방향성 에지 특징 맵들 상으로 접근한다;
2) 22.5° < θ < 67.5° 또는 202.5° < θ < 247.5°일 때에, 얼굴 검출은 45° 방향성 에지 특징 맵들 상으로 접근한다;
3) 67.5° < θ < 112.5° 또는 247.5° < θ < 292.5°일 때에, 얼굴 검출은 90°방향성 에지 특징 맵들 상으로 접근한다; 그리고
4) 112.5° < θ <157.5° 또는 292.5° < θ < 337.5°일 때에, 얼굴 검출은 -45° 방향성 에지 특징 맵들 상으로 접근한다.
상기 에지 검출기 (82)로부터 제공된 에지 특징 맵들 중의 해당되는 하나의 맵을 통한 상기 얼굴 검출기 (84)의 동작은, 가능한 평면-내 회전 각도들의 전체 360도 범위에 걸쳐서 상기 얼굴 검출기 (84)가 모든 얼굴 후보들을 검출하는 것을 가능하게 한다. 또한, 눈의 쌍의 평면-내 회전 각도를 커버하는 범위에 대응하는 에지 특징 맵에 걸친 상기 얼굴 검출기 (84)의 동작은 몇몇의 경우들에서 개선된 성능을 제공한다.
상기 얼굴 검출기 (84)는 얼굴 후보 위치를 정하면서도 상기 탄성 템플리트의 높이 (H)를 결정하도록 또한 구성될 수 있을 것이다. 이런 면에서, 예를 들면, 상기 1, 2, 3, 4 및 5의 탄성 템플리트의 영역들에 각각에 포함된 Nl, N2, N3, N4, 그리고 N5 에지 특징들이 존재한다고 가정하면, 다음의 조건들이 충족된다면 얼굴 영역이 확인될 수 있다:
(1)
Figure 112011050904374-pct00001
그리고
(2) Nl<2 그리고 N2<3 그리고 N3=N4=N5=0.
상기 얼굴 검출기 (84)는, 상기 얼굴 검출기 (84)가 탄성 템플리트를 구비한 방향성 에지 특징 맵들 상의 360° 범위에 걸쳐서 직접적으로 얼굴들을 검출할 수 있을 것이라는 이점을 제시할 수 있을 것이다.
상기에서 표시된 것처럼, 도 5c는 예시적인 일 실시예의 얼굴 검출기 (84)를 활용하는 얼굴 검출 결과들의 일 예를 보여준다. 얼굴 검출이 상기 에지 검출기 (82)로부터의 방향성 에지 특징 맵들 상에서 처리되기 때문에, 그리고 결부된 에지 특징들의 개수가 상대적으로 제한되기 때문에, 프로세싱은 원래의 이미지 픽셀들의 개수보다 아주 더 작은 것에 결부될 수 있을 것이며 그래서 검출 속도는 증가될 수 있을 것이다. 이런 개선에도 불구하고, 상기 에지 특징 맵들이 몇몇의 경우들에서는 상기 원래의 이미지의 결 (texture)의 상세한 내용이 없이 이미지 구조 정보만을 가질 것이기 때문에, 얼굴 오류 알람들이 몇몇의 예들에서 경험될 수 있을 것이라는 것이 가능하다. 따라서, 상기 검증기 (88)는 데이터를 스크린하고 그리고 오류의 검출들을 감소시키기 위해서 사용될 수 있을 것이다.
상기 검증기 (88)는 가능한 검출이 얼굴 검출에 실제로 상관되는 것으로 간주될 것인가의 여부를 검증하기 위해서 검증 동작을 수행하도록 구성될 수 있을 것이다. 예시적인 일 실시예에서, 상기 검증기 (88)는 검증의 목적들을 위해서 에이다부스트 (Adaboost) 기술을 채택할 수 있을 것이다. 그러나, 에이다부스트는 상기 검증기 (88)의 특별한 구현의 일 예일 뿐이며 그리고 다른 메커니즘들이 대안으로 채택될 수 있을 것이다. 에이다부스트 (Adaboost; adaptive boost)는 성능을 개선하기 위해서 다른 학습 메커니즘들과 결합하여 활용될 수 있을 기계 학습 알고리즘 (예를 들면, 상기에서 설명된 이미지 수정기 (80), 에지 검출기 (82) 및 얼굴 검출기 (84)에 의해서 수행되는 얼굴 검출 알고리즘)이다.
본 발명의 실시예들은 몇몇 경우들에서 상기 검증기 (88)를 수정하여 에이다부스트에 관련한 특징 공간을 위한 새로운 정의를 제공할 수 있을 것이다. 이런 점에서, 예를 들면, 에이다부스트의 실시간 계산은 단순한 특징 구조들 그리고 전체 이미지의 이용으로부터 올 수 있을 것이다. 보통은 에이다부스트는 4가지 종류의 정의된 haar-유형 특징들과 결합하여 사용될 수 있을 것이며, 상기 haar-유형 특징들의 값들은 전체 이미지들을 이용하여 빠르게 계산될 수 있다. 본 발명의 몇몇 실시예들은 이를 확장하여 7개 유형의 특징들을 정의한다 (이는 도 7에서의 예로서 도시된다). 이렇게 확장된 특징들은 본질적인 얼굴 구조들을 부호화하기 위해서 더욱 유연한 선택들을 제공하는 것을 가능하게 할 수 있을 것이며, 그래서 미리 정의된 실행을 위해서 필요한 더 약한 분류자들이 존재할 수 있을 것이다. 추가로, 실행을 일반화하는 것이 또한 제공될 수 있을 것이며, 이는 존재하는 특징들이 단순한 구조들을 또한 구비할 수 있을 것이기 때문이다.
본 발명의 실시예들은 몇몇의 경우들에서 부트스트랩핑에 있어서 벌칙 방식을 또한 도입할 수 있을 것이다. 에이다부스트 캐스케이드 트레이닝 (cascade training)은 다음의 캐스케이드를 위해서 새로운 양 (positive)의 샘플과 음 (negative)의 샘플을 수집하기 위해서 부트스트랩핑 (bootstrapping)을 이용할 수 있을 것이다. 한편, 본 발명의 몇몇의 실시예들은 부트스트랩핑에 벌칙 계수 (punishment coefficient)를 도입한다. 이런 점에서, 예를 들면, 이미지 패치 x가 주어지면 (예를 들면, 음의 샘플, 그것이 이전의 그리고 현재의 캐스케이스를 통해서 지나간 후에), 상기 이미지 패치의 출력 점수는 C(x)일 수 있다. 상기 점수가 주어진 문턱값보다 더 크면 (C(x)>a), 상기 이미지 패치는 새로운 트레이닝 샘플인 것으로 결정될 수 있을 것이다. 그러나, 도 8a에 도시된 것처럼, 몇몇의 양의 샘플 그리고 음의 샘플이 캐스케이드 마진 (150)에 매우 근접하면, 이미지 노이즈들을 고려하면 분류는 신뢰할 수 없을 것이다. 이런 신뢰성이 없는 문제를 해결하기 위해서, a0가 양의 상수, 즉, 벌칙 계수일 때에 (a-aO)보다는 더 크지만 a 보다는 더 작은 출력값들을 구비한 더 많은 샘플들이 누설되도록 하기 위해, (도 8b에서의 경계 (152)에 의해서 표시된 것과 같은) 경계가 느슨해질 수 있을 것이다. 이 전략을 이용하여, 낮은 신뢰성을 가진 음의 샘플들은 더욱 신뢰성있는 실행을 보장하기 위해서 다음의 캐스케이드를 위해서 다시 트레이닝될 수 있을 것이다. 예시적인 일 실시예에서, a0는 0.001로 세팅될 수 있을 것이며, 이 경우 a는 FAR (오류 수락 레이트; false acceptance rate) 및 FRR (오류 거부 레이트; false rejection rate)에 의해서 정의되며, FAR 및 FRR 각각은 대응하는 캐스케이드에서 0.001로 또한 세팅될 수 있을 것이다.
예시적인 일 실시예에서, 상기 검증기 (88)는 후보 로테이터 (86)를 포함하거나 또는 상기 후보 로테이터 (86)에 의해서 선행될 수 있을 것이며, 상기 후보 로테이터는 각 후보를 평면-내 회전 각도를 기반으로 하여 수직으로 회전시키도록 구성될 수 있을 것이다. 상기 수직으로 회전되는 후보는 그러면 추가의 검증을 위해서 상기 검증기 (88)에 의해서 (예를 들면, 상기에서 설명된 것과 같이 수정된 에이다부스트 검증기에 의해서) 동작이 시작될 수 있을 것이다. 몇몇의 실시예들에서, -45도, 0도, +45도 평면 외 (out-of-plane) 회전 각도들의 경우들을 각각 검증하기 위해서 3개의 검증기들이 활용될 수 있을 것이다. 어떤 얼굴 후보가 상기 검증기들 중의 하나를 통과할 수 있으면, 그 후보 얼굴은 출력을 위한 실제의 얼굴인 것으로 간주될 수 있을 것이다. 한편, 그 얼굴의 방향 (예를 들면, 평면-내 그리고 평면 외 회전 각도들) 역시 등록될 수 있을 것이다.
도 9는 본 발명의 일 실시예에 따라서 수행된 동작들의 블록도를 보여준다. 이런 점에서, 예를 들면, 참조번호 200의 동작에서, 입력 이미지는 이미지 수정기 (80)에 의해서 다운스케일되고 그리고 다중-스케일로 모자이크된다. 상기 에지 검출기 (82)는 그러면 참조번호 202에서 방향성 에지 특징 검출을 수행할 수 있을 것이다. 참조번호 204 동작에서, 상기 얼굴 검출기 (84)는 템플리트 기반의 360도 범위 얼굴 검출을 수행할 수 있을 것이다. 참조번호 206의 동작에서, 상기 후보 로테이터 (86)는 얼굴 후보들을 수직으로 회전시킬 수 있을 것이다. 상기 검증기 (88)는 그러면 참조번호 208의 동작에서 얼굴 출력을 생성하기 위해서 후보 얼굴들을 검증하기 위해, 예를 들면, 개선된 에이다부스트를 활용할 수 있을 것이다.
따라서, 본 발명의 몇몇 실시예들은 픽셀-레벨 대신에 특징-레벨 상에서 얼굴 검출을 제공한다. 따라서, 탐지 속도가 증가될 수 있을 것이다. 몇몇의 경우들에서, 얼굴 스케일들은 시간에 앞서서 세팅될 필요는 없다. 대신에, 얼굴 스케일들은 에지 특징 맵들로부터 탐지된 입 그리고 눈의 쌍들로부터 자동적으로 계산될 수 있다. 일단 얼굴이 검출되면, 그 얼굴 위의 두 눈들은 정확하게 위치가 정해질 수 있다. 본 발명의 몇몇 실시예들은 4개 그룹의 에지 특징 맵들 (예를 들면, 0도, 45도, 90도 및 135도)의 이점을 취함으로써 360도 평면-내 얼굴 검출 달성을 또한 제공한다. 또한, 상기 검증기 (88)를 채택하는 몇몇 실시예들은 감소된 오류 알람을 제공한다.
상기에서 표시된 것처럼, 본 발명의 몇몇의 실시예들은 모바일 기기 또는 고정된 기기 상에서 실행될 수 있을 것이다. 본 발명의 실시예들이 활용될 수 있을 모바일 기기의 일 예가 도 10에 도시된다. 이런 면에서, 도 10은 본 발명의 예시적인 실시예들로부터 이득을 얻을 수 있을 모바일 단말 (10)의 블록도를 예시한다. 그러나, 예시된 그리고 아래에서 설명되는 것과 같은 모바일 단말은 본 발명의 몇몇의 실시예들로부터 이득을 얻을 수 있을 모바일 단말의 하나의 유형을 나타낼 뿐이며, 그러므로, 본 발명의 실시예들의 범위를 한정하는 것으로 받아들여져서는 안된다는 것을 이해하여야만 한다. 휴대용 디지털 보조기들 (PAD), 페이저들, 모바일 텔레비전들, 게이밍 기기들, 모든 유형의 컴퓨터들 (예를 들면, 랩탑 또는 모바일 컴퓨터들), 카메라들, 오디오/비디오 플레이어들, 라디오, 글로벌 위치 확인 시스템 (GPS) 기기들, 또는 전술한 것들의 임의 결합과 같은 여러 유형의 모바일 단말들 그리고 다른 유형의 통신 시스템들은 본 발명의 실시예들을 쉽게 채택할 수 있다.
예시적인 일 실시예에서, 모바일 단말 (10)은 전송기 (14) 그리고 수신기 (16)와 통신할 수 있는 안테나 (12) (또는 다중 안테나들)를 포함한다. 상기 모바일 단말 (10)은 전송기 (14)에 신호들을 제공하고 그리고 수신기 (16)로부터 신호들을 수신하는 제어기 (20) (예를 들면, 프로세서 (70)) 또는 다른 프로세싱 엘리먼트와 같은 장치를 더 포함할 수 있을 것이다. 상기 신호들은, 몇몇의 경우들에서는, 적용 가능한 셀룰러 시스템의 공중 인터페이스 표준에 따라 정보를 시그날링하는 것을 포함하며, 그리고/또는 음성, 수신 데이터 및/또는 사용자 생성/전송 데이터에 대응하는 데이터를 또한 포함할 수 있을 것이다. 이런 점에서, 예를 들면, 상기 모바일 단말 (10)은 하나 또는 그 이상의 공중 인터페이스 표준들, 통신 프로토콜들, 변조 유형들 및 액세스 유형들과 함께 동작할 수 있을 것이다. 예를 들면, 상기 모바일 단말 (10)은 임의 개수의 1세대, 2세대, 3세대 및/또는 4세대 통신 프로토콜들이나 유사한 것에 따라서 동작할 수 있을 것이다. 예를 들면, 상기 모바일 단말 (10)은 2세대 (2G) 무선 통신 프로토콜들 IS-136 (시분할 다중 액세스 (time division multiple access (TDMA))), GSM (global system for mobile communication), 그리고 IS-95 (부호 분할 다중 액세스 (code division multiple access (CDMA)))에 따라서, 또는 범용 모바일 원거리통신 시스템 (Universal Mobile Telecommunications System (UMTS)), CDMA2000, 광대역 CDMA (wideband CDMA (WCDMA)) 그리고 시분할-동기식 CDMA (ime division-synchronous CDMA (TD-SCDMA))와 같은 3세대 (3G) 무선 통신 프로토콜들에 따라서, E-UTRAN (evolved- universal terrestrial radio access network)과 같은 3.9G 무선 통신 프로토콜에 따라서, 4세대 (4G) 무선 통신 프로토콜들이나 유사한 것에 따라서 동작할 수 있을 것이다. 대안으로서 (또는 추가로), 상기 모바일 단말 (10)은 비-셀룰러 통신 메커니즘들에 따라서 동작할 수 있을 것이다. 예를 들면, 상기 모바일 단말 (10)은 무선 로컬 영역 네트워크 (WLAN) 또는 다른 통신 네트워크들에서 통신할 수 있을 것이다.
예시적인 일 실시예에서, 제어기 (20)는, 다른 것들 중에서, 상기 모바일 단말 (10)의 오디오/비디오 및 로직 기능들을 구현하기 위한 회로를 포함한다. 예를 들면, 상기 제어기 (20)는 디지털 시그날 프로세서 기기, 마이크로프로세서 기기 및 다양한 아날로그-디지털 변환기들, 디지털-아날로그 변환기들, 및/또는 다른 지원 회로들을 포함할 수 있을 것이다. 상기 모바일 단말 (10)의 제어 및 시그날 프로세싱 기능들은 이런 기기들 각자의 기능들에 따라 이 기기들 사이에 할당될 수 있을 것이다. 상기 제어기 (20)는 그래서 메시지와 데이터를 변조하고 전송하기 이전에 부호화하고 인터리브하기 위한 기능을 또한 포함할 수 있을 것이다. 상기 제어기 (20)는 내부 보이스 코더를 추가로 포함할 수 있을 것이며, 그리고 내부 데이터 모뎀을 포함할 수 있을 것이다. 몇몇의 경우들에서, 상기 제어기 (20)는, 메모리에 저장될 수 있을 하나 또는 그 이상의 소프트웨어 프로그램들을 동작시키기 위한 기능을 또한 포함한다. 예를 들면, 상기 제어기 (20)는 통상적인 웹 브라우저와 같은 접속 프로그램을 동작시킬 수 있을 것이다. 상기 접속 프로그램은 그러면 상기 모바일 단말 (10)이 위치-기반 콘텐트 및/또는 다른 웹 페이지 콘텐트와 같은 웹 콘텐트를, 예를 들면, 무선 애플리케이션 프로토콜 (Wireless Application Protocol (WAP)), 하이퍼텍스트 전송 프로토콜 (Hypertext Transfer Protocol (HTTP)) 및/또는 유사한 것에 따라서 전송하고 수신하도록 할 수 있을 것이다.
상기 모바일 단말 (10)은 이어폰이나 스피커 (24), 마이크로폰 (26), 디스플레이 (28)와 같은 출력 기기 및 사용자 입력 인터페이스를 포함하는 사용자 인터페이스를 또한 포함할 수 있을 것이며, 이들은 상기 제어기 (20)와 결합하여 동작할 수 있을 것이다. 상기 모바일 단말 (10)이 데이터를 수신하도록 하는 사용자 입력 인터페이스는 상기 모바일 단말 (10)이 키패드 (30), 터치 디스플레이 (도시되지 않음) 또는 다른 입력 기기와 같이 데이터를 수신하도록 하는 임의 개수의 기기들을 포함할 수 있을 것이다. 상기 키패드 (30)을 포함하는 실시예들에서, 상기 키패드 (30)는 뉴메릭 키들 (0-9) 그리고 관련된 키들 (#, *), 그리고 상기 모바일 단말 (10)을 동작시키기 위해서 사용된 다른 하드 키들 및 소프트 키들을 포함할 수 있을 것이다. 대안으로, 몇몇의 실시예들에서, 상기 키패드 (30)는 QWERTY 키패드 배열을 포함한다. 상기 키패드 (30)는 연관된 기능들을 구비한 다양한 소프트 키들을 또한 포함할 수 있을 것이다. 추가로, 또는 대안으로, 상기 모바일 단말 (10)은 조이스틱이나 다른 사용자 입력 인터페이스와 같은 인터페이스 기기를 포함할 수 있을 것이다. 상기 모바일 단말 (10)은 상기 모바일 단말 (10)을 동작시키기 위해서 사용되는 다양한 회로들에 전력을 공급하고 그리고 탐지 가능한 출력으로서 기계적인 진동을 옵션으로 제공하기 위한 진동 배터리 팩과 같은 배터리 (134)를 또한 포함한다.
몇몇의 실시예들에서, 상기 모바일 단말 (10)은 사용자 신원 모듈 (user identity module (UIM)) (38)을 또한 포함한다. 상기 UIM (38)은 내장된 프로세서를 구비한 메모리 기기인 것이 보통이다. 상기 UIM (38)은, 예를 들면, 가입자 신원 모듈 (subscriber identity module (SIM)), 범용 집적 회로 카드 (universal integrated circuit card (UICC)), 범용 가입자 신원 모듈 (universal subscriber identity module (USIM)), 탈부착 가능한 사용자 신원 모듈 (removable user identity module (R-UlM)) 등을 포함할 수 있을 것이다. 몇몇 경우들에서, 상기 UIM (38)은 모바일 가입자에 관련된 정보 엘리먼트들을 저장한다. 상기 UIM (38)에 추가로, 상기 모바일 단말 (10)에는 메모리가 장착될 수 있을 것이다. 상기 모바일 단말 (10)은 휘발성 메모리 (40) 및/또는 비-휘발성 메모리 (42)를 포함할 수 있을 것이다. 예를 들면, 휘발성 메모리 (40)는 동적 및/또는 정적 RAM, 온-칩 또는 오프-칩 캐시 메모리 및/또는 유사한 것을 포함하는 랜덤 액세스 메모리 (RAM)을 포함할 수 있을 것이다. 내장될 수 있고 그리고/또는 탈부착 가능할 수도 있을 비-휘발성 메모리 (142)는, 예를 들면, 읽기-전용 메모리, 플래시 메모리, 자기 저장 기기들 (에를 들면, 하드 디스크들, 플로피 디스크 드라이브들, 자기 테이프 등), 광학 디스크 드라이브 및/또는 매체, 비-휘발성 랜덤 액세스 메모리 (NVRAM) 및/또는 유사한 것을 포함할 수 있을 것이다. 휘발성 메모리 (40)와 유사하게, 비-휘발성 메모리 (42)는 데이터의 임시 저장을 위한 캐시 영역을 포함할 수 있을 것이다. 상기 메모리들은 상기 모바일 단말 (10)의 기능들을 구현하기 위해서 상기 모바일 단말 (10)에 의해서 사용되는 정보 및 데이터의 임의 개수의 조각들을 저장할 수 있다. 예를 들면, 상기 메모리들은 상기 모바일 단말 (10)을 유일하게 식별할 수 있는 인터내셔널 모바일 장비 식별 (international mobile equipment identification (IMEI)) 코드와 같은 식별자를 포함할 수 있다. 또한, 상기 메모리들은 셀 id 정보를 결정하기 위한 명령어들을 저장할 수 있을 것이다. 특히, 상기 메모리들은 상기 제어기 (20)에 의한 실행을 위해서 애플리케이션 프로그램을 저장할 수 있을 것이며, 상기 제어기 (20)는 상기 모바일 단말 (10)이 통신하고 있는 현재 셀의 신원, 즉, 셀 id 신원 또는 셀 id 정보를 판별한다.
예시적인 일 실시예에서, 상기 모바일 단말 (10)은 상기 제어기 (20)와 통신하는, 카메라, 비디오 및/또는 오디오 모듈과 같은 미디어 캡처링 모듈을 포함할 수 있을 것이다. 상기 미디어 캡처링 모듈은 저장, 디스플레이 또는 전송을 위해서 이미지, 비디오 및/또는 오디오를 캡처하기 위한 임의 수단일 수 있다. 예를 들면, 상기 미디어 캡처링 모듈이 카메라 모듈 (37)인 예시적인 일 실시예에서, 상기 카메라 모듈 (37)은 캡처된 이미지로부터 디지털 이미지 파일을 형성할 수 있는 디지털 카메라를 포함할 수 있을 것이다. 그처럼, 상기 카메라 모듈 (37)은 캡처된 이미지로부터 디지털 이미지 파일을 생성하기 위해서 필요한 렌즈나 다른 광학 기기와 같은 모든 하드웨어와 소프트웨어를 포함할 수 있을 것이다.
도 11은 본 발명의 몇몇 예시적인 실시예들에 따른 시스템, 방법 및 프로그램 제품의 흐름도이다. 상기 흐름도의 각 블록이나 단계 그리고 상기 흐름도의 블록들의 조합들이 하나 또는 그 이상의 컴퓨터 프로그램 명령어들을 포함하는 하드웨어, 펌웨어 및/또는 소프트웨어와 같은 다양한 수단에 의해서 구현될 수 있다는 것이 이해될 것이다. 예를 들면, 상기에서 설명된 하나 또는 그 이상의 절차들은 컴퓨터 프로그램 명령어들에 의해서 구체화될 수 있을 것이다. 이런 점에서, 상기에서 설명된 상기 절차들을 구체화하는 상기 컴퓨터 프로그램 명령어들은 본 발명의 실시예들을 채택하는 모바일 단말이나 다른 장치의 메모리 기기에 의해서 저장되며 그리고 상기 모바일 단말이나 다른 장치의 프로세서에 의해서 실행될 수 있을 것이다. 이해될 것처럼, 어떤 그런 컴퓨터 프로그램 명령어들은 컴퓨터 또는 다른 프로그램 가능한 장치 (즉, 하드웨어) 상으로 로딩되어 기계를 생성할 수 있을 것이며, 그래서 (예를 들면, 프로세서를 경유하여) 컴퓨터나 다른 프로그램 가능한 장치 상에서 실행하는 상기 명령어들은 상기 흐름도 블록(들) 또는 단계(들)에서 규정된 기능들을 구현하기 위한 수단을 생성하도록 한다. 이런 컴퓨터 프로그램 명령어들은 컴퓨터 (예를 들면, 상기 프로세서나 다른 컴퓨팅 기기)나 다른 프로그램 가능한 장치가 특별한 방식으로 기능하도록 지시하는 컴퓨터-독출 가능 메모리에 또한 저장될 수 있을 것이며, 그래서 상기 컴퓨터 독출-가능 메모리에 저장된 명령어들이 상기 흐름도 블록(들)이나 단계(들)에서 규정된 기능을 구현하는 명령어들을 포함하는 제품을 생산하도록 한다. 상기 컴퓨터 프로그램 명령어들은 컴퓨터나 다른 프로그램 가능한 장치 상으로 또한 로딩되어서 컴퓨터나 다른 프로그램 가능한 장치 상에서 수행될 일련의 동작 단계들이 컴퓨터로 구현된 프로세스를 생성하도록 할 수 있을 것이며, 그래서 상기 컴퓨터나 다른 프로그램 가능한 장치 상에서 실행되는 상기 명령어들이 상기 흐름도 블록(들)이나 단계(들)에서 규정된 기능들을 구현하기 위한 단계들을 제공하도록 한다.
따라서, 상기 흐름도의 블록들이나 단계들은 상기 규정된 기능들을 수행하기 위한 수단들의 결합들, 상기 규정된 기능들을 수행하기 위한 단계들의 결합들 그리고 상기 규정된 기능들을 수행하기 위한 프로그램 명령어 수단을 지원한다. 상기 흐름도의 하나 또는 그 이상의 블록들이나 단계들 그리고 상기 흐름도의 블록들이나 단계들의 결합들이 상기 규정된 기능들이나 단계들을 수행하는 특수 목적 하드웨어-기반의 컴퓨터 시스템들 또는 특수 목적 하드웨어와 컴퓨터 명령어들의 결합들에 의해서 구현될 수 있다는 것이 또한 이해될 것이다.
이런 면에서, 예를 들면, 도 11에서 도시된 것과 같은 방위 독립적인 얼굴 검출을 제공하는 방법의 일 실시예는, 참조번호 300의 동작에서, 입력 이미지에서 다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 상기 입력 이미지로부터 생성하는 것을 포함할 수 있을 것이다. 상기 방법은, 참조번호 310의 동작에서, 상이한 방위의 복수의 에지 검출기들을 채택하는 것을 또한 포함해서, 상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하며, 그리고, 참조번호 320의 동작에서, 상이한 방향의 에지 검출기들에 의해서 생성된 각각의 특징 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출 수행하는 것을 또한 포함할 수 있을 것이다.
몇몇 실시예들에서, 상기 방법은 옵션의 동작들을 더 포함할 수 있을 것이며, 상기 동작들의 몇몇의 예들은 도 11에서 점선들 내에 보여진다. 옵션 동작들은 다양한 대안의 실시예들에서 어떤 순서로도 그리고/또는 서로와 결합하여 수행될 수 있을 것이다. 그처럼, 상기 방법은 참조번호 340 동작에서 후보 얼굴을 수직 방위로 회전시키는 동작 그리고/또는 참조번호 350의 동작에서 얼굴 검출에 의해서 검출된 후보 얼굴의 검증을 수행하는 동작을 또한 포함할 수 있을 것이다.
몇몇의 실시예들에서, 상기 동작들 중의 특정의 하나는 아래에서 설명되는 것처럼 수정되거나 또는 추가로 확대될 수 있을 것이다. 아래에서의 수정들 또는 확확대들의 각각은 여기에서 설명된 특징들 중의 단독의 특징과 함께 또는 그 특징들 중의 어떤 다른 것들과 결합하여 포함될 수 있을 것이라는 것을 이해하여야만 한다. 이런 면에서, 예를 들면, 상기 검증을 수행하는 것은 4개 종류의 haar-유형 특징들 이상을 포함한 에이다부스트 검증을 채택하는 것 그리고/또는 캐스케이드 마진 (cascade margin)에 근사한 샘플들에 적용된 벌칙 계수 (punishment coefficient)를 구비한 부트스트랩핑을 채택하는 것을 포함할 수 있을 것이다. 몇몇 경우들에서, 복수의 상이한 방위의 에지 검출기들을 채택하는 것은 각 에지 검출기와 적어도 하나의 다른 에지 검출기 사이에 동일한 양 (amounts)의 각도 간격을 가지는 방위이며 그리고 동일 크기의 각각의 너비들에서 후보 얼굴들에 대한 가능한 평면-내 (in-plane) 회전 각도들의 360도를 커버하는 방위인 에지 검출기들을 활용하는 것을 포함할 수 있을 것이다. 예시적인 일 실시예에서, 얼굴 검출을 수행하는 것은, 각 특징 맵들 내의 데이터에 탄성 얼굴 템플리트를 채택하는 것을 포함하여 상기 탄성 얼굴 템플리트에 부합하는 후보 얼굴의 특징들을 기반으로 해서 후보 얼굴을 검출하도록 하며 그리고/또는 상기 얼굴 검출을 수행하는 것은 검출된 눈의 쌍의 눈 들 사이의 거리에 대응하는 폭 그리고 검출된 눈의 쌍을 연결하는 라인과 후보 얼굴의 잠재적인 입 사이의 거리에 대응하는 높이를 구비하는 탄성 얼굴 템플리트를 채택하는 것을 포함할 수 있을 것이다. 몇몇의 경우들에서, 다중의 모자이크 이미지들을 생성하는 것은, 복수의 셀 윈도우들을 포함하는 입력 이미지의 모자이크 표현을 생성하기 위해서 복수의 셀 윈도우들 각각에서 픽셀 값들을 평균화하고 그리고 상이한 스케일들을 구비한 모자이크 이미지들을 이진화하기 위해서 다중 레벨들을 활용하는 것을 포함한다.
예시적인 일 실시예에서, 상기 도 11의 방법을 수행하기 위한 장치는 상기에서 설명된 동작들 (300-340)의 몇몇 또는 각각을 수행하도록 구성된 프로세서 (예를 들면, 참조번호 70의 프로세서)를 포함할 수 있을 것이다. 상기 프로세서는, 예를 들면, 하드웨어로 구현된 논리적인 기능들을 수행하고, 저장된 명령어들을 실행하고, 또는 상기 동작들 각각을 수행하기 위한 알고리즘들을 실행함으로써 상기 동작들 (300-340)을 수행하도록 구성될 수 있을 것이다. 대안으로, 상기 장치는 상기에서 설명된 동작들 각각을 수행하기 위한 수단을 포함할 수 있을 것이다. 이런 면에서, 예시의 일 실시예에 따라서, 참조번호 300 - 340의 동작들을 수행하기 위한 수단의 예들은, 예를 들면, 프로세서 (70), 이미지 수정기 (80), 에지 검출기 (82), 얼굴 검출기 (84), 후보 로테이터 (86), 검증기 (88) 및/또는 상기에서 설명된 것과 같은 정보를 프로세싱하기 위해서 상기 프로세서 (70)에 의해서 실행되는 알고리즘을 포함할 수 있을 것이다.
여기에서 제시된 본 발명의 많은 수정들 및 다른 실시예들은 본 발명이 속한 기술 분야에서의 통상의 지식을 가진 자의 마음에, 전술한 설명들 및 연관된 도면들에 제시된 교시들의 이점을 구비한 것으로 들어올 것이다. 그러므로, 본 발명들은 개시된 특정 실시예들로 한정되는 것이 아니며 그리고 상기 수정들 및 다른 실시예들이 첨부된 청구범위의 범위 내에 포함된 것으로 의도된 것이라는 것이 이해될 것이다. 또한, 전술한 설명 및 연관된 도면들이 엘리먼트들 및/또는 기능들의 특정한 예시의 결합들의 환경에서 예시적인 실시예들을 기술하지만, 첨부된 청구범위의 범위를 벗어나지 않으면서도 대안의 실시예들에 의해서 엘리먼트들 및/또는 기능들의 상이한 결합들이 제공될 수 있을 것이라는 것이 이해되어야만 한다. 이런 면에서, 예를 들면, 상기에서 명시적으로 설명된 것과는 상이한 결합의 엘리먼트들 및/또는 기능들 역시 첨부된 청구범위의 몇몇에서 제시될 수 있을 것으로 또한 예측된다. 특정 용어들이 여기에서 채택되었지만, 그 용어들은 일반적이며 설명적인 의미로 사용된 것이며 그리고 한정하려는 목적으로 사용된 것이 아니다.

Claims (20)

  1. 다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하고;
    상이한 방위의 복수의 에지 (edge) 검출기들을 채택하여 상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하고; 그리고
    상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출을 수행하는 것을 포함하는, 방위 독립적인 얼굴 검출 방법.
  2. 제1항에 있어서, 상기 방법은,
    상기 얼굴 검출에 의해서 검출된 후보 얼굴을 검증하는 것을 수행하는 것을 더 포함하는, 방위 독립적인 얼굴 검출 방법.
  3. 제1항 또는 제2항에 있어서,
    상이한 방위의 복수의 에지 검출기들을 채택하는 것은, 각 에지 검출기와 적어도 하나의 다른 에지 검출기 사이에 동일한 양의 각도 간격을 가지는 방위이며 그리고 동일 크기의 각각의 너비들에서 후보 얼굴들에 대한 가능한 평면-내 (in-plane) 회전 각도들의 360도를 커버하는 방위인 에지 검출기들을 활용하는 것을 포함하는, 방위 독립적인 얼굴 검출 방법.
  4. 제1항 또는 제2항에 있어서,
    얼굴 검출을 수행하는 것은, 각 특징 맵들 내의 데이터에 탄성 얼굴 템플리트를 채택하여 상기 탄성 얼굴 템플리트에 부합하는 후보 얼굴의 특징들을 기반으로 하여 후보 얼굴을 검출하는 것을 포함하는, 방위 독립적인 얼굴 검출 방법.
  5. 제1항 또는 제2항에 있어서,
    얼굴 검출을 수행하는 것은, 검출된 눈의 쌍의 눈 들 사이의 거리에 대응하는 폭 그리고 검출된 눈의 쌍을 연결하는 라인과 후보 얼굴의 잠재적인 입 사이의 거리에 대응하는 높이를 구비하는 탄성 얼굴 템플리트를 채택하는 것을 포함하는, 방위 독립적인 얼굴 검출 방법.
  6. 방위 독립적인 얼굴 검출 장치로서,
    적어도 하나의 프로세서; 및
    컴퓨터 프로그램 코드를 포함하며,
    상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 이용하여 상기 장치로 하여금:
    다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하고;
    상이한 방위의 복수의 에지 (edge) 검출기들을 채택하여 상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하고; 그리고
    상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출하는 것을 수행하는 것을 적어도 수행하도록 하는, 방위 독립적인 얼굴 검출 장치.
  7. 제6항에 있어서, 상기 프로세서는,
    상기 얼굴 검출에 의해서 검출된 후보 얼굴을 검증하는 것을 수행하도록 또한 구성된, 방위 독립적인 얼굴 검출 장치.
  8. 제7항에 있어서, 상기 프로세서는,
    상기 검증을 수행하기 이전에 상기 후보 얼굴을 수직 방위로 회전 (rotate)시키도록 또한 구성된, 방위 독립적인 얼굴 검출 장치.
  9. 제7항 또는 제8항에 있어서,
    상기 프로세서는 4가지 종류의 haar-유사 특징들 (haar-like features) 이상을 포함한 에이다부스트 (Adaboost) 검증을 채택하여 상기 검증을 수행하도록 구성된, 방위 독립적인 얼굴 검출 장치.
  10. 제7항 또는 제8항에 있어서,
    상기 프로세서는 캐스케이드 마진 (cascade margin)에 근사한 샘플들에 적용된 벌칙 계수 (punishment coefficient)를 구비한 부트스트랩핑 (punishment coefficient)을 채택하여 상기 검증을 수행하도록 구성된, 방위 독립적인 얼굴 검출 장치.
  11. 제6항 내지 제8항 중의 어느 한 항에 있어서,
    상기 프로세서는, 각 에지 검출기와 적어도 하나의 다른 에지 검출기 사이에 동일한 양 (amounts)의 각도 간격을 가지는 방위이며 그리고 동일 크기의 각각의 너비들에서 후보 얼굴들에 대한 가능한 평면-내 (in-plane) 회전 각도들의 360도를 커버하는 방위인 에지 검출기들을 활용함으로써 상이한 방위의 복수의 에지 검출기들을 채택하도록 구성된, 방위 독립적인 얼굴 검출 장치.
  12. 제6항 내지 제8항 중의 어느 한 항에 있어서,
    상기 프로세서는, 각 특징 맵들 내의 데이터에 탄성 얼굴 템플리트를 채택하여 상기 탄성 얼굴 템플리트에 부합하는 후보 얼굴의 특징들을 기반으로 해서 후보 얼굴을 검출함으로써 얼굴 검출을 수행하도록 구성된, 방위 독립적인 얼굴 검출 장치.
  13. 제6항 내지 제8항 중의 어느 한 항에 있어서,
    상기 프로세서는, 검출된 눈의 쌍의 눈 들 사이의 거리에 대응하는 폭 그리고 검출된 눈의 쌍을 연결하는 라인과 후보 얼굴의 잠재적인 입 사이의 거리에 대응하는 높이를 구비하는 탄성 얼굴 템플리트를 채택함으로써 얼굴 검출을 수행하도록 구성된, 방위 독립적인 얼굴 검출 장치.
  14. 제6항 내지 제8항 중의 어느 한 항에 있어서,
    상기 프로세서는, 복수의 셀 윈도우들을 포함하는 입력 이미지의 모자이크 표현을 생성하기 위해서 상기 복수의 셀 윈도우들 각각에서 픽셀 값들을 평균함으로써 그리고 상이한 스케일들을 구비한 모자이크 이미지들을 이진화하기 위해서 다중 레벨들을 활용함으로써 다중의 모자이크 이미지들을 생성하도록 구성된, 방위 독립적인 얼굴 검출 장치.
  15. 제6항 내지 제8항 중의 어느 한 항에 있어서,
    상기 프로세서는, 상기 모자이크 이미지들의 각각에 다중의 문턱값들을 채택하여 얼굴 검출 용도의 대응하는 상이한 특징 맵들을 생성하여 얼굴 검출을 수행하도록 구성된, 방위 독립적인 얼굴 검출 장치.
  16. 방위 독립적인 얼굴 검출하는, 저장된 컴퓨터-실행가능 프로그램 코드 명령어들을 구비한 적어도 하나의 컴퓨터-독출가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터-실행가능 프로그램 코드 명령어들은:
    다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하기 위한 프로그램 코드 명령어들;
    상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하기 위해서 상이한 방위의 복수의 에지 (edge) 검출기들을 채택하기 위한 프로그램 코드 명령어들; 그리고
    상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출을 수행하기 위한 프로그램 코드 명령어들;을 포함하는, 컴퓨터 프로그램 제품.
  17. 제16항에 있어서,
    상기 얼굴 검출에 의해서 검출된 후보 얼굴을 검증하는 것을 수행하기 위한 프로그램 코드 명령어들을 더 포함하는, 컴퓨터 프로그램 제품.
  18. 제16항 또는 제17항에 있어서,
    상이한 방위의 복수의 에지 (edge) 검출기들을 채택하기 위한 프로그램 코드 명령어들은 각 에지 검출기와 적어도 하나의 다른 에지 검출기 사이에 동일한 양의 각도 간격을 가지는 방위이며 그리고 동일 크기의 각각의 너비들에서 후보 얼굴들에 대한 가능한 평면-내 (in-plane) 회전 각도들의 360도를 커버하는 방위인 에지 검출기들을 활용하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
  19. 제16항 또는 제17항에 있어서,
    얼굴 검출을 수행하기 위한 프로그램 코드 명령어들은, 검출된 눈의 쌍의 눈 들 사이의 거리에 대응하는 폭 그리고 검출된 눈의 쌍을 연결하는 라인과 후보 얼굴의 잠재적인 입 사이의 거리에 대응하는 높이를 구비하는 탄성 얼굴 템플리트를 채택하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
  20. 다중의 모자이크 이미지들 각각이 상이한 스케일을 가지는 그런 다중의 모자이크 이미지들을 입력 이미지로부터 생성하는 수단;
    상이한 스케일들을 구비한 다중의 모자이크 이미지들의 에지들을 결합하는 것을 포함하여 다중의 모자이크 이미지들 상에서 에지 검출을 수행하기 위해서 상이한 방위의 복수의 에지 (edge) 검출기들을 채택하는 수단; 및
    상이한 방위의 에지 검출기들에 의해서 생성된 각자의 특징 (feature) 맵들을 기반으로 하여, 상이한 방위의 에지 검출기들에 대응하는 영역들에서 얼굴 검출을 수행하는 수단을 포함하는, 방위 독립적인 얼굴 검출 장치.
KR1020117015400A 2008-12-04 2009-12-01 방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 KR101235791B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/328,375 2008-12-04
US12/328,375 US8144945B2 (en) 2008-12-04 2008-12-04 Method, apparatus and computer program product for providing an orientation independent face detector
PCT/IB2009/007619 WO2010064122A1 (en) 2008-12-04 2009-12-01 Method, apparatus and computer program product for providing an orientation independent face detector

Publications (2)

Publication Number Publication Date
KR20110094112A KR20110094112A (ko) 2011-08-19
KR101235791B1 true KR101235791B1 (ko) 2013-02-21

Family

ID=42231106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117015400A KR101235791B1 (ko) 2008-12-04 2009-12-01 방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품

Country Status (6)

Country Link
US (1) US8144945B2 (ko)
EP (1) EP2370931B1 (ko)
KR (1) KR101235791B1 (ko)
CN (1) CN102282571B (ko)
CA (1) CA2745730C (ko)
WO (1) WO2010064122A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442327B2 (en) * 2008-11-21 2013-05-14 Nvidia Corporation Application of classifiers to sub-sampled integral images for detecting faces in images
KR101179497B1 (ko) * 2008-12-22 2012-09-07 한국전자통신연구원 얼굴 검출 방법 및 장치
JP4752941B2 (ja) * 2009-03-31 2011-08-17 カシオ計算機株式会社 画像合成装置及びプログラム
KR20110099845A (ko) * 2010-03-03 2011-09-09 삼성전자주식회사 화상 통화 시스템에서 전방향 화자 인식을 위한 장치 및 방법
US8447139B2 (en) * 2010-04-13 2013-05-21 International Business Machines Corporation Object recognition using Haar features and histograms of oriented gradients
US8665236B2 (en) 2011-09-26 2014-03-04 Apple Inc. Electronic device with wrap around display
US10621419B2 (en) * 2016-12-06 2020-04-14 Robert William Kocher Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
DE102017209700A1 (de) 2017-06-08 2018-12-13 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Kanten in einem Kamerabild, und Fahrzeug
CN108805884A (zh) * 2018-06-13 2018-11-13 北京搜狐新媒体信息技术有限公司 一种马赛克区域检测方法、装置及设备
US10424048B1 (en) 2019-02-15 2019-09-24 Shotspotter, Inc. Systems and methods involving creation and/or utilization of image mosaic in classification of acoustic events
CN109978053B (zh) * 2019-03-25 2021-03-23 北京航空航天大学 一种基于社团划分的无人机协同控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013479A1 (en) 2003-07-16 2005-01-20 Rong Xiao Robust multi-view face detection methods and apparatuses
US20050150280A1 (en) 2003-05-07 2005-07-14 California Institute Of Technology Metallic thin film piezoresistive transduction in micromechanical and nanomechanical devices and its application in self-sensing SPM probes

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155036B2 (en) * 2000-12-04 2006-12-26 Sony Corporation Face detection under varying rotation
AUPR541801A0 (en) * 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
JP3855939B2 (ja) * 2003-01-31 2006-12-13 ソニー株式会社 画像処理装置、画像処理方法及び撮影装置
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7917935B2 (en) * 2004-10-01 2011-03-29 Logitech Europe S.A. Mechanical pan, tilt and zoom in a webcam
US7848566B2 (en) * 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
US20070009159A1 (en) * 2005-06-24 2007-01-11 Nokia Corporation Image recognition system and method using holistic Harr-like feature matching
KR100724932B1 (ko) * 2005-08-02 2007-06-04 삼성전자주식회사 얼굴 검출 장치 및 방법
US20080019575A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Digital image cropping using a blended map
KR101330636B1 (ko) * 2007-01-24 2013-11-18 삼성전자주식회사 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050150280A1 (en) 2003-05-07 2005-07-14 California Institute Of Technology Metallic thin film piezoresistive transduction in micromechanical and nanomechanical devices and its application in self-sensing SPM probes
US20050013479A1 (en) 2003-07-16 2005-01-20 Rong Xiao Robust multi-view face detection methods and apparatuses

Also Published As

Publication number Publication date
CA2745730C (en) 2014-05-27
CA2745730A1 (en) 2010-06-10
EP2370931B1 (en) 2017-10-04
US20100142768A1 (en) 2010-06-10
KR20110094112A (ko) 2011-08-19
CN102282571B (zh) 2013-11-06
EP2370931A1 (en) 2011-10-05
US8144945B2 (en) 2012-03-27
RU2011126944A (ru) 2013-01-27
EP2370931A4 (en) 2015-02-25
CN102282571A (zh) 2011-12-14
WO2010064122A1 (en) 2010-06-10

Similar Documents

Publication Publication Date Title
KR101235791B1 (ko) 방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
US11481878B2 (en) Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10360689B2 (en) Detecting specified image identifiers on objects
US9779296B1 (en) Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US11620733B2 (en) Content-based object detection, 3D reconstruction, and data extraction from digital images
CN111652223B (zh) 证件识别方法及装置
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
US20120092329A1 (en) Text-based 3d augmented reality
CN106295638A (zh) 证件图像倾斜校正方法和装置
JP2008234653A (ja) 目標画像検出方法及び画像検出装置
KR20110100666A (ko) 얼굴 자세 추정을 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
US20210049366A1 (en) Detecting Fake Videos
EP3436865A1 (en) Content-based detection and three dimensional geometric reconstruction of objects in image and video data
WO2020082731A1 (zh) 电子装置、证件识别方法及存储介质
CN114359923A (zh) 证件字符识别方法、装置、计算机及存储介质
RU2481636C2 (ru) Способ, устройство и компьютерный программный продукт для создания ориентационно-независимого детектора лиц
Muhammad et al. Saliency-based video summarization for face anti-spoofing
US20200279138A1 (en) Method and apparatus for certificate identification
Li et al. Binary image steganalysis based on local residual patterns
Pandey et al. Segment-wise Quality Evaluation for Identification of Face Spoofing
CN117746442A (zh) 手写签名验证方法、装置及电子设备
KR20150109901A (ko) 객체 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 8