KR20130098675A - 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치 - Google Patents

얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치 Download PDF

Info

Publication number
KR20130098675A
KR20130098675A KR1020120020387A KR20120020387A KR20130098675A KR 20130098675 A KR20130098675 A KR 20130098675A KR 1020120020387 A KR1020120020387 A KR 1020120020387A KR 20120020387 A KR20120020387 A KR 20120020387A KR 20130098675 A KR20130098675 A KR 20130098675A
Authority
KR
South Korea
Prior art keywords
face
face detection
image
reference value
area
Prior art date
Application number
KR1020120020387A
Other languages
English (en)
Inventor
박종석
남은숙
유호준
김종인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120020387A priority Critical patent/KR20130098675A/ko
Priority to US13/768,032 priority patent/US9117110B2/en
Publication of KR20130098675A publication Critical patent/KR20130098675A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

얼굴 검출 처리 회로는 다운-스케일러, 얼굴 검출부, 제어부 및 축소비 제어기를 포함한다. 다운-스케일러는 적어도 하나의 인물이 포함된 입력 이미지를 축소비(down-scaling ratio)에 따라 해상도를 축소하여 제1 이미지를 제공한다. 얼굴 검출부는 상기 제1 이미지에서 상기 적어도 하나의 인물의 얼굴을 검출하고, 검출된 얼굴에 대응하는 영역에 해당하는 얼굴 영역의 좌표 정보를 생성한다. 제어부는 상기 얼굴 영역의 좌표 정보에 기초하여 얼굴 영역의 상기 제1 이미지에 대한 비율을 나타내는 얼굴 검출 지수를 산출하고, 상기 얼굴 검출 지수에 따른 제어 신호와 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 제공한다. 축소비 제어기는 상기 제어 신호에 응답하여 축소비를 조절한다.

Description

얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치{Face detection processing circuit and image pick-up device including the same}
본 발명은 이미지 처리 분야에 관한 것으로, 보다 상세하게는 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치에 관한 것이다.
근래 피사체를 CCD나 MOS형의 고체 촬상 소자를 이용해서 촬상하는 디지털 카메라나 디지털 비디오 카메라 등은 정지 화상이나 동화상의 촬영시에 피사체인 인물의 얼굴을 자동적으로 검출하는 얼굴 검출 기능을 갖고 있다. 이와 같은 얼굴 검출 기능을 갖는 디지털 카메라 등은 일반적으로 검출한 얼굴 부부의 영역의 화상 정보에 기초하여 포커스 제어나 노출 제어를 실행한다.
본 발명의 일 목적은 고속의 얼굴 검출을 수행할 수 있는 얼굴 검출 처리 회로를 제공하는데 있다.
본 발명의 다른 목적은 상기 얼굴 검출 처리 회로를 포함하는 촬상 장치를 제공하는데 있다.
상기 일 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 얼굴 검출 처리 회로는 다운-스케일러, 얼굴 검출부, 제어부 및 축소비 제어기를 포함한다. 상기 다운-스케일러는 적어도 하나의 인물이 포함된 입력 이미지를 축소비(down-scaling ratio)에 따라 해상도를 축소하여 제1 이미지를 제공한다. 상기 얼굴 검출부는 상기 제1 이미지에서 상기 적어도 하나의 인물의 얼굴을 검출하고, 검출된 얼굴에 대응하는 영역에 해당하는 얼굴 영역의 좌표 정보를 생성한다. 상기 제어부는 상기 얼굴 영역의 좌표 정보에 기초하여 상기 얼굴 영역의 상기 제1 이미지에 대한 비율을 나타내는 얼굴 검출 지수를 산출하고, 상기 얼굴 검출 지수에 따른 제어 신호와 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 제공한다. 상기 축소비 제어기는 상기 제어 신호에 응답하여 상기 축소비를 조절한다.
실시예에 있어서, 상기 제어부는 상기 적어도 하나의 인물의 얼굴 영역의 면적의 합, 상기 적어도 하나의 인물의 얼굴 영역의 피크 면적 및 상기 적어도 하나의 인물의 얼굴 영역의 수에 기초하여 상기 얼굴 검출 지수를 산출할 수 있다.
상기 얼굴 검출 지수는 상기 적어도 하나의 인물의 얼굴 영역의 상기 제1 이미지에 대한 면적의 합의 비율, 상기 적어도 하나의 인물의 얼굴 영역의 상기 제1 이미지에 대한 피크 면적의 비율 및 상기 제1 이미지에 대한 상기 적어도 하나의 인물의 얼굴 영역의 수의 비율에 비례할 수 있다.
상기 얼굴 검출 지수는 0보다는 크거나 같고 1보다는 작은 값을 수 있다.
실시예에 있어서, 상기 제어부는 상기 얼굴 영역의 좌표 정보에 기초하여 상기 얼굴 검출 지수를 산출하는 계산부; 상기 얼굴 검출 지수와 제1 및 제2 기준값을 기초로 하여 제1 및 제2 비교 신호를 출력하는 비교부; 및 상기 제1 및 제2 비교 신호와 상기 얼굴 검출 지수를 기초로 상기 제어 신호와 상기 얼굴 검출 신호를 생성하는 신호 생성기를 포함할 수 있다.
상기 비교부는 상기 얼굴 검출 지수와 상기 제1 기준값을 비교하고, 상기 비교 결과에 따른 상기 제1 비교 신호를 출력하는 제1 비교기; 및 상기 얼굴 검출 지수와 상기 제2 기준값을 비교하고, 상기 비교 결과에 따른 상기 제2 비교 신호를 출력하는 제2 비교기를 포함할 수 있다.
실시예에 있어서, 상기 얼굴 검출 지수가 0일 때, 상기 제어부는 상기 축소비가 감소되도록 상기 축소비 제어기를 제어할 수 있다.
상기 얼굴 검출 지수가 제1 기준 값 이상일 때, 상기 제어부는 제1 로직 레벨을 갖는 상기 얼굴 검출 신호를 제공할 수 있다.
실시예에 있어서, 상기 얼굴 검출 처리 회로는 상기 얼굴 검출 지수가 0과 제1 기준 값 사이일 때, 상기 제어부의 제어에 따라 상기 입력 이미지를 처리하여 처리된 이미지를 상기 얼굴 검출부에 제공하는 처리부를 더 포함할 수 있다.
상기 처리부는 상기 입력 이미지를 저장하는 버퍼; 상기 얼굴 검출 지수가 상기 제1 기준 값보다 작은 제2 기준값과 상기 제1 기준 값 사이일 때, 상기 입력 이미지에서 상기 얼굴 영역에 해당하는 부분을 제외한 제2 이미지를 상기 얼굴 검출부에 제공하는 패턴 제거기; 및 상기 얼굴 검출 지수가 0과 상기 제2 기준 값 사이일 때, 상기 입력 이미지에서 상기 얼굴 영역에 해당하는 부분이 크롭된 제3 이미지를 상기 얼굴 검출부에 제공하는 크롭퍼(cropper)를 포함할 수 있다.
상기 얼굴 검출 지수가 상기 제2 기준 값과 상기 제1 기준 값 사이일 때, 상기 얼굴 검출부는 상기 제2 이미지에서 또 다른 얼굴 영역의 좌표 정보를 상기 제어부에 제공할 수 있다.
상기 얼굴 검출 지수가 0과 상기 제2 기준 값 사이일 때, 상기 검출부는 상기 제2 이미지에 기초하여 상기 얼굴 영역의 좌표를 갱신하고, 상기 갱신된 얼굴 영역의 좌표를 상기 제어부에 제공할 수 있다.
상기 얼굴 검출 처리 회로는 상기 제1 기준 값, 상기 제2 기준 값을 저장하여, 상기 제1 기준 값과 상기 제2 기준 값을 상기 제어부에 제공하는 레지스터를 더 포함할 수 있다.
상기 레지스터는 상기 얼굴 검출부가 상기 적어도 하나의 인물의 얼굴 영역을 검출하는데 필요로 하는 파라미터들을 더 포함할 수 있다.
상기 일 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 촬상 장치는 피사체를 촬상하는 이미지 센서, 얼굴 검출 처리 회로 및 디스플레이를 포함한다. 상기 얼굴 검출 처리 회로는 상기 이미지 센서에 의하여 촬상된 피사체 이미지로부터 얼굴 영역을 검출한다. 상기 디스플레이는 상기 이미지 센서에 의하여 촬상된 피사체 이미지를 상기 얼굴 검출 회로에 의하여 검출된 얼굴 영역을 나타내는 이미지와 함께 표시한다. 상기 얼굴 검출 회로는 상기 피사체 이미지를 축소 변수에 따라 축소하여 제1 이미지를 제공하는 다운-스케일러; 상기 제1 이미지에서 상기 얼굴 영역의 좌표 정보를 생성하여 제공하는 얼굴 검출부; 상기 얼굴 영역의 좌표 정보에 기초하여 상기 얼굴 영역의 상기 제1 이미지에 대한 비율을 나타내는 얼굴 검출 지수를 산출하고, 상기 얼굴 검출 지수에 따른 제어 신호와 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 제공하는 제어부; 및 상기 제어 신호에 응답하여 상기 축소 변수를 조절하는 축소 변수 제어기를 포함한다.
본 발명의 실시예들에 따르면 입력 이미지에서 얼굴을 검출하는 대신에 입력 이미지의 크기를 적응적으로 감소시켜 감소된 크기의 제1 이미지에서 얼굴을 검출하여 얼굴 검출 속도를 향상시킬 수 있다. 또한 제1 이미지에서 얼굴을 검출하기 때문에 발생할 수 있는 검출율 감소를 보완하기 위하여 패턴 제거기와 크로퍼를 포함하고 있으므로 제한된 중앙 처리 장치의 자원을 효율적으로 이용하여 고속으로 입력 이미지에서 얼굴 검출을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 촬상 장치(디지털 카메라)의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 얼굴 검출 처리 회로의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 도 2의 제어부의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 도 2의 처리부의 구성을 나타내는 블록도이다.
도 5a는 입력 이미지를 나타낸다.
도 5b는 제1 이미지를 나타낸다.
도 5c는 제2 이미지를 나타낸다.
도 5d는 제3 이미지를 나타낸다.
도 5e는 디스플레이에 표시되는 라이브-뷰 이미지를 나타낸다.
도 6 및 도 7은 이미지의 크기와 얼굴 검출 속도의 관계를 나타내는 그래프이다.
도 8은 크롭된 이미지의 크기와 얼굴 검출 속도와의 관계를 나타내는 그래프이다.
도 9는 본 발명의 일 실시예에 따른 얼굴 검출 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 도 9의 단계(S330)를 상세히 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 촬상 장치를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일하거나 유사한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 촬상 장치(디지털 카메라)의 구성을 나타내는 블록도이다.
도 1을 참조하면, 촬상 장치(10)는 광학부(20), 광학 구동부(30), 이미지 센서(40), 이미지 센서 구동부(ISCU, 45), 아날로그/디지털 변환부(50), 이미지 신호 처리기(ISP, 60), 디스플레이 컨트롤러(70), 디스플레이(75), 저장/독출 제어부(80), 저장 매체(85), 메모리(90), 플래시 메모리(93), 조작부(95), 중앙처리장치(CPU, 97) 및 얼굴 검출 처리 회로(face detection processing circuit, FDPC, 100)를 포함하여 구성될 수 있다. 광학부(20)는 렌즈(21) 및 조리개(23)를 포함할 수 있고, 광학 구동부(30)는 렌즈 구동부(31) 및 조리개 구동부(33)를 포함할 수 있다.
중앙 처리 장치(37)의 제어에 따라 렌즈 구동부(31)에 의하여 렌즈(21)가 구동되고, 조리개 구동부(33)가 구동되어 광학부(20)에 의하여 피사체에 대한 광학상이 이미지 센서(45)에서 광전 변환된다. 이미지 센서(45)는 중앙 처리 장치(37)의 제어에 따라 이미지 센서 제어부(45)에 의하여 제어된다. 이미지 센서(45)는 피사체에 대한 광학상을 광전 변환하여 촬상 신호로서 출력한다. 아날로그/디지털 변환부(50)는 촬상 신호를 디지털 신호로 변환하여 이미지 신호 처리기(60)로 제공한다.
상기 이미지 신호 처리기(60)는 아날로그/디지털 변환 후의 촬상 신호에 대하여 R, G, B의 색성분 데이터(RGB 데이터)를 생성하는 RGB 보간 처리, RGB 데이터로부터 휘도 신호(Y)와 색차 신호(U, V)로 이루어지는 YUV 데이터를 화소마다 생성하는 YUV 변환 처리, 또한 오토 포커스나 오토 화이트 밸런스 및 윤곽 강조 등의 이미지 품질 향상을 위한 디지털 신호 처리를 수행한다. 이미지 신호 처리기(60)에서 변환된 YUV 데이터는 순차적으로 메모리(90)에 저장된다. 여기서 메모리(90)는 SDRAM일 수 있다.
촬영용의 기록 모드에서서 메모리(90)에 저장된 YUV 데이터는 메모리(90)에 있어서 1프레임분이 축적될 때마다 이미지 신호 처리기(60)에서 비디오 신호로 변환된다. 그 후, 변환된 비디오 신호는 스루 이미지(through image) 또는 라이브 뷰 이미지(live view image)로서 디스플레이(75)에 표시된다. 또한 기록 모드에 있어서의 촬영시에는 메모리(90)에 일시적으로 기억된 이미지 데이터가 저장/독출 제어부(80)에서 JPEG 방식으로 압축부호화된 후 저장 매체(85)에 저장될 수 있다. 예를 들어, 각종의 메모리 카드로서 구성되는 저장 매체(85)에 정지 이미지 파일로서 기록된다.
저장 매체(85)에 저장된 정지 이미지 파일은 재생모드에 있어서, 사용자으 선택조작에 따라 적절하게 판독된다. 또한 판독된 정지 이미지 파일은 저장/독출 제어부(80)에 의하여 압축이 해제되고, YUV 데이터로서 메모리(90)에 전개된다. 그 후에 디스플레이 제어기(70)를 통하여 디스플레이(75)에 표시된다.
조작부(95)는 전원 키나, 촬상 장치(10)의 기본 동작인 상기 기록 모드와 재생 모드의 전환을 실행하는 모드 전환 키, 메뉴 키, 셔터 키등과 같은 복수의 키를 포함할 수 있다. 각 키의 조작 상태는 중앙 처리 장치(97)에 의하여 수시로 스캔된다. 또한 셔터 키는 사용자가 촬영 예고를 실행하기 위한 반누름 위치와 실제의 촬영 동작을 지시하기 위한 전부 누름 위치의 2 단계의 조작이 가능한 소위 하프-셔터의 기능을 갖을 수 있다.
얼굴 검출 처리 회로(100)는 이미지 신호 처리기(60)에 의하여 생성된 1프레임분의 이미지 데이터(이하 프레임 이미지)에 대하여 미리 기억되어 있는 인물의 얼굴에 관한 윤곽이나 색 등의 모델 패턴과 특징이 가까운 얼굴 부분을 검출하는 얼굴 검출을 수행한다. 또한 얼굴 검출 처리 회로(100)는 검출한 얼굴 부분에 대응하는 영역(이하 얼굴 영역)의 좌표 정보를 생성하고, 생성된 좌표 정보를 중앙 처리 장치(97)에 제공할 수 있다.
얼굴을 검출하기 위하여 얼굴 검출 처리 회로(100)는 특징 기반 얼굴 얼굴 검출 방법을 사용하여 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 살색)을 찾고, 얼굴의 특징점 좌표를 산출할 수 있다. 얼굴의 여러 가지 특징 중에서 특히 살색은 얼굴의 이동, 회전, 크기 변화 등에 덜 민감한 특성을 가지므로 가장 많이 사용되고 있는 방법이다. 그 이외에 얼굴 검출 처리 회로(100)는 얼굴 형판(template) 기반 검출 방법을 사용하여 얼굴 검출을 수행할 수 있다. 얼굴 형판 기반 검출 방법은 얼굴에 대한 몇 가지의 표준 패턴을 만든 뒤에 패턴을 얼굴 검출을 위해 저장하고, 패턴들읠 영상의 탐색 윈도위 안에서 영상과 하나씩 비교하여 얼굴을 검출할 수 있다. 얼굴 검출 방법으로 최근에 가장 많이 사용되는 SVM(support vector machine) 방법에서는 영상으로부터 각기 다른 영역들을 서브 샘플링하여 학습기를 통해 얼굴과 비얼굴(얼굴이 아닌 부분)에 대해 학습시킨 뒤 입력 영상에서 얼굴을 찾도록 하는 방법이다.
중앙 처리 장치(97)는 촬상 장치(10)의 각 부의 제어 및 촬상 신호에 포함되는 휘도 정보에 근거한 자동 노출(Auto-exposure, AE) 제어나 콘트라스트 검출 방식에 의한 자동 초점(Auto-focusing AF) 제어, 얼굴 검출 제어 등을 수행한다. 중앙 처리 장치(97)가 수행하는 각 제어를 실행시키기 위한 프로그램이나, 각각의 제어에 필요한 각종 데이터는 플래시 메모리(93)에 저장될 수 있다.
도 2는 본 발명의 일 실시예에 따른 도 1의 얼굴 검출 처리 회로의 구성을 나타내는 블록도이다.
도 2를 참조하면, 얼굴 검출 처리 회로(100)는 다운-스케일러(110), 얼굴 검출부(120), 레지스터(130), 축소비 제어기(140), 제어부(150) 및 처리부(160)를 포함하여 구성될 수 있다.
다운-스케일러(110)는 적어도 하나의 인물이 포함된 입력 이미지(IMG)를 축소 변수(DSR)에 따라 해상도를 축소하여 제1 이미지(IMG1)를 제공한다. 예를 들어, 입력 이미지(IMG)가 H*V(여기서 H는 입력 이미지(IMG)의 로우 방향의 픽셀의 수, V는 입력 이미지(IMG)의 칼럼 방향의 픽셀의 수)의 해상도를 갖고, 축소 변수(DSR)가 n(n은 2이상의 자연수)인 경우, 제1 이미지(IMG1)는 H/n*V/n의 해상도(크기)를 갖을 수 있다.
얼굴 검출부(120)는 해상도가 축소된 상기 제1 이미지(IMG1)에서 적어도 하나의 인물의 얼굴을 검출하고, 검출된 얼굴에 대응하는 영역에 해당하는 얼굴 영역의 좌표 정보를 생성하여 제공한다. 이를 위하여 얼굴 검출부는 특징 기반 얼굴 검출 방법, 얼굴 형판 기반 검출 방법 및 SVM 방법 중 적어도 하나를 사용하여 얼굴을 검출할 수 있다.
제어부(150)는 얼굴 검출부(120)에서 제공되는 얼굴 영역의 좌표 정보에 기초하여 검출된 얼굴 영역의 제1 이미지(IMG1)에 대한 비율을 나타내는 얼굴 검출 지수를 산출하고, 얼굴 검출 지수에 따른 제어 신호(CON1, CON2, CON3)와 얼굴 검출 여부를 나타내는 얼굴 검출 신호(FDS)를 제공할 수 있다. 제어부(150)는 얼굴 검출부(120)에서 제공되는 얼굴 영역의 제1 이미지(IMG1)에 대한 비율을 나타내는 얼굴 검출 지수를 하기와 같은 [수학식 1]을 통하여 산출할 수 있다.
[수학식 1]
P(얼굴 검출 지수) = K(a*PArea + b*SArea + c*FaceNum)
여기서, K는 제1 이미지(IMG1)의 면적의 역수, PArea는 검출된 얼굴 영역 중에서 얼굴만을 포함하는 부분의 면적의 합, SArea는 얼굴 영역의 면적의 합 FaceNum는 검출된 얼굴의 수를 나타내고, a, b, c는 0과 1 사이의 상수값을 나타낸다.
따라서, 상기 얼굴 검출 지수(P)는 얼굴 영역의 면적의 합(SArea), 얼굴 영역의 피크 면적(PArea) 및 얼굴 영역의 수(FaceNum)에 기초하여 산출될 수 있다. 또한 상기 얼굴 검출 지수(P)는 제1 이미지(IMG1)에 대한 얼굴 영역의 면적의 합의 비율(K*SArea), 제1 이미지(IMG1)에 대한 얼굴 영역의 피크 면적의 비율(K*PArea) 및 제1 이미지(IMG1)에 대한 얼굴 영역의 수의 비율에 비례할 수 있다. 그러므로, 얼굴 검출 지수(P)는 0에서 1사이의 값을 갖을 수 있다.
제어부(150)는 얼굴 검출 지수(P)에 따라 제1 제어 신호(CON1)를 축소비 제어기(140)에 제공하거나, 제2 및 제3 제어 신호들(CON2, CON3)을 처리부(160)에 제공할 수 있다. 예를 들어, 얼굴 검출 지수(P)가 0이어서 얼굴 검출부(120)에서 얼굴을 검출하지 못하였을 때, 제어부(150)는 제1 제어 신호(CON1)를 축소비 제어기(140)에 제공하고, 축소비 제어기(140)는 제1 제어 신호(CON1)에 응답하여 축소비(DSR)를 감소시킬 수 있다. 예를 들어, 얼굴 검출 지수(P)가 0이 아닌 값인 경우, 제어부(150)는 얼굴 검출 지수(P)에 따라 제1 로직 레벨의 얼굴 검출 신호(FDS)를 제공하거나, 제2 제어 신호(CON2) 또는 제3 제어 신호(CON3)를 활성화시킬 수 있다. 처리부(160)는 제2 제어 신호(CON2) 또는 제3 제어 신호(CON3)가 활성화되면, 이에 따라서 입력 이미지(IMG)를 처리하여 제2 이미지(IMG2) 또는 제3 이미지(IMG3)를 얼굴 검출부(120)에 제공할 수 있다.
레지스터(130)는 얼굴 검출부(120)가 얼굴을 검출하는데 필요로 하는 데이터들과 제어부(150)가 얼굴 검출 지수(P)를 산출하는데 필요로 하는 데이터들을 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 도 2의 제어부의 구성을 나타내는 블록도이다.
도 3을 참조하면, 제어부(150)는 계산부(151), 비교부(152) 및 신호생성기(155)를 포함하여 구성될 수 있다.
계산부(151)는 얼굴 검출부(120)에서 제공되는 얼굴 영역의 좌표 정보에 기초하여 얼굴 검출 지수(P)를 계산한다. 비교부(152)는 제1 비교기(153) 및 제2 비교기(154)를 포함하여 구성될 수 있다. 제1 비교기(153)는 얼굴 검출 지수(P)와 제1 기준값(REF1)을 비교하여 제1 비교 신호(CS1)를 출력한다. 제2 비교기(154)는 얼굴 검출 지수(P)와 제2 기준값(REF2)을 비교하여 제1 비교 신호(CS2)를 출력한다. 여기서 제1 기준값(REF1)은 제2 기분값(REF2)보다 큰 값일 수 있고, 제1 기준값(REF1)과 제2 기준값(REF2)은 도 2의 레지스터(130)로부터 제공될 수 있다. 또한, 제1 기준값(REF1)과 제2 기준값(REF2)은 사용자에 의하여 변경될 수 있는 값이다. 신호 생성기(155)는 얼굴 검출 지수(P), 제1 기준값(REF1) 및 제2 기준값(REF2)에 기초하여 얼굴 검출 신호(FDS) 및 제어 신호들(CON1, CON2, CON3)을 제공할 수 있다.
예를 들어, 제1 이미지(IMG1)에서 얼굴이 검출되지 않아 얼굴 검출 지수(P)가 0인 경우, 신호 생성기(155)는 제1 비교 신호(CS1) 및 제2 비교 신호(CS2)와 관계 없이, 제1 로직 레벨의 제1 제어 신호(CON1)를 축소비 제어기(140)에 제공할 수 있다. 축소비 제어기(140)는 제1 로직 레벨의 제1 2제어 신호(CON1)에 응답하여 축소비(DSR)를 감소시킬 수 있다. 이 경우에, 신호 생성기(155)는 '000' 얼굴 검출 신호(FDS)를 중앙 처리 장치(97)에 제공할 수 있다.
예를 들어, 제1 이미지(IMG1)에서 얼굴이 검출되어, 얼굴 검출 지수(P)가 제1 기준값(REF1) 이상인 경우에, 제1 및 제2 제어 신호들(CS1, CS2)는 '11'의 값을 가지게 되고, '11'의 제1 및 제2 제어 신호들(CS1, CS2)에 응답하여 신호 생성기(155)는 '111'의 얼굴 검출 신호(FDS)를 중앙 처리 장치(97)에 제공하고, 중앙 처리 장치(97)는 얼굴 검출 신소(FDS)에 응답하여 이미지 신호 처리기(60)가 검출된 얼굴 영역을 기준으로 입력 이미지(IMG)에 대하여 AF 제어와 AE 제어를 수행하도록 할 수 있다.
예들 들어, 제1 이미지(IMG1)에서 얼굴이 검출되어, 얼굴 검출 지수(P)가 제1 기준값(REF1)과 제2 기준값(REF2) 사이의 값을 가지는 경우에, 제1 및 제2 제어 신호들(CS1, CS2)은 '01'의 값을 가지게 된다. '01'의 제1 및 제2 제어 신호들(CS1, CS2)에 응답하여 신호 생성기(155)는 '101'의 얼굴 검출 신호(FDS)를 중앙 처리 장치(97)에 제공하고, 제1 로직 레벨을 갖는 제2 제어 신호(CON2)를 처리부(160)에 제공한다.
예들 들어, 제1 이미지(IMG1)에서 얼굴이 검출되어, 얼굴 검출 지수(P)가 0과 제2 기준값(REF2) 사이의 값을 갖는 경우에, 제1 및 제2 제어 신호들(CS1, CS2)은 '00'의 값을 가지게 된다. '00'의 제1 및 제2 제어 신호들(CS1, CS2)에 응답하여 신호 생성기(155)는 '100'의 얼굴 검출 신호(FDS)를 중앙 처리 장치(97)에 제공하고, 제1 로직 레벨을 갖는 제3 제어 신호(CON3)를 처리부(160)에 제공한다.
중앙 처리 장치(97)는 '111'의 얼굴 검출 신호(FDS)를 수신하는 경우에만, 이미지 신호 처리기(60)가 검출된 얼굴 영역을 기준으로 입력 이미지(IMG)에 대하여 AF 제어와 AE 제어를 수행하도록 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 도 2의 처리부의 구성을 나타내는 블록도이다.
도 4를 참조하면, 처리부(160)는 버퍼(161), 패턴 제거기(163) 및 크로퍼(165)를 포함할 수 있다.
버퍼(161)는 입력 이미지(IMG)를 저장하고, 제2 제어 신호(CON2)가 활성화되면 입력 이미지(IMG)를 패턴 제거기(163)에 출력하고, 제3 제어 신호(CON3)가 활성화되면 입력 이미지(IMG)를 크로퍼(165)에 제공한다.
패턴 제거기(163)는 제1 이미지(IMG1)에서 얼굴이 검출되어, 얼굴 검출 지수(P)가 제1 기준값(REF1)과 제2 기준값(REF2) 사이의 값을 가지는 경우에, 활성화된 제2 제어 신호(CON2)에 응답하여, 원래의 해상도를 갖는 입력 이미지(IMG)에서 제1 이미지(IMG1)의 얼굴 영역에 해당하는 부분을 제외한 제2 이미지(IMG2)를 얼굴 검출부(120)에 제공할 수 있다. 즉 패턴 제거기(163)는 원래의 해상도를 갖는 입력 이미지(IMG)에서 제1 이미지(IMG1)의 얼굴 영역에 해당하는 부분에 데이터 '0'을 기입함으로써 입력 이미지(IMG)에서 제1 이미지(IMG1)의 얼굴 영역에 해당하는 부분을 제거할 수 있다. 제2 이미지(IMG2)를 수신한 얼굴 검출부(120)는 제2 이미지(IMG2)에서 얼굴 검출을 수행하고, 수행된 얼굴 검출 결과에 따른 얼굴 영역의 좌표 정보를 갱신하여 제어부(150)에 제공한다. 제어부(150)는 갱신된 얼굴 영역의 좌표 정보에 따라 얼굴 검출 지수(P)를 갱신한다.
크로퍼(165)는 제1 이미지(IMG1)에서 얼굴이 검출되어, 얼굴 검출 지수(P)가 0과 제2 기준값(REF2) 사이의 값을 갖는 경우에, 활성화된 제3 제어 신호(CON3)에 응답하여, 원래의 해상도를 갖는 입력 이미지(IMG)에서 제1 이미지(IMG1)의 얼굴 영역에 해당하는 부분을 잘라낸 제3 이미지(IMG3)를 얼굴 검출부(120)에 제공할 수 있다. 제3 이미지(IMG3)를 수신한 얼굴 검출부(120)는 제3 이미지(IMG3)에서 얼굴 검출을 수행하고, 수행된 얼굴 검출 결과에 따른 얼굴 영역의 좌표 정보를 갱신하여 제어부(150)에 제공한다. 제어부(150)는 갱신된 얼굴 영역의 좌표 정보에 따라 얼굴 검출 지수(P)를 갱신한다.
얼굴 검출 지수(P)가 제1 기준값(REF1, 예들 들어 0.15) 이상이면, 전체 이미지에 대하여 지배적이라고 할 수 있다. 따라서 얼굴 검출 지수(P)가 제1 기준값(REF1) 이상이면, 제1 이미지(IMG1)에 대하여 추가적인 얼굴 검출이 필요하지 않기 때문에, 얼굴 검출 신호(FDS)를 '111'로 하여 입력 이미지(IMG)에 대하여 AF 제어나 AE 제어를 수행함으로써 고속의 얼굴 검출을 수행할 수 있다.
얼굴 검출 지수(P)가 제1 기준값(REF1)과 제2 기준값(REF2, 예를 들어 0.05) 사이일 때는 입력 이미지(IMG)가 다운-스케일러(110)에 의하여 해상도(크기)가 축소된 경우 사라졌을 가능성이 있는 나머지 얼굴에 대하여 정확하게 얼굴 검출을 수행할 필요가 있다. 따라서 해상도가 축소되기 이전의 입력 이미지(IMG)에서 얼굴 검출을 수행할 필요가 있다. 이때 해상도가 축소된 제1 이미지(IMG1)의 얼굴 영역에 해당하는 부분에서는 얼굴이 검출되었으므로 이부분을 제외하고 입력 이미지(IMG)의 나머지 부분에서 얼굴 검출을 수행한다. 이 경우에 버퍼(161)에 이미 저장된 입력 이미지(IMG)를 이용하므로 얼굴 검출 속도를 증가시킬 수 있다.
얼굴 검출 지수(P)가 제2 기준값(REF2)과 0 사이일 때, 검출된 얼굴 영역의 특징이 약하거나 잘못 검출된 얼굴 영역일 가능성이 상당히 크다. 따라서, 해상도가 축소되기 이전의 입력 이미지(IMG)에서 검출된 얼굴 영역에 해당하는 부분을 잘라내어 그 부분에서만 얼굴 검출을 수행한다. 따라서, 해상도가 축소되기 이전의 입력 이미지(IMG)에서 검출된 얼굴 영역에 해당하는 부분에서만 얼굴 검출을 수행하므로 전체 이미지에 비하여 얼굴 검출 속도를 증가시킬 수 있다.
도 5a 내지 도 5e는 도 1의 촬상 장치의 여러 이미지들을 나타낸다.
도 5a는 입력 이미지(IMG)를 나타낸다.
도 5b는 제1 이미지(IMG1)를 나타낸다.
도 5c는 제2 이미지(IMG2)를 나타낸다.
도 5d는 제3 이미지(IMG3)를 나타낸다.
도 5e는 디스플레이(75)에 표시되는 라이브-뷰 이미지를 나타낸다.
도 5a 및 도 5b를 참조하면, H*V의 해상도를 갖는 입력 이미지(IMG)가 다운-스케일러(110)에 의하여 H/n*V/n의 해상도를 갖는 제1 이미지(IMG1)로 축소된다. 만일, 입력 이미지(IMG)에 대하여 얼굴 검출을 수행하면, 얼굴 탐색 영역(205)은 입력 이미지(IMG)의 시점의 좌표(Xs, Ys)와 종점의 좌표(Xh, Yv)에 의하여 결정된다. 하지만, H*V의 해상도를 갖는 입력 이미지(IMG)가 다운-스케일러(110)에 의하여 H/n*V/n의 해상도를 갖는 제1 이미지(IMG1)로 축소되었으므로 제1 이미지(IMG1)에서 얼굴 탐색 영역(207)은 시점의 좌표(Xs, Ys)와 종점의 좌표(Xh/n, Yv/n)에 의하여 결정된다. 즉, 얼굴 탐색 영역(207)이 얼굴 탐색 영역(205)에 비하여 1/n2 만큼 감소되게 된다.
얼굴 검출부(120)는 우선 패턴 대조를 실행해야 할 얼굴 검출 영역(210)의 사이즈(Xf, Yf)를 설정한다. 또한 얼굴 검출부(120)는 얼굴 검출 영역(210)의 시점(Xs, Ys)의 값을 '0'으로 하는 동시에 얼굴 검출 영역(210)의 종점을 시점(Xs, Ys) 및 사이즈(Xf, Yf)에 따른 값으로 설정한다. 얼굴 검출부(120)는 사이즈(Xf, Yf) 및 얼굴 검출 영역을 대상으로 하여 패턴 대조에 의한 얼굴 검출을 수행한다. 후에 얼굴 검출부(210)는 얼굴 검출 영역(210)의 위치를 X 방향 및 Y 방향으로 시프프단위(ΔX, ΔY) 만큼 시프트시켜 얼굴 검출 영역(210)의 위치를 갱신하면서 얼굴 검출을 반복적으로 수행한다. 얼굴 검출부(120)는 얼굴 검출을 반복적으로 수행하면서, 얼굴이 검출되는 때마다 얼굴 검출 영역(210)의 좌표 정보(시점(Xs, Ys) 및 종점(Xe, Ye))를 제어부(150)에 전송한다. 제어부(150)는 수신된 좌표 정보에 기초하여 얼굴 검출 지수(P)를 산출하는 동시에 좌표 정보를 중앙 처리 장치(97)에 송신한다. 중앙 처리 장치(97)는 송신된 좌표 정보에 기초하여 얼굴 영역을 나타내는 얼굴 검출 프레임을 디스플레이(75)에 표시되는 라이브-뷰 이미지에 중첩적으로 표시한다. 도 5e는 입력 이미지(IMG)에 대한 얼굴 검출 동작, 즉 1 사이클의 얼굴 검출 처리가 완료된 시점에 있어서의 얼굴 검출 프레임(2300이 표시된 상태의 라이브-뷰 이미지를 나타낸다.
다시 도 5b를 참조하면, 제어부(150)는 얼굴 검출 영역(220)의 좌표 정보에 기초하여 얼굴 검출 지수(P)를 산출하고, 산출된 얼굴 검출 지수(P)에 따라 얼굴 검출 신호(FDS) 및 제어 신호들(CON1, CON2, CON3)을 생성한다. 얼굴 검출 영역(220)은 a*b의 면적을 갖는다.
얼굴 검출 지수(P)가 제1 기준값(REF1) 이상이면, 제어부(150)는 '111"의 얼굴 검출 신호(FDS)를 중앙 처리 장치(97)에 제공한다.
얼굴 검출 지수(P)가 제1 기준값(REF1)과 제2 기준값(REF2) 사이이면, 제어부(150)는 제1 제어 신호(CON1)를 활성화시킨다. 제1 제어 신호(CON1)에 응답하여 패턴 제거기(163)는 도 5c에서와 같이 입력 이미지(IMG)에서 얼굴 검출 영역에 해당하는 부분(225)의 데이터를 0으로 기입하여 하여 얼굴 검출 영역에 해당하는 부분(227) 제거하고 제2 이미지로서 얼굴 검출부(120)에 제공한다. 얼굴 검출 영역에 해당하는 부분(225)은 na*nb의 면적을 갖는다.
얼굴 검출 지수(P)가 제2 기준값(REF2)과 0 사이이면, 제어부(150)는 제2 제어 신호(CON2)를 활성화시킨다. 제2 제어 신호(CON2)에 응답하여 크로퍼(165)는 도 5d에서와 같이 입력 이미지에서 얼굴 검출 영역에 해당하는 부분(227)만을 잘라내어 제2 이미지(IMG2)로서 얼굴 검출부(120)에 제공한다. 얼굴 검출 영역에 해당하는 부분(227)은 na*nb의 면적을 갖는다.
도 6 및 도 7은 이미지의 크기와 얼굴 검출 속도의 관계를 나타내는 그래프이다.
도 6은 이미지에 하나의 인물이 포함되는 경우 이미지의 크기와 얼굴 검출 속도와의 관계를 나타내는 그래프이다.
도 7은 이미지에 복수의 인물들(5명의 인물들)이 포함되는 경우 이미지의 크기와 얼굴의 검출 속도를 관계를 나타내는 그래프이다.
도 6을 참조하면, 이미지의 크기가 칼럼 방향과 로우 방향으로 각각 1/2 만큼 줄어드는 경우, 인물의 얼굴을 검출하는데 걸리는 시간은 약 1/4 이상으로 감소되는 것을 알 수 있다.
도 7을 참조하면, 이미지에 복수의 인물들이 포함되는 경우, 이미지에 칼럼 방향과 로우 방향으로 각각 1/2 만큼 감소되는 경우, 인물의 얼굴들을 검출하는데 걸리는 시간은 약 1/2 이상으로 감소되는 것을 알 수 있다.
도 6과 도 7에서 알 수 있듯이 얼굴의 검출에 걸리는 시간은 얼굴 검출의 대상이 되는 이미지의 해상도(크기)에 실질적으로 반비례하게 되므로 얼굴 검출의 대상의 되는 이미지의 크기를 감소시키면 고속의 얼굴 검출이 가능함을 알 수 있다.
도 8은 크롭된 이미지의 크기와 얼굴 검출 속도와의 관계를 나타내는 그래프이다.
도 8을 참조하면, 도 5e에서와 같이 크롭된 제2 이미지(IMG2)의 크기는 입력 이미지(IMG)나 다운 스케일링된 제1 이미지(IMG1)의 크기에 비하여 훨씬 작으므로 원래 영상에서 얼굴을 검출하는데 걸리는 시간보다 보다 빠르게 얼굴을 검출할 수 있음을 알 수 있다.
도 9는 본 발명의 일 실시예에 따른 얼굴 검출 방법을 나타내는 흐름도이다.
도 2 내지 도 5e 및 도 9를 참조하면, 입력 이미지(IMG)를 축소비(DSR)에 따라 해상도를 축소하여 제1 이미지(IMG1)를 제공한다(S310). 제1 얼굴 검출부(120)와 제어부(150)를 이용하여 제1 이미지(IMG1)에서 얼굴을 검출하고 얼굴 검출 지수(P)를 산출한다(S330). 얼굴 검출 지수(P)를 산출하기 위하여 얼굴 검출부(120)는 제1 이미지(IMG1)에서 얼굴이 검출된 영역의 좌표 정보를 제어부(150)에 제공할 수 있다. 제어부(150)는 상기 얼굴이 검출된 영역의 좌표에 기초하여 얼굴 검출 지수(P)를 산출할 수 있다. 제어부(150)는 산출된 얼굴 검출 지수(P)에 따라 제1 이미지(IMG1)를 처리할 수 있다(S350).
도 10은 본 발명의 일 실시예에 따른 도 9의 단계(S330)를 상세히 나타내는 흐름도이다.
도 1 내지 도 5e 및 도 10을 참조하면, 산출된 얼굴 검출 지수(P)가 0인지 여부를 판단한다(S321). 산출된 얼굴 검출 지수(P)가 0이면(S321에서 YES), 제1 이미지(IMG1)는 얼굴을 검출하기에는 너무 작게 축소되었으므로 축소비(DSR)을 감소시킨다(S322). 축소비(DSR)가 감소되면, 제1 이미지(IMG1)의 크기(해상도)가 증가하게 된다. 따라서 증가된 해상도를 갖는 제1 이미지(IMG1)에 대하여 얼굴을 검출한다(S320). 산출된 얼굴 검출 지수(P)가 0이 아니면(S321에서 NO), 얼굴 검출 지수(P)가 제1 기준값(REF1)보다 큰지 여부를 판단한다(S333). 얼굴 검출 지수(P)가 제1 기준값(REF1)보다 큰 경우(S333에서 YES), 제어부(150)는 '111'의 얼굴 검출 신호(FDS)를 생성하여 중앙 처리 장치(97)에 제공한다(S341). 얼굴 검출 지수(P)가 제1 기준값(REF1)보다 작은 경우(S333에서 NO), 얼굴 검출 지수(P)가 제2 기준값(REF2)보다 큰지 여부가 판단된다(S334). 얼굴 검출 지수(P)가 제1 기준값(REF1)과 제2 기준값(REF2) 사이이면(S334에서 YES), 제2 제어 신호(CON1)가 활성화되고, 제2 제어 신호(CON2)에 응답하여, 패턴 제거기(163)는 원래 해상도의 입력 이미지(IMG)에서 검출된 얼굴 영역에 해당하는 부분을 제거한 제2 이미지(IMG2)를 얼굴 검출부(120)에 제공한다(S335). 얼굴 검출부(120)는 입력 이미지(IMG)에서 검출된 얼굴 영역에 해당하는 부분이 제거된 제2 이미지(IMG2)에서 얼굴을 검출한다(S336). 제어부(150)는 제2 이미지(IMG2)에서 검출된 얼굴 영역의 좌표 정보와 제1 이미지(IMG2)에서 검출된 얼굴 영역의 좌표를 병합하고(S337), 병합된 좌표에 따른 얼굴 검출 지수(P)를 산출하여 얼굴 검출 신호(FDS)를 제공한다(S341). 얼굴 검출 지수(P)가 제2 기준값(REF2)보다 작으면(S334에서 NO), 제3 제어 신호(CON3)가 활성화되고, 제3 제어 신호(CON3)에 응답하여 크롭퍼(165)는 원래 해상도의 입력 이미지(IMG)에서 검출된 얼굴 영역에 해당하는 부분을 크롭하여 얼굴 검출부(120)에 제공한다(S338). 얼굴 검출부(120)는 크롭된 부분에서 얼굴을 검출하고(S339), 크롭된 부분에서 검출된 얼굴의 좌표 정보를 제어부(150)에 제공한다. 제어부(150)는 크롭된 부분에서 검출된 얼굴의 좌표 정보에 기초하여 얼굴 검출 지수(P)를 갱신하고, 갱신된 얼굴 검출 지수(P)에 따른 얼굴 검출 신호(FDS)를 제공한다(S341).
상술한 바와 같이 본 발명의 실시예에 따른 얼굴 검출 처리 장치 및 이를 포함하는 촬상 장치에서는 입력 이미지에서 얼굴을 검출하는 대신에 입력 이미지의 크기를 적응적으로 감소시켜 감소된 크기의 제1 이미지에서 얼굴을 검출하여 얼굴 검출 속도를 향상시킬 수 있다. 또한 제1 이미지에서 얼굴을 검출하기 때문에 발생할 수 있는 검출율 감소를 보완하기 위하여 패턴 제거기와 크로퍼를 포함하고 있으므로 제한된 중앙 처리 장치의 자원을 효율적으로 이용하여 고속으로 입력 이미지에서 얼굴 검출을 수행할 수 있다.
도 11은 본 발명의 일 실시예에 따른 촬상 장치를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 11을 참조하면, 컴퓨팅 시스템(400)은 프로세서(410), 메모리 장치(420), 저장 장치(430), 입출력 장치(450), 파워 서플라이(460) 및 촬상 장치(440)를 포함할 수 있다. 한편, 도 11에는 도시되지 않았지만, 컴퓨팅 시스템(400)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(410)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(410)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(410)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(420), 저장 장치(430) 및 입출력 장치(1040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(410)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(420)는 컴퓨팅 시스템(400)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(420)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 저장 장치(430)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(460)는 컴퓨팅 시스템(400)의 동작에 필요한 동작 전압을 공급할 수 있다.
촬상 장치(440)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(410)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 촬상 장치(440)는 입력 이미지에서 얼굴을 검출하는 대신에 입력 이미지의 크기를 적응적으로 감소시켜 감소된 크기의 제1 이미지에서 얼굴을 검출하여 얼굴 검출 속도를 향상시킬 수 있다. 또한 제1 이미지에서 얼굴을 검출하기 때문에 발생할 수 있는 검출율 감소를 보완하기 위하여 패턴 제거기와 크로퍼를 포함하고 있으므로 제한된 중앙 처리 장치의 자원을 효율적으로 이용하여 고속으로 입력 이미지에서 얼굴 검출을 수행할 수 있다.
한편, 컴퓨팅 시스템(400)은 촬상 장치를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
이와 같이, 본 발명의 실시예들에 따른 얼굴 검출 처리 회로 및 촬상 장치에서는 입력 이미지에서 얼굴을 검출하는 대신에 입력 이미지의 크기를 적응적으로 감소시켜 감소된 크기의 제1 이미지에서 얼굴을 검출하여 얼굴 검출 속도를 향상시킬 수 있다. 또한 제1 이미지에서 얼굴을 검출하기 때문에 발생할 수 있는 검출율 감소를 보완하기 위하여 패턴 제거기와 크로퍼를 포함하고 있으므로 제한된 중앙 처리 장치의 자원을 효율적으로 이용하여 고속으로 입력 이미지에서 얼굴 검출을 수행할 수 있다.
본 발명의 실시예들은 얼굴 검출 처리 장치 및 촬상 장치를 채용하는 다양한 시스템들에 적용될 수 있다.
상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 적어도 하나의 인물이 포함된 입력 이미지를 축소비(down-scaling ratio)에 따라 해상도를 축소하여 제1 이미지를 제공하는 다운-스케일러;
    상기 제1 이미지에서 상기 적어도 하나의 인물의 얼굴을 검출하고, 검출된 얼굴에 대응하는 영역에 해당하는 얼굴 영역의 좌표 정보를 생성하여 제공하는 얼굴 검출부;
    상기 얼굴 영역의 좌표 정보에 기초하여 상기 얼굴 영역의 상기 제1 이미지에 대한 비율을 나타내는 얼굴 검출 지수를 산출하고, 상기 얼굴 검출 지수에 따른 제어 신호와 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 제공하는 제어부; 및
    상기 제어 신호에 응답하여 상기 축소비를 조절하는 축소 변수 제어기를 포함하는 얼굴 검출 처리 회로.
  2. 제1항에 있어서,
    상기 제어부는 상기 적어도 하나의 인물의 얼굴 영역의 면적의 합, 상기 적어도 하나의 인물의 얼굴 영역의 피크 면적 및 상기 적어도 하나의 인물의 얼굴 영역의 수에 기초하여 상기 얼굴 검출 지수를 산출하고,
    상기 얼굴 검출 지수는 상기 적어도 하나의 인물의 얼굴 영역의 상기 제1 이미지에 대한 면적의 합의 비율, 상기 적어도 하나의 인물의 얼굴 영역의 상기 제1 이미지에 대한 피크 면적의 비율 및 상기 제1 이미지에 대한 상기 적어도 하나의 인물의 얼굴 영역의 수의 비율에 비례하고,
    상기 얼굴 검출 지수는 0보다는 크거나 같고 1보다는 작은 값을 갖는 것을 특징으로 하는 얼굴 검출 처리 회로.
  3. 제1항에 있어서, 상기 제어부는,
    상기 얼굴 영역의 좌표 정보에 기초하여 상기 얼굴 검출 지수를 산출하는 계산부;
    상기 얼굴 검출 지수와 제1 및 제2 기준값을 기초로 하여 제1 및 제2 비교 신호를 출력하는 비교부; 및
    상기 제1 및 제2 비교 신호와 상기 얼굴 검출 지수를 기초로 상기 제어 신호와 상기 얼굴 검출 신호를 생성하는 신호 생성기를 포함하고,
    상기 비교부는
    상기 얼굴 검출 지수와 상기 제1 기준값을 비교하고, 상기 비교 결과에 따른 상기 제1 비교 신호를 출력하는 제1 비교기; 및
    상기 얼굴 검출 지수와 상기 제2 기준값을 비교하고, 상기 비교 결과에 따른 상기 제2 비교 신호를 출력하는 제2 비교기를 포함하는 것을 특징으로 하는 얼굴 검출 처리 회로.
  4. 제1에 있어서,
    상기 얼굴 검출 지수가 0일 때, 상기 제어부는 상기 축소비가 감소되도록 상기 축소비 제어기를 제어하는 것을 특징으로 하는 얼굴 검출 처리 회로.
  5. 제1항에 있어서,
    상기 얼굴 검출 지수가 제1 기준 값 이상일 때, 상기 제어부는 제1 로직 레벨을 갖는 상기 얼굴 검출 신호를 제공하는 것을 특징으로 하는 얼굴 검출 처리 회로.
  6. 제1항에 있어서,
    상기 얼굴 검출 지수가 0과 제1 기준 값 사이일 때, 상기 제어부의 제어에 따라 상기 입력 이미지를 처리하여 처리된 이미지를 상기 얼굴 검출부에 제공하는 처리부를 더 포함하고,
    제9항에 있어서, 상기 처리부는
    상기 입력 이미지를 저장하는 버퍼;
    상기 얼굴 검출 지수가 상기 제1 기준 값보다 작은 제2 기준값과 상기 제1 기준 값 사이일 때, 상기 입력 이미지에서 상기 얼굴 영역에 해당하는 부분을 제외한 제2 이미지를 상기 얼굴 검출부에 제공하는 패턴 제거기; 및
    상기 얼굴 검출 지수가 0과 상기 제2 기준 값 사이일 때, 상기 입력 이미지에서 상기 얼굴 영역에 해당하는 부분이 제3 이미지를 상기 얼굴 검출부에 제공하는 크롭퍼(cropper)를 포함하는 것을 특징으로 하는 얼굴 검출 처리 회로.
  7. 제6항에 있어서,
    상기 얼굴 검출 지수가 상기 제2 기준 값과 상기 제1 기준 값 사이일 때, 상기 얼굴 검출부는 상기 제2 이미지에서 또 다른 얼굴 영역을 검출하고 검출된 또 다른 얼굴의 좌표 정보를 상기 제어부에 제공하는 것을 특징으로 하는 얼굴 검출 처리 회로.
  8. 제6항에 있어서,
    상기 얼굴 검출 지수가 0과 상기 제2 기준 값 사이일 때, 상기 검출부는 상기 제2 이미지에 기초하여 상기 얼굴 영역의 좌표를 갱신하고, 상기 갱신된 얼굴 영역의 좌표를 상기 제어부에 제공하는 것을 특징으로 하는 얼굴 검출 처리 회로.
  9. 제6항에 있어서,
    상기 제1 기준 값, 상기 제2 기준 값을 저장하여, 상기 제1 기준 값과 상기 제2 기준 값을 상기 제어부에 제공하는 레지스터를 더 포함하고,
    상기 레지스터는 상기 얼굴 검출부가 상기 적어도 하나의 인물의 얼굴 영역을 검출하는데 필요로 하는 파라미터들을 더 포함하는 것을 특징으로 하는 얼굴 검출 처리 회로.
  10. 피사체를 촬상하는 이미지 센서;
    상기 이미지 센서에 의하여 촬상된 피사체 이미지로부터 얼굴 영역을 검출하는 얼굴 검출 회로; 및
    상기 이미지 센서에 의하여 촬상된 피사체 이미지를 상기 얼굴 검츨 회로에 의하여 검출된 얼굴 영역을 나타내는 이미지와 함께 표시하는 디스플레이를 포함하고,
    상기 얼굴 검출 회로는,
    상기 피사체 이미지를 축소 변수에 따라 축소하여 제1 이미지를 제공하는 다운-스케일러;
    상기 제1 이미지에서 상기 얼굴 영역의 좌표 정보를 생성하여 제공하는 얼굴 검출부;
    상기 얼굴 영역의 좌표 정보에 기초하여 상기 얼굴 영역의 상기 제1 이미지에 대한 비율을 나타내는 얼굴 검출 지수를 산출하고, 상기 얼굴 검출 지수에 따른 제어 신호와 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 제공하는 제어부; 및
    상기 제어 신호에 응답하여 상기 축소 변수를 조절하는 축소 변수 제어기를 포함하는 촬상 장치.
KR1020120020387A 2012-02-28 2012-02-28 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치 KR20130098675A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120020387A KR20130098675A (ko) 2012-02-28 2012-02-28 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치
US13/768,032 US9117110B2 (en) 2012-02-28 2013-02-15 Face detection-processing circuit and image pickup device including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120020387A KR20130098675A (ko) 2012-02-28 2012-02-28 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치

Publications (1)

Publication Number Publication Date
KR20130098675A true KR20130098675A (ko) 2013-09-05

Family

ID=49002922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120020387A KR20130098675A (ko) 2012-02-28 2012-02-28 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치

Country Status (2)

Country Link
US (1) US9117110B2 (ko)
KR (1) KR20130098675A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201518954A (zh) * 2013-11-15 2015-05-16 Primax Electronics Ltd 顯示圖像檔案之方法及數位生活網路聯盟系統
CN107679235B (zh) * 2017-10-25 2021-09-21 成都尽知致远科技有限公司 基于云平台的检索系统
CN108093177B (zh) * 2017-12-28 2021-01-26 Oppo广东移动通信有限公司 图像获取方法、装置、存储介质及电子设备
CN112888258B (zh) * 2021-01-25 2022-09-02 福建国青电力科技有限公司 一种便于安装维护的iscu-p系列智能开关控制器

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063603A (en) * 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP4517633B2 (ja) * 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
JP4744918B2 (ja) 2005-04-19 2011-08-10 富士フイルム株式会社 顔検出方法および装置並びにプログラム
US7903870B1 (en) * 2006-02-24 2011-03-08 Texas Instruments Incorporated Digital camera and method
JP2007233517A (ja) 2006-02-28 2007-09-13 Fujifilm Corp 顔検出装置および方法並びにプログラム
JP4800979B2 (ja) 2007-02-01 2011-10-26 株式会社豊田中央研究所 対象物検出装置、対象物検出方法、及びプログラム
US7840037B2 (en) * 2007-03-09 2010-11-23 Seiko Epson Corporation Adaptive scanning for performance enhancement in image detection systems
US7983480B2 (en) * 2007-05-17 2011-07-19 Seiko Epson Corporation Two-level scanning for memory saving in image detection systems
KR20090113076A (ko) * 2008-04-25 2009-10-29 삼성디지털이미징 주식회사 디지털 영상 처리기에서 브라케팅 촬영 장치 및 방법
KR20100056270A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 실행하는 디지털 영상 신호 처리 장치
JP5219795B2 (ja) * 2008-12-26 2013-06-26 キヤノン株式会社 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
EP2207342B1 (en) * 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
JP5300595B2 (ja) * 2009-05-28 2013-09-25 キヤノン株式会社 画像処理装置及び方法、及びコンピュータプログラム
US8611604B2 (en) * 2009-06-03 2013-12-17 Chubu University Educational Foundation Object detection device
JP5517504B2 (ja) * 2009-06-29 2014-06-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR101642402B1 (ko) * 2010-02-01 2016-07-25 삼성전자주식회사 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
JP5795847B2 (ja) * 2010-09-15 2015-10-14 キヤノン株式会社 画像処理装置および画像処理方法
US9019275B2 (en) * 2010-10-01 2015-04-28 Lucid Software, Inc. Manipulating graphical objects
JP4964992B2 (ja) 2011-01-19 2012-07-04 富士フイルム株式会社 撮影装置及びその画像記録方法
KR101811717B1 (ko) * 2011-11-14 2018-01-25 삼성전자주식회사 줌 제어 방법 및 장치와, 디지털 촬영 장치
KR101788740B1 (ko) * 2011-11-15 2017-10-20 삼성전자주식회사 피사체 검출 방법 및 장치와, 디지털 촬영 장치
KR101817657B1 (ko) * 2011-12-21 2018-01-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
US20130223697A1 (en) 2013-08-29
US9117110B2 (en) 2015-08-25

Similar Documents

Publication Publication Date Title
CN109565551B (zh) 对齐于参考帧合成图像
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
WO2019105154A1 (en) Image processing method, apparatus and device
EP3480784B1 (en) Image processing method, and device
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
JP5803467B2 (ja) 画像処理装置および撮像装置、ならびに画像処理方法
KR102512889B1 (ko) 이미지 융합 프로세싱 모듈
KR102424984B1 (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
US9049372B2 (en) Electronic camera, computer readable medium recording imaging control program thereon and imaging control method
US20140064617A1 (en) Image generation apparatus, image generation method, and recording medium
JP2012164002A (ja) 撮像装置および撮像方法
CN113610865B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
KR101661211B1 (ko) 얼굴 인식률 개선 장치 및 방법
KR20130098675A (ko) 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치
JP5581728B2 (ja) 画像処理装置及び方法、並びにプログラム
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP7401246B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US10880457B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
CN115037867B (zh) 拍摄方法、装置、计算机可读存储介质及电子设备
JP6024135B2 (ja) 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
CN111277752B (zh) 提示方法、装置、存储介质及电子设备
US20130321690A1 (en) Methods and Apparatus for Refocusing via Video Capture
US9135687B2 (en) Threshold setting apparatus, threshold setting method and recording medium in which program for threshold setting method is stored

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid