KR20100072772A - 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법 - Google Patents

스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법 Download PDF

Info

Publication number
KR20100072772A
KR20100072772A KR1020080131279A KR20080131279A KR20100072772A KR 20100072772 A KR20100072772 A KR 20100072772A KR 1020080131279 A KR1020080131279 A KR 1020080131279A KR 20080131279 A KR20080131279 A KR 20080131279A KR 20100072772 A KR20100072772 A KR 20100072772A
Authority
KR
South Korea
Prior art keywords
image
face
foreground image
foreground
face pattern
Prior art date
Application number
KR1020080131279A
Other languages
English (en)
Inventor
최승민
조재일
장지호
황대환
김도형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131279A priority Critical patent/KR20100072772A/ko
Priority to US12/546,169 priority patent/US20100158387A1/en
Publication of KR20100072772A publication Critical patent/KR20100072772A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴 검출 시스템 및 그 방법이 개시된다. 이 얼굴 검출 시스템 및 그 방법에서는 스테레오 비전 처리부가 구비됨으로써, 전경과 배경으로 이루어진 전체 영상에 대해 얼굴 검출 작업이 수행되지 않고, 전체 영상 중 얼굴 패턴이 포함된 전경에 대해서만 얼굴 검출 작업이 수행된다. 따라서, 전체 영상에 대한 얼굴 검출 작업에 소요되는 처리시간이 대폭 감소되어 얼굴 검출을 위한 전체 시스템의 처리속도가 향상된다.
Figure P1020080131279
디스패러티(Disparity), 스테레오 정합

Description

스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법{METHOD AND APPARATUS FOR REAL-TIME FACE DETECTION USING STEREO VISION}
본 발명은 지능형 로봇의 HRI(Human Robot Interaction) 기술 중 영상을 기반으로 한 얼굴 검출 시스템 및 그 방법에 관한 것으로서, 특히 스테레오 비전으로부터 획득된 영상 정보를 이용하여 실시간 얼굴 검출 시스템 및 그 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원 IT성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-037-01, 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발].
일반적으로 사용자 인증, 보안 시스템 및 HRI(Human Robot Interaction) 기술 분야에서, 얼굴 인식(Face Recognition) 기술이 널리 사용되고 있다. 이러한 얼굴 인식 기술은 ID 카드 방식 및 지문 인식 기술과는 달리 비접촉식 방식이다. 따라서, 얼굴 인식 기술은 접촉방식에 따른 거부감이나 불편함이 없고, 부가적인 센서 장비가 필요 없다는 측면에서 널리 사용되고 있다.
이러한 얼굴 인식 기술에는 전처리 단계(pre-processing step)에 해당하는 얼굴 검출(Face Detection) 기술이 요구된다. 얼굴 검출 기술은 기본적으로 얼굴 영상으로부터 얼굴 패턴(face patterns)과 비 얼굴 패턴(non-face patterns)을 분류하는 과정을 통해 구현된다.
기존의 얼굴 검출 기술에는 스킨 컬러 기반 기법(Skin Color based approach), 서포트 벡터 머신 기법(Support Vector Machine approach: SVM), 가우시안 혼합 기법(Gaussian Mixture approach), 최대 유사 기법(Maximum likelihood approach), 신경망 기법(Neural Network approach) 등이 있다.
이러한 기술들을 하드웨어로 구현하기 위해서는, 기본적으로 얼굴 패턴에 대한 정보와 비 얼굴 패턴에 대한 정보가 등록된 데이터 베이스의 구축과 얼굴의 특징(feature)에 대한 코스트 값(cost value)이 저장된 룩-업 테이블(look-up table)이 요구된다. 여기서, 코스트 값이란 내부적으로 수집된 통계 정보에 기초하여 얼굴 존재 가능성을 수치로 나타낸 예측 값이다. 이러한 기술들은 방대한 양의 정보가 등록된 데이터 베이스와 룩-업 테이블의 구현으로서, 비교적 우수한 얼굴 검출 성능이 보장될 수 있다.
그러나, 기존의 얼굴 검출 기술들은 룩-업 테이블에 액세스하는데 소요되는 시간, 룩-업 테이블의 크기 조정(scaling) 및 덧셈 등의 과도한 연산이 요구되어, 실시간의 얼굴 검출 성능을 제공하지 못한다.
따라서, 본 발명의 목적은 고속의 실시간으로 얼굴을 검출할 수 있는 얼굴 검출 시스템 및 그 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 얼굴 검출 시스템은 얼굴 패턴이 포함된 복수의 영상을 이용하여 거리 정보를 계산하고, 계산된 거리 정보에 근거하여 상기 얼굴 패턴이 포함된 전경 영상과 상기 얼굴 패턴이 포함되지 않은 배경영상을 분리하는 비전 처리부와, 상기 거리 정보에 따라 상기 전경 영상의 영상 크기를 조정하고, 상기 조정된 전경 영상으로부터 상기 얼굴 패턴을 검출하는 얼굴 검출부를 포함한다.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 일면에 따른 얼굴 검출 시스템은 객체와의 거리 정보를 계산하고, 계산된 거리 정보에 기초하여 얼굴 패턴이 포함된 전경 영상을 추출하는 비전 처리부와, 상기 거리 정보에 따라 상기 전경 영상의 영상 크기를 조정하는 영상 크기 조정부와, 상기 영상 크기가 조정된 전경 영상을 소정 각도 단위로 회전시키는 영상 회전부와, 상기 회전된 전경 영상을 전처리 영상으로 변환하는 영상 변환부 및 상기 전처리 영상으로부터 얼굴 존재 가능성을 수치로 나타낸 코스트 값들을 산출하고, 상기 산출된 코스트 값들을 이용하여 상기 전처리 영상에 대응하는 상기 전경 영상으로부터 얼굴 패턴을 검출하는 얼굴 검출부를 포함한다.
상기와 같은 목적을 달성하기 위한 본 발명의 또 다른 일면에 따른 얼굴 검출 방법은 객체와의 거리 정보와 상기 객체의 얼굴 패턴이 포함된 스테레오 정합 영상을 획득하는 단계와, 상기 스테레오 정합 영상으로부터 얼굴 패턴이 포함된 전경 영상과 얼굴 패턴이 포함되지 않은 배경 영상을 분리하는 단계와, 상기 거리 정보를 이용하여 상기 전경 영상의 영상 크기를 조정하는 단계와, 상기 영상 크기가 조정된 전경 영상을 소정 각도 단위로 회전시키는 단계 및 상기 회전된 전경 영상으로부터 얼굴 패턴을 검출하는 단계를 포함한다.
본 발명에 의하면, 스테레오 비전 처리부를 구비함으로써, 전경과 배경으로 이루어진 전체 영상에 대해 얼굴 검출 작업이 수행되는 종래와는 달리 전체 영상 중 얼굴 패턴이 포함된 전경에 대해서만 얼굴 검출 작업이 수행되므로, 전체 영상에 대해 얼굴 검출 작업에 소요되는 처리시간이 대폭 감소된다. 따라서 얼굴 검출을 위한 전체 시스템의 처리속도가 향상된다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 실시예에 적용되는 아다부스트 기법을 설명하기 위한 흐름도이다.
도 1을 설명함에 있어서, 구체적인 수치를 이용하여 본 발명의 실시예에서 적용되는 아다부스트 기법에 대해 설명하기로 한다. 먼저, 입력 영상의 해상도는 320 x 240으로 가정한다. 이때, 각 픽셀 당 계조 값은 8비트의 데이터 비트로 표현되고, 전처리 영상으로부터 선택되는 블록의 크기는 20 x 20으로 가정한다.
도 1을 참조하면, 먼저, 320(가로 픽셀의 수)x 240(세로 픽셀의 수) 크기에 대응하는 8비트 계조 값을 갖는 입력 영상(또는 입력 영상 프레임)이 소정의 영상 기기(예컨대, 카메라)로부터 입력된다(S100).
이어, 얼굴의 특징(Feature)을 추출하기 위해 사전에 20 x 20 영상 크기의 룩-업 테이블(look-up table)을 작성하는 과정에서 활용된 얼굴 모델링 변환과 동일한 방식의 모델링 변환을 통해, 입력 영상이 다른 영상으로 변환된다. 이 영상 변환 과정에서, 입력 영상이 전처리 계수(pre-processing coefficient)로 이루어진 전처리 영상(pre-processing image)으로 변환된다(S110). 즉, 입력 영상의 각 픽셀의 계조 값이 전처리 계수 값으로 변환된다.
이어, 전처리 영상에서 좌측 상단부터 20 x 20 영상 크기의 블록이 구획되고(S120), 구획된 20 x 20 블록의 전처리 계수들로부터 각각의 코스트 값(cost value)을 산출한다. 20 x 20 전처리 계수들에 대응하는 코스트 값들의 산출은 상기 전처리 계수들에 대응하는 코스트 값이 기 저장된 20 x 20 룩-업 테이블(30: 도 2에 도시됨)을 참조함으로써, 이루어진다.
이어, 산출된 한 블록 내의 모든 코스트 값들의 총합이 산출되고, 코스트 값들의 총합은 사전에 설정된 임계 치(threshold)와 비교된다(S130). 만일, 코스트 값들의 총합이 임계 치보다 작으면, 상기 코스트 값들의 총합에 대응하는 상기 블록은 얼굴 패턴으로 판별되고, 얼굴 패턴으로 판별된 블록에 대한 모든 정보들이 저장 매체에 저장된다(S180).
이어, 상기 전처리 영상에 대해 한 픽셀씩 오른쪽으로 옮겨 가면서 20 x 20 블록을 다시 구획하는 방식으로 상기 전처리 영상 전체에 대해 상기 과정들(S110~S140)이 반복적으로 수행된다.
이어, 영상 촬영 기기로부터 다양한 거리에 존재하는 얼굴을 검출하기 위하여 다시 말해, 20 x 20 영상 크기보다 더 크게 존재하는 얼굴을 검출하기 위해 상기 영상 기기로부터 획득되는 입력 영상의 크기 조정(scaling)이 수행된다(S150). 예컨대, 입력 영상의 스케일-다운(scale-down) 과정이 수행된다(S160). 이렇게 크기 조정이 수행된 입력 영상에 대해서 상기 과정들(S120, S130, S140, S180)이 재차 수행된다. 최종적으로, 상기 과정(S180)을 통해 모든 블록들에 블록 정보가 저장 매체로부터 출력된다(S170).
도 2는 도 1에서의 코스트 값의 산출 과정을 보여주기 위한 도면이다.
도 2를 참조하면, 입력 영상의 해상도는 320 x 240으로 가정이고, 각 픽셀 당 계조 값은 8비트의 데이터 비트로 표현되는 것으로 가정한다. 또한, 전처리 영상으로부터 선택되는 블록의 크기는 20 x 20으로 가정한다. 이때, 상기 전처리 영상으로부터 선택되는 블록의 크기와 룩-업 테이블(130)의 크기는 동일하다. 따라서, 룩-업 테이블(130)의 가로 길이는 20이고, 세로 길이는 20이다. 여기서, 상기 룩-업 테이블(130)의 깊이는 Zp로 이고, 상기 Zp는 2의 9승인 512로 가정한다. 여기서, 룩-업 테이블(130)의 깊이는 전처리 영상의 단위 픽셀의 데이터 비트의 이진 트리(binary tree)의 수로 정의된다. 따라서 본 실시예에서는 상기 전처리 영상의 단위 픽셀의 데이터 비트의 수는 9이다. 요약하면, Xn은 전처리 영상의 해당 블록의 가로 좌표이고, 동시에 룩-업 테이블(30)의 가로 좌표이고, Ym은 전처리 영상의 해당 블록의 세로 좌표이고, 동시에 룩-업 테이블(30)의 세로 좌표이고, Zp는 좌표(Xn, Ym)에 대응하는 전처리 영상의 계수 값이고, 동시에 룩-업 테이블(30)의 깊 이 좌표이다.
QVGA(Quarter Video Graphics Array)급의 pixel 해상도(320 x 240)를 가지는 입력 영상이 입력되고(S100), 이어, 변환 과정을 통해, 상기 입력 영상이 전처리 영상으로 변환된다. 이 변환 과정에서, 한 픽셀에 대응하는 8 비트의 계조 값은 9 비트의 전처리 계수 값으로 변환된다.
상기 전처리 영상의 좌측 상단부터 우측 하단까지 총 66,000(=(320-10-10) (240-10-10))개의 전처리 계수 값(이하, 계수 값)이 구성되고, 구성된 각 계수 값을 중심으로 20 x 20 블록들이 선택된다(S120). 따라서, 각 블록에는 9 비트 계수 값이 400개씩 존재한다.
한 블록 내의 계수 값의 위치 좌표(Xn, Ym)와, 상기 위치 좌표(Xn, Ym)에 저장되는 9 비트의 계수 값은 상기 룩-업 테이블(130)에 액세스하기 위한 어드레스로서 이용된다.
이후, 룩-업 테이블(130)에서는 상기 어드레스에 대응하는 1개의 코스트 값이 출력된다. 이후, 한 블록 내에 존재하는 나머지 399개의 코스트 값이 출력된다. 총 400개의 코스트 값이 룩-업 테이블(30)로부터 독출되면, 독출된 400개의 코스트 값이 모두 합산되고, 합산된 코스트 값과 기 설정된 임계 치(Threshold)가 비교된다(S130).
예컨대, 합산된 코스트 값이 기 설정된 임계 치보다 작으면, 해당 블록은 얼굴 패턴으로 판별된다. 이후, 얼굴 패턴으로 판별된 해당 블록의 정보는 저장매체에 저장된다(S180).
이후, 전처리 영상에 대해 한 픽셀씩 옮기는 방식으로 상기 과정들(S120, S130)이 66000번 반복하여 수행되고(S140), 입력 영상의 크기가 가로 k %씩, 세로 k %씩 축소(scale-down)되어, 상기 과정들(S110 ~ S140)이 반복된다. 여기서, k는 얼굴 검출 성공률과 연산 속도 간의 트레이드 오프(trade-off)를 고려하여 적절히 설정되어야 한다.
이 후 영상의 크기 조정(scaling)을 통해 블록의 크기가 20 x 20보다 작아지면, 크기 조정(scaling) 과정이 중단되고, 상기 과정(S180)에서 저장된 블록에 대한 좌표값들이 출력된다(S170).
이와 같이, 아다부스트 기법을 이용한 얼굴 검출 기술은, 룩-업 테이블이 정교하게 설계된다면, 90% 이상의 높은 얼굴 검출 성능을 제공한다. 그러나 전술한 바와 같이, 여러 번에 걸쳐 수행되는 영상의 크기 축소 과정(scale-down: S160)으로 인해 메모리 액세스 및 덧셈 연산을 포함하는 상기 과정들(S120 ~ S140)이 반복되어야 한다. 따라서, 초당 30프레임의 입력 영상이 입력되는 경우, 초당 계산해야 할 명령어 수가 수 기가를 초과하게 된다.
따라서, 아래에서는 연산 처리의 부하를 최소화하고, 룩-업 테이블(30)을 효율적으로 이용함으로써, 고속의 실시간으로 얼굴을 검출할 수 있는 아다부스트 기법을 기반으로 한 얼굴 검출 시스템이 제시된다.
본 발명의 아다부스트 기반의 얼굴 검출 시스템은 앞서 언급된 바와 같이 얼굴 특징점(코스트 값)에 대응하는 룩-업 테이블(20 x 20 크기 영상 = 400포인트)을 참조하여, 입력된 입력 영상을 20 x 20 윈도우 사이즈로 스캔하여, 얼굴을 검출한 다.
또한, 본 발명의 얼굴 검출 시스템은 카메라와 같은 영상 촬영 기기로부터 다양한 거리에 존재하는 얼굴을 검출하여야 하므로, 다시 말해, 20 x 20 영상 크기보다 더 크게 존재하는 얼굴을 검출하여야 하므로 입력 영상에 대한 스캔이 끝나면 88% 정도의 축소 비율로 입력 영상을 축소하여, 다시 20 x 20의 윈도우 사이즈로 상기 축소된 입력 영상을 스캔 한다.
이후, 입력 영상의 크기의 축소과정은 입력 영상의 크기가 룩-업 테이블 크기(예컨대, 20 x 20)와 동일해질 때까지 계속된다. 입력 영상의 크기가 룩-업 테이블의 크기와 동일해 지면 영상 크기의 축소과정은 중단된다.
이와 같이, 아다부스트 기법이 적용되는 도 1의 실시예에서는 룩-업 테이블(30)의 성능에 따라 높은 검출 성능이 확보된다. 그러나 영상 크기의 축소과정(S160), 메모리 액세스 및 덧셈 연산을 포함하는 과정들(S120~S140)이 반복되므로, 초당 30프레임으로 입력되는 입력 영상의 경우, 명령어의 개수가 수 기가(Giga)를 초과하여, 시스템의 연산 처리속도가 저하된다.
이에, 아래에서는 스테레오 비전 소자를 이용하여, 시스템의 연산 부하를 줄일 수 있는 보다 개선된 얼굴 검출 시스템의 바람직한 실시예가 기술된다.
도 3은 본 발명의 실시예에 따른 얼굴 검출 시스템의 블록도이다.
도 3을 참조하면, 발명의 실시예에 따른 얼굴 검출 시스템(300)은 스테레오 카메라부(310), 비전 처리부(320) 및 얼굴 검출부(330)를 포함한다.
스테레오 카메라부(310)는 좌측 카메라와 우측 카메라를 포함한다. 좌측 카 메라를 통해 실시간으로 얼굴의 좌측 부분에 대응하는 좌측 영상이 획득되고, 우측 카메라를 통해 실시간으로 얼굴의 우측 부분에 대응하는 우측 영상이 획득된다. 일례로, 좌/우측 카메라 각각은 CCD 또는 CMOS 카메라(100) 또는 USB 카메라(100)일 수 있다. 또한, 스테레오 카메라부(310)는, 두 카메라(312, 314)의 광축이 평행한 평행축 카메라와, 광축이 어느 점에서 교차하는 교차축 카메라 중 어느 하나로 구현될 수 있다.
비전 처리부(320)는 얼굴 패턴이 포함된 좌측 영상과 우측 영상 간의 디스패러티(disparity)로부터 거리 정보를 계산하고, 계산된 거리 정보에 근거하여 얼굴 패턴이 포함된 전경 영상과 얼굴 패턴이 포함되지 않은 배경 영상을 분리한다. 이에 대한 구체적인 설명은 도 4를 참조하여 상세히 기술된다.
얼굴 검출부(330)는 아다부스트 기법에 따라 상기 비전 처리부(320)에서 분리된 상기 전경 영상 대해서만 상기 얼굴 검출 작업을 수행한다. 이를 위하여, 얼굴 검출부(330)는 프레임 버퍼부(331), 영상 회전부(332), 영상 변환부(333), 윈도우 추출부(334), 코스트 계산부(335), 얼굴 패턴 판별부(336), 좌표 저장부(337), 영상 오버레이부(338) 및 영상 크기 조정부(339)를 포함한다.
프레임 버퍼부(331)는 비전 처리부(320)로부터 전경 영상을 입력 받아서, 프레임 단위로 순차적으로 저장한다. 여기서, 얼굴 패턴이 포함된 전경 영상은 320 x 240개의 픽셀 수를 포함하고, 각 픽셀은 8비트의 영상 데이터로 구성되는 것으로 가정한다. 따라서, 각 픽셀은 0 계조 값부터 255 계조 값 중 어느 하나의 계조 값을 갖는다.
영상 회전부(332)는 프레임 버퍼부(331)에 저장된 전경 영상을 프레임 단위로 입력 받고, 입력된 전경 영상에 포함된 얼굴 패턴이 기울어진 경우, 상기 전경 영상을 회전시킴으로써, 기울어진 얼굴 패턴을 바로 세운다. 즉, 얼굴 패턴이 기울어진 방향의 반대 방향으로 전경 영상을 회전시킴으로써, 기울어진 얼굴 패턴을 바로 세운다. 따라서, 본 발명에 실시예에 따른 얼굴 검출 시스템(300)에서는 기울어진 얼굴 패턴을 바로 세움으로써, 기울어진 얼굴 패턴에 대한 검출작업이 용이하게 수행된다.
영상 변환부(333)는 영상 회전부(332)를 통해 소정 방향으로 회전된 전경 영상을 프레임 단위로 입력 받고, 상기 회전된 전경 영상을 조명 등의 변화에 강건한 전처리 영상으로 변환한다. 이러한 영상 변환부(333)가 수정 센서스 변환(Modified Census Transform: MCT)과 같은 영상 변환 기법에 의해 영상을 변환하는 경우, 8비트의 영상 데이터가 1비트 증가한 9비트의 전처리 계수(pre-processing coefficient)값(이하, MCT 계수 값)으로 변환된다. 따라서, 전처리 영상의 각 픽셀은 0 계수 값부터 511 계수 값 중 어느 하나의 MCT 계수 값을 갖는다.
윈도우 추출부(334)는 영상 변환부(333)로부터 출력되는 전처리 영상을 20 x 20 윈도우 사이즈로 순차적으로 스캔하고, 20 x 20 윈도우 사이즈로 스캔된 전처리 영상에 대응하는 전처리 계수 값(9비트)들을 출력한다. 출력된 전처리 계수 값들은 미리 학습(또는 훈련)된 20 x 20 크기의 룩-업 테이블을 포함하는 코스트 계산부(335)로 입력된다.
코스트 계산부(335)에서는 윈도우 추출부(334)로부터 입력되는 20 x 20(총 400 픽셀)의 전처리 영상의 각 전처리 계수 값(9비트)을 어드레스로서 이용하여, 룩-업 테이블에 저장된 상기 400 픽셀에 대응하는 코스트 값들을 모두 독출한다. 이후, 코스트 계산부(335)는 독출된 400 픽셀에 대응하는 코스트 값들을 모두 합산하고, 합산된 코스트 값들의 총합을 20 x 20 윈도우 사이즈의 최종적인 코스트 값(이하, 블록 코스트 값)으로서, 얼굴 패턴 판별부(336)에 제공한다.
얼굴 패턴 판별부(336)는 상기 블록 코스트 값을 입력 받아서, 상기 블록 코스트 값과 기 설정된 임계 치를 비교한다. 비교 결과에 따라 해당 블록이 얼굴 패턴인지의 여부를 판별한다. 예컨대, 상기 블록 코스트 값이 상기 기 설정된 임계 치보다 작으면, 20 x 20 윈도우 사이즈의 해당 블록은 얼굴 패턴으로 판별된다. 얼굴 패턴 판별부(336)는 얼굴 패턴으로 판별된 해당 블록에 존재하는 모든 좌표 값들을 검출하여, 좌표 저장부(337)에 저장한다. 상기 좌표 저장부(337)에 저장된 좌표 값들은 영상 오버레이부(338)로 제공된다.
영상 오버레이부(338)는 좌표 저장부(337)로부터 제공되는 상기 좌표 값들과, 프레임 버퍼부(331)에 저장된 전경 영상을 제공받고, 상기 좌표 값들을 이용하여 프레임 버퍼부(331)로부터 제공된 전경 영상에 얼굴 패턴만 표시하는 오버레이 기능을 수행함으로써, 출력 영상을 출력한다.
한편, 상기 프레임 버퍼부(331)로부터 출력되는 전경 영상은 상기 영상 변환부(333)에 입력되는 동시에 상기 영상 크기 조정부(339)로 입력되어, 현재 크기의 영상에 대한 얼굴 검색과 영상 크기의 조정이 동시에 수행된다.
영상 크기 조정부(339)는 비전 처리부(320)에서 제공되는 거리 정보에 근거 하여 기 설정된 축소 비율로 전경 영상을 축소(scale-down)하고, 축소된 전경 영상을 다시 상기 프레임 버퍼부(331)에 저장한다.
도 3의 실시예에서는 따른 얼굴 검출 시스템(300)에서는 비전 처리부(320)로부터 제공되는 거리 정보를 통해 전경 영상의 축소비율이 결정된다. 따라서, 카메라와 얼굴 간의 거리 정보의 부재로 인하여, 영상 크기의 조정과정이 수 차례 반복되는 도 1의 실시예와는 달리 보다 개선된 도 3의 실시예에서는 비전 처리부(320)에서 제공되는 거리 정보에 따라 상기 전경 영상의 축소비율이 고정된다. 즉, 도 3의 실시예에서는 고정된 전경 영상의 축소비율에 따라 고작 1회 또는 2회의 영상 크기의 조정횟수가 요구될 뿐이다. 이와 같이, 보다 개선된 도 3의 실시예에서는 영상 크기의 조정횟수가 최소화됨으로써, 얼굴을 검출하는데 소요되는 전체 처리 시간이 절감되어, 전체 시스템(300)의 처리속도가 향상된다.
또한, 보다 개선된 도 3의 얼굴 검출 시스템(300)에서는 얼굴 패턴이 포함되는 전경 영상과 얼굴 패턴이 포함되지 않은 배경 영상이 분리되어, 배경영상이 배제된 전경 영상만이 얼굴 검출부(330)로 제공되므로, 얼굴 검출부(330)에서는 얼굴 패턴이 포함된 전경 영상에 대해서만 얼굴 검출 작업이 수행된다. 이로 인해, 얼굴 검출부(330) 내부에 구비된 코스트 계산부(335)에서 수행되는 코스트 값들의 계산 과정과, 얼굴 패턴 판별부(336)에서 수행되는 계산된 코스트 값들의 총합과 임계 치를 비교하는 비교 연산 과정이 얼굴 패턴이 포함된 전경영상에 대해서만 수행되므로, 상기 코스트 계산부(335)와 상기 얼굴 패턴 판별부(336)의 연산처리 속도가 향상되고, 전체 시스템(300)의 처리 속도가 향상된다.
또한, 앞서 설명한 바와 같이, 도 3의 얼굴 검출부(330)에서는 비전 처리부(320)를 통해 획득된 거리 정보에 따라 영상의 축소 비율이 고정되므로, 전체 처리 시간이 절약된다. 이 절약된 처리 시간 동안, 상기 얼굴 검출부(330)에 구비된 영상 회전부(332)가 기울어진 얼굴 패턴이 포함된 전경 영상을 회전시킴으로써, 기울어진 얼굴 패턴에 대한 얼굴 검출 작업이 용이하게 수행된다. 물론 전경 영상에 기울어진 얼굴 패턴이 포함되지 않은 경우, 영상 회전부(332)에 의한 전경 영상의 회전은 이루어지지 않는다. 즉, 영상 회전부(332)는 프레임 버퍼부(331)로부터 현재 프레임의 전경 영상을 입력 받아서, 영상을 회전시키지 않고, 그대로 영상 변환부(333)로 제공할 수도 있다.
도 4는 도 3에 도시된 비전 처리부의 일례를 나타내는 블록 구성도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 얼굴 검출 시스템에 구비된 비전 처리부(320)는 입력 영상 전처리부(322) 스테레오 정합부(324), 입력 영상 후처리부(326) 및 ROI 분류기(328)를 포함한다.
입력 영상 전처리부(322)는 소정의 영상 처리 기법을 통해 카메라의 왜곡을 최소화함으로써, 스테레오 정합의 성능을 향상시키는 기능을 수행한다. 입력 영상 전처리부(120)에서 수행되는 영상 처리 기법에는 일례로 교정(Calibration), 스케일-다운 필터링(Scale-down Filtering), 수정(Rectification), 및 휘도 조절(Brightness Control) 등이 있다. 여기서, 수정(rectification)은 좌/우측 카메라를 통해 서로 다른 시점에서 각각 얻은 좌/우측영상을 동일한 평면에 투영시키는 호모그래피를 적용하여 원영상의 에피폴라 라인을 수평방향으로 정렬시키는 과정을 일컫는다.
스테레오 정합부(324)는 입력 영상 전처리부(322)에서 영상 처리된 좌측 영상과 우측 영상의 디스패러티(disparity) 값을 계산하여, 계산된 디스패러티 값을 밝기 정보로서 나타내는 기능을 수행한다. 즉, 스테레오 정합부(324)는 좌측 영상과 우측 영상 간의 서로 대응되는 부분(Stereo Matching)을 찾아 디스패러티 지도(disparity map)를 계산하고, 계산된 디스패러티 지도에 근거하여 스테레오 정합 영상을 생성한다. 이 스테레오 정합 영상에서는 카메라부(310)로부터 가까운 거리에 있는 물체는 밝게 표시되고, 멀리 있는 물체는 어둡게 표시됨으로써, 대상체의 거리 정보가 표시된다. 예컨대, 스테레오 카메라부(310)와 가까운 거리에 있는 얼굴 패턴을 포함하는 전경 부분은 밝게 표시되고, 배경 부분은 어둡게 표시된다.
입력 영상 후처리부(326)는 스테레오 정합부(324)에서 계산된 디스패러티 지도에 근거하여 깊이 지도(Depth map)를 계산하고, 계산된 깊이 지도에 따라 깊이 영상을 생성한다. 또한 입력 영상 후처리부(326)는 깊이 영상에 포함된 전경 영상과 배경 영상을 구분하는 객체 구분작업(Object segmentation)을 수행한다. 즉, 입력 영상 후처리부(326)는 디스패러티 지도를 이용하여 밝기 값이 비슷한 점들을 그룹화함으로써, 얼굴 패턴이 포함된 전경부분과 얼굴 패턴이 포함되지 않은 배경부분을 구분한다. 입력 영상 후처리부(326)는 구분된 전경 영상과 배경 영상을 각각 독립적으로 출력한다. 동시에 입력 영상 후처리부(326)는 구분된 전경 영상과 배경 영상의 거리 정보를 각각 산출한다. 산출된 전경부분의 거리 정보는 영상 크기 조정부(339)로 제공된다.
ROI(Region Of Interest: 관심영역) 분류기(328)는 깊이 영상과 스테레오 카메라부(310)로부터 제공되는 좌측 영상 및 우측 영상 중 어느 하나의 영상을 기준 영상으로 제공받는다. 관심영역 분류기(328)는 상기 깊이 영상에 포함된 깊이 정보에 따라 상기 기준 영상으로부터 전경 영상만을 관심영역으로 지정한다. 지정된 전경 영상을 출력한다. 따라서, 얼굴 검출 작업을 수행하는 ROI 분류기(328)의 뒷단에 구비된 블록들(331, 332, 333, 334, 335, 336, 337, 338, 339)은 얼굴 패턴이 포함된 상기 전경 영상에 대해서만 상기 얼굴 검출 작업을 수행하게 된다. 따라서, 보다 개선된 도 3의 실시예에 따른 얼굴 검출 시스템(300)은 상술한 바와 같은 비전 처리부(320)를 구비함으로써, 상기 비전 처리부(320)를 통해 획득된 얼굴 패턴이 포함된 전경 영상에 대해서만 얼굴 검출 작업이 수행된다. 따라서, 도 3에 도시된 윈도우 추출부(334)는 얼굴 패턴이 포함된 전경 영상에 대해서만 스캔과정을 수행함으로써, 전체 시스템(300)의 처리속도가 향상된다.
또한, 보다 개선된 본 발명의 실시예에 따른 얼굴 검출 시스템(300)은 도 3에 도시된 영상 크기 조정부(339)가 비전 처리부(320)로부터 획득된 거리 정보에 근거하여 얼굴 패턴이 포함된 전경 영상의 축소비율을 미리 결정한다. 따라서, 도 1의 영상 크기 조정(S150, S160)의 반복 횟수가 최소화되고, 이로 인해 전체 시스템의 처리속도가 향상된다.
도 5는 도 3에 도시된 얼굴 검출 시스템을 이용한 얼굴 검출 방법의 바람직한 실시예를 도시한 흐름도이다. 단, 도 5에 도시된 흐름도에서는 기울어진 얼굴 패턴에 대한 얼굴 검출 작업이 수행되는 것으로 가정한다.
도 5를 참조하면, 먼저 스테레오 카메라부(310, 도 3에 도시됨)의 좌우 카메라(312, 314)를 통해 얼굴의 좌측 영상과 우측 영상을 포함하는 입력 영상이 획득된다(S510).
이어, 좌우 카메라를 통해 각각 획득된 좌측 영상과 우측 영상으로 이루어진 스테레오 영상에 대해, 전처리 과정, 스테레오 정합 과정 및 후처리 과정으로 이루어진 스테레오 비전 처리과정이 수행된다(S512). 상기 후처리 과정에서는 스테레오 정합과정에서 생성된 디스패러티 지도를 이용하여 깊이 지도가 계산되고, 계산된 깊이 지도로부터 전경부분과 배경부분에 대한 거리 정보가 각각 산출된다.
또한 후처리 과정에서는 객체 구분과정을 통해 기준영상(예컨대, 좌측 영상)으로부터 얼굴 패턴이 포함된 전경 영상과 얼굴 패턴이 포함되지 않은 배경 영상이 구분된다.
이어, ROI 분류기(328, 도 4에 도시됨)를 통해 얼굴 패턴이 포함된 전경 영상이 관심영역(Region Of Interest)으로 설정된다(S514).
이어, 상기 산출된 거리 정보를 제공받은 영상 크기 조정부(339, 도 3에 도시됨)를 통해 산출된 축소비율에 따라 상기 전경 영상에 대한 영상 크기가 축소된다(S516). 이때, 앞서 언급한 바와 같이, 비전 처리부(320)로부터 획득된 거리 정보에 따라 상기 축소비율이 확정(또는 고정)된다. 따라서, 영상 크기의 축소비율을 단계적으로 조정하여 영상 크기를 축소하는 축소과정의 반복횟수가 대폭적으로 감소된다.
이어, 상기 축소된 전경 영상에 기울어진 얼굴 패턴이 포함된 경우, 상기 기 울어진 얼굴 패턴을 포함하는 전경 영상은 영상 회전부(332, 도 3에 도시됨)를 통해 얼굴 패턴이 기울어진 반대 방향으로 회전된다(S517). 물론, 전경 영상에 기울어진 얼굴 패턴이 포함되지 않은 경우, 전경 영상의 영상회전은 수행되지 않을 수도 있다.
이어, 영상축소와 동시에 영상회전이 이루어진 전경 영상이 전처리 계수(pre-processing coefficient)로 이루어진 전처리 영상(pre-processing image)으로 변환된다(S518). 즉, 전경 영상의 각 픽셀의 계조 값이 전처리 계수 값으로 변환된다.
이어, 상기 관심 영역(Region Of Interest)에 대응하는 전처리 영상에서 좌측 상단부터 20 x 20 영상 크기의 블록이 선택되고(S520), 구획된 20 x 20 블록의 전처리 계수 값들에 대응하는 코스트 값(cost value)들이 산출된다. 20 x 20 전처리 계수 값들에 대응하는 코스트 값들의 산출은 상기 전처리 계수들에 대응하는 코스트 값이 기 저장된 20 x 20 크기의 룩-업 테이블을 참조함으로써, 이루어진다.
이어, 산출된 한 블록 내의 모든 코스트 값들의 총합이 산출되고, 코스트 값들의 총합은 사전에 설정된 임계 치(threshold)와 비교된다(S522).
만일, 코스트 값들의 총합이 임계 치보다 작으면, 상기 코스트 값들의 총합에 대응하는 상기 블록은 얼굴 패턴으로 판별되고, 얼굴 패턴으로 판별된 블록에 대한 모든 정보들이 저장 매체에 저장된다(S524).
이어, 전처리 영상에 대해 한 픽셀씩 오른쪽으로 옮겨 가면서 20 x 20 블록을 다시 구획하는 방식으로 상기 전처리 영상 즉, 관심영역으로 설정된 상기 전경 영상 전체에 대해 상기 과정들(S518 ~ S522)이 반복적으로 수행된다.
이와 같이, 도 3 내지 도 5에 도시된 본 발명의 실시예에 따른 얼굴 검출 시스템 및 그 방법에서는, 얼굴 검출부(330)가 비전 처리부(320)를 통해 획득된 얼굴 패턴이 포함된 전경 영상에 대해서만 얼굴 검출 작업을 수행한다. 따라서 코스트 계산부(335)에서 수행되는 코스트 값들의 계산 과정과, 얼굴 패턴 판별부(336)에서 수행되는 계산된 코스트 값들의 총합과 임계 치를 비교하는 비교 연산 과정이 얼굴 패턴이 포함된 전경영상에 대해서만 수행되므로, 상기 코스트 계산부(335)와 상기 얼굴 패턴 판별부(336)의 연산처리 속도가 향상되고, 전체 시스템(300)의 처리 속도가 향상된다.
도 6은 도 1의 흐름도에 따라 얼굴 패턴이 검출되는 과정의 일부를 보여주는 예시도이고, 도 7은 본 발명의 실시예에 따른 도 5의 흐름도에 따라 얼굴 패턴이 검출되는 과정의 일부를 보여주는 예시도이다. 단, 도 6의 원영상은 전경과 배경이 분리되지 않은 영상으로 가정하고, 도 7의 원영상은 본 발명의 실시예에에 따라 설계된 비전 처리부(320, 도 3에 도시됨)에 의해 획득된 배경이 배제된 전경영상으로 가정한다. 또한, 도 6 및 도 7은 원영상(source image)으로부터 2명의 기울어진 얼굴 패턴들을 각각 검출하는 얼굴 검출 과정으로 가정한다.
도 6에 도시된 바와 같이, 도 1의 흐름도에 따라 얼굴 패턴이 검출되는 과정에서는, 다수의 영상 축소과정이 수행된다. 일례로, 도 6에서는 총 4단계에 걸쳐 원영상의 크기축소가 반복되고, 각 단계 별로 얼굴 패턴이 검출된다. 각 단계 별로 검출된 얼굴 패턴을 종합적으로 분석하여, 최종적으로 얼굴 패턴이 검출된다. 따라 서, 최종적으로 얼굴 패턴을 검출하는데 있어서, 많은 처리시간이 요구된다.
반면, 도 7에 도시된 바와 같이, 도 5의 흐름도에 따라 얼굴 패턴이 검출되는 과정에서는, 스테레오 비전 처리부(320, 도 3에 도시됨)를 통해 획득된 거리 정보에 따라 영상의 축소비율이 확정(또는 고정)된다. 따라서, 1단계 또는 최대 2단계에 걸쳐 원영상(이하, 전경 영상) 크기가 축소될 뿐이다. 따라서 처리 시간이 단축된다. 일례로, 도 7에서는 원영상의 축소횟수가 1회 수행된 예가 도시된다.
또한, 도 5의 흐름도에 따라 얼굴 패턴이 검출되는 과정에서는, 기울어진 얼굴 패턴을 검출하기 위하여, 영상 회전부(332, 도 3에 도시됨)를 통해 크기가 축소된 전경 영상이 회전된다.
도 7을 참조하면, 전경 영상을 정면에서 바라볼 때, 우측에 나타나는 기울어진 얼굴 패턴을 검출하기 위하여, 1회에 걸쳐 영상 크기가 축소된 전경 영상이 총 4 단계에 걸쳐 시계방향으로 회전된다. 일례로, 크기가 축소된 전경 영상이 각 단계 별로 5도씩 시계방향으로 회전된다.
전경 영상을 정면에서 바라볼 때, 좌측에 나타나는 얼굴 패턴을 검출하기 위하여, 1회에 걸쳐 영상 크기가 축소된 전경 영상이 총 4 단계에 걸쳐 반 시계방향으로 회전된다. 마찬가지로, 일례로, 크기가 축소된 전경영상이 각 단계 별로 5도씩 반 시계방향으로 회전된다. 따라서, 영상회전을 통해 기울어진 얼굴 패턴이 용이하게 검출될 수 있다.
이와 같이, 보다 개선된 본 발명의 실시 예에 따른 얼굴 검출 시스템(300, 도 3에 도시됨) 및 그 방법에서는 얼굴 패턴을 검출하기 위한 영상의 검색 영역이 전경부분으로 한정되므로, 전체 시스템의 처리시간이 절감된다. 또한, 영상 크기의 축소횟수가 절감되므로, 얻어지는 연산 처리 여유 시간 동안, 영상을 시계 또는 반 시계방향으로 회전시켜, 기울어진 얼굴 패턴도 용이하게 검출될 수 있다.
이러한 본 발명의 실시예에 따른 얼굴 검출 시스템(300) 및 그 방법이 실용화되면, 스테레오 비전 소자가 탑재된 저 성능의 시스템에서도 실시간 얼굴 검출이 가능하므로, 휴대형 장치나 이동 로봇에서도 실시간 얼굴 검출이 가능하다. 더 나아가, 고성능의 시스템에서는 CPU 부하를 최소화할 수 있다
이상, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 본 발명의 제어 방법을 실현하기 위한 프로그램이 기록된 기록매체의 형태 등 다양한 형태로 구현될 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 실시예에 적용되는 아다부스트 기법을 설명하기 위한 흐름도이다.
도 2는 도 1에서의 코스트 값의 산출 과정을 보여주기 위한 도면이다.
도 3는 본 발명의 실시예에 따른 얼굴 검출 시스템의 블록도이다.
도 4는 도 3에 도시된 비전 처리부의 바람직한 실시예를 나타낸 블록 구성도이다.
도 5는 도 3에 도시된 얼굴 검출 시스템을 이용한 얼굴 검출 방법의 바람직한 실시예를 도시한 흐름도이다.
도 6은 도 1의 흐름도에 따라 얼굴 패턴이 검출되는 과정의 일부를 보여주는 도면이다.
도 7은 본 발명의 실시예에 따른 도 5의 흐름도에 따라 얼굴 패턴이 검출되는 과정의 일부를 보여주는 도면이다.

Claims (15)

  1. 얼굴 패턴이 포함된 복수의 영상을 이용하여 거리 정보를 계산하고, 계산된 거리 정보에 근거하여 상기 얼굴 패턴이 포함된 전경 영상과 상기 얼굴 패턴이 포함되지 않은 배경영상을 분리하는 비전 처리부; 및
    상기 거리 정보에 따라 상기 전경 영상의 영상 크기를 조정하고, 상기 조정된 전경 영상으로부터 상기 얼굴 패턴을 검출하는 얼굴 검출부
    를 포함하는 것인 얼굴 검출 시스템.
  2. 제1항에 있어서, 상기 얼굴 패턴이 포함된 좌측 영상과 우측 영상을 포함하는 상기 복수의 영상을 수집하는 것인 스테레오 카메라부를 더 포함하는 것인 얼굴 검출 시스템.
  3. 제2항에 있어서, 상기 비전 처리부는,
    상기 수집된 좌측 영상과 우측 영상 간의 디스패러티(disparity) 값을 계산하고, 상기 계산된 디스패러티 값에 근거하여 밝기 정보로 표시되는 스테레오 정합 영상을 생성하는 스테레오 정합부;
    상기 계산된 디스패러티 값에 근거하여 깊이 지도(Depth Map)를 계산하고, 계산된 깊이 지도에 따라 상기 스테레오 정합 영상으로부터 상기 전경 영상과 상기 배경 영상을 구분하는 객체구분(Object segmentation)을 수행하는 후처리부; 및
    상기 구분된 전경 영상을 관심 영역으로 설정하고, 상기 계산된 깊이 지도에 근거하여 상기 거리 정보를 계산하는 관심영역 분류기
    를 포함하는 것인 얼굴 검출 시스템.
  4. 제1항에 있어서, 상기 얼굴 검출부는,
    상기 거리 정보에 따라 상기 전경 영상의 크기를 조정하는 영상 크기 조정부;
    크기가 조정된 상기 전경 영상을 전처리 영상으로 변환하는 영상 변환부;
    상기 전처리 영상을 기 설정된 윈도우 사이즈로 스캔하고, 상기 스캔된 전처리 영상에 대응하는 전처리 계수 값들을 출력하는 윈도우 추출부;
    상기 전처리 계수 값들에 대응하는 코스트 값들을 산출하는 코스트 계산부; 및
    상기 코스트들 값들의 총합과 기 설정된 임계치를 비교하여, 상기 전경 영상에 포함된 상기 얼굴 패턴을 판별하는 얼굴 패턴 판별부
    를 포함하는 얼굴 검출 시스템.
  5. 객체와의 거리 정보를 계산하고, 계산된 거리 정보에 기초하여 얼굴 패턴이 포함된 전경 영상을 추출하는 비전 처리부;
    상기 거리 정보에 따라 상기 전경 영상의 영상 크기를 조정하는 영상 크기 조정부;
    상기 영상 크기가 조정된 전경 영상을 소정 각도 단위로 회전시키는 영상 회전부;
    상기 회전된 전경 영상을 전처리 영상으로 변환하는 영상 변환부; 및
    상기 전처리 영상으로부터 얼굴 존재 가능성을 수치로 나타낸 코스트 값들을 산출하고, 상기 산출된 코스트 값들을 이용하여 상기 전처리 영상에 대응하는 상기 전경 영상으로부터 얼굴 패턴을 검출하는 얼굴 검출부
    를 포함하는 것인 얼굴 검출 시스템.
  6. 제5항에 있어서, 상기 영상 회전부는 상기 전경 영상에 기울어진 얼굴 패턴이 존재하는 경우, 상기 얼굴 패턴이 기울어진 반대 방향으로 상기 소정 각도 단위로 상기 전경 영상을 회전시키는 것인 얼굴 검출 시스템.
  7. 제6항에 있어서, 상기 영상 회전부는 상기 전경 영상에 복수의 얼굴 패턴이 존재하는 경우, 각 얼굴 패턴들 별로 상기 전경 영상을 회전시키는 것인 얼굴 검출 시스템.
  8. 제5항에 있어서, 상기 영상 회전부는 상기 전경 영상에 기울어진 얼굴 패턴이 존재하지 않는 경우, 상기 전경 영상을 회전시키지 않고, 그대로 상기 영상 변환부에 제공하는 것인 얼굴 검출 시스템.
  9. 제5항에 있어서, 상기 얼굴 검출부는 상기 전경 영상이 얼굴 패턴으로 판별되면, 상기 전경 영상에 대응하는 상기 전처리 영상 내의 모든 좌표 값들을 결과값으로서 출력하는 것인 얼굴 검출 시스템.
  10. 제9항에 있어서, 상기 얼굴 검출부는,
    상기 비전 처리부에 의해 추출된 상기 전경 영상을 프레임 단위로 저장하는 프레임 버퍼;
    상기 좌표 값들을 저장하는 좌표 저장부; 및
    상기 좌표 저장부에 저장된 좌표 값들과, 상기 프레임 버퍼에 저장된 상기 전경 영상을 제공받고, 상기 저장된 좌표 값들을 이용하여 상기 전경 영상에 얼굴 패턴을 표시하는 영상 오버레이부
    를 포함하는 것인 얼굴 검출 시스템.
  11. 객체와의 거리 정보와 상기 객체의 얼굴 패턴이 포함된 스테레오 정합 영상을 획득하는 단계;
    상기 스테레오 정합 영상으로부터 얼굴 패턴이 포함된 전경 영상과 얼굴 패턴이 포함되지 않은 배경 영상을 분리하는 단계;
    상기 거리 정보를 이용하여 상기 전경 영상의 영상 크기를 조정하는 단계;
    상기 영상 크기가 조정된 전경 영상을 소정 각도 단위로 회전시키는 단계; 및
    상기 회전된 전경 영상으로부터 얼굴 패턴을 검출하는 단계
    를 포함하는 것인 얼굴 검출 방법.
  12. 제11항에 있어서, 상기 스테레오 정합 영상을 획득하는 단계는,
    상기 얼굴 패턴이 포함된 좌측 영상과 우측 영상을 포함하는 복수의 영상을 획득하는 단계; 및
    상기 좌측 영상과 상기 우측 영상을 스테레오 정합시켜 상기 스테레오 정합 영상을 획득하는 단계
    를 포함하는 것인 얼굴 검출 방법.
  13. 제12항에 있어서, 상기 전경 영상과 상기 배경 영상을 분리하는 단계는,
    상기 복수의 영상들 간의 디스패러티 값을 산출하는 단계;
    상기 디스패러티 값을 이용하여 깊이 지도를 생성하고, 상기 깊이 지도로부터 상기 전경 영상과 상기 배경 영상을 구분하는 단계; 및
    상기 구분된 전경 영상을 관심영역을 설정하고, 상기 깊이 지도로부터 상기 거리 정보를 산출하는 단계
    를 포함하는 것인 얼굴 검출 방법.
  14. 제11항에 있어서, 상기 전경 영상을 회전시키는 단계는,
    기울어진 얼굴 패턴이 존재하는 상기 전경 영상을 입력 받는 단계; 및
    상기 얼굴 패턴이 기울어진 방향의 반대 방향으로 상기 전경 영상을 소정 각도로 회전시키는 단계
    를 포함하는 것인 얼굴 검출 방법.
  15. 제13항에 있어서, 상기 얼굴 패턴을 검출하는 단계는,
    상기 회전된 상기 전경 영상을 전처리 영상으로 변환하는 단계;
    상기 변환된 전처리 영상을 기 설정된 윈도우 사이즈로 스캔하고, 상기 스캔된 전처리 영상에 대응하는 전처리 계수 값들을 산출하는 단계;
    상기 산출된 전처리 계수 값들에 대응하는 코스트 값들을 산출하여, 모두 합산하는 단계; 및
    상기 합산된 코스트 값들의 총합과 기 설정된 임계 치를 비교하고, 비교 결과에 따라 상기 윈도우 사이즈에 대응하는 전경 영상이 상기 얼굴 패턴인지를 판별하는 단계
    를 포함하는 것인 얼굴 검출 방법.
KR1020080131279A 2008-12-22 2008-12-22 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법 KR20100072772A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080131279A KR20100072772A (ko) 2008-12-22 2008-12-22 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
US12/546,169 US20100158387A1 (en) 2008-12-22 2009-08-24 System and method for real-time face detection using stereo vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131279A KR20100072772A (ko) 2008-12-22 2008-12-22 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20100072772A true KR20100072772A (ko) 2010-07-01

Family

ID=42266211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131279A KR20100072772A (ko) 2008-12-22 2008-12-22 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US20100158387A1 (ko)
KR (1) KR20100072772A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134090A (ko) * 2013-05-13 2014-11-21 삼성전자주식회사 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
KR101534776B1 (ko) * 2013-09-16 2015-07-09 광운대학교 산학협력단 깊이 정보를 이용한 템플릿 매칭 기반 고속 얼굴 추적 방법
US9311524B2 (en) 2011-12-12 2016-04-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
CN109711318A (zh) * 2018-12-24 2019-05-03 北京澎思智能科技有限公司 一种基于视频流的多人脸检测与跟踪方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
KR20110026214A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 얼굴 검출 장치 및 방법
KR101605168B1 (ko) * 2010-01-04 2016-03-22 삼성전자주식회사 이미지 처리 장치 및 방법
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) * 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
JP5323222B2 (ja) * 2012-03-09 2013-10-23 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
DE102012209316A1 (de) * 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
CN103514429B (zh) * 2012-06-21 2018-06-22 夏普株式会社 检测对象的特定部位的方法及图像处理设备
KR20140099098A (ko) * 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
KR101784639B1 (ko) 2013-08-19 2017-10-11 노키아 테크놀로지스 오와이 객체 검출 및 세그먼트화를 위한 방법, 장치 및 컴퓨터 프로그램 제품
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
WO2016154123A2 (en) 2015-03-21 2016-09-29 Mine One Gmbh Virtual 3d methods, systems and software
US10853625B2 (en) * 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
KR102442594B1 (ko) * 2016-06-23 2022-09-13 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
US10535142B2 (en) 2017-01-10 2020-01-14 Electronics And Telecommunication Research Institute Method and apparatus for accelerating foreground and background separation in object detection using stereo camera
CN107977636B (zh) * 2017-12-11 2021-11-30 北京小米移动软件有限公司 人脸检测方法及装置、终端、存储介质
US10776939B2 (en) * 2018-04-03 2020-09-15 Altumview Systems Inc. Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles
CN109614848B (zh) 2018-10-24 2021-07-20 百度在线网络技术（北京）有限公司 人体识别方法、装置、设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128397A (en) * 1997-11-21 2000-10-03 Justsystem Pittsburgh Research Center Method for finding all frontal faces in arbitrarily complex visual scenes
JP4434236B2 (ja) * 2007-06-11 2010-03-17 ソニー株式会社 画像処理装置、画像表示装置、撮像装置、これらの処理方法およびプログラム
US20100220932A1 (en) * 2007-06-20 2010-09-02 Dong-Qing Zhang System and method for stereo matching of images
JP4904243B2 (ja) * 2007-10-17 2012-03-28 富士フイルム株式会社 撮像装置及び撮像制御方法
US8073243B2 (en) * 2008-05-30 2011-12-06 General Instrument Corporation Replacing image information in a captured image

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311524B2 (en) 2011-12-12 2016-04-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
KR20140134090A (ko) * 2013-05-13 2014-11-21 삼성전자주식회사 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
KR101534776B1 (ko) * 2013-09-16 2015-07-09 광운대학교 산학협력단 깊이 정보를 이용한 템플릿 매칭 기반 고속 얼굴 추적 방법
CN109711318A (zh) * 2018-12-24 2019-05-03 北京澎思智能科技有限公司 一种基于视频流的多人脸检测与跟踪方法
CN109711318B (zh) * 2018-12-24 2021-02-12 北京澎思科技有限公司 一种基于视频流的多人脸检测与跟踪方法

Also Published As

Publication number Publication date
US20100158387A1 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
KR20100072772A (ko) 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
US10990191B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US20200167554A1 (en) Gesture Recognition Method, Apparatus, And Device
US9818023B2 (en) Enhanced face detection using depth information
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
US6526161B1 (en) System and method for biometrics-based facial feature extraction
JP5726125B2 (ja) 奥行き画像内の物体を検出する方法およびシステム
CN110348263B (zh) 一种基于图像识别的二维随机码图像识别与提取方法
Jacquin et al. Automatic location tracking of faces and facial features in video sequences
EP2691915A1 (en) Method of facial landmark detection
JP2010262601A (ja) パターン認識システム及びパターン認識方法
CN110991398A (zh) 一种基于改进步态能量图的步态识别方法及系统
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
CN109074646B (zh) 图像识别装置以及图像识别程序
KR101192365B1 (ko) 얼굴 검출 시스템 및 그 방법
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
Gottumukkal et al. Real time face detection from color video stream based on PCA method
CN113014914B (zh) 一种基于神经网络的单人换脸短视频的识别方法和系统
CN112749713A (zh) 一种基于人工智能的大数据图像识别系统及方法
JP2005209137A (ja) 対象物認識方法及び対象物認識装置、並びに顔方向識別装置
KR20090042558A (ko) Ａａｍ을 이용한 얼굴검출 방법 및 장치
KR101426039B1 (ko) 얼굴/물체 인식을 위한 특징점 검출 장치 및 방법
CN108268824A (zh) 一种立体人脸跟踪及表情识别方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application