KR100343223B1 - 화자 위치 검출 장치 및 그 방법 - Google Patents

화자 위치 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR100343223B1
KR100343223B1 KR1019990055577A KR19990055577A KR100343223B1 KR 100343223 B1 KR100343223 B1 KR 100343223B1 KR 1019990055577 A KR1019990055577 A KR 1019990055577A KR 19990055577 A KR19990055577 A KR 19990055577A KR 100343223 B1 KR100343223 B1 KR 100343223B1
Authority
KR
South Korea
Prior art keywords
area
value
template
eye
search
Prior art date
Application number
KR1019990055577A
Other languages
English (en)
Other versions
KR20010054674A (ko
Inventor
강동중
류성걸
김지연
김창용
서양석
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019990055577A priority Critical patent/KR100343223B1/ko
Priority to US09/607,279 priority patent/US6611613B1/en
Priority to JP2000248307A priority patent/JP2001175869A/ja
Priority to NL1016006A priority patent/NL1016006C2/nl
Publication of KR20010054674A publication Critical patent/KR20010054674A/ko
Application granted granted Critical
Publication of KR100343223B1 publication Critical patent/KR100343223B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 입력된 영상 또는 비디오 영상에서 사람 얼굴의 위치를 발견하는 장치 및 그 방법에 관한 것이다. 본 발명에 의한 화자위치 검출장치는 입력된 RGB 영상에서, 강한 회색 특징을 나타내는 픽셀들을 검출하여 검출된 픽셀들이 형성하는 영역들 중에서 부분 응집 특성을 나타내고 텍스쳐 특징이 있는 영역들을 눈 후보 영역들로 결정하는 눈위치 검출수단; 눈 후보 영역들 중에서 2개씩 추출하여 미리 저장하고 있는 모델 템플레이트와 매칭시켜서 RGB 영상위에 복수 개의 탐색 템플레이트를 생성하고, 각 탐색 템플레이트에 대해 얼굴에 해당하는 색도값, 눈,코 및 입에 해당하는 수평 에지값들을 구하고, 탐색 템플레이트들중 색도값 및 수평 에지값에 대한 기준들을 최대로 만족하는 최적 탐색 플레이트를 결정하는 얼굴위치 결정수단; 및 영상의 한 프레임에 해당하는 크기의 형상 메모리를 구비하고, 최적 탐색 템플레이트내에서 얼굴이 포함되는 최소 외곽 사각형을 복수 개 구성하여, RGB 영상의 각 픽셀이 각 최소 외곽 사각형에 해당될 때마다 형상 메모리에 저장된 해당 픽셀의 카운트값을 증가시키고 최소 외곽 사각형 이외의 영역에 해당하면 카운트값을 감소시키면서 연속되는 영상 프레임에 대해 실시하되, 카운트값이 미리 정해진 임계치 이상인 픽셀들이 위치한 영역을 화자 위치 영역으로 출력하는 추출위치 안정화수단을 포함한다.

Description

화자 위치 검출 장치 및 그 방법{Apparatus for eye and face detection and method thereof}
본 발명은 영상 신호 처리에 관한 것으로서, 특히 카메라 센서를 통해 입력된 영상 또는 비디오 영상에서 나타나는 사람 얼굴의 특징 값을 해석하고 추출하여영상 내에서 사람 얼굴의 위치를 발견하는 장치 및 그 방법에 관한 것이다.
최근, 인공지능 분야에 관한 연구는 인간이 가지고 있는 인식 능력을 컴퓨터에 이식하여 컴퓨터나 기계에 지적인 능력을 부여하는 부분에 관심과 연구가 집중되고 있다. 특히, 인간의 시각 시스템을 이용한 얼굴인식 기술은 영상 처리, 패턴 인식 및 표정 연구 등의 컴퓨터 비전 및 영상 처리의 관련 분야 전반에 걸쳐 매우 활발하고 광범위하게 연구되고 있다.
입력되는 영상을 이용하여 얼굴 존재 유무 및 얼굴 영역을 검출하는 기술은 얼굴 인식 문제 뿐만 아니라 표정연구, 운전자 졸음 감지, 출입 관리, 영상 인덱싱등의 많은 응용 분야에서 매우 중요하게 인식되고 있다. 인간은 다양하고 동적인 환경 하에서도 쉽게 얼굴 영역을 찾아내지만, 컴퓨터를 이용하여 이러한 일을 수행하는 것은 비교적 간단한 배경을 가진 영상에서도 쉬운 문제가 아니다.
기존에 제안된 얼굴영역의 검출방법들 중 대표적인 방법들에는 미합중국 특허번호 US5680481의 신경망을 이용하는 방법, 미합중국 특허번호 US5710833의 밝기의 주성분(principal component) 분석 등과 같은 얼굴 밝기의 통계적 특징을 이용하는 방법, T.Poggio에 의해 [IEEE TPAMI20,1998]에서 제시된 정합방법 등이 존재한다. 그런데, 추출된 얼굴 후보 영상을 얼굴인식시스템의 입력으로 사용하기 위해서는 추출된 얼굴 후보 영역에서의 얼굴 구성요소나 얼굴에서 발생하는 특징의 정확한 위치를 검출하는 과정이 필요하다. 즉, 입력 영상을 모델과 비교하기 위해서는, 입력 영상에서 추출된 얼굴 영상과 모델 템플릿의 얼굴 영상 간의 크기, 회전방향 및 위치차이 등을 보상하기 위한 위치추출 및 크기 정규화 과정이 인식 및매칭 성능을 향상시키기 위해 필수적인 선결과정으로 요청된다. 대부분의 얼굴인식 시스템에서는 이러한 정렬 및 정규화 과정에서 필요한 기준이 되는 얼굴 구성요소로서 눈 영역 또는 눈동자의 중심 영역을 사용한다. 그 이유는 얼굴 영상의 크기, 표정, 자세, 조명 등의 변화가 발생하더라도 얼굴 구성요소들 중 상대적으로 그 특징이 불변하는 형태를 유지하는 부분이 눈 영역이기 때문이다.
이러한 눈 영역 또는 눈동자 중심위치를 영상에서 찾기 위한 많은 연구가 진행되어 왔다. 기존의 얼굴인식시스템에 적용되었던 방법들이 주로 눈동자의 검출방법에도 적용되어 왔다. 눈동자 검출방법들 중 대표적인 것으로는 다양한 크기의 눈 템플레이트를 만들고 입력 영상의 가우시안 피라밋(Gaussian pyramid) 영상을 구성하여 입력 영상 내의 모든 위치에서 정규화 상관계수법(normalized correlation)을 이용하여 눈동자를 탐색하는 방법이 일반적으로 적용되어 왔다[T.Poggio(IEEE TPAMI20,1998)]. 미합중국 특허번호 US5680481와 Moghaddam에 의한 [IEEE TPAMI19,1997]은 템플릿의 크기에 따라 눈, 코, 입 영역에 대한 고유행렬(eigen matrix)을 만들고, 템플릿 영상 내의 모든 영역에서 입력 영상과의 비교를 통해 관심 특징을 탐색한다. 이러한 두 가지 방법에서 발생하는 공통적인 문제는 영상에서 눈이나 코 등의 특징에 대한 크기나 방향, 위치 등에 대해서 미리 알 수 없기 때문에, 영상의 모든 영역에 대해 크기나 방향에 따라 분류된 여러 개의 모델 템플릿으로 탐색해야 한다는 것이다. 이것은 과도한 계산량을 발생시키며, 또한 위치 결정을 위한 임계값 결정, 과도한 오응답(false alarm) 처리 등의 문제로 인해 실제 시스템에 적용을 어렵게 만든다. 미합중국 특허번호 US5832115에서는 동심인 두 타원(concentric ellipses)들로 구성된 얼굴 경계 발견을 위한 템플릿을 구성하고, 두 타원들 사이의 영역에서 얼굴을 둘러싸는 에지 크기의 평가를 통해 얼굴 위치를 발견하였다. 이러한 방법에서도 타원 템플릿의 크기 및 방향을 결정하여야 하고 전체 영상 영역에서 탐색하여야 된다는 문제는 여전히 발생한다.
이러한 얼굴 위치 발견에 관한 문제를 해결하기 위해 최근 많은 연구가 칼라 영상을 이용하는 부분에 집중되어 왔다. 대부분의 칼라 영상에서는 얼굴색이나 피부색의 칼라값이 비교적 일반적인 통계값의 범위에 근접한다는 사실에 근거하여, 피부색을 검출함에 의해 얼굴 후보 영역을 추출하는 연구가 주류가 이룬다[J.Rehg (COMPAQ TR CRL9811,1998) & theirin references]. 이러한 연구는 최근 칼라 인덱싱이나 얼굴 추적 및 추출 등에 비교적 성공적으로 적용되어 왔다. 그러나 색에 의한 얼굴 위치 추출은 영상을 획득한 카메라나 조명색, 물체표면 및 상태 등의 영상획득 조건에 많은 영향을 받는다. 다른 카메라는 같은 환경 조건과 같은 사람에 대해서도 다른 칼라값을 준다. 특히, 조명에 따라 얼굴이나 피부색 값은 상당히 크게 변하며 영상획득 조건을 모를 경우, 얼굴색 영역만을 결정하기 위해 피부색의 값에 대한 범위를 결정하는데 어려움이 따른다. 또한, 배경 영역을 포함하면서 폭넓게 추출된 유사 피부색에 대해 얼굴 영역만을 결정하는 과정이 쉽지 않고, 많은 후처리 과정을 필요로 한다.
본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 영상에서 화자의 눈과 얼굴 위치를 정확하고, 빠르게 찾을 수 있으며, 영상잡음에도 강한 화자위치 검출장치 및 그 방법을 제공함을 목적으로 한다.
도 1은 본 발명의 전체 구성을 도시한 블록 구성도이다.
도 2는 눈위치 검출수단을 보다 상세히 도시한 블록 구성도이다.
도 3은 얼굴위치 결정수단을 보다 상세히 도시한 블록 구성도이다.
도 4는 추출위치 안정화수단을 보다 상세히 도시한 블록 구성도이다.
도 5는 얼굴 형상의 밝기 분포를 설명하기 위한 도면이다.
도 6a 내지 도 6d는 눈 후보 영역을 검출하는 과정을 설명하기 위한 도면이다.
도 7a 내지 도 7c는 얼굴 위치를 검출하는 과정을 설명하기 위한 도면이다.
도 8은 연속 MPEG 영상에서 얼굴 위치가 검출된 것을 예시적으로 보여주는 도면이다.
상기의 목적을 달성하기 위하여, 본 발명에 의한 화자위치 검출장치의 일실시예는 입력된 RGB 영상에서, 강한 회색 특징을 나타내는 픽셀들을 검출하여 검출된 픽셀들이 형성하는 영역들 중에서 부분 응집 특성을 나타내고 텍스쳐 특징이 있는 영역들을 눈 후보 영역들로 결정하는 눈위치 검출수단; 상기 눈 후보 영역들 중에서 2개씩 추출하여 미리 저장하고 있는 모델 템플레이트와 매칭시켜서 상기 RGB 영상위에 복수 개의 탐색 템플레이트를 생성하고, 상기 각 탐색 템플레이트에 대해 얼굴에 해당하는 색도값, 눈,코 및 입에 해당하는 수평 에지값들을 구하고, 상기 탐색 템플레이트들중 상기 색도값 및 수평 에지값에 대한 기준들을 최대로 만족하는 최적 탐색 플레이트를 결정하는 얼굴위치 결정수단; 및 영상의 한 프레임에 해당하는 크기의 형상 메모리를 구비하고, 상기 최적 탐색 템플레이트내에서 얼굴이 포함되는 최소 외곽 사각형을 복수 개 구성하여, 상기 RGB 영상의 각 픽셀이 상기 각 최소 외곽 사각형에 해당될 때마다 상기 형상 메모리에 저장된 해당 픽셀의 카운트값을 증가시키고 상기 최소 외곽 사각형 이외의 영역에 해당하면 카운트값을 감소시키면서 연속되는 영상 프레임에 대해 실시하되, 상기 카운트값이 미리 정해진 임계치 이상인 픽셀들이 위치한 영역을 화자 위치 영역으로 출력하는 추출위치 안정화수단을 포함한다.
상기의 다른 목적을 달성하기 위하여, 본 발명에 의한 화자위치 검출방법은 (a) 입력된 RGB 영상에서, 강한 회색 특징을 나타내는 픽셀들을 검출하여 검출된 픽셀들이 형성하는 영역들 중에서 부분 응집 특성을 나타내고 텍스쳐 특징이 있는 영역들을 눈 후보 영역들로 결정하는 단계; 상기 눈 후보 영역들 중에서 2개씩 추출하여 미리 저장하고 있는 모델 템플레이트와 매칭시켜서 상기 RGB 영상위에 복수 개의 탐색 템플레이트를 생성하고, 상기 각 탐색 템플레이트에 대해 얼굴에 해당하는 색도값, 눈,코 및 입에 해당하는 수평 에지값들을 구하고, 상기 탐색 템플레이트들중 상기 색도값 및 수평 에지값에 대한 기준들을 최대로 만족하는 최적 탐색 플레이트를 결정하는 단계; 및 영상의 한 프레임에 해당하는 크기의 형상 메모리를 구비하고, 상기 최적 탐색 템플레이트내에서 얼굴이 포함되는 최소 외곽 사각형을 복수 개 구성하여, 상기 RGB 영상의 각 픽셀이 상기 각 최소 외곽 사각형에 해당될 때마다 상기 형상 메모리에 저장된 해당 픽셀의 카운트값을 증가시키고 상기 최소 외곽 사각형 이외의 영역에 해당하면 카운트값을 감소시키면서 연속되는 영상 프레임에 대해 실시하되, 상기 카운트값이 미리 정해진 임계치 이상인 픽셀들이 위치한 영역을 화자 위치 영역으로 출력하는 단계를 포함한다.
이하에서 본 발명에 적용된 기본적인 개념을 설명한다.
본 발명에서는 다양한 칼라 영상에서 획득된 얼굴에서 나타나는 공통적인 특징의 분석을 통해 대표적인 얼굴 특징인 눈의 위치를 추출한다. 얼굴에서 눈은 기하학적으로 움푹 패인(concave) 형상을 가지기 때문에 눈의 밝기는 검은 동공을 가지지 않은 서양인의 경우라 하더라도 영상에서 그 칼라 특성은 강한 회색(strong gray) 성향을 나타낸다. 입력 칼라의 3가지 주성분들의 값이 눈 위치에서는 서로 비슷한 크기를 가지면서 밝기가 아주 낮은 특징을 나타낸다. 이러한 칼라 특성이 눈의 대표적인 칼라 특징이 된다. 또한 눈의 밝기 분포를 보면 눈동자와 동공 그리고 얼굴색 등의 밝기 교차가 조밀하게 집중되어 분포하기 때문에 눈동자의 윤곽이 나타나는 대부분의 영상에서 텍스춰(texture)가 존재하는 특징을 나타내게 된다. 또한 눈 위치는 주위의 얼굴색에 의해 둘러 싸여 있기 때문에 이러한 칼라 및 텍스춰의 두가지 특징이 집중되어 부분적으로 발생하는 특징을 나타낸다. 머리카락의 경우는 경계부에서 부분적으로 텍스춰와 강한 회색의 특징을 가지고 있지만 이러한 특징이 폭넓게 또는 길게 나타나는 특징이 있다. 따라서 머리카락의 경우는 부분 응집 특성(locality)을 만족하지 않는다.
본 발명은 이러한 3 가지의 중요한 특징을 눈 위치의 초기 검출을 위한 정보로 사용한다. 눈에서 발생하는 3가지 특징의 결합을 통해 눈 위치를 검출하고 뒤따라 오는 여러 후처리 과정의 결합과 얼굴인식 과정을 통해 정확한 눈위치를 추출하고, 이 정보를 이용하여 얼굴의 위치를 추출한다. 또한 이렇게 추출된 얼굴 위치정보를 이용하여 비디오폰의 화상 전송에서 관심 영역(region of INTERest:RoI) 응용에 적용한다.
이하에서, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1에 의하면, 본 발명에 의한 화자 위치 추출에 의한 화질 개선 장치의 일실시예는 입력영상에서 눈위치를 결정하는 눈위치 검출수단(10), 발견된 눈 위치 후보점을 이용하여 얼굴 템플레이트를 구성하고 눈과 얼굴 위치를 판별하기 위해 영상 데이타와 매칭하는 얼굴위치 결정수단(20) 및 추출된 눈과 얼굴위치가 영상에서 급격하게 변화하는 것을 막기 위한 추출위치 안정화수단(30)를 포함하여 구성된다.
도 2에 의하면, 본 발명에 의한 눈위치 검출수단(10)의 일실시예는 색 변환부(21), 강한 회색 추출부(22), 중간값 필터링부(23), 영역 형성부(24), 영역 형성 해석부(25), 텍스쳐 추출부(26), 눈후보 판별부(27)를 구비한다.
색 변환부(21)는 입력된 영상의 비디오 신호(YUV)를 3색 신호(RGB)로 변환한다.
강한 회색(Strong gray) 추출부(12)는 영상의 3색 신호를 해석하여 강한 회색 특징을 나타내는 픽셀들을 추출한다. 눈위치 검출수단(10)의 일실시예에서, 강한 회색 추출부(22)는 임의의 한 픽셀에 대해 칼라를 나타내는 색 요소의 최대값(maxc)과 최소값(minc)의 차이가 소정의 값(t1)보다 작고, 최대값(maxc)이 또 다른 소정의 값(t2)보다 작게 분포하면 강한 회색성향을 나타낸다는 특징을 이용한다. 여기서, 색 요소의 값들이 0 ~ 255의 값으로 표현될 때, t1은 55 ~ 65의 값들 중에서 결정되고, t2는 90 ~ 110의 값들 중에서 결정되는 것이 바람직하다. 그러나, 본 발명 범위는 상기 실시예에만 한정되어 해석되는 것이 아니라 강한 회색의 픽셀들을 추출하는 알려진 모든 방법이 포함되는 것으로 해석되어야 한다.
중간값(Median) 필터링부(23)는 추출된 픽셀들을 중간값 필터링하여 스폿 노이즈(spot noise) 등을 제거한다.
영역 형성부(24)는 추출된 픽셀들에 대해 연결된 픽셀들을 한데 묶어 영역을 만들고, 각각의 영역에 레이블을 부여한다.
도 2에 의하면, 본 발명에 의한 눈위치 검출수단(10)의 일실시예에서 영역 형상해석부(25)는 환상성(Circularity) 해석부(25a), 세장비 해석부(25b) 및 영역 크기 해석부(25c)를 구비한다. 환상성(Circularity) 해석부(25a)는 각각의 레이블화된 영역에 대해 그 형상을 해석하여, 원(circle) 형상에 가까운지를 판별하고, 세장비 해석부(25b)는 각각의 레이블화된 영역의 세장비를 계산하고, 영역 크기 해석부(25c)는 각각의 레이블화된 영역의 상대적인 크기를 계산하여 각 영역의 부분응집 특성을 검사한다.
도 2에 의하면, 본 발명에 의한 눈위치 검출수단(10)의 일실시예에서 텍스쳐 추출부(26)는 모폴로지(morphology) 해석부(26a) 및 수평 에지(horizontal edge) 해석부(26b)를 구비한다. 모폴로지(morphology) 해석부(26a)는 각 영역에서 모폴로지 필터를 사용하여 텍스춰 응답을 계산하여 텍스춰 특징을 검사하고, 수평 에지(horizontal edge) 해석부(26b)는 수평 에지 필터를 사용하여 수평 에지를 추출한다. 모폴로지 필터로는 밝기의 최소 변화추출(minimum morphology) 필터[M.Kunt, IEEE TCSVT,1998]를 사용하고, 수평에지 필터로는 일반적인 미분 필터(Sobel operator)를 사용하는 것이 바람직하다.
눈 후보 판별부(27)는 레이블화된 영역들 중에서 부분 응집 특성 및 텍스쳐 특징이 각각 소정의 값보다 큰 영역들을 눈 후보 영역으로 판별한다.
도 3에 의하면, 본 발명에 의한 얼굴위치 결정수단(20)의 일실시예는 얼굴 템플레이트 생성부(31), 확률거리 연산부(32), 에지특징 해석부(33) 및 최적 템플레이트 결정부(34)를 구비한다.
얼굴 템플레이트 생성부(31)는 미리 구비된 모델 템플레이트를 눈 후보 영역들 중에서 추출한 2개의 영역의 위치에 대응시켜 유사변환(similarity transformation)함으로써 입력된 RGB 영상 위에 탐색 템플레이트를 생성한다. 모델 템플레이트는 두 눈을 나타내는 두 원을 포함하고, 코와 입 부분을 사이에 사각형의 아랫변이 위치하는 얼굴 영역의 사각형으로 구성되는 것이 바람직하다.
확률거리 연산부(32)는 RGB 영상에서 탐색 템플레이트의 영역 내의 픽셀들의 색차신호 Cr,Cb값과 미리 학습된 통계값을 이용하여 얼굴 영역의 피부색 확률거리의 합을 구하고, 그 합을 탐색 템플레이트의 크기에 대해 정규화한 정규화된 확률거리를 계산한다.
에지특징 해석부(33)는 탐색 템플레이트에서 추정되는 눈, 코 및 입의 위치에서 입력된 RGB 영상의 수평 에지 특징값을 검출한다. 에지특징 해석부(33)는 탐색 템플레이트에서 추정되는 입과 코의 위치에 대응하는 입력된 RGB 영상에서의 제1 수평 에지 크기 및 눈, 코 및 입의 위치 이외에 상기 탐색 템플레이트와 매칭되는 영역에 대응하는 입력된 RGB 영상에서의 제2 수평 에지 크기를 검출하고, 제1 수평 에지 크기와 제2 수평 에지 크기의 비를 정규화한 에지성분비를 계산한다. 또한, 에지특징 해석부(33)는 눈 부분을 나타내는 원의 크기에 의해 정규화된 눈의 수평 에지 크기를 검출할 수 있다.
최적 템플레이트 결정부(34)는 정규화된 확률거리, 상기 에지성분비 및 상기 정규화된 눈의 수평 에지 크기에 각각 소정의 가중치를 부여하여 합한 값이 가장 작은 템플레이트를 최적의 템플레이트로 결정한다. 한편, 최적 템플레이트 결정부(34)는 다수의 탐색 템플레이트들이 중첩되어 형성하는 영역이 다른 탐색 템플레이트들이 중첩되어 형성하는 영역과 독립되어 위치한 경우에는, 독립된 영역마다 별도의 최적 템플레이트를 결정한다. 이는 하나의 영상 내에 다수의 얼굴이 포함되는 경우를 나타내기 때문이다.
도 4에 의하면, 본 발명에 의한 추출위치 안정화수단(30)의 일실시예는 형상메모리(43), 최소 외곽 사각형 구성부(41), 형상 메모리 갱신부(42) 및 추적위치 추출부(44)를 구비하고, 다른 실시예는 속도 및 형상 해석부(45)를 더 구비할 수 있다.
형상 메모리(43)는 입력된 RGB 영상의 크기(영상의 가로길이×세로길이)에 대응하는 픽셀수의 카운트 값들을 저장한다.
최소 외곽 사각형 구성부(41)는 최적의 탐색 템플레이트 내에서 얼굴 영상이 포함되는 최소 외곽 사각형(MBR: minimum boundary rectangle)을 구성한다. 탐색 템플레이트는 두 눈의 상대적인 위치에 따라 영상에 대하여 사각형의 방향이 회전할 수도 있으나, 최소 외곽 사각형은 최적 탐색 템플레이트에 의해 결정된 얼굴의 외곽은 포함하고, 얼굴의 회전 여부에 관계없이 영상과 동일한 방향으로 형성된 사각형이다.
형상 메모리 갱신부(43)는 형상메모리에 저장된 각 픽셀별 카운트 값들 중에서 최소 외곽 사각형의 영역에 대응하는 카운트 값은 증가시키고, 최소 외곽 사각형 이외의 영역에 대응하는 카운트 값은 감소시킨다.
추적위치 추출부(44)는 형상메모리에서 소정의 값 이상의 카운트 값들이 위치한 영역을 화자 위치 영역으로서 출력한다.
한편, 속도 및 형상 해석부(45)는 최소 외곽 사각형의 크기 및 움직임 속도를 계산하여, 형상 메모리 갱신부(42)에 의해 증가 또는 감소되는 값의 크기를 제어한다.
이하에서 본 발명의 동작 내용을 상세히 설명한다.
먼저, 도 2, 도 5 및 도 6a 내지 도 6d를 참조하여 본 발명에 의한 눈후보 영역의 결정 과정을 설명한다.
본 발명에서는 일반 정지 영상 또는 비디오 칼라 영상의 비디오 신호를 입력하여 사용한다. 입력된 영상의 비디오 신호(YUV)는 색 변환부(21)에 의해 3색 신호(RGB)로 변환된다.
본 발명에서 눈 위치 검출을 위해 고려하는 3 가지 중요한 특성들은 칼라 영상에서 눈의 강한 회색성향(strong gray), 눈 근방 위치의 수평 에지 또는 텍스춰(texture) 그리고 분포의 부분 응집 특성이다. 도 5는 이러한 3가지 특징을 설명하기 위한 도면이다. 도 5에는 16명에 대해 각 2장씩 32장의 영상들과 정면 얼굴 영상을 평균한 1장의 영상이 나타나 있다. 도 5의 각 영상에 나타난 바와 같이, 두 눈의 형상은 움푹 패인 형상이 둥근 원 형상으로 집중되어 나타나는 것을 알 수 있다. 이러한 3가지 특징과 이러한 특징의 조합을 통해 눈 후보점을 추출하는 것이 본 발명에 의한 눈 후보 영역의 결정 과정의 중요한 요지이다.
도 6a는 MPEG(Moving Picture Expert Group)에서 사용되는 대표적인 4 개의 영상들을 나타내고 있다. 이 영상들은 주로 머리와 상체가 보이는 상반신(Head & Soulder) 영상들이다. 도 6a에서 공통적으로 보여진 것처럼 눈 부분은 검정색에 가까운 강한 회색 특징을 나타낸다. 이러한 회색 특징은 도 5에서 보여진 것처럼 눈 부분이 움푹 패인(concave) 기하학적인 형상이라는 점에서 비롯된다.
따라서, 강한 회색 추출부(22)는 임의의 한 픽셀에 대해 칼라를 나타내는 색 요소의 최대, 최소값의 차이가 작고 밝기가 낮게 분포하면 강한 회색성향을 나타낸다는 특징을 이용하여, 영상의 색 신호로부터 강한 회색 성향을 나타내는 픽셀들을 추출한다. 도 6b는 이러한 회색 특징을 나타내는 픽셀들을 추출한 것을 도시한 것이다. 도 6b에서 각 영상에서 회색 성향의 픽셀들은 흰색의 픽셀들로 원 영상에 중첩하여 표시되었고, 눈 부분 뿐만 아니라 배경의 어두운 부분이 모두 추출되었다.
이러한 추출 픽셀들에 대한 영상 좌표에서의 공간 분포를 살펴보면, 눈 부분은 얼굴의 피부영역 내부에 응집되어 나타나 있지만, 배경이나 머리 부분의 회색 픽셀들은 큰 덩어리이거나 폭넓게 퍼져서 발생하는 것을 알 수 있다. 즉, 응집성을 나타내는 특징은 눈 부분의 일관적인 특징이 된다. 이러한 부분 응집 특성을 사용하여 눈 후보 영역 만을 추출할 수 있다.
강한 회색 추출부(22)에서 출력된 에지 픽셀들에 대해 중간값(median) 필터링과 영역 레이블링된 후, 영역 형상 해석부(25)에 의해 각 영역들의 크기와 형상(circularity and height-width ratio) 등이 계산되어 부분응집성을 나타내지 않는 영역들은 제거된다.
환상성(circularity) 측정에서는 영역의 방향이나 크기에 관계없이 형상이 원에 가까운 영역을 찾는 것이 필요하다. 따라서, 본 발명의 일실시예에서는 이러한 특징을 나타내는 형상 측정 기준으로 Haralick[Computer & Robot Vision, Addition-Wesley Pub., 1992]에 의한 다음 식을 사용하는 것이 바람직하다.
수학식1 및 수학식 2에서, 두 값 μR과 σR은 픽셀(rk,ck), k=1,…,n의 항들로 정의되고, k는 형상 내부의 픽셀에 대한 인덱스이고,는 영역 중심의 좌표이다. 계산된 두 값들로부터 μR/σR값을 측정하면, 이 값이 형상의 환상성(circularity)을 나타내는 값이 된다. μR/σR값이 소정의 값(본 발명의 바람직한 일실시예에서는 1.2로 결정되는 본 발명의 범위는 이에 한정되는 것은 아니다)보다 낮은 값을 나타내면, 임의의 형상이 되는 경우가 많으므로 그 영역은 배제된다.
영역의 MBR을 구하여 세장비(가로/세로)를 계산하고 이 세장비에 제한을 둠으로써, 영상 상하 방향으로 길쭉한 영역들이 제거된다. 본 발명의 일실시예에서는, 세장비가 0.7보다 작거나, 3.5보다 작은 영역은 제거된다. 또한, 영역 내의 픽셀수를 세어 소정의 크기 이상의 영역이 배제된다. 본 발명의 일실시예에서는, 영역의 크기가 ((영상의 가로 픽셀수*영상의 세로 픽셀수)/1600)보다 크면 그 영역은 배제된다. 즉, 영역 형상이 폭넓게 분포하거나 크기가 너무 큰 형태이거나 길게 연결된 형태를 제거시키는 작업이 수행된다. 그러나, 본 발명의 범위는 본 발명의 일실시예에서 사용한 숫자적인 제한에 한정되는 것은 아니다.
도 6c는 모폴로지 연산자를 사용하여 검출한 텍스춰 특징을 나타내고 있다.도 6c에 의하면, 밝기의 조밀한 교차로 인해 눈 부분에서 강한 응답(밝기의 크기)의 텍스춰 특성이 추출되고 있다. 텍스춰 특징은 영역 사이의 경계가 아닌 에지부에서 강하게 나타나는 특징이 있다. 또한, 눈 근방에서는 수직 방향으로 밝기의 교차가 강하게 발생하므로 수평 에지 특성이 일관적으로 존재함을 알 수 있다. 따라서 영역 형상 해석을 통해 추출된 눈 영역 후보들 중 수평에지 특성과 텍스춰 특성을 강하게 포함한 부분만을 선택함으로써 눈 후보 영역들을 최종적으로 결정하는 것이 가능하다.
도 7c는 이렇게 추출한 최종적인 눈 후보점들의 위치를 나타내고 있다. 눈은 하나의 얼굴에 2개 존재하므로, 눈의 위치가 결정되면 비교할 얼굴 템플레이트의 크기, 방향, 위치 등을 결정할 수 있다. 즉, 추출된 눈 후보 위치에 따라 얼굴 템플레이트를 겹쳐 최종적으로 얼굴 영역을 판별함으로써 눈 위치가 결정된다.
도 3, 도 7a 내지 도 7c, 및 도 8을 참조하여, 얼굴 위치를 결정하는 과정을 설명한다.
도 7a 내지 도 7c는 모델 템플레이트를 사용하여 최적의 탐색 템플레이트를 결정하는 과정을 설명한다. 도 7b는 발견된 눈 후보 영역에 겹쳐져 매칭된 탐색 얼굴 템플레이트(face template)의 형상을 보여주고 있다. 모델 템플레이트는 비율에 따라 변화할 수 있는 사각형 형상과 내부에 눈 위치를 나타내는 두 개의 원형상으로 구성되어 있다. 그 외에 사각형의 아랫변에 코와 입이 위치할 수 있는 영역이 내부적으로 포함되어 있다. 모델 템플레이트는 일단 비교할 눈 후보 영역의 위치가 선정되면, 영상상의 위치와 형상, 방향 및 크기가 결정되어 눈 후보 영역위에 겹쳐진다. 이후에, 겹쳐진 탐색 템플레이트의 내부에 들어오는 영상상의 영역들의 색과 기하학적 특징을 조사함으로써 선택된 눈 후보 영역이 실제로 얼굴상의 눈을 나타내는 영역인지를 결정하게 된다. 모델 템플레이트는 4개의 인자를 가지고 탐색 템플레이트로 유사변환(similarity transform)한다. 두 점에 대한 4개의 식과 4개의 미지수가 있으므로 변환인자를 결정하는것이 가능하다. 도 7c는 최종적으로 인식된 눈 위치와 발견된 얼굴영역을 표시하고 있다.
다음에서 열거한 사항들은 눈 위치에 의해 결정된 탐색 템플레이트에 대해 얼굴을 인식하는 과정을 나타낸 것이다.
첫째, 얼굴은 피부색을 띠고 있으며 인간의 피부색의 분포는 일정한 범위를 가진다. 조명이나 형상의 변화에 따라 물체의 반사색은 폭넓고 크게 변화하지만, 대부분의 영상에 대해 얼굴이나 피부색은 일정한 값과 분포를 가지게 된다는 것은 많은 연구에 의해 알려져 있다. 이러한 피부색의 분포를 사용하면 얼굴후보 영역을 인식하는 것이 가능하다. 얼굴의 색은 2차원 색(chrominance) 공간에서 가우시안(Gaussian) 분포를 가진다고 가정할 수 있다. 따라서, 수천 장의 MPEG 비디오 영상에서 피부색을 선택하여 통계값을 계산할 수 있다. 이 통계값을 이용하여 도 7b에서 겹쳐진 탐색 템플레이트 내부의 영역이 피부색에 가까운 여부를 나타내는 확률거리를 계산하는 것이 가능하다. 본 발명의 일실시예에서는 Mahalanobis 거리를 확률거리로 사용한다.
수학식 3에서 d는 확률거리, x는 색차신호 Cr,Cb로 이루어진 입력색의 벡터값, μ는 학습된 피부색의 평균벡터, Σ는 학습치의 분산행렬을 표시하고 있다. 템플레이트 크기에 대해 정규화된 내부의 색도값에 대한 확률거리의 합이 작을수록 얼굴영역이 될 가능성은 커지게 된다.
둘째, 사각형상의 탐색 템플레이트에서 아랫변의 중앙부 근방은 입 또는 코의 위치가 되고, 이 부분의 수평 에지 성분은 비교적 크게 나타난다. 이와 반대로 입, 코 부분과 눈 부분을 제외한 탐색 템플레이트의 나머지 얼굴 영역 부분은 비교적 균일한 밝기 분포를 가지고 특별한 에지 성분이 존재하지 않는다. 따라서, 이 두 영역에서의 수평 에지 성분의 비를 구하고, 이 값을 판별값으로 이용한다.
셋째, 눈 부분의 수평 에지는 강하다. 따라서 눈 부분을 나타내는 원의 크기에 의해 정규화된 눈의 수평 에지 크기는 얼굴을 판별하기 위해 사용될 수 있다.
도 7b에서 겹쳐진 여러 탐색 템플레이트에 대하여, 이상의 3 가지 항목의 값을 계산하고, 각 항목의 중요도에 따라 대응하는 값을 가중하여 합한 값이 가장 작은 탐색 템플레이트를 취하게 된다. 단, 복수의 눈후보 영역의 짝들에 대해 각 탐색 템플레이트가 겹쳐지면 최소 응답을 주는 탐색 템플레이트만을 추출하고, 다수의 탐색 템플레이트들이 중첩되어 형성하는 영역이 다른 탐색 템플레이트들이 중첩되어 형성하는 영역과 독립되어 위치한 경우에는, 복수의 사람이 존재하는 것으로 판별하여 독립된 영역마다 별도의 최적 템플레이트를 결정한다. 이러한 과정을 통해 눈 위치 및 얼굴을 추출하는 것이 가능하다. 도 8은 상반신(head & shoulder)이 나타나는 전형적인 연속된 MPEG 영상들에 대해 추출한 눈과 얼굴 위치를 예시한것이다.
이하에서 도 4, 도 7c를 참조하여, 추출 안정화과정을 설명한다.
도 7c에 도시된 바와 같이 얼굴 인식을 통해 추출된 눈과 얼굴의 템플레이트는 연속 영상에서 안정화될 필요가 있다. 자연 영상(natural sequences)은 영상을 획득할 때의 환경조건, 영상 입력 장치 내부의 인자 등 여러 요인으로 인하여 항상 영상잡음을 가지고 있다. 따라서, 비록 아주 짧은 시간에 입력된 연속 영상 상의 전후 두 영상이라 할지라도 두 영상에서의 화질은 많은 경우에 상이한 특성을 나타낸다. 이러한 영상 잡음특성으로 인해 영상특징치의 계산은 영향을 받게 되며, 영상에서 계산된 특징값이 시간축으로 많이 변하게 된다. 이러한 불안정 요인으로 인해 영상인식이나 물체추출의 성능은 영향을 받으며, 도 7c에서 보여진 눈과 얼굴 템플레이트의 위치도 연속 영상에서 불안정하게 추출되는 경향을 나타낸다. 이러한 불안정 요인을 제거하기 위해 본 발명은 물체의 경계를 나타내는 MBR 위치 정보를 형상메모리에 누적시키는 기법을 통해 템플레이트 추출의 불안정성 문제를 해결한다.
보통, 질량을 가진 물체는 관성(moment)을 가지고 있으며, 사람이나 물체가 영상에서 운동시 급격한 운동변화는 미세한 시간축에서 잘 일어나지 않는 경향이 있다. 특히, 상반신(head&shoulder) 영상과 같은 경우 사람의 공간상의 위치는 일정한 위치에 연속되어 나타나는 경향이 있으며 연속영상에서 보면 느린 속도로 천천히 변화하게 된다. 즉, 전후 영상프레임들 사이에서 추출위치에 대한 시간적 상호상관성(temporal coherence)이 존재하게 된다. 초당 20~30장 단위로 획득된 비디오 영상에서 볼 때, i번째 프레임에서 왼쪽에 있던 물체가 (i+1)번째 프레임에서 갑자기 오른쪽에 존재하는 경우는 없다. 이러한 시간축의 상호 상관성을 이용하면 추출위치를 안정화시키고 MBR을 연속적으로 추출 및 추적하는 것이 가능하다. 이러한 과정은 형상메모리(shape memory) 기법을 이용하여 간단하게 해결할 수 있다.
먼저, 영상프레임의 크기 만큼의 카운트 값을 저장하기 위한 공간을 갖는 형상메모리를 확보하고, 각 픽셀에 대응하는 카운트 값을 초기화시킨다. 다음, 추출된 얼굴 MBR을 n개 입력받아, 이 MBR 내부의 픽셀들의 위치에 대해 할당된 형상메모리의 카운트 값을 증가시켜 준다. 연속되는 다음 영상에서 마찬가지로 추출된 얼굴 MBR를 입력받아 똑같은 과정을 반복한다. 만일 추출되는 MBR이 연속 영상에서 연속되어 유사한 위치에서 추출될 경우, 형상메모리의 대응 위치에서의 카운트 값은 계속해서 증가된다. 카운트 값은 미리 정해둔 소정의 값에 도달할 때까지 계속적으로 증가하며, 소정의 값에 도달하면 그 값을 유지하게 된다. 역으로 MBR 이외의 위치에서는 형상메모리의 카운트 값이 반복되어 감소되고, 0에 도달하면 0을 계속 유지하게 된다. 본 발명의 일실시예에서는 카운트 값이 0 ~ 7 사이의 값을 갖게 된다. 이러한 과정을 반복하게 되면 유사한 위치에서 연속되어 추출되는 물체만이 안정되어 정확한 추출을 나타내고 랜덤(random)하게 위치가 반복되어 추출되는 물체의 경우 자연적으로 형상메모리 상에서 낮은 카운트 값을 지니게 된다. 따라서, 형상메모리의 카운트 값을 검사하여 미리 정해준 문턱값 이상의 카운트 값을 나타내는 부분만이 물체가 존재하는 것으로 판별할 수 있다. 본 발명의 일실시예에서는 3 이상의 카운트 값을 나타내는 부분만을 얼굴이 존재하는 위치로 판별한다. 그러나, 본 발명의 범위는 상기한 바와 같은 카운트 값의 범위 및 화자 위치를 결정하기 위한 문턱값에 한정되는 것은 아니다.
이러한 형상누적메모리의 장점은 비교적 간단하게 물체추출과 위치안정화를 달성할 수 있으면 성능에 비해 수행속도가 매우 빠르다. 또한 급격하게 위치가 변화하거나 추출된 MBR의 크기에 대응하여 감하거나 가하는 카운트 스텝을 조절할 수 있으므로, 움직이는 물체의 속도, 물체의 중요성 또는 형상 특성에도 대응할 수 있다. 즉, 보다 느리게 움직이는 경우와 물체의 얼굴의 크기가 비교적 작은 경우 카운트 스텝을 크게 하는 것이 바람직하다.
동화상 전화기나 휴대용 전화의 동영상 통화 등에 있어서 사람의 얼굴 영역은 가장 중요한 관심 영역(ROI)이 된다. 따라서, 추출된 얼굴 영역의 정보를 사용하여 MPEG-1, MPEG-2, MPEG-4, H.263등의 부호화기를 사용하여 압축된 영상을 생성하는데 있어 얼굴 영역의 화질을 개선할 수 있다. 즉, 본 발명은 관심영역인 얼굴부분만을 고화상으로 보내고 나머지 배경영역이나 관심외 영역부는 저화상이나 낮은 정보량으로 보내어 전체적으로 전송정보량을 조정하고 고화상을 유지하는 장치에 적절히 적용할 수 있다.
본 발명의 바람직한 실시예에 따른 화자위치 검출방법은 컴퓨터 시스템에서 실행할 수 있는 프로그램으로 작성가능하며, 이러한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체로부터 읽어들여 범용 디지털 컴퓨터 시스템에서 실행될 수 있다. 이러한 기록 매체에는 마그네틱 저장 매체(예를 들면, 롬, 플로피디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 매체가 포함된다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 의하면, 영상에서 화자의 눈과 얼굴 위치를 정확하고, 빠르게 찾을 수 있으며, 영상잡음에도 강하다.
즉, 정지 배경 및 움직이는 배경이 있는 영상에 동시에 적용가능하며, 눈 및 얼굴 위치 검출과정에서 전체 영상의 탐색을 회피함으로써 고속처리 및 병렬처리가 가능하고, 운동 검출 등의 방법과 결합하여 신뢰성이 증가된 화자위치 추출을 가능하게 할 수 있다.
본 발명의 휴대용 영상 전화 단말기, 화상 회의, 동화상 채팅 모듈 등에 적용가능한 비디오폰, 얼굴 영상의 고화질 보존이 필요한 감시 시스템, 내용기반 영상 탐색 등의 응용분야에 적절히 적용될 수 있다.

Claims (32)

  1. 입력된 RGB 영상에서, 강한 회색 특징을 나타내는 픽셀들을 검출하여 검출된 픽셀들이 형성하는 영역들 중에서 부분 응집 특성을 나타내고 텍스쳐 특징이 있는 영역들을 눈 후보 영역들로 결정하는 눈위치 검출수단;
    상기 눈 후보 영역들 중에서 2개씩 추출하여 미리 저장하고 있는 모델 템플레이트와 매칭시켜서 상기 RGB 영상위에 복수 개의 탐색 템플레이트를 생성하고, 상기 각 탐색 템플레이트에 대해 얼굴에 해당하는 색도값, 눈,코 및 입에 해당하는 수평 에지값들을 구하고, 상기 탐색 템플레이트들중 상기 색도값 및 수평 에지값에 대한 기준들을 최대로 만족하는 최적 탐색 플레이트를 결정하는 얼굴위치 결정수단; 및
    영상의 한 프레임에 해당하는 크기의 형상 메모리를 구비하고, 상기 최적 탐색 템플레이트내에서 얼굴이 포함되는 최소 외곽 사각형을 복수 개 구성하여, 상기 RGB 영상의 각 픽셀이 상기 각 최소 외곽 사각형에 해당될 때마다 상기 형상 메모리에 저장된 해당 픽셀의 카운트값을 증가시키고 상기 최소 외곽 사각형 이외의 영역에 해당하면 카운트값을 감소시키면서 연속되는 영상 프레임에 대해 실시하되, 상기 카운트값이 미리 정해진 임계치 이상인 픽셀들이 위치한 영역을 화자 위치 영역으로 출력하는 추출위치 안정화수단을 포함함을 특징으로 하는 화자위치 검출장치.
  2. 제1항에 있어서, 상기 눈위치 검출수단은
    입력된 RGB 영상신호를 해석하여 강한 회색 특징을 나타내는 픽셀들을 추출하는 강한 회색 추출부;
    추출된 픽셀들 중 인접한 픽셀들과 상호 연결된 픽셀들끼리 결합하여 영역을 형성하는 영역 형성부;
    형성된 각 영역에 대하여 부분 응집 특성을 검출하는 영역 형상 해석부;
    형성된 각 영역에 대하여 텍스쳐 특징을 검출하는 텍스쳐 추출부; 및
    상기 형성된 영역들 중에서 상기 부분 응집 특성 및 상기 텍스쳐 특징이 각각 소정의 값보다 큰 영역들을 눈 후보 영역으로 판별하는 눈 후보 판별부를 구비하는 것을 특징으로 하는 화자위치 검출장치.
  3. 제1항에 있어서, 상기 얼굴위치 결정수단은
    상기 모델 템플레이트를 눈 후보 영역들 중에서 추출한 2개의 영역의 위치에 대응시켜 유사변환함으로써 입력된 RGB 영상 위에 탐색 템플레이트를 생성하는 얼굴템플레이트 생성부;
    RGB 영상에서 탐색 템플레이트의 영역 내의 픽셀들의 색도값에 대한 확률거리의 합을 상기 탐색 템플레이트의 크기에 대해 정규화한 정규화된 확률거리를 계산하는 확률거리 연산부;
    상기 탐색 템플레이트에서 추정되는 눈, 코 및 입의 위치에서 입력된 RGB 영상의 수평 에지 특징값을 검출하는 에지특징 해석부; 및
    상기 얼굴템플레이트 생성부에 의해 생성된 다수의 탐색 템플레이트들 중 상기 정규화된 확률거리 및 상기 수평 에지 특징값에 소정의 가중치의 부여한 값에 의해 최적의 템플레이트를 결정하는 최적 템플레이트 결정부를 구비함을 특징으로 하는 화자위치 검출장치.
  4. 제1항에 있어서, 상기 추출위치 안정화수단은
    상기 입력된 RGB 영상의 크기에 대응하는 픽셀수의 카운트 값들을 저장하는 형상 메모리;
    상기 최적의 탐색 템플레이트 내에서 얼굴 영상이 포함되는 최소 외곽 사각형을 복수 개 구성하는 최소 외곽 사각형 구성부;
    상기 형상메모리에 저장된 각 픽셀별 카운트 값들 중에서 상기 각 최소 외곽 사각형의 영역에 대응하는 카운트 값은 증가시키고, 상기 최소 외곽 사각형 이외의 영역에 대응하는 카운트 값은 감소시키는 형상 메모리 갱신부; 및
    상기 형상메모리에서 상기 임계치 이상의 카운트 값들이 위치한 영역을 화자 위치 영역으로서 출력하는 추적 위치 추출부를 구비함을 특징으로 하는 화자위치 검출장치.
  5. 제2항에 있어서, 상기 강한 회색 추출부는
    상기 RGB 영상신호의 각 픽셀에 대해 칼라를 나타내는 색 요소의 최대값과 최소값의 차이가 소정의 값보다 작고, 최대값이 또 다른 소정의 값보다 작게 분포하면 강한 회색성향을 나타내는 픽셀로서 추출하는 것을 특징으로 하는 화자위치 검출장치.
  6. 제2항에 있어서, 상기 영역 형상 해석부는
    각 영역의 환상성 값을 계산하는 환상성 해석부를 구비하고,
    상기 눈 후보 판별부는 영역의 환상성 값이 소정의 값보다 적은 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출장치.
  7. 제2항에 있어서, 상기 영역 형상 해석부는
    각 영역의 세장비를 계산하는 세장비 해석부를 구비하고,
    상기 눈 후보 판별부는 영역의 세장비가 소정의 값보다 크거나, 다른 소정의 값보다 작은 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출장치.
  8. 제2항에 있어서, 상기 영역 형상 해석부는
    각 영역에 대하여 전체 영상의 크기에 상대적인 영역의 크기를 계산하는 영역크기 해석부를 구비하고,
    상기 눈 후보 판별부는 영역의 상대적인 크기가 소정의 값보다 큰 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출장치.
  9. 제2항에 있어서, 상기 텍스쳐 추출부는
    최소 모폴로지 필터를 구비하여 각 영역의 텍스쳐 응답을 계산하는 모폴로지 해석부를 구비하고,
    상기 눈 후보 판별부는 영역의 텍스쳐 특성값이 소정의 값보다 작은 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출장치.
  10. 제2항에 있어서, 상기 텍스쳐 추출부는
    미분 필터를 구비하여 각 영역의 수평 에지를 검출하는 수평 에지 해석부를 구비하고,
    상기 눈 후보 판별부는 영역의 수평 에지 특성값이 소정의 값보다 작은 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출장치.
  11. 제3항에 있어서, 상기 모델 템플레이트는
    두 눈을 나타내는 두 원을 포함하고, 코와 입 부분을 사이에 사각형의 아랫변이 위치하는 얼굴 영역의 사각형으로 구성되는 것으로 특징으로 하는 화자위치 검출장치.
  12. 제3항에 있어서, 상기 확률거리 d는 수학식
    (여기서, x는 입력 색차신호 Cr,Cb로 이루어진 벡터값, μ는 미리 학습된 피부색의 평균벡터, Σ는 학습치의 분산행렬을 표시한다)에 의해 구하여짐을 특징으로 하는 화자위치 검출장치.
  13. 제3항에 있어서, 상기 에지특징 해석부는
    상기 탐색 템플레이트에서 추정되는 입과 코의 위치에 대응하는 입력된 RGB영상에서의 제1 수평 에지 크기 및 눈, 코 및 입의 위치 이외에 상기 탐색 템플레이트와 매칭되는 영역에 대응하는 입력된 RGB 영상에서의 제2 수평 에지 크기를 검출하고, 제1 수평 에지 크기와 제2 수평 에지 크기의 비를 정규화한 에지성분비를 계산하는 것을 특징으로 하는 화자위치 검출장치.
  14. 제13항에 있어서, 상기 에지특징 해석부는
    눈 부분을 나타내는 원의 크기에 의해 정규화된 눈의 수평 에지 크기를 검출하고,
    상기 최적 템플레이트 결정부는 상기 정규화된 확률거리, 상기 에지성분비 및 상기 정규화된 눈의 수평 에지 크기에 각각 소정의 가중치를 부여하여 합한 값이 가장 작은 템플레이트를 최적의 템플레이트로 결정함을 특징으로 하는 화자위치 검출장치.
  15. 제3항에 있어서, 상기 최적 템플레이트 결정부는
    다수의 탐색 템플레이트들이 중첩되어 형성하는 영역이 다른 탐색 템플레이트들이 중첩되어 형성하는 영역과 독립되어 위치한 경우에는, 독립된 영역마다 별도의 최적 템플레이트를 결정하는 것을 특징으로 하는 화자위치 검출장치.
  16. 제4항에 있어서,
    상기 최소 외곽 사각형의 크기 및 움직임 속도를 계산하여 상기 형상 메모리갱신부에 의해 증가 또는 감소되는 값의 크기를 제어하는 속도 및 형상 해석부를 더 구비함을 특징으로 하는 화자위치 검출장치.
  17. (a) 입력된 RGB 영상에서, 강한 회색 특징을 나타내는 픽셀들을 검출하여 검출된 픽셀들이 형성하는 영역들 중에서 부분 응집 특성을 나타내고 텍스쳐 특징이 있는 영역들을 눈 후보 영역들로 결정하는 단계;
    상기 눈 후보 영역들 중에서 2개씩 추출하여 미리 저장하고 있는 모델 템플레이트와 매칭시켜서 상기 RGB 영상위에 복수 개의 탐색 템플레이트를 생성하고, 상기 각 탐색 템플레이트에 대해 얼굴에 해당하는 색도값, 눈,코 및 입에 해당하는 수평 에지값들을 구하고, 상기 탐색 템플레이트들중 상기 색도값 및 수평 에지값에 대한 기준들을 최대로 만족하는 최적 탐색 플레이트를 결정하는 단계; 및
    영상의 한 프레임에 해당하는 크기의 형상 메모리를 구비하고, 상기 최적 탐색 템플레이트내에서 얼굴이 포함되는 최소 외곽 사각형을 복수 개 구성하여, 상기 RGB 영상의 각 픽셀이 상기 각 최소 외곽 사각형에 해당될 때마다 상기 형상 메모리에 저장된 해당 픽셀의 카운트값을 증가시키고 상기 최소 외곽 사각형 이외의 영역에 해당하면 카운트값을 감소시키면서 연속되는 영상 프레임에 대해 실시하되, 상기 카운트값이 미리 정해진 임계치 이상인 픽셀들이 위치한 영역을 화자 위치 영역으로 출력하는 단계를 포함함을 특징으로 하는 화자위치 검출방법.
  18. 제17항에 있어서, 상기 (a) 단계는
    (a1) 입력된 RGB 영상신호를 해석하여 강한 회색 특징을 나타내는 픽셀들을추출하는 단계;
    (a2) 추출된 픽셀들 중 인접한 픽셀들과 상호 연결된 픽셀들끼리 결합하여 영역을 형성하는 단계;
    (a3) 형성된 각 영역에 대하여 부분 응집 특성을 검출하는 단계;
    (a4) 형성된 각 영역에 대하여 텍스쳐 특징을 검출하는 단계; 및
    (a5) 상기 형성된 영역들 중에서 상기 부분 응집 특성 및 상기 텍스쳐 특징이 각각 소정의 값보다 큰 영역들을 눈 후보 영역으로 판별하는 단계를 구비하는 것을 특징으로 하는 화자위치 검출방법.
  19. 제17항에 있어서, 상기 (b) 단계는
    (b1) 미리 구비된 모델 템플레이트를 눈 후보 영역들 중에서 추출한 2개의 영역의 위치에 대응시켜 유사변환함으로써 입력된 RGB 영상 위에 탐색 템플레이트를 생성하는 단계;
    (b2) RGB 영상에서 탐색 템플레이트의 영역 내의 픽셀들의 색도값에 대한 확률거리의 합을 상기 탐색 템플레이트의 크기에 대해 정규화한 정규화된 확률거리를 계산하는 단계;
    (b3) 상기 탐색 템플레이트에서 추정되는 눈, 코 및 입의 위치에서 입력된 RGB 영상의 수평 에지 특징값을 검출하는 단계; 및
    (b4) 상기 얼굴템플레이트 생성부에 의해 생성된 다수의 탐색 템플레이트들 중 상기 정규화된 확률거리 및 상기 수평 에지 특징값에 소정의 가중치의 부여한값에 의해 최적의 템플레이트를 결정하는 단계를 구비함을 특징으로 하는 화자위치 검출장치.
  20. 제17항에 있어서, 상기 (c) 단계는
    (c1) 상기 최적의 탐색 템플레이트 내에서 얼굴 영상이 포함되는 최소 외곽 사각형을 복수 개 구성하는 단계;
    (c2) 형상메모리에 저장된 각 픽셀별 카운트 값들 중에서 상기 최소 외곽 사각형의 영역에 대응하는 카운트 값은 증가시키고, 상기 최소 외곽 사각형 이외의 영역에 대응하는 카운트 값은 감소시키는 단계; 및
    (c3) 상기 형상메모리에서 상기 임계치 이상의 카운트 값들이 위치한 영역을 화자 위치 영역으로서 출력하는 단계를 구비함을 특징으로 하는 화자위치 검출방법.
  21. 제18항에 있어서, 상기 (a1) 단계는
    상기 RGB 영상신호의 각 픽셀에 대해 칼라를 나타내는 색 요소의 최대값과 최소값의 차이가 소정의 값보다 작고, 최대값이 또 다른 소정의 값보다 작게 분포하면 강한 회색성향을 나타내는 픽셀로서 추출하는 것을 특징으로 하는 화자위치 검출방법.
  22. 제18항에 있어서, 상기 (a3) 단계는
    각 영역의 환상성 값을 계산하고,
    상기 (a5) 단계는 영역의 환상성 값이 소정의 값보다 적은 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출방법.
  23. 제18항에 있어서, 상기 (a3) 단계는
    각 영역의 세장비를 계산하고,
    상기 (a5) 단계는 영역의 세장비가 소정의 값보다 크거나, 다른 소정의 값보다 작은 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출방법.
  24. 제18항에 있어서, 상기 (a3) 단계는
    각 영역에 대하여 전체 영상의 크기에 상대적인 영역의 크기를 계산하고,
    상기 (a5) 단계는 영역의 상대적인 크기가 소정의 값보다 큰 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출방법.
  25. 제18항에 있어서, 상기 (a4) 단계는
    각 영역의 텍스쳐 응답을 계산하고,
    상기 (a5) 단계는 영역의 텍스쳐 특성값이 소정의 값보다 작은 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출방법.
  26. 제18항에 있어서, 상기 (a4) 단계는
    각 영역의 수평 에지를 검출하고,
    상기 (a5) 단계는 영역의 수평 에지 특성값이 소정의 값보다 작은 경우, 그 영역을 눈 후보 영역에서 제거하는 것을 특징으로 하는 화자위치 검출방법.
  27. 제19항에 있어서, 상기 모델 템플레이트는
    두 눈을 나타내는 두 원을 포함하고, 코와 입 부분을 사이에 사각형의 아랫변이 위치하는 얼굴 영역의 사각형으로 구성되는 것으로 특징으로 하는 화자위치 검출방법.
  28. 제19항에 있어서, 상기 확률거리 d는 수학식
    (여기서, x는 입력 색차신호 Cr,Cb로 이루어진 벡터값, μ는 미리 학습된 피부색의 평균벡터, Σ는 학습치의 분산행렬을 표시한다)에 의해 구하여짐을 특징으로 하는 화자위치 검출방법.
  29. 제19항에 있어서, 상기 (b3) 단계는
    상기 탐색 템플레이트에서 추정되는 입과 코의 위치에 대응하는 입력된 RGB 영상에서의 제1 수평 에지 크기 및 눈, 코 및 입의 위치 이외에 상기 탐색 템플레이트와 매칭되는 영역에 대응하는 입력된 RGB 영상에서의 제2 수평 에지 크기를 검출하고, 제1 수평 에지 크기와 제2 수평 에지 크기의 비를 정규화한 에지성분비를 계산하는 것을 특징으로 하는 화자위치 검출방법.
  30. 제19항에 있어서, 상기 (b3) 단계는
    눈 부분을 나타내는 원의 크기에 의해 정규화된 눈의 수평 에지 크기를 검출하는 단계를 더 구비하고,
    상기 (b4) 단계는 상기 정규화된 확률거리, 상기 에지성분비 및 상기 정규화된 눈의 수평 에지 크기에 각각 소정의 가중치를 부여하여 합한 값이 가장 작은 템플레이트를 최적의 템플레이트로 결정함을 특징으로 하는 화자위치 검출방법.
  31. 제19항에 있어서, 상기 (b4) 단계는
    다수의 탐색 템플레이트들이 중첩되어 형성하는 영역이 다른 탐색 템플레이트들이 중첩되어 형성하는 영역과 독립되어 위치한 경우에는, 독립된 영역마다 별도의 최적 템플레이트를 결정하는 것을 특징으로 하는 화자위치 검출방법.
  32. 제20항에 있어서, 상기 (c1) 단계 이후에
    상기 최소 외곽 사각형의 크기 및 움직임 속도를 계산하여 상기 형상 메모리에서 증가 또는 감소되는 값의 크기를 결정하는 단계를 더 구비함을 특징으로 하는 화자위치 검출방법.
KR1019990055577A 1999-12-07 1999-12-07 화자 위치 검출 장치 및 그 방법 KR100343223B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019990055577A KR100343223B1 (ko) 1999-12-07 1999-12-07 화자 위치 검출 장치 및 그 방법
US09/607,279 US6611613B1 (en) 1999-12-07 2000-06-30 Apparatus and method for detecting speaking person's eyes and face
JP2000248307A JP2001175869A (ja) 1999-12-07 2000-08-18 話し手位置検出装置及びその方法
NL1016006A NL1016006C2 (nl) 1999-12-07 2000-08-24 Werkwijze en toestel voor het detecteren van ogen en lichaam van een sprekend persoon.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990055577A KR100343223B1 (ko) 1999-12-07 1999-12-07 화자 위치 검출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20010054674A KR20010054674A (ko) 2001-07-02
KR100343223B1 true KR100343223B1 (ko) 2002-07-10

Family

ID=19624080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990055577A KR100343223B1 (ko) 1999-12-07 1999-12-07 화자 위치 검출 장치 및 그 방법

Country Status (4)

Country Link
US (1) US6611613B1 (ko)
JP (1) JP2001175869A (ko)
KR (1) KR100343223B1 (ko)
NL (1) NL1016006C2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101021994B1 (ko) 2008-05-19 2011-03-16 가부시키가이샤 히다치 고쿠사이 덴키 물체 검출방법

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3584458B2 (ja) * 1997-10-31 2004-11-04 ソニー株式会社 パターン認識装置およびパターン認識方法
US6961066B2 (en) * 1999-04-13 2005-11-01 Athentech Technologies, Inc. Automatic color adjustment for digital images
KR20000054824A (ko) * 2000-06-27 2000-09-05 이성환 얼굴 영상을 이용한 이상형 검색 시스템 및 그 제어 방법
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
US6873436B1 (en) * 2000-09-05 2005-03-29 Fuji Xerox Co., Ltd. Image processing device and recording medium
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
US6690822B1 (en) * 2000-10-20 2004-02-10 Eastman Kodak Company Method for detecting skin color in a digital image
US6711286B1 (en) * 2000-10-20 2004-03-23 Eastman Kodak Company Method for blond-hair-pixel removal in image skin-color detection
JP4590717B2 (ja) * 2000-11-17 2010-12-01 ソニー株式会社 顔識別装置及び顔識別方法
JP4599730B2 (ja) * 2001-03-02 2010-12-15 株式会社デンソー 画像領域抽出装置
JP3843741B2 (ja) * 2001-03-09 2006-11-08 独立行政法人科学技術振興機構 ロボット視聴覚システム
WO2002072317A1 (fr) * 2001-03-09 2002-09-19 Japan Science And Technology Corporation Systeme de robot audiovisuel
JP3843740B2 (ja) * 2001-03-09 2006-11-08 独立行政法人科学技術振興機構 ロボット視聴覚システム
JP3843743B2 (ja) * 2001-03-09 2006-11-08 独立行政法人科学技術振興機構 ロボット視聴覚システム
JP3843742B2 (ja) * 2001-03-09 2006-11-08 独立行政法人科学技術振興機構 ロボット視聴覚システム
JP2002278537A (ja) * 2001-03-22 2002-09-27 Canon Inc 画像処理装置、および、画像処理方法
US20020172419A1 (en) * 2001-05-15 2002-11-21 Qian Lin Image enhancement using face detection
DE60213032T2 (de) * 2001-05-22 2006-12-28 Matsushita Electric Industrial Co. Ltd. Gerät zur Gesichtsdetektion, Gerät zur Detektion der Gesichtspose, Gerät zur Extraktion von Teilbildern und Verfahren für diese Geräte
US20040243671A9 (en) * 2001-07-26 2004-12-02 Needham Bradford H. Method and system for image sharing based on faces in an image
TWI220505B (en) * 2001-08-13 2004-08-21 Ulead Systems Inc Image enhancement method
JP3903783B2 (ja) * 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
KR100427181B1 (ko) * 2001-12-19 2004-04-28 한국전자통신연구원 에지/컬러정보를 이용한 얼굴 피부색 영역 추출시스템 및그 방법
US6873714B2 (en) * 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
GB2389498B (en) 2002-04-30 2005-06-29 Canon Kk Method and apparatus for generating models of individuals
AU2003265284A1 (en) * 2002-07-19 2004-02-09 Dicut Inc. Face recognition system and method therefor
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
KR100464040B1 (ko) * 2002-12-16 2005-01-03 엘지전자 주식회사 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법
AU2003289116A1 (en) * 2002-12-16 2004-07-09 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
CN1282943C (zh) * 2002-12-30 2006-11-01 佳能株式会社 图像处理方法及装置
JP4204336B2 (ja) * 2003-01-30 2009-01-07 富士通株式会社 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
US20040228505A1 (en) * 2003-04-14 2004-11-18 Fuji Photo Film Co., Ltd. Image characteristic portion extraction method, computer readable medium, and data collection and processing device
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7218760B2 (en) * 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
US7388971B2 (en) * 2003-10-23 2008-06-17 Northrop Grumman Corporation Robust and low cost optical system for sensing stress, emotion and deception in human subjects
US7308119B2 (en) * 2003-11-26 2007-12-11 Canon Kabushiki Kaisha Image retrieval apparatus and method, and image display apparatus and method thereof
KR100543706B1 (ko) * 2003-11-28 2006-01-20 삼성전자주식회사 비젼기반 사람 검출방법 및 장치
JP4847685B2 (ja) * 2004-04-16 2011-12-28 株式会社日立ハイテクノロジーズ パターンサーチ方法
JP4507679B2 (ja) 2004-04-21 2010-07-21 富士ゼロックス株式会社 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
KR100612858B1 (ko) * 2004-08-23 2006-08-14 삼성전자주식회사 로봇을 이용하여 사람을 추적하는 방법 및 장치
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7469074B2 (en) * 2004-11-17 2008-12-23 Lexmark International, Inc. Method for producing a composite image by processing source images to align reference points
KR100703528B1 (ko) * 2004-12-09 2007-04-03 삼성전자주식회사 영상 인식 장치 및 방법
US8235725B1 (en) * 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
EP1693782B1 (en) * 2005-02-21 2009-02-11 Mitsubishi Electric Information Technology Centre Europe B.V. Method for facial features detection
JP4654773B2 (ja) * 2005-05-31 2011-03-23 富士フイルム株式会社 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム
AU2006352758A1 (en) 2006-04-10 2008-12-24 Avaworks Incorporated Talking Head Creation System and Method
JP4905931B2 (ja) * 2006-07-04 2012-03-28 富士フイルム株式会社 人体領域抽出方法および装置並びにプログラム
JP2009258770A (ja) * 2006-08-08 2009-11-05 Nikon Corp 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7689011B2 (en) * 2006-09-26 2010-03-30 Hewlett-Packard Development Company, L.P. Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications
US7916976B1 (en) 2006-10-05 2011-03-29 Kedikian Roland H Facial based image organization and retrieval method
JP4329821B2 (ja) * 2007-01-31 2009-09-09 ブラザー工業株式会社 顔検出装置、顔検出方法および顔検出プログラム
FR2912237A1 (fr) * 2007-02-07 2008-08-08 Thomson Licensing Sas Procede de traitement d'image
DE102007025892A1 (de) * 2007-06-01 2008-12-11 Phoenix Contact Gmbh & Co. Kg Werkzeugerkennung im Profinet
CN101393602B (zh) * 2007-09-18 2015-11-25 财团法人车辆研究测试中心 应用于人员监控的眼睛辨识追踪方法
JP5132445B2 (ja) * 2008-06-25 2013-01-30 キヤノン株式会社 画像処理装置および画像処理方法並びにコンピュータプログラムおよび記憶媒体
JP4947216B2 (ja) * 2008-09-17 2012-06-06 富士通株式会社 画像処理装置および画像処理方法
WO2010110181A1 (ja) * 2009-03-27 2010-09-30 日本電気株式会社 パターン照合装置、パターン照合方法及びパターン照合プログラム
JP5029647B2 (ja) * 2009-04-08 2012-09-19 株式会社ニコン 被写体追尾装置、およびカメラ
US8600100B2 (en) * 2009-04-16 2013-12-03 Sensory Logic, Inc. Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
US20110066952A1 (en) * 2009-09-17 2011-03-17 Heather Kinch Studio, Llc Digital Field Marking Kit For Bird Identification
KR101611440B1 (ko) * 2009-11-16 2016-04-11 삼성전자주식회사 이미지 처리 방법 및 장치
US8244004B2 (en) * 2010-01-25 2012-08-14 Apple Inc. Image preprocessing
US8254646B2 (en) 2010-01-25 2012-08-28 Apple Inc. Image preprocessing
JP5675145B2 (ja) * 2010-03-30 2015-02-25 キヤノン株式会社 パターン認識装置及びパターン認識方法
JP2011221812A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置及び方法、並びにプログラム
CN101853397A (zh) * 2010-04-21 2010-10-06 中国科学院半导体研究所 一种基于人类视觉特性的仿生人脸检测方法
US8326001B2 (en) * 2010-06-29 2012-12-04 Apple Inc. Low threshold face recognition
US8711091B2 (en) * 2011-10-14 2014-04-29 Lenovo (Singapore) Pte. Ltd. Automatic logical position adjustment of multiple screens
EP2805523B1 (en) 2012-01-19 2019-03-27 VID SCALE, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
US11620733B2 (en) 2013-03-13 2023-04-04 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US10783615B2 (en) 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US10045050B2 (en) 2014-04-25 2018-08-07 Vid Scale, Inc. Perceptual preprocessing filter for viewing-conditions-aware video coding
WO2016147272A1 (ja) * 2015-03-13 2016-09-22 日本電気株式会社 生体検知装置、生体検知方法、および、記録媒体
US9715620B2 (en) * 2015-05-15 2017-07-25 Itseez 3D, Inc. Method to position a parallelepiped bounded scanning volume around a person
CN107909055A (zh) * 2017-11-30 2018-04-13 西安科锐盛创新科技有限公司 眼睛状态检测方法
US10803350B2 (en) * 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
JP2019125202A (ja) * 2018-01-17 2019-07-25 日本電信電話株式会社 検出装置、検出方法およびプログラム
JP2020018474A (ja) * 2018-07-31 2020-02-06 株式会社デンソー 瞳孔推定装置および瞳孔推定方法
CN109840484B (zh) * 2019-01-23 2023-03-24 张彦龙 一种基于边缘滤波、椭圆评价和瞳孔验证的瞳孔检测方法
CN110211070B (zh) * 2019-06-05 2023-04-14 电子科技大学 一种基于局部极值的低照度彩色图像增强方法
US10949715B1 (en) 2019-08-19 2021-03-16 Neon Evolution Inc. Methods and systems for image and voice processing
US10658005B1 (en) 2019-08-19 2020-05-19 Neon Evolution Inc. Methods and systems for image and voice processing
US10803646B1 (en) 2019-08-19 2020-10-13 Neon Evolution Inc. Methods and systems for image and voice processing
US10671838B1 (en) * 2019-08-19 2020-06-02 Neon Evolution Inc. Methods and systems for image and voice processing
CN111027502B (zh) * 2019-12-17 2023-07-28 Oppo广东移动通信有限公司 眼部图像定位方法、装置、电子设备及计算机存储介质
US11632587B2 (en) 2020-06-24 2023-04-18 The Nielsen Company (Us), Llc Mobile device attention detection
US11308657B1 (en) 2021-08-11 2022-04-19 Neon Evolution Inc. Methods and systems for image processing using a learning engine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877334A (ja) * 1994-09-09 1996-03-22 Konica Corp 顔画像の特徴点自動抽出方法
JPH10307923A (ja) * 1997-05-01 1998-11-17 Mitsubishi Electric Corp 顔部品抽出装置および顔の向き検出装置
JPH1196379A (ja) * 1997-09-18 1999-04-09 Nissan Motor Co Ltd 眼位置検出装置
KR19990048338A (ko) * 1997-12-09 1999-07-05 정몽규 졸음운전 경보 시스템의 눈 검출방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680481A (en) 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
US5619619A (en) * 1993-03-11 1997-04-08 Kabushiki Kaisha Toshiba Information recognition system and control system using same
US5710833A (en) * 1995-04-20 1998-01-20 Massachusetts Institute Of Technology Detection, recognition and coding of complex objects using probabilistic eigenspace analysis
US6185337B1 (en) * 1996-12-17 2001-02-06 Honda Giken Kogyo Kabushiki Kaisha System and method for image recognition
US5832115A (en) 1997-01-02 1998-11-03 Lucent Technologies Inc. Ternary image templates for improved semantic compression
US5892837A (en) * 1997-08-29 1999-04-06 Eastman Kodak Company Computer program product for locating objects in an image
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
US6463163B1 (en) * 1999-01-11 2002-10-08 Hewlett-Packard Company System and method for face detection using candidate image region selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877334A (ja) * 1994-09-09 1996-03-22 Konica Corp 顔画像の特徴点自動抽出方法
JPH10307923A (ja) * 1997-05-01 1998-11-17 Mitsubishi Electric Corp 顔部品抽出装置および顔の向き検出装置
JPH1196379A (ja) * 1997-09-18 1999-04-09 Nissan Motor Co Ltd 眼位置検出装置
KR19990048338A (ko) * 1997-12-09 1999-07-05 정몽규 졸음운전 경보 시스템의 눈 검출방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101021994B1 (ko) 2008-05-19 2011-03-16 가부시키가이샤 히다치 고쿠사이 덴키 물체 검출방법

Also Published As

Publication number Publication date
US6611613B1 (en) 2003-08-26
NL1016006C2 (nl) 2004-11-02
KR20010054674A (ko) 2001-07-02
JP2001175869A (ja) 2001-06-29
NL1016006A1 (nl) 2001-06-08

Similar Documents

Publication Publication Date Title
KR100343223B1 (ko) 화자 위치 검출 장치 및 그 방법
Bobick et al. The recognition of human movement using temporal templates
US7957560B2 (en) Unusual action detector and abnormal action detecting method
US8706663B2 (en) Detection of people in real world videos and images
US20070242856A1 (en) Object Recognition Method and Apparatus Therefor
Khan et al. Saliency-based framework for facial expression recognition
US20010036298A1 (en) Method for detecting a human face and an apparatus of the same
Guo et al. Improved hand tracking system
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
Elder et al. Pre-attentive and attentive detection of humans in wide-field scenes
WO2022009301A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN109299641B (zh) 一种列车调度员疲劳监测图像自适应处理算法
Yoon et al. Appearance-based person recognition using color/path-length profile
Lin et al. A feature-based gender recognition method based on color information
KR20040042501A (ko) 형판 정합 기반 얼굴 검출방법
Gottumukkal et al. Real time face detection from color video stream based on PCA method
Choi et al. Head gesture recognition using HMMs
García-Mateos et al. Face detection using integral projection models
Prince et al. Pre-Attentive Face Detection for Foveated Wide-Field Surveillance.
Zhang et al. An accurate algorithm for head detection based on XYZ and HSV hair and skin color models
GB2467643A (en) Improved detection of people in real world videos and images.
Al-Rahayfeh et al. Enhanced eye gaze direction classification using a combination of face detection, CHT and SVM
Duan et al. Detection of hand-raising gestures based on body silhouette analysis
Raytchev et al. User-independent online gesture recognition by relative motion extraction
Shilaskar et al. Student eye gaze tracking and attention analysis system using computer vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080312

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee