KR100455295B1 - 영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적방법 및 장치 - Google Patents

영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적방법 및 장치 Download PDF

Info

Publication number
KR100455295B1
KR100455295B1 KR10-2002-0016691A KR20020016691A KR100455295B1 KR 100455295 B1 KR100455295 B1 KR 100455295B1 KR 20020016691 A KR20020016691 A KR 20020016691A KR 100455295 B1 KR100455295 B1 KR 100455295B1
Authority
KR
South Korea
Prior art keywords
face
information
area
region
eye
Prior art date
Application number
KR10-2002-0016691A
Other languages
English (en)
Other versions
KR20030077796A (ko
Inventor
박동렬
박준호
홍영진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0016691A priority Critical patent/KR100455295B1/ko
Publication of KR20030077796A publication Critical patent/KR20030077796A/ko
Application granted granted Critical
Publication of KR100455295B1 publication Critical patent/KR100455295B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적 방법 및 장치와 그 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다. 그 영상 신호 검출 방법은, 카메라를 통해 입력된 영상 신호를 수신하는 단계와, 상기 영상 신호로부터 색상 정보 및 채도 정보를 추출하는 단계와, 실시간 학습 방법을 이용하여 상기 정보로부터 얼굴 후보 영역을 추출하는 단계와, 상기 추출된 영역에 대해 얼굴 후보 영역을 결정하는 단계 및 상기 결정된 영역이 얼굴 영역인가를 판단하는 단계를 구비하는 것을 특징으로 한다. 이러한 영상 신호 검출 방법을 이용하여 영상 신호 검출을 수행함으로써 계산량이 줄어들고 조명의 변화나 카메라 성능의 차이 등의 외부 환경의 변화에 강인한 효과를 가진다.

Description

영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적 방법 및 장치 {Method and apparatus for image detection, and method and apparatus for object tracking using the image detection}
본 발명은 영상 신호 처리에 관한 것으로서, 특히 카메라가 부착되어 있으며, 자율적으로 움직일 수 있는 시스템에 있어서, 사람의 얼굴이 포함된 영상에서 얼굴을 검출하는 영상 신호 검출 방법 및 장치와 검출된 얼굴을 인식한 후, 카메라를 통해 입력된 물체를 인식하여 추적하는 물체 추적 방법 및 장치에 관한 것이다.
입력 영상으로부터 얼굴을 검출하는 기술은 다양한 분야에 응용된다. 예컨대, 침입자 감지, 출입문 개폐 등의 보안 시스템을 포함한 HCI(Human and Computer Interaction)관련 기술에 적용된다. 또한, 얼굴을 검출하여 얼굴을 인식하는 기술에 있어서 일반적으로, 검출된 얼굴에서 눈의 위치를 검출하는 것이 얼굴 크기의 정규화 및 특징점 추출 등에 있어서 중요하다.
최근에는 인텔리젼트 로봇(intelligent robot)이나 장난감과 같은 제품 등에 영상 센서를 사용하고 지능을 부여함으로써 사람의 얼굴을 인식할 수 있도록 하는 기술이 주목받고 있다. 그러나 이러한 제품들은 소형일 것, 전력 소모가 적을 것,메모리 및 계산 능력의 한계 등의 제약이 있으므로, 이러한 제약 내에서 얼굴 검출 및 인식 등의 기능을 구현해야 한다.
종래의 인텔리젼트 로봇 등의 시스템에서의 얼굴 검출 방법의 하나로 번치 그래프 매칭(Bunch graph matching) 방법("Automatic digital image recognition system" 독일 특허 번호 DE 4,406,020)이 있다. 그러나 이 방법은 특정 위치점들을 정확하게 찾아야만 얼굴을 나타내는 그래프를 구성할 수 있고, 번치 내의 모든 제트(Jet) 모델들과 비교 연산을 수행하여 많은 계산량을 필요로 하므로 전술한 시스템에 적용하기 힘든 문제점이 있다.
전술한 이러한 문제를 해결하기 위해, 피부색이나 머리색, 얼굴의 구성요소들의 위치적 특성을 이용한 방법이 연구되었다. 그러나, 기존에 학습된 영상 정보를 이용하여 얼굴을 분할하는 기술(샤프(Sharp)사 JP 6,187,455(1994, 7), 산요(Sanyo)사 JP 8,287,216(1996, 1))은 조명 조건의 변화에 따라 민감하게 반응하기 때문에 실제로 응용하기 힘든 문제점이 있다.
이를 개선하기 위하여, 특정 위치의 영상을 학습하여 색의 빈도(frequency)를 저장하는 방법(소니(Sony)사 US 5,812,193(1998, 9))이 개발되었으나, 정확한 얼굴 검출 후보 영역의 도출보다는 얼굴의 추적에 초점이 맞춰져 있고, 색의 빈도가 넓게 분포한 경우 추적이 쉽지 않은 문제점이 있다.
또한, 종래의 얼굴 검출 및 인식 기능을 구비한 로보트나 완구류와 같은 시스템은, 누구이든 간에 카메라를 통해 입력된 사람의 얼굴을 검출, 인식하여 동일한 동작을 수행할 뿐이며, 인식된 사람에 대하여 시스템이 반응할지 여부를 인증하여 후속 동작을 수행한다든가 혹은 인증된 사람에 따라 제각각 다른 동작을 수행한다든가 하는 동작의 다양성이 결여되어 있다는 문제점이 있다.
본 발명이 이루고자 하는 제1 기술적 과제는, 계산량이 적으며 조명의 변화 및 카메라 성능의 차이 등의 외부 환경의 변화에 강인한, 입력 영상으로부터 얼굴 영역을 검출하는 영상 신호 검출 방법 및 장치를 제공하는데 있다.
본 발명이 이루고자 하는 제2 기술적 과제는, 계산량이 적으며 조명의 변화 및 카메라 성능의 차이 등의 외부 환경의 변화에 강인한, 입력 영상으로부터 검출된 얼굴 영역중의 눈 영역을 검출하는 영상 신호 검출 방법 및 장치를 제공하는데 있다.
본 발명이 이루고자 하는 제3 기술적 과제는, 사용자를 인증하는 단계를 구비하여 인증된 사용자인 경우에만 물체를 추적하는 물체 추적 방법 및 그 방법을 수행하는 장치를 제공하는데 있다.
도 1은 본 발명에 의한 얼굴 영역의 영상 신호 검출 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명에 의한 눈 영역의 영상 신호 검출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명에 의한 물체 추적 방법을 설명하기 위한 흐름도이다.
도 4는 전술한 본 발명에 의한 얼굴 영역 검출 방법을 수행하는 본 발명에 의한 얼굴 영역 검출 장치를 설명하기 위한 블록도이다.
도 5는 전술한 본 발명에 의한 눈 영역 검출 방법을 수행하는 본 발명에 의한 얼굴 영역 검출 장치를 설명하기 위한 블록도이다.
도 6은 전술한 본 발명에 의한 물체 추적 방법을 수행하는 본 발명에 의한 물체 추적 장치를 설명하기 위한 블록도이다.
도 7은 도 6에 도시된 본 발명에 의한 물체 추적 장치의 실제 구현예를 보여 주기 위한 도면이다.
도 8a ~ 도 8c는 본 발명에 의한 얼굴 영역 검출 방법 및 장치의 효과를 시험하기 위한 테스트 입력 영상이다.
도 9a ~ 도 9c는 도 8a ~ 도 8c에 도시된 테스트 영상을 대상으로 하여 얼굴 영역의 색상과 채도의 범위를 각각 구한 결과를 나타내는 도면이다.
도 10a ~ 도 10c는 도 8a ~ 도 8c에 도시된 테스트 영상을 대상으로 하여 얼굴 영역을 각각 검출한 결과를 나타내는 도면이다.
상기 제1 과제를 이루기 위해, 본 발명에 의한 영상 신호 검출 방법은, 카메라를 통해 입력된 영상 신호를 수신하는 단계와, 상기 영상 신호로부터 색상 정보 및 채도 정보를 추출하는 단계와, 실시간 학습 방법을 이용하여 상기 정보로부터 얼굴 후보 영역을 추출하는 단계와, 상기 추출된 영역에 대해 얼굴 후보 영역을 결정하는 단계 및 상기 결정된 영역이 얼굴 영역인가를 판단하는 단계를 구비하는 것이 바람직하며, 상기 얼굴 후보 영역을 추출하는 단계는, 상기 입력 영상의 중앙을기준으로 소정 크기의 사각형의 영역 내의 상기 색상 정보 및 상기 채도 정보의 범위를 결정하는 단계 및 상기 색상 및 채도 정보의 범위를 이용하여 상기 얼굴 후보 영역을 추출하는 단계를 구비하는 것이 더 바람직하다.
상기 제1 과제를 이루기 위해, 본 발명에 의한 영상 신호 검출 장치는, 입력 영상 신호를 수신하여 상기 신호로부터 색상 정보 및 채도 정보를 추출하고, 실시간 학습 방법을 이용하여 상기 정보로부터 얼굴 후보 영역을 추출하는 영상 학습부와, 상기 추출된 영역을 입력받아 얼굴 후보 영역을 결정하는 영상 결정부 및 상기 얼굴 후보 영역을 입력받아 상기 결정된 영역이 얼굴 영역인가를 판단하는 판단부를 구비하는 것이 바람직하다.
상기 제2 과제를 이루기 위해, 본 발명에 의한 영상 신호 검출 방법은, 얼굴 영상이 포함된 영상 신호에서 눈에 해당하는 영역을 검출하는 영상 신호 검출 방법에 있어서, 상기 신호에서 얼굴 영역을 검출하는 (a)단계와, 상기 검출된 얼굴 영역내의 명도 정보의 초기 역치값을 결정하는 (b)단계와, 상기 역치값을 이용하여 눈의 후보 영역을 추출하는 (c)단계와, 상기 추출된 영역에 대해 눈의 후보 영역을 결정하는 (d)단계와, 상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 (e)단계 및 눈에 해당하는 영역이 아닌 것으로 판단되면, 새로운 역치값을 결정하는 (f)단계를 구비하고, 상기 새로운 역치값을 이용하여 상기 (c)단계부터 상기 (e)단계까지를 반복하는 것이 바람직하다.
상기 제2 과제를 이루기 위해, 본 발명에 의한 영상 신호 검출 장치는, 입력 영상 신호로부터 얼굴 영역을 검출하는 얼굴 영역 검출부의 출력인 얼굴 영역의 범위 정보를 입력받아 눈 영역을 검출하는 영상 신호 검출 장치에서, 상기 입력 영상 신호중의 명도 정보와, 상기 얼굴 영역의 범위 정보를 입력받아, 상기 얼굴 영역내의 명도 정보의 역치값을 결정하는 역치값 결정부와, 상기 명도 정보와 상기 얼굴 영역의 범위 정보를 입력 받고 상기 역치값을 상기 역치값 결정부로부터 입력받아 눈의 후보 영역을 추출하는 영상 추출부와, 상기 영상 추출부로부터 눈의 후보 영역에 대한 정보를 입력받아 상기 눈의 후보 영역을 결정하는 영상 결정부 및 상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 판단부를 구비하는 것이 바람직하다.
상기 제3 과제를 이루기 위해, 본 발명에 의한 물체 추적 방법은, 다수 사용자의 얼굴 정보가 사전에 데이터베이스에 저장되어 있으며, 카메라가 장착되어 있는 자율적으로 움직이는 시스템에서의 물체 추적 방법에 있어서, 상기 카메라를 통해 입력된 사용자의 얼굴이 포함된 영상 신호로부터 상기 얼굴 영역을 검출하는 단계와, 상기 얼굴을 인식하는 단계와, 상기 인식된 얼굴을 이용하여 상기 사용자를 인증하는 단계 및 상기 사용자가 인증되면 상기 카메라를 통해 입력된 물체를 인식하여 추적하는 단계를 구비하는 것이 바람직하다.
상기 제3 과제를 이루기 위해, 본 발명에 의한 물체 추적 장치는, 카메라가 장착되어 있으며, 출력 장치 구동부의 제어에 따라 동작하는 다수의 모터를 구비하여 자율적으로 움직이는 시스템에서의 물체 추적 장치에 있어서, 상기 카메라를 통해 입력된 사용자의 얼굴이 포함된 입력 영상 신호로부터 상기 얼굴을 검출하는 영상 검출부와, 사전에 입력된 다수 사용자들의 얼굴 정보가 저장된 영상 데이터베이스부와, 상기 영상 검출부로부터 입력받은 상기 검출된 얼굴을 인식하고, 상기 인식된 얼굴에 관한 정보와 상기 영상 데이터베이스부에 저장된 얼굴 정보를 비교하여 상기 사용자를 인증하는 영상 인식부 및 상기 사용자가 인증되면, 상기 영상 인식부로부터 제어 신호를 입력받아, 상기 출력 장치 구동부를 제어하는 제어 명령을 생성하여 상기 다수의 모터를 동작시키는 제어 명령 생성부를 구비하는 것이 바람직하다.
이하, 본 발명에 의한 영상 신호 검출 장치 및 방법과 물체 추적 장치 및 방법의 바람직한 실시예를 첨부된 도면들을 참조하여 다음과 같이 설명한다.
본 발명에 의한 장치 및 방법은 카메라가 장착되고, 자율적으로 움직일 수 있는 시스템, 예컨대 완구제품이나 로봇에서 실시되는 것이 바람직하다.
도 1은 본 발명에 의한 얼굴 영역의 영상 신호 검출 방법을 설명하기 위한 흐름도이다.
먼저, 카메라를 통해 입력된 영상신호는 베이어 포맷(bayer format)의 영상 신호인데 이를 변환하여 RGB(Red, Green, Blue) 포맷의 영상 신호로 처리된 것을 얼굴 영역의 영상 신호 검출 장치에서 수신한다(제110 단계).
여기서의 카메라는 자율적으로 움직이는 로봇이나 완구 제품에 사용되는 예를 들면, CCD(Charge Coupled Device) 카메라가 사용된다.
영상 정보는 일반적으로 RGB 3개의 값으로 색깔을 표현하게 되는데, 예를 들면 24 bit color의 경우 RGB 각각의 값은 8bit씩 할당되어 각각의 결합으로 색깔을 표현한다.
제110 단계 후에, 수신한 RGB 포맷의 영상 신호를 HSV 포맷의 영상 신호로 변환한다(제120 단계). HSV 포맷이란, H는 Hue, 즉 색상을 의미하고, S는 Saturation 즉 채도를 의미하며, V는 Value 즉 명도를 의미한다. 색상(H:Hue)은 흔히 말하는 빨강, 노랑, 파랑, 같은 색상 자체를 의미한다. 예를 들면 색상(Hue)은 0도에서 360도 범위(0도 빨강색, 120도 녹색, 240도 파랑색, 360도 빨강색)를 가진다.
그리고, 채도(Saturation)란 색의 포화도 및 강도를 의미하며 채도가 높을수록 원색에 가깝다. 일반적으로 모든 원색과 채도가 높은 색은 기억하기 쉽다.
끝으로 명도(Value)란 색의 밝고 어두운 정도를 의미한다. 예를 들어 빨간색에 흰색을 섞으면 색상이 밝아져 명도가 올라가고 반대로 검정색을 섞으면 어두워져 명도는 내려간다.
일반적으로 HSV 포맷의 영상 신호는 RGB 포맷의 그것에 비해 배경 영상에 대비하여 얼굴 색깔의 차이가 더 잘 나타내게 되므로, 얼굴 영역의 검출에 더 효과적이다.
제120 단계 후에, 실시간 학습(on-line training) 방법을 이용하여 HSV 포맷으로 변환된 영상 신호로부터 얼굴 후보 영역을 추출한다(제130 단계).
현재 입력 영상은 밝기, 사람의 피부 색깔 등에 의해 변화가 있게 마련이다. 따라서, 고정된 값을 이용하여 얼굴을 분리하는 데에는 한계가 있으므로 실시간 학습 방법을 이용한다. 그리고, 얼굴 영역의 검출에는 색상(Hue)과 채도(Saturation) 정보가 중요하므로 이들 두 가지 정보가 사용된다.
또한, 실시간 학습 방법을 이용하여 얼굴 후보 영역을 추출하기 위한 전제로서, 얼굴 영역이 영상의 중앙 근처에 있다고 가정한다.
색상정보에 대해서는 k-민즈 클러스터링(k-means clustering)을 이용하고, 채도정보에 대해서는 중앙 근처의 소정 크기의 사각형내의 화소들의 평균값과 분산을 이용하여 얼굴 영역에 해당하는 색상과 채도의 범위를 결정한다. 그 후, 결정된 범위에 속하는 화소는 255로 하여 흰색으로, 얼굴이 아닌 부분은 0의 값으로 하여 검정색으로 하여 이진화된 얼굴 후보 영역을 추출한다.
색상과 채도의 범위를 결정하는 방법을 상세히 설명하면 다음과 같다.
전술한 바와 같이, 입력 영상(HSV 포맷 영상)중 색상(H)정보에 대해 k-민즈 클러스터링을 이용하여 실시간 학습을 수행한다. 영상의 중앙을 기준으로 일정 크기를 가지는 사각형을 얼굴의 일부로 보고 그 사각형 안에 있는 화소의 색상 값을 전체 집합(S)로 본다. 이 전체 집합을 무작위로 k개의 부분 집합(subset)으로 나누고(C1, C2,~ Ck) 각각의 부분 집합의 평균을 구한다. 그 후, C1,~ Ck의 부분 집합의 구성원소들에 변화가 없을 때까지, 각각의 부분 집합의 평균 값을 구하는 과정, 그 각각의 평균 값과 전체 집합 원소들에 대한 차이를 구하여 차이가 많은 원소들을 다른 집합에 넣어서 새로운 부분 집합을 구성하는 과정을 반복 수행한다. 그 결과, k개의 최종적인 부분 집합에 대해 k개의 평균 값이 결정된다. 따라서, 예컨대 k개의 최종적인 평균 값중 최소값을 Hmin으로 하고, 최대값을 Hmax으로 하여 얼굴 영역의 색상(Hue)의 범위를 결정한다.
채도(Saturation) 정보는 전술한 바와 같이, 화소들의 평균값과 분산을 이용한다. 즉, 영상의 중앙을 기준으로 일정 크기를 가지는 사각형을 얼굴의 일부로 보고 그 사각형 안에 있는 화소들의 평균값 μ와 분산 υ를 구한다. 그리고 얼굴영역에 해당하는 채도 정보의 범위를 예를 들면, 다음과 같이 정한다.
Smin= μ- α×υ
Smax= μ- α×υ (α는 조정계수로서 실수)
여기서 조정계수 α의 값은 실험적으로 결정한다. 예컨대, 2 또는 3정도의 실수가 될 수 있다.
k-민즈 클러스터링에 관해서는 "Some methods for classification and analysis of multivariate observation." (MacQueen, J., 1967.) In Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability, Vol. 1, pp. 281-297. Berkeley : University of California Press.에 상세한 내용이 개시되어 있다.
제130 단계 후에, 4-컨넥티비티(connectivity) 방법을 사용하여 추출된 얼굴 후보 영역에 대해 그룹핑(grouping)과 라벨링(labeling)을 하여 얼굴 후보 영역을 결정한다(제140 단계).
이하에서는 4-컨넥티비티 방법을 이진영상을 대상으로 설명한다. 기준점이 되는 하나의 화소가 255의 값을 가질 때, 이와 동일한 값을 가지는 화소들을 찾아 연결된 점들의 집합을 찾는다. 순서는 다음과 같다. 먼저, 기준점을 결정하고 이를적당한 값, 예컨대 127정도의 값으로 라벨링을 한다. 라벨링은 이미 탐색이 되었다는 표시를 화소에 하는 역할을 하여 재차 그 화소에 대해 작업을 할 필요가 없게 된다. 그 후, 기준점을 기준으로 위, 아래, 좌, 우 4방향 중 미리 정해진 하나의 방향, 예컨대 위쪽방향에 인접한 화소에 대해 255값을 가지는지 탐색하여 255이면 127로 라벨링하고, 0이면 라벨링하지 않는다. 다시 기준점에서 그 다음으로 탐색이 정해진 방향, 예컨대 왼쪽 방향의 화소를 탐색하여 동일한 과정을 수행한다. 이러한 방식으로 계속 그룹핑과 라벨링을 하여 얼굴 영역에 해당하는 중앙 화소가 가지는 255의 값과 동일한 값을 가지는 화소들을 찾아 연결된 점들의 집합 즉, 얼굴 후보 영역이 결정된다. 그룹핑과 라벨링이 종료되면, 출력 영상은 얼굴 후보 영역에는 127의 값으로 라벨링된 영상이 되고 그 외 영상은 입력 영상과 동일하게 남는다. 4-컨넥티비티 방법을 사용하여 그룹핑과 라벨링하는 방법에 관하여는, "DIGITAL IMAGE PROCESSING"(Rafael C. Gonzalez, Richard E. Wodds, Adison Wesley)에 보다 상세한 설명이 있다.
제140 단계 후에, 결정된 얼굴 후보 영역이 얼굴 영역인지 여부를 판단한다(제150 단계). 그 판단은 얼굴 후보 영역의 기하학적 정보 즉, 모양 정보(영역의 폭 및 길이) 및 크기 정보(영역의 넓이)를 이용하여 수행된다. 예를 들면, 얼굴 후보 영역의 폭 및 길이가 전체 영상의 높이의 1/3이상이고, 얼굴 후보 영역의 길이/얼굴 후보 영역의 폭이 0.8보다 크고, 얼굴 후보 영역의 길이/얼굴 후보 영역의 넓이가 0.5보다 작으면 얼굴 영역인 것으로 판단한다. 얼굴 영역이 아닌 것으로 판단되면, 다시 제110 단계로 돌아가 새로운 RGB 포맷의 영상 신호를 수신한다.
얼굴 영역인 것으로 판단되면, 얼굴 영역의 범위를 결정한다(제160 단계).
도 2는 본 발명에 의한 눈 영역의 영상 신호 검출 방법을 설명하기 위한 흐름도이다.
먼저, 시스템 자체에 장착된 CCD 카메라를 통해 입력된 영상 신호를 수신한다(제200 단계).
제200 단계 후, 베이어 포맷으로 된 수신한 영상 신호를 RGB 포맷으로 변환한다(제210 단계).
제210 단계 후, 변환된 영상 신호를 대상으로 얼굴에 해당하는 영역을 검출한다(제220 단계). 여기서의 얼굴 영역 검출은 다양한 종래 기술에 의해 수행될 수도 있으며, 전술한 본 발명에 의한 실시간 학습 방법을 이용하여 수행될 수도 있다.
제220 단계 후, 검출된 얼굴 영역 내의 명도(value) 정보에 대하여 초기 역치값(threshold value)을 결정한다(제230 단계). 눈 영역의 검출에는 영상 정보중에 명도 정보만이 사용된다. 초기 역치값은 예컨대, 검출된 얼굴 영역 내의 전체 화소들의 명도값의 평균값이 될 수 있다.
제230 단계 후, 결정된 역치값을 이용하여 눈의 후보 영역을 추출한다(제240 단계). 예컨대, 역치값보다 작으면 눈의 영역이라고 보고 255로 값을 정하고, 역치값보다 크면 눈이 아니라고 보고 0으로 값을 정하여 이진화한다.
제240 단계 후, 4-컨넥티비티 방법을 사용하여 그룹핑과 라벨링을 수행하여 눈의 후보 영역을 결정한다(제250 단계). 4-컨넥티비티 방법은 전술한 바와 같다.
제250 단계 후, 결정된 눈의 후보 영역이 눈에 해당하는 영역인지 여부를 판단한다(제260 단계). 그 판단은 눈 후보 영역의 기하학적 정보 즉, 모양 정보(영역의 폭 및 길이) 및 크기 정보(영역의 넓이)를 이용하여 수행된다. 예를 들면, 눈 후보 영역의 크기가 얼굴 영역의 0.2% 이상이고 2.5% 이하이고, 눈 후보 영역의 폭/눈 후보 영역의 길이가 0.8보다 크고, 눈 후보 영역의 위치가 얼굴 영역의 중앙 상부에 있는 경우는 눈 영역인 것으로 판단한다.
제260 단계 후에, 눈 영역이 아닌 것으로 판단되면, 새로운 역치값을 결정한 회수를 의미하는 IterNum(Iteration Number:반복회수)을 1만큼 증가시킨다(제270 단계).
제270 단계 후에, IterNum이 최대 IterNum보다 큰 지 여부를 판단한다(제280 단계). 이러한 단계는 눈 영역이 검출이 실패한 채로 무한히 반복되는 것을 방지하기 위한 것이다.
IterNum이 최대 IterNum보다 크지 않다면, 역치값을 새로이 결정한다(제290 단계). 새로운 역치값은 눈 후보 영역으로 추출된 영역이 너무 작은 크기인 경우에는 역치값을 상향 조정하고 반대인 경우에는 역치값을 하향 조정하여 얻는다.
제290 단계 후에, 새로운 역치값을 이용하여 새로운 눈 후보 영역에 대한 이진 영상을 추출한다(제240 단계).
그러나 IterNum이 최대 IterNum보다 크다면, 제210 단계로 되돌아가서 새로운 입력 영상 신호를 받아 얼굴 영역 자체를 새로이 검출한다.
도 3은 본 발명에 의한 물체 추적 방법을 설명하기 위한 흐름도이다.
먼저, 시스템 자체에 장착된 CCD 카메라를 통해 입력된 영상 신호를 수신한다(제310 단계).
제310 단계 후, 베이어 포맷으로 된 수신한 영상 신호를 RGB 포맷으로 변환한다(제320 단계).
제320 단계 후, 변환된 영상 신호를 대상으로 얼굴에 해당하는 영역을 검출한다(제330 단계). 여기서의 얼굴 영역 검출은 다양한 종래 기술에 의해 수행될 수도 있으며, 전술한 본 발명에 의한 실시간 학습 방법을 이용하여 수행될 수도 있다.
제330 단계 후, 검출된 얼굴 영역내에서 눈 영역을 검출한다(제340 단계). 여기서의 눈 영역 검출은 다양한 종래 기술에 의해 수행될 수도 있으며, 전술한 본 발명에 의한 눈 영역 검출 방법을 이용하여 수행될 수도 있다.
제340 단계 후, 얼굴을 인식한다(제350 단계). 얼굴 인식이라 함은 입력 영상에서 검출된 얼굴과 데이터베이스에 사전에 저장된 얼굴을 대조하여 일치하는 얼굴을 찾는 것을 말한다. 여기서의 얼굴 인식 방법은 다양한 종래 기술에 의해 수행될 수 있다. 예컨대, 가버필터(Gabor filter)를 이용하여 얼굴을 인식할 수 있다. 이에 관하여는 한국공개특허공보 2000-007799에 상세한 설명이 있다.
제350 단계 후에, 데이터베이스에 등록되어 있는 얼굴인지 여부를 판단한다(제360 단계).
데이터베이스에 등록된 얼굴인 것으로 판단되면, 카메라를 통해 입력된 소정의 물체를 추적한다(제370 단계). 즉, 데이터베이스에 등록된 얼굴이란 사용자로써사전에 인증이 되어 있는 사람이므로 시스템은 물체 추적 등의 후속 동작을 하도록 제어된다. 물체 추적은 종래의 다양한 기술에 의해 구현될 수 있으며, 일실시예로는, 특정한 색을 가지는 물체 예컨대, 빨간색 공을 추적 대상으로 하여 추적하도록 구현될 수 있다.
데이터베이스에 등록된 얼굴이 아닌 것으로 판단되면, 시스템은 물체 추적 등의 후속 동작을 수행하지 않는다.
도 4는 전술한 본 발명에 의한 얼굴 영역 검출 방법을 수행하는 본 발명에 의한 얼굴 영역 검출 장치를 설명하기 위한 블록도로서, 영상 학습부(410), 영상 결정부(420), 판단부(430)로 구성된다.
먼저, 영상 학습부(410)는 입력단자 IN1을 통해 HSV 포맷으로 변환된 영상 신호중의 색상 및 채도 정보를 수신한다. 색상 및 채도 정보를 대상으로 전술한 실시간 학습 방법을 수행하여 상기 영상으로부터 이진화된 얼굴 후보 영역을 추출하여 출력한다.
영상 결정부(420)는 영상 학습부(410)로부터 이진화된 얼굴 후보 영역을 입력받아 전술한 4-컨넥티비티 방법을 수행하여 추출된 영역의 화소들을 그룹핑 및 라벨링하여 얼굴 후보 영역이 결정되어 라벨링된 영상을 판단부(430)로 출력한다.
판단부(430)는 결정된 영역이 얼굴 영역인가를 판단하여 그 결과를 출력단자 OUT1을 통해 출력한다. 그 판단은, 전술한 바와 같이, 결정된 얼굴 영역의 기하학적 정보를 계산하여, 사전에 결정되어 판단부(430)에 저장되어 있는 얼굴 영역에 대한 소정의 기하학적 정보와 상기 계산된 정보를 비교하여 얼굴 영역인가를 판단하는 것이 바람직하다.
도 5는 전술한 본 발명에 의한 눈 영역 검출 방법을 수행하는 본 발명에 의한 얼굴 영역 검출 장치를 설명하기 위한 블록도로서, 역치값 결정부(510),영상 추출부(520), 영상 결정부(530), 판단부(540), 카운터(550), 비교기(560)로 구성된다.
먼저, 역치값 결정부(510)는 HSV 포맷으로 변환된 영상 신호중의 명도 정보를 입력단자 IN2를 통해 입력받고, 얼굴 영역 검출 장치(미도시)로부터 검출된 얼굴 영역의 범위 정보를 입력단자 IN3를 통해 입력받아, 검출된 얼굴 영역내의 명도 정보의 역치값을 결정하여 영상 추출부(520)로 그 역치값을 출력한다.
영상 추출부(520)는 입력단자 IN2를 통해 명도 정보를 입력받고, 입력단자 IN3를 통해 얼굴 영역의 범위 정보를 입력받으며, 역치값 결정부(510)로부터 역치값을 입력받아 역치값을 기준으로 하여 눈의 후보 영역을 추출하여 영상 결정부(530)으로 출력한다.
영상 결정부(530)는 영상 결정부(530)로부터 입력받은 눈의 후보 영역에 대하여 전술한 4-컨넥티비티 방법을 수행하여 화소들을 그룹핑 및 라벨링하여 눈의 후보 영역을 결정하여 판단부(540)로 출력한다.
판단부(540)는 상기 결정된 영역이 눈에 해당하는 영역인가를 판단하여 눈에 해당하면 출력단자 OUT2를 통해 출력하고, 눈에 해당하지 않는 것으로 판단하면 카운터(550)로 제어신호를 출력한다. 눈에 해당하는지 여부 판단은, 전술한 바와 같이, 결정된 눈의 후보 영역의 기하학적 정보를 계산하여, 사전에 결정되어판단부(540)에 저장되어 있는 눈 영역에 대한 소정의 기하학적 정보와 상기 계산된 정보를 비교하여 눈 영역인가를 판단하는 것이 바람직하다.
카운터(550)는 판단부(540)가 상기 결정된 영역이 눈에 해당하는 영역이 아닌 것으로 판단한 경우에 제어신호를 판단부(540)로부터 입력받아 IterNum(반복회수)를 1만큼 증가시키고 증가된 IterNum을 비교기(560)로 출력한다.
비교기(560)는 카운터(550)로부터 입력받은 IterNum가 소정의 최대 IterNum보다 큰 값인지 여부를 비교하여, IterNum가 최대 IterNum보다 큰 경우에는 얼굴 영역 검출 장치(미도시)로 제어 신호를 출력단자 OUT3를 통해 출력하여 얼굴 영역 검출 장치(미도시)가 새로운 입력 영상에 대하여 얼굴 영역을 검출하게 제어한다. 그러나, 최대 IterNum보다 작은 경우에는 역치값 결정부(510)로 제어 신호를 출력하여 새로운 역치값을 결정하게 제어한다.
도 6은 전술한 본 발명에 의한 물체 추적 방법을 수행하는 본 발명에 의한 물체 추적 장치를 설명하기 위한 블록도이다.
먼저, 카메라(610)는 시스템 자체에 장착되어 있으며 예컨대, CCD 카메라가 되고 외부 영상을 포착한다.
입력 영상 변환부(621)는 카메라를 통해 입력된 베이어 포맷의 신호를 RGB 신호로 변환한다.
영상 검출부(622)는 입력 영상 변환부(621)로부터 입력된 영상신호에서 얼굴 과 그 얼굴내의 눈의 위치를 검출한다. 얼굴과 눈을 검출하는 방법 및 장치는 종래의 다양한 기술이 사용될 수 있으며, 전술한 본 발명에 의한 얼굴 영역 검출 방법및 장치와 눈 영역 검출 방법 및 장치가 사용될 수 있다.
영상 인식부(623)는 영상 검출부(622)로부터 입력받은 검출된 얼굴을 인식하고, 인식된 얼굴 정보와 영상 데이터베이스부(633)에 사전에 저장된 얼굴 정보를 비교하여 사용자를 인증하여 사전에 등록된 사람인 것으로 인식되면 제어명령 생성부(624)에 각종 제어명령을 발생시켜 시스템이 소정의 동작을 수행하도록 하고, 인증에 실패하여 사전에 등록된 사람이 아닌 것으로 판단되면 카메라에 입력된 사람에 대해 아무런 동작을 수행하지 않거나 예를 들면, 시스템이 강아지 로봇라면 그 사람을 향해 으르릉거리며 경계심을 표현하는 동작을 수행하도록 한다.
한편, 사용자 인증부(631)는 사용자 PC로부터 사용자의 얼굴 정보를 영상 데이터베이스부(633)에 등록할 때 사용자를 인증하는 기능을 수행한다.
영상 등록부(632)는 영상 데이터베이스부(633)에 저장하기 위해 입력된 얼굴 정보를 처리하여 얼굴 인식에 필요한 정보를 영상 데이터베이스부(633)에 저장한다.
영상 데이터베이스부(633)는 영상 등록부(632)를 통해 다수 사용자들의 얼굴 정보를 저장하는 기능을 한다.
또한, 제어 명령 생성부(624)는 영상 인식부(623)로부터 제어 신호를 입력받아, 출력 장치 구동부(651)를 제어하는 제어 명령을 생성한다.
출력 장치 구동부(651)는 제어 명령 생성부(624)로부터 제어명령을 받아 각종 출력장치 즉, LEDs(653), 스피커(654), 모터(655)를 동작 데이터베이스부(652)에 저장된 일련의 동작에 대한 정보를 입력받아 그 정보에 따라 동작하도록 제어한다.
동작 데이터베이스부(652)에는 시스템이 일련의 특정 동작을 하는 경우에 그 일련의 동작의 내용 및 순서에 관한 정보를 저장한다. 예컨대, 시스템이 강아지 로봇인 경우에, 카메라를 통해 입력된 사람이 주인인 것으로 인식되면, 반가운 소리를 내며 눈 부분에 장치한 LED가 단속적으로 빛나도록 동작에 관한 정보를 설정한다.
동작 감시부(656)는 각 출력장치들이 제대로 동작하고 있는지를 피드백 받아 감시하는 기능을 수행한다.
센서(658)는 충격센서로서 시스템이 어딘가에 충돌했는지 여부를 감지한다.
한편, 영상 변환부(641), 물체 검출부(642) 및 물체위치판단부(643)는 영상 인식부(623)에서 얼굴을 인식한 결과, 카메라에 입력된 사람이 인증된 사람인 경우에 시스템이 물체를 추적하기 위한 물체의 위치 정보를 결정하는 기능을 수행하는 장치들이다.
즉, 영상 변환부(641)는 입력 영상 변환부(621)에서 받은 RGB 포맷의 신호를 정규화된 RGB 포맷의 신호로 변환하는 기능을 한다.
물체 검출부(642)는 입력 영상으로부터 물체 영역을 추출하는 기능을 한다.
물체위치판단부(643)는 추출된 물체 영역 정보를 이용하여 물체의 위치를 분석하여 위치 정보를 제어 명령 생성부(624)로 출력한다.
도 7은 도 6에 도시된 본 발명에 의한 물체 추적 장치(700)의 실제 구현예를 보여 주기 위한 도면이다.
도 6에 도시된 입력 영상 변환부(621), 영상 검출부(622), 영상 인식부(623), 제어명령 생성부(624), 사용자 인증부(631), 영상 등록부(632), 영상 변환부(641), 물체 검출부(642) 및 물체위치판단부(643)는 DSP(Digital Signal Processor)(721)에 의해 구현된다.
플래쉬 메모리(723)는 시스템이 물체를 추적하는 경우에, 물체 영상을 저장하여 계속적이 물체의 추적이 가능하도록 하는 기능을 한다.
도 8a ~ 도 8c는 본 발명에 의한 얼굴 영역 검출 방법 및 장치의 효과를 시험하기 위한 테스트 입력 영상이다.
도 8a ~ 도 8c에 도시된 테스트 영상은 각각 다른 다른 카메라를 사용하여 다른 시간에 촬영된 영상이므로 조명 조건 및 사람의 피부색이 확연히 틀리다.
도 8a의 테스트 영상은 사람의 얼굴 영역이 황색에 가깝고 배경과 색상의 구분이 잘 안되는 경우이다.
도 8b의 테스트 영상은 사람의 얼굴 영역이 붉은 색에 가깝고 배경과 색상의 구분이 잘되는 경우이다.
도 8c의 테스트 영상은 배경과 사람의 얼굴이 합성된 경우이고, 얼굴을 화장을 하여 밝으면서 하얗게 보이는 경우이다.
도 9a ~ 도 9c는 도 8a ~ 도 8c에 도시된 테스트 영상을 대상으로 하여 본 발명에 의한 얼굴 영역 검출 방법 및 장치에 적용되는 실시간 학습 방법을 사용하여 얼굴 영역의 색상과 채도의 범위를 각각 구한 결과를 나타내는 도면이다.
도 10a ~ 도 10c는 도 8a ~ 도 8c에 도시된 테스트 영상을 대상으로 하여 본발명에 의한 얼굴 영역 검출 방법 및 장치를 사용하여 얼굴 영역을 각각 검출한 결과를 나타내는 도면이다.
도 8a ~ 도 8c에 도시된 테스트 영상은 조명 조건 및 피부색이 확연히 틀림에도 불구하고, 도 10a, 도 10b 및 도 10c에 도시된 바와 같이 얼굴 영역이 성공적으로 검출되었음을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 영상 신호 검출 방법 및 장치는, 조명의 변화 및 카메라 성능의 차이 등의 외부 환경의 변화에 강인하고, 적은 계산량으로 입력 영상으로부터 얼굴 영역 또는 눈 영역을 정확하게 검출하는 효과를 가지며, 또한 본 발명에 의한 물체 추적 방법 및 장치는 사용자를 인증하는 단계를 구비하여 인증된 사용자인 경우에만 물체를 추적하거나 인증된 사용자별로 제각각 다른 동작을 수행하게 하는 동작의 다양성을 제공하는 효과를 가진다..

Claims (39)

  1. 카메라를 통해 입력된 영상 신호를 수신하는 단계;
    상기 영상 신호로부터 색상 정보 및 채도 정보를 추출하는 단계;
    실시간 학습 방법을 이용하여 상기 정보로부터 얼굴 후보 영역을 추출하는 단계;
    상기 추출된 영역에 대해 얼굴 후보 영역을 결정하는 단계; 및
    상기 결정된 영역이 얼굴 영역인가를 판단하는 단계를 구비하고,
    상기 얼굴 후보 영역을 추출하는 단계는,
    상기 입력 영상의 중앙을 기준으로 소정 크기의 사각형의 영역 내의 상기 색상 정보 및 상기 채도 정보의 범위를 결정하는 단계; 및
    상기 색상 및 채도 정보의 범위를 이용하여 상기 얼굴 후보 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 신호 검출 방법.
  2. 삭제
  3. 제1 항에 있어서, 상기 얼굴 후보 영역을 결정하는 단계는 4-컨넥티비티 방법을 이용하여 상기 추출된 영역내의 화소를 그룹핑 및 라벨링하여 얼굴 후보 영역을 결정하는 것을 특징으로 하는 영상 신호 검출 방법.
  4. 제1 항에 있어서, 상기 판단 단계는 상기 결정된 얼굴 영역의 기하학적 정보와 사전에 결정된 얼굴 영역에 대한 소정의 기하학적 정보를 비교하여 수행되는 것을 특징으로 하는 영상 신호 검출 방법.
  5. 카메라를 통해 입력된 영상 신호를 수신하는 단계;
    상기 영상 신호로부터 색상 정보 및 채도 정보를 추출하는 단계;
    실시간 학습 방법을 이용하여 상기 정보로부터 얼굴 후보 영역을 추출하는 단계;
    상기 추출된 영역에 대해 얼굴 후보 영역을 결정하는 단계; 및
    상기 결정된 영역이 얼굴 영역인가를 판단하는 단계를 구비하고,
    상기 얼굴 후보 영역을 추출하는 단계는,
    상기 입력 영상의 중앙을 기준으로 소정 크기의 사각형의 영역 내의 상기 색상 정보 및 상기 채도 정보의 범위를 결정하는 단계; 및
    상기 색상 및 채도 정보의 범위를 이용하여 상기 얼굴 후보 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 신호 검출 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  6. 얼굴 영상이 포함된 영상 신호에서 눈에 해당하는 영역을 검출하는 영상 신호 검출 방법에 있어서,
    (a) 상기 신호에서 얼굴 영역을 검출하는 단계;
    (b) 상기 검출된 얼굴 영역내의 명도 정보의 초기 역치값을 결정하는 단계;
    (c) 상기 역치값을 이용하여 눈의 후보 영역을 추출하는 단계;
    (d) 상기 추출된 영역에 대해 눈의 후보 영역을 결정하는 단계;
    (e) 상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 단계;
    (f) 눈에 해당하는 영역이 아닌 것으로 판단되면, 새로운 역치값을 결정하는 단계를 구비하고,
    상기 새로운 역치값을 이용하여 상기 (c)단계부터 상기 (e)단계까지를 반복하는 것을 특징으로 하는 영상 신호 검출 방법.
  7. 제6 항에 있어서, 상기 초기 역치값은 상기 얼굴 영역내의 명도 정보의 평균값임을 특징으로 하는 영상 신호 검출 방법.
  8. 제6 항에 있어서, 상기 (d)단계는 4-컨넥티비티 방법을 이용하여 상기 추출된 영역내의 화소를 그룹핑 및 라벨링하여 눈의 후보 영역을 결정하는 것을 특징으로 하는 영상 신호 검출 방법.
  9. 제6 항에 있어서, 상기 (e)단계는 상기 결정된 눈 영역의 기하학적 정보와 사전에 결정된 눈 영역에 대한 소정의 기하학적 정보를 비교하여 수행되는 것을 특징으로 하는 영상 신호 검출 방법.
  10. 제6 항에 있어서, 상기 (f)단계는,
    새로운 역치값을 결정한 회수를 기억하여 상기 회수가 소정의 최대 회수보다 크면 새로운 역치값을 결정하지 아니하고 다시 상기 (a)단계로 돌아가서 상기 동일한 단계들을 반복하는 것을 특징으로 하는 영상 신호 검출 방법.
  11. 얼굴 영상이 포함된 영상 신호에서 눈에 해당하는 영역을 검출하는 영상 신호 검출 방법에 있어서,
    (a) 상기 신호에서 얼굴 영역을 검출하는 단계;
    (b) 상기 검출된 얼굴 영역내의 명도 정보의 초기 역치값을 결정하는 단계;
    (c) 상기 역치값을 이용하여 눈의 후보 영역을 추출하는 단계;
    (d) 상기 추출된 영역에 대해 눈의 후보 영역을 결정하는 단계;
    (e) 상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 단계;
    (f) 눈에 해당하는 영역이 아닌 것으로 판단되면, 새로운 역치값을 결정하는 단계를 구비하고,
    상기 새로운 역치값을 이용하여 상기 (c)단계부터 상기 (e)단계까지를 반복하는 것을 특징으로 하는 영상 신호 검출 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 삭제
  13. 다수 사용자의 얼굴 정보가 사전에 데이터베이스에 저장되어 있으며, 카메라가 장착되어 있는 자율적으로 움직이는 시스템에서의 물체 추적 방법에 있어서,
    상기 카메라를 통해 입력된 사용자의 얼굴이 포함된 영상 신호로부터 상기 사용자의 얼굴 영역을 검출하는 단계;
    상기 사용자의 얼굴을 인식하는 단계;
    상기 인식된 얼굴이 상기 데이터베이스에 저장된 다수의 얼굴 정보 중 하나와 매칭되는지 여부에 따라 상기 사용자를 인증하는 단계; 및
    상기 사용자가 인증되면 상기 사용자를 추적하는 단계를 구비하고,
    상기 얼굴 영역을 검출하는 단계는,
    상기 영상 신호로부터 색상 정보 및 채도 정보를 추출하는 단계;
    실시간 학습 방법을 이용하여 상기 정보로부터 얼굴 후보 영역을 추출하는 단계;
    상기 추출된 영역에 대해 얼굴 후보 영역을 결정하는 단계; 및
    상기 결정된 영역이 얼굴 영역인가를 판단하는 단계를 구비하는 것을 특징으로 하는 물체 추적 방법.
  14. 제13 항에 있어서, 상기 실시간 학습 방법은,
    상기 입력 영상의 중앙을 기준으로 소정 크기의 사각형의 영역 내의 상기 색상 정보 및 상기 채도 정보의 범위를 결정하는 단계; 및
    상기 색상 및 채도 정보의 범위를 이용하여 상기 얼굴 후보 영역을 추출하는 단계를 구비하는 것을 특징으로 하는 물체 추적 방법.
  15. 제13 항에 있어서, 상기 얼굴 후보 영역을 결정하는 단계는 4-컨넥티비티 방법을 이용하여 상기 추출된 영역내의 화소를 그룹핑 및 라벨링하여 얼굴 후보 영역을 결정하는 것을 특징으로 하는 물체 추적 방법.
  16. 제13 항에 있어서, 상기 판단 단계는 상기 결정된 얼굴 영역의 기하학적 정보와 사전에 결정된 얼굴 영역에 대한 소정의 기하학적 정보를 비교하여 수행되는 것을 특징으로 하는 물체 추적 방법.
  17. 다수 사용자의 얼굴 정보가 사전에 데이터베이스에 저장되어 있으며, 카메라가 장착되어 있는 자율적으로 움직이는 시스템에서의 물체 추적 방법에 있어서,
    상기 카메라를 통해 입력된 사용자의 얼굴이 포함된 영상 신호로부터 상기 사용자의 얼굴 영역을 검출하는 단계;
    상기 사용자의 얼굴을 인식하는 단계;
    상기 인식된 얼굴이 상기 데이터베이스에 저장된 다수의 얼굴 정보 중 하나와 매칭되는지 여부에 따라 상기 사용자를 인증하는 단계; 및
    상기 사용자가 인증되면 상기 사용자를 추적하는 단계를 구비하고,
    상기 얼굴 영역을 검출하는 단계는,
    상기 얼굴 영역을 결정하는 단계;
    상기 결정된 얼굴 영역 내의 명도 정보의 초기 역치값을 결정하는 단계;
    상기 역치값을 이용하여 눈의 후보 영역을 추출하는 단계;
    상기 추출된 영역에 대해 눈의 후보 영역을 결정하는 단계;
    상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 단계;
    눈에 해당하는 영역이 아닌 것으로 판단되면, 새로운 역치값을 결정하는 단계를 구비하고, 상기 새로운 역치값을 이용하여 상기 눈의 후보 영역을 추출하는 단계, 상기 눈의 후보 영역을 결정하는 단계 및 상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 단계를 반복하는 것을 특징으로 하는 물체 추적 방법.
  18. 제17 항에 있어서, 상기 초기 역치값은 상기 얼굴 영역내의 명도 정보의 평균값임을 특징으로 하는 물체 추적 방법.
  19. 제17 항에 있어서, 상기 눈의 후보 영역을 결정하는 단계는 4-컨넥티비티 방법을 이용하여 상기 추출된 영역내의 화소를 그룹핑 및 라벨링하여 눈의 후보 영역을 결정하는 것을 특징으로 하는 물체 추적 방법.
  20. 제17 항에 있어서, 상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 단계는 상기 결정된 눈 영역의 기하학적 정보와 사전에 결정된 눈 영역에 대한 소정의 기하학적 정보를 비교하여 수행되는 것을 특징으로 하는 물체 추적 방법.
  21. 제17 항에 있어서,
    새로운 역치값을 결정한 회수가 소정의 최대 회수보다 크면 새로운 역치값을 결정하지 아니하고 다시 상기 얼굴 영역 검출 단계로 돌아가서 상기 동일한 단계들을 반복하는 단계를 포함하는 것을 특징으로 하는 물체 추적 방법.
  22. 다수 사용자의 얼굴 정보가 사전에 데이터베이스에 저장되어 있으며, 카메라가 장착되어 있는 자율적으로 움직이는 시스템에서의 물체 추적 방법에 있어서,
    상기 카메라를 통해 입력된 사용자의 얼굴이 포함된 영상 신호로부터 상기 사용자의 얼굴 영역을 검출하는 단계;
    상기 사용자의 얼굴을 인식하는 단계;
    상기 인식된 얼굴이 상기 데이터베이스에 저장된 다수의 얼굴 정보 중 하나와 매칭되는지 여부에 따라 상기 사용자를 인증하는 단계; 및
    상기 사용자가 인증되면 상기 사용자를 추적하는 단계를 구비하고,
    상기 얼굴 영역을 검출하는 단계는,
    상기 얼굴 영역을 결정하는 단계;
    상기 결정된 얼굴 영역 내의 명도 정보의 초기 역치값을 결정하는 단계;
    상기 역치값을 이용하여 눈의 후보 영역을 추출하는 단계;
    상기 추출된 영역에 대해 눈의 후보 영역을 결정하는 단계;
    상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 단계;
    눈에 해당하는 영역이 아닌 것으로 판단되면, 새로운 역치값을 결정하는 단계를 구비하고, 상기 새로운 역치값을 이용하여 상기 눈의 후보 영역을 추출하는 단계, 상기 눈의 후보 영역을 결정하는 단계 및 상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 단계를 반복하는 것을 특징으로 하는 물체 추적 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  23. 입력 영상 신호를 수신하여 상기 신호로부터 색상 정보 및 채도 정보를 추출하고, 실시간 학습 방법을 이용하여 상기 정보로부터 얼굴 후보 영역을 추출하는 영상 학습부;
    상기 추출된 영역을 입력받아 얼굴 후보 영역을 결정하는 영상 결정부; 및
    상기 얼굴 후보 영역을 입력받아 상기 결정된 영역이 얼굴 영역인가를 판단하는 판단부를 구비하고,
    상기 영상 학습부는 상기 입력 영상의 중앙을 기준으로 소정 크기의 사각형의 영역 내의 상기 색상 정보 및 상기 채도 정보의 범위를 결정하고, 상기 범위를 이용하여 상기 얼굴 후보 영역을 추출하는 것을 특징으로 하는 영상 신호 검출 장치.
  24. 삭제
  25. 제23 항에 있어서, 상기 영상 결정부는 4-컨넥티비티 방법을 이용하여 상기 추출된 영역내의 화소를 그룹핑 및 라벨링하여 얼굴 후보 영역을 결정하는 것을 특징으로 하는 영상 신호 검출 장치.
  26. 제23 항에 있어서, 상기 판단부는 상기 결정된 얼굴 영역의 기하학적 정보를 계산하여, 사전에 결정되어 저장된 얼굴 영역에 대한 소정의 기하학적 정보와 상기계산된 정보를 비교하여 얼굴 영역인가를 판단하는 것을 특징으로 하는 영상 신호 검출 장치.
  27. 입력 영상 신호로부터 얼굴 영역을 검출하는 얼굴 영역 검출부의 출력인 얼굴 영역의 범위 정보를 입력받아 눈 영역을 검출하는 영상 신호 검출 장치에서,
    상기 입력 영상 신호중의 명도 정보와, 상기 얼굴 영역의 범위 정보를 입력받아, 상기 얼굴 영역내의 명도 정보의 역치값을 결정하는 역치값 결정부;
    상기 명도 정보와 상기 얼굴 영역의 범위 정보를 입력 받고 상기 역치값을 상기 역치값 결정부로부터 입력받아 눈의 후보 영역을 추출하는 영상 추출부;
    상기 영상 추출부로부터 눈의 후보 영역에 대한 정보를 입력받아 상기 눈의 후보 영역을 결정하는 영상 결정부; 및
    상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 판단부를 구비하는 것을 특징으로 하는 영상 신호 검출 장치.
  28. 제27 항에 있어서, 상기 영상 결정부는 4-컨넥티비티 방법을 수행하여 상기 추출된 영역의 화소들을 그룹핑 및 라벨링하여 상기 눈의 후보 영역을 결정하는 것을 특징으로 하는 영상 신호 검출 장치.
  29. 제27 항에 있어서, 상기 영상 신호 검출 장치는,
    상기 판단부가 상기 결정된 영역이 눈에 해당하는 영역이 아닌 것으로 판단하면, 상기 판단부로부터 제어 명령을 입력받아 반복회수를 1만큼 증가시키는 카운터; 및
    상기 반복회수가 소정의 최대 반복회수보다 큰 값인지 여부를 비교하여, 상기 반복회수가 상기 최대 반복회수보다 큰 경우에는 상기 얼굴 영역 검출부로 제어 신호를 출력하여 상기 얼굴 영역 검출부가 새로운 입력 영상에 대하여 얼굴 영역을 검출하게 하고, 상기 최대 반복회수보다 작은 경우에는 상기 역치값 결정부로 제어 신호를 출력하여 새로운 역치값을 결정하게 하는 비교기를 더 구비하는 것을 특징으로 하는 영상 신호 검출 장치.
  30. 제27 항에 있어서, 상기 판단부는 상기 결정된 눈 영역의 기하학적 정보를 계산하여, 사전에 결정되어 저장된 눈 영역에 대한 소정의 기하학적 정보와 상기 계산된 정보를 비교하여 눈 영역인가를 판단하는 것을 특징으로 하는 영상 신호 검출 장치.
  31. 삭제
  32. 카메라가 장착되어 있으며, 출력 장치 구동부의 제어에 따라 동작하는 다수의 모터를 구비하여 자율적으로 움직이는 시스템에서의 물체 추적 장치에 있어서,
    상기 카메라를 통해 입력된 사용자의 얼굴이 포함된 입력 영상 신호로부터 상기 사용자의 얼굴을 검출하는 영상 검출부;
    사전에 입력된 다수 사용자들의 얼굴 정보가 저장된 영상 데이터베이스부;
    상기 영상 검출부로부터 입력받은 상기 사용자의 얼굴을 인식하고, 상기 인식된 얼굴에 관한 정보와 상기 영상 데이터베이스부에 저장된 얼굴 정보를 비교하여 상기 사용자를 인증하는 영상 인식부; 및
    상기 사용자가 인증되면, 상기 영상 인식부로부터 제어 신호를 입력받아, 상기 출력 장치 구동부를 제어하는 제어 명령을 생성하여 상기 다수의 모터를 동작시키는 제어 명령 생성부를 구비하고,
    상기 영상 검출부는,
    상기 입력 영상 신호를 수신하여 상기 신호로부터 색상 정보 및 채도 정보를 추출하고, 실시간 학습 방법을 이용하여 상기 정보로부터 얼굴 후보 영역을 추출하는 영상 학습부;
    상기 추출된 영역을 입력받아 얼굴 후보 영역을 결정하는 영상 결정부; 및
    상기 얼굴 후보 영역을 입력받아 상기 결정된 영역이 얼굴 영역인가를 판단하는 판단부를 구비하는 것을 특징으로 하는 물체 추적 장치.
  33. 제32 항에 있어서, 상기 영상 학습부는 상기 입력 영상의 중앙을 기준으로 소정 크기의 사각형의 영역 내의 상기 색상 정보 및 상기 채도 정보의 범위를 결정하고, 상기 범위를 이용하여 상기 얼굴 후보 영역을 추출하는 것을 특징으로 하는 물체 추적 장치.
  34. 제32 항에 있어서, 상기 영상 결정부는 4-컨넥티비티 방법을 이용하여 상기 추출된 영역내의 화소를 그룹핑 및 라벨링하여 얼굴 후보 영역을 결정하는 것을 특징으로 하는 물체 추적 장치.
  35. 제32 항에 있어서, 상기 판단부는 상기 결정된 얼굴 영역의 기하학적 정보를 계산하여, 사전에 결정되어 저장된 얼굴 영역에 대한 소정의 기하학적 정보와 상기 계산된 정보를 비교하여 얼굴 영역인가를 판단하는 것을 특징으로 하는 물체 추적 장치.
  36. 카메라가 장착되어 있으며, 출력 장치 구동부의 제어에 따라 동작하는 다수의 모터를 구비하여 자율적으로 움직이는 시스템에서의 물체 추적 장치에 있어서,
    상기 카메라를 통해 입력된 사용자의 얼굴이 포함된 입력 영상 신호로부터 상기 사용자의 얼굴을 검출하는 영상 검출부;
    사전에 입력된 다수 사용자들의 얼굴 정보가 저장된 영상 데이터베이스부;
    상기 영상 검출부로부터 입력받은 상기 사용자의 얼굴을 인식하고, 상기 인식된 얼굴에 관한 정보와 상기 영상 데이터베이스부에 저장된 얼굴 정보를 비교하여 상기 사용자를 인증하는 영상 인식부; 및
    상기 사용자가 인증되면, 상기 영상 인식부로부터 제어 신호를 입력받아, 상기 출력 장치 구동부를 제어하는 제어 명령을 생성하여 상기 다수의 모터를 동작시키는 제어 명령 생성부를 구비하고,
    상기 영상 검출부는,
    상기 입력 영상 신호로부터 얼굴 영역을 검출하는 얼굴 영역 검출부;
    상기 입력 영상 신호중의 명도 정보와, 상기 얼굴 영역의 범위 정보를 입력받아, 상기 얼굴 영역내의 명도 정보의 역치값을 결정하는 역치값 결정부;
    상기 명도 정보와 상기 얼굴 영역의 범위 정보를 입력 받고 상기 역치값을 상기 역치값 결정부로부터 입력받아 눈의 후보 영역을 추출하는 영상 추출부;
    상기 영상 추출부로부터 눈의 후보 영역에 대한 정보를 입력받아 상기 눈의 후보 영역을 결정하는 영상 결정부; 및
    상기 결정된 영역이 눈에 해당하는 영역인가를 판단하는 판단부를 구비하는 것을 특징으로 하는 물체 추적 장치.
  37. 제36 항에 있어서, 상기 영상 결정부는 4-컨넥티비티 방법을 수행하여 상기추출된 영역의 화소들을 그룹핑 및 라벨링하여 상기 눈의 후보 영역을 결정하는 것을 특징으로 하는 물체 추적 장치.
  38. 제36 항에 있어서,
    상기 판단부가 상기 결정된 영역이 눈에 해당하는 영역이 아닌 것으로 판단하면, 상기 판단부로부터 제어 명령을 입력받아 반복회수를 1만큼 증가시키는 카운터; 및
    상기 반복회수가 소정의 최대 반복회수보다 큰 값인지 여부를 비교하여, 상기 반복회수가 상기 최대 반복회수보다 큰 경우에는 상기 얼굴 영역 검출부로 제어 신호를 출력하여 상기 얼굴 영역 검출부가 새로운 입력 영상에 대하여 얼굴 영역을 검출하게 하고, 상기 최대 반복회수보다 작은 경우에는 상기 역치값 결정부로 제어 신호를 출력하여 새로운 역치값을 결정하게 하는 비교기를 더 구비하는 것을 특징으로 하는 물체 추적 장치.
  39. 제36 항에 있어서, 상기 판단부는 상기 결정된 눈 영역의 기하학적 정보를 계산하여, 사전에 결정되어 저장된 눈 영역에 대한 소정의 기하학적 정보와 상기 계산된 정보를 비교하여 눈 영역인가를 판단하는 것을 특징으로 하는 물체 추적 장치.
KR10-2002-0016691A 2002-03-27 2002-03-27 영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적방법 및 장치 KR100455295B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0016691A KR100455295B1 (ko) 2002-03-27 2002-03-27 영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0016691A KR100455295B1 (ko) 2002-03-27 2002-03-27 영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적방법 및 장치

Publications (2)

Publication Number Publication Date
KR20030077796A KR20030077796A (ko) 2003-10-04
KR100455295B1 true KR100455295B1 (ko) 2004-11-06

Family

ID=32376821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0016691A KR100455295B1 (ko) 2002-03-27 2002-03-27 영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적방법 및 장치

Country Status (1)

Country Link
KR (1) KR100455295B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899204B1 (ko) 2007-10-15 2009-05-27 주식회사 다음커뮤니케이션 스킨 이미지 검출 장치 및 그 방법과 이를 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513739B1 (ko) * 2002-08-23 2005-09-09 삼성전자주식회사 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템
KR100762363B1 (ko) * 2005-08-23 2007-10-02 삼성중공업 주식회사 곡가공 작업의 자동 데이터 수집을 위한 머신 비젼 시스템및 데이터 수집 방법
KR101396326B1 (ko) 2007-10-12 2014-05-16 삼성전자주식회사 얼굴 검출을 위한 디지털 영상 처리 장치의 제어 방법 및이 방법을 채용한 디지털 영상 처리 장치
KR101480636B1 (ko) * 2013-09-23 2015-01-09 주식회사 에스원 영상 감시 장치의 감시 방법
KR102287683B1 (ko) * 2019-09-30 2021-08-10 주식회사 씨엘 컴퓨터 비전을 이용한 승객 계수 장치 및 승객 모니터링 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940020129A (ko) * 1993-02-25 1994-09-15 오오가 노리오 움직이는 물체 검출 추적장치
KR20000056563A (ko) * 1999-02-23 2000-09-15 김재희 응시위치 추적시스템
KR20010086980A (ko) * 2000-03-06 2001-09-15 김성수 화상검색기능을 갖는 출입문 잠금장치
KR20030062586A (ko) * 2002-01-17 2003-07-28 엘지전자 주식회사 이동 통신 환경에서의 사람 영역 추출방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940020129A (ko) * 1993-02-25 1994-09-15 오오가 노리오 움직이는 물체 검출 추적장치
KR20000056563A (ko) * 1999-02-23 2000-09-15 김재희 응시위치 추적시스템
KR20010086980A (ko) * 2000-03-06 2001-09-15 김성수 화상검색기능을 갖는 출입문 잠금장치
KR20030062586A (ko) * 2002-01-17 2003-07-28 엘지전자 주식회사 이동 통신 환경에서의 사람 영역 추출방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899204B1 (ko) 2007-10-15 2009-05-27 주식회사 다음커뮤니케이션 스킨 이미지 검출 장치 및 그 방법과 이를 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Also Published As

Publication number Publication date
KR20030077796A (ko) 2003-10-04

Similar Documents

Publication Publication Date Title
US7957560B2 (en) Unusual action detector and abnormal action detecting method
Huynh-Thu et al. Skin-color extraction in images with complex background and varying illumination
Wu et al. A detection system for human abnormal behavior
US20060018516A1 (en) Monitoring activity using video information
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
Liu et al. Vision-based stop sign detection and recognition system for intelligent vehicles
US20180173940A1 (en) System and method for matching an object in captured images
Chen et al. Skin color modeling for face detection and segmentation: a review and a new approach
Baltzakis et al. Visual tracking of hands, faces and facial features of multiple persons
Atharifard et al. Robust component-based face detection using color feature
KR100755800B1 (ko) 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
Wang et al. An intelligent recognition framework of access control system with anti-spoofing function
KR100455295B1 (ko) 영상 신호 검출 방법 및 장치와 이를 이용한 물체 추적방법 및 장치
Engoor et al. Occlusion-aware dynamic human emotion recognition using landmark detection
CN110929680A (zh) 一种基于特征融合的人脸活体检测方法
Singh et al. Template matching for detection & recognition of frontal view of human face through Matlab
Foresti et al. Face detection for visual surveillance
Lee et al. Efficient Face Detection and Tracking with extended camshift and haar-like features
US20050152582A1 (en) Multiple person detection apparatus and method
Zhang et al. Adaptive face recognition for low-cost, embedded human-robot interaction
Bhanushree et al. Feature Based Face Recognition using Machine Learning Technniques
Lee et al. An intelligent video security system using object tracking and shape recognition
Wu et al. Real-time 2D hands detection and tracking for sign language recognition
Vivekanandam et al. Face recognition from video frames using hidden markov model classification model based on modified random feature extraction
Bevilacqua et al. Face detection by means of skin detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120914

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140922

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150917

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160920

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20170919

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 15