KR20060121503A - 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 - Google Patents

무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 Download PDF

Info

Publication number
KR20060121503A
KR20060121503A KR1020050043724A KR20050043724A KR20060121503A KR 20060121503 A KR20060121503 A KR 20060121503A KR 1020050043724 A KR1020050043724 A KR 1020050043724A KR 20050043724 A KR20050043724 A KR 20050043724A KR 20060121503 A KR20060121503 A KR 20060121503A
Authority
KR
South Korea
Prior art keywords
face
important
map
motion
color
Prior art date
Application number
KR1020050043724A
Other languages
English (en)
Other versions
KR101146417B1 (ko
Inventor
고병철
백승현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050043724A priority Critical patent/KR101146417B1/ko
Publication of KR20060121503A publication Critical patent/KR20060121503A/ko
Application granted granted Critical
Publication of KR101146417B1 publication Critical patent/KR101146417B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning

Abstract

본 발명은 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법에 관한 것으로,카메라에 의해 촬영된 영상이 입력되면, 입력된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하며, 입력된 영상에서 얼굴 영상과 유사한 얼굴 후보 영역을 검출한 후, 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하고, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하여 최종 중요 얼굴을 추적한다. 따라서 본 발명은 본 발명은 입력 영상에 여러 사람이 존재하여도 특정 한 사람을 중요한 사람으로 인식하여 그 중요한 사람만을 추적할 수 있도록 하는 효과가 있다.
무인 감시 로봇, 얼굴 검출, 중요 얼굴 검출, 중요 얼굴 추적

Description

무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법{APPARATUS AND METHOD FOR TRACKING SALIENT HUMAN FACE IN ROBOT SURVEILLANCE}
도 1은 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에 대한 블록 구성도
도 2는 본 발명의 실시 예에 따른 입력 영상에 대한 색상 대비 맵/모션 맵/얼굴 후보영역 검출 영상 일예도
도 3은 본 발명의 실시 예에 따른 중요 대비 맵 영상 일예도
도 4는 본 발명의 실시 예에 따른 최종 중요 얼굴 선택화면 일예도
도 5는 본 발명의 실시 예에 따른 중요 얼굴 추적 장치의 동작 흐름도
도 6은 본 발명의 실시 예에 따른 색상 대비 맵 생성 과정에 대한 흐름도
도 7은 본 발명의 실시 예에 따른 모션 맵 생성 과정에 대한 흐름도
도 8은 본 발명의 실시 예에 따른 얼굴 후보 영역 검출 과정에 대한 흐름도
본 발명은 로봇에 관한 것으로, 특히 무인 감시 로봇 등과 같은 각종 로봇에 서 중요 얼굴 추적을 위한 장치 및 방법에 관한 것이다.
최근 로봇에 대한 관심이 크게 증가하면서 로봇 비전에 대한 기술이 활발한 연구 대상이 되고 있으며, 로봇 비전 기술은 인공 지능과 연관되어 얼굴 검출 및 인식, 객체 추적, 표정 인식, 동작 인식 등으로 다양하게 연구되고 있다.
그러나 상기한 바와 같은 로봇 비전 기술들은 기술의 현실적 응용의 어려움으로 인해 현재는 주로 얼굴 검출 및 추적 기술이 로봇에 제한적으로 적용되고 있는 실정이다.
종래 얼굴 검출 및 추적 기술은 대부분 입력 영상안에 한 개의 얼굴이 존재한다는 가정 하에 해당 얼굴을 추적한다. 따라서 입력 영상안에 여러개의 얼굴이 존재하는 경우 모든 얼굴들을 추적해야 한다. 그런데 한대의 감시 카메라를 통해 모든 얼굴을 다 추적할 수는 없으므로 이에 대한 대안이 필요하다.
최근 이에 대한 대안으로 입력 영상에서 인간의 시각적 특성을 이용하여 중요 객체만을 추출하고 중요 객체에서 사람의 얼굴 영역을 검출하는 방법들이 제안되고 있다.
첫번째 방법은 휴머로이드 로봇(Humanoid Robot)에 적용하기 위한 목적으로 제안된 것으로, 입력 영상으로부터 피부 검출(skin detector), 색상 검출(color detector), 모션 검출(motion detector), 습관(habituation) 검출 각각에 의한 4가지 맵을 구성하고, 각 맵에 특정 가중치를 적용하여 하나의 맵으로 선형 조합한 뒤에 집충 처리(attention process)과정을 거쳐 맵에서 중요 얼굴에 해당하는 영역을 찾아내는 방법이다.
또한 두번째 방법은 입력 영상에 대한 밝기 맵과 색상 맵을 생성하고, 밝기 맵과 색상 맵 중 대응되는 좌표의 성분값이 더 높은 영역을 취하여 새로운 맵(A)을 만든 후, 입력 영상에 대한 모션 맵을 생성하여 상기 A 맵과 비교하여 대응되는 좌표의 성분값이 더 높은 영역을 취하여 새로운 맵 B를 생성하며, 입력 영상에 대한 얼굴 맵 C를 생성하여 상기 B맵과 비교하여 대응 좌표값이 높은 영역을 취하여 최종 맵을 생성하는 방법으로, 최종 맵에는 중요 얼굴 영역들이 포함되게 된다.
그런데 상기한 첫번째 방법은 피부 맵, 색상 맵, 모션 맵, 습관 맵 등과 같은 모든 특징 맵을 사용하므로 정확한 성능을 보여줄 수는 있지만 많은 계산량으로 인해 중요 얼굴 검출 시간이 오래걸리는 문제점이 있다. 또한, 첫번째 방법은 각 맵들을 하나의 맵으로 선형 조합할 때 각 맵마다 가중치를 적용하므로 각 맵들의 가중치마다 성능이 크게 좌우될 수 있는 문제점이 있다.
그리고 두번째 방법은 각 단계마다 특징 맵을 만들고 최종 얼굴맵과 일치할 경우 중요 얼굴 영역으로 간주하여 중요 얼굴을 검출하긴 하지만 한 영상에 여러 얼굴이 존재할 경우 이들 중 가장 중요한 얼굴이 어떤 얼굴인지 구분할 수 없는 문제점이 있다.
따라서 본 발명의 목적은 적은 계산량으로 짧은 시간동안 중요 얼굴을 검출하여 추적하는 중요 얼굴 추적 장치 및 방법을 제공하는 데 있다.
또한 본 발명의 목적은 입력된 영상에 여러 얼굴이 존재할 경우 이들 중 어 떠한 얼굴이 중요한 얼굴인지 구분하여 중요 얼굴만 추적하는 중요 얼굴 추적 장치 및 방법을 제공하는 데 있다.
상기의 목적을 달성하기 위한 본 발명은 무인 감시 로봇에서 중요 얼굴 추적 장치에 있어서, 소정 영상을 촬영하는 카메라와, 상기 촬영된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하는 맵 생성부와, 상기 촬영된 영상 중 얼굴 영상과 유사한 얼굴 후보 영역을 검출하는 얼굴 후보 영역 검출부와, 상기 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하고, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 중요 얼굴 검출부와, 상기 카메라를 제어하여 상기 결정된 최종 중요 얼굴을 추적하는 중요 얼굴 추적부를 포함한다.
또한 본 발명은 무인 감시 로봇에서 중요 얼굴 추적 방법에 있어서, 카메라에 의해 촬영된 영상을 입력받는 과정과, 상기 입력된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하는 과정과, 상기 입력된 영상에서 얼굴 영상과 유사한 얼굴 후보 영역을 검출하는 과정과, 상기 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하는 과정과, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 과정과, 상기 카메라를 제어하여 상기 결정된 최종 중요 얼굴을 추적하는 과정을 포함한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 도면에서 동일한 구성 요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
우선 본 발명을 개략적으로 설명하면, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 인간의 시각 체계의 특성을 이용하여 중요 인물을 추적한다. 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에서 이용되는 인간 시각 체계의 특성은 다음과 같다.
1. 인간은 주변과 두드러지는 색상(대비가 큰 색상)을 가지는 영역에 시선을 집중한다. 예를 들어 파란 하늘에 빨강색 풍선이 있을 경우 사람은 시선을 다른 주변 영역보다 빨간색 풍선에 집중할 확률이 높다.
2. 인간은 정지되어 있는 물체보다는 움직이는 물체에 시선을 집중한다. 예를 들어 주차장에 주차되어 있는 자동차들 중 한대의 차량이 움직일 경우 사람은 시선을 정지되어 있는 차보다 움직이는 차에 집중할 확률이 높다.
3. 사람은 일반 사물보다는 사람의 얼굴에 시선을 집중한다. 예를 들어 물건이 가득 차 있는 공간에 사람이 존재할 경우 사람은 시선을 물건보다는 사람에게 먼저 집중할 확률이 높다.
즉, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 상기한 바와 같은 세가지 시각적 특징에 따라 입력된 영상에 존재하는 다양한 주변 객체들 중 중요한 객체를 인식하고 그 객체 중 가장 중요한 사람을 검출하여 추적한다.
이러한 본 발명의 실시 예에 따른 중요 얼굴 추적 장치의 구성을 상세히 설명하면, 도 1은 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에 대한 블록 구성도이다. 도 1을 참조하면, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 카메라(110), 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140), 중요 대비 맵 생성부(150), 중요 얼굴 검출부(160), 중요 얼굴 추적부(170)를 포함한다.
카메라(110)는 은행 또는 상가 건물 등과 같은 건물에 장착되어 해당 장소를 촬영하는 무인 감시 카메라 또는 로봇에 장착되어 로봇의 주변을 촬영하는 카메라 등이 될 수 있으며, 촬영된 영상 신호를 출력한다.
카메라에 의해 촬영된 영상 신호는 각각 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140)로 제공된다.
색상 대비 맵 생성부(120)는 색상 대비가 큰 영역에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 색상 대비 맵을 생성한다. 모션 맵 생성부(130)는 모션이 큰 영역에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 모션 맵을 생성한다. 얼굴 후보 영역 검출부(140)는 일반 사물보다는 사람의 얼굴에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 얼굴 후보 영역을 검출한다.
이러한 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검 출부(140)의 각각에 의해 생성된 맵 및 검출 영상이 도 2에 도시되어 있다.
도 2는 본 발명의 실시 예에 따른 입력 영상에 대한 색상 대비 맵/모션 맵/얼굴 후보영역 검출 영상 일예도이다. 도 2의 (a)는 카메라(110)에 의한 입력 영상을 나타낸다. 도 2의 (b)는 색상 대비 맵 생성부(120)에 의해 생성된 색상 대비 맵 영상을 나타낸다. 도 2의 (c)는 모션 맵 생성부(130)에 의해 생성된 모션 맵 영상을 나타낸다. 도 2의 (d)는 얼굴 후보 영역 검출부(140)에 의해 검출된 얼굴 후보 영역 검출 영상을 나타낸다.
색상 대비 맵 생성부(120)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 입력된 영상의 컬러 공간을 RGB 형식의 컬러 공간에서 CIE-LAB 형식의 컬러 공간으로 변환한다. 그리고 색상 대비 맵 생성부(120)는 CIE-LAB 컬러 공간으로 변환된 영상에서 밝기 성분 L을 제외한 A성분과 B성분을 이용하여 도 2의 (b)에 도시된 바와 같은 색상 대비 맵을 생성한다. 이때 RGB 형식은 ..CIE-LAB 형식은
모션 맵 생성부(130)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 이전 영상 신호 프레임과 현재 영상 프레임을 비교하여 이전 영상 프레임과 현재 영상 프레임 간의 모션 벡터를 산출한다. 그리고 모션 맵 생성부(130)는 모션 벡터의 크기값을 이용하여 도 2의 (c)와 같은 모션 맵을 생성한다.
얼굴 후보 영역 검출부(140)는 입력 영상에서 얼굴 색과 유사한 색상을 가지는 영역을 얼굴 후보 영역으로 검출한다. 이때 얼굴 후보 영역 검출부(140)는 얼굴과 유사한 색상은 처리 속도가 빠르고 얼굴 정면 뿐만 아니라 얼굴의 기울어짐, 얼굴의 좌우 회전등에 덜 민감한 색상 성분을 이용한다. 예컨대 얼굴 후보 영역 검출 부(140)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 입력된 영상을 입력된 영상 신호에 대한 RGB 형식의 컬러 공간을 YCbCr 형식의 컬러 공간으로 변환하고, Cb 및 Cr이 미리 정해진 얼굴 색상에 대한 임계값을 만족하는 영역을 얼굴 후보 영역으로 검출한다. 그리고 얼굴 후보 영역 검출부(140)는 검출된 얼굴 후보 영역을 모폴로지 열림 기법 등을 이용하여 보정하여 최종적으로 도 2의 (d)와 같은 얼굴 후보 영역을 검출한다.
중요 대비 맵 생성부(150)는 색상 대비 맵 생성부(120)에 의해 생성된 색상 대비 맵과, 모션 맵 생성부(130)에 의해 생성된 모션 맵을 하나의 맵으로 결합하여 중요 대비 맵을 생성한다.
중요 대비 맵 생성부(150)에 의해 생성된 중요 대비 맵에 대한 도면이 도 3에 도시되어 있다. 도 3은 본 발명의 실시 예에 따른 중요 대비 맵 영상 일예도이다. 도 3을 참조하면, 중요 대비 맵 생성부(150)는 도 2의 (b)에 도시된 바와 같은 색상 대비 맵과 도 2의 (c)에 도시된 바와 같은 모션 맵 각각에 가중치를 적용하고, 가중치 적용된 색상 대비 맵과 모션 맵을 선형 조합하여 도 3에 도시된 바와 같은 중요 대비 맵을 생성한다.
중요 얼굴 검출부(160)는 중요 대비 맵 생성부(150)에 의해 생성된 중요 대비 맵과 얼굴 후보 영역 검출부(160)에 의해 검출된 최종 얼굴 후보 영역을 결합하여 중요 얼굴 영역을 검출하고, 중요 얼굴 영역들 중 최종 중요 얼굴을 선택한다.
중요 얼굴 검출부(160)에 의해 검출된 중요 얼굴 영역 들중 최종 중요 얼굴을 선택하기 위한 화면이 도 4에 도시되어 있다.
도 4는 본 발명의 실시 예에 따른 최종 중요 얼굴 선택화면 일예도이다. 도 4를 참조하면, 중요 얼굴 검출부(160)는 중요 대비 맵에서 미리 정해진 얼굴 후보 영역 임계값 이상인 영역에 대해서 최종 얼굴 후보 영역과 결합하여 중요 얼굴 영역들을 검출한다. 그리고 도 4에 도시된 바와 같이 검출된 중요 얼굴 영역들의 영역에 1, 2, 3과 같이 번호를 부여한다. 그리고 중요 얼굴 검출부(160)는 중요 얼굴 영역들 1,2, 3 중 미리 정해진 얼굴 조건을 만족하는 중요 얼굴 영역을 최종 얼굴 영역으로 판단한 후, 최종 얼굴 영역 중 중요 대비 맵값이 가장 큰 영역을 최종 중요 얼굴로 검출한다. 도 4에서는 1번 영역이 최종 중요 얼굴로 검출된 경우를 도시하고 있다.
중요 얼굴 추적부(170)는 상기 중요 얼굴 검출부(160)에 의해 검출된 최종 중요 얼굴에 대한 중심점과의 거리 측정을 통해 카메라(110)가 이동해야 할 이동거리를 측정하고, 그 이동 거리에 따라 카메라(110)가 이동하도록 제어하여 최종 중요 얼굴을 추적한다.
따라서 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 입력 영상 내의 여러 객체 중 가장 중요한 하나의 중요 얼굴을 검출하여 추적하므로, 로봇이나 무인감시 시스템에서 침입자 등과 같은 특정 사람을 검출 및 추적할 수 있다.
이하 전술한 바와 같이 구성된 중요 얼굴 추적 장치에서 중요 얼굴 추적 방법을 좀더 상세히 설명한다. 도 5는 본 발명의 실시 예에 따른 얼굴 추적 장치의 동작 흐름도이다.
도 5를 참조하면, 도 5의 202단계에서 중요 얼굴 추적 장치는 카메라(110)를 통해 영상을 촬영하고, 촬영한 영상이 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140)로 입력되도록 한다.
그리고 도 5의 210단계에서 중요 얼굴 추적 장치는 색상 대비 맵 생성부(120)를 통해 색상 대비 맵을 생성한다. 이러한 도 5의 210단계의 색상 대비 맵 생성 과정이 도 6에 상세히 도시되어 있다.
도 6은 본 발명의 실시 예에 따른 색상 대비 맵 생성 과정에 대한 흐름도이다. 도 6을 참조하면, 중요 얼굴 추적 장치는 212단계에서 입력 영상의 컬러 공간을 RGB 형식의 컬러 공간에서 CIE-LAB 형식의 컬러 공간으로 변환한다. 이때 CIE-LAB 컬러 공간으로 변환된 영상은 밝기 성분 L과 푸른 색상 성분인 A성분과 붉은 색상 성분인 B성분으로 구성된다. 즉, CIE-LAB 컬러 공간에서 A성분과 B성분은 밝기 성분이 제외된 순수한 색상 성분이므로 CIE-LAB 컬러 공간을 이용하면 색상 대비 맵을 생성할 수 있다.
상기한 바와 같이 입력 영상의 컬러 공간을 CIE-LAB 컬러 공간으로 변환한 후, 중요 얼굴 추적 장치는 213단계에서 CIE-LAB 컬러 공간으로 변환된 영상 중 A색상에 대한 영상을 1/4크기로 다운 샘플링한다. 이는 A색상에 대한 영상 처리량을 축소하여 색상 대비 맵 생성 시간을 단축시키기 위함이다.
상기한 바와 같이 A 색상에 대한 영상을 다운 샘플링 한 후, 중요 얼굴 추적장치는 214단계에서 A색상에 대한 색상 대비 맵을 생성한다. 즉, 중요 얼굴 추적 장치는 1/4로 축소한 A 색상에 대한 영상에서 한 화소를 중심으로 N×N(예컨대 6×6, 7×7, 8×8 등) 크기의 필터들을 적용하여 A 색상에 대한 색상 대비 맵을 생성 한다.
이러한 색상 대비맵 생성을 위한 식은 하기 수학식 1과 같다.
Figure 112005027267856-PAT00001
여기서, N×N은 필터의 크기, c는 필터의 중심점, bi는 필터에 포함된 화소들, nc는 새로운 중심값이다.
상기 수학식 1을 참조하면, 중요 얼굴 추적 장치는 중심점 c를 중심으로 N×N 크기의 필터에 포함된 화소들(bi)과 차이를 구하고 그 차이의 합을 전체 화소의 합으로 나눈 값을 새로운 중심값 nc로 설정하는 과정을 각 화소마다 처리하여 A 색상에 대한 색상 대비맵을 생성한다.
이때 중요 얼굴 추적 장치는 여러 개의 다른 크기의 필터를 적용하여 A 색상에 대한 색상 대비맵을 다수개 생성할 수 있다. 본 발명의 실시 예에서는 6×6, 7×7, 8×8 과 같은 3개의 필터를 적용하여 A 색상에 대한 색상 대비맵을 3개 생성한다.
상기한 바와 같이 여러 개의 다른 크기의 필터들을 적용하는 경우 중요 얼굴 추적 장치는 여러 개 생성된 A의 색상 대비맵을 합하여 A 색상에 대한 색상 대비 맵 Ai를 생성한다.
또한 중요 얼굴 추적 장치는 215단계에서 CIE-LAB 컬러 공간으로 변환된 영 상 중 B 색상에 대한 영상을 1/4크기로 다운 샘플링한다.
그리고 나서 중요 얼굴 추적 장치는 216단계에서 상기 다운 샘플링된 B 색상 영상에 대한 색상 대비 맵을 생성한다. 본 발명이 실시 예에 따르면 B 색상에 대한 색상 대비 맵은 상기 A 색상에 대한 색상 대비맵 생성 방법과 유사하므로 간략히 설명한다. 즉, 중요 얼굴 추적 장치는 다운 샘플링된 B 색상에 대한 영상에 한 화소를 중심으로 N×N(예컨대 6×6, 7×7, 8×8 등) 크기의 필터들을 적용하여 B 색상에 대한 색상 대비 맵을 생성한다. 이때 중요 얼굴 추적 장치는 여러 개의 다른 크기의 필터를 적용하여 B 색상에 대한 색상 대비맵을 다수개 생성할 수 있다. 상기한 바와 같이 여러 개의 다른 크기의 필터들을 적용하는 경우 중요 얼굴 추적 장치는 여러 개 생성된 B의 색상 대비맵을 합하여 B 색상에 대한 색상 대비 맵 Bi를 생성한다.
상기한 바와 같이 A 및 B 색상에 대한 색상 대비 맵을 생성한 후, 중요 얼굴 추적 장치는 217단계에서 A 및 B 색상에 대한 색상 대비 맵을 조합한다.
A 및 B 색상에 대한 색상 대비 맵을 조합하기 위한 식은 하기 수학식 2와 같다.
Figure 112005027267856-PAT00002
여기서, Ai는 A 색상에 대한 색상 대비맵이다. Bi는 B 색상에 대한 색상 대 비맵이다. Cmap은 A 및 B 색상에 대한 색상 대비맵을 조합한 맵이다. 중요 얼굴 추적 장치는 상기 수학식 2와 같이 A 및 B 색상에 대한 색상 대비맵을 조합한 맵을 구한 후, 217단계에서 조합된 맵을 4배하여 원래 크기로 업 샘플링(up sampling)하여 최종 색상 대비맵(C map)을 생성한다.
또한, 상기 도 5의 220단계에서 중요 얼굴 추적 장치는 모션 맵 생성부(130)를 통해 모션 맵을 생성한다. 중요 얼굴 추적 장치는 모션 맵을 생성하기 위해 이전 영상 프레임과 현재 영상 프레임을 이용한다. 이러한 도 5의 220단계의 모션 맵 생성 과정이 도 7에 상세히 도시되어 있다.
도 7은 본 발명의 실시 예에 따른 모션 맵 생성 과정에 대한 흐름도이다. 도 7을 참조하면, 중요 얼굴 추적 장치는 입력되는 영상으로부터 이전 영상 프레임과 현재 영상 프레임을 획득하고, 222단계에서 이전 영상 프레임과 현재 영상 프레임의 노이즈를 제거한다. 이때 노이즈 제거를 위해 가우시안(Gaussian)필터가 이용될 수 있다.
상기한 바와 같이 노이즈 제거 후, 중요 얼굴 추적 장치는 223단계에서 이전 영상 프레임과 현재 영상 프레임을 1/4 크기로 다운 샘플링한다. 이는 역시 연산 속도를 빠르게 하기 위함이다.
그리고 중요 얼굴 추적 장치는 224단계에서 상기 다운 샘플링된 이전 영상 프레임과 현재 영상 프레임간의 모션 벡터를 산출한다. 이때 이전 영상 프레임과 현재 영상 프레임간의 모션은 옵티컬 플로우(optical flow) 방식이나, 모션 벡터 방식을 이용하여 측정될 수 있다. 옵티컬 플로우 방식의 경우 비교적 정확한 모션을 측정할 수 있지만 빛의 변화나 노이즈에 민감한 특징이 있다. 모션 벡터 방식의 경우 및의 변화나 노이즈에 덜 민감하지만 옵티컬 플로우 방식보다 덜 정확한 특징이 있다.
본 발명에서는 이전 영상 프레임과 현재 영상 프레임간의 모션을 측정함에 있어서 모션의 방향 보다는 크기(amplitude) 정보가 필요하므로 각 모션의 상대적 측정값이 필요하다. 따라서 기존으 모션 벡터 측정 방법을 이용하지 않고, 이를 변형한 모션 앰플리튜드(motion amplitude) 방법을 이용한다. 이를 위해 본 발명에서는 모션 벡터 측정 방법의 하나인 전역탐색법(full search)를 수행하여 모션 벡터를 측정한다.
상기한 바와 같이 모션 벡터를 측정하고 나서, 중요 얼굴 추적 장치는 225단계서 모션 크기를 산출한다. 예컨대 중요 얼굴 추적 장티는 전역탐색법에 의해 측정된 모션 측정값의 크기를 전체 모션 크기의 합으로 나누어 각 모션의 크기값이 상대적인 값을 갖도록 한다.
본 발명의 실시 예에 따르면 모션 크기 산출식은 하기 수학식 3과 같다.
Figure 112005027267856-PAT00003
여기서, Mx,y는 각 모션 크기값이고, Smotion는 전체 모션의 크기의 합니다. 그 리고
Figure 112005027267856-PAT00004
은 상대적인 모션 크기값이다.
상기한 바와 같이 상대적인 모션 크기 산출 후, 중요 얼굴 추적 장치는 226단계에서 모션 크기를 정규화한다. 즉, 중요 얼굴 추적 장치는 상대적인 모션 크기의 최대값을 구하고, 그 최대값을 이용하여 상대적인 모션 크기를 0~225 값으로 정규화한다.
본 발명의 실시 예에 따르면 상대적인 모션 크기를 정규화하는 식은 하기 수학식 4와 같다.
Figure 112005027267856-PAT00005
여기서,
Figure 112005027267856-PAT00006
는 상대적인 모션 크기값이고, max는 상대적인 모션 크기이 최대값이다. 225는 정규화를 위한 가중치이다. Mmap은 정규화된 모션 크기값이다.
수학식 4를 참조하면, 중요 얼굴 추적 장치는 상대적인 모션 크기값을 상대적인 모션 크기의 최대값으로 나누고, 그 최대값에 정규화 가중치를 곱하여 정규화된 모션 크기값을 산출한다.
그리고 중요 얼굴 추적 장치는 227단계에서 정규화된 모션 크기값(Mmap)을 업 샘플링하여 모션 맵(M xap)을 생성한다.
또한, 상기 도 5의 230단계에서 중요 얼굴 추적 장치는 얼굴 후보 영역 검출 부(140)를 통해 얼굴 후보 영역을 검출한다. 이러한 도 5의 230단계의 얼굴 후보 영역 검출 과정이 도 8에 상세히 도시되어 있다.
도 8은 본 발명의 실시 예에 따른 얼굴 후보 영역 검출 과정에 대한 흐름도이다. 도 8을 참조하면, 중요 얼굴 추적 장치는 232단계에서 카메라(110)에 의해 입력된 영상을 YCbCr 형식으로 변환한다. 이는 YCbCr 형식이 얼굴 영상 처리 속도가 빠르고 얼굴 정면 뿐만 아니라 기울어짐, 좌우 회선 등에 덜 민감하기 때문이다.
중요 얼굴 추적 장치는 입력 영상을 YCbCr 형식으로 변환 후, 234단계에서 Cb 및 Cr에 대해 미리 설정된 임계값을 이용하여 얼굴 후보 영역을 검출한다.
본 발명의 실시 예에 따르면 얼굴 후보 영역 검출을 위한 식은 하기 수학식 5와 같다.
Figure 112005027267856-PAT00007
여기서, Cb 의 입계값은 105<Cb<135이고, Cr의 임계값은 140<Cr<165이다. Cf는 상기 Cb 의 입계값 및 Cr의 임계값에 따라 산출된 얼굴 후보 영역이다.
상기 수학식 5를 참조하면, Cb 및 Cr 값이 상기 임계값내에 존재하는 경우 Cf는 225가 되고, Cb 및 Cr 값이 상기 임계값내에 존재하지 않는 경우 Cf는 0이 된 다. Cf가 225인 경우 그 영역은 얼굴 후보 영역으로 검출하고, Cf가 0인 경우 그 영역은 얼굴 후보 영역으로 검출하지 않는다.
상기한 바와 같이 미리 정해진 임계값을 만족하는 얼굴 후보 영역을 검출한 후, 중요 얼굴 추적 장치는 236단계에서 상기 검출된 얼굴 후보 영역 중 잘못 검출된 얼굴 후보 영역을 제거하고, 검출된 얼굴 후보 영역을 보정하여 최종 얼굴 후보 영역을 결정한다. 예컨대 중요 얼굴 추적 장치는 상기 검출된 얼굴 후보 영역 중 노이즈로 인해 잘못 검출된 얼굴 후보 영역을 제거하고 모폴로지 열림(morphology opening)을 실시하여 얼굴 영역 안에 포함된 구멍 등을 메운다. 모폴로지 열림은 얼굴 이진 영상에 대해 침식(Erosin) 연산과 팽창(Dilation) 연산을 번갈아 실시하는 방식으로 수행될 수 있다.
한편, 도 5의 240단계에서 중요 얼굴 추적 장치는 상기 생성된 색상 대비맵과 모션 맵을 이용하여 중요 대비 맵을 생성한다. 즉, 중요 얼굴 추적 장치는 상기 생성된 색상 대비맵과 모션 맵 각각에 가중치를 적용하고, 각각 가중치 적용된 맵을 선형 조합하여 중요 대비 맵을 생성한다.
본 발명의 실시 예에 따르면 중요 대비맵 생성을 위한 식은 하기 수학식 6과 같다.
Figure 112005027267856-PAT00008
여기서, a는 가중치 파라메터이고, C map은 색상 대비맵이고, M map은 모션 대비 맵이다. S map은 중요 대비맵이다.
수학식 6을 참조하면, 본 발명의 실시 예에서는 모션 대비와 색상 대비를 적절하게 유지하기 위해 a의 기본값을 0.5로 설정한다. a는 모션 대비와 색상 대비 중 원하는 대비를 부각시기키 위해 적절히 조절될 수 있다. a>0.5인 경우 모션 대비 보다 색상 대비가 강조되므로 움직임이 작더라도 두드러진 색상을 띈다면 색상 영역이 중요 대비 맵에서 큰 수치를 가지게 된다. 또한 a<0.5인 경우 색상 대비 보다 모션 대비가 강조되므로 모션이 두드러지게 크다면 모션 영역이 중요 대비맵에서 큰 수치를 가지게 된다.
상기한 바와 같이 중요 대비맵을 생성한 후, 도 5의 242단계에서 중요 얼굴 추적 장치는 상기 생성된 중요 대비맵과 얼굴 후보 영역을 결합하여 중요 얼굴 영역군을 설정한다.
본 발명의 실시 예에 따르면 중요 얼굴 영역군 설정을 위한 식은 하기 수학식 7과 같다.
Figure 112005027267856-PAT00009
여기서, T는 미리 정해진 중요 대비맵의 크기 임계값이고, Cf는 얼굴 후보 영역이고, S map은 중요 대비맵이다. 그리고 Sf 중요 얼굴 영역군이다.
상기 수학식 7을 참조하면, 중요 얼굴 추적 장치는 이때 중요 얼굴 추적 장 치는 중요 대비맵(S map)의 크기가 일정 임계값(T)이상인 영역에 대해서만 얼굴 후보 영역(Cf)과의 결합을 시도하고, 그렇지 않을 경우에는 제거하여 전체 후보 얼굴 영역들 중 중요한 중요 얼굴 영역(Sf )들만을 검출되도록 한다.
그리고 얼굴 추적 장치는 244단계에서 상기한 바와 같이 중요 얼굴 영역(Sf )군에 포함된 각 중요 열굴 영역(Sf )들이 각 중요 얼굴 영역(Sf )들이 얼굴 조건을 만족하는지 판단한다. 이는 중요 얼굴 영역(Sf )군에 포함된 각 중요 얼굴 영역(Sf )들이 실제 얼굴 영역인지 여부를 판단하고, 실제 얼굴로 판단된 영역들 중 가장 중요한 얼굴 영역을 결정하기 위함이다.
본 발명의 실시 예에 따르면 얼굴 추적 장치는 우선 중요 얼굴 영역(Sf )군에 포함된 중요 얼굴 영역(Sf )들 각각에 라벨링(labeling)을 하고 즉, 번호를 부여하고, 번호가 부여된 각 영역들이 하기와 같은 조건을 만족할 경우 실제 얼굴 영역으로 판단한다.
예컨대 실제 얼굴 영역인지 여부 판단 조건은,
1. 얼굴 영역의 크기가 영상의 크기에 비례하여 0.2%이상인지 여부,
2. 얼굴 영역의 장축(세로)과 단축(가로)의 비가 1 이상 2.2 이하인지 여부,
3. 얼굴 영역에서 수평(X)방향과 수직(Y)방향에 대한 소벨 에지(Sobel Edge) 각각의 합의 비(X/Y)가 0.9이상인지의 여부 등이 될 수 있다.
상기 조건들 중 조건 1은 작은 얼굴 영역들을 무시하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들이 조건 1을 만족하는지 판단하기 위해 각 중요 얼굴 영역(Sf )들의 화소값을 전체 영상의 화소 값으로 나누어 결과값이 0.2%이상인지 판단한다.
또한, 조건 2는 각 중요 얼굴 영역(Sf )들이 일반적인 사람 얼굴의 가로 세로 길이 비(ratio)를 만족하는지를 판단하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들이 조건 2를 만족하는지 판단하기 위해 각 각 중요 얼굴 영역(Sf )들의 가로 세로 길이를 측정하고 세로 길이를 가로 길이로 나누어 결과값이 1 이상 2.2이하인지 판단한다.
또한, 조건 3은 각 중요 얼굴 영역(Sf )들이 통상적인 얼굴과 같이 X방향 에지가 Y방향 에지보다 두드러진 특징을 가지는 지를 판단하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들의 X방향 에지가 Y방향 에지보다 0.9이상 두드러지는지 여부를 판단한다.
상기한 바와 같은 3가지 조건을 사용할 경우 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 기존의 방법처럼 형판(template)를 이용하거나 학습된 데이터와 매칭하는 과정을 거치지 않으므로 적은 처리 시간과 적은 메모리 용량으로 중요 얼굴을 결정할 수 있게 된다.
중요 얼굴 영역(Sf )이 상기한 바와 같은 3가지 조건을 모두 만족하지 않을 경우 중요 얼굴 추적 장치는 246단계에서 그 중요 얼굴 영역(Sf )을 상기 중요 얼굴 영역(Sf )군에서 제거한다.
그리고 중요 얼굴 영역(Sf )이 상기한 바와 같은 3가지 조건을 모두 만족할 경우 중요 얼굴 추적 장치는 248단계에서 최종 중요 얼굴 영역을 결정한다. 이때 중요 얼굴 추적 장치는 중요 대비맵(S map)을 이용하여 상기한 바와 같은 3가지 조건을 모두 만족하는 중요 얼굴 영역(Sf )들 중 중요 대비맵(S map)값이 가장 큰 중요 얼굴 영역을 최종 중요 얼굴로 결정한다.
그리고 최종 중요 얼굴이 결정되면 중요 얼굴 추적 장치는 250단계에서 최종 중요 얼굴을 추적하기 위한 카메라 이동거리를 추정한다. 즉, 중요 얼굴 추적 장치는 전체 영상의 가운데 중심점을 기준으로 상기 결정된 최종 중요 얼굴에 대한 영상의 중심점과의 거리를 이용하여 카메라 이동거리를 추정하고, 그에 따른 카메라 이동량을 설정한다. 이때 카메라 이동량은 '추정된 이동거리 × d'와 같이 설정될 수 있다. 이때 d는 카메라 사양에 따른 이동값으로 사용자에 의해 미리 설정될 수 있다. 카메라 이동거리 추정이 완료되면, 중요 얼굴 추적 장치는 252단계에서 상기 설정된 카메라 이동량에 따라 카메라(110)를 제어하여 중요 얼굴을 추적한다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
상술한 바와 같이 본 발명은 입력 영상에 여러 사람이 존재하여도 특정 한 사람을 중요한 사람으로 인식하여 그 중요한 사람만을 추적할 수 있도록 하는 효과 가 있다.
또한 본 발명은 많은 수의 특징 맵을 사용하지 않고 인간의 시각적 특징에 따른 소수의 맵을 사용하여 중요 얼굴을 검출 및 추적함으로써 적은 계산량이 요구되며, 시간이 적게 걸리는 효과가 있다.
또한 본 발명은 입력된 영상에 여러 얼굴이 존재할 경우 이들 중 어떠한 얼굴이 중요한 얼굴인지 구분하여 중요 얼굴만 추적하므로, 무인 감시 시스템 또는 로봇 시스템 등에 적용되어 여러 객체들 중 침입자 등과 같은 특정 사람을 쉽게 검출 및 추적할 수 있도록 한다.
예컨대 현재 감시 시스템에서는 입력 영상에 움직임이 감지되면 움직이는 객체를 침입자로 간주하지만, 본 발명에서는 움직임이 감지될 경우 움직이는 객체들 중 사람의 얼굴을 찾고 사람의 얼굴이 있는지 여부에 따라 침입자를 판단하므로 침입자 판단을 더욱 정확하게 할 수 있는 효과가 있다.

Claims (49)

  1. 무인 감시 로봇에서 중요 얼굴 추적 장치에 있어서,
    소정 영상을 촬영하는 카메라와,
    상기 촬영된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하는 맵 생성부와,
    상기 촬영된 영상 중 얼굴 영상과 유사한 얼굴 후보 영역을 검출하는 얼굴 후보 영역 검출부와,
    상기 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하고, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 중요 얼굴 검출부와,
    상기 카메라를 제어하여 상기 결정된 최종 중요 얼굴을 추적하는 중요 얼굴 추적부를 포함함을 특징으로 하는 장치.
  2. 제1항에 있어서, 상기 맵 생성부는,
    상기 카메라에 의해 촬영된 영상에 대한 색상 대비 정도를 나타내는 색상 대비 맵을 생성하는 색상 대비 맵 생성부와,
    상기 카메라에 의해 촬영된 이전 영상 프레임과 현재 영상 프레임 간의 모션 크기를 나타내는 모션 맵을 생성하는 모션 맵 생성부와,
    상기 색상 대비 맵과 모션 맵을 조합하여 중요 대비 맵을 생성하는 중요 대비 맵 생성부를 포함함을 특징으로 하는 장치.
  3. 제2항에 있어서, 상기 색상 대비 맵 생성부는 상기 카메라에 의해 촬영된 영상의 컬러 공간을 CIE-LAB 컬러 공간으로 변환한 후, A색상에 대한 색상 대비 맵과, B 색상에 대한 색상 대비 맵을 각각 생성하고, 생성된 각각의 맵을 조합하여 색상 대비 맵을 생성함을 특징으로 하는 장치.
  4. 제1항에 있어서, 상기 색상 대비 맵 생성부는 상기 카메라에 의해 촬영된 영상을 다운 샘플링하여 색상 대비 맵을 생성하고, 생성된 색상 대비 맵을 업샘플링함을 특징으로 하는 장치.
  5. 제4항에 있어서, 상기 색상 대비 맵 생성부는 카메라에 의해 촬영된 영상을 1/4배 다운 샘플링하여 색상 대비 맵을 생성하고, 생성된 색상 대비 맵을 4배 업샘플링 함을 특징으로 하는 장치.
  6. 제2항에 있어서, 상기 모션 맵 생성부는 상기 카메라에 의해 촬영된 이전 영상 프레임과 현재 영상 프레임 간의 모션 벡터를 측정하고, 산출된 모션 벡터의 크기값을 이용하여 모션 맵을 생성함을 특징으로 하는 장치.
  7. 제6항에 있어서 상기 모션 맵 생성부는 상기 이전 영상 프레임과 현재 영상 프레임을 전역탐색(full search)하여 모션 벡터를 측정함을 특징으로 하는 장치.
  8. 제2항에 있어서, 상기 모션 맵 생성부는 상기 카메라에 의해 촬영된 이전 영상 프레임과 현재 영상 프레임을 다운 샘플링한 후 상기 이전 영상 프레임과 현재 영상 프레임 간의 모션 벡터를 측정함을 특징으로 하는 장치.
  9. 제8항에 있어서, 상기 모션 맵 생성부는 상기 산출된 모션 벡터의 상대적인 모션 크기를 산출하여 정규화하고, 정규화된 모션 크기를 업샘플링하여 모션 맵을 생성함을 특징으로 하는 장치.
  10. 제2항에 있어서, 상기 중요 대비 맵 생성부는 상기 생성된 색상 대비맵과 모 션 맵 각각에 가중치를 적용하고, 각각 가중치 적용된 맵을 선형 조합하여 중요 대비 맵을 생성함을 특징으로 하는 장치.
  11. 제10항에 있어서, 상기 가중치는 상기 중요 대비 맵의 모션 대비와 색상 대비의 비중을 조절하기 위해 미리 설정된 값임을 특징으로 하는 장치.
  12. 제1항에 있어서, 상기 얼굴 후보 영역 검출부는 상기 촬영된 영상의 색상이 얼굴색에 관해 미리 설정된 임계값 내에 존재하는지 여부에 따라 상기 영상 중 얼굴 영상과 유사한 얼굴 후보 영역을 검출함을 특징으로 하는 장치.
  13. 제1항에 있어서, 상기 얼굴 후보 영역 검출부는 상기 촬영된 영상을 YCbCr 형식으로 변환하고, Cb 및 Cr 색상에 대한 임계값을 이용하여 얼굴 후보 영역을 검출함을 특징으로 하는 장치.
  14. 제13항에 있어서, 상기 얼굴 후보 영역 검출부는 상기 검출된 얼굴 후보 영역 중 노이즈로 인해 잘못 검출된 얼굴 후보 영역을 제거함을 특징으로 하는 장치.
  15. 제13항에 있어서, 상기 얼굴 후보 영역 검출부는 모폴로지 열림(morphology opening)을 실시하여 상기 검출된 얼굴 영역을 보정함을 특징으로 하는 장치.
  16. 제1항에 있어서, 상기 중요 얼굴 검출부는 상기 중요 대비맵의 크기가 일정 임계값이상인 영역에 대해서만 얼굴 후보 영역과의 결합을 시도하고, 그렇지 않을 경우에는 제거하여 전체 얼굴 후보 영역들 중 중요한 중요 얼굴 영역들만을 검출함을 특징으로 하는 장치.
  17. 제16항에 있어서, 상기 중요 얼굴 검출부는 상기 중요 얼굴 영역들이 실제 얼굴 영역인지 여부를 판단하고 실제 얼굴로 판단된 영역들 중 하나의 최종 중요 얼굴을 결정함을 특징으로 하는 장치.
  18. 제17항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역의 크기가 일정 크기 이상인지 아닌지를 판단하는 조건임을 특징으로 하는 장치.
  19. 제17항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역이 일반적인 사람 얼굴의 가로 세로 길이 비(ratio)를 만족하는지를 여부를 판단하는 조건임을 특징으로 하는 장치.
  20. 제17항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역에 소벨 에지 알고리즘을 적용했을 때, 통상적인 사람 얼굴과 같이 수평방향 에지가 수직방향 에지보다 두드러진 특징을 가지는지 여부를 판단하는 조건임을 특징으로 하는 장치.
  21. 제17항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역의 크기가 영상의 크기 비례하여 0.2%이상인지 여부, 상기 중요 얼굴 영역의 장축(세로)과 단축(가로)의 비가 1 이상 2.2 이하인지 여부, 상기 중요 얼굴 영역에서 수평(X)방향과 수직(Y)방향에 대한 소벨 에지(Sobel Edge) 각각의 합의 비(X/Y)가 0.9이상인지의 여부 중 어느 하나의 조건임을 특징으로 하는 장치.
  22. 제17항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역의 크기가 영상의 크기 비례하여 0.2%이상인지 여부, 상기 중요 얼굴 영역의 장축(세로)과 단축(가로)의 비가 1 이상 2.2 이하인지 여부, 상기 중요 얼굴 영역에서 수평(X)방향과 수직(Y)방향에 대한 소벨 에지(Sobel Edge) 각각의 합의 비(X/Y)가 0.9이상인지의 여부를 모두 포함함을 특징으로 하는 장치.
  23. 제2항에 있어서, 중요 얼굴 추적부는,
    전체 영상의 가운데 중심점을 기준으로 상기 결정된 최종 중요 얼굴에 대한 영상의 중심점과의 거리를 이용하여 카메라 이동거리를 추정하고, 추정된 카메라 이동거리에 따라 카메라를 제어하여 중요 얼굴을 추적함을 특징으로 하는 장치.
  24. 무인 감시 로봇에서 중요 얼굴 추적 방법에 있어서,
    카메라에 의해 촬영된 영상을 입력받는 과정과,
    상기 입력된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하는 과정과,
    상기 입력된 영상에서 얼굴 영상과 유사한 얼굴 후보 영역을 검출하는 과정과,
    상기 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하는 과정과,
    상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 과정과,
    상기 카메라를 제어하여 상기 결정된 최종 중요 얼굴을 추적하는 과정을 포함함을 특징으로 하는 방법.
  25. 제24항에 있어서, 상기 중요 대비 맵을 생성하는 과정은,
    상기 입력된 영상에 대한 색상 대비 정도에 따라 색상 대비 맵을 생성하는 과정과,
    상기 입력된 영상에 대한 이전 영상 프레임과 현재 영상 프레임 간의 모션 크기에 따라 모션 맵을 생성하는 과정과,
    상기 색상 대비 맵과 모션 맵을 조합하여 중요 대비 맵을 생성하는 과정을 포함함을 특징으로 하는 방법.
  26. 제25항에 있어서, 상기 색상 대비 맵을 생성하는 과정은,
    상기 입력 영상을 CIE-LAB 형식으로 변환하는 과정과,
    상기 변환된 영상에서 A 색상에 대한 색상 대비 맵을 생성하는 과정과,
    상기 변환된 영상에서 B 색상에 대한 색상 대비 맵을 생성하는 과정과,
    상기 A 및 B 색상에 대한 색상 대비맵을 조합한 색상 대비 맵을 생성하는 과정을 포함함을 특징으로 하는 방법.
  27. 제26항에 있어서,
    상기 A 및 B 색상에 대한 색상 대비 맵을 생성하기 위해 상기 A 및 B 색상에 대한 영상을 소정 배율로 다운샘플링하는 과정을 더 포함함을 특징으로 하는 방법.
  28. 제27항에 있어서,
    상기 소정 배율은 1/4배임을 특징으로 하는 방법.
  29. 제27항에 있어서,
    기 A 및 B 색상에 대한 색상 대비맵을 조합한 색상 대비 맵을 소정 배율로 업샘플링하는 과정을 더 포함함을 특징으로 하는 방법.
  30. 상기 제29항에 있어서,
    상기 소정 배율은 4배임을 특징으로 하는 방법.
  31. 제25항에 있어서, 상기 모션 맵을 생성하는 과정은,
    상기 입력된 영상의 이전 영상 프레임과 현재 영상 프레임간의 모션 벡터를 측정하는 과정과,
    상기 모션 벡터의 크기값을 이용하여 모션 맵을 생성하는 과정을 포함함을 특징으로 하는 방법.
  32. 제31항에 있어서, 상기 모션 벡터는 상기 이전 영상 프레임과 현재 영상 프레임을 전역탐색(full search)함에 따라 측정됨을 특징으로 하는 방법.
  33. 제31항에 있어서,
    상기 입력된 영상의 이전 영상 프레임과 현재 영상 프레임을 다운 샘플링하는 과정을 더 포함함을 특징으로 하는 방법.
  34. 제31항에 있어서, 상기 모션 벡터의 크기값을 이용하여 모션 맵을 생성하는 과정은,
    상기 모션 벡터의 상대적인 모션 크기를 산출하는 과정과,
    상기 상대적인 모션 크기를 정규화하는 과정과,
    상기 정규화된 모션 크기를 업샘플링하여 모션 맵을 생성하는 과정을 포함함을 특징으로 하는 방법.
  35. 제25항에 있어서, 상기 색상 대비 맵과 모션 맵을 조합하여 중요 대비 맵을 생성하는 과정은,
    상기 생성된 색상 대비맵과 모션 맵 각각에 가중치를 적용하는 과정과,
    상기 가중치가 적용된 색상 대비맵과 모션 맵을 선형 조합하여 중요 대비 맵을 생성하는 과정을 포함함을 특징으로 하는 방법.
  36. 제35항에 있어서, 상기 가중치는 상기 중요 대비 맵의 모션 대비와 색상 대비의 비중을 조절하기 위해 미리 설정된 값임을 특징으로 하는 방법.
  37. 제24항에 있어서, 상기 얼굴 후보 영역을 검출하는 과정은,
    상기 입력된 영상의 색상이 얼굴색에 관해 미리 설정된 임계값 내에 존재하 는지 판단하는 과정과,
    상기 입력된 영상의 색상이 상기 임계값 내에 존재하면 상기 얼굴 후보 영역으로 검출하는 과정을 포함함을 특징으로 하는 방법.
  38. 제24항에 있어서, 상기 얼굴 후보 영역을 검출하는 과정은,
    상기 입력된 영상을 YCbCr 형식으로 변환하는 과정과,
    상기 변환된 색상의 Cb 및 Cr 색상이 미리 정해진 Cb 및 Cr 색상에 대한 임계값 내에 존재하는지 판단하는 과정과,
    상기 Cb 및 Cr 색상이 미리 정해진 Cb 및 Cr 색상에 대한 임계값 내에 존재하면 해당 영역을 얼굴 후보 영역으로 검출하는 과정을 포함함을 특징으로 하는 방법.
  39. 제24항에 있어서, 상기 얼굴 후보 영역을 검출하는 과정은,
    상기 검출된 얼굴 후보 영역 중 노이즈로 인해 잘못 검출된 얼굴 후보 영역을 제거하는 과정을 더 포함함을 특징으로 하는 방법.
  40. 제39항에 있어서,
    모폴로지 열림(morphology opening)을 실시하여 상기 검출된 얼굴 영역을 보 정하는 과정을 더 포함함을 특징으로 하는 방법.
  41. 제24항에 있어서, 상기 중요 얼굴 영역들을 검출하는 과정은,
    상기 중요 대비맵의 크기가 일정 임계값 이상인 영역을 파악하는 과정과,
    상기 중요 대비맵의 크기가 일정 임계값 이상인 영역만 상기 얼굴 후보 영역과의 결합을 시도하여 중요 얼굴 영역들을 검출하는 과정을 포함함을 특징으로 하는 방법.
  42. 제41항에 있어서,
    상기 상기 중요 대비맵의 크기가 일정 임계값 이상이 아닌 영역은 제거하는 과정을 더 포함함을 특징으로 하는 방법.
    하고, 그렇지 않을 경우에는 제거하여 전체 얼굴 후보 영역들 중 중요한 중요 얼굴 영역들만을 검출함을 특징으로 하는 장치.
  43. 제24항에 있어서, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 과정은,
    상기 중요 얼굴 영역들이 실제 얼굴 영역인지 여부를 판단하는 과정과,
    상기 판단 결과, 실제 얼굴로 판단된 영역들 중 하나의 최종 중요 얼굴을 결정하는 과정을 포함함을 특징으로 하는 방법.
  44. 제43항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역의 크기가 일정 크기 이상인지 아닌지를 판단하는 조건임을 특징으로 하는 방법.
  45. 제43항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역이 일반적인 사람 얼굴의 가로 세로 길이 비(ratio)를 만족하는지를 여부를 판단하는 조건임을 특징으로 하는 방법.
  46. 제43항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역에 소벨 에지 알고리즘을 적용했을 때, 통상적인 사람 얼굴과 같이 수평방향 에지가 수직방향 에지보다 두드러진 특징을 가지는지 여부를 판단하는 조건임을 특징으로 하는 방법.
  47. 제43항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역의 크기가 영상의 크기 비례하여 0.2%이상인지 여부, 상기 중요 얼굴 영역의 장축(세로)과 단축(가로)의 비가 1 이상 2.2 이하인지 여부, 상기 중요 얼굴 영역에서 수평(X)방향과 수직(Y)방향에 대한 소벨 에지(Sobel Edge) 각각의 합의 비(X/Y)가 0.9이상인지의 여부 중 어느 하나의 조건임을 특징으로 하는 방법.
  48. 제43항에 있어서, 상기 실제 얼굴 영역인지 여부 판단 조건은,
    상기 중요 얼굴 영역의 크기가 영상의 크기 비례하여 0.2%이상인지 여부, 상기 중요 얼굴 영역의 장축(세로)과 단축(가로)의 비가 1 이상 2.2 이하인지 여부, 상기 중요 얼굴 영역에서 수평(X)방향과 수직(Y)방향에 대한 소벨 에지(Sobel Edge) 각각의 합의 비(X/Y)가 0.9이상인지의 여부를 모두 포함함을 특징으로 하는 방법.
  49. 제24항에 있어서, 상기 결정된 최종 중요 얼굴을 추적하는 과정은,
    상기 전체 영상의 가운데 중심점을 기준으로 상기 결정된 최종 중요 얼굴에 대한 영상의 중심점과의 거리에 따라 카메라 이동거리를 추정하는 과정과,
    상기 추정된 카메라 이동거리에 따라 카메라를 제어하여 중요 얼굴을 추적하는 과정을 포함함을 특징으로 하는 방법.
KR1020050043724A 2005-05-24 2005-05-24 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 KR101146417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050043724A KR101146417B1 (ko) 2005-05-24 2005-05-24 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050043724A KR101146417B1 (ko) 2005-05-24 2005-05-24 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060121503A true KR20060121503A (ko) 2006-11-29
KR101146417B1 KR101146417B1 (ko) 2012-05-17

Family

ID=37707234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050043724A KR101146417B1 (ko) 2005-05-24 2005-05-24 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101146417B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100883519B1 (ko) * 2007-08-27 2009-02-13 한국전자통신연구원 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법
US8379984B2 (en) 2007-10-12 2013-02-19 Samsung Electronics Co., Ltd. Method of controlling digital image processing apparatus for face detection, and digital image processing apparatus employing the method
KR20160086623A (ko) 2015-01-12 2016-07-20 부산대학교 산학협력단 이상행위 감시를 위한 감시로봇 시스템
KR20160131848A (ko) * 2015-05-08 2016-11-16 삼성전자주식회사 객체 인식 장치 및 방법
KR20190076188A (ko) * 2017-12-22 2019-07-02 에이스웨이브텍(주) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘
KR102161686B1 (ko) * 2020-01-03 2020-10-05 주식회사 케이스랩 객체 인식 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404900B1 (en) 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100883519B1 (ko) * 2007-08-27 2009-02-13 한국전자통신연구원 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법
US8379984B2 (en) 2007-10-12 2013-02-19 Samsung Electronics Co., Ltd. Method of controlling digital image processing apparatus for face detection, and digital image processing apparatus employing the method
KR20160086623A (ko) 2015-01-12 2016-07-20 부산대학교 산학협력단 이상행위 감시를 위한 감시로봇 시스템
KR20160131848A (ko) * 2015-05-08 2016-11-16 삼성전자주식회사 객체 인식 장치 및 방법
KR20190076188A (ko) * 2017-12-22 2019-07-02 에이스웨이브텍(주) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘
KR102161686B1 (ko) * 2020-01-03 2020-10-05 주식회사 케이스랩 객체 인식 장치 및 방법

Also Published As

Publication number Publication date
KR101146417B1 (ko) 2012-05-17

Similar Documents

Publication Publication Date Title
KR102364993B1 (ko) 제스처 인식 방법, 장치 및 디바이스
EP2959454B1 (en) Method, system and software module for foreground extraction
US7957560B2 (en) Unusual action detector and abnormal action detecting method
EP1426898B1 (en) Human detection through face detection and motion detection
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN114842397B (zh) 一种基于异常检测的实时老人跌倒检测方法
EP2309454A2 (en) Apparatus and method for detecting motion
CN101383005B (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
KR20060018061A (ko) 로봇을 이용하여 사람을 추적하는 방법 및 장치
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
JP4757598B2 (ja) 顔検出方法および装置並びにプログラム
JP6157165B2 (ja) 視線検出装置及び撮像装置
US20220366570A1 (en) Object tracking device and object tracking method
JP2011076316A (ja) 群衆監視装置および方法ならびにプログラム
JP2019212148A (ja) 情報処理装置及び情報処理プログラム
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
EP2299388A2 (en) Apparatus and method for detecting face
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee