KR20100121817A - 눈의 영역을 추적하는 방법 - Google Patents

눈의 영역을 추적하는 방법 Download PDF

Info

Publication number
KR20100121817A
KR20100121817A KR1020090040696A KR20090040696A KR20100121817A KR 20100121817 A KR20100121817 A KR 20100121817A KR 1020090040696 A KR1020090040696 A KR 1020090040696A KR 20090040696 A KR20090040696 A KR 20090040696A KR 20100121817 A KR20100121817 A KR 20100121817A
Authority
KR
South Korea
Prior art keywords
region
eye
area
roi
feature
Prior art date
Application number
KR1020090040696A
Other languages
English (en)
Inventor
주효남
임영신
김준식
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Priority to KR1020090040696A priority Critical patent/KR20100121817A/ko
Publication of KR20100121817A publication Critical patent/KR20100121817A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Abstract

본 발명은 실시간으로 눈의 영역을 추적하는 방법에 관한 것으로서 카메라가 촬영한 영상을 전처리(Preprocessing)하여 캐니 에지를 검출하고, 검출한 캐니 에지를 이용하여 ROI(region of interest)를 설정한 후 허프 변환(Hough Transform)을 이용하여 ROI에서 얼굴 영역을 추출하며, 하르-라이크 피쳐스(Haar-like features)를 이용하여 얼굴 영역에서 눈의 영역을 검출하며, 검출한 눈의 영역을 부분 탐색(Partial Search) 방법을 이용하여 빠른 속도로 눈의 영역을 탐색 및 추적한다.
눈, 추적, 허프변환, 얼굴, 실시간, 하르-라이크 피쳐스, 부분 탐색, ROI

Description

눈의 영역을 추적하는 방법{Method for tracking region of eye}
본 발명은 눈의 영역을 추적하는 방법에 관한 것이다. 보다 상세하게는 카메라가 실시간으로 촬영한 영상을 전처리(Preprocessing)하여 캐니 에지(Canny Edgy)를 검출하고, 검출한 캐니 에지를 이용하여 ROI(region of interest)를 설정하며, 허프 변환(Hough Transform)을 이용하여 상기 ROI에서 얼굴 영역을 추출하며, 하르-라이크 피쳐스(Haar-like features)를 이용하여 상기 얼굴 영역에서 눈의 영역을 검출하며, 검출한 눈의 영역을 부분 탐색(Partial Search)을 이용하여 빠른 속도로 눈의 영역을 탐색 및 추적하는 눈의 영역을 추적하는 방법에 관한 것이다.
의료, 로봇, 전자 및 제어분야 등을 비롯한 여러 분야에서 카메라가 촬영하는 실시간의 영상에서 얼굴 및 눈의 영역을 찾아 분석 및 인식하는 기술이 많이 연구되고 있다.
특히 로봇 분야에서 얼굴과 눈의 영역을 검출하는 방법이 많이 연구되고 있다. 로봇 비전에서의 얼굴과 눈의 영역의 검출은 매우 중요하며, 흥미롭고 어려운 문제이다. 로봇을 이용하여 얼굴과 눈의 영역을 검출하여 사람을 인식하고 표정을 인식하는 등 여러 분야에서 사용되고 있으며, 빠른 속도로 발전하고 있다.
카메라의 촬영 영상에서 사람의 얼굴을 검출하는 방법으로는 특징기반 방법, 지식기반 방법 및 탬플릿 기반 방법 등이 알려져 있다.
상기 특징기반 방법은 얼굴의 특징 성분들 즉, 불변하는 얼굴의 구조적 특징을 이용하여 얼굴의 위치를 찾는 방법으로서 얼굴의 색상과 질감, 요소들의 혼합된 형태의 정보를 이용한다. 특히, 얼굴의 색상을 이용한 방법이 최근 많이 사용되고 있으며, 얼굴의 이동, 회전 및 크기변화에 강인한 장점이 있다.
그러나 상기 특징 기반 방법은 조명 조건에 따라 카메라의 촬영 영상의 밝기가 상이하므로 색상 정보를 찾기가 어렵다는 단점이 있다. 또한 영상에서 얼굴과 비슷한 색상이 있는 영역을 얼굴로 검출할 수 있으므로 다른 방법들과 혼합하여 사용해야 된다.
상기 지식기반 방법은 얼굴의 영상에서 이마, 눈, 코, 입 및 턱의 예상 위치를 확인하고 이들의 상대적인 위치를 나타내는 특징 벡터를 모델 정보를 이용한다.
그러나 상기 지식기반 방법은 인간의 얼굴에 대한 지식을 정확하게 정의하기 어렵고, 다양한 얼굴의 포즈에 따라 정의되어야 한다.
상기 템플릿 기반 방법은 얼굴의 표준 템플릿을 생성하여 저장하고, 카메라의 촬영영상을 표준의 탬플릿과 비교하여 얼굴을 검출하는 방법이다.
그러나 상기 템플릿 기반 방법은 얼굴의 다양한 크기와 자세 및 형태를 효과적으로 처리하기 위해서는 다양한 패턴을 미리 정의하여야 하므로 시간 비용이 매 우 높은 단점이 있다.
그리고 얼굴의 영역에서 눈의 영역을 검출하는 방법으로 베이머(Beymer)가 템플릿 매칭을 이용하여 눈을 검출하였다.
상기한 베이머의 방법은 템플릿 영상과 카메라의 촬영 영상 사이의 유사성을 이용한 것으로서 템플릿 영상에 대한 초기 위치정보에 매우 큰 영향을 받는다.
그러므로 본 발명이 해결하고자 하는 과제는 카메라가 실시간으로 촬영한 영상에서 얼굴 영역 및 눈의 영역을 정확하게 검출하고, 검출한 눈의 영역을 정확하고 빠른 속도로 추적하는 눈의 영역을 추적하는 방법을 제공한다.
또한 본 발명은 카메라의 촬영영상을 전처리(Preprocessing)하여 ROI(region of interest)를 설정하고, 허프 변환(Hough Transform)을 이용하여 상기 ROI에서 얼굴 영역을 추출하며, 하르-라이크 피쳐스(Haar-like features)를 이용하여 상기 얼굴 영역에서 눈의 영역을 검출하는 눈의 영역 추적방법을 제공한다.
또한 본 발명은 눈의 영역을 검출하였을 경우에 얼굴의 영역을 포함하는 부분 탐색영역을 설정하고, 설정한 부분 탐색영역에서 얼굴 영역 및 눈의 영역을 검출하며, 검출한 눈의 영역을 추적하는 눈의 영역 추적방법을 제공한다.
본 발명이 이루고자 하는 기술적 과제들은 상기에서 언급한 기술적 과제들로 제한되지 않고, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 명확하게 이해될 수 있을 것이다.
본 발명의 눈의 영역 추적방법은, 카메라의 촬영 영상을 입력하고, 입력한 영상에 대한 전처리 과정을 수행하여 ROI(Region Of Interest)를 설정하는 단계와, 상기 설정한 ROI에서 타원 방정식을 사용하는 허프 변환을 이용하여 얼굴 영역을 추출하는 단계와, 상기 추출한 얼굴 영역에서 하르-라이크 피쳐스를 이용하여 눈의 영역을 추출하는 단계와, 상기 추출한 얼굴 영역을 포함하는 부분 탐색영역을 설정하고, 상기 카메라의 촬영 영상을 입력하여 상기 추출한 눈의 영역을 추적하는 단계를 포함하여 구성됨을 특징으로 한다.
상기 눈의 영역을 추적하는 단계는 상기 검출한 얼굴 영역을 포함하는 소정 크기의 영역을 부분 탐색영역으로 설정하는 단계와, 카메라의 촬영 영상을 입력하여 캐니 에지를 검출하고, 차영상을 계산하여 움직임 여부를 판단하는 단계와, 상기 움직임이 있다고 판단될 경우에 타원 방정식을 사용하는 허프 변환을 이용하여 상기 부분 탐색영역에서 얼굴 영역을 추출하는 단계와, 상기 추출한 얼굴 영역에서 하르-라이크 피쳐스를 이용하여 눈의 영역을 추출 및 추적하는 단계를 포함하여 구성됨을 특징으로 한다.
상기 ROI 영역을 설정하는 단계는 상기 카메라의 촬영 영상에서 캐니 에지를 검출하는 단계와, 상기 검출한 캐니 에지를 미리 설정된 수학식에 대입하여 차영상을 계산하고 계산한 차영상으로 움직임이 있는지의 여부를 판단하는 단계와, 상기 움직임이 있음이 판단될 경우에 상기 차영상의 영역을 ROI로 설정하는 단계와, 상기 움직임이 없음이 판단될 경우에 이전 프레임의 촬영 영상에서 ROI가 추출되었는지의 여부를 판단하는 단계와, 상기 이전 프레임의 촬영 영상에서 ROI가 추출되었을 경우에 상기 이전 프레임의 촬영 영상에서 추출한 ROI를 현재 프레임의 ROI로 설정하는 단계와, 상기 이전 프레임의 촬영 영상에서 ROI가 추출되지 않았을 경우에 상기 촬영 영상의 전체 영역을 ROI를 현재 프레임의 ROI로 설정하는 단계를 포함하여 구성됨을 특징으로 한다.
상기 캐니 에지의 검출은 상기 카메라의 촬영 영상을 가우시안 필터링하여 고주파 잡음을 제거하는 단계와, 상기 고주파 잡음을 제거한 영상을 소벨 필터링하여 에지 성분을 추출하는 단계와, 상기 추출한 에지 성분을 NMS(Non Maximum edge pixel Suppression)하여 에지픽셀의 개수를 감소시키는 단계를 포함하여 구성됨을 특징으로 한다.
상기 차영상을 구하는 수학식은
Figure 112009028010262-PAT00001
인 것을 특징으로 한다.
여기서,
Figure 112009028010262-PAT00002
는 차 영상이고,
Figure 112009028010262-PAT00003
는 2 프레임 이전의 영상이며,
Figure 112009028010262-PAT00004
는 1 프레임 이전의 영상이며,
Figure 112009028010262-PAT00005
는 현재 프레임의 영상이다.
상기 허프 변환에 사용하는 타원 방정식은
Figure 112009028010262-PAT00006
인 것을 특징으로 한다.
여기서,
Figure 112009028010262-PAT00007
은 타원의 반지름이고,
Figure 112009028010262-PAT00008
및
Figure 112009028010262-PAT00009
는 세미 축(semi-axis)이며,
Figure 112009028010262-PAT00010
(
Figure 112009028010262-PAT00011
)는 타원의 장축과 단축의 비율로서 1∼1.5이다.
상기 하르-라이크 피쳐스를 이용하여 눈의 영역을 추출하는 단계는 2개의 영역을 가지는 에지 피쳐스들 중에서 선택된 하나의 에지 피쳐스와, 3개의 영역을 가지는 라인 피쳐스들 중에서 선택된 하나의 라인 피쳐스를 사용하여 눈의 영역을 추출하는 것을 특징으로 한다.
또한 상기 하르-라이크 피쳐스를 이용하여 눈의 영역을 추출하는 단계는 에지 피쳐스를 상기 ROI 내에 이동시켜 위치시키면서 상기 에지 피쳐스의 제 1 영역 및 제 2 영역내에 위치하는 픽셀들의 명암 값을 추출하여 제 1 영역 및 제 2 영역의 명암 차이 값을 계산하고, 계산한 명암 차이값이 가장 큰 에지 피쳐스의 위치를 선택하는 단계와, 라인 피쳐스를 상기 ROI 내에 이동시켜 위치시키면서 상기 피쳐스의 제 11 영역 내지 제 13 영역 내에 위치하는 픽셀들의 명암 값을 추출하여 제 11 영역 및 제 13 영역의 명암 값을 상호간에 가산하고, 가산한 명암 값과 상기 제 12 영역 내의 명암 값의 차이 값을 계산하며, 계산한 명암 차이값이 가장 큰 라인 피쳐스의 위치를 선택하는 단계와, 상기 선택한 에지 피쳐스의 위치와 라인 피쳐스의 위치에서의 명암 차이값들 중에서 크기가 큰 명암 차이값의 피쳐스를 선택하고, 선택한 피쳐스의 중심 위치를 기준으로 하여 눈의 영역을 설정하는 단계를 포함하 여 구성됨을 특징으로 한다.
본 발명의 눈의 영역 추적방법은, 카메라의 촬영영상을 전처리 과정에서 캐니 에지를 검출하고, ROI를 설정하며, 설정한 ROI에서 허프 변환(Hough Transform)을 이용하여 얼굴 영역을 추출하며, 추출한 얼굴 영역에서 하르-라이크 피쳐스를 이용하여 눈의 영역을 검출한다.
그리고 눈의 영역이 검출되었을 경우에 상기 추출한 얼굴 영역을 포함하는 부분 탐색영역을 설정하고, 설정한 부분 탐색영역에서 눈의 영역을 검출하여 추적한다.
그러므로 카메라의 촬영 영상에서 얼굴의 영역 및 눈의 영역을 정확하게 검출하고, 검출한 눈의 영역을 빠른 속도로 추적할 수 있다.
이하의 상세한 설명은 예시에 지나지 않으며, 본 발명의 실시 예를 도시한 것에 불과하다. 또한 본 발명의 원리와 개념은 가장 유용하고, 쉽게 설명할 목적으로 제공된다.
따라서, 본 발명의 기본 이해를 위한 필요 이상의 자세한 구조를 제공하고자 하지 않았음은 물론 통상의 지식을 가진 자가 본 발명의 실체에서 실시될 수 있는 여러 가지의 형태들을 도면을 통해 예시한다.
도 1은 본 발명의 눈 추적방법이 적용되는 시스템의 구성을 보인 도면이다. 여기서 부호 100은 카메라이다. 상기 카메라(100)는 예를 들면, 눈을 추적하고자 하는 사람의 얼굴 부위를 포함하여 촬영한다.
부호 110은 제어부이다. 상기 제어부(110)는 상기 카메라(100)가 촬영하여 실시간으로 출력하는 촬영 영상에서 본 발명의 추적방법에 따라 눈의 영역을 검출하고, 검출한 눈의 영역을 추적한다.
부호 120은 저장부이다. 상기 저장부(120)에는 상기 제어부(110)가 눈을 검출 및 추적하기 위한 소정의 동작 프로그램이 미리 저장된다. 또한 상기 저장부(120)에는 상기 제어부(110)가 눈의 영역을 검출하고, 검출한 눈의 영역을 추적하는 소정의 데이터들이 저장된다.
부호 130은 사용자 인터페이스부이다. 상기 사용자 인터페이스부(130)는 사용자의 조작에 따른 소정의 동작명령을 발생하여 상기 제어부(110)로 출력한다.
부호 140은 표시부이다. 상기 표시부(140)는 상기 제어부(110)의 제어에 따라 눈 추적의 영상을 화면에 표시한다.
이러한 구성의 시스템에 적용되는 본 발명의 눈 추적방법은 도 2에 도시된 바와 같이 먼저 카메라(100)가 촬영한 영상을 제어부(110)가 입력하고(S200), 입력한 카메라(100)의 촬영 영상을 전처리(Preprocessing)하여 캐니 에지를 검출하고, ROI(Region Of Interest)를 설정한다(S202).
상기 전처리 과정에서 ROI가 설정되면, 상기 제어부(110)는 타원 방정식을 사용하는 허프변환을 이용하여 상기 ROI에서 타원의 형상을 가지는 얼굴의 영역을 검출한다(S204).
상기 얼굴의 영역이 검출되면, 하르-라이크 피쳐스(Haar-like features)를 이용하여 눈의 영역을 검출한다(S206).
그리고 상기 눈의 영역이 검출되면, 상기 검출한 얼굴 영역을 포함하는 소정 크기의 영역을 부분탐색영역으로 설정하고, 그 부분탐색영역에서 눈의 영역을 검출하여 추적한다(S208).
이러한 본 발명의 눈의 영역을 추적하는 방법을 전처리 과정, 허프변환을 이용한 얼굴의 영역 검출과정, 하르-라이크 피쳐스를 이용한 눈의 영역 검출과정 및 부분 탐색을 이용한 눈의 영역 추적과정들 각각을 구분하여 보다 상세히 설명한다.
1. 전처리 과정
전처리 과정은 허프변환 과정에서 사용하는 에지 픽셀을 찾아 ROI(Region Of Interest)를 설정하는 것이다.
도 3에 도시된 바와 같이 제어부(110)는 먼저 카메라(100)의 촬영 영상에서 캐니 에지(Canny Edgy)를 검출한다(S300).
상기 캐니 에지의 검출은, 카메라(100)의 촬영 영상을 가우시안(Gaussian) 필터로 필터링하여 고주파 잡음을 제거하고(S302), 소벨(Sobel) 필터로 필터링하여 에지 성분을 추출하며(S304), 추출한 에지 성분에서 NMS(Non Maximum edge pixel Suppression)을 이용하여 에지픽셀의 개수를 감소시킨 캐니에지를 검출한다(S306).
상기 캐니 에지가 검출되면, 카메라(100)의 촬영 영상에 움직임이 발생하였는 지의 여부를 판단한다(S310)
예를 들면, 하기의 수학식 1을 이용하여 차영상을 계산하고, 계산한 차영상의 값으로 촬영 영상에 움직임이 있는지의 여부를 판단한다.
Figure 112009028010262-PAT00012
여기서,
Figure 112009028010262-PAT00013
는 차 영상이고,
Figure 112009028010262-PAT00014
는 2 프레임 이전의 영상이며,
Figure 112009028010262-PAT00015
는 1 프레임 이전의 영상이며,
Figure 112009028010262-PAT00016
는 현재 프레임의 영상이다.
상기 제어부(110)는 상기 계산한 차 영상
Figure 112009028010262-PAT00017
가 미리 설정된 임계값 이상일 경우에 상기 제어부(110)는 움직임이 발생한 것으로 판단하고, 차 영상
Figure 112009028010262-PAT00018
가 미리 설정된 임계값 미만일 경우에 상기 제어부(110)는 움직임이 발생하지 않은 것으로 판단한다.
상기 움직임이 발생한 것으로 판단될 경우에 상기 제어부(110)는 상기 차영상의 영역을 ROI로 설정하고(S320), 전처리 과정을 종료한다.
그리고 상기 움직임이 발생하지 않은 것으로 판단될 경우에 상기 제어부(110)는 이전 프레임의 영상에서 ROI가 추출되었는 지의 여부를 판단한다(S330).
상기 판단 결과 이전 프레임의 영상에서 ROI가 추출되었을 경우에 상기 제어 부(110)는 그 이전 프레임의 영상에서 추출한 ROI를 현재 프레임에서의 ROI로 설정하고(S340), 전처리 과정을 종료한다.
상기 판단 결과 이전 프레임의 영상에서 ROI가 설정되지 않았을 경우에 상기 제어부(110)는 상기 캐니 에지가 검출된 영역 전체를 현재 프레임에서의 ROI로 설정하고(S350), 전처리 과정을 종료한다.
2. 허프변환을 이용한 얼굴의 영역 검출과정
허프변환은 많은 영상처리의 응용분야에서 사용되고 있는 것으로서 직선, 원, 타원 그리고 일반적인 모양들을 찾는데 사용되고 있다.
본 발명에서는 사람의 얼굴 형태가 타원에 가깝기 때문에 타원의 방정식을 사용하는 허프변환을 이용하였다.
일반적인 타원 방정식에서 중심 좌표
Figure 112009028010262-PAT00019
와 세미 축(semi-axis)
Figure 112009028010262-PAT00020
및
Figure 112009028010262-PAT00021
의 관계는 하기의 수학식 2와 같다.
Figure 112009028010262-PAT00022
상기 수학식 2를 변환하면, 수학식 3과 같다.
Figure 112009028010262-PAT00023
여기서,
Figure 112009028010262-PAT00024
은 타원의 반지름이다.
상기 수학식 3을 극 좌표의 형식으로 변환하면, 수학식 4와 같다.
Figure 112009028010262-PAT00025
여기서,
Figure 112009028010262-PAT00026
(
Figure 112009028010262-PAT00027
)는 타원의 장축과 단축의 비율이다.
허프변환 테이블은 상기 수학식 4와 같이 중심좌표
Figure 112009028010262-PAT00028
와, 타원의 지름 a와,
Figure 112009028010262-PAT00029
의 값은 사람의 얼굴 형태에 따라 알맞은 값 예를 들면, 1∼1.5를 사용한다.
3. 하르-라이크 피쳐스를 이용한 눈의 영역 검출과정
눈의 영역을 검출하기 위하여 하르-라이크 피쳐스를 이용한다. 예를 들면, 도 4의 (a) 내지 (d)에 도시된 바와 같이 2개의 영역(400, 410)으로 이루어지는 에지 피쳐스들 중에서 하나의 에지 피쳐스를 선택하고, 도 5의 (a) 내지 (h)에 도시된 바와 같이 3개의 영역(500, 510, 520)으로 이루어지는 라인 피쳐스들 중에서 하나의 라인 피쳐스를 선택한다.
본 발명에서는 예를 들면, 도 4의 (b)에 도시된 에지 피쳐스와, 도 5의 (a)에 도시된 라인 피쳐스를 사용하여 눈의 영역을 검출하였다. 그러나 본 발명을 실시함에 있어서는 이에 한정되지 않고, 도 4의 (a) 내지 (d)에 도시된 에지 피쳐스들 중에서 선택되는 하나의 에지 피쳐스와, 도 5의 (a) 내지 (h)에 도시된 라인 피쳐스들 중에서 선택되는 하나의 라인 피쳐스를 이용하여 눈의 영역을 검출할 수 있 다.
도 6은 본 발명의 방법에서 하르-라이크 피쳐스를 이용한 눈의 영역 검출과정을 보인 신호흐름도이다. 도 6을 참조하면, 제어부(110)는 미리 선택된 하나의 에지 피쳐스를 상기 전처리 과정에서 설정한 ROI 내에 이동시켜 위치시킨다(S600).
다음에는 상기 에지 피쳐스의 제 1 영역(400) 내에 위치하는 픽셀들의 명암 값과, 제 2 영역(410) 내에 위치하는 픽셀들의 명암 값들을 각기 추출하고(S602), 추출한 제 1 영역(400) 내에 위치하는 픽셀들의 명암 값과 제 2 영역(410) 내에 위치하는 픽셀들의 명암 값의 차이 값을 계산한다(S604).
그리고 상기 명암 값의 차이 값이 계산되면, 상기 선택된 에지 피쳐스를 상기 전처리 과정에서 설정한 ROI 영역 전체에 대하여 이동을 완료하였는 지의 여부를 판단한다(S606).
상기 판단 결과 상기 선택된 에지 피쳐스를 상기 전처리 과정에서 설정한 ROI 영역 전체에 대하여 이동을 완료하지 않았을 경우에 상기 제어부(110)는 상기 단계(S600)로 복귀하여 에지 피쳐스를 이동시키고, 이동시킨 에지 피쳐스의 제 1 영역(400) 및 제 2 영역(410) 내에 위치하는 픽셀들의 명암 값을 각기 추출한 후 제 1 영역(400)과 제 2 영역(410)의 명암 값의 차이 값을 계산하는 동작을 반복 수행한다.
그리고 상기 판단 결과 상기 선택된 에지 피쳐스를 상기 전처리 과정에서 설정한 ROI 영역 전체에 대하여 이동을 완료하였을 경우에 상기 에지 피쳐스를 위치 시킨 각각의 위치에서의 명암 차이 값들 중에서 크기가 가장 큰 명암 차이 값을 갖는 에지 피쳐스의 위치를 선택한다(S608).
이와 같이 하여 선택된 에지 피쳐스를 사용하여 크기가 가장 큰 명암 차이 값을 나타내는 에지 피쳐스의 위치가 선택되면, 상기 제어부(110)는 미리 선택된 하나의 라인 피쳐스를 상기 전처리 과정에서 설정한 ROI 내에 이동시켜 위치시킨다(S610).
다음에는 상기 라인 피쳐스의 제 11 영역(500) 내에 위치하는 픽셀들의 명암 값과, 제 12 영역(510) 내에 위치하는 픽셀들의 명암 값과, 제 13 영역(520)에 위치하는 픽셀들의 명암 값들을 각기 추출하고(S612), 추출한 제 11 영역(500) 내에 위치하는 픽셀들의 명암 값과 제 13 영역(420) 내에 위치하는 픽셀들의 명암 값을 상호간에 가산한 후 그 가산한 명암 값과 제 12 영역(410) 내에 위치하는 픽셀들의 명암 값의 차이 값을 계산한다(S614).
그리고 상기 라인 피쳐스의 제 11 영역(500) 및 제 13 영역(520)에 위치하는 픽셀들의 합성 명암 값과 제 12 영역(410) 내에 위치하는 픽셀들의 명암 값의 차이 값을 계산한다(S614).
상기 제 11 영역(500) 및 제 13 영역(520)의 합성 명암 값과 제 12 영역(510)의 명암 차이 값이 계산되면, 상기 제어부(110)는 상기 선택된 라인 피쳐스를 상기 전처리 과정에서 설정한 ROI 영역 전체에 대하여 이동을 완료하였는 지의 여부를 판단한다(S616).
상기 판단 결과 상기 선택된 라인 피쳐스를 상기 전처리 과정에서 설정한 ROI 영역 전체에 대하여 이동을 완료하지 않았을 경우에 상기 제어부(110)는 상기 단계(S610)로 복귀하여 에지 피쳐스를 이동시키고, 이동시킨 에지 피쳐스의 제 11 영역(500) 내에 위치하는 픽셀들의 명암 값과, 제 12 영역(510) 내에 위치하는 픽셀들의 명암 값과, 제 13 영역(520)에 위치하는 픽셀들의 명암 값들을 각기 추출하고, 추출한 제 11 영역(500) 및 제 13 영역(520) 내에 위치하는 픽셀들의 합성 명암 값과 제 12 영역(510) 내에 위치하는 픽셀들의 명암 값의 차이 값을 계산하는 동작을 반복 수행한다.
그리고 상기 판단 결과 상기 선택된 라인 피쳐스를 상기 전처리 과정에서 설정한 ROI 영역 전체에 대하여 이동을 완료하였을 경우에 상기 계산한 명암 차이값들 중에서 크기가 가장 큰 명암 차이 값을 나타내는 라인 피쳐스의 위치를 선택한다(S618).
이와 같이 하여 크기가 가장 큰 명암 차이 값을 나타내는 에지 피쳐스의 위치 및 라인 피쳐스의 위치가 선택되면, 상기 선택된 에지 피쳐스의 위치 및 라인 피쳐스의 위치들 중에서 명암 값의 차이가 큰 피쳐스를 선택하고(S620), 선택한 피쳐스의 중심좌표를 기준으로 하여 선택한 피쳐스의 크기보다 미리 설정된 값만큼 큰 영역을 눈의 영역으로 설정한다(S622). 예를 들면, 상기 에지 피쳐스의 위치보다 라인 피쳐스의 위치의 명암값 차이가 크다고 가정할 경우에 라인 피쳐스의 위치를 눈의 영역으로 선택하고, 그 라인 피쳐스의 크기보다 약 1.5배 정도 넓은 영역 을 눈의 영역으로 설정한다.
4. 부분 탐색을 이용한 눈의 영역 추적과정
부분 탐색을 이용한 눈의 영역 추적과정은 상기 허프변환을 이용하여 검출한 얼굴의 영역을 포함하는 부분 탐색영역을 설정하고, 그 부분 탐색영역을 탐색하여 얼굴 영역을 검출하고, 눈의 영역을 검출 및 추적하는 것이다.
도 7에 도시된 바와 같이 제어부(110)는 상기 허프변환을 이용하여 검출한 얼굴의 영역을 포함하는 소정 크기의 부분 탐색영역을 설정한다(S700).
즉, 도 8a에 도시된 바와 같이 허프변환을 이용하여 얼굴 영역이 검출되었다고 가정할 경우에 도 8b에 도시된 바와 같이 검출한 얼굴 영역을 기준으로 하여 좌측 및 우측으로 미리 설정된 픽셀 △x 만큼 확장하고, 상하로 미리 설정된 픽셀 △y 만큼 확장한 영역을 부분 탐색영역으로 설정한다.
그리고 상기 제어부(110)는 카메라(100)의 촬영 영상을 입력하고(S702), 입력한 촬영 영상에서 캐니 에지를 검출한다(S702).
즉, 카메라(100)의 촬영 영상을 가우시안 필터로 필터링하여 고주파 잡음을 제거하고, 소벨 필터로 필터링하여 에지 성분을 추출하며, 추출한 에지 성분에서 NMS(Non Maximum edge pixel Suppression)을 이용하여 에지픽셀의 개수를 감소시키고, 캐니 에지를 검출한다.
상기 캐니 에지가 검출되면, 예를 들면, 상기 수학식 1을 사용하여 움직임이 있는지의 여부를 판단한다(S706).
상기 판단 결과 움직임이 없을 경우에 상기 단계(S702)로 복귀하여 카메라(100)의 촬영 영상을 입력하고, 캐니 에지를 검출한 후 움직임이 잇는지의 여부를 판단하는 동작을 반복 수행한다.
상기 단계(S706)의 판단 결과 움직임이 있을 경우에 상기 제어부(110)는 허프변환을 이용하여 얼굴 영역을 검출하고(S708), 하르-라이크 피쳐스를 이용하여 눈의 영역을 검출 및 추적한다(S710).
그리고 상기 눈의 영역이 검출되면, 상기 단계(S700)로 복귀하여 상기 단계(S708)에서 검출한 얼굴 영역을 포함하는 소정 크기의 부분 탐색 영역을 설정하고, 카메라(100)의 촬영 영상을 입력하여 캐니 에지를 검출하고, 움직임이 있을 경우에 허프변환을 이용하여 얼굴 영역을 검출하며, 하르-라이크 피쳐스를 이용하여 눈의 영역을 검출 및 추적하는 동작을 반복 수행한다.
이상에서는 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 방법이 적용되는 시스템의 구성을 보인 블록도,
도 2는 본 발명의 방법의 전체 동작을 보인 신호흐름도,
도 3은 본 발명의 방법에서 전처리 과정을 보인 신호흐름도,
도 4는 본 발명의 방법에서 눈의 영역 검출할 경우에 사용하는 에지 피쳐스들을 예로 들어 보인 도면,
도 5는 본 발명의 방법에서 눈의 영역 검출할 경우에 사용하는 라인 피쳐스들을 예로 들어 보인 도면,
도 6은 본 발명의 방법에서 하르-라이크 피쳐스를 이용한 눈의 영역 검출과 정을 보인 신호흐름도,
도 7은 본 발명의 방법에서 부분 탐색을 이용한 눈의 영역 추적과정을 보인 신호흐름도, 및
도 8a 및 도 8b는 본 발명의 방법에서 부분 탐색을 이용한 눈의 영역 추적과정을 수행할 경우에 부분 탐색영역을 설정하는 동작을 설명하기 위한 도면이다.

Claims (8)

  1. 카메라의 촬영 영상을 입력하고, 입력한 영상에 대한 전처리 과정을 수행하여 ROI(Region Of Interest)를 설정하는 단계;
    상기 설정한 ROI에서 타원 방정식을 사용하는 허프 변환을 이용하여 얼굴 영역을 추출하는 단계;
    상기 추출한 얼굴 영역에서 하르-라이크 피쳐스를 이용하여 눈의 영역을 추출하는 단계; 및
    상기 추출한 얼굴 영역을 포함하는 부분 탐색영역을 설정하고, 상기 카메라의 촬영 영상을 입력하여 상기 추출한 눈의 영역을 추적하는 단계;를 포함하여 구성된 눈의 영역을 추적하는 방법.
  2. 제 1 항에 있어서, 상기 눈의 영역을 추적하는 단계는;
    상기 검출한 얼굴 영역을 포함하는 소정 크기의 영역을 부분 탐색영역으로 설정하는 단계;
    카메라의 촬영 영상을 입력하여 캐니 에지를 검출하고, 차영상을 계산하여 움직임 여부를 판단하는 단계;
    상기 움직임이 있다고 판단될 경우에 타원 방정식을 사용하는 허프 변환을 이용하여 상기 부분 탐색영역에서 얼굴 영역을 추출하는 단계; 및
    상기 추출한 얼굴 영역에서 하르-라이크 피쳐스를 이용하여 눈의 영역을 추출 및 추적하는 단계;를 포함하여 구성됨을 특징으로 하는 눈의 영역을 추적하는 방법.
  3. 제 1 항에 있어서, 상기 ROI 영역을 설정하는 단계는;
    상기 카메라의 촬영 영상에서 캐니 에지를 검출하는 단계;
    상기 검출한 캐니 에지를 미리 설정된 수학식에 대입하여 차영상을 계산하고 계산한 차영상으로 움직임이 있는지의 여부를 판단하는 단계;
    상기 움직임이 있음이 판단될 경우에 상기 차영상의 영역을 ROI로 설정하는 단계;
    상기 움직임이 없음이 판단될 경우에 이전 프레임의 촬영 영상에서 ROI가 추출되었는지의 여부를 판단하는 단계;
    상기 이전 프레임의 촬영 영상에서 ROI가 추출되었을 경우에 상기 이전 프레임의 촬영 영상에서 추출한 ROI를 현재 프레임의 ROI로 설정하는 단계; 및
    상기 이전 프레임의 촬영 영상에서 ROI가 추출되지 않았을 경우에 상기 촬영 영상의 전체 영역을 ROI를 현재 프레임의 ROI로 설정하는 단계;를 포함하여 구성됨을 특징으로 하는 눈의 영역을 추적하는 방법.
  4. 제 2 항 또는 제 3 항에 있어서, 상기 캐니 에지의 검출은;
    상기 카메라의 촬영 영상을 가우시안 필터링하여 고주파 잡음을 제거하는 단계;
    상기 고주파 잡음을 제거한 영상을 소벨 필터링하여 에지 성분을 추출하는 단계; 및
    상기 추출한 에지 성분을 NMS(Non Maximum edge pixel Suppression)하여 에지픽셀의 개수를 감소시키는 단계;를 포함하여 구성됨을 특징으로 하는 눈의 영역을 추적하는 방법.
  5. 제 2 항 또는 제 3 항에 있어서, 상기 차영상을 구하는 수학식은;
    Figure 112009028010262-PAT00030
    인 것을 특징으로 하는 눈의 영역을 추적하는 방법.
    여기서,
    Figure 112009028010262-PAT00031
    는 차 영상이고,
    Figure 112009028010262-PAT00032
    는 2 프레임 이전의 영상이며,
    Figure 112009028010262-PAT00033
    는 1 프레임 이전의 영상이며,
    Figure 112009028010262-PAT00034
    는 현재 프레임의 영상이다.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 허프 변환에 사용하는 타원 방정식은;
    Figure 112009028010262-PAT00035
    인 것을 특징으로 하는 눈의 영역을 추적하는 방법.
    여기서,
    Figure 112009028010262-PAT00036
    은 타원의 반지름이고,
    Figure 112009028010262-PAT00037
    및
    Figure 112009028010262-PAT00038
    는 세미 축(semi-axis)이며,
    Figure 112009028010262-PAT00039
    (
    Figure 112009028010262-PAT00040
    )는 타원의 장축과 단축의 비율로서 1∼1.5이다.
  7. 제 1 항 또는 제 2 항에 있어서, 상기 하르-라이크 피쳐스를 이용하여 눈의 영역을 추출하는 단계는;
    2개의 영역을 가지는 에지 피쳐스들 중에서 선택된 하나의 에지 피쳐스와, 3개의 영역을 가지는 라인 피쳐스들 중에서 선택된 하나의 라인 피쳐스를 사용하여 눈의 영역을 추출하는 것을 특징으로 하는 눈의 영역을 추적하는 방법.
  8. 제 1 항 또는 제 2 항에 있어서, 상기 하르-라이크 피쳐스를 이용하여 눈의 영역을 추출하는 단계는;
    에지 피쳐스를 상기 ROI 내에 이동시켜 위치시키면서 상기 에지 피쳐스의 제 1 영역 및 제 2 영역내에 위치하는 픽셀들의 명암 값을 추출하여 제 1 영역 및 제 2 영역의 명암 차이 값을 계산하고, 계산한 명암 차이값이 가장 큰 에지 피쳐스의 위치를 선택하는 단계;
    라인 피쳐스를 상기 ROI 내에 이동시켜 위치시키면서 상기 피쳐스의 제 11 영역 내지 제 13 영역 내에 위치하는 픽셀들의 명암 값을 추출하여 제 11 영역 및 제 13 영역의 명암 값을 상호간에 가산하고, 가산한 명암 값과 상기 제 12 영역 내의 명암 값의 차이 값을 계산하며, 계산한 명암 차이값이 가장 큰 라인 피쳐스의 위치를 선택하는 단계; 및
    상기 선택한 에지 피쳐스의 위치와 라인 피쳐스의 위치에서의 명암 차이값들 중에서 크기가 큰 명암 차이값의 피쳐스를 선택하고, 선택한 피쳐스의 중심 위치를 기준으로 하여 눈의 영역을 설정하는 단계;를 포함하여 구성됨을 특징으로 하는 눈의 영역을 추적하는 방법.
KR1020090040696A 2009-05-11 2009-05-11 눈의 영역을 추적하는 방법 KR20100121817A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090040696A KR20100121817A (ko) 2009-05-11 2009-05-11 눈의 영역을 추적하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090040696A KR20100121817A (ko) 2009-05-11 2009-05-11 눈의 영역을 추적하는 방법

Publications (1)

Publication Number Publication Date
KR20100121817A true KR20100121817A (ko) 2010-11-19

Family

ID=43406920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090040696A KR20100121817A (ko) 2009-05-11 2009-05-11 눈의 영역을 추적하는 방법

Country Status (1)

Country Link
KR (1) KR20100121817A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101113515B1 (ko) * 2011-09-20 2012-02-29 제주특별자치도 감시카메라를 이용한 비디오 색인 시스템 및 방법
KR101480348B1 (ko) * 2013-05-31 2015-01-09 삼성에스디에스 주식회사 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
WO2015105324A1 (ko) * 2014-01-10 2015-07-16 국립암센터 신경섬유층 결손 영역 검출 방법
KR20180031174A (ko) * 2016-09-19 2018-03-28 현대모비스 주식회사 보조 표지판 인식 장치 및 그 방법
US11315261B2 (en) 2019-08-26 2022-04-26 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11694480B2 (en) 2020-07-27 2023-07-04 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101113515B1 (ko) * 2011-09-20 2012-02-29 제주특별자치도 감시카메라를 이용한 비디오 색인 시스템 및 방법
KR101480348B1 (ko) * 2013-05-31 2015-01-09 삼성에스디에스 주식회사 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
US9495600B2 (en) 2013-05-31 2016-11-15 Samsung Sds Co., Ltd. People detection apparatus and method and people counting apparatus and method
WO2015105324A1 (ko) * 2014-01-10 2015-07-16 국립암센터 신경섬유층 결손 영역 검출 방법
KR20180031174A (ko) * 2016-09-19 2018-03-28 현대모비스 주식회사 보조 표지판 인식 장치 및 그 방법
US11315261B2 (en) 2019-08-26 2022-04-26 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11694480B2 (en) 2020-07-27 2023-07-04 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection

Similar Documents

Publication Publication Date Title
Jain et al. Real-time upper-body human pose estimation using a depth camera
EP1260935B1 (en) Face detection device, face pose detection device, partial image extraction device, and methods for said devices
JP4307496B2 (ja) 顔部位検出装置及びプログラム
JP5538909B2 (ja) 検出装置およびその方法
Wang et al. Frontal-view face detection and facial feature extraction using color and morphological operations
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
TWI499966B (zh) 互動式操作方法
KR101853006B1 (ko) 깊이영상에서 코 검출을 이용한 얼굴 인식
Hongo et al. Focus of attention for face and hand gesture recognition using multiple cameras
CN103559491A (zh) 人体动作捕获及姿态分析系统
KR20100121817A (ko) 눈의 영역을 추적하는 방법
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
US6975763B2 (en) Shade component removing apparatus and shade component removing method for removing shade in image
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
Lee et al. Hand gesture recognition using orientation histogram
CN111222432A (zh) 人脸活体检测方法、系统、设备及可读存储介质
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
Szlávik et al. Face analysis using CNN-UM
Hossain et al. A real-time face to camera distance measurement algorithm using object classification
JP2005165983A (ja) 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム
Park et al. Head segmentation and head orientation in 3d space for pose estimation of multiple people
Xu et al. Camera Control and Multimedia Interaction using Individual Object Recognition.
Chen et al. A robust facial feature tracking system
Shafi et al. Face pose estimation using distance transform and normalized cross-correlation
KR20190139605A (ko) 제스처 인식 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application