KR20140089448A - 코 영역 검출 방법 - Google Patents

코 영역 검출 방법 Download PDF

Info

Publication number
KR20140089448A
KR20140089448A KR1020120146363A KR20120146363A KR20140089448A KR 20140089448 A KR20140089448 A KR 20140089448A KR 1020120146363 A KR1020120146363 A KR 1020120146363A KR 20120146363 A KR20120146363 A KR 20120146363A KR 20140089448 A KR20140089448 A KR 20140089448A
Authority
KR
South Korea
Prior art keywords
nose
region
nose region
face
detected
Prior art date
Application number
KR1020120146363A
Other languages
English (en)
Other versions
KR101788070B1 (ko
Inventor
오천인
이한규
정영호
홍진우
박강령
신광용
이원오
김영곤
김기완
뉴엔치엣잔
Original Assignee
한국전자통신연구원
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 동국대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020120146363A priority Critical patent/KR101788070B1/ko
Publication of KR20140089448A publication Critical patent/KR20140089448A/ko
Application granted granted Critical
Publication of KR101788070B1 publication Critical patent/KR101788070B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

본 발명은 조명이 균일한 적외선 조명 환경뿐만 아니라 조명 변화가 다양한 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정확하게 검출할 수 있는 방법을 제공한다. 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점을 검출하고, 검출된 얼굴 영역 및 얼굴 특징점을 기반으로 코 탐색 영역을 검출한다. 다음으로 두 개 또는 한 개의 콧구멍 형상(Shape) 특성 및 집적 영상(integral imaging) 기법을 통해 코 영역을 검출한다. 그리고 연속영상에서 코 영역을 추적(tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(adaptive template matching)을 통해 코 영역을 검출한다.

Description

코 영역 검출 방법{METHOD FOR NOSE REGION DETECTION}
본 발명은 영상 인식 기법에 관한 기술로서, 보다 상세하게는 얼굴인식, 나이인식, 표정인식, 성별인식, 2D 얼굴 영상의 3D 영상 변환 연구 및 얼굴 포즈 예측 연구 등에서 눈, 눈썹, 코 및 입과 같은 얼굴 특징점 정보를 인식하는 기술에 관한 것이다.
코 특징점을 검출하기 위한 종래의 기술로서, 인용문헌 1에서는 CCD 카메라 및 PTZ(Pan-Tilt-Zoom) 카메라를 통해 템플릿 매칭(template matching) 기법을 이용하여 얼굴 영역을 검출하였으며, 얼굴 영상의 눈썹, 눈, 홍채, 코 및 입과 같은 얼굴 요소(facial parts) 영역을 추적(tracking)하는 연구를 진행하였는데, 이때 코 영역에는 콧구멍이 두 개가 존재한다는 특징 및 원 검출을 위한 허프 변환(Hough transform) 방법을 통해 두 개의 콧구멍을 검출하여 코 영역을 결정하였다.
하지만 콧구멍 영역을 검출하기 위해 사용된 허프 변환의 경우, 콧구멍 영역을 원 모양으로 모델링하여 검출하였는데, 콧구멍의 모양은 얼굴 포즈 변화 및 사람에 따라 다르기 때문에 원 모양이 아닌 콧구멍의 경우 정확하게 검출하지 못한다는 문제점이 있다. 또한, 코 영역에는 두 개의 콧구멍이 존재한다는 특징을 사용하기 때문에, 사용자의 얼굴 포즈 변화에 의한 가림(occlusion)에 의해 한 개의 콧구멍만이 얼굴영상에서 관측되는 경우, 코 영역을 검출하지 못한다는 문제점이 있다.
또한, 얼굴 영상에서 코 영역을 검출하는 또 다른 연구로서, 인용문헌 2는 적외선 조명 환경에서 얼굴 영상에서의 두 개의 동공과 두 개의 콧구멍들의 3D 위치관계를 통해 얼굴 포즈를 예측하였는데, 이때 콧구멍을 검출하기 위해 P-타일 기반의 적응적 임계치(Adaptive Threshold) 방법을 통해 이진화 영상을 추출한 후, 형태학적 연산(Morphological Operations)을 통해 콧구멍 영역을 검출하였다. 또한, 만약 두 개의 콧구멍이 모두 검출되면, 칼만 필터(Kalman Filter)를 이용하여 다음 프레임 영상에 콧구멍 위치를 예측하여 사용하였으며, 한 개의 콧구멍만을 검출하였을 경우 캘리브레이션 데이터(CalibrationData)을 통해 콧구멍 위치를 예측하였다.
하지만, P-타일(P-tile) 기법을 통한 영상을 이진화 할 경우, P-타일은 조명 변화가 다양한 가시광선 환경에서 취득한 영상의 경우 정확한 이진화 결과를 얻을 수 없다는 문제점이 있다. 또한, 검출된 콧구멍 위치를 칼만 필터 및 캘리브레이션 데이터를 통해 다음 프레임 영상의 콧구멍 위치를 예측할 경우, 예측 에러가 발생되어 잘못된 콧구멍 위치를 검출할 수 있는 문제점이 있다.
인용문헌 1 "Hierarchical face tracking by using PTZ camera," In Proc. of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004)
인용문헌 2 "Face Pose Estimation Based on 3D Detection of Pupils and Nostrils." In Proc. of the 2005 IEEE International Conference on Virtual Environments, Human-Computer Interface, and Measurement Systems, 2005)
본 발명이 해결하고자 하는 과제는 조명이 균일한 적외선 조명 환경뿐만 아니라 조명 변화가 다양한 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정확하게 검출할 수 있는 방법을 제공하는 것이다.
본 발명에 따른 코 영역 검출 방법은 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점(눈썹, 눈, 눈꼬리, 입 등)들을 검출하고, 검출된 얼굴 영역 및 얼굴 특징점들을 기반으로 코 탐색 영역을 검출한다. 다음으로 두 개의 콧구멍 형상(Shape) 특성 및 집적 영상(integral imaging) 기법을 통해 코 영역을 검출한다. 이 때 코 영역 검출에 실패하면, 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출한다. 그리고 연속영상에서 코 영역을 추적(tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(adaptive template matching)을 통해 코 영역을 검출한다.
코 탐색 영역 검출 방법은 검출된 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점들 중 한가지를 사용할 수 있다. 그리고 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 이용한 코 영역을 검출하는 방법은, 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 두 개의 콧구멍 형상 특성 마스크를 사용하며, 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따른 변화를 고려하기 위하여, 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리를 바탕으로, 두 개의 콧구멍 형상 특성을 가지는 다양한 크기의 마스크를 사용하며, 집적 영상을 통해 두 개의 콧구멍 형상 특성 마스크들의 소구역(sub-region)들의 화소의 평균 값을 이용하여, 코 영역 위치, 마스크 크기 및 형태를 결정한다.
한 개의 콧구멍 형상 특성 및 집적 영상 기법을 이용하여 코 영역을 검출하는 방법은, 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 한 개의 콧구멍 형상 특성 마스크를 사용하며, 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따른 변화를 고려하기 위하여, 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리를 바탕으로, 한 개의 콧구멍 형상 특성을 가지는 다양한 크기의 마스크를 사용하며, 집적 영상을 통해 한 개의 콧구멍 형상 특성 마스크들의 소구역들의 화소의 평균 값을 이용하여, 코 영역 위치, 마스크 크기 및 형태를 결정한다.
본 발명에 따른 코 영역 검출 방법을 통해 조명 환경뿐만 아니라 다양한 조명의 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정보를 검출 할 수 있다. 따라서, 코 영역 특징 정보를 중요하게 사용되는 얼굴인식, 나이인식, 표정인식, 성별인식의 정확성을 높일 수 있으며, 2D 얼굴 영상을 3D 얼굴 영상 변환 및 얼굴 포즈 예측을 더욱 정확하게 수행할 수 있다.
도 1은 본 발명에 따른 코 영역 검출 방법을 나타내는 흐름도이다.
도 2a는 본 발명에 따른 코 영역 검출 방법에 따른 0° 회전된 얼굴 형상(210)에 따른 코 영역의 형상 특성(211)을 나타내고, 도 2b는 본 발명에 따른 45°회전된 얼굴 형상(220)에 따른 코 영역의 형상 특성(221)을 나타내는 도면이다.
도 2c는 본 발명에 따른 -45° 회전된 얼굴 형상(230)에 따른 코 영역의 형상 특성(231)을 나타내고, 도 2d는 본 발명에 따른 -90° 회전된 얼굴 형상(240)에 따른 코 영역의 형상 특성(241)을 나타내는 도면이다.
도 3은 본 발명에 따른 코 영역 검출 방법의 집적 영상의 일 실시예를 나타내는 구성도이다.
도 4는 본 발명에 따른 코 영역 검출 방법에서 한 개의 콧구멍만이 취득된 영상의 코 영역의 형상 특성을 나타내는 도면이다.
도 5는 본 발명에 따른 코 영역 검출 방법을 통해 검출된 코 영역의 실시예를 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 명세서에서 사용되는 용어는 실시예에서의 기능 및 효과를 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자 또는 운용자의 의도 또는 업계의 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 명시된 경우에는 명시된 정의에 따르며, 구체적으로 명시하지 않는 경우, 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명에 따른 코 영역 검출 방법을 나타내는 흐름도이다.
도 1을 참조하면, 본 발명에 따른 코 영역 검출 방법은
먼저 코 영역을 검출하기 위한 영상을 수신한다(101). 그리고 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점을 검출한다(102). 수신된 영상에 포함된 얼굴 영역 및 얼굴 특징점을 검출한다. 이때, 얼굴 영역 및 얼굴 특징점 검출은 아다부스트(Adaboost), 조인트부스트(Jointboost), 템플릿 대응(Template Matching), SURF(Speeded Up Robust Feature), SIFT(Scale Invariant Feature Transform) 또는 피부색(Skin Color)와 역전파 신경망(Back-Propagation Neural Network) 등과 같은 방법을 통해, 얼굴 영역 및 얼굴 영역에서 얼굴 특징점(눈썹, 눈, 눈꼬리, 입 등)을 검출할 수 있다. 얼굴 영역 및 얼굴 특징점을 검출하기 위한 방법은 상술한 방법으로 한정되는 것은 아니며, 얼굴 영역 및 얼굴 특징점을 검출할 수 있는 다양한 방법을 모두 포함한다.
다음으로 검출된 얼굴 영역 및 얼굴 특징점에 기초하여 코 탐색 영역을 설정한다(103). 코 탐색 영역은 수신된 영상의 프레임에서 코 영역 검출의 효율을 높이기 위해 설정하는 영역으로서, 검출된 얼굴 영역만을 코 탐색 영역으로 설정하거나, 검출된 얼굴 특징점 위치를 기반으로 코 탐색 영역을 설정할 수 있다. 코 영역 검출은 설정된 코 탐색 영역에서 이루어 지게 된다. 코 탐색 영역 설정은 상술한 일례로 한정되는 것은 아니며, 부분 또는 영상 전체를 설정하는 등 다양한 방법을 통해 수행 가능하다.
다음으로 이전 프레임에서의 코 영역 템플릿 존재 유무를 판단한다(104). 코 영역 검출 방법은 단일 프레임 영상뿐만 아니라 연속 프레임 영상에서도 코 영역을 검출할 수 있다. 이에 따라 이전 프레임에서의 코 영역 템플릿 존재 유무를 확인한다.
만약 코 영역 템플릿이 존재한다면, 현재 프레임 영상의 코 탐색 영역과 이전 프레임에서 추출되어 저장된 코 영역 템플릿을 이용하여 적응 템플릿 대응(Adaptive Template Matching)을 수행하게 된다(105). 만약 이전 프레임 영상을 통해 코 영역 템플릿이 존재 한다면, 현재 프레임 영상의 코 탐색 영역과 이전 프레임에서 추출되어 저장된 코 영역 템플릿을 이용하여 적응 템플릿 대응을 수행하고, 적응 템플릿 대응을 통해 최대의 매칭 값(Ms) 및 최대 매칭 값에 따른 위치를 검출한다.
그리고 매칭 값(Ms)와 사전에 정한 임계 값을 통해 적응 템플릿 대응의 성공 여부를 결정한다(106). 만약 매칭 값이 임계값(Threshold)보다 크면 검출된 적응 템플릿 대응에서 결정된 최대 매칭 값에 따른 위치를 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장한다(111).
만약 대응 값이 임계값(Threshold)보다 작으면 두 개의 콧구멍 형상(Shape) 특성 및 집적 영상(Integral Imaging) 기법을 통해 코 영역을 검출한다(107). 다음으로 코 영역 검출 유무를 판단한다(108). 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출 유무를 판단하고, 만약 코 영역 검출이 되었다면, 검출된 코 영역을 최종 코 영역으로 결정하며, 다음 프레임에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장하고 코 영역 검출 과정을 완료한다(111).
만약 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출에 실패한 경우, 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출한다(109). 다음으로 코 영역 검출 유무를 판단한다(110). 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출 유무를 판단하고, 만약 코 영역 검출이 되었다면, 검출된 코 영역을 최종 코 영역으로 결정하며, 다음 프레임에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장하고 코 영역 검출 과정을 완료한다(111). 연속 영상에서 코 영역을 추적(Tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(Adaptive Template Matching)을 통해 코 영역을 검출한다.
만약 두 개의 콧구멍 및 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출에 실패하면, 코 영역 템플릿을 저장하지 못하며, 다시 영상을 수신(101)받는다.
도 2a는 본 발명에 따른 코 영역 검출 방법에 따른 0° 회전된 얼굴 형상(210)에 따른 코 영역의 형상 특성(211)을 나타내고, 도 2b는 본 발명에 따른 45° 회전된 얼굴 형상(220)에 따른 코 영역의 형상 특성(221)을 나타내고, 도 2c는 본 발명에 따른 -45° 회전된 얼굴 형상(230)에 따른 코 영역의 형상 특성(231)을 나타내고, 도 2d는 본 발명에 따른 -90° 회전된 얼굴 형상(240)에 따른 코 영역의 형상 특성(241)을 나타내는 도면이다.
일반적으로, 얼굴의 회전에는 롤(roll), 요(yaw) 및 피치(pitch)의 회전이 존재하는데, 사람의 얼굴의 경우 얼굴이 어깨의 오른쪽 혹은 왼쪽으로 기울어지는 회전을 롤 회전이라고 하며, 요 회전은 얼굴을 정면으로 응시한 기준으로 좌측 혹은 우측으로 움직일 때 발생하는 회전을 뜻하며, 피치의 경우 어깨를 기준으로 얼굴이 위 혹은 아래로 움직일 때 발생하는 회전이다.
도 2a를 참조하면, 0°회전한 얼굴 영상(210)의 경우 코 영역은 211과 같이 나타난다. 코 영역의 콧구멍은 이웃하는 영역보다 영상의 화소 값이 낮다는 특징, 코 영역에는 두 개의 콧구멍이 존재한다는 특징 및 롤 회전각이 0°이기 때문에 두 개의 콧구멍이 수평 선상에 위치한다는 특징들이 있다.
도 2b를 참조하면, 45° 회전된 얼굴 영상(220)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 45°° 회전각을 이루는 마스크 형태(221)를 가진다.
도 2c를 참조하면, -45° 회전된 얼굴 영상(230)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 -45°의 회전각을 이루는 마스크 형태(231)를 가진다.
도 2d를 참조하면, -90° 회전된 얼굴 영상(240)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 -90°의 회전각을 이루는 마스크 형태(241)를 가진다.
상술한 회전된 얼굴 형상의 실시예들은 구체적인 설명을 위해 롤 회전각 0°, 45°, -45° 및 -90°의 4가지 경우에 따른 얼굴 회전각으로 구분하였으나, 상기의 4가지의 회전각의 범위만으로 한정하는 것은 아니며, 다양한 회전각에 따라 다양한 코 영역 마스크 형태를 가질 수 있으며, 만약 도 1의 102 단계에서 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 두 개의 콧구멍 형상 특성 마스크를 사용한다. 이때 이웃영역 보다 화소 값이 낮은 두 개의 콧구멍을 가지며, 회전각에 따른 두 개의 콧구멍의 회전 정도가 반영된 형태의 코 영역 마스크에 대해서는 특별히 한정하는 것은 아니다. 또한 롤에 의해 회전된 얼굴 영상만을 한정하는 것은 아니며, 각각의 요 및 피치의 회전에 의해 발생되는 얼굴 영상 및 롤, 요 및 피치의 회전이 복합적으로 발생된 얼굴 영상의 경우도 포함된다.
또한 도 2a, 2b, 2c 및 2d의 경우, 취득된 영상에서의 얼굴 크기에 따라 가변적으로 변하게 된다. 본 발명에서는 도 1의102 단계에서 검출된 얼굴 박스 영역의 수평 혹은 수직 크기, 또는 검출된 양 눈 사이의 거리를 바탕으로 코 영역 형상 특성의 크기를 적응적으로 변화하여 적용하게 된다.
도 3은 본 발명에 따른 코 영역 검출 방법의 집적 영상의 일 실시예를 나타내는 구성도이다.
도 3을 참조하면, 정사각형 또는 사각형의 형태의 관심 영역에 있어서, 관심 영역의 크기와는 상관 없이 동일한 시간에 관심 영역의 평균 값을 계산하는 집적 영상 기법의 실시예이다. 입력된 영상을 가로축 기준으로 한 개의 화소씩 이동하면서 화소 값을 더하여 저장하는데, 현재의 화소 값에 이전 화소에 누적된 화소 값을 더해 현재 화소 위치에 저장한다. 이렇게 가로축 기준으로 누적된 화소들을 다시 세로축 기준으로 화소들의 누적의 합을 저장함으로써 집적 영상을 생성한다. 상기에 의해 생성된 집적 영상을 통해 308 영역의 화소 평균값은 점 304와 점 301 화소 위치들의 화소 값 합과 점 302와 점 303 화소 위치들의 화소 값의 합의 차, 즉 점304+점301-(점302+점303)으로써 구할 수 있다.
도 1, 도 2 및 도 3을 참조하면, 도 1의 104 단계 또는 106 단계에 의해 의해 107 단계 107로 이동하게 되는데, 107 단계는 도 2의 두 개의 콧구멍 형상 특성 마스크들 및 도 3의 집적 영상 방법을 통해 코 영역을 검출한다. 107 단계를 통한 코 영역 검출에서는, 얼굴 영상 취득 시에 사용자의 얼굴 포즈가 발생하여 얼굴의 롤, 요 및 피치와 같은 회전이 발생하더라도, 취득된 얼굴 영상에 두 개의 콧구멍이 존재할 수 있다. 따라서 두 개의 콧구멍이 존재하며, 회전각의 따라 두 개의 콧구멍의 회전 정도가 반영된 도 2의 다양한 마스크 형태들 이용하는데, 이때 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따라 취득된 얼굴 영상의 콧구멍 사이즈가 다르기 때문에, 전술한 바와 같이 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리 등을 기반으로, 회전 정도가 반영된 도 2의 마스크 형태의 사이즈를 다양하게 하여 코 영역을 검출한다.
도 1의 107 단계에서 다양한 사이즈 및 회전 각이 반영된 마스크를 기반으로 103 단계의 코 탐색 영역을 탐색하여 최적의 사이즈 및 회전 각이 반영된 코 영역을 검출하게 되는데, 이때 사용되는 각각의 마스크를 대상으로 집적 영상을 통해 해당하는 마스크의 소구역(Sub-region)의 따른 화소의 평균 값을 얻게 된다. 각각의 코 영역 특징 마스크를 통해 두 개의 콧구멍의 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮으면 코 영역 특징 마스크 후보로 선정되고, 이때의 두 개의 콧구멍의 영역과 각각의 이웃하는 영역들에 화소의 평균 값에 대한 차의 값을 구한 후, 이들의 차를 모두 합하여 해당 코 영역 특징 마스크의 매칭 값으로 사용한다. 이렇게 각각의 코 탐색 영역의 위치에서 다양한 마스크의 크기 및 형태에서 측정된 매칭 값을 비교하여, 매칭 값이 가장 큰 것에 해당하는 코 탐색 영역 위치, 마스크 크기 및 형태를 통해 코 영역으로 결정하게 된다.
본 발명은 최적의 코 영역을 결정하기 위해 코 영역 특징 마스크에서 두 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 때 코 영역 특징 마스크 후보로 선정하였으며, 또한 코 영역 특징 마스크의 매칭 값을 두 개의 콧구멍 영역과 각각의 이웃하는 영역들의 화소의 평균 값에 대한 차의 값들의 합으로 결정하였다. 하지만 이는 하나의 실시예로서 본 발명을 구체적으로 설명하기 위한 것일 뿐, 상술한 내용으로 한정하는 것은 아니다. 도 2에서 도시한 코 영역 마스크 이외의 다양한 회전각에 따라 다양한 코 영역 마스크 형태를 이용할 수 있다. 또한 다양한 얼굴 포즈 및 개인적인 코 특성에 따라 취득된 두 개의 콧구멍 영역의 크기가 서로 다를 수 있기 때문에, 사용할 코 영역 마스크의 형태에서 두 개의 콧구멍 크기가 동일한 사이즈로 한정하는 것이 아니다.
도 1의 107단계가 완료되면, 코 영역 검출 유무를 판단하는 108 단계로 이동하게 된다. 107 단계에서 두 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역을 검출 할 수도 있지만, 사용자의 얼굴 포즈로 인해 취득된 얼굴에서 한 개의 콧구멍 혹은 콧구멍이 존재하지 않는 코 영역이 취득되어 코 영역을 검출하지 못할 수도 있다. 따라서 108 단계에서 두 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역 검출이 성공으로 판단된다면, 도 1의 111 단계로 이동하여 107 단계에서 검출된 코 영역을 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿으로 저장한다. 만약 108 단계에서 코 영역 검출이 실패로 판단되면, 109 단계로 이동하게 된다. 109 단계에서는 사용자의 얼굴 포즈로 인해 취득된 얼굴에서 한 개의 콧구멍이 존재하는 얼굴 영상의 경우는 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출 할 수 있다.
도 4는 본 발명에 따른 코 영역 검출 방법에서 한 개의 콧구멍만이 취득된 영상의 코 영역의 형상 특성을 나타내는 도면이다.
도 4를 참조하면, 얼굴 포즈나 방향에 의해 한 개의 콧구멍만이 취득된 얼굴 영상(410)에 따른 코 영역의 형상 특성(411)은 한 개의 콧구멍에 대한 형상 특성이 나타난다.
도 1 및 도 4를 참조하면, 도 1의 108 단계에 의해 109 단계로 이동할 때, 109 단계는 도 3의 집적 영상 방법 및 도 4의 한 개의 콧구멍 형상 특성 마스크를 통해 코 영역을 검출할 수 있다. 109 단계는 107 단계와 동일하게 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따라 취득된 얼굴 영상의 콧구멍 사이즈가 다르기 때문에, 도 4와 같은 형태를 갖는 한 개의 콧구멍 형상 특성 마스크의 사이즈를, 도 1의 102 단계에서 검출된 얼굴 박스 사이즈 혹은 양 눈 사이의 거리를 기반으로, 다양하게 적용하여 코 영역을 검출한다.
도 4와 같은 다양한 사이즈의 코 영역 특징 마스크를 기반으로 도 1의 103 단계의 코 탐색 영역을 탐색하여 최적의 코 영역 사이즈 반영된 코 영역을 검출하게 되는데, 이때 사용되는 코 영역 특징 마스크를 대상으로 집적 영상을 통해 해당하는 마스크의 소구역에 따른 화소의 평균 값을 얻게 된다. 다양한 크기의 코 특징 마스크를 통해 한 개의 콧구멍의 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮으면 코 영역 특징 마스크의 사이즈 후보로 선정하고, 이때의 한 개의 콧구멍 영역과 각각의 이웃하는 영역들에 화소의 평균 값에 대한 차의 값을 구한 후, 이들의 차를 모두 합하여 해당 코 영역 특징 마스크의 매칭 값으로 사용한다. 이렇게 각각의 코 탐색 영역의 위치에서 코 영역 특징 마스크의 다양한 크기에서 따라 측정된 매칭 값을 비교하여, 매칭 값이 가장 큰 것에 해당하는 코 탐색 영역 위치 및 코 영역 특징 마스크 크기를 통해 코 영역으로 결정하게 된다.
최적의 코 탐색 영역 위치 및 코 영역 특징 마스크 크기를 결정하기 위해 코 영역 특징 마스크에서 한 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 때 코 영역 특징 마스크의 사이즈 후보로 선정하였는데, 이는 구체적인 설명을 위한 실시예일뿐, 특별히 마스크에서 한 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 경우로 범위를 한정하는 것은 아니다.
도 1의 109단계가 완료되면, 코 영역 검출 유무를 판단하는 110 단계를 수행한다. 109 단계에서 한 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역을 검출 할 수도 있지만, 사용자의 얼굴 포즈로 인해 콧구멍이 존재하지 않는 코 영역이 취득되어 코 영역을 검출하지 못할 수도 있다. 따라서 110 단계에서 한 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역 검출이 성공으로 판단된다면, 도 1의 111 단계로 이동하여 109 단계에서 검출된 코 영역을 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿으로 저장한다. 만약 110 단계에서 코 영역 검출이 실패로 판단되면, 101 단계로 이동하게 되는데, 다음 프레임의 얼굴 영상을 대상으로 코 영역에 대한 검출을 시도하게 된다. 110 단계에서 코 영역 실패로 인해 101 단계로 이동했을 경우, 코 영역 템플릿이 존재하지 않기 때문에, 104 단계에서 107 단계로 이동하게 되어 105 단계 및 106 단계를 수행하지 못한다. 111 단계를 통해 101 단계로 이동하는 경우, 코 영역 템플릿이 존재하기 때문에 104 단계에서 105 단계로 이동하여 적응 템플릿 대응을 수행하게 된다.
도 5는 본 발명에 따른 코 영역 검출 방법을 통해 검출된 코 영역의 실시예를 나타내는 도면이다.
도 5를 참조하면, 510은 밝은 환경에서 좌측으로 회전한 얼굴 영상에서 검출된 코 영역을 나타내고, 520는 밝은 환경에서 정면 얼굴 영상에서 검출된 코 영역을 나타낸다. 530는 밝은 환경에서 우측으로 회전한 얼굴 영상에서 검출된 코 영역을 나타내고, 540는 어두운 환경에서 정면 얼굴 영상에서 검출된 코 영역을 나타낸다. 522영역은 밝은 환경에서 정면 얼굴 영상에서 검출된 콧구멍 영역을 나타내며, 521영역은 검출된 최종의 코 영역을 나타낸다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.
210: 0° 회전된 얼굴 형상
211: 0° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
220: 45° 회전된 얼굴 형상
221: 45° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
230: -45° 회전된 얼굴 형상
231: -45° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
240: -90° 회전된 얼굴 형상
241: -90° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
410: 한 개의 콧구멍만이 취득된 얼굴 영상
411: 한 개의 콧구멍만이 취득된 얼굴 영상에 따른 코 영역의 형상 특성

Claims (1)

  1. 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점을 검출하는 단계;
    상기 검출된 얼굴 영역 및 상기 검출된 얼굴 특징점을 기반으로 코 탐색 영역을 검출하는 단계;
    상기 검출된 코 탐색 영역에서 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출하는 단계;
    상기 검출된 코 탐색 영역에서 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출하는 단계; 및
    연속영상에서 코 영역을 추적(Tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(Adaptive Template Matching)을 통해 코 영역을 검출하는 단계;
    를 포함하는 것을 특징으로 하는 코 영역 검출 방법.
KR1020120146363A 2012-12-14 2012-12-14 코 영역 검출 방법 KR101788070B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120146363A KR101788070B1 (ko) 2012-12-14 2012-12-14 코 영역 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146363A KR101788070B1 (ko) 2012-12-14 2012-12-14 코 영역 검출 방법

Publications (2)

Publication Number Publication Date
KR20140089448A true KR20140089448A (ko) 2014-07-15
KR101788070B1 KR101788070B1 (ko) 2017-10-20

Family

ID=51737550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146363A KR101788070B1 (ko) 2012-12-14 2012-12-14 코 영역 검출 방법

Country Status (1)

Country Link
KR (1) KR101788070B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329665A (zh) * 2020-11-10 2021-02-05 上海大学 一种人脸抓拍系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006090449A1 (ja) * 2005-02-23 2006-08-31 Fujitsu Limited 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP2007334810A (ja) * 2006-06-19 2007-12-27 Toshiba Corp 画像領域追跡装置及びその方法
JP4996943B2 (ja) * 2007-02-23 2012-08-08 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329665A (zh) * 2020-11-10 2021-02-05 上海大学 一种人脸抓拍系统
CN112329665B (zh) * 2020-11-10 2022-05-17 上海大学 一种人脸抓拍系统

Also Published As

Publication number Publication date
KR101788070B1 (ko) 2017-10-20

Similar Documents

Publication Publication Date Title
US10600207B2 (en) Posture state estimation apparatus and posture state estimation method
Gourier et al. Estimating face orientation from robust detection of salient facial structures
WO2017133605A1 (zh) 一种人脸跟踪方法、装置和智能终端
Jain et al. Real-time upper-body human pose estimation using a depth camera
US9480417B2 (en) Posture estimation device, posture estimation system, and posture estimation method
JP5873442B2 (ja) 物体検出装置および物体検出方法
WO2020125499A1 (zh) 一种操作提示方法及眼镜
EP2704056A2 (en) Image processing apparatus, image processing method
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
Li et al. Robust multiperson detection and tracking for mobile service and social robots
Unzueta et al. Efficient generic face model fitting to images and videos
Dittrich et al. People counting in crowded and outdoor scenes using a hybrid multi-camera approach
Vezhnevets Face and facial feature tracking for natural human-computer interface
Jean et al. Body tracking in human walk from monocular video sequences
US11048926B2 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
KR101788070B1 (ko) 코 영역 검출 방법
Park et al. Head segmentation and head orientation in 3d space for pose estimation of multiple people
Li et al. Hand shape recognition and estimation for South African sign language
Brauer Camera based human localization and recognition in smart environments
Wang et al. Adaptive visual tracking based on discriminative feature selection for mobile robot
Chen et al. A robust facial feature tracking system
Chen et al. Facial feature detection and tracking in a new multimodal technology-enhanced learning environment for social communication
KR101385373B1 (ko) 얼굴 검출 기반 손 제스처 인식 방법
Chen et al. Robust facial feature detection and tracking for head pose estimation in a novel multimodal interface for social skills learning
Erhard Visual intent recognition in a multiple camera environment

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right