KR101788070B1 - Method for nose region detection - Google Patents

Method for nose region detection Download PDF

Info

Publication number
KR101788070B1
KR101788070B1 KR1020120146363A KR20120146363A KR101788070B1 KR 101788070 B1 KR101788070 B1 KR 101788070B1 KR 1020120146363 A KR1020120146363 A KR 1020120146363A KR 20120146363 A KR20120146363 A KR 20120146363A KR 101788070 B1 KR101788070 B1 KR 101788070B1
Authority
KR
South Korea
Prior art keywords
region
nose
detected
nose region
face
Prior art date
Application number
KR1020120146363A
Other languages
Korean (ko)
Other versions
KR20140089448A (en
Inventor
오천인
이한규
정영호
홍진우
박강령
신광용
이원오
김영곤
김기완
뉴엔치엣잔
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020120146363A priority Critical patent/KR101788070B1/en
Publication of KR20140089448A publication Critical patent/KR20140089448A/en
Application granted granted Critical
Publication of KR101788070B1 publication Critical patent/KR101788070B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

본 발명은 조명이 균일한 적외선 조명 환경뿐만 아니라 조명 변화가 다양한 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정확하게 검출할 수 있는 방법을 제공한다. 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점을 검출하고, 검출된 얼굴 영역 및 얼굴 특징점을 기반으로 코 탐색 영역을 검출한다. 다음으로 두 개 또는 한 개의 콧구멍 형상(Shape) 특성 및 집적 영상(integral imaging) 기법을 통해 코 영역을 검출한다. 그리고 연속영상에서 코 영역을 추적(tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(adaptive template matching)을 통해 코 영역을 검출한다.The present invention accurately detects a nose region even in a visible light environment in which illumination changes are varied as well as in an infrared illuminating environment in which illumination is uniform, and even when there are no two nostrils in the nose region due to various face pose changes of the user, Can be accurately detected. The facial feature points in the face region and the face region are detected from the acquired facial image, and the nose search region is detected based on the detected face region and facial feature point. Next, the nose region is detected through two or one nose shape characteristics and integral imaging technique. In order to track the nose region in the continuous image, the nose region detected in the current frame image is detected through the nose search region of the next frame image and the adaptive template matching.

Description

코 영역 검출 방법{METHOD FOR NOSE REGION DETECTION}METHOD FOR NOSE REGION DETECTION [0002]

본 발명은 영상 인식 기법에 관한 기술로서, 보다 상세하게는 얼굴인식, 나이인식, 표정인식, 성별인식, 2D 얼굴 영상의 3D 영상 변환 연구 및 얼굴 포즈 예측 연구 등에서 눈, 눈썹, 코 및 입과 같은 얼굴 특징점 정보를 인식하는 기술에 관한 것이다.The present invention relates to an image recognition technique, and more particularly to a technique of recognizing an image, such as a face, eyebrow, nose, and mouth in face recognition, age recognition, face recognition, gender recognition, 3D image conversion research of 2D face images, And a technique for recognizing facial feature point information.

코 특징점을 검출하기 위한 종래의 기술로서, 인용문헌 1에서는 CCD 카메라 및 PTZ(Pan-Tilt-Zoom) 카메라를 통해 템플릿 매칭(template matching) 기법을 이용하여 얼굴 영역을 검출하였으며, 얼굴 영상의 눈썹, 눈, 홍채, 코 및 입과 같은 얼굴 요소(facial parts) 영역을 추적(tracking)하는 연구를 진행하였는데, 이때 코 영역에는 콧구멍이 두 개가 존재한다는 특징 및 원 검출을 위한 허프 변환(Hough transform) 방법을 통해 두 개의 콧구멍을 검출하여 코 영역을 결정하였다.As a conventional technique for detecting cochlear points, a face region is detected using a template matching technique through a CCD camera and a PTZ (Pan-Tilt-Zoom) camera, In this study, two nostrils existed in the nose region and a Hough transform for the detection of the circle. In this paper, we propose a method of tracking facial parts such as eyes, iris, nose, Two nostrils were detected through the method to determine the nose area.

하지만 콧구멍 영역을 검출하기 위해 사용된 허프 변환의 경우, 콧구멍 영역을 원 모양으로 모델링하여 검출하였는데, 콧구멍의 모양은 얼굴 포즈 변화 및 사람에 따라 다르기 때문에 원 모양이 아닌 콧구멍의 경우 정확하게 검출하지 못한다는 문제점이 있다. 또한, 코 영역에는 두 개의 콧구멍이 존재한다는 특징을 사용하기 때문에, 사용자의 얼굴 포즈 변화에 의한 가림(occlusion)에 의해 한 개의 콧구멍만이 얼굴영상에서 관측되는 경우, 코 영역을 검출하지 못한다는 문제점이 있다.However, in the case of the Huff transformation used to detect the nostril region, the nostril region was modeled as a circular shape. Since the shape of the nostril varies depending on the face pose change and the person, There is a problem that it can not be detected. In addition, since the nose region has two nostrils, when the nostril region is observed only in the face image due to the occlusion caused by the change in the user's facial pose, the nose region can not be detected There is a problem.

또한, 얼굴 영상에서 코 영역을 검출하는 또 다른 연구로서, 인용문헌 2는 적외선 조명 환경에서 얼굴 영상에서의 두 개의 동공과 두 개의 콧구멍들의 3D 위치관계를 통해 얼굴 포즈를 예측하였는데, 이때 콧구멍을 검출하기 위해 P-타일 기반의 적응적 임계치(Adaptive Threshold) 방법을 통해 이진화 영상을 추출한 후, 형태학적 연산(Morphological Operations)을 통해 콧구멍 영역을 검출하였다. 또한, 만약 두 개의 콧구멍이 모두 검출되면, 칼만 필터(Kalman Filter)를 이용하여 다음 프레임 영상에 콧구멍 위치를 예측하여 사용하였으며, 한 개의 콧구멍만을 검출하였을 경우 캘리브레이션 데이터(CalibrationData)을 통해 콧구멍 위치를 예측하였다.As another study for detecting a nose region in a facial image, Reference 2 estimated the facial pose through the 3D positional relationship between two pupils and two nostrils in a facial image in an infrared illumination environment. In this case, The binarized image was extracted through a P-tile-based Adaptive Threshold method and then the nostril region was detected through morphological operations. In addition, if both nostrils are detected, the nostril position is predicted and used in the next frame image using a Kalman filter. When only one nostril is detected, the nostril is detected through the calibration data (CalibrationData) The hole position was predicted.

하지만, P-타일(P-tile) 기법을 통한 영상을 이진화 할 경우, P-타일은 조명 변화가 다양한 가시광선 환경에서 취득한 영상의 경우 정확한 이진화 결과를 얻을 수 없다는 문제점이 있다. 또한, 검출된 콧구멍 위치를 칼만 필터 및 캘리브레이션 데이터를 통해 다음 프레임 영상의 콧구멍 위치를 예측할 경우, 예측 에러가 발생되어 잘못된 콧구멍 위치를 검출할 수 있는 문제점이 있다. However, when the image is binarized by the P-tile method, there is a problem that accurate binarization results can not be obtained in the case of an image obtained in a visible light environment in which P-tiles have various illumination changes. Further, when the position of the nostril of the next frame image is predicted through the Kalman filter and the calibration data, the prediction error is generated and a wrong nostril position can be detected.

인용문헌 1 "Hierarchical face tracking by using PTZ camera," In Proc. of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004)Reference 1 "Hierarchical face tracking by using PTZ camera," In Proc. of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004)

인용문헌 2 "Face Pose Estimation Based on 3D Detection of Pupils and Nostrils." In Proc. of the 2005 IEEE International Conference on Virtual Environments, Human-Computer Interface, and Measurement Systems, 2005)Reference 2 "Face Pose Estimation Based on 3D Detection of Pupils and Nostrils." In Proc. of the 2005 IEEE International Conference on Virtual Environments, Human-Computer Interface, and Measurement Systems, 2005)

본 발명이 해결하고자 하는 과제는 조명이 균일한 적외선 조명 환경뿐만 아니라 조명 변화가 다양한 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정확하게 검출할 수 있는 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for accurately detecting a nose region even in a visible light environment having various illumination changes as well as a uniform infrared illumination environment, It is possible to accurately detect the nose region even when the nose region is not detected.

본 발명에 따른 코 영역 검출 방법은 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점(눈썹, 눈, 눈꼬리, 입 등)들을 검출하고, 검출된 얼굴 영역 및 얼굴 특징점들을 기반으로 코 탐색 영역을 검출한다. 다음으로 두 개의 콧구멍 형상(Shape) 특성 및 집적 영상(integral imaging) 기법을 통해 코 영역을 검출한다. 이 때 코 영역 검출에 실패하면, 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출한다. 그리고 연속영상에서 코 영역을 추적(tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(adaptive template matching)을 통해 코 영역을 검출한다.The method for detecting a nose region according to the present invention detects facial feature points (eyebrows, eyes, eye tails, mouth, and the like) in the face region and the face region from the acquired face image, . Next, the nose region is detected through two nose shape characteristics and integral imaging techniques. If the nose region detection fails at this time, the nose region is detected through one nostril shape characteristic and the integrated imaging technique. In order to track the nose region in the continuous image, the nose region detected in the current frame image is detected through the nose search region of the next frame image and the adaptive template matching.

코 탐색 영역 검출 방법은 검출된 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점들 중 한가지를 사용할 수 있다. 그리고 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 이용한 코 영역을 검출하는 방법은, 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 두 개의 콧구멍 형상 특성 마스크를 사용하며, 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따른 변화를 고려하기 위하여, 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리를 바탕으로, 두 개의 콧구멍 형상 특성을 가지는 다양한 크기의 마스크를 사용하며, 집적 영상을 통해 두 개의 콧구멍 형상 특성 마스크들의 소구역(sub-region)들의 화소의 평균 값을 이용하여, 코 영역 위치, 마스크 크기 및 형태를 결정한다.The nose search region detection method can use one of the face feature points in the detected face region and the face region. The method of detecting the nose region using the two nostril shape characteristics and the integrated imaging technique determines the shape of the mask using the angle between the eyes when both eyes are detected, In order to take into consideration the personal characteristics of each person and the change depending on the distance taken by the camera and the face, the size of the detected face box or the distance between both eyes Based on the average value of the pixels of the sub-regions of the two nostril shape masks through the integrated image, the nose region position, Mask size and shape.

한 개의 콧구멍 형상 특성 및 집적 영상 기법을 이용하여 코 영역을 검출하는 방법은, 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 한 개의 콧구멍 형상 특성 마스크를 사용하며, 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따른 변화를 고려하기 위하여, 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리를 바탕으로, 한 개의 콧구멍 형상 특성을 가지는 다양한 크기의 마스크를 사용하며, 집적 영상을 통해 한 개의 콧구멍 형상 특성 마스크들의 소구역들의 화소의 평균 값을 이용하여, 코 영역 위치, 마스크 크기 및 형태를 결정한다.A method of detecting a nose region using one nostril shape characteristic and an integrated imaging technique is characterized in that when both eyes are detected, a mask shape is determined using an angle between both eyes, and if a single eye is detected, In order to take into consideration the personal characteristics of each person and the change depending on the distance taken by the camera and the face, the size of the detected face box or the distance between both eyes is used Based on the average value of the pixels of the small regions of one nostril shape characteristic mask through the integrated image, the nose region position, the mask size, and the shape .

본 발명에 따른 코 영역 검출 방법을 통해 조명 환경뿐만 아니라 다양한 조명의 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정보를 검출 할 수 있다. 따라서, 코 영역 특징 정보를 중요하게 사용되는 얼굴인식, 나이인식, 표정인식, 성별인식의 정확성을 높일 수 있으며, 2D 얼굴 영상을 3D 얼굴 영상 변환 및 얼굴 포즈 예측을 더욱 정확하게 수행할 수 있다.The nose region can be accurately detected not only in the illumination environment but also in the visible light environment of various illuminations through the nose region detection method according to the present invention, Area can be detected. Therefore, accuracy of facial recognition, age recognition, facial expression recognition, and gender recognition, which are important to the nose region feature information, can be improved, and 3D face image conversion and facial pose prediction can be more accurately performed on a 2D facial image.

도 1은 본 발명에 따른 코 영역 검출 방법을 나타내는 흐름도이다.
도 2a는 본 발명에 따른 코 영역 검출 방법에 따른 0° 회전된 얼굴 형상(210)에 따른 코 영역의 형상 특성(211)을 나타내고, 도 2b는 본 발명에 따른 45°회전된 얼굴 형상(220)에 따른 코 영역의 형상 특성(221)을 나타내는 도면이다.
도 2c는 본 발명에 따른 -45° 회전된 얼굴 형상(230)에 따른 코 영역의 형상 특성(231)을 나타내고, 도 2d는 본 발명에 따른 -90° 회전된 얼굴 형상(240)에 따른 코 영역의 형상 특성(241)을 나타내는 도면이다.
도 3은 본 발명에 따른 코 영역 검출 방법의 집적 영상의 일 실시예를 나타내는 구성도이다.
도 4는 본 발명에 따른 코 영역 검출 방법에서 한 개의 콧구멍만이 취득된 영상의 코 영역의 형상 특성을 나타내는 도면이다.
도 5는 본 발명에 따른 코 영역 검출 방법을 통해 검출된 코 영역의 실시예를 나타내는 도면이다.1 is a flowchart showing a method of detecting a nose region according to the present invention.
2A shows the shape characteristic 211 of the nose region according to the 0 ° rotated face shape 210 according to the method of the present invention and FIG. The shape characteristic 221 of the nose region according to the first embodiment of the present invention.
2C shows the shape characteristic 231 of the nose region 230 according to the present invention rotated by -45 DEG. FIG. 2D shows the shape characteristic 231 of the nose region 230 according to the present invention, And the shape characteristic 241 of the region.
3 is a configuration diagram showing an embodiment of an integrated image of the nose region detection method according to the present invention.
4 is a view showing a shape characteristic of a nose region of an image obtained by capturing only one nostril in the nose region detecting method according to the present invention.
5 is a view showing an embodiment of a nose region detected by the nose region detection method according to the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 명세서에서 사용되는 용어는 실시예에서의 기능 및 효과를 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자 또는 운용자의 의도 또는 업계의 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 명시된 경우에는 명시된 정의에 따르며, 구체적으로 명시하지 않는 경우, 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The terms used in the present specification are terms selected in consideration of the functions and effects in the embodiments, and the meaning of the terms may vary depending on the intention of the user or the operator or industry custom. Therefore, the meaning of the term used in the following embodiments is based on the defined definition when specifically stated in this specification, and unless otherwise stated, it should be interpreted in a sense generally recognized by those skilled in the art.

도 1은 본 발명에 따른 코 영역 검출 방법을 나타내는 흐름도이다.1 is a flowchart showing a method of detecting a nose region according to the present invention.

도 1을 참조하면, 본 발명에 따른 코 영역 검출 방법은1, a method for detecting a nose region according to the present invention comprises:

먼저 코 영역을 검출하기 위한 영상을 수신한다(101). 그리고 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점을 검출한다(102). 수신된 영상에 포함된 얼굴 영역 및 얼굴 특징점을 검출한다. 이때, 얼굴 영역 및 얼굴 특징점 검출은 아다부스트(Adaboost), 조인트부스트(Jointboost), 템플릿 대응(Template Matching), SURF(Speeded Up Robust Feature), SIFT(Scale Invariant Feature Transform) 또는 피부색(Skin Color)와 역전파 신경망(Back-Propagation Neural Network) 등과 같은 방법을 통해, 얼굴 영역 및 얼굴 영역에서 얼굴 특징점(눈썹, 눈, 눈꼬리, 입 등)을 검출할 수 있다. 얼굴 영역 및 얼굴 특징점을 검출하기 위한 방법은 상술한 방법으로 한정되는 것은 아니며, 얼굴 영역 및 얼굴 특징점을 검출할 수 있는 다양한 방법을 모두 포함한다.First, an image for detecting a nose region is received (101). Then, the face region and the facial feature point are detected from the acquired facial image (102). The face region and the facial feature point included in the received image are detected. At this time, the detection of the face region and the facial feature point may be performed by using a method such as Adaboost, Joint Boost, Template Matching, SURF (Speed Up Robust Feature), Scale Invariant Feature Transform (SIFT) Facial feature points (eyebrows, eyes, eye tails, mouth, etc.) can be detected in the face region and the face region by a method such as Back-Propagation Neural Network. The method for detecting face regions and facial feature points is not limited to the method described above, and includes various methods for detecting face regions and facial feature points.

다음으로 검출된 얼굴 영역 및 얼굴 특징점에 기초하여 코 탐색 영역을 설정한다(103). 코 탐색 영역은 수신된 영상의 프레임에서 코 영역 검출의 효율을 높이기 위해 설정하는 영역으로서, 검출된 얼굴 영역만을 코 탐색 영역으로 설정하거나, 검출된 얼굴 특징점 위치를 기반으로 코 탐색 영역을 설정할 수 있다. 코 영역 검출은 설정된 코 탐색 영역에서 이루어 지게 된다. 코 탐색 영역 설정은 상술한 일례로 한정되는 것은 아니며, 부분 또는 영상 전체를 설정하는 등 다양한 방법을 통해 수행 가능하다.Next, a nose search area is set based on the detected face area and the facial feature point (103). The nose search area is set to increase the efficiency of the nose detection in the frame of the received image. It is possible to set only the detected face area as the nose search area or to set the nose search area based on the detected position of the face feature point . The nose region detection is performed in the set nose search region. The nose search area setting is not limited to the above-described example, and can be performed through various methods such as setting a part or an entire image.

다음으로 이전 프레임에서의 코 영역 템플릿 존재 유무를 판단한다(104). 코 영역 검출 방법은 단일 프레임 영상뿐만 아니라 연속 프레임 영상에서도 코 영역을 검출할 수 있다. 이에 따라 이전 프레임에서의 코 영역 템플릿 존재 유무를 확인한다.Next, it is determined whether a nose region template exists in a previous frame (104). The nose region detection method can detect a nose region in not only a single frame image but also a continuous frame image. Thus, the presence or absence of the nose region template in the previous frame is confirmed.

만약 코 영역 템플릿이 존재한다면, 현재 프레임 영상의 코 탐색 영역과 이전 프레임에서 추출되어 저장된 코 영역 템플릿을 이용하여 적응 템플릿 대응(Adaptive Template Matching)을 수행하게 된다(105). 만약 이전 프레임 영상을 통해 코 영역 템플릿이 존재 한다면, 현재 프레임 영상의 코 탐색 영역과 이전 프레임에서 추출되어 저장된 코 영역 템플릿을 이용하여 적응 템플릿 대응을 수행하고, 적응 템플릿 대응을 통해 최대의 매칭 값(Ms) 및 최대 매칭 값에 따른 위치를 검출한다.If there is a nose region template, Adaptive Template Matching is performed using the nose search region of the current frame image and the nose region template extracted and stored in the previous frame (105). If there is a nose region template through the previous frame image, adaptation template correspondence is performed using the nose search region of the current frame image and the nose region template extracted and stored in the previous frame, and the maximum matching value M s ) and a position corresponding to the maximum matching value.

그리고 매칭 값(Ms)와 사전에 정한 임계 값을 통해 적응 템플릿 대응의 성공 여부를 결정한다(106). 만약 매칭 값이 임계값(Threshold)보다 크면 검출된 적응 템플릿 대응에서 결정된 최대 매칭 값에 따른 위치를 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장한다(111).The success or failure of the adaptation template is determined 106 through the matching value M s and a predetermined threshold value. If the matching value is larger than the threshold value, a position corresponding to the maximum matching value determined in correspondence with the detected adaptive template is determined as a final nose region, and a nose region template is stored to detect a nose region in the next frame image 111).

만약 대응 값이 임계값(Threshold)보다 작으면 두 개의 콧구멍 형상(Shape) 특성 및 집적 영상(Integral Imaging) 기법을 통해 코 영역을 검출한다(107). 다음으로 코 영역 검출 유무를 판단한다(108). 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출 유무를 판단하고, 만약 코 영역 검출이 되었다면, 검출된 코 영역을 최종 코 영역으로 결정하며, 다음 프레임에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장하고 코 영역 검출 과정을 완료한다(111).If the corresponding value is less than the threshold value, the nose region is detected through two nose shape characteristics and an integral imaging technique (107). Next, it is determined whether or not the nose region is detected (108). If the nose region is detected, the detected nose region is determined as the final nose region, and in order to detect the nose region in the next frame, The template is stored and the nose region detection process is completed (111).

만약 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출에 실패한 경우, 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출한다(109). 다음으로 코 영역 검출 유무를 판단한다(110). 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출 유무를 판단하고, 만약 코 영역 검출이 되었다면, 검출된 코 영역을 최종 코 영역으로 결정하며, 다음 프레임에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장하고 코 영역 검출 과정을 완료한다(111). 연속 영상에서 코 영역을 추적(Tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(Adaptive Template Matching)을 통해 코 영역을 검출한다.If the nose region detection fails through the two nostril shape characteristics and the integrated imaging technique, the nose region is detected through one nostril shape characteristic and an integrated imaging technique (109). Next, whether the nose region is detected or not is determined (110). If the nose region is detected, it is determined that the detected nose region is the final nose region, and in order to detect the nose region in the next frame, The template is stored and the nose region detection process is completed (111). In order to track the nose region in the continuous image, the nose region detected in the current frame image is detected through the nose search region of the next frame image and the adaptive template matching (adaptive template matching).

만약 두 개의 콧구멍 및 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출에 실패하면, 코 영역 템플릿을 저장하지 못하며, 다시 영상을 수신(101)받는다.If the nose region detection fails through the two nostrils and one nostril shape characteristic and the integrated imaging technique, the nose region template can not be stored and the image is received again (101).

도 2a는 본 발명에 따른 코 영역 검출 방법에 따른 0° 회전된 얼굴 형상(210)에 따른 코 영역의 형상 특성(211)을 나타내고, 도 2b는 본 발명에 따른 45° 회전된 얼굴 형상(220)에 따른 코 영역의 형상 특성(221)을 나타내고, 도 2c는 본 발명에 따른 -45° 회전된 얼굴 형상(230)에 따른 코 영역의 형상 특성(231)을 나타내고, 도 2d는 본 발명에 따른 -90° 회전된 얼굴 형상(240)에 따른 코 영역의 형상 특성(241)을 나타내는 도면이다.2A shows the shape characteristic 211 of the nose region according to the 0 ° rotated face shape 210 according to the method of the present invention and FIG. 2C shows the shape characteristic 231 of the nose region according to the face shape 230 rotated by -45 DEG according to the present invention and Fig. And the shape characteristic 241 of the nose region according to the face shape 240 rotated by -90 degrees according to the shape of the nose region 240. FIG.

일반적으로, 얼굴의 회전에는 롤(roll), 요(yaw) 및 피치(pitch)의 회전이 존재하는데, 사람의 얼굴의 경우 얼굴이 어깨의 오른쪽 혹은 왼쪽으로 기울어지는 회전을 롤 회전이라고 하며, 요 회전은 얼굴을 정면으로 응시한 기준으로 좌측 혹은 우측으로 움직일 때 발생하는 회전을 뜻하며, 피치의 경우 어깨를 기준으로 얼굴이 위 혹은 아래로 움직일 때 발생하는 회전이다.Generally, there are rolls, yaws and pitch rotations in the face rotation. In the case of a human face, the rotation in which the face tilts to the right or left of the shoulder is called roll rotation. Rotation refers to the rotation that occurs when the face is moved to the left or right with reference to the front, and the pitch is the rotation that occurs when the face moves up or down with respect to the shoulder.

도 2a를 참조하면, 0°회전한 얼굴 영상(210)의 경우 코 영역은 211과 같이 나타난다. 코 영역의 콧구멍은 이웃하는 영역보다 영상의 화소 값이 낮다는 특징, 코 영역에는 두 개의 콧구멍이 존재한다는 특징 및 롤 회전각이 0°이기 때문에 두 개의 콧구멍이 수평 선상에 위치한다는 특징들이 있다. Referring to FIG. 2A, in the case of the rotated 0 ° rotated face image 210, the nose region is shown as 211. The nostril of the nose region has a characteristic that the image pixel value is lower than the neighboring region, that there are two nostrils in the nose region, and that the two nostrils are located on the horizontal line because the roll rotation angle is 0 ° .

도 2b를 참조하면, 45° 회전된 얼굴 영상(220)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 45°° 회전각을 이루는 마스크 형태(221)를 가진다. Referring to FIG. 2B, in the case of the facial image 220 rotated by 45 degrees, there are two nostrils, a mask shape 221 which is lower than the pixel value of the neighboring region and has two nostrils at a 45.degree. .

도 2c를 참조하면, -45° 회전된 얼굴 영상(230)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 -45°의 회전각을 이루는 마스크 형태(231)를 가진다. Referring to FIG. 2C, in the case of the facial image 230 rotated by -45 degrees, there are two nostrils, a mask shape having a lower value than the pixel value of the neighboring area, and two nostrils having a rotation angle of -45 degrees 231).

도 2d를 참조하면, -90° 회전된 얼굴 영상(240)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 -90°의 회전각을 이루는 마스크 형태(241)를 가진다.Referring to FIG. 2D, in the case of the face image 240 rotated by -90 DEG, there are two nostrils, a mask shape having a lower value than the pixel value of the neighboring region, and two nostrils having a rotation angle of -90 DEG 241).

상술한 회전된 얼굴 형상의 실시예들은 구체적인 설명을 위해 롤 회전각 0°, 45°, -45° 및 -90°의 4가지 경우에 따른 얼굴 회전각으로 구분하였으나, 상기의 4가지의 회전각의 범위만으로 한정하는 것은 아니며, 다양한 회전각에 따라 다양한 코 영역 마스크 형태를 가질 수 있으며, 만약 도 1의 102 단계에서 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 두 개의 콧구멍 형상 특성 마스크를 사용한다. 이때 이웃영역 보다 화소 값이 낮은 두 개의 콧구멍을 가지며, 회전각에 따른 두 개의 콧구멍의 회전 정도가 반영된 형태의 코 영역 마스크에 대해서는 특별히 한정하는 것은 아니다. 또한 롤에 의해 회전된 얼굴 영상만을 한정하는 것은 아니며, 각각의 요 및 피치의 회전에 의해 발생되는 얼굴 영상 및 롤, 요 및 피치의 회전이 복합적으로 발생된 얼굴 영상의 경우도 포함된다.The embodiments of the above-described rotated face shapes are divided into four rotation angles according to four roll rotation angles of 0 °, 45 °, -45 °, and -90 ° for specific explanation. However, The present invention is not limited to only the range of the rotation angle. The mask shape may be various according to various rotation angles. If both eyes are detected in step 102 of FIG. 1, , And if there is only one eye, use two different nostril shape characteristic masks considering various facial rotations. In this case, the nose area mask having a shape having two nostrils with lower pixel values than the neighboring area and reflecting the degree of rotation of the two nostrils according to the rotation angle is not particularly limited. The present invention is not limited to a face image rotated by a roll, but also includes a facial image generated by rotation of each yaw and pitch, and a facial image in which roll, yaw, and pitch rotations are generated in combination.

또한 도 2a, 2b, 2c 및 2d의 경우, 취득된 영상에서의 얼굴 크기에 따라 가변적으로 변하게 된다. 본 발명에서는 도 1의102 단계에서 검출된 얼굴 박스 영역의 수평 혹은 수직 크기, 또는 검출된 양 눈 사이의 거리를 바탕으로 코 영역 형상 특성의 크기를 적응적으로 변화하여 적용하게 된다.In the case of FIGS. 2A, 2B, 2C, and 2D, it varies variably depending on the face size in the acquired image. In the present invention, the size of the nose area shape characteristic is adaptively changed based on the horizontal or vertical size of the face box area detected in step 102 of FIG. 1, or the distance between the detected eyes.

도 3은 본 발명에 따른 코 영역 검출 방법의 집적 영상의 일 실시예를 나타내는 구성도이다.3 is a configuration diagram showing an embodiment of an integrated image of the nose region detection method according to the present invention.

도 3을 참조하면, 정사각형 또는 사각형의 형태의 관심 영역에 있어서, 관심 영역의 크기와는 상관 없이 동일한 시간에 관심 영역의 평균 값을 계산하는 집적 영상 기법의 실시예이다. 입력된 영상을 가로축 기준으로 한 개의 화소씩 이동하면서 화소 값을 더하여 저장하는데, 현재의 화소 값에 이전 화소에 누적된 화소 값을 더해 현재 화소 위치에 저장한다. 이렇게 가로축 기준으로 누적된 화소들을 다시 세로축 기준으로 화소들의 누적의 합을 저장함으로써 집적 영상을 생성한다. 상기에 의해 생성된 집적 영상을 통해 308 영역의 화소 평균값은 점 304와 점 301 화소 위치들의 화소 값 합과 점 302와 점 303 화소 위치들의 화소 값의 합의 차, 즉 점304+점301-(점302+점303)으로써 구할 수 있다.Referring to FIG. 3, an embodiment of an integrated image technique for calculating an average value of a ROI at a same time regardless of a size of a ROI in a ROI in the form of a square or a rectangle. The input image is shifted by one pixel on the horizontal axis, and the pixel values are added and stored. The pixel value accumulated in the previous pixel is added to the current pixel value and stored in the current pixel position. The integrated image is generated by storing the sum of the accumulation of the pixels on the vertical axis basis again on the pixels accumulated on the horizontal axis basis. The pixel average value of the area 308 through the integrated image generated by the above is calculated by the difference between the pixel value sum of the pixel 304 and 301 pixel positions and the sum of pixel values of the pixel 302 and 303 pixel positions, 302+ points 303).

도 1, 도 2 및 도 3을 참조하면, 도 1의 104 단계 또는 106 단계에 의해 의해 107 단계 107로 이동하게 되는데, 107 단계는 도 2의 두 개의 콧구멍 형상 특성 마스크들 및 도 3의 집적 영상 방법을 통해 코 영역을 검출한다. 107 단계를 통한 코 영역 검출에서는, 얼굴 영상 취득 시에 사용자의 얼굴 포즈가 발생하여 얼굴의 롤, 요 및 피치와 같은 회전이 발생하더라도, 취득된 얼굴 영상에 두 개의 콧구멍이 존재할 수 있다. 따라서 두 개의 콧구멍이 존재하며, 회전각의 따라 두 개의 콧구멍의 회전 정도가 반영된 도 2의 다양한 마스크 형태들 이용하는데, 이때 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따라 취득된 얼굴 영상의 콧구멍 사이즈가 다르기 때문에, 전술한 바와 같이 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리 등을 기반으로, 회전 정도가 반영된 도 2의 마스크 형태의 사이즈를 다양하게 하여 코 영역을 검출한다. Referring to FIGS. 1, 2 and 3, the process proceeds to step 107 by step 104 or step 106 of FIG. 1, wherein step 107 is performed by the two nostril shape characteristic masks of FIG. 2, The nose region is detected by the imaging method. In the nose region detection through step 107, even if a face pose of the user occurs at the time of acquiring the face image, and rotation such as roll, yaw and pitch of the face occurs, two nostrils may exist in the acquired face image. Thus, there are two nostrils, using various mask types of FIG. 2, which reflect the degree of rotation of the two nostrils along the angle of rotation, where the individual characteristics of each person and the distance Since the nostril size of the facial image is different, the nose region is detected by varying the size of the mask shape of FIG. 2 reflecting the degree of rotation based on the detected face box size or the distance between the eyes, as described above .

도 1의 107 단계에서 다양한 사이즈 및 회전 각이 반영된 마스크를 기반으로 103 단계의 코 탐색 영역을 탐색하여 최적의 사이즈 및 회전 각이 반영된 코 영역을 검출하게 되는데, 이때 사용되는 각각의 마스크를 대상으로 집적 영상을 통해 해당하는 마스크의 소구역(Sub-region)의 따른 화소의 평균 값을 얻게 된다. 각각의 코 영역 특징 마스크를 통해 두 개의 콧구멍의 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮으면 코 영역 특징 마스크 후보로 선정되고, 이때의 두 개의 콧구멍의 영역과 각각의 이웃하는 영역들에 화소의 평균 값에 대한 차의 값을 구한 후, 이들의 차를 모두 합하여 해당 코 영역 특징 마스크의 매칭 값으로 사용한다. 이렇게 각각의 코 탐색 영역의 위치에서 다양한 마스크의 크기 및 형태에서 측정된 매칭 값을 비교하여, 매칭 값이 가장 큰 것에 해당하는 코 탐색 영역 위치, 마스크 크기 및 형태를 통해 코 영역으로 결정하게 된다.In step 107 of FIG. 1, a nose area reflecting an optimal size and rotation angle is detected by searching for a nose search area in step 103 based on a mask reflecting various sizes and rotational angles. In this case, An average value of the pixels along the sub-region of the corresponding mask is obtained through the integrated image. If the average value of the pixels is lower than that of all the neighboring regions through the respective nose region feature masks, the nose region is selected as the nose region feature mask candidates. At this time, And then uses the sum of the differences as a matching value of the corresponding n-region feature mask. Thus, the matching values measured in the size and shape of various masks are compared at the positions of the respective nose searching regions, and the nose region is determined through the nose searching region position, mask size, and shape corresponding to the largest matching value.

본 발명은 최적의 코 영역을 결정하기 위해 코 영역 특징 마스크에서 두 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 때 코 영역 특징 마스크 후보로 선정하였으며, 또한 코 영역 특징 마스크의 매칭 값을 두 개의 콧구멍 영역과 각각의 이웃하는 영역들의 화소의 평균 값에 대한 차의 값들의 합으로 결정하였다. 하지만 이는 하나의 실시예로서 본 발명을 구체적으로 설명하기 위한 것일 뿐, 상술한 내용으로 한정하는 것은 아니다. 도 2에서 도시한 코 영역 마스크 이외의 다양한 회전각에 따라 다양한 코 영역 마스크 형태를 이용할 수 있다. 또한 다양한 얼굴 포즈 및 개인적인 코 특성에 따라 취득된 두 개의 콧구멍 영역의 크기가 서로 다를 수 있기 때문에, 사용할 코 영역 마스크의 형태에서 두 개의 콧구멍 크기가 동일한 사이즈로 한정하는 것이 아니다.In the present invention, in order to determine an optimal nose region, the nose region feature mask is selected as the nose region feature mask candidates when the average value of the pixels is lower than all neighboring regions in the nose region feature mask, Value was determined as the sum of the difference values of the average values of the pixels of the two nostril areas and the respective neighboring areas. However, it should be understood that the present invention is not limited to the above-described embodiments, Various types of nose area masks can be used in accordance with various rotation angles other than the nose area mask shown in Fig. Also, since the sizes of the two nostril regions acquired according to various facial pose and personal nose characteristics may be different, the two nostril sizes in the form of the nose region mask to be used are not limited to the same size.

도 1의 107단계가 완료되면, 코 영역 검출 유무를 판단하는 108 단계로 이동하게 된다. 107 단계에서 두 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역을 검출 할 수도 있지만, 사용자의 얼굴 포즈로 인해 취득된 얼굴에서 한 개의 콧구멍 혹은 콧구멍이 존재하지 않는 코 영역이 취득되어 코 영역을 검출하지 못할 수도 있다. 따라서 108 단계에서 두 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역 검출이 성공으로 판단된다면, 도 1의 111 단계로 이동하여 107 단계에서 검출된 코 영역을 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿으로 저장한다. 만약 108 단계에서 코 영역 검출이 실패로 판단되면, 109 단계로 이동하게 된다. 109 단계에서는 사용자의 얼굴 포즈로 인해 취득된 얼굴에서 한 개의 콧구멍이 존재하는 얼굴 영상의 경우는 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출 할 수 있다. When the step 107 of FIG. 1 is completed, the process goes to step 108 for determining whether or not the nose region is detected. In step 107, the nose region can be detected through the two nostril-shaped masks and the integrated image. However, a nose region in which no nose or nostril exists in the face acquired due to the face pose of the user is acquired, May not be detected. Accordingly, if it is determined that the nose region detection is successful through the two nostril-shaped masks and the integrated image in step 108, the process moves to step 111 in FIG. 1 and determines the nose region detected in step 107 as the final nose region, And stores it as a nose area template in order to detect the nose area in the image. If it is determined in step 108 that the nose region detection is unsuccessful, the process proceeds to step 109. In the step 109, in the case of a facial image having one nostril in the face acquired by the face pose of the user, the nose region can be detected through one nostril shape characteristic and an integrated imaging technique.

도 4는 본 발명에 따른 코 영역 검출 방법에서 한 개의 콧구멍만이 취득된 영상의 코 영역의 형상 특성을 나타내는 도면이다.4 is a view showing a shape characteristic of a nose region of an image obtained by capturing only one nostril in the nose region detecting method according to the present invention.

도 4를 참조하면, 얼굴 포즈나 방향에 의해 한 개의 콧구멍만이 취득된 얼굴 영상(410)에 따른 코 영역의 형상 특성(411)은 한 개의 콧구멍에 대한 형상 특성이 나타난다.Referring to FIG. 4, the shape characteristic 411 of the nose region according to the face image 410 obtained by only one nostril by the face pose or direction shows a shape characteristic for one nostril.

도 1 및 도 4를 참조하면, 도 1의 108 단계에 의해 109 단계로 이동할 때, 109 단계는 도 3의 집적 영상 방법 및 도 4의 한 개의 콧구멍 형상 특성 마스크를 통해 코 영역을 검출할 수 있다. 109 단계는 107 단계와 동일하게 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따라 취득된 얼굴 영상의 콧구멍 사이즈가 다르기 때문에, 도 4와 같은 형태를 갖는 한 개의 콧구멍 형상 특성 마스크의 사이즈를, 도 1의 102 단계에서 검출된 얼굴 박스 사이즈 혹은 양 눈 사이의 거리를 기반으로, 다양하게 적용하여 코 영역을 검출한다. Referring to FIGS. 1 and 4, when moving to step 109 by step 108 in FIG. 1, step 109 may detect a nose area through the integrated image method of FIG. 3 and the one nostril shape characteristic mask of FIG. have. In step 109, since the nostril size of the acquired facial image is different according to the personality of each person and the distance from which the camera and the face are acquired, as in step 107, the size of one nostril shape characteristic mask The size is detected based on the face box size or the distance between both eyes detected in step 102 of FIG.

도 4와 같은 다양한 사이즈의 코 영역 특징 마스크를 기반으로 도 1의 103 단계의 코 탐색 영역을 탐색하여 최적의 코 영역 사이즈 반영된 코 영역을 검출하게 되는데, 이때 사용되는 코 영역 특징 마스크를 대상으로 집적 영상을 통해 해당하는 마스크의 소구역에 따른 화소의 평균 값을 얻게 된다. 다양한 크기의 코 특징 마스크를 통해 한 개의 콧구멍의 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮으면 코 영역 특징 마스크의 사이즈 후보로 선정하고, 이때의 한 개의 콧구멍 영역과 각각의 이웃하는 영역들에 화소의 평균 값에 대한 차의 값을 구한 후, 이들의 차를 모두 합하여 해당 코 영역 특징 마스크의 매칭 값으로 사용한다. 이렇게 각각의 코 탐색 영역의 위치에서 코 영역 특징 마스크의 다양한 크기에서 따라 측정된 매칭 값을 비교하여, 매칭 값이 가장 큰 것에 해당하는 코 탐색 영역 위치 및 코 영역 특징 마스크 크기를 통해 코 영역으로 결정하게 된다. The nose region feature mask of various sizes as shown in FIG. 4 is searched for the nose search region of step 103 of FIG. 1 to detect the nose region that reflects the optimum nose region size. In this case, The average value of the pixels according to the sub-area of the corresponding mask is obtained through the image. If the average value of the pixels is lower than that of all neighboring regions of the nose region through the nose mask of various sizes, the nose region is selected as the size candidate of the nose region feature mask. In this case, The differences between the average values of the pixels are obtained in the regions, and then the differences are summed and used as the matching value of the corresponding nose region feature mask. Thus, the matching values measured at various sizes of the nose region feature mask at the positions of the respective nose search regions are compared to determine the nose region through the nose search region position and the nose region feature mask size corresponding to the largest matching value .

최적의 코 탐색 영역 위치 및 코 영역 특징 마스크 크기를 결정하기 위해 코 영역 특징 마스크에서 한 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 때 코 영역 특징 마스크의 사이즈 후보로 선정하였는데, 이는 구체적인 설명을 위한 실시예일뿐, 특별히 마스크에서 한 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 경우로 범위를 한정하는 것은 아니다. In order to determine the optimal nose search region position and nose region feature mask size, one nostril region in the nose region feature mask was selected as the size candidate of the nose region feature mask when the average value of pixels is lower than all neighboring regions. This is only an example for a specific explanation, and the scope is not limited to a case in which one nostril region in the mask has a lower average value of pixels than all neighboring regions.

도 1의 109단계가 완료되면, 코 영역 검출 유무를 판단하는 110 단계를 수행한다. 109 단계에서 한 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역을 검출 할 수도 있지만, 사용자의 얼굴 포즈로 인해 콧구멍이 존재하지 않는 코 영역이 취득되어 코 영역을 검출하지 못할 수도 있다. 따라서 110 단계에서 한 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역 검출이 성공으로 판단된다면, 도 1의 111 단계로 이동하여 109 단계에서 검출된 코 영역을 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿으로 저장한다. 만약 110 단계에서 코 영역 검출이 실패로 판단되면, 101 단계로 이동하게 되는데, 다음 프레임의 얼굴 영상을 대상으로 코 영역에 대한 검출을 시도하게 된다. 110 단계에서 코 영역 실패로 인해 101 단계로 이동했을 경우, 코 영역 템플릿이 존재하지 않기 때문에, 104 단계에서 107 단계로 이동하게 되어 105 단계 및 106 단계를 수행하지 못한다. 111 단계를 통해 101 단계로 이동하는 경우, 코 영역 템플릿이 존재하기 때문에 104 단계에서 105 단계로 이동하여 적응 템플릿 대응을 수행하게 된다.When step 109 of FIG. 1 is completed, step 110 is performed to determine whether or not a nose region is detected. Although it is possible to detect the nose region through the one nostril-shaped mask and the integrated image in Step 109, a nose region in which the nostril is not present due to the face pose of the user may be acquired and the nose region may not be detected. Accordingly, if it is determined in step 110 that the nose region mask and the integrated image are successfully detected, the process moves to step 111 in FIG. 1 to determine the nose region detected in step 109 as the final nose region, And stores it as a nose area template in order to detect the nose area in the image. If it is determined in step 110 that the nose region detection is unsuccessful, the process proceeds to step 101. In step 101, the nose region is detected on the face image of the next frame. If the nose region is moved to step 101 due to the failure of the nose region in step 110, the nose region template does not exist. Therefore, the flow proceeds from step 104 to step 107, and steps 105 and 106 are not performed. In the case of moving to step 101 through step 111, since the nose region template exists, the flow advances from step 104 to step 105 to perform adaptive template correspondence.

도 5는 본 발명에 따른 코 영역 검출 방법을 통해 검출된 코 영역의 실시예를 나타내는 도면이다.5 is a view showing an embodiment of a nose region detected by the nose region detection method according to the present invention.

도 5를 참조하면, 510은 밝은 환경에서 좌측으로 회전한 얼굴 영상에서 검출된 코 영역을 나타내고, 520는 밝은 환경에서 정면 얼굴 영상에서 검출된 코 영역을 나타낸다. 530는 밝은 환경에서 우측으로 회전한 얼굴 영상에서 검출된 코 영역을 나타내고, 540는 어두운 환경에서 정면 얼굴 영상에서 검출된 코 영역을 나타낸다. 522영역은 밝은 환경에서 정면 얼굴 영상에서 검출된 콧구멍 영역을 나타내며, 521영역은 검출된 최종의 코 영역을 나타낸다.
Referring to FIG. 5, reference numeral 510 denotes a nose region detected from a face image rotated to the left in a bright environment, and reference numeral 520 denotes a nose region detected from a front face image in a bright environment. 530 denotes a nose region detected from a face image rotated to the right in a bright environment, and 540 denotes a nose region detected from a front face image in a dark environment. Area 522 represents the nostril region detected in the frontal facial image in a bright environment, and region 521 represents the detected final nose region.

이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It is possible.

210: 0° 회전된 얼굴 형상
211: 0° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
220: 45° 회전된 얼굴 형상
221: 45° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
230: -45° 회전된 얼굴 형상
231: -45° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
240: -90° 회전된 얼굴 형상
241: -90° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
410: 한 개의 콧구멍만이 취득된 얼굴 영상
411: 한 개의 콧구멍만이 취득된 얼굴 영상에 따른 코 영역의 형상 특성210: 0 ° rotated face shape
211: Shape characteristic of nose region according to 0 ° rotated face shape
220: 45 ° rotated face shape
221: Shape characteristic of nose region with 45 ° rotated face shape
230: -45 ° rotated face shape
231: Shape Characteristic of Nose Region According to -45 ° Rotated Face Shape
240: -90 ° rotated face shape
241: Shape Characteristic of Nose Region with -90 ° Rotated Face Shape
410: Facial image acquired with only one nostril
411: Shape characteristic of nose region according to facial image acquired with only one nostril

Claims (4)

취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점을 검출하는 단계;
상기 검출된 얼굴 영역 및 얼굴 특징점을 기반으로 코 탐색 영역을 설정하는 단계;
이전 프레임에서의 코 영역 템플릿 존재 유무를 판단하는 단계;
상기 판단 결과 이전 프레임에 코 영역 템플릿이 존재하는 경우, 상기 설정된 코 탐색 영역과 이전 프레임 영역의 코 영역 템플릿을 이용하여 적응 템플릿 대응(Adaptive Template Matching)을 수행하는 단계; 및
상기 적응 템플릿 대응의 매칭값이 기 설정된 임계값을 초과하는 경우 검출된 적응 템플릿 대응에서 결정된 최대 매칭값에 따른 위치를 최종 코 영역으로 검출하는 단계;
를 포함하는 코 영역 검출 방법.Detecting face feature points in the face region and the face region from the acquired face image;
Setting a nose search region based on the detected face region and the facial feature point;
Determining whether a nose region template exists in a previous frame;
Performing Adaptive Template Matching using the nose region template of the set nose search region and the previous frame region when the nose region template exists in the previous frame as a result of the determination; And
Detecting, as a final nose region, a position according to a maximum matching value determined in correspondence with the detected adaptive template when the matching value corresponding to the adaptive template exceeds a predetermined threshold value;
/ RTI > 제1항에 있어서,
상기 코 영역을 검출하는 단계는,
상기 검출된 코 탐색 영역에서 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출하는 것을 특징으로 하는 코 영역 검출 방법.The method according to claim 1,
Wherein detecting the nose region comprises:
Wherein the nose region is detected through the two nostril shape features and the integrated image technique in the detected nose region. 제1항에 있어서,
상기 코 영역을 검출하는 단계는,
상기 검출된 코 탐색 영역에서 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출하는 것을 특징으로 하는 코 영역 검출 방법.The method according to claim 1,
Wherein detecting the nose region comprises:
Wherein the nose region is detected through one nostril shape characteristic and an integrated image technique in the detected nose search region. 삭제delete
KR1020120146363A 2012-12-14 2012-12-14 Method for nose region detection KR101788070B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120146363A KR101788070B1 (en) 2012-12-14 2012-12-14 Method for nose region detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146363A KR101788070B1 (en) 2012-12-14 2012-12-14 Method for nose region detection

Publications (2)

Publication Number Publication Date
KR20140089448A KR20140089448A (en) 2014-07-15
KR101788070B1 true KR101788070B1 (en) 2017-10-20

Family

ID=51737550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146363A KR101788070B1 (en) 2012-12-14 2012-12-14 Method for nose region detection

Country Status (1)

Country Link
KR (1) KR101788070B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329665B (en) * 2020-11-10 2022-05-17 上海大学 Face snapshot system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006090449A1 (en) * 2005-02-23 2006-08-31 Fujitsu Limited Image processing method, image processing device, image processing system, and computer program
JP2007334810A (en) * 2006-06-19 2007-12-27 Toshiba Corp Image area tracking device and method therefor
JP2008209969A (en) * 2007-02-23 2008-09-11 Aisin Seiki Co Ltd Apparatus for detecting face feature point, method of detecting face feature point, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006090449A1 (en) * 2005-02-23 2006-08-31 Fujitsu Limited Image processing method, image processing device, image processing system, and computer program
JP2007334810A (en) * 2006-06-19 2007-12-27 Toshiba Corp Image area tracking device and method therefor
JP2008209969A (en) * 2007-02-23 2008-09-11 Aisin Seiki Co Ltd Apparatus for detecting face feature point, method of detecting face feature point, and program

Also Published As

Publication number Publication date
KR20140089448A (en) 2014-07-15

Similar Documents

Publication Publication Date Title
US10600207B2 (en) Posture state estimation apparatus and posture state estimation method
Gourier et al. Estimating face orientation from robust detection of salient facial structures
WO2017133605A1 (en) Method and device for facial tracking and smart terminal
Jain et al. Real-time upper-body human pose estimation using a depth camera
US9480417B2 (en) Posture estimation device, posture estimation system, and posture estimation method
JP5873442B2 (en) Object detection apparatus and object detection method
US8891819B2 (en) Line-of-sight detection apparatus and method thereof
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
WO2020125499A1 (en) Operation prompting method and glasses
EP2704056A2 (en) Image processing apparatus, image processing method
CN110073363B (en) Tracking the head of an object
Nguyen et al. Tracking aspects of the foreground against the background
Li et al. Robust multiperson detection and tracking for mobile service and social robots
CN112101208A (en) Feature series fusion gesture recognition method and device for elderly people
WO2010042068A1 (en) Method and system for object detection and tracking
Vezhnevets Face and facial feature tracking for natural human-computer interface
KR101542206B1 (en) Method and system for tracking with extraction object using coarse to fine techniques
Jean et al. Body tracking in human walk from monocular video sequences
KR101788070B1 (en) Method for nose region detection
Park et al. Head segmentation and head orientation in 3d space for pose estimation of multiple people
Li et al. Hand shape recognition and estimation for South African sign language
Wang et al. Adaptive visual tracking based on discriminative feature selection for mobile robot
KR102389066B1 (en) Face Image Generating Method for Recognizing Face
Pham-Ngoc et al. Multi-face detection system in video sequence
Chen et al. A robust facial feature tracking system

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right