WO2013125876A1 - 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2013125876A1
WO2013125876A1 PCT/KR2013/001384 KR2013001384W WO2013125876A1 WO 2013125876 A1 WO2013125876 A1 WO 2013125876A1 KR 2013001384 W KR2013001384 W KR 2013001384W WO 2013125876 A1 WO2013125876 A1 WO 2013125876A1
Authority
WO
WIPO (PCT)
Prior art keywords
face region
face
feature point
image
region
Prior art date
Application number
PCT/KR2013/001384
Other languages
English (en)
French (fr)
Inventor
유우주
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Priority to CN201380011692.3A priority Critical patent/CN104145296A/zh
Priority to US14/129,709 priority patent/US9299161B2/en
Publication of WO2013125876A1 publication Critical patent/WO2013125876A1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a head tracking method, an apparatus, and a computer readable recording medium.
  • the present invention relates to a head tracking method, an apparatus, and a computer-readable recording medium.
  • Head tracking method, apparatus and computer characterized by estimating the head position using an Active Appearance Model (AAM) algorithm when within a predetermined angle and using dynamic template technology when out of a predetermined angle.
  • a readable recording medium A readable recording medium.
  • Face detection technology is one of many fields that are being studied in mobile robots, surveillance systems, human-robot interaction, and command input using head tracking. Although it is difficult to detect a face in real time using current vision technology, research on this is being actively conducted with the development of image processing technique due to the development of computer performance.
  • the ACM is also called a Snake model because the searched shape is similar to the shape of a snake moving.
  • This model is a deformable model that can track the contours of objects.
  • the algorithm is non-learning and can find each point relatively quickly using Euler's equations, but the convergence by the Image and Constraints terms makes it difficult to ascertain the results. There is a problem that it is difficult to trace the contour at the) part.
  • the ASM is a method proposed by Cootes et al. Have a similar personality.
  • the shape model is all geometric information in which the position, size and rotation effects of an object are removed. Using this shape model, ASM learns the information of the object's appearance and uses the information to modify the average shape of the object to find the object within a new image.
  • the AAM is an improvement of the ASM method, and is a method of searching for an object in an image by using an appearance including object shape information and texture information of an existing ASM. In this method, the shape and position of an object can be found more accurately by searching for the part having the most similar texture based on the learned texture information while maintaining the shape of the object using the shape information and the texture information of the object.
  • the AAM method performs a task for completing an appearance based on texture and information.
  • shape information is collected through feature point extraction and an initial shape model is created based on this.
  • the AAM can be classified into a combined AAM and an independent AAM.
  • the combined AAM algorithm is a learning type, and is a method of fitting a shape and an appearance by fitting one parameter in a comparative manner. There is a problem that the fitting speed is slow.
  • Independent AAM algorithm is learning type, and because shape and appearance are independent, vector length is infinitely long, and it is superior to bound AAM in detection rate in comparison analysis.
  • Such AAM is described in Iain Matthews and Simon Baker, Active Appearance Models Revisited, International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135-164.
  • the AAM has a problem in that it cannot track in real time the face region (ie, the movement of the head) that moves quickly from side to side because of a slow operation speed.
  • the face region tracking technique using the dynamic template searches for the movement of the face region (ie, the movement of the head) by comparing the difference with the current image by using the image input immediately before among the continuously input images as a template. .
  • a dynamic template as is, if one is suitable for tracking the face area to quickly move from side to side due to update the image to use as a template in real-time real-time tracking results once wrong "that recovery is impossible, and enter Since the face area is tracked by using the image as a template, an error accumulates in each image which is continuously input.
  • the user since the user must manually set the initial template when face region tracking, there is a problem in that the initialization is automatically limited.
  • the object of the present invention is to solve all the above-mentioned problems.
  • the present invention improves the computational speed in tracking the face area by complementing the problems of the active appearance model algorithm method and the method using the dynamic template to efficiently cope with the case where the face area moves quickly, and continues tracking.
  • Another object of the present invention is to provide a head tracking method, an apparatus, and a computer-readable recording medium in which errors do not accumulate and a phenomenon in which accuracy is lowered does not occur.
  • step (b) includes (b-1) the rotation angle of the face area being frontalized. Searching for a change in the position of the feature point in the face region through comparison with the previously learned template, when the angle is within a predetermined angle range from (b-2), and when the rotation angle of the face region is outside the predetermined angle range from the front, A method is provided that includes searching for a change in a position of a feature point in a face region by comparison with an input face region image frame.
  • an apparatus for performing head tracking comprising: an image input unit for receiving an image including a face region, and a face region tracking unit for tracking movement of the face region, wherein the face region
  • the tracking unit when the rotation angle of the face region is within a predetermined angle range from the front side, searches for a change in the position of the feature point in the face region through comparison with the previously learned template, and when the rotation angle of the face region is outside the predetermined angle range from the front surface.
  • an apparatus for searching for a change in the position of a feature point in the face region through comparison with a previously input face region image frame is provided.
  • the present invention improves the computational speed in tracking the face area by complementing the problems of the active appearance model algorithm and the method using the dynamic template, so that the face area can be tracked in real time even when the face area moves quickly from side to side. Also, even if tracking is continuously performed, the error does not accumulate significantly, so that the phenomenon of inaccuracy does not occur.
  • FIG. 1 is a block diagram showing a head tracking apparatus according to a preferred embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an initialization screen of a head tracking device according to an exemplary embodiment of the present invention.
  • FIG 3 is a view showing a tracking screen of the head tracking device according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a head tracking method according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram showing a head tracking device according to a preferred embodiment of the present invention.
  • the head tracking device is a digital device, and includes a memory means such as a personal computer (for example, a tablet computer, a notebook computer, etc.), a PDA, a web pad, a firearm, and the like to operate a microprocessor. Any portable digital device equipped can be adopted as the de-tracking device in the present invention. A detailed internal configuration of the head tracking device will be described later.
  • the head tracking apparatus of the present invention includes an image input unit 100, a face region detection unit 200, a face region tracking unit 300, and a controller 400.
  • the image input unit 100, the face region detector 200, the face region tracking unit 300, and the controller 400 may be program modules.
  • Such program modules may be included in the head tracking device in the form of an operating system, a grand program module, and other program modules, and may be physically stored on various known storage devices.
  • the present invention encompasses, but is not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, which will be described later.
  • the image input unit 100 performs a function of receiving a 2D image including a face region from an imaging device.
  • the 2D image may be a continuous image such as a video.
  • the initial input image may include a face region facing the front, and the face region facing the front may be used to initialize the head tracking device.
  • the face area detection unit 200 performs a function of detecting and initializing the face area from the image input through the image input unit 100.
  • the process of detecting and initializing the face region may include FE Face Detection (ED), ED (Eye Detection), and MD (Mouse) from an input 2D image.
  • the method includes detecting a feature point in the face region using a detection technique and estimating an initial 3D position of the face region from the face region on the 2D image.
  • the FD technique various techniques known in the art may be used.
  • the FD technique may be performed by using feature patterns selected and learned by an Adboost learning algorithm.
  • Applicant of the present invention discloses an application No. 10-2011-0114160, titled 'Face detection method, apparatus, and computer readable recording medium for executing the method' for a method and apparatus for detecting a face in an image. Through the already filed, the invention is incorporated into the present invention.
  • the feature point in the face region may include at least the center of both eyes and both end points of the mouth, and the face region detector 200 detects the feature point in the face region from the input image, and the relative positions of the feature points.
  • the initial 3D position of the face area is estimated based on the.
  • the angle rotated about the X axis Yawing
  • the angle rotated about the Z axis Rolling
  • the parallel movement about the X axis A total of six 3D position parameters must be obtained, including one distance, the distance translated about the Y axis, and the distance translated about the Z axis.
  • the face region detector 200 may perform initialization by detecting the relative positions of the feature points using the six parameters and estimating the initial 3D position of the face region based on the six parameters.
  • the process of estimating the initial 3D position of the face region includes estimating the width and height of the face using the distance between both eyes, and estimating the roll angle by using the angle between the line connecting the two eyes and the horizontal line. We will calculate the rotation angle of.
  • FIG. 2 is a diagram illustrating an initialization screen of a head tracking device according to an exemplary embodiment of the present invention.
  • a face area which is located within the range of ⁇ 22.5 ° from a front face region can be modeled as 3D spheroid model.
  • Six parameters of a feature point of the face region are acquired on the 3D ellipsoid model to estimate a 3D position of the feature point.
  • the process of searching for the change of the position of the feature point in the face region may be performed at least once by comparing with the template previously learned in the face region tracking unit 300.
  • the process of searching for the change of the position of the feature point in the face region by comparing with the previously learned template may be implemented using an Active Appearance Model (AAM) algorithm.
  • AAM Active Appearance Model
  • the initializing process performs the tracking using the active appearance model algorithm. Can avoid the inconvenience of manually setting the template.
  • the face region tracking unit 300 detects the position of the face region (that is, the movement of the head) by tracking when the face region moves (that is, the head moves) in the continuously input image. Perform the function.
  • the face area tracking unit 300 undergoes a process of searching for a change in the position of a feature point in the face area through comparison with a previously learned template when the rotation angle of the face area is within a predetermined angle range from the front face.
  • the position of the facial region is detected through a process of searching for a change in the position of the feature point in the facial region by comparing with a previously input face region image frame.
  • the process of searching for a change in the position of the feature point in the face region may be performed by acquiring six parameters of the feature point.
  • the six parameters are rotated about the X axis, pitching about the Y axis, rotating about the Z axis, parallel distance about the X axis, and the Y axis.
  • the distance moved in parallel to may include a distance moved in parallel to the Z axis.
  • the angle of rotation, yaw, pitch, and roll from the front of the face area may be set within the range ⁇ 5 0 each. If the rotation angle of the face area is within 5 ° of yaw, pitch, and roll, the feature points in the face area are compared with the face area included in the input image and the previously learned template. You will explore the change of position of. To this end, an Active Appearance Model (AAM) algorithm can be used.
  • AAM Active Appearance Model
  • the active appearance model algorithm divides the face area into shapes and textures, and basically constructs an average face using face learning data and sets the face area in the image coming from the outside.
  • the parameters of the shape and texture of the average face change until they converge.
  • the active appearance model algorithm undergoes an image preprocessing process including converting an image all gray value provided from the image input unit 100 and converting an integer value forming the image into a floating value for face recognition later. Detect a facial region, extract facial feature elements including facial feature points and brightness values by dividing the shape and texture of the facial region, and store the statistical face based on the extracted facial feature elements After converting a model (template) to model a composite face image that matches the image forming the face region, the image provided from the image input unit 100 through the rendering process to combine the mapping source to the composite face image thus formed It automatically converts to 3D face image.
  • the active appearance model algorithm has the advantage of being able to flexibly express various deformations of an object, and is applied to various fields such as face tracking, facial feature point extraction, and facial expression recognition.
  • the active appearance model algorithm tracks the position of the face region using a pre-learned model as a template for each input image, a large amount of calculation has a problem of decreasing speed. Therefore, when the face region moves or moves (eg rotates) at a high speed, it may be difficult to track it in real time. Therefore, it is not efficient to track the position of the face region using only the active appearance model algorithm.
  • the face area may be compared with a previously input face area image frame.
  • the position of the facial region is detected by searching for the change of the position of the feature point.
  • dynamic template technology may be used.
  • the dynamic template technology is a technique of searching for movement of a face region by comparing a difference with a current image by using an image input immediately before among images continuously input as a template.
  • the face region tracking technology using the dynamic template is suitable for tracking the face region moving rapidly from side to side (or face region rotating at a large angle) in real time because the image used as a template updates in real time.
  • any one of yaw, pitch, and roll angle of the face region is outside ⁇ 5 °, it can be estimated that the face region moves rapidly and widely.
  • a relatively small amount of calculation can be used to compensate for the shortcomings of the active appearance model by using a fast dynamic template technology.
  • the movement of the face area is tracked when any one of yaw, pitch, and roll angles of the face area moves within a range of ⁇ 5 ° from a range other than 5 °. Since the active appearance model algorithm is used in the dynamic template technology, the accumulated error using the dynamic template is eliminated by using the active appearance model algorithm, and as a result, more accurate tracking can be realized.
  • FIG 3 is a view showing a tracking screen of the head tracking device according to an embodiment of the present invention.
  • the face region is tracked using the active appearance model algorithm within the range of ⁇ 5 ° from the front side, and dynamic when the face region is out of the range of ⁇ 5 °.
  • Template technology To perform tracking. When the tracking is performed, the 3D ellipsoid model is rotated to match the face region as the face region is rotated, and 6D parameters of the feature points of the face region are obtained on the 3D ellipsoid model to estimate the 3D position of the feature point. . Finally, the controller 400 performs a function of controlling the flow of data between the image input unit 100, the face region detector 200, and the face region tracker 300.
  • the controller 400 controls the flow of data between the components, thereby controlling the image input unit 100, the face region detector 200, and the face region tracker 300 to perform unique functions.
  • 4 is a flowchart illustrating a head tracking method according to an exemplary embodiment of the present invention.
  • a 2D image including a face region is received through the image input unit 100 (S100).
  • the head tracking device determines whether the head tracking device operates in the initialization mode (S110). If the head tracking device operates in the initialization mode, the FD, ED, and MD techniques detect feature points in the face area (S120), and estimate the initial 3D position of the face area from the face area on the 2D image ( S130).
  • the position change of the feature point in the face region is searched through comparison with the previously learned template (S140).
  • the process of searching for the change of the position of the feature point in the face region by comparing with the previously learned template may be implemented using an Active Appearance Model (AAM) algorithm.
  • AAM Active Appearance Model
  • the head tracking device when the head tracking device does not operate in the initialization mode in step S110 it is determined whether the rotation angle of the face area is within a predetermined angle range from the front (S150).
  • the rotation angle is the angle of yaw (yaw), pitch (pitch), a (roll) it is determined, based on whether each ⁇ 5 0 range.
  • the process proceeds to step S140 to search for a change in the position of the feature point in the face area by comparing with the previously learned template.
  • the rotation angle of the face area if the rotation angle of the face area is outside the predetermined angle range from the front, the position change of the feature point in the face area is searched through comparison with the previously input face area image frame (S160).
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks.
  • Examples of instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform a process according to the invention, and vice versa.
  • the present invention can be used for a head tracking device and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 헤드 트래킹을 수행하는 방법에 있어서, (a) 얼굴 영역이 포함된 이미지를 입력받는 단계, 및 (b) 상기 얼굴 영역의 이동을 트래킹하는 단계를 포함하되, 상기 (b) 단계는, (b-1) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계, 및 (b-2) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계를 포함하는 방법을 제공한다.

Description

헤드 트래킹 방법， 장치 및 컴퓨터 판독 가능한 기톡 매체
【기술분야】
본 발명은 헤드 트래킹 방법， 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로 보다 상세히， 2D 이미지로부터 얼굴 영역을 검출한 뒤 상기 얼굴 영역을 3D로 추정하여 트래킹을 수행함에 있어, 얼굴 영역의 각도가 정면에서 소정 각도 이내일 경우 능동 외관 모델 (Active Appearance Model; AAM) 알고리즘을 사용하고 소정 각도를 벗어나는 경우 동적 템플릿 (dynamic template) 기술을 이용하여 헤드 위치를 추정하는 것올 특징으로 하는 헤드 트래킹 방법， 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
【배경기술】
얼굴을 검출하는 기술은 이동로봇, 감시 시스템 인간과 로봇 사이의 상호작용, 헤드 트래킹을 이용한 명령 입력 등 많은 웅용시스템에서 연구되고 있는 분야 중 하나이다. 현재의 비전 기술을 이용하여 실시간으로 얼굴을 검출하는 일은 어려운 일임에도 불구하고， 컴퓨터 성능의 발달로 인하여 영상처리 기법의 발전과 더불어 이에 관한 연구가 활발히 진행되고 있다.
특히， Bruce D. Lucas and Takeo Kanade, An Iterative Image
Registration Technique with an Application to Stereo Vision, Proceedings of the 7th International Joint Conference on Artificial Intelligence (IJCAI '81)， April, 1981, pp. 674-679.에 개시된 바와 같이 입력된 이미지로부터 템플릿 이미지의 위치를 찾는 알고리즘이 개발되면서 2D 이미지로부터 얼굴이 돌아가는 각도를 트래킹하는 알고리즘이 다양하게 발전하고 있다. 한편, 위와 같은 알고리즘에는 ACM(Active Contour Model), ASM(Active Shape Model), AAMCActive Appearance Model) 등의 방법이 사용되고 있다.
상기 ACM은 검색되는 형태가 뱀이 움직이는 모양과 유사하여 일명 Snake 모델이라고도 불린다. 이 모델은 물체의 윤곽선을 추적할 수 있는 변형적 (deformable) 모델이다. 이 알고리즘은 비학습형이며, 오일러 식을 이용하여 비교적 빠르게 각 점들을 찾아낼 수 있지만 이미지 (Image) 항과 컨스트레인트 (Constraint) 항에 의한 수렴으로는 결과를 확신하기 힘들고， 오목한 모양 (Concavity) 부분에서 윤곽선의 추적이 어려운 문제점이 있다. 상기 ASM은 Cootes 등에 의해 제안된 방법으로 상기 ACM 모델과 유사한 성격을 지닌다. 형상 모델 (Shape Model)이란 어떤 물체의 위치， 크기, 회전 효과가 제거된 형태의 모든 기하학적인 정보를 말한다. 이러한 형상 모델을 이용하는 ASM은 물체 외형의 정보를 학습시키고 이 정보를 바탕으로 물체의 평균 형태에 변형을 가하여 새로운 이미지 내에서 물체를 찾는 방법이다. 이 방법은 학습된 지식을 기반으로 하기 때문에 물체의 형태를 유지하면서 검색을 수행하게 된다. 이 방법은 연산속도는 빠르지만， 새로운 이미지 내에서 물체를 찾을 때에 물체의 외형이 되는 부분을 정확하게 찾아야 하기 때문에 상기 ACM과 마찬가지로 윤곽선이 명확하지 않은 이미지의 경우 물체의 정확한 형태를 찾기가 어렵다는 문제점이 있다. 상기 AAM은 상기 ASM 방식을 개선한 것으로， 기존 ASM의 물체 형태 정보와 물체의 텍스쳐 정보가 포함되는 외관 (Appearance)을 이용하여 이미지 내의 물체를 찾는 방법이다. 이 방법은 물체의 형태 정보와 텍스쳐 정보를 이용하여 물체의 형태를 유지하면서 학습된 텍스쳐 정보를 기반으로 가장 유사한 텍스쳐를 가지는 부분을 검색하여 보다 정확하게 물체의 형태 및 위치를 찾을 수 있도록 한다.
보다 상세히, 상기 AAM 방식은 텍스쳐 · 정보를 기반으로 외관 (Appearance)을 완성하기 위한 작업을 수행한다. 동시에 특징점 추출을 통하여 형태 정보를 수집하고 이를 기초로 초기 형상 모델 (Shape Model)을 생성한다. 상기 초기 형상 모델 및 상기 외관을 이용하여 AAM 모델을 , 조합할 수 있게 된다.
상기 AAM은 컴바인드 (Combined) AAM과 인디펜던트 (Independent) AAM으로 구분될 수 있는데， 컴바인드 AAM 알고리즘은 학습형이고ᅳ 형상 (Shape)과 외관 (Appearance)을 하나의 파라미터화하여 피팅하는 방식으로 비교적 피팅 속도가 느리다는 문제점이 있다. 인디펜던트 AAM 알고리즘은 학습형이며, 형상 (Shape)과 외관 (Appearance)이 독립적이기 때문에 백터 (Vector)의 길이가 무한대로 길어져， 비교 분석 시 검출율에서 컴바인드 AAM보다 우위를 보인다.
이와 같은 AAM은 Iain Matthews and Simon Baker, Active Appearance Models Revisited, International Journal of Computer Vision, Vol. 60， No. 2， November, 2004, pp. 135 - 164에 상세히 기술되어 있다. 앞서 설명한 바와 같이 상기 AAM은 연산 속도가 느리기 때문에 빠르게 좌우로 움직이며 이동하는 얼굴 영역 (즉, 머리의 움직임)을 실시간으로 추적할 수 없다는 문제점이 있다.
이와 같은 문제점을 해결하기 위하여 Wooju Ryu and Daijin Kim, Real-Time 3D Head Tracking Under Rapidly Changing Pose, Head Movement and Illumination, Lecture Notes in Computer Science, 2007, Volume 4633/2007， pp. 569-580에 개시된 바와 같이 동적 템플릿 (Template)을 이용한 얼굴 영역 트래킹 기술이 개발되었다.
상기 동적 템폴릿을 이용한 얼굴 영역 트래킹 기술은 연속적으로 입력되는 이미지 중 직전에 입력된 이미지를 템플릿으로 사용하여 현재 이미지와의 차이를 비교함으로써 얼굴 영역의 이동 (즉, 머리의 움직임)을 탐색하게 된다. 이와 같은 동적 템플릿을 이용한 얼굴 영역 트래킹 기술은 템플릿으로 사용하는 이미지를 실시간으로 업데이트하기 때문에 빠르게 좌우로 이동하는 얼굴 영역을 실시간으로 추적하는데 적합하나 트래킹 결과가 한번 잘못되면' 복구가 불가능하고， 입력되는 이미지를 템플릿으로 이용하여 얼굴 영역을 트래킹하므로 연속적으로 입력되는 각 이미지마다 에러가 누적되어 정확도가 떨어진다는 문제점이 있다. 또한， 얼굴 영역 트래킹 시 최초 템플릿을 사용자가 수동으로 설정해 주어야 하기 때문에 자동으로 초기화하는데 제약이 따르는 문제점이 있다..
【발명의 개시】
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다. 또한， 본 발명은 능동 외관 모델 알고리즘 방식과 동적 템플릿을 사용하는 방식이 가진 문제점을 보완하여 얼굴 영역을 트래킹함에 있어서 연산 속도를 향상시켜 얼굴 영역이 빠르게 움직이는 경우에 효율적으로 대응할 수 있으며, 트래킹을 계속적으로 수행하더라도 에러가 누적되어 정확도가 떨어지는 현상이 발생하지 않도록 하는 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다. 본 발명의 일 태양에 따르면, 헤드 트래킹을 수행하는 방법에 있어서，
(a) 얼굴 영역이 포함된 이미지를 입력받는 단계， 및 (b) 상기 얼굴 영역의 이동을 트래킹하는 단계를 포함하되， 상기 (b) 단계는， (b-1) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계， 및 (b-2) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면， 헤드 트래킹을 수행하는 장치에 있어서, 얼굴 영역이 포함된 이미지를 입력받는 영상 입력부， 및 상기 얼굴 영역의 이동을 트래킹하는 얼굴 영역 트래킹부를 포함하되， 상기 얼굴 영역 트래킹부는， 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하고， 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우， 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 장치가 제공된다.
본 발명은 능동 외관 모델 알고리즘 방식과 동적 템플릿을 사용하는 방식이 가진 문제점을 보완하여 얼굴 영역을 트래킹함에 있어서 연산 속도를 향상시켜 얼굴 영역이 빠르게 좌우로 움직이는 경우에도 얼굴 영역을 실시간으로 추적할 수 있으며， 트래킹을 계속적으로 수행하더라도 에러가 크게 누적되지 않으므로 정확도가 떨어지는 현상이 발생하지 않도록 하는 효과가 있다.
또한， 얼굴 영역 트래킹 시작 시 최초 템플릿을 사용자가 수동으로 설정할 필요 없이 자동으로 초기화되는 효과가 있다. 【도면의 간단한 설명】
도 1 은 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 ·장치를 도시한 블럭도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치의 초기화 화면을 나타낸 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치의 트래킹 화면을 나타낸 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 방법을 설명하는 플로우 차트이다. 【발명의 최선의 실시예】
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 층분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어， 여기에 기재되어 있는 특정 형상， 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한， 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서， 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며， 본 발명의 범위는， 적절하게
탑따이
른동재
설명하된다면， 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 H헤전청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여 , 본 발명의 바람직한 실시예 들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 장치의 구성
도 1 은 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치를 도시한 블럭도이다.
본 발명의 일 실시예에 따른 헤드 트래킹 장치는 디지털 기기로서， 개인용 컴퓨터 (예를 들어， 타블렛 컴퓨터, 노트북 컴퓨터 등), PDA, 웹 패드， 화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 연산 능력을 갖춘 휴대용 디지털 기기라면 얼마든지 본 발명에 드 트래킹 장치로서 채택될 수 있다. 상기 헤드 트래킹 장치의 자세한 내부 구성에 대해서는 후술하기로 한다.
도 1을 참조하면, 본 발명의 헤드 트래킹 장치는 영상 입력부 (100)， 얼굴 영역 검출부 (200), 얼굴 영역 트래킹부 (300)， 및 제어부 (400)를 포함한다. 본 발명의 일 실시예에 따르면， 영상 입력부 (100)， 얼굴 영역 검출부 (200)， 얼굴 영역 트래킹부 (300)， 및 제어부 (400)는 그 중 적어도 일부가 프로그램 모들들일 수 있다. 이러한 프로그램 모들들은 운영 시스템， 웅용 프로그램 모듈 및 기타 프로그램 모들의 형태로 헤드 트래킹 장치에 포함될 수 있으며， 물리적으로는 여러 가지 공지의 기억 장치상에 저장될 수 있다ᅳ 한편， 이러한 프로그램 모들들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴， 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만， 이에 제한되지는 않는다. 먼저， 상기 영상 입력부 (100)는 촬상 소자로부터 얼굴 영역이 포함된 2D 이미지를 입력받는 기능을 수행한다. 상기 2D 이미지는 동영상과 같은 연속적인 이미지일 수 있다. 바람직하게는 초기 입력되는 이미지는 정면을 바라보는 얼굴 영역이 포함된 것일 수 있으며, 상기 정면을 바라보는 얼굴 영역은 상기 헤드 트래킹 장치의 초기화에 사용될 수 있다.
다음으로， 상기 얼굴 영역 검출부 (200)는 상기 영상 입력부 (100)를 통하여 입력된 이미지로부터 얼굴 영역을 검출하여 초기화하는 기능을 수행한다. 상기 얼굴 영역을 검출하여 초기화하는 과정은 입력되는 2D 이미지로부터 FE Face Detection), ED(Eye Detection), MD(Mouse Detection) 기술을 이용하여 얼굴 영역 내 특징점을 검출하는 과정과 상기 2D 이미지 상의 얼굴 영역으로부터 얼굴 영역의 초기 3D 위치를 추정하는 과정으로 이루어진다.
상기 FD 기술로는 종래 공지되어 있는 다양한 기술이 사용될 수 있으며， 예를 들어， 아다부스트 학습 알고리즘에 의해 학습되어 선택된 특징 패턴들을 이용하여 수행될 수 있다. 본 발명의 출원인은 이미지 속에서 얼굴을 검출하는 방법 및 장치에 대하여 출원번호 제 10-2011-0114160호, 발명의 명칭 '얼굴 검출 방법， 장치， 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체'를 통하여 이미 출원한 바 있으며, 위 발명은 본 발명과 합체된다.
상기 얼굴 영역 내 특징점으로는 적어도 양 눈의 중앙과 양 입의 양끝점을 포함할 수 있으며， 상기 얼굴 영역 검출부 (200)는 입력되는 이미지로부터 상기 얼굴 영역 내 특징점을 검출하고, 상기 특징점들의 상대적 위치를 기초로 얼굴 영역의 초기 3D 위치를 추정하게 된다. 3D 상에서 상기 특징점들의 상대적 위치를 파악하기 위해서는 X 축을 기준으로 회전한 각도 (Pitching), Y 축을 기준으로 회전한 각도 (Yawing), Z 축을 기준으로 회전한 각도 (Rolling), X 축을 기준으로 평행 이동한 거리， Y 축을 기준으로 평행 이동한 거리， Z 축을 기준으로 평행 이동한 거리를 포함하는 총 6개의 3D 위치 파라미터가 획득되어야 한다. 즉, 상기 얼굴 영역 검출부 (200)는 상기 6개의 파라미터를 이용하여 상기 특징점의 상대적 위치를 검출하고 이를 기초로 하여 얼굴 영역의 초기 3D 위치를 추정함으로써 초기화를 수행할 수 있다. 상기 얼굴 영역의 초기 3D 위치를 추정하는 과정은 양쪽 눈 사이의 거리를 이용하여 얼굴의 넓이 및 높이를 추정하고， 양쪽 눈을 연결한 선과 수평선의 각도를 이용하여 를 (roll) 각도를 추정하여 얼굴의 회전 각도를 계산하게 된다.
한편, 상기 초기화를 수행함에 있어서, 상기 얼굴 영역이 정면으로부터 너무 많이 회전된 상태의 이미지가 입력되는 경우 상기 이미지로부터 얼굴 영역의 특징점을 검색하여 해당 특징점이 가지는 6개의 파라미터를 획득하는 것이 용이치 않을 수 있다. 그렇다고 상기 요 (yaw), 피치 (pitch), 롤 (roll)의 각도가 허용되는 범위를 지나치게 좁게 설정하는 경우에는 초기화가 가능한 이미지가 한정되어 헤드 트래킹 장치의 사용에 불편이 초래될 수 있다. 본 발명의 출원인이 다수의 반복적인 시뮬레이션을 수행한 결과 얼굴 영역이 정면으로부터 土 22.50범위 내에 위치하는 경우 초기화에 문제가 없음을 알 수 있었다. 따라서 상기 초기화를 수행함에 있어서， 얼굴 영역은 정면으로부터 요 (yaw), 피치 (pitch), 롤 (roll)의 각도가 각 土 22.50범위 내에 위치하는 것이 바람직하다.
도 2는 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치의 초기화 화면을 나타낸 도면이다.
도 2를' 참조하면， 얼굴 영역이 정면으로부터 ±22.5°범위 내에 위치하는 경우 얼굴 영역이 3D 타원체 모델로 모델링될 수 있다. 상기 3D 타원체 모델 상에서 상기 얼굴 영역의 특징점의 6개 파라미터를 획득하여 상기 특징점의 3D 위치를 추정하게 된다.
한편, 상기 초기화를 수행한 이후에는 상기 얼굴 영역 트래킹부 (300)에서 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정이 적어도 한번 수행될 수 있다. 바람직하게는 상기 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은 능동 외관 모델 (Active Appearance Model; AAM) 알고리즘을 사용하여 구현될 수 있다. 동적 템플릿을 이용하는 경우 현재 입력된 이미지 프레임 이전의 이미지 프레임이 입력되어야 이를 템플릿으로 사용하여 트래킹을 수행할 수 있다는 점에서 상기 초기화 과정에서는 상기 능동 외관 모델 알고리즘을 사용하여 트래킹을 수행하고, 이에 따르면 사용자가 템플릿을 수동으로 설정해 주어야 하는 불편을 미연에 차단할 수 있다.
위에서 설명한 바와 같이 상기 얼굴 영역 트래킹부 (300)는 연속으로 입력되는 이미지 속에서 얼굴 영역이 이동 (즉， 머리가 이동)하는 경우 이를 추적하여 얼굴 영역의 위치 (즉， 머리의 이동)를 검출하는 기능을 수행한다. 보다 상세히， 상기 얼굴 영역 트래킹부 (300)는 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정을 거치게 되고， 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정을 거쳐 얼굴 영역의 위치를 검출하게 된다.
상기 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은 상기 특징점의 6개의 파라미터를 획득함으로써 이루어질 수 있다. 상기 6개의 파라미터는 X 축을 기준으로 회전한 각도 (Pitching), Y 축을 기준으로 회전한 각도 (Yawing), Z축을 기준으로 회전한 각도 (Rolling), X 축을 기준으로 평행 이동한 거리, Y 축을 기준으로 평행 이동한 거리， Z 축을 기준으로 평행 이동한 거리를 포함할 수 있다.
한편， 바람직하게는 상기 회전 각도는 얼굴 영역의 정면으로부터 요 (yaw), 피치 (pitch), 롤 (roll)의 각도가 각 ±50범위 내로 설정될 수 있다. 상기 얼굴 영역의 회전 각도가 요 (yaw)， 피치 (pitch), 를 (roll) 모두 土 5°이내일 경우 입력되는 영상 속에 포함된 얼굴 영역과 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하게 된다. 이를 위하여 능동 외관 모델 (Active Appearance Model; AAM) 알고리즘이 사용될 수 있다.
상기 능동 외관 모델 알고리즘은 얼굴 영역을 형태 (Shape)와 텍스처 (Texture)로 나누어 모델링하며， 기본적으로 얼굴 학습 데이터를 이용하여 평균 얼굴을 구성하고 외부에서 들어오는 영상 내의 얼굴 영역올 정해주면 그 얼굴에 비슷하게 수렴할 때까지 평균 얼굴의 형태와 텍스처의 파라미터가 변해가도톡 설계한다. ,
이를 위하여 상기 능동 외관 모델 알고리즘은 영상 입력부 (100)로부터 제공되는 영상올 그레이 값으로 변환하고 상기 영상을 이루는 정수 값을 차후 얼굴 인식을 위한 플로팅 값으로 변환하는 과정을 포함하는 영상 전처리 과정을 거쳐 해당 얼굴 영역을 검출하고， 상기 얼굴 영역의 형태 (Shape) 및 텍스쳐 (Texture)로 구분하여 얼굴 특징점， 밝기 값 둥을 포함하는 얼굴 특징 요소를 추출하며， 추출한 얼굴 특징 요소를 토대로 기 저장중인 통계학적 얼굴 모델 (템플릿)을 변환하여 상기 얼굴 영역을 이루는 영상과 매칭하는 합성 얼굴 영상을 모델링한 후， 이렇게 형성한 합성 얼굴 영상에 맵핑 소스를 결합하는 랜더링 처리를 통해 상기 영상 입력부 (100)로부터 제공된 영상을 3차원 얼굴 영상으로 자동 변환하게 된다. 이와 같은， 상기 능동 외관 모델 알고리즘은 대상물의 다양한 변형을 유연하게 표현할 수 있다는 장점이 있으므로， 얼굴 추적， 얼굴 특징점 추출， 표정 인식 등 다양한 분야에 적용되어 사용되고 있다.
그러나， 상기 능동 외관 모델 알고리즘은 입력되는 이미지마다 기학습된 모델을 템플릿으로 사용하여 얼굴 영역의 위치를 추적하게 되므로 연산량이 많아 속도가 저하되는 문제점을 가지고 있다. 따라서 얼굴 영역이 빠른 속도로 이동하거나 이동 (가령 회전)하는 각도가 큰 경우 이를 실시간으로 추적하는데 어려움이 발생할 수 있으므로 상기 능동 외관 모델 알고리즘만을 이용하여 얼굴 영역의 위치를 추적하는 것은 효율적이지 못하다.
따라서 본 발명의 경우 상기 얼굴 영역의 요 (yaw), 피치 (pitch), 를 (roll) 각도 중 어느 하나가 ±50외일 경우， 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정을 거쳐 얼굴 영역의 위치를 검출하게 된다. 이를 위하여 동적 템플릿 (dynamic template) 기술이 이용될 수 있다. 상기 동적 템플릿 기술은 연속적으로 입력되는 이미지 중 직전에 입력된 이미지를 템플릿으로 사용하여 현재 이미지와의 차이를 비교함으로써 얼굴 영역의 이동을 탐색하는 기술이다. 이와 같은 동적 템플릿을 이용한 얼굴 영역 트래킹 기술은 템플릿으로 사용하는 이미지를 실시간으로 업데이트하기 때문에 빠르게 좌우로 이동하는 얼굴 영역 (또는 큰 각도로 회전하는 얼굴 영역)을 실시간으로 추적하는데 적합하다. 따라서， 상기 얼굴 영역의 요 (yaw), 피치 (pitch), 를 (roll) 각도 중 어느 하나가 ±5°외일 경우 얼굴 영역이 빠른 속도로 폭넓게 움직이는 것으로 추정할 수 있으므로 상기 동적 템플릿 기술을 이용함으로써 상기 능동 외관 모델과 비교하여 상대적으로 연산량이 작아 속도가 빠른 동적 템플릿 기술을 사용하여 상기 능동 외관 모델의 단점을 보완할 수 있다.
한편， 상기 동적 템플릿 기술의 경우 이전에 입력된 이미지를 템플릿으로 사용하게 되므로 트래킹 결과가 한번 잘못되면 복구가 불가능하고， 각 이미지를 트래킹하면서 발생하게 되는 에러가 누적되어 정확도가 떨어질 수 있다는 문제점이 있었으나 본 발명의 경우 상기 얼굴 영역의 요 (yaw), 피치 (pitch), 롤 (roll) 각도 중 어느 하나가 士 5°외의 범위에서 ±5°내의 범위로 이동하는 경우 상기 얼굴 영역의 이동을 추적하기 위하여 동적 템플릿 기술에서 능동 외관 모델 알고리즘이 사용되게 되므로 동적 템플릿을 이용하면서 누적된 에러가 상기 능동 외관 모델 알고리즘을 사용함으로써 소멸되고， 결과적으로 보다 정확한 트래킹을 구현할 수 있게 된다.
도 3은 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치의 트래킹 화면을 나타낸 도면이다.
도 3을 참조하면， 얼굴 영역이 정면으로부터 회전하는 경우 상기 얼굴 영역이 정면으로부터 ±5°의 범위 내에서는 상기 능동 외관 모델 알고리즘을 이용하여 트래킹을 수행하고， ±5°의 범위를 벗어나는 경우에는 동적 템플릿 기술을. 이용하여 트래킹을 수행한다. 상기 트래킹이 수행되는 경우 얼굴 영역이 회전함에 따라 3D 타원체 모델이 상기 얼굴 영역과 매칭되도록 회전하며 상기 3D 타원체 모델 상에서 상기 얼굴 영역의 특징점의 6개 파라미터를 획득하여 상기 특징점의 3D 위치를 추정하게 된다. 마지막으로， 상기 제어부 (400)는 영상 입력부 (100)， 얼굴 영역 검출부 (200)， 및 얼굴 영역 트래킹부 (300) 간의 데이터의 흐름을 제어하는 기능올 수행한다. 즉， 상기 제어부 (400)는 각 구성요소 간의 데이터의 흐름을 제어함으로써, 영상 입력부 (100)， 얼굴 영역 검출부 (200)， 및 얼굴 영역 트래킹부 (300)에서 각각 고유 기능을 수행하도록 제어한다. 도 4는 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 방법을 설명하는 플로우 차트이다.
도 4를 참조하면， 먼저 영상 입력부 (100)를 통하여 얼굴 영역이 포함된 2D 이미지를 입력 받는다 (S100). 다음으로 헤드 트래킹 장치가 초기화 모드로 동작하는지 여부를 판단한다 (S 110). 만약 상기 헤드 트래킹 장치가 초기화 모드로 동작하는 경우에는 FD, ED, MD 기술을 이용하여 얼굴 영역 내 특징점을 검출하고 (S120), 상기 2D 이미지 상의 얼굴 영역으로부터 얼굴 영역의 초기 3D 위치를 추정한다 (S130). 이상과 같이 초기화가 완료되면， 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색한다 (S140). 상기 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은 능동 외관 모델 (Active Appearance Model; AAM) 알고리즘을 사용하여 구현될 수 있다.
한편， 상기 S110 단계에서 헤드 트래킹 장치가 초기화 모드로 동작하지 않는 경우 상기 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내인지 여부를 판단한다 (S150). 바람직하게는 상기 회전 각도는 요 (yaw), 피치 (pitch), 를 (roll)의 각도가 각 士 50범위 내인지 여부를 기준으로 판단하게 된다. 상기 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우， S140 단계로 진행하여 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하게 된다. 반면, 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하게 된다 (S160).
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어， 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기톡 매체의 예에는， 하드디스크， 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체， 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magnetooptical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모들로서 작동하도록 구성될 수 있으며， 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐， 본 발명이 상기 실시예들에 한정되는 것은 아니며， 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서， 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며， 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
【산업상 이용가능성】
본 발명은 헤드 트래킹 장치 등에 이용될 수 있다.

Claims

【청구의 범위】 【청구항 1】 ' 헤드 트래킹을 수행하는 방법에 있어서， (a) 얼굴 영역이 포함된 이미지를 입력받는 단계; 및 (b) 상기 얼굴 영역의 이동을 트래킹하는 단계를 포함하되， 상기 (b) 단계는，
(b-1) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우， 기학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계; 및
(b-2) 얼굴 영역의, 회전 각도가 정면으로부터 소정 각도 범위 외일 경우， 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계를 포함하는 방법.
【청구항 2】
거 U항에 있어서,
입력되는 이미지로부터 얼굴 영역을 검출하여 초기화하는 단계를 더 포함하는 것을 특징으로 하는 방법.
【청구항 3】
제 2항에 있어서，
상기 얼굴 영역을 검출하여 초기화하는 단계는,
입력되는 2D 이미지로부터 FD, ED, MD 기술을 이용하여 얼굴 영역 내 특징점을 검출하는 단계, 및
상기 2D 이미지 상의 얼굴 영역으로부터 얼굴 영역의 초기 3D 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
【청구항 4】
제 3항에 있어서，
상기 얼굴 영역의 초기 3D 위치를 추정하는 단계는，
양쪽 눈 사이의 거리를 이용하여 얼굴의 넓이 및 높이를 추정하고， 양쪽 눈을 연결한 선과 수평선의 각도를 이용하여 롤 (roll) 각도를 추정하여 얼굴의 회전 각도를 계산하는 것을 특징으로 하는 방법.
【청구항 5】
제 2항에 있어서，
상기 초기화하는 단계 이후에는 상기 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계가 적어도 한번 수행되는 것을 특징으로 하는 방법.
【청구항 6】 제 2항에 있어서，
상기 초기화하는 단계는 얼굴 영역의 정면으로부터 요 (yaw), 피치 (pitch), 를 (roll)의 각도가 각 ±22.5°범위 내에서 수행되는 것을 특징으로 하는 방법.
【청구항 7】
저 U항에 있어서，
상기 (b-1) 단계는,
능동 외관 모델 (Active Appearance Model; AAM) 알고리즘을 사용하여 구현되는 것을 특징으로 하는 방법.
【청구항 8】
제 1항에 있어서，
상기 (b-2) 단계는，
동적 템플릿 (dynamic template) 기술을 이용하여 얼굴 영역의 3D 위치를 추정하는 것을 특징으로 하는 방법.
【청구항 9】
제 1항에 있어서，
상기 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계는 상기 특징점의 6개의 파라미터를 획득함으로써 이루어지는 것을 특징으로 하는 방법 .
【청구항 10】
제 9항에 있어서，
상기 6개의 파라미터는 X 축을 기준으로 회전한 각도 (Pitching), Y 축을 기준으로 회전한 각도 (Yawing), Z축을 기준으로 회전한 각도 (Rolling), X 축을 기준으로 평행 이동한 거리， Y 축을 기준으로 평행 이동한 거리, Z 축을 기준으로 평행 이동한 거리를 포함하는 것을 특징으로 하는 방법.
【청구항 11】
제 1항에 있어서，
상기 얼굴 영역 내 특징점은 양 눈의 중앙과 양 입의 양끝 점을 포함하는 것을 특징으로 하는 방법.
【청구항 12】
제 1항에 있어서，
상기 소정 각도는 얼굴 영역의 정면으로부터 요 (yaw), 피치 (pitch), 를 (roll)의 각도가 각 ±5° 인 것을 특징으로 하는 방법.
【청구항 13】
헤드 트래킹을 수행하는 장치에 있어서， 얼굴 영역이 포함된 이미지를 입력받는 영상 입력부; 및 상기 얼굴 영역의 이동을 트래킹하는 얼굴 영역 트래킹부를 포함하되， 상기 얼굴 영역 트래킹부는，
얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우， 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하고，
얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 장치.
【청구항 14】
제 13항에 있어서，
입력되는 이미지로부터 얼굴 영역을 검출하여 초기화하는 얼굴 영역 검출부를 더 포함하는 것을 특징으로 하는 장치.
【청구항 15】
제 14항에 있어서，
상기 얼굴 영역 검출부는,
입력되는 2D 이미지로부터 FD, ED, MD 기술을 이용하여 얼굴 영역 내 특징점을 검출하고，
상기 2D 이미지 상의 얼굴 영역으로부터 얼굴 영역의 초기 3D 위치를 추정하는 것을 특징으로 하는 장치.
【청구항 16】
제 15항에 있어서,
상기 얼굴 영역의 초기 3D 위치를 추정하는 것은，
양쪽 눈 사이의 거리를 이용하여 얼굴의 넓이 및 높이를 추정하고， 양쪽 눈올 연결한 선과 수평선의 각도를 이용하여 를 (roll) 각도를 추정하여 얼굴의 회전 각도를 계산하는 것을 특징으로 하는 장치.
【청구항 17]
제 14항에 있어서,
상기 초기화를 수행한 이후에 상기 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정이 적어도 한번 수행되는 것을 특징으로 하는 장치.
【청구항 18】
제 14항에 있어서，
상기 초기화는 얼굴 영역의 정면으로부터 요 (yaw), 피치 (pitch), 를 (roll)의 각도가 각 ±22.5°범워 내에서 수행되는 것을 특징으로 하는 장치.
【청구항 19】
제 13항에 있어서，
상기 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은，
능동 외관 모델 (Active Appearance Mode AAM) 알고리즘을 사용하여 구현되는 것을 특징으로 하는 장치.
【청구항 20】
제 13항에 있어서,
상기 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은,
동적 템플릿 (dynamic template) 기술을 이용하여 얼굴 영역의 3D 위치를 추정하는 것을 특징으로 하는 장치.
【청구항 21]
제 13항에 있어서，
상기 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은 상기 특징점의 6개의 파라미터를 획득함으로써 이루어지는 것을 특징으로 하는 장치.
[청구항 22】
제 21항에 있어서,
상기 6개의 파라미터는 X 축을 기준으로 회전한 각도 (Pitching), Y 축을 기준으로 회전한 각도 (Yawing), Z 축을 기준으로 회전한 각도 (Rolling), X 축을 기준으로 평행 이동한 거리， Y 축을 기준으로 평행 이동한 거리, Z 축을 기준으로 평행 이동한 거리를 포함하는 것을 특징으로 하는 장치.
【청구항 23]
제 13항에 있어서，
상기 얼굴 영역 내 특징점은 양 눈의 중앙과 양 입의 양끝 점을 포함하는 것을 특징으로 하는 장치.
【청구항 24]
제 13항에 있어세
상기 소정 각도는 얼굴 영역의 정면으로부터 요 (yaw), 피치 (pitch), 를 (roll)의 각도가 각 ±5° 인 것을 특징으로 하는 장치.
【청구항 25]
게 1항 내지 제 12항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기톡한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2013/001384 2012-02-23 2013-02-21 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 WO2013125876A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380011692.3A CN104145296A (zh) 2012-02-23 2013-02-21 头部跟踪方法、装置及计算机可读记录介质
US14/129,709 US9299161B2 (en) 2012-02-23 2013-02-21 Method and device for head tracking and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0018736 2012-02-23
KR1020120018736A KR101257207B1 (ko) 2012-02-23 2012-02-23 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
WO2013125876A1 true WO2013125876A1 (ko) 2013-08-29

Family

ID=48443628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001384 WO2013125876A1 (ko) 2012-02-23 2013-02-21 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Country Status (4)

Country Link
US (1) US9299161B2 (ko)
KR (1) KR101257207B1 (ko)
CN (1) CN104145296A (ko)
WO (1) WO2013125876A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016045050A1 (en) * 2014-09-25 2016-03-31 Intel Corporation Facilitating efficient free in-plane rotation landmark tracking of images on computing devices
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN109700449A (zh) * 2018-08-09 2019-05-03 阳光学院 一种可抗头部自然运动的有效心率量测系统
US10888528B2 (en) 2014-12-08 2021-01-12 Clexio Biosciences Ltd. Immediate release abuse-deterrent granulated dosage forms

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
KR101590257B1 (ko) * 2014-07-03 2016-02-01 포항공과대학교 산학협력단 소나 이미지 템플릿을 이용한 수중 물체 인식 방법 및 장치
WO2016109741A1 (en) * 2014-12-30 2016-07-07 Morphotrust Usa, Llc Video triggered analyses
US9830503B1 (en) * 2014-12-31 2017-11-28 Morphotrust Usa, Llc Object detection in videos
CN106156692B (zh) * 2015-03-25 2019-12-13 阿里巴巴集团控股有限公司 一种用于人脸边缘特征点定位的方法及装置
US10347218B2 (en) * 2016-07-12 2019-07-09 Qualcomm Incorporated Multiple orientation detection
CN107609490B (zh) * 2017-08-21 2019-10-01 美的集团股份有限公司 控制方法、控制装置、智能镜子和计算机可读存储介质
CN109086727B (zh) * 2018-08-10 2021-04-30 北京奇艺世纪科技有限公司 一种确定人体头部的运动角度的方法、装置及电子设备
CN110807180A (zh) * 2019-10-28 2020-02-18 支付宝(杭州)信息技术有限公司 安全认证以及训练安全认证模型的方法、装置及电子设备
US20240069630A1 (en) * 2022-08-24 2024-02-29 Meta Platform Technologies, LLC Headset Adjustment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268161A (ja) * 1999-03-17 2000-09-29 Atr Media Integration & Communications Res Lab 実時間表情検出装置
JP2009081714A (ja) * 2007-09-26 2009-04-16 Olympus Imaging Corp 撮像装置および撮像装置における顔領域決定方法
JP2010244462A (ja) * 2009-04-09 2010-10-28 Fujifilm Corp 人物追跡装置、人物追跡方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100389430C (zh) * 2006-06-13 2008-05-21 北京中星微电子有限公司 基于aam的头部姿态实时估算方法及系统
CN101499128B (zh) * 2008-01-30 2011-06-29 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
JP5684577B2 (ja) * 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268161A (ja) * 1999-03-17 2000-09-29 Atr Media Integration & Communications Res Lab 実時間表情検出装置
JP2009081714A (ja) * 2007-09-26 2009-04-16 Olympus Imaging Corp 撮像装置および撮像装置における顔領域決定方法
JP2010244462A (ja) * 2009-04-09 2010-10-28 Fujifilm Corp 人物追跡装置、人物追跡方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RYU, W. ET AL.: "Real-time 3D Head Tracking and Head Gesture Recognition.", ROBOT AND HUMAN INTERACTIVE COMMUNICATION, 2007, RO-MAN 2007. THE 16TH IEEE INTERNATIONAL SYMPOSIUM ON. IEEE, 2007, pages 169 - 172, XP031199421 *
SUNG, J. ET AL.: "Pose Robust Face Tracking by Combining Active Appearance Models and Cylinder Head Models.", INTERNATIONAL JOURNAL OF COMPUTER VISION., vol. 80, no. 2, 2008, pages 260 - 274, XP019616634 *
WANG, L. ET AL.: "Face Tracking Using Motion-Guided Dynamic Template Matching.", FIFTH ASIAN CONFERENCE ON COMPUTER VISION., 2002, pages 1 - 6 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016045050A1 (en) * 2014-09-25 2016-03-31 Intel Corporation Facilitating efficient free in-plane rotation landmark tracking of images on computing devices
CN106605258A (zh) * 2014-09-25 2017-04-26 英特尔公司 促进计算设备上的图像的高效自由平面内旋转界标跟踪
US10888528B2 (en) 2014-12-08 2021-01-12 Clexio Biosciences Ltd. Immediate release abuse-deterrent granulated dosage forms
US11534409B2 (en) 2014-12-08 2022-12-27 Clexio Biosciences Ltd. Immediate release abuse-deterrent granulated dosage forms
US11730702B2 (en) 2014-12-08 2023-08-22 Clexio Biosciences, Ltd. Immediate release abuse-deterrent granulated dosage forms
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN106529496B (zh) * 2016-11-24 2019-04-12 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN109700449A (zh) * 2018-08-09 2019-05-03 阳光学院 一种可抗头部自然运动的有效心率量测系统
CN109700449B (zh) * 2018-08-09 2021-08-20 阳光学院 一种可抗头部自然运动的有效心率量测系统

Also Published As

Publication number Publication date
US20140193035A1 (en) 2014-07-10
CN104145296A (zh) 2014-11-12
US9299161B2 (en) 2016-03-29
KR101257207B1 (ko) 2013-04-22

Similar Documents

Publication Publication Date Title
KR101257207B1 (ko) 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN111739063B (zh) 一种基于多传感器融合的电力巡检机器人定位方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN101763636B (zh) 视频序列中的三维人脸位置和姿态跟踪的方法
WO2009091029A1 (ja) 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
Wang et al. Point cloud and visual feature-based tracking method for an augmented reality-aided mechanical assembly system
Das et al. Scan registration with multi-scale k-means normal distributions transform
Choi et al. Robust head tracking using 3D ellipsoidal head model in particle filter
Jin et al. Towards stabilizing facial landmark detection and tracking via hierarchical filtering: A new method
Kwon et al. Visual tracking via particle filtering on the affine group
Tian et al. Research on multi-sensor fusion SLAM algorithm based on improved gmapping
Darujati et al. Facial motion capture with 3D active appearance models
Pons-Moll et al. Efficient and robust shape matching for model based human motion capture
Ni et al. A hybrid framework for 3-D human motion tracking
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
KR100951793B1 (ko) 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법
Lefevre et al. Structure and appearance features for robust 3d facial actions tracking
Hartanto et al. Hand-motion-guided articulation and segmentation estimation
Wu et al. 3d semantic vslam of dynamic environment based on yolact
Kim et al. A novel fitting algorithm using the ICP and the particle filters for robust 3d human body motion tracking
Kang et al. Patch classifier of face shape outline using gray-value variance with bilinear interpolation
Ryu et al. Real-time 3D head tracking under rapidly changing pose, head movement and illumination
Gong et al. Real-time Visual SLAM based YOLO-Fastest for Dynamic Scenes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13751996

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14129709

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13751996

Country of ref document: EP

Kind code of ref document: A1