KR101510798B1 - Portable Facial Expression Training System and Methods thereof - Google Patents

Portable Facial Expression Training System and Methods thereof Download PDF

Info

Publication number
KR101510798B1
KR101510798B1 KR20080125357A KR20080125357A KR101510798B1 KR 101510798 B1 KR101510798 B1 KR 101510798B1 KR 20080125357 A KR20080125357 A KR 20080125357A KR 20080125357 A KR20080125357 A KR 20080125357A KR 101510798 B1 KR101510798 B1 KR 101510798B1
Authority
KR
South Korea
Prior art keywords
facial expression
guide
expression guide
image
unit
Prior art date
Application number
KR20080125357A
Other languages
Korean (ko)
Other versions
KR20100066866A (en
Inventor
우운택
장영균
최아영
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR20080125357A priority Critical patent/KR101510798B1/en
Publication of KR20100066866A publication Critical patent/KR20100066866A/en
Application granted granted Critical
Publication of KR101510798B1 publication Critical patent/KR101510798B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00268Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content
    • G06K9/00744Extracting features from the video content, e.g. video "fingerprints", or characteristics, e.g. by automatic extraction of representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3233Determination of region of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Abstract

본 발명은 휴대용 얼굴 표정 연습 장치와 그 구동 방법에 대한 것이다. 더욱 상세하게는, 본 발명에 따른 일례는 실시간으로 사용자의 표정에서 얼굴 패턴을 추출하고 표정가이드 모델을 증강함과 아울러 얼굴 표정 연습의 결과가 화면의 영상 상에 시각적으로 표시되도록 함으로써, 얼굴 표정 연습 결과를 직관적으로 파악할 수 있도록 하는 휴대용 얼굴 표정 연습 장치 및 그 구동 방법에 대한 것이다.

본 발명에 따른 일례는 실시간으로 사용자에 대한 얼굴 패턴을 추출하고 표정가이드 모델을 증강함으로써, 보다 편리하고 간편하게 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법을 제공함을 목적으로 한다.

또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 얼굴 표정 연습 결과를 시각적 표시로 구현되도록 함으로써, 직관적으로 그 결과를 파악할 수 있도록 함을 목적으로 한다.

또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 관심 영역에 대해서만 그 자세 및 표정을 측정하고 검출함으로써, 더욱 자연스러운 얼굴 표정 연습의 결과를 제공함을 목적으로 한다.

Figure R1020080125357

얼굴 표정 연습, 영상 획득부, 관심 영역 검출부, 증강 여부 판단

The present invention relates to a portable facial expression exercising apparatus and a driving method thereof. More specifically, an example according to the present invention extracts a facial pattern from a user's facial expression in real time, enhances a facial expression guide model, and visually displays a result of facial expression exercise on an image of a screen, The present invention relates to a portable facial expression exercising apparatus and a driving method thereof that enable intuitively grasp a result.

An exemplary embodiment of the present invention provides an apparatus and method for exercising a facial expression more conveniently and conveniently by extracting a face pattern for a user in real time and enhancing a facial expression guide model.

In addition, an apparatus and a method for driving a facial expression according to the present invention can implement intuitive results of a facial expression exercise by visual display.

In addition, the apparatus and method for exercising facial expression according to the present invention are intended to provide a result of more natural facial expression exercises by measuring and detecting the posture and facial expression only for a region of interest.

Figure R1020080125357

Facial expression exercise, image acquisition unit, region of interest detection unit,

Description

휴대용 얼굴 표정 연습 장치와 그 방법. {Portable Facial Expression Training System and Methods thereof}Portable facial expression exercise apparatus and its method. {Portable Facial Expression Training System and Methods thereof}
본 발명은 휴대용 얼굴 표정 연습 장치와 그 구동 방법에 대한 것이다. 더욱 상세하게는, 본 발명에 따른 일례는 실시간으로 사용자의 표정에서 얼굴 패턴을 추출하고 표정가이드 모델을 증강함과 아울러 얼굴 표정 연습의 결과가 화면의 영상 상에 시각적으로 표시되도록 함으로써, 얼굴 표정 연습 결과를 직관적으로 파악할 수 있도록 하는 휴대용 얼굴 표정 연습 장치 및 그 구동 방법에 대한 것이다. The present invention relates to a portable facial expression exercising apparatus and a driving method thereof. More specifically, an example according to the present invention extracts a facial pattern from a user's facial expression in real time, enhances a facial expression guide model, and visually displays a result of facial expression exercise on an image of a screen, The present invention relates to a portable facial expression exercising apparatus and a driving method thereof that enable intuitively grasp a result.
종래에 소개된 얼굴 표정 연습 장치는 사용자의 표정 연습을 위한 시스템을 제안하고 있으나, 실시간 동작하는 시스템은 아니며, 그 단계가 너무 복잡하여 휴대폰과 같은 휴대용 장치에 적용하기 어려운 문제점이 있었다.Conventionally, the facial expression exercising apparatus proposed by the present invention proposes a system for facial expression exercises by a user, but it is not a real-time operating system and its steps are too complicated to be applied to a portable apparatus such as a cellular phone.
또한, 얼굴 표정과 관련한 기존의 기술 중에는 모바일 단말기에서 과자를 먹는 게임이 상용제품으로 출시된 바 있고, 카메라 영상에서 사용자 얼굴 영상을 받아 캐릭터 등에 적용하는 연구가 진행된 바 있으나, 실시간으로 모바일 장치에서 얼굴 표정을 연습하도록 하는 방법은 없었다. In addition, among the existing technologies related to facial expression, a game in which a snack is eaten in a mobile terminal has been introduced as a commercial product, and research has been conducted to receive a user's face image from a camera image and apply it to a character, There was no way to practice the look.
본 발명에 따른 일례는 실시간으로 사용자에 대한 얼굴 패턴을 추출하고 표정가이드 모델을 증강함으로써, 보다 편리하고 간편하게 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법을 제공함을 목적으로 한다.An exemplary embodiment of the present invention provides an apparatus and method for exercising a facial expression more conveniently and conveniently by extracting a face pattern for a user in real time and enhancing a facial expression guide model.
또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 얼굴 표정 연습 결과를 시각적 표시로 구현되도록 함으로써, 직관적으로 그 결과를 파악할 수 있도록 함을 목적으로 한다.In addition, an apparatus and a method for driving a facial expression according to the present invention can implement intuitive results of a facial expression exercise by visual display.
또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 관심 영역에 대해서만 그 자세 및 표정을 측정하고 검출함으로써, 더욱 자연스러운 얼굴 표정 연습의 결과를 제공함을 목적으로 한다.In addition, the apparatus and method for exercising facial expression according to the present invention are intended to provide a result of more natural facial expression exercises by measuring and detecting the posture and facial expression only for a region of interest.
본 발명에 따른 휴대용 얼굴 표정 연습 장치의 일례는 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하는 관심 영역 검출부;와 상기 검출된 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단하는 증강 여부 판단부;와 상기 증강 여부 판단부의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 임시 저장부;와 상기 저장된 표정가이드 모델을 상기 검출된 관심 영역의 영상에 증강하는 모델 증강부; 및 상기 검출된 영상의 얼굴 패턴과 상기 관심 영역 상에 증강된 표정가이드 모델 간의 유사도를 판단하는 유사도 판단부;를 포함한다.An example of a portable facial expression exercising apparatus according to the present invention is a portable facial expression exercising apparatus that includes a region of interest detecting unit that detects an image of a region of interest with respect to a face portion from an up- A temporary storage unit for storing a previously used facial expression guide model or a new facial expression guide model according to the determination of the augmentation state determination unit, for determining whether the guide model has been used for the enhancement; A model enhancer for enhancing the stored facial expression guide model to an image of the detected region of interest; And a degree of similarity determining unit for determining a degree of similarity between the face pattern of the detected image and the enhanced facial expression guide model on the region of interest.
또한, 상기 휴대용 얼굴 표정 연습 장치는 상기 얼굴 패턴과 상기 증강 영상 상의 표정가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 시각적 주석 표시부;를 더 포함할 수 있다.The portable facial expression exercising apparatus may further include a visual annotation display unit for displaying a visual annotation for indicating a difference between the face pattern and the facial expression guide model on the augmented image.
여기서, 상기 관심 영역 검출부는 관심 영역의 영상으로 사용자의 얼굴 일부분에 대한 영상을 검출하거나 사용자의 얼굴 일부분에 대한 특징점을 검출할 수 있다.Here, the ROI detecting unit may detect an image of a part of a user's face as an image of a ROI or may detect a feature point of a part of a user's face.
또한, 상기 관심 영역 검출부는 표정가이드 모델이 증강될 상기 관심 영역의 영상을 검출하기 위해 Adaboost, AAM(Active Appearance Model), PCA(Principal Component Analysis), SVM(Support Vector Machine), HMM(Hidden Markov models) 중 적어도 하나에 의한 방법을 사용할 수 있다.In order to detect the image of the ROI in which the facial expression guide model is to be enhanced, the ROI detector may include an Adaboost, an Active Appearance Model (AAM), a Principal Component Analysis (PCA), a Support Vector Machine (SVM) ) Can be used.
또한, 상기 임시 저장부는 상기 새로운 표정가이드 모델로 상기 시스템에 내장된 제 1 데이터베이스로부터 선택적으로 로딩된 표정가이드 모델을 저장하거나, 상기 새로운 표정가이드 모델로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 상기 시스템에 내장된 제 2 데이터베이스로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 로딩하여 저장할 수 있다.In addition, the temporary storage unit stores the facial expression guide model selectively loaded from the first database built in the system with the new facial expression guide model, or analyzes feature points from the detected image of the interest region using the new facial expression guide model The personalized facial expression guide model synthesized with the basic facial expression guide model loaded from the second database built in the system can be loaded and stored.
또한, 상기 모델 증강부는 상기 표정가이드 모델을 상기 관심 영역의 영상 상에 증강하기 위해 DIP (Digital Image Processing), OSG(Open Scene Graph), OSG(Open Scene Graph)ART, CAL3D를 이용한 방법 중 적어도 하나에 의한 방법을 사용할 수 있다.The model enhancer may further include at least one of a DIP (Digital Image Processing), an OSG (Open Scene Graph), an OSG (Open Scene Graph) ART, and a CAL3D method for enhancing the facial expression guide model on the image of the ROI Can be used.
또한, 상기 얼굴 패턴과 상기 표정가이드 모델과의 유사도를 판단(Similarity Measurement)하기 위해 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance), 해밍 거리(Hamming Distance) 중 적어도 하나의 측정치를 이용하여 유사도를 판단하는 방법을 사용할 수 있다.In order to determine similarity between the facial pattern and the facial expression guide model, at least one of a cosine distance, an Euclidean distance, and a Hamming distance is used A method of determining the degree of similarity can be used.
여기서, 상기 유사도 판단부의 유사도 판단 임계값은 사용자에 의해 임의로 결정되도록 할 수 있다.Here, the similarity determination threshold value of the similarity degree determiner may be arbitrarily determined by the user.
또한, 상기 휴대용 얼굴 표정 연습 장치는 상기 검출된 관심 영역의 영상으로부터 특징점을 포함한 얼굴 패턴을 추출하는 패턴 추출부; 및 상기 얼굴 패턴과 상기 증강 영상 사의 표정가이드 모델을 매칭(Matching)하는 패턴 매칭부;를 더 포함할 수 있다.The portable facial expression exercising apparatus may further include: a pattern extracting unit that extracts a face pattern including a feature point from the detected image of the ROI; And a pattern matching unit for matching the facial pattern with a facial expression guide model of the augmented image.
또한, 상기 패턴 추출부는 상기 특징점(Feature Point)을 추출하기 위해 AAM(Active Appearance Model), Adaboost, PCA(Principal Component Analysis), HMM(Hidden Markov models), LBP(Local Binary Pattern) 중 적어도 하나에 의한 방법을 사용할 수 있다.In order to extract the feature points, the pattern extracting unit extracts feature points by at least one of Active Appearance Model (AAM), Adaboost, Principal Component Analysis (PCA), Hidden Markov models (HMM) Method can be used.
또한, 상기 얼굴 표정 연습 장치는 상기 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 상기 시스템의 현재 자세를 측정하는 자세 측정부;및 상기 사용자의 현재 자세나 상기 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 상기 임시 저장부에 저장된 표정가이드 모델의 자세를 변경하는 자세 변경부;를 더 포함할 수 있다.The facial expression exercising apparatus may further include a posture measurement unit that measures a current posture of the user from the image of the ROI or measures a current posture of the system, And a posture changing unit for changing a posture of the facial expression guide model stored in the temporary storage unit so as to enhance the facial expression guide model according to the posture.
여기서, 상기 자세 측정부는 상기 사용자의 현재 자세 측정을 위해 SVM(Support Vector Machine), PCA(Principal Component Analysis), Adaboost, AAM(Active Appearance Model), HMM(Hidden Markov models) 방법 중 적어도 하나의 방법을 사용할 수 있다.Here, the attitude measuring unit may measure at least one of a Support Vector Machine (SVM), a Principal Component Analysis (PCA), an Adaboost, an Active Appearance Model (AAM), and a Hidden Markov models Can be used.
또한, 상기 자세 측정부는 상기 시스템의 현재 자세를 측정하기 위해 모션 센서(Motion Sensor), 위치 센서(Location Sensor), 자이로 센서(Gyro Sensor) 중 적어도 하나의 방법을 사용할 수 있다.In addition, the attitude measuring unit may use at least one of a motion sensor, a position sensor, and a gyro sensor to measure the current attitude of the system.
또한, 상기 얼굴 표정 연습 장치는 상기 증강 여부 판단부에서 상기 표정가이드 모델의 사용이 없는 경우, 상기 시스템에 내장된 제 1 데이터베이스에 저장된 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 사용할지 여부를 결정하는 표정가이드 모델 결정부;와 상기 패턴화된 표정가이드 모델의 사용을 거부한 경우, 상기 새로운 표정가이드 모델로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 상기 시스템에 내장된 제 2 데이터베이스로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 생성하여 상기 제 1 데이터베이스에 저장하는 표정가이드 모델 생성부; 및 상기 패턴화된 표정가이드 모델의 사용을 승인한 경우, 상기 제 1 데이터베이스로부터 상기 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 선택적으로 로딩하거나, 상기 패턴화된 표정가이드 모델의 사용을 거부한 경우, 상기 제 1 데이터베이스에 저장된 개인화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 로딩하는 표정가이드 모델 로딩부;를 더 포함할 수 있다.The facial expression exercising apparatus may be configured to determine whether or not to use the patterned facial expression guide model stored in the first database built in the system as the new facial expression guide model when the enhancement determining unit does not use the facial expression guide model And a step of analyzing a feature point from the detected image of the ROI by using the new facial expression guide model, if the use of the patterned facial expression guide model is rejected, A facial expression guide model generating unit for generating a personalized facial expression guide model synthesized with the basic facial expression guide model loaded from the facial expression model generating unit and storing the generated personalized facial expression model in the first database; And selectively loading a patterned facial expression guide model corresponding to the detected image from the first database into the new facial expression guide model when the use of the patterned facial expression guide model is approved, And a facial expression model loading unit for loading the personalized facial expression guide model stored in the first database into the new facial expression guide model when the use of the guide model is rejected.
또한, 본 발명에 따른 휴대용 얼굴 표정 연습 방법의 일례는 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하는 세부 관심 영역 검출단계;와 상기 검출된 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단하는 증강 여부 판단단계;와 상기 증강 여부 판단부의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 임시 저장단계;와 상기 저장된 표정가이드 모델을 상기 검출된 관심 영역의 영상에 증강하는 모델 증강단계;와 상기 검출된 영상의 얼굴 패턴과 상기 관심 영역 상에 증강된 표정가이드 모델 간의 유사도를 판단하는 유사도 판단단계;및 상기 얼굴 패턴과 상기 표정가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 시각적 주석 표시단계;를 포함한다.According to another aspect of the present invention, there is provided a portable facial expression exercising method comprising: a detailed-interest-area detecting step of detecting an image of a region of interest with respect to a face portion from an up-loaded user image; Determining whether or not the facial expression guide model corresponding to the facial expression guide model corresponding to the facial expression model has been used for the enhancement; A similarity degree determination step of determining a degree of similarity between the face pattern of the detected image and the enhanced facial expression guide model on the ROI, And a visual annotation for indicating a difference between the face pattern and the facial expression guide model and a visual annotation display step of displaying the annotation.
또한, 상기 얼굴 표정 연습 방법은 상기 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 상기 시스템의 현재 자세를 측정하는 자세 측정단계;및 상기 사용자의 현재 자세나 상기 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 상기 임시 저장단계에서 저장된 표정가이드 모델의 자세를 변경하는 자세 변경단계;를 더 포함할 수 있다.In addition, the facial expression exercising method may include a posture measuring step of measuring a current posture of a user from the image of the ROI or measuring a current posture of the system, and a posture measuring step of, when the current posture of the user is changed, And a posture changing step of changing the posture of the facial expression guide model stored in the temporary storage step so as to enhance the facial expression guide model according to the posture.
또한, 상기 얼굴 표정 연습 방법은 상기 증강 여부 판단단계에서 상기 표정가이드 모델의 사용이 없는 경우, 상기 시스템에 내장된 제 1 데이터베이스에 저장된 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 사용할지 여부를 결정하는 표정가이드 모델 결정단계;와 상기 패턴화된 표정가이드 모델의 사용을 거부한 경우, 시스템에 내장된 제 2 데이터베이스로부터 로딩된 기본 표정가이드 모델을 기초로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 개인화된 표정가이드 모델을 생성하여 상기 제 1 데이터베이스에 저장하는 표정가이드 모델 생성단계; 및 상기 패턴화된 표정가이드 모델의 사용을 승인한 경우, 상기 제 1 데이터베이스로부터 상기 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 선택적으로 로딩하거나, 상기 패턴화된 표정가이드 모델의 사용을 거부한 경우, 상기 제 1 데이터베이스에 저장된 개인화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 로딩하는 표정가이드 모델 로딩단계;를 더 포함할 수 있다.The facial expression exercising method may further include determining whether to use the patterned facial expression guide model stored in the first database built in the system as the new facial expression guide model when the facial expression guide model is not used in the augmentation determination step, The method comprising the steps of: determining a facial expression model of a region of interest based on a basic facial expression guide model loaded from a second database embedded in the system; Generating a personalized facial expression guide model by analyzing the personalized facial expression model and storing it in the first database; And when the use of the patterned facial expression guide model is approved, selectively loading a patterned facial expression guide model corresponding to the detected image from the first database, or rejecting use of the patterned facial expression guide model And loading the personalized facial expression guide model stored in the first database into the new facial expression guide model.
본 발명에 따른 일례는 실시간으로 사용자에 대한 얼굴 패턴을 추출하고 증강함으로써, 보다 편리하고 간편하게 얼굴 표정을 연습할 수 있도록 함과 아울러, 얼굴 표정 연습 결과를 시각적 주석으로 표시되도록 구현되도록 함으로써, 직관적으로 그 결과를 파악할 수 있는 효과가 있다.An example according to the present invention extracts and enhances a face pattern for a user in real time, thereby allowing a user to practice facial expression more conveniently and easily, and to implement a facial expression exercise result to be displayed as a visual annotation, And the result can be grasped.
또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 관심 영역에 대해서만 그 자세 및 표정을 측정하고 검출함으로써, 더욱 자연스러운 얼굴 표정 연습의 결과를 제공하는 효과가 있다. Further, the apparatus and method for exercising facial expression according to the present invention have the effect of providing a more natural facial expression exercise result by measuring and detecting the posture and facial expression only for the region of interest.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되 는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
도 1a 내지 도 1h는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제1 실시예를 설명하기 위한 도이다.FIGS. 1A to 1H are views for explaining a first embodiment of a portable facial expression exercising apparatus according to the present invention.
도 1a에 도시된 바와 같이, 본 발명은 사용자가 장소와 시간의 제약 없이 자신의 얼굴 표정을 연습하기 위해 고안된 장치이다.As shown in FIG. 1A, the present invention is a device designed to allow a user to practice his / her facial expression without restriction of place and time.
따라서 카메라가 내장된 휴대폰뿐만 아니라 휴대용 멀티미디어 플레이어(PMP, portable multimedia player), 개인 휴대용 정보 단말기(PDA personal digital/data assistant) 등에서도 시스템 내부에 얼굴을 인식할 수 있는 카메라나 그 밖에 얼굴 표정을 인식할 수 있는 센서, 예를 들면 EOG 센서등만 내장되어 있다면 이용이 가능하다.Accordingly, not only a cellular phone with a built-in camera but also a portable multimedia player (PMP) and a personal digital assistant (PDA) can recognize a face or a facial expression It is possible to use it if it has built-in sensor such as EOG sensor.
이하에서는 도 1b를 기초로, 도 1c 내지 도 1g를 참조하면서 본 발명의 제1 실시예를 설명한다.Hereinafter, with reference to FIG. 1B, a first embodiment of the present invention will be described with reference to FIGS. 1C to 1G.
도 1b에 도시된 바와 같이, 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제1 실시예는 영상 획득부(100), 관심 영역 검출부(110), 증강 여부 판단부(120), 임시 저장부(140), 모델 증강부(150), 패턴 추출부(160), 패턴 매칭부(170), 유사도 판단부(190)를 포함하고, 이외에 이벤트 발생부(191), 재시도 여부 판단부(192)를 포함할 수 있다.1B, the first embodiment of the portable facial expression exercising apparatus according to the present invention includes an image acquiring unit 100, a region of interest detecting unit 110, an augmentation determining unit 120, a temporary storage unit 140 A pattern enhancing unit 150, a pattern extracting unit 160, a pattern matching unit 170 and a degree-of-similarity determining unit 190. The event generating unit 191 and the retry determining unit 192 .
영상 획득부(100)는 시스템의 영상 카메라 장치나 다양한 얼굴 표정 인식 센 서 등을 통하여 사용자에 대한 이미지를 갭쳐하여 시스템에 업-로드(Up-Load)한다.The image acquisition unit 100 captures an image of a user through an image camera device of the system or various facial expression recognition sensors, and uploads the image to the system.
다음, 관심 영역 검출부(110)는 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하게 된다. 이와 같이 관심 영역을 검출하는 것은 표정가이드 모델이 증강될 위치 영역을 검출하기 위해서이다.Next, the ROI detecting unit 110 detects an ROI image of the face region from the up-loaded user image. Detecting the region of interest in this manner is for detecting the positional region in which the facial expression guide model is to be enhanced.
여기서, 관심 영역 검출하는 방법으로는 관심 영역의 영상으로 사용자의 얼굴 일부분에 대한 영상을 검출하거나 사용자의 얼굴 일부분에 대한 특징점을 검출할 수 있는 두 가지 방법이 있으나, 도 1b에서는 사용자의 얼굴 일부분에 대한 관심 영역을 검출한 것을 일예로 든다.Here, as a method of detecting the region of interest, there are two methods of detecting an image of a part of a user's face or detecting a feature point of a part of a user's face as an image of a region of interest. In FIG. 1B, The region of interest for the target region is detected.
모바일 환경에서 사용자는 시스템을 들고 화면을 보고 있게 되므로, 사용자의 얼굴이 카메라에 잡히면 그 캡처된 사용자의 얼굴에서 얼굴 영역과 눈 영역 입 영역을 검출할 수 있다.In the mobile environment, the user is allowed to see the screen while holding the system. Thus, if the face of the user is caught by the camera, the face region and the eye region can be detected from the face of the captured user.
이때, 관심 영역 검출부(110)는 얼굴의 구역별 명암 대비를 이용한 학습을 통해 템플릿을 생성하여 빠르고 정교하게 관심 영역(ROI, Region of interest)의 이미지를 검출할 수 있는데, 이와 같은 표정가이드 모델이 증강될 관심 영역의 영상을 검출하기 위해 아다부스트 얼굴 검출(AdaBoost Face Detection), AAM(Active Appearance Model) , PCA(Principal Component Analysis), SVM(Support Vector Machine), HMM(Hidden Markov models)에 기반한 검출 방법 중 적어도 하나 이상에 의한 방법을 사용할 수 있다. At this time, the ROI detecting unit 110 can detect the ROI (Region of Interest) image quickly and accurately by generating a template through learning using the contrast of the face region. Based detection based on AdaBoost Face Detection, Active Appearance Model (AAM), Principal Component Analysis (PCA), Support Vector Machine (SVM) and Hidden Markov models (HMM) A method based on at least one of the methods can be used.
이와 같은 관심 영역의 영상 검출방법은 사용자의 얼굴 일부분에 대한 영상을 검출하는 경우뿐만 아니라 사용자의 얼굴 일부분에 대한 특징점을 검출하는 방 법에도 사용될 수 있다.Such an image detection method of the ROI can be used not only for detecting an image of a user's face but also for detecting a feature point of a user's face.
이와 같이 관심 영역의 영상을 검출한 결과는 도 1c에 도시되 된 바와 같이 얼굴 부분 중 눈과 입 부분에 대해 관심 영역의 영상을 검출할 수 있다.As a result of detecting the image of the region of interest, the image of the region of interest can be detected with respect to the eye and mouth portions of the face portion, as shown in FIG. 1C.
이와 같이, 휴대용 얼굴 표정 연습 장치가 관심 영역만 가지고 얼굴 표정 연습 방법을 위한 영상 처리를 하게 되면, 특징점 검출시 정확성을 더 향상 시킬 수 있고, 처리 시간 및 인식 단계의 속도 역시 향상 시킬 수 있는 것이다. Thus, if the portable facial expression exercising apparatus performs image processing for the facial expression exercise method only with the area of interest, the accuracy of detecting the feature points can be further improved, and the processing time and the speed of the recognition step can also be improved.
또한, 본 발명의 일례에 따른 휴대용 얼굴 표정 연습 장치는 도 1b에는 도시되어 있지 아니하지만, 관심 영역 검출부 이후, 패턴 추출부 및 증강여부 판단부 이전에, 검출된 관심영역이 실제로 사용자의 얼굴 부분에 대한 영상을 확인하는 얼굴 검출 확인부를 더 포함할 수 있다.Although the portable facial expression exercising apparatus according to an embodiment of the present invention is not shown in FIG. 1B, after the region of interest detecting unit, before the pattern extracting unit and the enhancement determining unit, the detected region of interest is actually And a face detection / confirmation unit for confirming the image of the user.
이와 같은, 얼굴 검출 확인부는 관심영역 검출부에 의해 추출된 사용자의 영상으로부터 확인이 가능하다. 보다 자세하게는 관심영역 검출부에서는 사용자의 얼굴 일부분뿐만 아니라 얼굴 일부분에 대한 특징점을 검출할 수 있는데, 사용자의 얼굴 일부분에 영상으로부터 사용자의 얼굴, 눈, 입에 대한 영상을 구별할 수 있다. 예를 들어, 도 1c에서와 같이, 사용자의 얼굴, 눈, 입에 대한 영상으로부터 얼굴, 눈, 입의 위치를 파악하여, 눈과 입에 대한 영상은 얼굴의 영상 내에 포함되고, 눈에 대한 영상의 위치는 입에 대한 영상의 위치보다 위에 있으므로 사용자의 얼굴에 대한 영상임을 기하학적 위치로 확인할 수 있는 것이다.Such a face detection confirmation unit can be confirmed from the user's image extracted by the ROI detection unit. More specifically, the ROI detecting unit can detect not only a part of a user's face, but also a feature point of a part of a face, and can distinguish an image of a user's face, eyes, and mouth from a part of a user's face. For example, as shown in FIG. 1C, the positions of the face, the eyes and the mouth from the images of the user's face, eyes, and mouth are grasped, and the images of the eyes and mouth are included in the images of the face. Is located above the position of the image with respect to the mouth, it can be confirmed as a geometric position that the image is the face of the user.
이와 같이 함으로써, 검출된 관심 영역이 실제로 사용자의 얼굴 부분에 대한 영상인지를 확인할 수 있는 것이다. By doing so, it is possible to confirm whether the detected region of interest is actually the image of the face portion of the user.
다음, 도 1b에서 증강 여부 판단부(120)는 관심 영역 검출부(110)에서 검출된 관심 영역의 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단한다. Next, in FIG. 1B, the augmentation determination unit 120 determines whether a facial expression guide model corresponding to the image of the ROI detected by the ROI detection unit 110 has been used for the enhancement.
이는 사용자가 최초로 표정 연습을 하는 경우, 증강된 이미지가 없으므로, 모델 증강부(150)가 데이터베이스(130)로부터 로딩되어 저장된 새로운 표정가이드 모델을 증강에 사용할 수 있지만, 유사도 판단의 결과가 임계값 이하인 경우, 현재 증강되어 있는 표정가이드 모델이 그대로 증강되어 남아 있게 되며, 본 발명에 따른 휴대용 얼굴 표정 연습 장치는 모바일 단말기로부터 실시간으로 취득되고 있는 사용자 얼굴 표정 영상에서 관심 영역을 계속 찾게 되고 그 검출된 관심 영역에서 사용자 얼굴 표정의 특징점을 찾아 반복적으로 앞서 매칭 단계를 수행하게 되는데, 이때 동일한 표정가이드 모델을 사용하기 위해서이다.This is because the model enhancer 150 can use the new facial expression guide model loaded from the database 130 and stored for the enhancement because there is no augmented image when the user performs the first facial expression exercise but the result of the similarity determination is less than or equal to the threshold value The portable facial expression exercising apparatus according to the present invention continues to search for the region of interest in the user facial expression image being acquired in real time from the mobile terminal, The feature point of the user's facial expression is found in the region, and the matching step is repeatedly performed. In order to use the same facial expression guide model at this time.
다음, 임시 저장부(140)는 증강 여부 판단부(120)의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 기능을 한다.The temporary storage unit 140 stores the previously used facial expression guide model or stores a new facial expression guide model according to the determination of the augmentation state determination unit 120. [
보다 상세하게는 제 1 실시예에서는 임시 저장부(140)가 새로운 표정가이드 모델로 시스템에 내장되고 패턴 표정가이드 모델이 저장된 제 1 데이터베이스(130)로부터 선택적으로 로딩된 표정가이드 모델을 저장하는 기능을 한다.More specifically, in the first embodiment, the temporary storage unit 140 has a function of storing a selectively loaded facial expression guide model from the first database 130, which is embedded in the system as a new facial expression guide model and in which the pattern facial expression guide model is stored do.
제 1 데이터베이스(130) 내부에는 여러 가지의 표정을 연습할 수 있는 복수의 표정가이드 모델이 2D 또는 3D 형태로 내장되어 있고, 로딩부(141)가 이들 중 하나를 선택적으로 로딩하게 된다.In the first database 130, a plurality of facial expression guide models capable of practicing various facial expressions are embedded in a 2D or 3D form, and the loading unit 141 selectively loads one of them.
이때, 사용자가 여러 가지의 표정가이드 모델 중 어느 하나를 선택하여 로딩부(141)가 이를 로딩하도록 할 수도 있고, 로딩부(141)가 내부에 저장된 프로그램에 따라 관심 영역의 이미지에 대응하는 표정가이드 모델을 선택적으로 로딩하도록 할 수도 있다.At this time, the user may select any one of various types of facial expression guide models so that the loading unit 141 loads the facial expression guide models. Alternatively, the loading unit 141 may use a facial expression guide corresponding to the image of the region of interest The model may be selectively loaded.
다음, 모델 증강부(150)는 임시 저장부(140)에 저장된 표정가이드 모델을 검출된 관심 영역의 영상에 증강하는 기능을 한다.Next, the model enhancer 150 enhances the facial expression guide model stored in the temporary storage unit 140 to the image of the detected region of interest.
증강의 형태는 관심 영역의 이미지 상에 도 1d (a)와 같이 2D 방법으로 증강할 수도 있고, (b)와 같이 3D 방법으로 증강할 수도 있다. 또는 두 가지를 선택적 또는 복합적으로 증강할 수도 있다.The form of the enhancement may be augmented by the 2D method as shown in FIG. 1d (a) on the image of the region of interest, or may be enhanced by the 3D method as shown in (b). Or both may be selectively or compounded.
도 1e는 웃는 표정가이드 모델에 사람이 웃는 표정을 연습하고 있는 일례이다.FIG. 1E is an example of a person practicing a smiling expression on a smiling expression guide model.
도 1e (a)와 같이, 관심 영역의 이미지가 검출된 이후, 모델 증강부(150)가 검출된 눈 영역에 대해서는 웃는 눈 영상의 표정가이드 모델을 증강(augmentation)시키고, 검출된 입 영역에는 도 1e (b)와 같이 웃는 입 영상의 웃는 표정 가이드 모델 증강시킬 수 있다. 이와 같이 증강될 영역은 눈, 입, 턱선 등의 얼굴 영역이 개별 또는 복합적으로 선택되어질 수 있다. 이 때 증강을 위한 방법은 3D 방법과 2D방법이 있을 수 있다.As shown in FIG. 1 (a), after the image of the region of interest is detected, the model enhancer 150 augments the facial expression guide model of the smiling eye image with respect to the detected eye region, 1e (b), it is possible to reinforce the smile expression guide model of smiling mouth image. The area to be augmented may be selected individually or in combination as the face area such as the eyes, mouth, and chin line. At this time, there are 3D methods and 2D methods for reinforcement.
모델 증강부(150)가 2D 방법으로 표정가이드 모델을 증강하는 경우, 웃는 연습을 가이드 할 수 있는 윤곽선(outline) 또는 grey 영상이나 투명한 영상, 컬러 영상 등이 표정가이드 모델로서 관심 영역의 이미지상에 증강할 수 있다. When the model enhancer 150 enhances the facial expression guide model by the 2D method, an outline or a gray image, a transparent image, or a color image that can guide the smiling practice can be displayed on the image of the region of interest Can be augmented.
또한 모델 증강부(150)가 3D 방법으로 표정가이드 모델을 증강하는 경우, 웃는 연습을 가이드 할 수 있는 3D 윤곽선(outline) 또는 grey 3D 표정가이드 모델이나 투명한 3D 표정가이드 모델, 컬러 3D 표정가이드 모델이 관심 영역의 이미지상에 증강될 수 있다. In addition, when the model enhancer 150 enhances the facial expression guide model using the 3D method, a 3D outline or gray 3D facial guide model, a transparent 3D facial expression guide model, and a color 3D facial expression guide model, Can be augmented on the image of the region of interest.
모델 증강부(150)는 2D 표정가이드 모델을 관심 영역의 이미지상에 증강하기 위해서는 DIP (Digital Image Processing) 기반의 영상 픽셀 기반의 프로세싱 방법을 사용할 수 있고, 3D 표정가이드 모델을 관심 영역의 이미지상에 증강하기 위해서는 OSG(Open Scene Graph), OSG(Open Scene Graph)ART, CAL3D 등을 기반한 방법을 사용할 수 있다.The model enhancer 150 can use the image pixel-based processing method based on DIP (Digital Image Processing) to enhance the 2D facial expression guide model on the image of the region of interest, A method based on OSG (Open Scene Graph), OSG (Open Scene Graph) ART, and CAL3D can be used.
다음, 패턴 추출부(160)는 관심 영역 검출부(110)에서 검출된 관심 영역의 영상으로부터 특징점을 포함한 사용자의 얼굴 패턴을 실시간으로 추출한다.Next, the pattern extracting unit 160 extracts a face pattern of the user including the feature point from the image of the ROI detected by the ROI detecting unit 110 in real time.
패턴을 추출하는 방법은 도 1f에 도시된 바와 같이, 검출된 관심 영역의 이미지이로부터 특징점(예를 들면, 눈꺼풀 라인의 포인트들, 입술 윤곽 포인트들, 눈썹 라인의 포인트들 등)들을 추출하는 것이다.A method of extracting a pattern is to extract feature points (for example, points of an eyelid line, lip contour points, points of an eyebrow line, etc.) from an image of the detected region of interest, as shown in FIG.
이와 같이, 검출된 관심 영역(ROI, Region of interest)의 이미지로부터 특징점(Feature Point)을 포함한 사용자의 얼굴 패턴에 대한 특징점(Feature Point)을 추출하기 위해 AAM(Active Appearance Model), Adaboost, PCA(Principal Component Analysis), HMM(Hidden Markov models), LBP(Local Binary Pattern) 중 적어도 어느 하나에 의한 방법을 사용할 수 있다.In order to extract a feature point of a user's face pattern including a feature point from an image of a detected region of interest (ROI), an AAM (Active Appearance Model), an Adaboost, a PCA Principal Component Analysis (HMM), Hidden Markov models (HMM), and Local Binary Pattern (LBP).
LBP(Local Binary Pattern) 방법은 모바일 단말기에서 취득되는 영상이 가지 는 문제점 중 한가지인 영상의 밝기 변화에 대한 문제에 대해 독립적으로 안정적인 패턴을 추출하여, 더욱 자연스러운 영상을 제공할 수 있는 효과가 있다.The LBP (Local Binary Pattern) method extracts a stable pattern independent of the brightness change of the image, which is one of the problems of the image captured by the mobile terminal, and provides a more natural image.
보다 상세히 설명하면, 이때 모바일 단말기에서는 균일한 조명 조건에서 영상이 얻어질 수 없는 문제가 있는데, 이를 LBP(Local Binary Pattern) 방법과 같이 각 특징점들 사이의 관계정보(예를들면, 각 픽셀의 grey level 차이 값 등)를 이용함으로써 패턴 정보를 가공하여 해결할 수 있는 것이다.More specifically, there is a problem that an image can not be obtained under a uniform illumination condition in the mobile terminal. In this case, the relationship between the feature points (for example, gray level of each pixel level difference value, etc.), the pattern information can be processed and solved.
다음, 패턴 매칭부(170)는 도 1g와 같이, 패턴 추출부(160)에서 추출된 특징점으로 구성되는 얼굴 패턴과 모델 증강부(150)에서 관심 영역의 영상 상에 증강(Augmentation)된 표정가이드 모델을 매칭(Matching)하는 기능을 한다.1G, the pattern matching unit 170 includes a face pattern formed by the feature points extracted by the pattern extracting unit 160 and a face pattern formed by augmentation on the image of the region of interest in the model enhancer 150 Matches the model.
도 1g (a)는 추출된 얼굴 패턴과 2D 형태로 웃는 표정가이드 모델이 함께 증강되어 매칭 된 예이고, 도 1g (b)는 추출된 얼굴 패턴과 3D 형태로 웃는 표정가이드 모델이 함께 증강되어 매칭 된 예이다.FIG. 1 (g) shows an example in which the extracted face pattern and the smiling face guide model are both enhanced and matched. FIG. 1 (b) .
다음, 유사도 판단부(190) 패턴 매칭부(170)에서 매칭된 얼굴 패턴과 표정가이드 모델과의 유사도를 판단(Similarity Measurement)하는 기능을 한다.Next, the similarity determination unit 190 performs a similarity measurement of the matching pattern between the matching face pattern and the facial expression guide model in the pattern matching unit 170.
유사도 판단부(190)는 패턴 매칭부(170)에서 매칭된 얼굴 패턴과 표정가이드 모델과의 유사도를 판단(Similarity Measurement)하기 위해 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance), 해밍 거리(Hamming Distance) 중 적어도 하나의 측정치를 이용하여 유사도를 판단하는 방법을 사용할 수 있다.The similarity determining unit 190 may determine a cosine distance, an Euclidean distance, a Hamming distance, and the like to determine similarity between the matching face pattern and the facial expression guide model in the pattern matching unit 170. [ And a distance (Hamming Distance) may be used to determine the degree of similarity.
유사도 판단부(190)의 유사도 판단 임계값은 패턴 매칭부(170)에서 매칭된 얼굴 패턴과 표정가이드 모델 사이의 차이로 판단이 가능하며, 사용자가 임의로 결 정할 수 있다. 이와 같이 함으로써, 사용자 스스로가 웃는 표정에 대한 연습의 난이도를 스스로 결정할 수 있는 것이다.The similarity determination threshold value of the similarity degree determiner 190 can be determined by a difference between the matching face pattern and the facial expression guide model in the pattern matching unit 170, and the user can arbitrarily determine the similarity determination threshold value. By doing so, the user can determine the degree of difficulty of the exercise for the smile on his / her own.
또한, 이와 다르게, 패턴 매칭부(170)에서 매칭된 얼굴 패턴과 표정가이드 모델 사이의 차이가 70%(퍼센트)이상 100%(퍼센트)이하의 범위 내에서 미리 설정될 수도 있다.Alternatively, the difference between the matching face pattern and the facial expression guide model in the pattern matching unit 170 may be set within a range of 70% (percent) to 100% (percent) or less.
유사도 판단부(190)는 얼굴 패턴과 표정가이드 모델이 서로 잘 매칭되었는지 결정하는 임계값을 SVM(Support Vector Machine) 등의 패턴 분석 및 인식(Pattern Analysis and Recognition) 방법을 이용하여 오류(Error)가 최소가 되는 선형(Linear) 또는 비선형 분류자(Non-linear classifier)를 구함으로써 동적으로 또는 정적으로 구할 수 있다. 표정 영상 트레이닝을 위한 방법은 인종에 따라 다른 방법 및 특징이 이용될 수 있으므로, 이와 같은 문화적 백그라운드에 따른 개인화된 정보를 이용하여 얼굴 패턴 추출 방법이 다르게 적용될 수 있는 것이다.The similarity determination unit 190 determines whether a threshold value for determining whether the face pattern and the facial expression guide model match each other is an error by using a Pattern Analysis and Recognition method such as Support Vector Machine (SVM) It can be obtained dynamically or statically by obtaining a linear or non-linear classifier that is minimized. The face pattern extraction method can be applied differently using the personalized information according to the cultural background because different methods and features can be used according to race.
이후, 유사도 판단부(190)에서 사용자가 증강된 표정가이드 모델에 맞게 알맞게 표정연습을 잘했다고 판단되는 경우(즉, 유사도 판단의 임계값보다 높은 유사도를 나타내는 패턴 매칭값이 나오는 경우) 표정 연습의 성공을 축하하는 이벤트가 발생하는 이벤트 발생부(191)로 넘어가게 되고, 이후 다른 표정을 연습할지 여부를 결정하는 재시도 여부 판단부(192)로 넘어가게 된다.Thereafter, when it is determined in the similarity degree determining unit 190 that the user has exercised his / her facial exercise appropriately in accordance with the enhanced facial expression guide model (i.e., a pattern matching value indicating a degree of similarity higher than the threshold value of the degree of similarity determination appears) The process proceeds to the event generating unit 191 where the event to celebrate the success occurs, and then the process goes to the retry determination unit 192 for determining whether to exercise another facial expression.
그러나, 사용자가 증강된 표정가이드 모델에 맞는 표정연습을 잘하지 못하고 있다고 판단하는 경우(낮은 유사도를 나타내는 패턴 매칭값), 현재 증강되어 있는 표정가이드 모델이 그대로 증강되어 남아있게 되며 시스템에 실시간으로 취득되고 있는 사용자의 얼굴 표정에 대한 이미지로부터 사용자의 얼굴 부분에 대한 관심 영역을 계속 찾게 되고, 그 검출된 관심 영역의 이미지에서 사용자 얼굴 표정의 특징점을 찾아 반복적으로 앞서 행한 매칭 단계를 수행하게 된다.However, when the user judges that the user does not exercise the facial expression corresponding to the enhanced facial expression guide model (pattern matching value indicating a low degree of similarity), the currently enhanced facial expression guide model is intact and remains intact. The user searches for the region of interest for the face of the user from the image of the user's facial expression and searches for the feature point of the user's facial expression in the detected region of interest to repeatedly perform the matching step.
이와 같은 본 발명의 휴대용 얼굴 표정 연습 장치의 제1 실시예에는 도 1h (a)와 같이, 패턴 매칭부(170)와 유사도 판단부(190) 사이에 시각적 주석 표시부(180)를 더 포함할 수 있다.The first embodiment of the portable facial expression exercising apparatus according to the present invention may further include a visual annotation display unit 180 between the pattern matching unit 170 and the similarity determination unit 190 as shown in FIG. have.
시각적 주석 표시부(180)는 패턴 추출부(160)에서 추출된 얼굴 패턴과 모델 증강부(150)에서 증강(Augmentation)된 표정가이드 모델 사이의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 기능을 한다.The visual annotation display unit 180 displays a visual annotation for indicating the difference between the face pattern extracted by the pattern extracting unit 160 and the facial expression guide model that is augmented in the model enhancer 150 Function.
도 1h (b)에 표시된 바와 같이, 시각적 주석 표시부(180)는 표정가이드 모델과 검출된 사용자 표정 패턴에 대한 특징을 동시에 증강함으로써 직관적으로 표정 연습 정도에 대한 피드백(Feedback)을 줄 수 있고, 어느 방향으로 어느 부위를 더 움직여야 하는지를 알 수 있다. As shown in FIG. 1 (h), the visual annotation display unit 180 intuitively enhances the characteristics of the detected facial expression pattern and the detected user facial pattern, thereby giving feedback on the degree of facial expression exercise, Direction to which to move further.
이때 시각적 주석 표시는 직관적으로 인지할 수 있는 표시를 위해 사회에서 직관적으로 쓰이는 기호 또는 표기 방법을 사용할 수도 있고, 그림 동영상 문자 등의 미디어 정보를 해당 위치에 나타냄으로써 표시할 수도 있다. At this time, the visual annotation display can be used by intuitively used symbols or notation methods in the society for intuitively recognizable display, or by displaying media information such as picture animation characters at the corresponding positions.
도 2a 내지 2c는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제2 실시예를 설명하기 위한 도이다.2A to 2C are views for explaining a second embodiment of a portable facial expression exercising apparatus according to the present invention.
도시된 바와 같이, 제2 실시예에는 자세 측정부(210)와 자세 변경부(250)가 더 포함되고, 증강여부 판단부(220), 임시 저장부(240)의 기능이 제1 실시예와 차 이가 생기게 된다.As shown in the figure, the second embodiment further includes an attitude measuring unit 210 and an attitude changing unit 250. The functions of the augmentation determining unit 220 and the temporary storage unit 240 are the same as those of the first embodiment and the second embodiment. There will be tea.
관심 영역 검출부 이후의 자세 측정부(210)는 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 시스템의 현재 자세를 측정하는 기능을 한다.The posture measuring unit 210 after the region of interest detecting unit measures the current posture of the user or the current posture of the system from the image of the region of interest.
자세 측정의 방법에는 사용자의 현재 자세를 측정하는 방법과 시스템의 현재 자세를 측정하는 방법이 있다.The method of attitude measurement includes a method of measuring the user's current attitude and a method of measuring the current attitude of the system.
자세 측정부(210)는 사용자의 현재 자세 측정을 위해 SVM(Support Vector Machine), PCA(Principal Component Analysis), Adaboost, AAM(Active Appearance Model), HMM(Hidden Markov models)과 같은 패턴 분석/인식(Pattern Analysis or Recognition)에 기반한 방법 중 적어도 어느 하나의 방법을 사용할 수 있다.The attitude measuring unit 210 measures the current attitude of a user by using pattern analysis / recognition (SVM) such as Support Vector Machine (SVM), Principal Component Analysis (PCA), Adaboost, Active Appearance Model Pattern Analysis or Recognition) may be used.
예를 들면, SVM(Support Vector Machine), PCA(Principal Component Analysis), Adaboost, AAM(Active Appearance Model), HMM(Hidden Markov models)등의 패턴 분석/인식(Pattern Analysis or Recornition)에 기반하여 얻어진 특징점을 실시간으로 트랙킹 함으로써 추출된 점들로 이루어진 면의 면적(특징점 추출 개수와 면적 분할 개수는 임의로 사용자가 정할 수 있다.)에 대한 비율 또는 특징점들간의 거리비를 실시간으로 취득되는 영상 중 현재의 취득된 프레임의 영상과 적당량의 이전 프레임의 영상과 비교함으로써 얼굴의 자세를 측정할 수 있는 것이다. For example, feature points obtained based on Pattern Analysis or Recognition such as Support Vector Machine (SVM), Principal Component Analysis (PCA), Adaboost, Active Appearance Model (AAM), and Hidden Markov models (The number of feature points extracted and the number of divided areas can be arbitrarily set by the user) or the ratio of the distances between the minutiae points can be obtained from the images acquired in real time It is possible to measure the posture of the face by comparing the image of the frame with the image of the previous frame of an appropriate amount.
도 2b에서는 이와 같이 사용자의 현재 자세를 측정하는 방법의 일례를 보여준다.FIG. 2B shows an example of a method of measuring the current posture of the user.
이렇게 얻어진 사용자의 현재 얼굴의 자세 정보를 이용하여 모델 증강부는 그 자세와 상응하는 표정가이드 모델을 실시간으로 취득되는 사용자의 얼굴 이미지 에 동적으로 증강할 수 있다. Using the obtained attitude information of the current face of the user, the model enhancer can dynamically increase the facial image model corresponding to the attitude to the user's facial image acquired in real time.
또한, 제2 실시예에 따른 본 발명은 사용자의 선택에 따라 추정된 얼굴의 자세와 상응하지 않는 표정 모델을 사용자의 얼굴에 대한 관심 영역의 이미지 위에 증강할 수도 있는데, 이때에는 사용자가 증강된 표정가이드 모델의 자세(Pose)와 표정 모두를 연습하는 효과를 얻을 수 있다. According to the second embodiment of the present invention, a facial expression model that does not correspond to the estimated facial attitude according to the user's selection may be augmented on the image of the region of interest for the user's face. At this time, You can get the effect of practicing both the pose and expression of the guide model.
또한, 자세 측정부(210)는 시스템의 현재 자세를 측정하기 위해 모션 센서(Motion Sensor), 위치 센서(Location Sensor), 자이로 센서(Gyro Sensor) 중 적어도 하나의 방법을 사용함으로써, 시스템이 얼마나 기울어 있는지 등의 정보를 이용함으로써 단말기의 자세를 추정할 수도 있다. The attitude measuring unit 210 may use at least one of a motion sensor, a position sensor and a gyro sensor to measure the current attitude of the system, It is possible to estimate the posture of the terminal.
이와 같은, 시스템의 현재 자세 또는 사용자의 현재 자세는 자세 측정부(210)에 의해 자동적으로 측정될 수도 있지만, 사용자가 임의로 시스템의 현재 자세 또는 사용자의 현재 자세를 설정할 수도 있다.The current posture of the system or the current posture of the user may be automatically measured by the posture measuring unit 210, but the user may arbitrarily set the current posture of the system or the current posture of the user.
다음, 도 2a에서, 증강여부 판단부(220)는 관심 영역 검출부(110)에서 검출된 관심 영역의 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단한다. 2A, the augmentation determining unit 220 determines whether the facial expression guide model corresponding to the image of the ROI detected by the ROI detecting unit 110 has been used for the enhancement.
그리고, 임시 저장부(240)는 증강여부 판단부(220)에서 검출된 관심 영역의 영상에 대응하는 표정가이드 모델의 사용이 없었던 것으로 판단된 경우, 시스템에 내장되고, 패턴 표정가이드 모델이 내장된 데이터 베이스(230)로부터 표정가이드 모델을 선택적으로 로딩(Loading)하여 새로운 표정가이드 모델로 임시로 저장하거나, 증강여부 판단부(220)에서 표정가이드 모델의 사용이 있었던 것으로 판단된 경 우, 증강에 사용되었던 해당 표정가이드 모델을 임시로 저장하는 기능을 한다.If it is determined that there is no use of the facial expression guide model corresponding to the image of the region of interest detected by the augmentation determination unit 220, the temporary storage unit 240 may be embedded in the system, If the facial expression guide model is selectively loaded from the database 230 and temporarily stored as a new facial expression guide model or if it is determined that the facial expression guide model is used in the augmentation determination unit 220, It temporarily stores the used face guide model.
자세 변경부(250)는 사용자의 현재 자세나 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 임시 저장부(240)에 저장된 표정가이드 모델의 자세를 변경하는 기능을 한다.The attitude changing unit 250 has a function of changing the attitude of the facial expression guide model stored in the temporary storage unit 240 in order to enhance the facial expression guide model according to the changed attitude when the current attitude of the user or the current attitude of the system is changed do.
이와 같은 증강될 표정가이드 모델의 자세를 변경하는 것은 얼굴 표정 연습 장치에 의해 사용자의 현재 자세 또는 시스템의 현재 자세를 자세 측정부(210)에서 자동적으로 측정하여 변경되도록 설정할 수도 있지만, 이와 다르게 사용자가 사용자의 현재 자세 또는 시스템의 현재 자세를 임의로 설정하여 표정가이드 모델의 자세를 변경할 수도 있다. In order to change the posture of the facial expression guide model to be augmented as described above, the posture measuring unit 210 may automatically measure and change the current posture of the user or the current posture of the system by the facial expression exercising apparatus. Alternatively, The attitude of the facial expression guide model can be changed by arbitrarily setting the current posture of the user or the current posture of the system.
따라서, 사용자가 이전 자세가 도 2b의 (a)에 도시된 바와 같이 정면 자세인 경우에서, 사용자의 현재 자세가 도 2b의 (b)에 도시된 바와 같이 측면 자세로 변경된 경우, 변경된 자세에 따라 표정가이드 모델의 자세가 자동적으로 변경되도록 설정할 수 있는 것이다.Therefore, when the user's previous posture is the front posture as shown in FIG. 2B (a), and the user's current posture is changed to the side posture as shown in FIG. 2B (b) The orientation of the facial expression guide model can be automatically changed.
이후 모델 증강부(150)에서, 자세가 변경된 표정가이드 모델이 현재 사용자의 자세에 맞추어 검출된 관심 영역의 영상 상에 증강될 수 있는 것이다.In the model enhancer 150, the facial expression guide model in which the posture is changed can be augmented on the image of the region of interest detected according to the posture of the current user.
예를 들어, 도 2c (a)에서는 사용자의 현재 자세가 정면 자세인 경우, 표정가이드 모델이 정면 자세로 변경되어 2D 또는 3D로 증강된 예이다.For example, in FIG. 2C (a), when the user's current posture is the frontal posture, the facial expression guide model is changed to the frontal posture to enhance it to 2D or 3D.
도 2c의 (b)는 표정가이드 모델이 정면이 아닌 측면 자세로 관심 영역의 영상 상에 2D 또는 3D로 증강된 예를 보여준다. (B) of FIG. 2 (c) shows an example in which the facial expression guide model is enhanced in 2D or 3D on the image of the region of interest as a side posture rather than a frontal view.
또한, 도 2c의 (c)는 사용자의 입술에 대한 표정가이드 모델뿐만 아니라 코 나 턱 윤각에 대한 표정가이드 모델을, 전부 동시에 자세를 변경하여 2D로 증강할 있을 뿐만 아니라, 2D와 3D로 복합 증강할 수 있는 예를 보여준다.In addition, FIG. 2c (c) shows not only a facial expression guide model for the user's lips but also a facial expression guide model for nose and tingles, Show examples you can do.
여기서, 2c의 (b)나 (c)와 같이, 사용자의 현재 자세가 정면 자세인 경우에도 증강된 표정가이드 모델을 사용자가 사용자의 현재 자세를 임의로 설정하여, 실제로는 사용자의 자세에 따라 변경되어 표정가이드 모델이 증강된 예를 볼 수 있다.Here, as shown in (b) and (c) of FIG. 2C, even if the current posture of the user is the front posture, the user can arbitrarily set the current posture of the user in the enhanced facial expression guide model, You can see an example of enhanced facial guide model.
또한, (c)와 같이, 사용자가 사용자의 얼굴이 가장 예쁘게 보이도록 시스템의 현재 자세 또는 사용자의 현재 자세를 임의로 설정하여, 표정가이드 모델이 시스템의 현재 자세 또는 사용자의 현재 자세에 따라 증강되도록 한 다음, 이에 따라 표정을 연습할 수도 있다.Also, as shown in (c), the current posture of the system or the current posture of the user may be arbitrarily set so that the face of the user looks the most beautiful, so that the facial expression guide model is enhanced according to the current posture of the system or the current posture of the user Then, you can practice your expression accordingly.
또한, 제2 실시예에서도, 도시되지는 않았지만, 시각적 주석 표시부(180)가 패턴 매칭부(170)와 유사도 판단부(190) 사이에 더 포함될 수 있다.Also in the second embodiment, although not shown, the visual annotation display unit 180 may be further included between the pattern matching unit 170 and the similarity determination unit 190.
도 3은 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제3 실시예를 설명하기 위한 도이다.3 is a view for explaining a third embodiment of a portable facial expression exercising apparatus according to the present invention.
제3 실시예는 , 제1 실시예나 제2 실시예와 다르게, 사용자의 얼굴 영역에 대한 보다 상세한 관심 영역의 영상을 검출하여, 이를 기초로 개인화된 표정가이드 모델을 자동 생성할 수 있는 휴대용 얼굴 표정 연습 장치의 일례를 보여준다. The third embodiment differs from the first and second embodiments in that an image of a more detailed region of interest for a user's face region is detected and a portable facial expression Shows an example of the exercise device.
도 3의 (a)에 도시된 바와 같이, 세부 관심 영역 검출부(310)는 시스템에 업-로드(Up-Load)된 영상부터 사용자에 대한 관심 영역(Detailed ROI, Region of interest)의 영상으로 사용자의 얼굴 일부분에 대한 특징점(Feature Point)을 검출 한다. 3 (a), the ROI detecting unit 310 detects a ROI of a region of interest (ROI) of a user from a video uploaded to the system, And detects a feature point of a part of the face of the user.
이때에도 세부 관심 영역의 이미지로부터 특징점(Feature Point)을 검출하기 위해 AAM(Active Appearance Model), Adaboost, PCA(Principal Component Analysis), HMM(Hidden Markov models), LBP(Local Binary Pattern) 중 적어도 하나 이상의 기법을 사용하여 특징점을 검출할 수 있음은 물론이다.At this time, at least one of an Active Appearance Model (AAM), an Adaboost, a Principal Component Analysis (PCA), a Hidden Markov models (HMM), and a Local Binary Pattern (LBP) It is needless to say that the feature point can be detected using the technique.
일례로, 도 3의 (b)에 도시된 바와 같이, 검출된 얼굴 영역에 대한 세부 관심 영역의 이미지로부터 세부적으로 빠르고 정교하게 얼굴 특징점을 추출하는 AAM(Active Appearance Model)을 이용하는 학습 기반 얼굴 특징점 추출 방법으로 양 눈꼬리 점, 양쪽 눈의 상하 윤곽, 입선의 윤곽 등을 얼굴 특징점으로 추출할 수 있는 것이다.For example, as shown in FIG. 3 (b), learning-based facial feature point extraction using an AAM (Active Appearance Model) that extracts facial feature points in a detailed and precise manner from an image of a detailed region of interest in the detected face region In this method, both eye tails, the top and bottom outlines of both eyes, and the outline of the entrance line can be extracted as facial feature points.
증강여부 판단부(220)는 관심 영역 검출부(110)에서 검출된 관심 영역의 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단한다. The augmentation determination unit 220 determines whether the face guide model corresponding to the image of the ROI detected by the ROI detection unit 110 has been used for the enhancement.
다음, 임시 저장부(340)는 증강여부 판단부(220)에서 사용자의 개인화된 표정가이드 모델의 사용이 없었던 것으로 판단된 경우, 새로운 표정가이드 모델로 검출된 관심 영역의 영상으로부터 특징점을 분석하여 시스템에 내장되고, 기본 표정가이드 모델이 저장된 제 2 데이터 베이스(330)로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 로딩하여 저장하거나, 증강여부 판단부(220)에서 사용자의 개인화된 표정가이드 모델의 사용이 있었던 것으로 판단된 경우, 증강에 사용되었던 해당 표정가이드 모델을 임시로 저장한다.Next, in the case where it is determined that the user's personalized facial expression guide model has not been used in the augmentation determination unit 220, the temporary storage unit 340 analyzes the feature points from the image of the interest region detected by the new facial expression guide model, And stores the personalized facial expression guide model created by synthesizing with the basic facial expression guide model loaded from the second database 330 in which the basic facial expression guide model is stored, If it is determined that the personalized facial expression guide model has been used, the facial expression guide model used for the enhancement is temporarily stored.
이후의 단계는 전술한 바와 동일하거나 그로부터 용이하게 알 수 있으므로 생략한다.The subsequent steps are the same as those described above or are easily known from there, and thus will be omitted.
도 4는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제4 실시예를 설명하기 위한 도이다.4 is a view for explaining a fourth embodiment of a portable facial expression exercising apparatus according to the present invention.
도 4에 도시된 바와 같이, 휴대용 얼굴 표정 연습 장치의 제4 실시예는 영상 획득부(100),관심 영역 검출부(310), 자세 측정부(210), 증강여부 판단부(220), 표정가이드 모델 결정부(410), 표정가이드 모델 생성부(430), 표정가이드 모델 로딩부(450), 임시 저장부(460), 자세 변경부(250), 모델 증강부(350), 패턴 매칭부(170), 유사도 판단부(190), 시각적 주석 표시부(180)를 포함한다.4, the fourth embodiment of the portable facial expression exercising apparatus includes an image acquiring unit 100, a region of interest detecting unit 310, an attitude measuring unit 210, an augmentation determining unit 220, The model determining unit 410, the facial expression guide model generating unit 430, the facial expression guide model loading unit 450, the temporary storage unit 460, the posture changing unit 250, the model enhancing unit 350, 170, a similarity determination unit 190, and a visual annotation display unit 180.
영상 획득부(100), 관심 영역 검출부(310), 자세 측정부(210), 증강 여부 판단부, 자세 변경부(250), 모델 증강부(350) 패턴 매칭부(170), 유사도 판단부(190), 시각적 주석 표시부(180)는 전술한 바와 동일하거나 그로부터 용이하게 이해할 수 있으므로 이에 대한 상세한 설명은 생략한다.An image enhancement unit 250, a model enhancement unit 350, a pattern matching unit 170, a similarity determination unit (not shown), and a similarity determination unit 170. The image acquisition unit 100, the ROI detection unit 310, the posture measurement unit 210, 190, and the visual annotation display unit 180 are the same as those described above or can be easily understood therefrom, and a detailed description thereof will be omitted.
표정가이드 모델 결정부(410)는 증강 여부 판단부(220)에서 표정가이드 모델의 사용이 없는 경우, 시스템에 내장된 제 1 데이터 베이스(420)에 저장된 패턴화된 표정가이드 모델을 새로운 표정가이드 모델로 사용할지 여부를 결정한다.When the enhancement determining unit 220 does not use the facial expression guide model, the facial expression guide model determiner 410 converts the patterned facial expression guide model stored in the first database 420 built in the system into a new facial expression guide model As shown in FIG.
만약, 표정가이드 모델 결정부(410)에서 패턴화된 표정가이드 모델의 사용이 거부된 경우, 표정가이드 모델 생성부(430)는 새로운 표정가이드 모델로 검출된 관심 영역의 영상으로부터 특징점을 분석하여 시스템에 내장되고 기본 표정가이드 모델이 내장된 제 2 데이터 베이스(440)로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 생성하여 제 1 데이터 베이스(420)에 저 장하게 된다.If the use of the patterned facial expression guide model is rejected by the facial expression guide model determining unit 410, the facial expression guide model generating unit 430 analyzes the feature points from the image of the region of interest detected by the new facial expression guide model, And a personalized facial expression guide model generated by compositing the basic facial expression guide model with the basic facial expression guide model loaded from the second database 440 in which the basic facial expression guide model is embedded is generated and stored in the first data base 420.
그리고, 표정가이드 모델 로딩부(450)는 표정가이드 모델 결정부(410)에서 패턴화된 표정가이드 모델의 사용이 승인된 경우, 제 1 데이터 베이스(420)로부터 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 새로운 표정가이드 모델로 선택적으로 로딩하거나, 패턴화된 표정가이드 모델의 사용이 거부된 경우, 표정가이드 모델 생성부(430)에 의해 제 1 데이터 베이스(420)에 저장된 개인화된 표정가이드 모델을 새로운 표정가이드 모델로 로딩하는 기능을 한다.When the use of the patterned guide guide model is approved by the facial expression guide model determining unit 410, the facial expression guide model loading unit 450 updates the patterned facial image corresponding to the image detected from the first database 420 If the facial expression guide model is selectively loaded into the new facial expression guide model or the use of the patterned facial expression guide model is denied, the facial expression guide model generation unit 430 generates a personalized facial expression guide And loads the model into a new face guide model.
이후, 임시 저장부(460)는 증강여부 판단부(220)에서 표정가이드 모델의 사용이 없었던 것으로 판단된 경우 표정가이드 모델 로딩부(450)가 로딩한 표정가이드 모델을 임시로 저장하거나, 증강여부 판단부(220)에서 표정가이드 모델의 사용이 있었던 것으로 판단된 경우 증강에 사용되었던 해당 표정가이드 모델을 임시로 저장한다.The temporary storage unit 460 temporarily stores the facial expression guide model loaded by the facial expression guide model loading unit 450 when it is determined that the facial expression guide model is not used in the augmentation determination unit 220, If the determination unit 220 determines that the use of the facial expression guide model has been performed, the facial expression guide model used for the enhancement is temporarily stored.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
도 1a 내지 도 1h는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제1 실시예를 설명하기 위한 도.1A to 1H are views for explaining a first embodiment of a portable facial expression exercising apparatus according to the present invention.
도 2a 내지 2c는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제2 실시예를 설명하기 위한 도.FIGS. 2A to 2C are views for explaining a second embodiment of a portable facial expression exercising apparatus according to the present invention;
도 3은 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제3 실시예를 설명하기 위한 도.3 is a view for explaining a third embodiment of a portable facial expression exercising apparatus according to the present invention.
도 4는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제4 실시예를 설명하기 위한 도.4 is a view for explaining a fourth embodiment of a portable facial expression exercising apparatus according to the present invention.

Claims (17)

  1. 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하는 관심 영역 검출부;An area of interest detection unit for detecting an image of a region of interest with respect to a face portion from a user image uploaded to the system;
    상기 검출된 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단하는 증강 여부 판단부; An augmentation determining unit for determining whether a facial expression guide model corresponding to the detected image has been used for augmentation;
    상기 증강 여부 판단부의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 임시 저장부;A temporary storage unit for storing a previously used facial expression guide model or a new facial expression guide model according to the determination of the enhancement unit;
    상기 저장된 표정가이드 모델을 상기 검출된 관심 영역의 영상에 증강하는 모델 증강부;A model enhancer for enhancing the stored facial expression guide model to an image of the detected region of interest;
    상기 검출된 영상의 얼굴 패턴과 상기 관심 영역 상에 증강된 표정가이드 모델 간의 유사도를 판단하는 유사도 판단부; 및A degree of similarity determining unit for determining a degree of similarity between a face pattern of the detected image and an enhanced facial expression guide model on the region of interest; And
    상기 얼굴 패턴과 상기 증강 영상 상의 표정가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 시각적 주석 표시부A visual annotation display unit for displaying a visual annotation for displaying a difference between the face pattern and the expression guide model on the augmented image,
    를 포함하는 휴대용 얼굴 표정 연습 장치.A portable facial expression exercise device comprising:
  2. 삭제delete
  3. 제 1 항에 있어서,The method according to claim 1,
    상기 관심 영역 검출부는The region of interest detection unit
    상기 관심 영역의 영상으로 사용자의 얼굴 일부분에 대한 영상을 검출하거나 사용자의 얼굴 일부분에 대한 특징점을 검출하는 것Detecting an image of a part of a user's face with the image of the ROI or detecting a feature point of a part of the user's face
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.And a portable facial expression exercise device.
  4. 제 3 항에 있어서,The method of claim 3,
    상기 관심 영역 검출부는The region of interest detection unit
    상기 관심 영역의 영상를 검출하기 위해 Adaboost, AAM(Active Appearance Model), PCA(Principal Component Analysis), SVM(Support Vector Machine), HMM(Hidden Markov models) 중 적어도 하나에 의한 방법을 사용하는 것 The method using at least one of Adaboost, Active Appearance Model (AAM), Principal Component Analysis (PCA), Support Vector Machine (SVM), and HMM (Hidden Markov models)
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.And a portable facial expression exercise device.
  5. 제 1 항에 있어서,The method according to claim 1,
    상기 임시 저장부는The temporary storage unit
    상기 새로운 표정가이드 모델로 상기 시스템에 내장된 제 1 데이터 베이스로부터 선택적으로 로딩된 표정가이드 모델을 저장하거나,Storing the selectively loaded facial expression guide model from the first database built in the system with the new facial expression guide model,
    상기 새로운 표정가이드 모델로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 상기 시스템에 내장된 제 2 데이터 베이스로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 로딩하여 저장하는 것Analyzing feature points from the detected image of the ROI using the new facial expression guide model and loading and storing a personalized facial expression guide model generated by synthesizing the extracted facial expression guide model with a basic facial expression guide model loaded from a second database built in the system
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.And a portable facial expression exercise device.
  6. 제 1 항에 있어서,The method according to claim 1,
    상기 모델 증강부는The model reinforcement unit
    상기 표정가이드 모델을 상기 관심 영역의 영상 상에 증강하기 위해 DIP (Digital Image Processing), OSG(Open Scene Graph), OSG(Open Scene Graph)ART, CAL3D를 이용한 방법 중 적어도 하나에 의한 방법을 사용하는 것A method using at least one of DIP (Digital Image Processing), OSG (Open Scene Graph), OSG (Open Scene Graph) ART, and CAL3D is used to enhance the facial expression guide model on the image of the ROI that
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.And a portable facial expression exercise device.
  7. 제 1 항에 있어서,The method according to claim 1,
    상기 유사도 판단부는The similarity-
    상기 얼굴 패턴과 상기 표정가이드 모델과의 유사도를 판단(Similarity Measurement)하기 위해 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance), 해밍 거리(Hamming Distance) 중 적어도 하나의 측정치를 이용하여 유사도를 판단하는 방법을 사용하는 것A similarity degree between the face pattern and the facial expression guide model is measured using at least one of a cosine distance, an Euclidean distance, and a Hamming distance, To use a method to determine
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.And a portable facial expression exercise device.
  8. 제 5 항에 있어서,6. The method of claim 5,
    상기 유사도 판단부의 유사도 판단 임계값은 사용자에 의해 임의로 결정되는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.Wherein the similarity determination threshold value of the similarity degree determiner is arbitrarily determined by the user.
  9. 제 1 항에 있어서,The method according to claim 1,
    상기 휴대용 얼굴 표정 연습 장치는The portable facial expression exercising apparatus
    상기 검출된 관심 영역의 영상으로부터 특징점을 포함한 얼굴 패턴을 추출하는 패턴 추출부; 및A pattern extracting unit for extracting a face pattern including a feature point from the detected image of the ROI; And
    상기 얼굴 패턴과 상기 증강 영상 사의 표정가이드 모델을 매칭(Matching)하는 패턴 매칭부;A pattern matching unit for matching a facial pattern with a facial expression guide model of the augmented image;
    를 더 포함하는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.Further comprising: a portable facial expression exercising apparatus.
  10. 제 9 항에 있어서,10. The method of claim 9,
    상기 패턴 추출부는The pattern extracting unit
    상기 특징점(Feature Point)을 추출하기 위해 AAM(Active Appearance Model), Adaboost, PCA(Principal Component Analysis), HMM(Hidden Markov models), LBP(Local Binary Pattern) 중 적어도 하나에 의한 방법을 사용하는 것A method using at least one of Active Appearance Model (AAM), Adaboost, Principal Component Analysis (PCA), Hidden Markov models (HMM), and Local Binary Pattern (LBP) to extract the feature points
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.And a portable facial expression exercise device.
  11. 제 1 항에 있어서,The method according to claim 1,
    상기 얼굴 표정 연습 장치는 The facial expression exercising apparatus
    상기 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 상기 시스템의 현재 자세를 측정하는 자세 측정부;및An attitude measuring unit for measuring a current attitude of a user from an image of the region of interest or measuring a current attitude of the system;
    상기 사용자의 현재 자세나 상기 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 상기 임시 저장부에 저장된 표정가이드 모델의 자세를 변경하는 자세 변경부;A posture changing unit for changing a posture of the facial expression guide model stored in the temporary storage unit so as to enhance the facial expression guide model according to the changed posture when the current posture of the user or the current posture of the system is changed;
    를 더 포함하는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.Further comprising: a portable facial expression exercising apparatus.
  12. 제 11 항에 있어서,12. The method of claim 11,
    상기 자세 측정부는The posture measuring unit
    상기 사용자의 현재 자세 측정을 위해 SVM(Support Vector Machine), PCA(Principal Component Analysis), Adaboost, AAM(Active Appearance Model), HMM(Hidden Markov models) 방법 중 적어도 하나의 방법을 사용하는 것At least one of a Support Vector Machine (SVM), Principal Component Analysis (PCA), Adaboost, Active Appearance Model (AAM), and Hidden Markov models (HMM)
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.And a portable facial expression exercise device.
  13. 제 11 항에 있어서,12. The method of claim 11,
    상기 자세 측정부는The posture measuring unit
    상기 시스템의 현재 자세를 측정하기 위해 모션 센서(Motion Sensor), 위치 센서(Location Sensor), 자이로 센서(Gyro Sensor) 중 적어도 하나의 방법을 사용하는 것The use of at least one of a motion sensor, a location sensor, and a gyro sensor to measure the current attitude of the system
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.And a portable facial expression exercise device.
  14. 제 1 항에 있어서,The method according to claim 1,
    상기 얼굴 표정 연습 장치는The facial expression exercising apparatus
    상기 증강 여부 판단부에서 상기 표정가이드 모델의 사용이 없는 경우, 상기 시스템에 내장된 제 1 데이터 베이스에 저장된 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 사용할지 여부를 결정하는 표정가이드 모델 결정부;Determining whether or not the patterned facial expression guide model stored in the first database built in the system is used as the new facial expression guide model when the enhancement determining unit does not use the facial expression guide model; part;
    상기 패턴화된 표정가이드 모델의 사용이 거부된 경우, 상기 새로운 표정가이드 모델로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 상기 시스템에 내장된 제 2 데이터 베이스로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 생성하여 상기 제 1 데이터 베이스에 저장하는 표정가이드 모델 생성부;및 And analyzing the feature point from the detected image of the ROI with the new facial expression guide model to synthesize the basic facial expression guide model loaded from the second database built in the system, A facial expression guide model generation unit for generating a personalized facial expression guide model generated by the facial expression model generation unit and storing the personalized facial expression model in the first database;
    상기 패턴화된 표정가이드 모델의 사용이 승인된 경우, 상기 제 1 데이터 베이스로부터 상기 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 선택적으로 로딩하거나, Selectively loading a patterned facial expression guide model corresponding to the detected image from the first database into the new facial expression guide model when use of the patterned facial expression guide model is approved,
    상기 패턴화된 표정가이드 모델의 사용이 거부된 경우, 상기 표정가이드 모델 생성부(430)에 의해 상기 제 1 데이터 베이스에 저장된 개인화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 로딩하는 표정가이드 모델 로딩부;If the use of the patterned facial expression guide model is denied, the facial expression guide model generating unit 430 loads the facial expression guide model for loading the personalized facial expression guide model stored in the first database into the new facial expression guide model part;
    를 더 포함하는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.Further comprising: a portable facial expression exercising apparatus.
  15. 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하는 세부 관심 영역 검출단계;A detailed ROI detection step of detecting an ROI image of a face part from an up-loaded user image;
    상기 검출된 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단하는 증강 여부 판단단계;An augmentation determination step of determining whether or not a facial expression guide model corresponding to the detected image has been used for augmentation;
    상기 증강 여부 판단부의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 임시 저장단계;A temporary storage step of storing a previously used facial expression guide model or a new facial expression guide model according to the determination of the enhancement determining unit;
    상기 저장된 표정가이드 모델을 상기 검출된 관심 영역의 영상에 증강하는 모델 증강단계; Augmenting the stored facial expression guide model to an image of the detected region of interest;
    상기 검출된 영상의 얼굴 패턴과 상기 관심 영역 상에 증강된 표정가이드 모델 간의 유사도를 판단하는 유사도 판단단계; 및 Determining a similarity degree between the face pattern of the detected image and the enhanced facial expression guide model on the ROI; And
    상기 얼굴 패턴과 상기 표정가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 시각적 주석 표시단계;A visual annotation display step of displaying a visual annotation for displaying a difference between the face pattern and the facial expression guide model;
    를 포함하는 얼굴 표정 연습 방법.The method comprising:
  16. 제 15 항에 있어서,16. The method of claim 15,
    상기 얼굴 표정 연습 방법은 The face expression exercise method
    상기 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 상기 시스템의 현재 자세를 측정하는 자세 측정단계;및A posture measuring step of measuring a current posture of a user from the image of the ROI or measuring a current posture of the system;
    상기 사용자의 현재 자세나 상기 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 상기 임시 저장단계에서 저장된 표정가이드 모델의 자세를 변경하는 자세 변경단계;A posture changing step of changing a posture of the facial expression guide model stored in the temporary storage step so that the facial expression guide model is enhanced according to the changed posture when the current posture of the user or the current posture of the system is changed;
    를 더 포함하는 것을 특징으로 하는 얼굴 표정 연습 방법.Further comprising the steps of:
  17. 제 15 항에 있어서,16. The method of claim 15,
    상기 얼굴 표정 연습 방법은 The face expression exercise method
    상기 증강 여부 판단단계에서 상기 표정가이드 모델의 사용이 없는 경우, 상기 시스템에 내장된 제 1 데이터 베이스에 저장된 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 사용할지 여부를 결정하는 표정가이드 모델 결정단계;Determining whether or not the patterned facial expression guide model stored in the first database built in the system is used as the new facial expression guide model in the case where the facial expression guide model is not used in the step of determining whether or not the facial expression enhancing state is used; step;
    상기 패턴화된 표정가이드 모델의 사용이 거부된 경우, 시스템에 내장된 제 2 데이터 베이스로부터 로딩된 기본 표정가이드 모델을 기초로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 개인화된 표정가이드 모델을 생성하여 상기 제 1 데이터 베이스에 저장하는 표정가이드 모델 생성단계;및 If the use of the patterned facial expression guide model is denied, the feature point is analyzed from the detected image of the ROI based on the basic facial expression guide model loaded from the second database built in the system, Generating a facial expression guide model and storing the generated facial expression model in the first database;
    상기 패턴화된 표정가이드 모델의 사용이 승인된 경우, 상기 제 1 데이터 베이스로부터 상기 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 선택적으로 로딩하거나, Selectively loading a patterned facial expression guide model corresponding to the detected image from the first database if the use of the patterned facial expression guide model is approved,
    상기 패턴화된 표정가이드 모델의 사용이 거부된 경우, 상기 표정가이드 모델 생성단계에 의해 상기 제 1 데이터 베이스에 저장된 개인화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 로딩하는 표정가이드 모델 로딩단계;A facial expression model loading step of loading the personalized facial expression guide model stored in the first database by the facial expression guide model creation step into the new facial expression guide model when use of the patterned facial expression guide model is rejected;
    를 더 포함하는 것을 특징으로 하는 얼굴 표정 연습 방법.Further comprising the steps of:
KR20080125357A 2008-12-10 2008-12-10 Portable Facial Expression Training System and Methods thereof KR101510798B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20080125357A KR101510798B1 (en) 2008-12-10 2008-12-10 Portable Facial Expression Training System and Methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080125357A KR101510798B1 (en) 2008-12-10 2008-12-10 Portable Facial Expression Training System and Methods thereof

Publications (2)

Publication Number Publication Date
KR20100066866A KR20100066866A (en) 2010-06-18
KR101510798B1 true KR101510798B1 (en) 2015-04-10

Family

ID=42365712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080125357A KR101510798B1 (en) 2008-12-10 2008-12-10 Portable Facial Expression Training System and Methods thereof

Country Status (1)

Country Link
KR (1) KR101510798B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753950A (en) * 2019-02-11 2019-05-14 河北工业大学 Dynamic human face expression recognition method
KR102263154B1 (en) 2020-06-16 2021-06-10 (주)프로맥스 Smart mirror system and realization method for training facial sensibility expression

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145672B1 (en) * 2011-09-20 2012-05-24 원광대학교산학협력단 A smile analysis system for smile self-training
US10345914B2 (en) * 2016-01-26 2019-07-09 Infinity Augmented Reality Israel Ltd. Method and system for generating a synthetic database of postures and gestures
CN106651302A (en) * 2016-11-30 2017-05-10 浙江水马环保科技有限公司 Intelligent PC attendance management and state monitoring method through water purifier
CN106845915A (en) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 A kind of water purifier intelligence PC Work attendance management systems
CN106845916A (en) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 A kind of intelligent APP attendance management and method for monitoring state based on water purifier
CN106845917A (en) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 A kind of intelligent APP Work attendance management systems based on water purifier
KR101996039B1 (en) 2018-09-27 2019-07-03 국립공주병원 Apparatus for constructing training template of facial emotion recognition and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034327A (en) * 2005-09-23 2007-03-28 삼성전자주식회사 Device and method for face recognition and authentication for portable terminal
KR20090050199A (en) * 2007-11-15 2009-05-20 주식회사 휴민텍 Real-time facial expression recogintion based on optical flow and hidden markov models
KR20100049776A (en) * 2008-11-04 2010-05-13 삼성전자주식회사 System and method for sensing facial gesture
KR101198322B1 (en) 2011-09-23 2012-11-06 (주) 어펙트로닉스 Method and system for recognizing facial expressions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034327A (en) * 2005-09-23 2007-03-28 삼성전자주식회사 Device and method for face recognition and authentication for portable terminal
KR20090050199A (en) * 2007-11-15 2009-05-20 주식회사 휴민텍 Real-time facial expression recogintion based on optical flow and hidden markov models
KR20100049776A (en) * 2008-11-04 2010-05-13 삼성전자주식회사 System and method for sensing facial gesture
KR101198322B1 (en) 2011-09-23 2012-11-06 (주) 어펙트로닉스 Method and system for recognizing facial expressions

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753950A (en) * 2019-02-11 2019-05-14 河北工业大学 Dynamic human face expression recognition method
CN109753950B (en) * 2019-02-11 2020-08-04 河北工业大学 Dynamic facial expression recognition method
KR102263154B1 (en) 2020-06-16 2021-06-10 (주)프로맥스 Smart mirror system and realization method for training facial sensibility expression

Also Published As

Publication number Publication date
KR20100066866A (en) 2010-06-18

Similar Documents

Publication Publication Date Title
KR101510798B1 (en) Portable Facial Expression Training System and Methods thereof
US10810409B2 (en) Identifying facial expressions in acquired digital images
CN105407346B (en) Image division method
US9013489B2 (en) Generation of avatar reflecting player appearance
US9400935B2 (en) Detecting apparatus of human component and method thereof
JP4653606B2 (en) Image recognition apparatus, method and program
US8385598B2 (en) Action analysis apparatus
JP4687265B2 (en) Image analyzer
KR101198322B1 (en) Method and system for recognizing facial expressions
JP2005242567A (en) Movement evaluation device and method
WO1999006940A9 (en) A method and apparatus for personnel detection and tracking
JP2020194608A (en) Living body detection device, living body detection method, and living body detection program
EP3241151A1 (en) An image face processing method and apparatus
WO2010133661A1 (en) Identifying facial expressions in acquired digital images
JPH08287216A (en) In-face position recognizing method
KR101447958B1 (en) Method and apparatus for recognizing body point
Jianwattanapaisarn et al. Human identification using skeletal gait and silhouette data extracted by Microsoft Kinect
CN109254663B (en) Using method of auxiliary reading robot for books of children
CN110796101A (en) Face recognition method and system of embedded platform
JP3970573B2 (en) Facial image recognition apparatus and method
JP2020098474A (en) Attribute determination device, attribute determination system, attribute determination method, program, and recording medium
KR20210073986A (en) A method and apparatus for analyzing attractiveness of target object using deep learning
Baciak et al. Facial expression recognition on RGB-D images
Vergés-Llahı et al. GAME-ABLING: Platform of Games for People with Cerebral Palsy
CN111638798A (en) AR group photo method, AR group photo device, computer equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee