KR20100066866A - 휴대용 얼굴 표정 연습 장치와 그 방법. - Google Patents

휴대용 얼굴 표정 연습 장치와 그 방법. Download PDF

Info

Publication number
KR20100066866A
KR20100066866A KR1020080125357A KR20080125357A KR20100066866A KR 20100066866 A KR20100066866 A KR 20100066866A KR 1020080125357 A KR1020080125357 A KR 1020080125357A KR 20080125357 A KR20080125357 A KR 20080125357A KR 20100066866 A KR20100066866 A KR 20100066866A
Authority
KR
South Korea
Prior art keywords
facial expression
guide model
expression guide
model
image
Prior art date
Application number
KR1020080125357A
Other languages
English (en)
Other versions
KR101510798B1 (ko
Inventor
우운택
장영균
최아영
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR20080125357A priority Critical patent/KR101510798B1/ko
Publication of KR20100066866A publication Critical patent/KR20100066866A/ko
Application granted granted Critical
Publication of KR101510798B1 publication Critical patent/KR101510798B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 휴대용 얼굴 표정 연습 장치와 그 구동 방법에 대한 것이다. 더욱 상세하게는, 본 발명에 따른 일례는 실시간으로 사용자의 표정에서 얼굴 패턴을 추출하고 표정가이드 모델을 증강함과 아울러 얼굴 표정 연습의 결과가 화면의 영상 상에 시각적으로 표시되도록 함으로써, 얼굴 표정 연습 결과를 직관적으로 파악할 수 있도록 하는 휴대용 얼굴 표정 연습 장치 및 그 구동 방법에 대한 것이다.
본 발명에 따른 일례는 실시간으로 사용자에 대한 얼굴 패턴을 추출하고 표정가이드 모델을 증강함으로써, 보다 편리하고 간편하게 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법을 제공함을 목적으로 한다.
또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 얼굴 표정 연습 결과를 시각적 표시로 구현되도록 함으로써, 직관적으로 그 결과를 파악할 수 있도록 함을 목적으로 한다.
또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 관심 영역에 대해서만 그 자세 및 표정을 측정하고 검출함으로써, 더욱 자연스러운 얼굴 표정 연습의 결과를 제공함을 목적으로 한다.
Figure P1020080125357
얼굴 표정 연습, 영상 획득부, 관심 영역 검출부, 증강 여부 판단

Description

휴대용 얼굴 표정 연습 장치와 그 방법. {Portable Facial Expression Training System and Methods thereof}
본 발명은 휴대용 얼굴 표정 연습 장치와 그 구동 방법에 대한 것이다. 더욱 상세하게는, 본 발명에 따른 일례는 실시간으로 사용자의 표정에서 얼굴 패턴을 추출하고 표정가이드 모델을 증강함과 아울러 얼굴 표정 연습의 결과가 화면의 영상 상에 시각적으로 표시되도록 함으로써, 얼굴 표정 연습 결과를 직관적으로 파악할 수 있도록 하는 휴대용 얼굴 표정 연습 장치 및 그 구동 방법에 대한 것이다.
종래에 소개된 얼굴 표정 연습 장치는 사용자의 표정 연습을 위한 시스템을 제안하고 있으나, 실시간 동작하는 시스템은 아니며, 그 단계가 너무 복잡하여 휴대폰과 같은 휴대용 장치에 적용하기 어려운 문제점이 있었다.
또한, 얼굴 표정과 관련한 기존의 기술 중에는 모바일 단말기에서 과자를 먹는 게임이 상용제품으로 출시된 바 있고, 카메라 영상에서 사용자 얼굴 영상을 받아 캐릭터 등에 적용하는 연구가 진행된 바 있으나, 실시간으로 모바일 장치에서 얼굴 표정을 연습하도록 하는 방법은 없었다.
본 발명에 따른 일례는 실시간으로 사용자에 대한 얼굴 패턴을 추출하고 표정가이드 모델을 증강함으로써, 보다 편리하고 간편하게 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법을 제공함을 목적으로 한다.
또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 얼굴 표정 연습 결과를 시각적 표시로 구현되도록 함으로써, 직관적으로 그 결과를 파악할 수 있도록 함을 목적으로 한다.
또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 관심 영역에 대해서만 그 자세 및 표정을 측정하고 검출함으로써, 더욱 자연스러운 얼굴 표정 연습의 결과를 제공함을 목적으로 한다.
본 발명에 따른 휴대용 얼굴 표정 연습 장치의 일례는 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하는 관심 영역 검출부;와 상기 검출된 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단하는 증강 여부 판단부;와 상기 증강 여부 판단부의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 임시 저장부;와 상기 저장된 표정가이드 모델을 상기 검출된 관심 영역의 영상에 증강하는 모델 증강부; 및 상기 검출된 영상의 얼굴 패턴과 상기 관심 영역 상에 증강된 표정가이드 모델 간의 유사도를 판단하는 유사도 판단부;를 포함한다.
또한, 상기 휴대용 얼굴 표정 연습 장치는 상기 얼굴 패턴과 상기 증강 영상 상의 표정가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 시각적 주석 표시부;를 더 포함할 수 있다.
여기서, 상기 관심 영역 검출부는 관심 영역의 영상으로 사용자의 얼굴 일부분에 대한 영상을 검출하거나 사용자의 얼굴 일부분에 대한 특징점을 검출할 수 있다.
또한, 상기 관심 영역 검출부는 표정가이드 모델이 증강될 상기 관심 영역의 영상을 검출하기 위해 Adaboost, AAM(Active Appearance Model), PCA(Principal Component Analysis), SVM(Support Vector Machine), HMM(Hidden Markov models) 중 적어도 하나에 의한 방법을 사용할 수 있다.
또한, 상기 임시 저장부는 상기 새로운 표정가이드 모델로 상기 시스템에 내장된 제 1 데이터베이스로부터 선택적으로 로딩된 표정가이드 모델을 저장하거나, 상기 새로운 표정가이드 모델로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 상기 시스템에 내장된 제 2 데이터베이스로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 로딩하여 저장할 수 있다.
또한, 상기 모델 증강부는 상기 표정가이드 모델을 상기 관심 영역의 영상 상에 증강하기 위해 DIP (Digital Image Processing), OSG(Open Scene Graph), OSG(Open Scene Graph)ART, CAL3D를 이용한 방법 중 적어도 하나에 의한 방법을 사용할 수 있다.
또한, 상기 얼굴 패턴과 상기 표정가이드 모델과의 유사도를 판단(Similarity Measurement)하기 위해 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance), 해밍 거리(Hamming Distance) 중 적어도 하나의 측정치를 이용하여 유사도를 판단하는 방법을 사용할 수 있다.
여기서, 상기 유사도 판단부의 유사도 판단 임계값은 사용자에 의해 임의로 결정되도록 할 수 있다.
또한, 상기 휴대용 얼굴 표정 연습 장치는 상기 검출된 관심 영역의 영상으로부터 특징점을 포함한 얼굴 패턴을 추출하는 패턴 추출부; 및 상기 얼굴 패턴과 상기 증강 영상 사의 표정가이드 모델을 매칭(Matching)하는 패턴 매칭부;를 더 포함할 수 있다.
또한, 상기 패턴 추출부는 상기 특징점(Feature Point)을 추출하기 위해 AAM(Active Appearance Model), Adaboost, PCA(Principal Component Analysis), HMM(Hidden Markov models), LBP(Local Binary Pattern) 중 적어도 하나에 의한 방법을 사용할 수 있다.
또한, 상기 얼굴 표정 연습 장치는 상기 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 상기 시스템의 현재 자세를 측정하는 자세 측정부;및 상기 사용자의 현재 자세나 상기 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 상기 임시 저장부에 저장된 표정가이드 모델의 자세를 변경하는 자세 변경부;를 더 포함할 수 있다.
여기서, 상기 자세 측정부는 상기 사용자의 현재 자세 측정을 위해 SVM(Support Vector Machine), PCA(Principal Component Analysis), Adaboost, AAM(Active Appearance Model), HMM(Hidden Markov models) 방법 중 적어도 하나의 방법을 사용할 수 있다.
또한, 상기 자세 측정부는 상기 시스템의 현재 자세를 측정하기 위해 모션 센서(Motion Sensor), 위치 센서(Location Sensor), 자이로 센서(Gyro Sensor) 중 적어도 하나의 방법을 사용할 수 있다.
또한, 상기 얼굴 표정 연습 장치는 상기 증강 여부 판단부에서 상기 표정가이드 모델의 사용이 없는 경우, 상기 시스템에 내장된 제 1 데이터베이스에 저장된 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 사용할지 여부를 결정하는 표정가이드 모델 결정부;와 상기 패턴화된 표정가이드 모델의 사용을 거부한 경우, 상기 새로운 표정가이드 모델로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 상기 시스템에 내장된 제 2 데이터베이스로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 생성하여 상기 제 1 데이터베이스에 저장하는 표정가이드 모델 생성부; 및 상기 패턴화된 표정가이드 모델의 사용을 승인한 경우, 상기 제 1 데이터베이스로부터 상기 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 선택적으로 로딩하거나, 상기 패턴화된 표정가이드 모델의 사용을 거부한 경우, 상기 제 1 데이터베이스에 저장된 개인화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 로딩하는 표정가이드 모델 로딩부;를 더 포함할 수 있다.
또한, 본 발명에 따른 휴대용 얼굴 표정 연습 방법의 일례는 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하는 세부 관심 영역 검출단계;와 상기 검출된 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단하는 증강 여부 판단단계;와 상기 증강 여부 판단부의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 임시 저장단계;와 상기 저장된 표정가이드 모델을 상기 검출된 관심 영역의 영상에 증강하는 모델 증강단계;와 상기 검출된 영상의 얼굴 패턴과 상기 관심 영역 상에 증강된 표정가이드 모델 간의 유사도를 판단하는 유사도 판단단계;및 상기 얼굴 패턴과 상기 표정가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 시각적 주석 표시단계;를 포함한다.
또한, 상기 얼굴 표정 연습 방법은 상기 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 상기 시스템의 현재 자세를 측정하는 자세 측정단계;및 상기 사용자의 현재 자세나 상기 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 상기 임시 저장단계에서 저장된 표정가이드 모델의 자세를 변경하는 자세 변경단계;를 더 포함할 수 있다.
또한, 상기 얼굴 표정 연습 방법은 상기 증강 여부 판단단계에서 상기 표정가이드 모델의 사용이 없는 경우, 상기 시스템에 내장된 제 1 데이터베이스에 저장된 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 사용할지 여부를 결정하는 표정가이드 모델 결정단계;와 상기 패턴화된 표정가이드 모델의 사용을 거부한 경우, 시스템에 내장된 제 2 데이터베이스로부터 로딩된 기본 표정가이드 모델을 기초로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 개인화된 표정가이드 모델을 생성하여 상기 제 1 데이터베이스에 저장하는 표정가이드 모델 생성단계; 및 상기 패턴화된 표정가이드 모델의 사용을 승인한 경우, 상기 제 1 데이터베이스로부터 상기 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 선택적으로 로딩하거나, 상기 패턴화된 표정가이드 모델의 사용을 거부한 경우, 상기 제 1 데이터베이스에 저장된 개인화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 로딩하는 표정가이드 모델 로딩단계;를 더 포함할 수 있다.
본 발명에 따른 일례는 실시간으로 사용자에 대한 얼굴 패턴을 추출하고 증강함으로써, 보다 편리하고 간편하게 얼굴 표정을 연습할 수 있도록 함과 아울러, 얼굴 표정 연습 결과를 시각적 주석으로 표시되도록 구현되도록 함으로써, 직관적으로 그 결과를 파악할 수 있는 효과가 있다.
또한, 본 발명에 따른 얼굴 표정을 연습할 수 있는 장치 및 그 구동 방법은 관심 영역에 대해서만 그 자세 및 표정을 측정하고 검출함으로써, 더욱 자연스러운 얼굴 표정 연습의 결과를 제공하는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다.
우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되 는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1a 내지 도 1h는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제1 실시예를 설명하기 위한 도이다.
도 1a에 도시된 바와 같이, 본 발명은 사용자가 장소와 시간의 제약 없이 자신의 얼굴 표정을 연습하기 위해 고안된 장치이다.
따라서 카메라가 내장된 휴대폰뿐만 아니라 휴대용 멀티미디어 플레이어(PMP, portable multimedia player), 개인 휴대용 정보 단말기(PDA personal digital/data assistant) 등에서도 시스템 내부에 얼굴을 인식할 수 있는 카메라나 그 밖에 얼굴 표정을 인식할 수 있는 센서, 예를 들면 EOG 센서등만 내장되어 있다면 이용이 가능하다.
이하에서는 도 1b를 기초로, 도 1c 내지 도 1g를 참조하면서 본 발명의 제1 실시예를 설명한다.
도 1b에 도시된 바와 같이, 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제1 실시예는 영상 획득부(100), 관심 영역 검출부(110), 증강 여부 판단부(120), 임시 저장부(140), 모델 증강부(150), 패턴 추출부(160), 패턴 매칭부(170), 유사도 판단부(190)를 포함하고, 이외에 이벤트 발생부(191), 재시도 여부 판단부(192)를 포함할 수 있다.
영상 획득부(100)는 시스템의 영상 카메라 장치나 다양한 얼굴 표정 인식 센 서 등을 통하여 사용자에 대한 이미지를 갭쳐하여 시스템에 업-로드(Up-Load)한다.
다음, 관심 영역 검출부(110)는 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하게 된다. 이와 같이 관심 영역을 검출하는 것은 표정가이드 모델이 증강될 위치 영역을 검출하기 위해서이다.
여기서, 관심 영역 검출하는 방법으로는 관심 영역의 영상으로 사용자의 얼굴 일부분에 대한 영상을 검출하거나 사용자의 얼굴 일부분에 대한 특징점을 검출할 수 있는 두 가지 방법이 있으나, 도 1b에서는 사용자의 얼굴 일부분에 대한 관심 영역을 검출한 것을 일예로 든다.
모바일 환경에서 사용자는 시스템을 들고 화면을 보고 있게 되므로, 사용자의 얼굴이 카메라에 잡히면 그 캡처된 사용자의 얼굴에서 얼굴 영역과 눈 영역 입 영역을 검출할 수 있다.
이때, 관심 영역 검출부(110)는 얼굴의 구역별 명암 대비를 이용한 학습을 통해 템플릿을 생성하여 빠르고 정교하게 관심 영역(ROI, Region of interest)의 이미지를 검출할 수 있는데, 이와 같은 표정가이드 모델이 증강될 관심 영역의 영상을 검출하기 위해 아다부스트 얼굴 검출(AdaBoost Face Detection), AAM(Active Appearance Model) , PCA(Principal Component Analysis), SVM(Support Vector Machine), HMM(Hidden Markov models)에 기반한 검출 방법 중 적어도 하나 이상에 의한 방법을 사용할 수 있다.
이와 같은 관심 영역의 영상 검출방법은 사용자의 얼굴 일부분에 대한 영상을 검출하는 경우뿐만 아니라 사용자의 얼굴 일부분에 대한 특징점을 검출하는 방 법에도 사용될 수 있다.
이와 같이 관심 영역의 영상을 검출한 결과는 도 1c에 도시되 된 바와 같이 얼굴 부분 중 눈과 입 부분에 대해 관심 영역의 영상을 검출할 수 있다.
이와 같이, 휴대용 얼굴 표정 연습 장치가 관심 영역만 가지고 얼굴 표정 연습 방법을 위한 영상 처리를 하게 되면, 특징점 검출시 정확성을 더 향상 시킬 수 있고, 처리 시간 및 인식 단계의 속도 역시 향상 시킬 수 있는 것이다.
또한, 본 발명의 일례에 따른 휴대용 얼굴 표정 연습 장치는 도 1b에는 도시되어 있지 아니하지만, 관심 영역 검출부 이후, 패턴 추출부 및 증강여부 판단부 이전에, 검출된 관심영역이 실제로 사용자의 얼굴 부분에 대한 영상을 확인하는 얼굴 검출 확인부를 더 포함할 수 있다.
이와 같은, 얼굴 검출 확인부는 관심영역 검출부에 의해 추출된 사용자의 영상으로부터 확인이 가능하다. 보다 자세하게는 관심영역 검출부에서는 사용자의 얼굴 일부분뿐만 아니라 얼굴 일부분에 대한 특징점을 검출할 수 있는데, 사용자의 얼굴 일부분에 영상으로부터 사용자의 얼굴, 눈, 입에 대한 영상을 구별할 수 있다. 예를 들어, 도 1c에서와 같이, 사용자의 얼굴, 눈, 입에 대한 영상으로부터 얼굴, 눈, 입의 위치를 파악하여, 눈과 입에 대한 영상은 얼굴의 영상 내에 포함되고, 눈에 대한 영상의 위치는 입에 대한 영상의 위치보다 위에 있으므로 사용자의 얼굴에 대한 영상임을 기하학적 위치로 확인할 수 있는 것이다.
이와 같이 함으로써, 검출된 관심 영역이 실제로 사용자의 얼굴 부분에 대한 영상인지를 확인할 수 있는 것이다.
다음, 도 1b에서 증강 여부 판단부(120)는 관심 영역 검출부(110)에서 검출된 관심 영역의 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단한다.
이는 사용자가 최초로 표정 연습을 하는 경우, 증강된 이미지가 없으므로, 모델 증강부(150)가 데이터베이스(130)로부터 로딩되어 저장된 새로운 표정가이드 모델을 증강에 사용할 수 있지만, 유사도 판단의 결과가 임계값 이하인 경우, 현재 증강되어 있는 표정가이드 모델이 그대로 증강되어 남아 있게 되며, 본 발명에 따른 휴대용 얼굴 표정 연습 장치는 모바일 단말기로부터 실시간으로 취득되고 있는 사용자 얼굴 표정 영상에서 관심 영역을 계속 찾게 되고 그 검출된 관심 영역에서 사용자 얼굴 표정의 특징점을 찾아 반복적으로 앞서 매칭 단계를 수행하게 되는데, 이때 동일한 표정가이드 모델을 사용하기 위해서이다.
다음, 임시 저장부(140)는 증강 여부 판단부(120)의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 기능을 한다.
보다 상세하게는 제 1 실시예에서는 임시 저장부(140)가 새로운 표정가이드 모델로 시스템에 내장되고 패턴 표정가이드 모델이 저장된 제 1 데이터베이스(130)로부터 선택적으로 로딩된 표정가이드 모델을 저장하는 기능을 한다.
제 1 데이터베이스(130) 내부에는 여러 가지의 표정을 연습할 수 있는 복수의 표정가이드 모델이 2D 또는 3D 형태로 내장되어 있고, 로딩부(141)가 이들 중 하나를 선택적으로 로딩하게 된다.
이때, 사용자가 여러 가지의 표정가이드 모델 중 어느 하나를 선택하여 로딩부(141)가 이를 로딩하도록 할 수도 있고, 로딩부(141)가 내부에 저장된 프로그램에 따라 관심 영역의 이미지에 대응하는 표정가이드 모델을 선택적으로 로딩하도록 할 수도 있다.
다음, 모델 증강부(150)는 임시 저장부(140)에 저장된 표정가이드 모델을 검출된 관심 영역의 영상에 증강하는 기능을 한다.
증강의 형태는 관심 영역의 이미지 상에 도 1d (a)와 같이 2D 방법으로 증강할 수도 있고, (b)와 같이 3D 방법으로 증강할 수도 있다. 또는 두 가지를 선택적 또는 복합적으로 증강할 수도 있다.
도 1e는 웃는 표정가이드 모델에 사람이 웃는 표정을 연습하고 있는 일례이다.
도 1e (a)와 같이, 관심 영역의 이미지가 검출된 이후, 모델 증강부(150)가 검출된 눈 영역에 대해서는 웃는 눈 영상의 표정가이드 모델을 증강(augmentation)시키고, 검출된 입 영역에는 도 1e (b)와 같이 웃는 입 영상의 웃는 표정 가이드 모델 증강시킬 수 있다. 이와 같이 증강될 영역은 눈, 입, 턱선 등의 얼굴 영역이 개별 또는 복합적으로 선택되어질 수 있다. 이 때 증강을 위한 방법은 3D 방법과 2D방법이 있을 수 있다.
모델 증강부(150)가 2D 방법으로 표정가이드 모델을 증강하는 경우, 웃는 연습을 가이드 할 수 있는 윤곽선(outline) 또는 grey 영상이나 투명한 영상, 컬러 영상 등이 표정가이드 모델로서 관심 영역의 이미지상에 증강할 수 있다.
또한 모델 증강부(150)가 3D 방법으로 표정가이드 모델을 증강하는 경우, 웃는 연습을 가이드 할 수 있는 3D 윤곽선(outline) 또는 grey 3D 표정가이드 모델이나 투명한 3D 표정가이드 모델, 컬러 3D 표정가이드 모델이 관심 영역의 이미지상에 증강될 수 있다.
모델 증강부(150)는 2D 표정가이드 모델을 관심 영역의 이미지상에 증강하기 위해서는 DIP (Digital Image Processing) 기반의 영상 픽셀 기반의 프로세싱 방법을 사용할 수 있고, 3D 표정가이드 모델을 관심 영역의 이미지상에 증강하기 위해서는 OSG(Open Scene Graph), OSG(Open Scene Graph)ART, CAL3D 등을 기반한 방법을 사용할 수 있다.
다음, 패턴 추출부(160)는 관심 영역 검출부(110)에서 검출된 관심 영역의 영상으로부터 특징점을 포함한 사용자의 얼굴 패턴을 실시간으로 추출한다.
패턴을 추출하는 방법은 도 1f에 도시된 바와 같이, 검출된 관심 영역의 이미지이로부터 특징점(예를 들면, 눈꺼풀 라인의 포인트들, 입술 윤곽 포인트들, 눈썹 라인의 포인트들 등)들을 추출하는 것이다.
이와 같이, 검출된 관심 영역(ROI, Region of interest)의 이미지로부터 특징점(Feature Point)을 포함한 사용자의 얼굴 패턴에 대한 특징점(Feature Point)을 추출하기 위해 AAM(Active Appearance Model), Adaboost, PCA(Principal Component Analysis), HMM(Hidden Markov models), LBP(Local Binary Pattern) 중 적어도 어느 하나에 의한 방법을 사용할 수 있다.
LBP(Local Binary Pattern) 방법은 모바일 단말기에서 취득되는 영상이 가지 는 문제점 중 한가지인 영상의 밝기 변화에 대한 문제에 대해 독립적으로 안정적인 패턴을 추출하여, 더욱 자연스러운 영상을 제공할 수 있는 효과가 있다.
보다 상세히 설명하면, 이때 모바일 단말기에서는 균일한 조명 조건에서 영상이 얻어질 수 없는 문제가 있는데, 이를 LBP(Local Binary Pattern) 방법과 같이 각 특징점들 사이의 관계정보(예를들면, 각 픽셀의 grey level 차이 값 등)를 이용함으로써 패턴 정보를 가공하여 해결할 수 있는 것이다.
다음, 패턴 매칭부(170)는 도 1g와 같이, 패턴 추출부(160)에서 추출된 특징점으로 구성되는 얼굴 패턴과 모델 증강부(150)에서 관심 영역의 영상 상에 증강(Augmentation)된 표정가이드 모델을 매칭(Matching)하는 기능을 한다.
도 1g (a)는 추출된 얼굴 패턴과 2D 형태로 웃는 표정가이드 모델이 함께 증강되어 매칭 된 예이고, 도 1g (b)는 추출된 얼굴 패턴과 3D 형태로 웃는 표정가이드 모델이 함께 증강되어 매칭 된 예이다.
다음, 유사도 판단부(190) 패턴 매칭부(170)에서 매칭된 얼굴 패턴과 표정가이드 모델과의 유사도를 판단(Similarity Measurement)하는 기능을 한다.
유사도 판단부(190)는 패턴 매칭부(170)에서 매칭된 얼굴 패턴과 표정가이드 모델과의 유사도를 판단(Similarity Measurement)하기 위해 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance), 해밍 거리(Hamming Distance) 중 적어도 하나의 측정치를 이용하여 유사도를 판단하는 방법을 사용할 수 있다.
유사도 판단부(190)의 유사도 판단 임계값은 패턴 매칭부(170)에서 매칭된 얼굴 패턴과 표정가이드 모델 사이의 차이로 판단이 가능하며, 사용자가 임의로 결 정할 수 있다. 이와 같이 함으로써, 사용자 스스로가 웃는 표정에 대한 연습의 난이도를 스스로 결정할 수 있는 것이다.
또한, 이와 다르게, 패턴 매칭부(170)에서 매칭된 얼굴 패턴과 표정가이드 모델 사이의 차이가 70%(퍼센트)이상 100%(퍼센트)이하의 범위 내에서 미리 설정될 수도 있다.
유사도 판단부(190)는 얼굴 패턴과 표정가이드 모델이 서로 잘 매칭되었는지 결정하는 임계값을 SVM(Support Vector Machine) 등의 패턴 분석 및 인식(Pattern Analysis and Recognition) 방법을 이용하여 오류(Error)가 최소가 되는 선형(Linear) 또는 비선형 분류자(Non-linear classifier)를 구함으로써 동적으로 또는 정적으로 구할 수 있다. 표정 영상 트레이닝을 위한 방법은 인종에 따라 다른 방법 및 특징이 이용될 수 있으므로, 이와 같은 문화적 백그라운드에 따른 개인화된 정보를 이용하여 얼굴 패턴 추출 방법이 다르게 적용될 수 있는 것이다.
이후, 유사도 판단부(190)에서 사용자가 증강된 표정가이드 모델에 맞게 알맞게 표정연습을 잘했다고 판단되는 경우(즉, 유사도 판단의 임계값보다 높은 유사도를 나타내는 패턴 매칭값이 나오는 경우) 표정 연습의 성공을 축하하는 이벤트가 발생하는 이벤트 발생부(191)로 넘어가게 되고, 이후 다른 표정을 연습할지 여부를 결정하는 재시도 여부 판단부(192)로 넘어가게 된다.
그러나, 사용자가 증강된 표정가이드 모델에 맞는 표정연습을 잘하지 못하고 있다고 판단하는 경우(낮은 유사도를 나타내는 패턴 매칭값), 현재 증강되어 있는 표정가이드 모델이 그대로 증강되어 남아있게 되며 시스템에 실시간으로 취득되고 있는 사용자의 얼굴 표정에 대한 이미지로부터 사용자의 얼굴 부분에 대한 관심 영역을 계속 찾게 되고, 그 검출된 관심 영역의 이미지에서 사용자 얼굴 표정의 특징점을 찾아 반복적으로 앞서 행한 매칭 단계를 수행하게 된다.
이와 같은 본 발명의 휴대용 얼굴 표정 연습 장치의 제1 실시예에는 도 1h (a)와 같이, 패턴 매칭부(170)와 유사도 판단부(190) 사이에 시각적 주석 표시부(180)를 더 포함할 수 있다.
시각적 주석 표시부(180)는 패턴 추출부(160)에서 추출된 얼굴 패턴과 모델 증강부(150)에서 증강(Augmentation)된 표정가이드 모델 사이의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 기능을 한다.
도 1h (b)에 표시된 바와 같이, 시각적 주석 표시부(180)는 표정가이드 모델과 검출된 사용자 표정 패턴에 대한 특징을 동시에 증강함으로써 직관적으로 표정 연습 정도에 대한 피드백(Feedback)을 줄 수 있고, 어느 방향으로 어느 부위를 더 움직여야 하는지를 알 수 있다.
이때 시각적 주석 표시는 직관적으로 인지할 수 있는 표시를 위해 사회에서 직관적으로 쓰이는 기호 또는 표기 방법을 사용할 수도 있고, 그림 동영상 문자 등의 미디어 정보를 해당 위치에 나타냄으로써 표시할 수도 있다.
도 2a 내지 2c는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제2 실시예를 설명하기 위한 도이다.
도시된 바와 같이, 제2 실시예에는 자세 측정부(210)와 자세 변경부(250)가 더 포함되고, 증강여부 판단부(220), 임시 저장부(240)의 기능이 제1 실시예와 차 이가 생기게 된다.
관심 영역 검출부 이후의 자세 측정부(210)는 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 시스템의 현재 자세를 측정하는 기능을 한다.
자세 측정의 방법에는 사용자의 현재 자세를 측정하는 방법과 시스템의 현재 자세를 측정하는 방법이 있다.
자세 측정부(210)는 사용자의 현재 자세 측정을 위해 SVM(Support Vector Machine), PCA(Principal Component Analysis), Adaboost, AAM(Active Appearance Model), HMM(Hidden Markov models)과 같은 패턴 분석/인식(Pattern Analysis or Recognition)에 기반한 방법 중 적어도 어느 하나의 방법을 사용할 수 있다.
예를 들면, SVM(Support Vector Machine), PCA(Principal Component Analysis), Adaboost, AAM(Active Appearance Model), HMM(Hidden Markov models)등의 패턴 분석/인식(Pattern Analysis or Recornition)에 기반하여 얻어진 특징점을 실시간으로 트랙킹 함으로써 추출된 점들로 이루어진 면의 면적(특징점 추출 개수와 면적 분할 개수는 임의로 사용자가 정할 수 있다.)에 대한 비율 또는 특징점들간의 거리비를 실시간으로 취득되는 영상 중 현재의 취득된 프레임의 영상과 적당량의 이전 프레임의 영상과 비교함으로써 얼굴의 자세를 측정할 수 있는 것이다.
도 2b에서는 이와 같이 사용자의 현재 자세를 측정하는 방법의 일례를 보여준다.
이렇게 얻어진 사용자의 현재 얼굴의 자세 정보를 이용하여 모델 증강부는 그 자세와 상응하는 표정가이드 모델을 실시간으로 취득되는 사용자의 얼굴 이미지 에 동적으로 증강할 수 있다.
또한, 제2 실시예에 따른 본 발명은 사용자의 선택에 따라 추정된 얼굴의 자세와 상응하지 않는 표정 모델을 사용자의 얼굴에 대한 관심 영역의 이미지 위에 증강할 수도 있는데, 이때에는 사용자가 증강된 표정가이드 모델의 자세(Pose)와 표정 모두를 연습하는 효과를 얻을 수 있다.
또한, 자세 측정부(210)는 시스템의 현재 자세를 측정하기 위해 모션 센서(Motion Sensor), 위치 센서(Location Sensor), 자이로 센서(Gyro Sensor) 중 적어도 하나의 방법을 사용함으로써, 시스템이 얼마나 기울어 있는지 등의 정보를 이용함으로써 단말기의 자세를 추정할 수도 있다.
이와 같은, 시스템의 현재 자세 또는 사용자의 현재 자세는 자세 측정부(210)에 의해 자동적으로 측정될 수도 있지만, 사용자가 임의로 시스템의 현재 자세 또는 사용자의 현재 자세를 설정할 수도 있다.
다음, 도 2a에서, 증강여부 판단부(220)는 관심 영역 검출부(110)에서 검출된 관심 영역의 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단한다.
그리고, 임시 저장부(240)는 증강여부 판단부(220)에서 검출된 관심 영역의 영상에 대응하는 표정가이드 모델의 사용이 없었던 것으로 판단된 경우, 시스템에 내장되고, 패턴 표정가이드 모델이 내장된 데이터 베이스(230)로부터 표정가이드 모델을 선택적으로 로딩(Loading)하여 새로운 표정가이드 모델로 임시로 저장하거나, 증강여부 판단부(220)에서 표정가이드 모델의 사용이 있었던 것으로 판단된 경 우, 증강에 사용되었던 해당 표정가이드 모델을 임시로 저장하는 기능을 한다.
자세 변경부(250)는 사용자의 현재 자세나 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 임시 저장부(240)에 저장된 표정가이드 모델의 자세를 변경하는 기능을 한다.
이와 같은 증강될 표정가이드 모델의 자세를 변경하는 것은 얼굴 표정 연습 장치에 의해 사용자의 현재 자세 또는 시스템의 현재 자세를 자세 측정부(210)에서 자동적으로 측정하여 변경되도록 설정할 수도 있지만, 이와 다르게 사용자가 사용자의 현재 자세 또는 시스템의 현재 자세를 임의로 설정하여 표정가이드 모델의 자세를 변경할 수도 있다.
따라서, 사용자가 이전 자세가 도 2b의 (a)에 도시된 바와 같이 정면 자세인 경우에서, 사용자의 현재 자세가 도 2b의 (b)에 도시된 바와 같이 측면 자세로 변경된 경우, 변경된 자세에 따라 표정가이드 모델의 자세가 자동적으로 변경되도록 설정할 수 있는 것이다.
이후 모델 증강부(150)에서, 자세가 변경된 표정가이드 모델이 현재 사용자의 자세에 맞추어 검출된 관심 영역의 영상 상에 증강될 수 있는 것이다.
예를 들어, 도 2c (a)에서는 사용자의 현재 자세가 정면 자세인 경우, 표정가이드 모델이 정면 자세로 변경되어 2D 또는 3D로 증강된 예이다.
도 2c의 (b)는 표정가이드 모델이 정면이 아닌 측면 자세로 관심 영역의 영상 상에 2D 또는 3D로 증강된 예를 보여준다.
또한, 도 2c의 (c)는 사용자의 입술에 대한 표정가이드 모델뿐만 아니라 코 나 턱 윤각에 대한 표정가이드 모델을, 전부 동시에 자세를 변경하여 2D로 증강할 있을 뿐만 아니라, 2D와 3D로 복합 증강할 수 있는 예를 보여준다.
여기서, 2c의 (b)나 (c)와 같이, 사용자의 현재 자세가 정면 자세인 경우에도 증강된 표정가이드 모델을 사용자가 사용자의 현재 자세를 임의로 설정하여, 실제로는 사용자의 자세에 따라 변경되어 표정가이드 모델이 증강된 예를 볼 수 있다.
또한, (c)와 같이, 사용자가 사용자의 얼굴이 가장 예쁘게 보이도록 시스템의 현재 자세 또는 사용자의 현재 자세를 임의로 설정하여, 표정가이드 모델이 시스템의 현재 자세 또는 사용자의 현재 자세에 따라 증강되도록 한 다음, 이에 따라 표정을 연습할 수도 있다.
또한, 제2 실시예에서도, 도시되지는 않았지만, 시각적 주석 표시부(180)가 패턴 매칭부(170)와 유사도 판단부(190) 사이에 더 포함될 수 있다.
도 3은 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제3 실시예를 설명하기 위한 도이다.
제3 실시예는 , 제1 실시예나 제2 실시예와 다르게, 사용자의 얼굴 영역에 대한 보다 상세한 관심 영역의 영상을 검출하여, 이를 기초로 개인화된 표정가이드 모델을 자동 생성할 수 있는 휴대용 얼굴 표정 연습 장치의 일례를 보여준다.
도 3의 (a)에 도시된 바와 같이, 세부 관심 영역 검출부(310)는 시스템에 업-로드(Up-Load)된 영상부터 사용자에 대한 관심 영역(Detailed ROI, Region of interest)의 영상으로 사용자의 얼굴 일부분에 대한 특징점(Feature Point)을 검출 한다.
이때에도 세부 관심 영역의 이미지로부터 특징점(Feature Point)을 검출하기 위해 AAM(Active Appearance Model), Adaboost, PCA(Principal Component Analysis), HMM(Hidden Markov models), LBP(Local Binary Pattern) 중 적어도 하나 이상의 기법을 사용하여 특징점을 검출할 수 있음은 물론이다.
일례로, 도 3의 (b)에 도시된 바와 같이, 검출된 얼굴 영역에 대한 세부 관심 영역의 이미지로부터 세부적으로 빠르고 정교하게 얼굴 특징점을 추출하는 AAM(Active Appearance Model)을 이용하는 학습 기반 얼굴 특징점 추출 방법으로 양 눈꼬리 점, 양쪽 눈의 상하 윤곽, 입선의 윤곽 등을 얼굴 특징점으로 추출할 수 있는 것이다.
증강여부 판단부(220)는 관심 영역 검출부(110)에서 검출된 관심 영역의 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단한다.
다음, 임시 저장부(340)는 증강여부 판단부(220)에서 사용자의 개인화된 표정가이드 모델의 사용이 없었던 것으로 판단된 경우, 새로운 표정가이드 모델로 검출된 관심 영역의 영상으로부터 특징점을 분석하여 시스템에 내장되고, 기본 표정가이드 모델이 저장된 제 2 데이터 베이스(330)로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 로딩하여 저장하거나, 증강여부 판단부(220)에서 사용자의 개인화된 표정가이드 모델의 사용이 있었던 것으로 판단된 경우, 증강에 사용되었던 해당 표정가이드 모델을 임시로 저장한다.
이후의 단계는 전술한 바와 동일하거나 그로부터 용이하게 알 수 있으므로 생략한다.
도 4는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제4 실시예를 설명하기 위한 도이다.
도 4에 도시된 바와 같이, 휴대용 얼굴 표정 연습 장치의 제4 실시예는 영상 획득부(100),관심 영역 검출부(310), 자세 측정부(210), 증강여부 판단부(220), 표정가이드 모델 결정부(410), 표정가이드 모델 생성부(430), 표정가이드 모델 로딩부(450), 임시 저장부(460), 자세 변경부(250), 모델 증강부(350), 패턴 매칭부(170), 유사도 판단부(190), 시각적 주석 표시부(180)를 포함한다.
영상 획득부(100), 관심 영역 검출부(310), 자세 측정부(210), 증강 여부 판단부, 자세 변경부(250), 모델 증강부(350) 패턴 매칭부(170), 유사도 판단부(190), 시각적 주석 표시부(180)는 전술한 바와 동일하거나 그로부터 용이하게 이해할 수 있으므로 이에 대한 상세한 설명은 생략한다.
표정가이드 모델 결정부(410)는 증강 여부 판단부(220)에서 표정가이드 모델의 사용이 없는 경우, 시스템에 내장된 제 1 데이터 베이스(420)에 저장된 패턴화된 표정가이드 모델을 새로운 표정가이드 모델로 사용할지 여부를 결정한다.
만약, 표정가이드 모델 결정부(410)에서 패턴화된 표정가이드 모델의 사용이 거부된 경우, 표정가이드 모델 생성부(430)는 새로운 표정가이드 모델로 검출된 관심 영역의 영상으로부터 특징점을 분석하여 시스템에 내장되고 기본 표정가이드 모델이 내장된 제 2 데이터 베이스(440)로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 생성하여 제 1 데이터 베이스(420)에 저 장하게 된다.
그리고, 표정가이드 모델 로딩부(450)는 표정가이드 모델 결정부(410)에서 패턴화된 표정가이드 모델의 사용이 승인된 경우, 제 1 데이터 베이스(420)로부터 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 새로운 표정가이드 모델로 선택적으로 로딩하거나, 패턴화된 표정가이드 모델의 사용이 거부된 경우, 표정가이드 모델 생성부(430)에 의해 제 1 데이터 베이스(420)에 저장된 개인화된 표정가이드 모델을 새로운 표정가이드 모델로 로딩하는 기능을 한다.
이후, 임시 저장부(460)는 증강여부 판단부(220)에서 표정가이드 모델의 사용이 없었던 것으로 판단된 경우 표정가이드 모델 로딩부(450)가 로딩한 표정가이드 모델을 임시로 저장하거나, 증강여부 판단부(220)에서 표정가이드 모델의 사용이 있었던 것으로 판단된 경우 증강에 사용되었던 해당 표정가이드 모델을 임시로 저장한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1a 내지 도 1h는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제1 실시예를 설명하기 위한 도.
도 2a 내지 2c는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제2 실시예를 설명하기 위한 도.
도 3은 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제3 실시예를 설명하기 위한 도.
도 4는 본 발명에 따른 휴대용 얼굴 표정 연습 장치의 제4 실시예를 설명하기 위한 도.

Claims (17)

  1. 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하는 관심 영역 검출부;
    상기 검출된 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단하는 증강 여부 판단부;
    상기 증강 여부 판단부의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 임시 저장부;
    상기 저장된 표정가이드 모델을 상기 검출된 관심 영역의 영상에 증강하는 모델 증강부; 및
    상기 검출된 영상의 얼굴 패턴과 상기 관심 영역 상에 증강된 표정가이드 모델 간의 유사도를 판단하는 유사도 판단부;
    를 포함하는 휴대용 얼굴 표정 연습 장치.
  2. 제 1 항에 있어서,
    상기 휴대용 얼굴 표정 연습 장치는
    상기 얼굴 패턴과 상기 증강 영상 상의 표정가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 시각적 주석 표시부;
    를 더 포함하는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  3. 제 1 항에 있어서,
    상기 관심 영역 검출부는
    상기 관심 영역의 영상으로 사용자의 얼굴 일부분에 대한 영상을 검출하거나 사용자의 얼굴 일부분에 대한 특징점을 검출하는 것
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  4. 제 3 항에 있어서,
    상기 관심 영역 검출부는
    상기 관심 영역의 영상를 검출하기 위해 Adaboost, AAM(Active Appearance Model), PCA(Principal Component Analysis), SVM(Support Vector Machine), HMM(Hidden Markov models) 중 적어도 하나에 의한 방법을 사용하는 것
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  5. 제 1 항에 있어서,
    상기 임시 저장부는
    상기 새로운 표정가이드 모델로 상기 시스템에 내장된 제 1 데이터 베이스로부터 선택적으로 로딩된 표정가이드 모델을 저장하거나,
    상기 새로운 표정가이드 모델로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 상기 시스템에 내장된 제 2 데이터 베이스로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 로딩하여 저장하는 것
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  6. 제 1 항에 있어서,
    상기 모델 증강부는
    상기 표정가이드 모델을 상기 관심 영역의 영상 상에 증강하기 위해 DIP (Digital Image Processing), OSG(Open Scene Graph), OSG(Open Scene Graph)ART, CAL3D를 이용한 방법 중 적어도 하나에 의한 방법을 사용하는 것
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  7. 제 1 항에 있어서,
    상기 유사도 판단부는
    상기 얼굴 패턴과 상기 표정가이드 모델과의 유사도를 판단(Similarity Measurement)하기 위해 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance), 해밍 거리(Hamming Distance) 중 적어도 하나의 측정치를 이용하여 유사도를 판단하는 방법을 사용하는 것
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  8. 제 5 항에 있어서,
    상기 유사도 판단부의 유사도 판단 임계값은 사용자에 의해 임의로 결정되는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  9. 제 1 항에 있어서,
    상기 휴대용 얼굴 표정 연습 장치는
    상기 검출된 관심 영역의 영상으로부터 특징점을 포함한 얼굴 패턴을 추출하는 패턴 추출부; 및
    상기 얼굴 패턴과 상기 증강 영상 사의 표정가이드 모델을 매칭(Matching)하는 패턴 매칭부;
    를 더 포함하는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  10. 제 7 항에 있어서,
    상기 패턴 추출부는
    상기 특징점(Feature Point)을 추출하기 위해 AAM(Active Appearance Model), Adaboost, PCA(Principal Component Analysis), HMM(Hidden Markov models), LBP(Local Binary Pattern) 중 적어도 하나에 의한 방법을 사용하는 것
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  11. 제 1 항에 있어서,
    상기 얼굴 표정 연습 장치는
    상기 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 상기 시스템의 현재 자세를 측정하는 자세 측정부;및
    상기 사용자의 현재 자세나 상기 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 상기 임시 저장부에 저장된 표정가이드 모델의 자세를 변경하는 자세 변경부;
    를 더 포함하는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  12. 제 11 항에 있어서,
    상기 자세 측정부는
    상기 사용자의 현재 자세 측정을 위해 SVM(Support Vector Machine), PCA(Principal Component Analysis), Adaboost, AAM(Active Appearance Model), HMM(Hidden Markov models) 방법 중 적어도 하나의 방법을 사용하는 것
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  13. 제 11 항에 있어서,
    상기 자세 측정부는
    상기 시스템의 현재 자세를 측정하기 위해 모션 센서(Motion Sensor), 위치 센서(Location Sensor), 자이로 센서(Gyro Sensor) 중 적어도 하나의 방법을 사용하는 것
    을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  14. 제 1 항에 있어서,
    상기 얼굴 표정 연습 장치는
    상기 증강 여부 판단부에서 상기 표정가이드 모델의 사용이 없는 경우, 상기 시스템에 내장된 제 1 데이터 베이스에 저장된 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 사용할지 여부를 결정하는 표정가이드 모델 결정부;
    상기 패턴화된 표정가이드 모델의 사용이 거부된 경우, 상기 새로운 표정가이드 모델로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 상기 시스템에 내장된 제 2 데이터 베이스로부터 로딩된 기본 표정가이드 모델과 합성하여 생성된 개인화된 표정가이드 모델을 생성하여 상기 제 1 데이터 베이스에 저장하는 표정가이드 모델 생성부;및
    상기 패턴화된 표정가이드 모델의 사용이 승인된 경우, 상기 제 1 데이터 베이스로부터 상기 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 선택적으로 로딩하거나,
    상기 패턴화된 표정가이드 모델의 사용이 거부된 경우, 상기 표정가이드 모델 생성부(430)에 의해 상기 제 1 데이터 베이스에 저장된 개인화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 로딩하는 표정가이드 모델 로딩부;
    를 더 포함하는 것을 특징으로 하는 휴대용 얼굴 표정 연습 장치.
  15. 시스템에 업-로드(Up-Load)된 사용자 영상으로부터 얼굴 부분에 대한 관심 영역의 영상을 검출하는 세부 관심 영역 검출단계;
    상기 검출된 영상에 대응하는 표정가이드 모델이 증강에 사용된 적이 있는지 여부를 판단하는 증강 여부 판단단계;
    상기 증강 여부 판단부의 판단에 따라, 이전에 사용된 표정가이드 모델을 저장하거나 새로운 표정가이드 모델을 저장하는 임시 저장단계;
    상기 저장된 표정가이드 모델을 상기 검출된 관심 영역의 영상에 증강하는 모델 증강단계;
    상기 검출된 영상의 얼굴 패턴과 상기 관심 영역 상에 증강된 표정가이드 모델 간의 유사도를 판단하는 유사도 판단단계; 및
    상기 얼굴 패턴과 상기 표정가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual Annotation)을 표시하는 시각적 주석 표시단계;
    를 포함하는 얼굴 표정 연습 방법.
  16. 제 15 항에 있어서,
    상기 얼굴 표정 연습 방법은
    상기 관심 영역의 영상으로부터 사용자의 현재 자세를 측정하거나 상기 시스템의 현재 자세를 측정하는 자세 측정단계;및
    상기 사용자의 현재 자세나 상기 시스템의 현재 자세가 변경된 경우, 변경된 자세에 따라 표정가이드 모델이 증강되도록 하기 위해 상기 임시 저장단계에서 저장된 표정가이드 모델의 자세를 변경하는 자세 변경단계;
    를 더 포함하는 것을 특징으로 하는 얼굴 표정 연습 방법.
  17. 제 15 항에 있어서,
    상기 얼굴 표정 연습 방법은
    상기 증강 여부 판단단계에서 상기 표정가이드 모델의 사용이 없는 경우, 상기 시스템에 내장된 제 1 데이터 베이스에 저장된 패턴화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 사용할지 여부를 결정하는 표정가이드 모델 결정단계;
    상기 패턴화된 표정가이드 모델의 사용이 거부된 경우, 시스템에 내장된 제 2 데이터 베이스로부터 로딩된 기본 표정가이드 모델을 기초로 상기 검출된 관심 영역의 영상으로부터 특징점을 분석하여 개인화된 표정가이드 모델을 생성하여 상기 제 1 데이터 베이스에 저장하는 표정가이드 모델 생성단계;및
    상기 패턴화된 표정가이드 모델의 사용이 승인된 경우, 상기 제 1 데이터 베이스로부터 상기 검출된 영상에 대응하는 패턴화된 표정가이드 모델을 선택적으로 로딩하거나,
    상기 패턴화된 표정가이드 모델의 사용이 거부된 경우, 상기 표정가이드 모델 생성단계에 의해 상기 제 1 데이터 베이스에 저장된 개인화된 표정가이드 모델을 상기 새로운 표정가이드 모델로 로딩하는 표정가이드 모델 로딩단계;
    를 더 포함하는 것을 특징으로 하는 얼굴 표정 연습 방법.
KR20080125357A 2008-12-10 2008-12-10 휴대용 얼굴 표정 연습 장치와 그 방법. KR101510798B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20080125357A KR101510798B1 (ko) 2008-12-10 2008-12-10 휴대용 얼굴 표정 연습 장치와 그 방법.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080125357A KR101510798B1 (ko) 2008-12-10 2008-12-10 휴대용 얼굴 표정 연습 장치와 그 방법.

Publications (2)

Publication Number Publication Date
KR20100066866A true KR20100066866A (ko) 2010-06-18
KR101510798B1 KR101510798B1 (ko) 2015-04-10

Family

ID=42365712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080125357A KR101510798B1 (ko) 2008-12-10 2008-12-10 휴대용 얼굴 표정 연습 장치와 그 방법.

Country Status (1)

Country Link
KR (1) KR101510798B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145672B1 (ko) * 2011-09-20 2012-05-24 원광대학교산학협력단 미소 훈련을 위한 미소 분석 시스템
CN106651302A (zh) * 2016-11-30 2017-05-10 浙江水马环保科技有限公司 一种净水器智能pc考勤管理及状态监控方法
CN106845915A (zh) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 一种净水器智能pc考勤管理系统
CN106845917A (zh) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 一种基于净水器的智能app考勤管理系统
CN106845916A (zh) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 一种基于净水器的智能app考勤管理及状态监控方法
WO2017130197A2 (en) 2016-01-26 2017-08-03 Infinity Augmented Reality Israel Ltd. Method and system for generating a synthetic database of postures and gestures
KR101996039B1 (ko) * 2018-09-27 2019-07-03 국립공주병원 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법
US11688106B2 (en) 2021-03-29 2023-06-27 International Business Machines Corporation Graphical adjustment recommendations for vocalization

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753950B (zh) * 2019-02-11 2020-08-04 河北工业大学 动态人脸表情识别方法
KR102263154B1 (ko) 2020-06-16 2021-06-10 (주)프로맥스 스마트 미러 기반 얼굴 감성 표현 시스템 및 그 운용방법
KR20230139019A (ko) 2022-03-25 2023-10-05 배재대학교 산학협력단 딥 러닝 기반 작업자 개인보호구 착용 및 얼굴 신원 확인 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100725771B1 (ko) * 2005-09-23 2007-06-08 삼성전자주식회사 휴대용 단말기용 얼굴 인식 및 인증 장치 및 방법
KR20090050199A (ko) * 2007-11-15 2009-05-20 주식회사 휴민텍 광류와 은닉 마르코프 모델을 이용한 실시간 얼굴 표정인식
KR101527408B1 (ko) * 2008-11-04 2015-06-17 삼성전자주식회사 얼굴 표정 검출 방법 및 시스템
KR101198322B1 (ko) 2011-09-23 2012-11-06 (주) 어펙트로닉스 얼굴 표정 인식 방법 및 시스템

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145672B1 (ko) * 2011-09-20 2012-05-24 원광대학교산학협력단 미소 훈련을 위한 미소 분석 시스템
WO2017130197A2 (en) 2016-01-26 2017-08-03 Infinity Augmented Reality Israel Ltd. Method and system for generating a synthetic database of postures and gestures
CN108496166A (zh) * 2016-01-26 2018-09-04 无限增强现实以色列有限公司 用于生成姿势和手势的综合数据库的方法和系统
EP3408765A4 (en) * 2016-01-26 2019-09-25 Infinity Augmented Reality Israel Ltd. METHOD AND SYSTEM FOR GENERATING A SYNTHETIC DATABASE FROM POSES AND GESTURES
US10534443B2 (en) 2016-01-26 2020-01-14 Alibaba Technology (Israel) Ltd. Method and system for generating a synthetic database of postures and gestures
CN106651302A (zh) * 2016-11-30 2017-05-10 浙江水马环保科技有限公司 一种净水器智能pc考勤管理及状态监控方法
CN106845915A (zh) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 一种净水器智能pc考勤管理系统
CN106845917A (zh) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 一种基于净水器的智能app考勤管理系统
CN106845916A (zh) * 2016-11-30 2017-06-13 浙江水马环保科技有限公司 一种基于净水器的智能app考勤管理及状态监控方法
KR101996039B1 (ko) * 2018-09-27 2019-07-03 국립공주병원 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법
US10699164B2 (en) 2018-09-27 2020-06-30 The Industry & Academic Cooperation In Chungnam National University (Iac) Training template construction apparatus for facial expression recognition and method thereof
US11688106B2 (en) 2021-03-29 2023-06-27 International Business Machines Corporation Graphical adjustment recommendations for vocalization

Also Published As

Publication number Publication date
KR101510798B1 (ko) 2015-04-10

Similar Documents

Publication Publication Date Title
KR20100066866A (ko) 휴대용 얼굴 표정 연습 장치와 그 방법.
CN105809144B (zh) 一种采用动作切分的手势识别系统和方法
JP2020194608A (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
US9224037B2 (en) Apparatus and method for controlling presentation of information toward human object
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
Yan et al. Quantifying micro-expressions with constraint local model and local binary pattern
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
EP2993893A1 (en) Method for image segmentation
US20050201594A1 (en) Movement evaluation apparatus and method
WO2016107638A1 (en) An image face processing method and apparatus
Patwardhan et al. Multimodal affect analysis for product feedback assessment
Chansri et al. Hand gesture recognition for Thai sign language in complex background using fusion of depth and color video
CN109858375A (zh) 活体人脸检测方法、终端及计算机可读存储介质
CN107480586B (zh) 基于人脸特征点位移的生物识别照片仿冒攻击检测方法
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
JP2013003706A (ja) 表情認識装置、方法、及びプログラム
Patil et al. Emotion recognition from 3D videos using optical flow method
JP2002366958A (ja) 画像認識方法および画像認識装置
Agrawal et al. A Tutor for the hearing impaired (developed using Automatic Gesture Recognition)
JP5092663B2 (ja) 車両制御装置
CN109254663B (zh) 一种儿童图书辅助阅读机器人的使用方法
KR100545559B1 (ko) 하 라이크 피춰/선형 판별 분석을 이용한 얼굴 인식 장치및 방법
KR20120035807A (ko) 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법
CN115661903B (zh) 一种基于空间映射协同目标过滤的识图方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee