KR101494880B1 - 인지적 아바타 생성 장치 및 방법 - Google Patents

인지적 아바타 생성 장치 및 방법 Download PDF

Info

Publication number
KR101494880B1
KR101494880B1 KR20120125704A KR20120125704A KR101494880B1 KR 101494880 B1 KR101494880 B1 KR 101494880B1 KR 20120125704 A KR20120125704 A KR 20120125704A KR 20120125704 A KR20120125704 A KR 20120125704A KR 101494880 B1 KR101494880 B1 KR 101494880B1
Authority
KR
South Korea
Prior art keywords
avatar
selection
user
images
face
Prior art date
Application number
KR20120125704A
Other languages
English (en)
Other versions
KR20140059076A (ko
Inventor
김익재
이아림
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR20120125704A priority Critical patent/KR101494880B1/ko
Priority to US14/073,975 priority patent/US9348487B2/en
Publication of KR20140059076A publication Critical patent/KR20140059076A/ko
Application granted granted Critical
Publication of KR101494880B1 publication Critical patent/KR101494880B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 인지적 아바타 생성 장치 및 방법에 관한 것으로, 복수의 얼굴 영상들이 복수의 인상 그룹들로 분류되어 저장된 데이터베이스에 저장된 다양한 인상의 얼굴 영상들에 대하여 사용자가 유사하다고 인지되는 영상을 선택하도록 하는 과정을 반복적으로 수행하고, 이처럼 반복적으로 수행된 사용자의 선택을 기초로 인지 과학적으로 접근하여 사용자가 아바타로 생성하고자 하는 목표 얼굴에 대응되는 아바타를 생성함으로써, 목표 얼굴에 대한 별도의 분석이나 재해석 과정이 없이도, 보다 자연스럽고 목표 얼굴과 유사한 인상의 아바타를 용이하게 표현할 수 있게 된다.

Description

인지적 아바타 생성 장치 및 방법{Apparatus and method for generating cognitive avatar}
본 발명은, 인지적 아바타 생성 장치 및 방법에 관한 것으로서, 사용자가 아바타로 생성하고자 하는 목표얼굴이 가지고 있는 인상에 대하여 인지과학적으로 접근하여 사용자가 목표로 하는 얼굴에 대응되는 아바타를 생성하는 인지적 아바타 생성 장치 및 방법에 관한 것이다.
기존 아바타(avatar) 생성 기술들은 사용자가 아바타(avatar)를 생성하고자 하는 목표얼굴과 유사한 이미지를 얼굴 부위 별로 기억해내고 이를 선택하여 조합함으로써 아바타(avatar)를 생성하도록 하였다. 이와 관련된 기술이 한국특허공개공보 제2005- 0011120호 등에 개시되어 있다.
그러나 이처럼 얼굴 부위별 이미지를 선택적으로 조합하는 등의 방법을 통해 아바타를 생성하는 기술은 인간의 인지 시스템과 부합하지 않는 접근 방법을 사용하고 있어, 이러한 종래 기술만으로는 인간의 인지적인 측면에 있어 머리 속에 가지고 있는 인상을 표현하기에 부족하며, 목표얼굴과 비교할 때 유사도가 낮은 아바타를 생성하거나 자연스럽지 못한 인상을 갖는 아바타를 생성하게 되는 경우가 많다. 즉, 종래 기술은 사용자가 의식하거나 잠재적으로 가지고 있는 얼굴 인상의 이미지를 획득하거나 이를 아바타로 생성하는 데에 한계가 있다.
이에 따라, 인간의 인지 시스템과 부합할 수 있도록 인지과학적 접근방법을 사용하여 사용자가 의식하거나 잠재적으로 가지고 있는 목표 얼굴의 이미지를 인지적으로 잘 표현하는 아바타(avatar)를 생성하는 기술이 필요한 실정이다.
본 발명은 지식경제부 및 한국산업기술평가관리원의 산업융합원천기술개발사업[과제고유번호: 2MR0270, 과제명: 3D 몽타주 생성 및 연령별 얼굴 변환 예측시스템 개발]의 일환으로 수행한 연구로부터 도출된 것이다.
한국특허공개공보 제2005-0011120호
본 발명이 이루고자 하는 기술적 과제는, 인간의 인지 시스템과 부합할 수 있도록 인지과학적 접근방법을 사용하여 사용자가 의식하거나 잠재적으로 가지고 있는 목표 얼굴과 더욱 유사하며, 보다 자연스러운 인상을 갖는 아바타를 생성하는 인지적 아바타 생성 장치 및 방법을 제공하는 데에 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 아바타 생성 장치는 복수의 얼굴 영상들이 복수의 인상 그룹들로 분류되어 저장된 데이터베이스; 상기 데이터베이스에 저장된 얼굴 영상들에 속하는 후보 얼굴 영상들에 대한 사용자의 선택을 기초로 상기 사용자의 목표 얼굴이 속한 인상 그룹을 추정하는 인상그룹추정부; 상기 추정된 인상 그룹에 속한 얼굴 영상들 중 적어도 일부를 기초로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 생성하는 유전연산부; 상기 복수의 아바타 후보 영상들에 대한 사용자의 선택을 기초로 목표 얼굴에 대응되는 아바타를 생성하는 아바타 생성부; 및 상기 후보 얼굴 영상들을 디스플레이하고, 상기 후보 얼굴 영상에 대한 사용자의 선택을 입력받아 상기 인상그룹 추정부에 전달하고, 상기 아바타 후보 영상들을 디스플레이하고, 상기 아바타 후보 영상에 대한 사용자의 선택을 입력받아 상기 유전연산부 및 상기 아바타 생성부중 하나에 전달하는 사용자 인터페이스를 포함한다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 아바타 생성 방법은 복수의 얼굴 영상들이 복수의 인상 그룹들로 분류되어 저장된 데이터베이스에 저장된 얼굴 영상들에 속하는 후보 얼굴 영상들을 디스플레이하는 단계; 상기 디스플레이된 후보 얼굴 영상들 중 사용자의 선택을 받는 과정을 반복적으로 수행하여, 상기 사용자의 선택을 기초로 상기 사용자의 목표 얼굴이 속한 인상 그룹을 추정하는 인상 그룹 추정 단계; 상기 추정된 인상 그룹에 속한 얼굴 영상들 중 적어도 일부를 기초로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 생성하여 디스플레이하는 유전 연산 단계; 및 상기 디스플레이된 복수의 아바타 후보 영상들에 대한 사용자의 선택을 기초로 상기 목표 얼굴에 대응되는 아바타를 생성하는 아바타 생성 단계를 포함한다.
본 발명에 따르면, 복수의 얼굴 영상들이 복수의 인상 그룹들로 분류되어 저장된 데이터베이스에 저장된 다양한 인상의 얼굴 영상들에 대하여 사용자가 유사하다고 인지되는 영상을 선택하도록 하는 과정을 반복적으로 수행하고, 이처럼 반복적으로 수행된 사용자의 선택을 기초로 인지 과학적으로 접근하여 사용자가 아바타로 생성하고자 하는 목표 얼굴에 대응되는 아바타를 생성함으로써, 목표 얼굴에 대한 별도의 분석이나 재해석 과정이 없이도, 보다 자연스럽고 목표 얼굴과 유사한 인상의 아바타를 용이하게 표현할 수 있게 된다.
도 1은 본 발명의 바람직한 일 실시예에 따라 사용자의 목표 얼굴에 대하여 인지과학적으로 접근하는 아바타 생성 방법의 전체적인 흐름을 도시한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 아바타 생성 과정을 수행하는 아바타 생성 장치의 개략적인 구성을 도시한 블록도이다.
도 3은 본 발명의 바람직한 일 실시예에 따라 아바타를 생성하는 구체적인 아바타 생성 방법을 예시한 흐름도이다.
도 4는 본 발명의 바람직한 일 실시예에 따라 인지과학적 접근을 통해 사용자의 목표 얼굴에 수렴하는 얼굴 영상을 찾는 과정을 예시한 도면이다.
도 5a 내지 5f들은 본 발명의 바람직한 일 실시예에 따라 사용자의 목표 얼굴에 부합하는 얼굴 영상을 선택하는 과정의 개별 단계를 보다 용이하게 설명하기 위한 구체적인 예들을 도시한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 일 실시예에 따라 사용자의 목표 얼굴에 대하여 인지과학적으로 접근하는 아바타 생성 방법의 전체적인 흐름을 도시한 도면이다.
도 1을 참조하면, 본 실시예에 따른 아바타 생성 방법은 전처리 단계(110), 그룹 추정에 의한 전역적 수렴 단계(120) 및 그룹 내에서의 지역적 수렴 단계(130)로 구성될 수 있다.
전처리 단계(110)에서는 본 실시예에 따른 아바타 생성 과정에서 디스플레이된 얼굴 영상들 중에서 사용자가 목표 얼굴과 유사하다고 인지되는 인상을 갖는 얼굴 영상을 선택하는 과정을 반복함에 있어서, 이러한 사용자의 선택들을 기초로 보다 정확하게 목표 얼굴에 근접한 아바타를 생성하기 위해, 미리 복수의 얼굴 영상들을 복수의 인상 그룹들로 분류하여 데이터베이스에 저장한다.
여기에서 인상 그룹이란, “차가운 인상”, “따뜻한 인상”, “부드러운 인상”, “거친 인상”, “날카로운 인상”, “온순한 인상”과 같이 사람이 디스플레이된 얼굴 영상을 보고 인지하는 해당 얼굴 영상의 인상학적 특징 등에 각각 대응되도록 분류될 수도 있으며, 또는 얼굴형에 따라 분류될 수 있으며, 얼굴 영상의 주성분에 따라 분류될 수도 있으며, 기타 다른 인지과학이나 인지심리학적 분류기준에 따라 분류될 수도 있다. 따라서, 본 실시예에서는 인상 그룹의 분류기준과 관련하여 제한하거나 한정하지 않는다.
전역적 수렴 단계(120)에서는 디스플레이된 얼굴 영상들에 대한 사용자의 선택을 기초로 목표 얼굴이 속한 인상 그룹을 추정함으로써, 목표 얼굴로의 전역적 수렴 (Grobal convergence) 과정을 진행한다.
지역적 수렴 단계(130)에서는 추정된 인상 그룹에 속하는 얼굴 영상들 중 적어도 일부를 대상으로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 생성하고, 이러한 아바타 후보 영상들에 대한 사용자의 선택을 기초로 목표 얼굴로의 지역적 수렴(Local convergence) 과정을 진행한다. 좀더 구체적으로 설명하면, 유전 연산에 의해 생성된 아바타 후보 영상들에 대한 사용자의 선택을 기초로, 목표 얼굴에 좀더 근접한 아바타 후보 영상들을 재생성하여 사용자의 선택을 다시 받는 과정을 통해, 사용자의 목표 얼굴에 보다 지역적인 범위에서 수렴시켜가게 된다. 이처럼 사용자의 선택에 따라 사용자의 목표 얼굴에 수렴된 아바타 후보 영상을 기초로 아바타를 생성한다.
이처럼, 본 실시예에 따른 아바타 생성 방법에 따르면, 사용자 스스로가 목표 얼굴이 어떤 인상을 갖는지 또는 어떤 형상적인 특징을 갖는지 분석하거나 재해석하거나 판단하는 과정을 별도로 거치지 않고, 사용자가 디스플레이되는 얼굴 영상들 중 목표 얼굴과 유사한 선택해나감으로써, 사용자가 목표로 하고 있는 얼굴과 보다 유사한 인상을 갖는 얼굴 영상으로 수렴시켜 갈수 있게 되고, 수렴된 얼굴 영상을 기초로 아바타를 생성함으로써, 사용자가 의식하거나 잠재적으로 가지고 있는 목표 얼굴의 이미지를 인지적으로 잘 표현하는 아바타를 생성할 수 있게 되는 것이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 아바타 생성 과정을 수행하는 아바타 생성 장치의 개략적인 구성을 도시한 블록도이다.
도 2를 참조하면, 본 실시예에 따른 아바타 생성 장치는 사용자 인터페이스(210), 데이터베이스(220), 인상그룹 추정부(230) 및 유전연산부(240), 아바타생성부(250)를 포함하여 구성된다. 상기한 구성요소들 이외에 다른 구성요소들이 아바타 생성 장치에 포함될 수 있음은 자명하다.
본 실시예에 따른 아바타 생성 장치의 구성요소들인 사용자 인터페이스(210), 데이터베이스(220), 인상그룹 추정부(230) 및 유전연산부(240), 아바타생성부(250)들 각각은 그 중 적어도 일부가 외부 단말장치나 외부 서버등과 통신하는 프로그램 모듈일 수 있으며, 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈로서 아바타 생성 장치에 포함될 수 있으며, 물리적으로는 다양한 종류의 공지된 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 아바타 생성 장치와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명 자체가 이에 한정되지는 않는다.
사용자 인터페이스(210)는 인지과학적 접근을 위한 다른 구성요소 즉, 인상그룹 추정부(230), 유전연산부(240) 및 아바타생성부(250)와 연결되어, 사용자에게 얼굴 영상들을 디스플레이하고, 사용자로 하여금 디스플레이된 얼굴 영상들 중 적어도 하나 이상을 선택하게 하여, 이러한 사용자 선택을 후술할 다른 구성요소 즉, 인상그룹 추정부(230), 유전연산부(240) 및 아바타생성부(250)에 전달함으로써, 다른 구성요소에서 이러한 사용자의 선택을 기초로 사용자의 목표 얼굴에 수렴해갈 수 있게 하는 기능을 제공한다.
데이터베이스(220)는 미리 복수의 인상 그룹들로 분류된 복수의 얼굴 영상들을 저장한다. 전술한 바와 같이 분류 기준은 인상학적 특징이나, 얼굴형, 얼굴 영상의 주성분 등이 될 수 있으나, 이는 설명의 편의를 위한 것이며, 본 발명에서는 이를 제한하거나 한정하지 않는다고 할 것이다.
인상그룹 추정부(230)는 데이터베이스(220)에 저장된 얼굴 영상들 중 후보 얼굴 영상들을 사용자 인터페이스(210)를 통해 디스플레이하고, 사용자 인터페이스(210)를 통해 후보 얼굴 영상들에 대한 사용자의 선택을 입력받아, 입력받은 사용자의 선택을 기초로 사용자의 목표 얼굴이 속한 인상 그룹을 추정한다.
이때, 인상그룹 추정부(230)가 인상 그룹의 추정을 완료한 후에 사용자 인터페이스(210)는 추가로 추정이 완료된 인상 그룹에 속한 얼굴 영상들을 디스플레이하고, 디스플레이된 얼굴 영상들 중에 사용자의 선택을 받아 후술할 유전 연산부(240)에 전달할 수도 있다.
유전연산부(240)는 인상그룹 추정부(230)에서 추정된 인상 그룹에 속한 얼굴 영상들 중 적어도 일부를 기초로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 생성한다. 예컨대, 사용자 인터페이스(210)로부터 추정이 완료된 인상 그룹에 속한 얼굴 영상들 중 사용자 선택을 받은 얼굴 영상들을 전달받은 경우에는 해당 얼굴 영상들을 기초로 유전자 알고리즘 기반의 연산을 수행하는 것이 바람직하다.
본 실시예에서 수행되는 유전자 알고리즘 기반의 연산으로는 대표적으로 교차(cross-over) 연산과, 변이(mutation) 연산이 있으며, 이중 교차 연산은 대상 얼굴 연상들을 서로 교차시킴으로써, 선택된 얼굴 영상들로부터 도출 가능한 얼굴 영상을 새로 생성할 수 있으며, 변이 연산은 사용자가 제한된 범위(디스플레이된 얼굴 영상)에서 선택하고, 또 이들을 교차시킴으로써 사용자의 목표 얼굴과 거리가 먼쪽으로 빠르게 수렴될 수 있는 문제를 해결하기 위해, 얼굴 영상의 유전자 정보에 변이를 주어 선택된 얼굴 영상에 없는 얼굴의 인상 또한 첨가할 수 있는 가능성을 제공함으로써, 오류를 보다 줄일 수 있다. 따라서, 본 실시예에 따른 유전연산부에서 유전자 알고리즘 기반의 연산을 수행하여, 복수의 아바타 후보 영상들을 생성함에 있어, 교차 및 변이를 모두 수행하는 것이 바람직하다.
아바타생성부(250)는 유전연산부(240)에서 생성된 복수의 아바타 후보 영상들에 대한 사용자의 선택을 사용자 인터페이스(210)를 통해 입력받아, 입력받은 사용자의 선택을 기초로 목표 얼굴에 대응되는 아바타를 생성한다.
아바타 후보 영상들에 대한 사용자의 선택은 복수의 아바타 후보 영상들 중 목표 얼굴에 부합하는 하나의 아바타 후보 영상을 선택하는 최종 선택 및 복수의 아바타 후보 영상들 중 목표 얼굴에 유사한 적어도 하나 이상의 아바타 후보 영상을 선택하는 유사 선택의 두 종류로 나뉠 수 있으며, 사용자 인터페이스(210)는 복수의 아바타 후보 영상들에 대한 사용자의 선택이 최종 선택인 경우에는 최종 선택으로 선택된 하나의 아바타 후보 영상을 상기 아바타 생성부에 전달하고, 유사 선택일 경우에는 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들을 유전연산부(240)에 전달한다.
이에 따라 복수의 아바타 후보 영상들에 대한 사용자의 선택이 최종 선택인 경우에 아바타생성부(250)는 사용자 인터페이스(210)로부터 전달받은 최종 선택으로 선택된 하나의 아바타 후보 영상을 기초로 아바타를 생성하면 된다.
그러나, 복수의 아바타 후보 영상들에 대한 사용자의 선택이 유사 선택일 경우에는 유전연산부(240)를 통해, 선택된 아바타 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들을 기초로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 재생성하여, 사용자 인터페이스(210)를 통해 디스플레이하고, 다시 디스플레이된 아바타 후보 영상들에 대한 사용자의 선택을 입력받게 함으로써, 좀더 사용자의 목표얼굴에 수렴시키는 과정을 추가로 진행하게 된다.
구현예에 따라서는, 사용자 인터페이스(210)는 복수의 아바타 후보 영상들에 대한 사용자의 선택이 유사 선택일 경우에도 사용자가 추가적인 선택을 원하는지 여부를 인식할 수 있으며, 이때, 사용자가 추가적인 선택을 원하지 않는 경우에는, 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들을 아바타 생성부(250)로 전달할 수 있으며, 아바타 생성부는 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들의 평균 영상을 기초로 목표 얼굴에 대응되는 아바타를 생성할 수 있다.
도 3은 본 발명의 바람직한 일 실시예에 따라 아바타를 생성하는 구체적인 아바타 생성 방법을 예시한 흐름도로, 본 실시예에 따른 아바타 생성 방법은 도 2에 도시된 아바타 생성 장치에서 수행될 수 있다. 따라서, 도 2에 도시된 아바타 생성 장치에서와 동일한 사항에 대해서는 이를 참조한다.
도 3을 참조하면, 복수의 얼굴 영상들이 복수의 인상 그룹들로 분류되어 기구축된 데이터베이스로부터 저장된 얼굴 영상들을 로드하여 이들 중에서 후보 얼굴 영상들을 디스플레이한다(S310). 후보 얼굴 영상들은 로드된 얼굴 영상들 중에서 랜덤하게 선택되거나 인상 그룹별로 고른 비율로 선택될 수 있으나, 이는 설명의 편의를 위한 것에 불과하며, 본 실시예에서 후보 얼굴 영상을 선택하는 알고리즘 자체를 한정하거나 제한하는 것은 아니라고 할 것이다.
S310 단계에서 디스플레이된 후보 얼굴 영상들 중 사용자의 선택을 입력받는다(S320).
S320 단계에서 입력받은 사용자의 선택을 기초로 사용자의 목표 얼굴이 속한 인상 그룹을 추정한다(S330).
S330 단계에서 인상 그룹을 추정한 결과 인상 그룹 추정이 완료되었는지를 판단한다(S340).
S340 단계에서 판단한 결과 인상 그룹 추정이 완료된 경우에는 추정된 인상 그룹의 후보 얼굴 영상들 중 적어도 일부를 기초로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 생성한다(S350).
S350 단계에서 생성된 복수의 아바타 후보 영상들을 디스플레이한다(S360).
S360 단계에서 디스플레이된 아바타 후보 영상들에 대한 사용자의 선택을 입력받는다(S370).
S370 단계에서 입력받은 사용자의 선택이 사용자의 목표 얼굴에 부합하는 하나의 아바타 후보 영상을 선택하는 최종 선택인 경우(S380)에는 최종 선택으로 선택된 하나의 아바타 후보 영상을 기초로 목표 얼굴에 대응되는 아바타를 생성한다(S390).
S370 단계에서 입력받은 사용자의 선택이 최종 선택이 아니라, 목표 얼굴에 유사한 적어도 하나 이상의 아바타 후보 영상을 선택하는 유사 선택인 경우에는 유사선택으로 선택된 적어도 하나 이상의 아바타 후보 영상을 기초로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 재생성한다(S385).
S370 단계에서 입력받은 사용자의 선택이 최종 선택이 될 때까지, S385 단계에서 재생성된 아바타 후보 영상들을 기초로 S360 내지 S380 단계의 과정을 반복하여 수행하여, 아바타로 생성할 아바타 후보 영상이 사용자의 선택에 따라 사용자의 목표 얼굴에 최대한 수렴시킨다.
구현예에 따라서는, 복수의 아바타 후보 영상들에 대한 사용자의 선택이 유사 선택일 경우에도 사용자가 추가적인 선택을 원하지 않는 것으로 인식되는 경우에는, S385 단계에서 복수의 아바타 후보들을 재생성하지 않고, 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들의 평균 영상을 기초로 목표 얼굴에 대응되는 아바타를 생성하도록 구현할 수 있다(미도시).
도 4는 본 발명의 바람직한 일 실시예에 따라 인지과학적 접근을 통해 사용자의 목표 얼굴에 수렴하는 얼굴 영상을 찾는 과정을 예시한 도면이다.
도 4를 참조하면, 인지 과학이나 인지 심리학 등의 연구 결과를 이용하여 효과적인 분류 기준으로 판명된 분류 기준을 적용하여 얼굴 영상들을 분류하고 이러한 분류된 얼굴 영상을 데이터베이스로 저장한다(S401)
데이터베이스에 저장된 얼굴 영상들을 로드하고, 이들 중 적어도 일부를 디스플레이하고, 디스플레이된 얼굴 영상들 중 사용자의 선택을 입력받는 과정을 반복적으로 수행한다(S402)
S402 단계에서 입력받은 사용자의 선택을 기초로 사용자의 목표 얼굴에 대응되는 얼굴 영상이 속한 인상 그룹을 추정(전역적 수렴)한다(S403).
추정된 인상 그룹의 얼굴 영상들을 로드하여, 이들 중 적어도 일부를 사용자에게 디스플레이할 아바타 후보 영상의 집단으로 생성하여(S404), 이들을 디스플레이하여 디스플레이된 얼굴 영상들 중 사용자의 선택을 입력받고(S405), 사용자가 선택한 얼굴 영상들을 대상으로 유전자 알고리즘 기반의 연산을 수행함으로써, 좀더 사용자의 목표 얼굴로 수렴된 다음 세대의 아바타 후보 영상의 집단을 생성한다(S406). 이때, 유전 연산의 결과로 도출된 얼굴 영상뿐만 아니라 S403 단계에서 추정된 인상 그룹의 다른 얼굴 영상 또한 선택적으로 다음 세대의 아바타 후보 영상 집단에 포함시킴으로써, 유전자 연산을 통해 도출된 얼굴 영상들이 목표 얼굴과 상이한 인상의 얼굴 영상으로 수렴하는 것을 방지하도록 구현될 수 있다.
이러한 S405 내지 S406 단계의 과정(지역적 수렴)을 사용자가 원하는 목표 얼굴이 도출될 때까지 반복적으로 수행함으로써(S407), 목표 얼굴에 수렴하는 얼굴 영상을 도출할 수 있게 된다(S408).
도 5a 내지 5f들은 본 발명의 바람직한 일 실시예에 따라 사용자의 목표 얼굴에 부합하는 얼굴 영상을 선택하는 과정의 개별 단계를 보다 용이하게 설명하기 위한 구체적인 예들을 도시한 도면으로, 본 실시예에서는 데이터베이스에서 얼굴 영상을 A, B, C의 3 개의 인상 그룹으로 분류하고 있으며, 각 인상 그룹별로 9개의 얼굴 영상을 포함하고 있다고 가정한다. 이에 따라 데이터베이스에 저장된 얼굴 영상은 총 27개의 얼굴 영상이라 가정한다.
도 5a는 이러한 가정하에서 인상 그룹을 추정하는 전역적 수렴 과정을 설명하기 위한 도면으로, 데이터베이스에 저장된 얼굴 영상들 중 9개의 후보 얼굴 영상을 선정하여 하나의 화면을 통해 디스플레이하면, 사용자가 9개의 후보 얼굴 영상을 동일 화면 상에서 인지하여 이들 중 목표 얼굴과 유사하다고 인지되는 얼굴 영상을 선택한다는 가정 하에 진행된다.
본 실시예에서는 사용자의 선택으로부터 복수의 인상 그룹들 중 사용자의 선택에 가장 부합하는 하나의 인상 그룹을 선택하기 위해, 인상 그룹별로 신뢰도 수치를 설정하여, 사용자 선택을 반영하여 이러한 신뢰도 수치를 조정함으로써, 인상 그룹의 추정 과정을 진행한다.
도 5a를 참조하면, 먼저 각 인상 그룹별로 동일한 신뢰도를 설정한다(S501).
이러한 인상 그룹별 신뢰도에 비례하여 인상 그룹별로 선정할 후보 얼굴 영상의 개수를 결정하게 되는데, 현 단계에서는, 이전 단계인 S501 단계에서 인상 그룹 별로 동일한 신뢰도로 설정하였으므로, 각 인상 그룹별로 동일한 개수(3개)의 후보 얼굴 영상을 선정하여 이를 디스플레이한다(S502).
사용자는 9개의 디스플레이된 후보 얼굴 영상 중 목표 얼굴과 유사하게 인지되는 3개의 얼굴 영상들인 B1, B2, C2을 선택한다(S503)
S503 단계에서의 선택 결과에 따라 인상 그룹별 신뢰도를 조정한다(S504). 본 실시예에서는 B1, B2, C2가 선택되었으므로, 이러한 선택 결과를 반영하여 그룹 별 신뢰도를 A: B: C = 0%: 66%: 33% 수준으로 조정할 수 있다.
S504 단계에서 조정된 신뢰도에 비례하여 각 인상 그룹별로 선정할 후보 얼굴 영상의 개수를 결정하여, 각 인상 그룹별로 후보 얼굴 영상을 선정한다(S505). 본 실시예에서는 9개의 후보 얼굴 영상 중 6개를 66%의 신뢰도를 갖는 B그룹의 얼굴 영상들 중에서 선정하고, 3개를 33%의 신뢰도를 갖는 C그룹의 얼굴 영상들 중에서 선정한다.
사용자는 9개의 디스플레이된 후보 얼굴 영상 중 목표 얼굴과 유사하게 인지되는 얼굴 영상들인 B2, B3, B4를 선택하면(S506), 이러한 선택 결과에 따라 인상 그룹별 신뢰도를 다시 조정한다(S507). 본 실시예에 따른 선택 결과를 반영할 경우에 그룹별 신뢰도를 A: B: C = 0%: 99%: 0% 수준으로 조정할 수 있게 되고, 이 경우에는 사용자의 목표 얼굴에 대응되는 인상 그룹으로 B그룹을 추정하고 완료할 수 있게 된다(S508).
추가적으로, 인상 그룹 내에서의 지역적 수렴 과정을 용이하게 진행하기 위해, 인상 그룹의 얼굴 영상들 중 적어도 일부 얼굴 영상을 후보 얼굴 영상으로 하나의 화면에 디스플레이하고, 사용자가 이들 중에서 목표 얼굴과 상대적으로 유사한 얼굴 영상들을 선택하도록 할 수 있다(S509).
즉, 본 실시예에 따르면, 각 그룹별 신뢰도에 따른 후보 얼굴 선정과, 사용자의 유사 얼굴 선택 및 인상 그룹의 신뢰도 조정의 과정을 하나의 인상 그룹으로 추정을 완료할 수 있을 때까지 반복하여 수행함으로써 사용자의 목표 얼굴에 대응되는 인상 그룹을 추정할 수 있게 된다.
도 5b 및 5c들은 도 5a에 도시된 실시예에 따라 추정된 인상 그룹을 기초로 사용자의 목표 얼굴에 대응되는 얼굴 영상을 도출하는 지역적 수렴 과정을 설명하기 위한 도면들이다.
도 5b를 참조하면, 도 5a에 도시된 실시예에 따라 추정(S511)된 인상 그룹에 속한 얼굴 영상들 중 일부를 선택하여 이들을 교차 및 변이 등의 유전자 알고리즘 기반의 연산을 수행(S512)하여 아바타 후보 영상들을 생성하여 이를 사용자에게 디스플레이하고, 사용자는 디스플레이된 아바타 후보 영상들 중 목표얼굴과 유사한 적어도 하나 이상의 얼굴 영상을 선택(유사선택)하고, 유사선택된 얼굴 영상들에 대하여 다시 이들을 교차 및 변이 등의 유전자 알고리즘 기반의 연산을 수행하고 사용자로부터 유사 선택을 받는 과정(S512~S513)을 반복하다가, S513 단계로부터 사용자로부터 목표얼굴에 대응되는 하나의 얼굴 영상을 선택(최종선택)받게 되면, 최종선택된 얼굴 영상을 기초로 아바타를 생성하게 된다.
도 5c를 참조하면, 도 5a에 도시된 실시예의 S509 단계에서 추정된 그룹 내에서 사용자가 유사한 얼굴 영상들로 선택한 B2, B5, B9(521)들을 서로 교차 또는 변이시켜서 복수의 아바타 후보 영상들(522)을 생성시킨다.
생성된 복수의 아바타 후보 영상들 중에서 사용자로부터 목표얼굴과 유사한 적어도 하나 이상의 얼굴 영상(523)을 선택(유사선택)받아, 선택된 얼굴 영상들을 다시 서로 교차 또는 변이시켜서, 복수의 아바타 후보 영상들(524)을 생성하는 과정을 사용자로부터 하나의 얼굴 영상(525)을 최종선택 받을 때까지 반복한다.
사용자로부터 최종 선택을 받은 얼굴 영상(525)를 기초로 아바타를 생성함으로써, 목표 얼굴과 최대한 근접한 인상을 갖는 아바타를 생성할 수 있게 된다.
도 5d 및 도 5e는 도 5b 및 도 5c에 도시된 실시예에서 사용되는 유전자 알고리즘 기반의 연산 중 교차(crossover)연산 및 변이(mutation)연산을 설명하기 위한 도면으로, 본 실시예에 따른 유전 연산들은 각 얼굴 영상의 주성분에 대한 가중치 값들을 각 얼굴 영상의 유전자 정보로 사용하여 유전 연산을 수행할 수 있다.
도 5d를 참조하면, 본 실시예에 따른 얼굴 영상들 간의 교차 연산은 사용자가 전체적으로 유사하다고 인지하는 얼굴 영상들을 서로 교차시킴으로써, 사용자가 전체적으로 유사하다고 인지한 얼굴 영상들의 특징들이 서로 혼합된 얼굴 영상들을 생성한다.
도 5e를 참조하면, 본 실시예에 따른 얼굴 영상들 간의 변이 연산은 사용자가 전체적으로 유사하다고 인지하는 얼굴 영상들에 변이를 주어 얼굴 영상을 생성하는 것으로써, 제한된 아바타 후보 영상들 안에서 사용자가 선택해야 하고, 사용자가 선택한 얼굴 영상들 간에 임의로 교차됨에 따라 원치않는 얼굴로 빠르게 수렴되는 것을 방지하기 위해, 아바타 후보 영상에 얼굴의 인상이나 특징을 첨가할 수 있는 가능성을 주기 위함이다.
도 5f는 도 5b 및 도 5c에 도시된 실시예에서 아바타 후보 영상들을 디스플레이하고 사용자로부터 유사 선택 또는 최종 선택을 입력받는 사용자 인터페이스를 예시한 도면이다.
도 5f를 참조하면, 사용자가 적어도 하나 이상의 얼굴 영상을 선택하고, “얼굴 더보기”(531) 버튼을 클릭하면, 사용자에 의해 선택된 적어도 하나 이상의 얼굴 영상과 사용자의 목표 얼굴이 정확하게 부합하지는 않고 유사한 범위에 있는 것으로 인식되어, 사용자가 선택한 얼굴 영상들에 대하여 교차 또는 변이 연산이 수행되어 얼굴 영상들이 변경된 상태로 동일한 사용자 인터페이스가 다시 디스플레이된다.
사용자가 하나의 얼굴 영상을 선택하고, 버튼을 클릭하면, 사용자에 의해 선택된 얼굴 영상과 사용자의 목표 얼굴이 정확하게 부합하는 것으로 인식되어 선택된 얼굴 영상을 기초로 사용자의 목표 얼굴에 대응되는 아바타가 생성되게 된다.
아울러, 사용자가 둘 이상의 얼굴 영상을 선택하고, “이 얼굴로 결정!”(532) 버튼을 클릭하면, 사용자에 의해 선택된 둘 이상의 얼굴 영상들과 사용자의 목표 얼굴이 정확하게 부합하지는 않고 유사한 범위에 있는 것으로 인식되나, 사용자가 더 이상 추가적인 선택을 원하지 않는 것으로 인식되어 사용자에 의해 선택된 둘 이상의 얼굴 영상들의 평균영상을 기초로 사용자의 목표 얼굴에 대응되는 아바타가 생성될 수 있다.
이처럼, 본 발명에 따르면, 복수의 얼굴 영상들이 복수의 인상 그룹들로 분류되어 저장된 데이터베이스에 저장된 다양한 인상의 얼굴 영상들에 대하여 사용자가 유사하다고 인지되는 영상을 선택하도록 하는 과정을 반복적으로 수행하고, 이처럼 반복적으로 수행된 사용자의 선택을 기초로 인지 과학적으로 접근하여 사용자가 아바타로 생성하고자 하는 목표 얼굴에 대응되는 아바타를 생성함으로써, 목표 얼굴에 대한 별도의 분석이나 재해석 과정이 없이도, 보다 자연스럽고 목표 얼굴과 유사한 인상의 아바타를 용이하게 표현할 수 있게 된다.
아울러, 본 발명에 따라 인지과학적으로 아바타를 생성하는 과정은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
110: 전처리 단계
120: 전역적 수렴 단계
130: 지역적 수렴 단계
210: 사용자 인터페이스
220: 데이터베이스
230: 인상그룹 추정부
240: 유전연산부
250: 아바타생성부

Claims (16)

  1. 복수의 얼굴 영상들이 복수의 인상 그룹들로 분류되어 저장된 데이터베이스;
    상기 데이터베이스에 저장된 얼굴 영상들에 속하는 후보 얼굴 영상들에 대한 사용자의 선택을 기초로 상기 사용자의 목표 얼굴이 속한 인상 그룹을 추정하는 인상그룹추정부;
    상기 추정된 인상 그룹에 속한 얼굴 영상들 중 적어도 일부를 기초로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 생성하는 유전연산부;
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택을 기초로 목표 얼굴에 대응되는 아바타를 생성하는 아바타 생성부; 및
    상기 후보 얼굴 영상들을 디스플레이하고, 상기 후보 얼굴 영상들에 대한 사용자의 선택을 입력받아 상기 인상그룹 추정부에 전달하고, 상기 아바타 후보 영상들을 디스플레이하고, 상기 아바타 후보 영상에 대한 사용자의 선택을 입력받아 상기 유전연산부 및 상기 아바타 생성부중 하나에 전달하는 사용자 인터페이스를 포함하고,
    상기 인상그룹추정부는 상기 후보 얼굴 영상 중 상기 사용자에 의해 선택된 후보 얼굴 영상이 속하는 인상그룹의 비율에 따라 상기 인상그룹별 신뢰도가 조정되도록 하고, 상기 신뢰도에 따라 다음에 출력될 후보 얼굴 영상들의 각 인상 그룹별 비율이 결정되도록 하는 방식으로 최종 인상 그룹이 선택될 때까지 사용자의 선택을 받는 과정이 반복적으로 수행되도록 하며, 상기 신뢰도는 최초에는 상기 복수의 인상그룹별로 동일하고,
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택은
    상기 복수의 아바타 후보 영상들 중 상기 목표 얼굴에 부합하는 하나의 아바타 후보 영상을 선택하는 최종 선택; 및 상기 복수의 아바타 후보 영상들 중 상기 목표 얼굴에 유사한 적어도 하나 이상의 아바타 후보 영상을 선택하는 유사 선택;을 포함하고,
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택이 상기 최종 선택인 경우에는, 상기 사용자 인터페이스는 상기 최종 선택으로 선택된 하나의 아바타 후보 영상을 상기 아바타 생성부에 전달하고, 상기 아바타 생성부는 상기 최종 선택으로 선택된 하나의 아바타 후보 영상을 기초로 상기 아바타를 생성하며,
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택이 상기 유사 선택인 경우에는 상기 사용자 인터페이스는 상기 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들을 상기 유전연산부에 전달하고,상기 유전연산부는 상기 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들을 기초로 상기 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 재생성하며,
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택이 상기 유사 선택인 경우이나, 상기 사용자가 추가적인 선택을 원하지 않는 경우에는 상기 사용자 인터페이스는 상기 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들을 상기 아바타 생성부에 전달하고, 상기 아바타 생성부는 상기 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들의 평균 영상을 기초로 목표 얼굴에 대응되는 아바타를 생성하는 것을 특징으로 하는 인지적 아바타 생성 장치.
  2. 제1항에 있어서,
    상기 사용자 인터페이스는 상기 추정된 인상 그룹에 속한 얼굴 영상들을 디스플레이하고, 상기 디스플레이된 얼굴 영상들 중에 사용자의 선택을 받아 상기 유전 연산부에 전달하고,
    상기 유전연산부는 상기 추정된 인상 그룹에 속한 얼굴 영상들 중 사용자의 선택을 받은 얼굴 영상들을 기초로 상기 유전자 알고리즘 기반의 연산을 수행하는 것을 특징으로 하는 인지적 아바타 생성 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 유전자 알고리즘 기반의 연산은 교차(crossover) 및 변이(mutation)를 포함하는 것을 특징으로 하는 인지적 아바타 생성 장치.
  7. 제1항에 있어서,
    상기 복수의 아바타 후보 영상들은 상기 유전자 알고리즘 기반의 연산을 수행한 결과로 도출된 얼굴 영상 및 상기 추정된 인상 그룹에 속한 상기 적어도 일부와 다른 얼굴 영상을 포함하는 것을 특징으로 하는 인지적 아바타 생성 장치.
  8. 삭제
  9. 복수의 얼굴 영상들이 복수의 인상 그룹들로 분류되어 저장된 데이터베이스에 저장된 얼굴 영상들에 속하는 후보 얼굴 영상들을 디스플레이하는 단계;
    상기 디스플레이된 후보 얼굴 영상들 중 사용자의 선택을 받는 과정을 반복적으로 수행하여, 상기 사용자의 선택을 기초로 상기 사용자의 목표 얼굴이 속한 인상 그룹을 추정하는 인상 그룹 추정 단계;
    상기 추정된 인상 그룹에 속한 얼굴 영상들 중 적어도 일부를 기초로 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 생성하여 디스플레이하는 유전 연산 단계; 및
    상기 디스플레이된 복수의 아바타 후보 영상들에 대한 사용자의 선택을 기초로 상기 목표 얼굴에 대응되는 아바타를 생성하는 아바타 생성 단계를 포함하고,
    상기 인상그룹 추정 단계는 상기 후보 얼굴 영상 중 상기 사용자에 의해 선택된 후보 얼굴 영상이 속하는 인상그룹의 비율에 따라 상기 인상그룹별 신뢰도가 조정되도록 하고, 상기 신뢰도에 따라 다음에 출력될 후보 얼굴 영상들의 각 인상 그룹별 비율이 결정되도록 하는 방식으로 최종 인상 그룹이 선택될 때까지 사용자의 선택을 받는 과정이 반복적으로 수행되도록 하며, 상기 신뢰도는 최초에는 상기 복수의 인상그룹별로 동일하고,
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택은
    상기 복수의 아바타 후보 영상들 중 상기 목표 얼굴에 부합하는 하나의 아바타 후보 영상을 선택하는 최종 선택; 및 상기 복수의 아바타 후보 영상들 중 상기 목표 얼굴에 유사한 적어도 하나 이상의 아바타 후보 영상을 선택하는 유사 선택;을 포함하고,
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택이 상기 최종 선택인 경우에는, 상기 아바타 생성 단계는 상기 최종 선택으로 선택된 하나의 아바타 후보 영상을 기초로 상기 아바타를 생성하는 단계를 포함하고,
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택이 상기 유사 선택인 경우에는 상기 아바타 생성 단계는
    상기 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들을 기초로 상기 유전자 알고리즘 기반의 연산을 수행하여 복수의 아바타 후보 영상들을 재생성하는 단계; 및
    상기 재생성된 복수의 아바타 후보 영상들에 대한 사용자의 선택을 받는 단계;를 포함하고,
    상기 복수의 아바타 후보 영상들에 대한 사용자의 선택이 상기 유사 선택인 경우이나, 상기 사용자가 추가적인 선택을 원하지 않는 경우에는 상기 아바타 생성단계는
    상기 유사 선택으로 선택된 적어도 하나 이상의 아바타 후보 영상들의 평균 영상을 기초로 목표 얼굴에 대응되는 아바타를 생성하는 것을 특징으로 하는 인지적 아바타 생성 방법.
  10. 제9항에 있어서,
    상기 인상 그룹 추정 단계는 상기 추정된 인상 그룹에 속한 얼굴 영상들을 디스플레이하고 상기 디스플레이된 얼굴 영상들 중에 사용자의 선택을 받는 단계를 더 포함하고,
    상기 유전 연산 단계는 상기 추정된 인상 그룹에 속한 얼굴 영상들 중 사용자의 선택을 받은 얼굴 영상들을 기초로 상기 유전자 알고리즘 기반의 연산을 수행하는 것을 특징으로 하는 인지적 아바타 생성 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제9항에 있어서,
    상기 유전자 알고리즘 기반의 연산은 교차(crossover) 및 변이(mutation)를 포함하는 것을 특징으로 하는 인지적 아바타 생성 방법.
  15. 제9항에 있어서,
    상기 복수의 아바타 후보 영상들은 상기 유전자 알고리즘 기반의 연산을 수행한 결과로 도출된 얼굴 영상 및 상기 추정된 인상 그룹에 속한 상기 적어도 일부와 다른 얼굴 영상을 포함하는 것을 특징으로 하는 인지적 아바타 생성 방법.
  16. 삭제
KR20120125704A 2012-11-07 2012-11-07 인지적 아바타 생성 장치 및 방법 KR101494880B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20120125704A KR101494880B1 (ko) 2012-11-07 2012-11-07 인지적 아바타 생성 장치 및 방법
US14/073,975 US9348487B2 (en) 2012-11-07 2013-11-07 Apparatus and method for generating cognitive avatar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20120125704A KR101494880B1 (ko) 2012-11-07 2012-11-07 인지적 아바타 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140059076A KR20140059076A (ko) 2014-05-15
KR101494880B1 true KR101494880B1 (ko) 2015-02-25

Family

ID=50623584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120125704A KR101494880B1 (ko) 2012-11-07 2012-11-07 인지적 아바타 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9348487B2 (ko)
KR (1) KR101494880B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190127338A (ko) * 2018-05-04 2019-11-13 현대자동차주식회사 차량 단말 및 그의 얼굴 인증 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101418878B1 (ko) * 2013-04-22 2014-07-17 명지대학교 산학협력단 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법
US20150046875A1 (en) * 2013-08-07 2015-02-12 Ut-Battelle, Llc High-efficacy capturing and modeling of human perceptual similarity opinions
KR101635730B1 (ko) 2014-10-08 2016-07-20 한국과학기술연구원 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP6152125B2 (ja) * 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
KR20170029957A (ko) 2015-09-08 2017-03-16 한국과학기술연구원 Dna 정보를 이용한 얼굴 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102339478B1 (ko) 2015-09-08 2021-12-16 한국과학기술연구원 Dna 정보를 이용한 얼굴 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102474244B1 (ko) * 2015-11-20 2022-12-06 삼성전자주식회사 영상 표시 장치 및 그 동작방법
TWI643155B (zh) * 2017-01-18 2018-12-01 陳兆煒 認知訓練系統
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11636117B2 (en) * 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors
US20220172431A1 (en) * 2020-11-30 2022-06-02 Sony Interactive Entertainment LLC Simulated face generation for rendering 3-d models of people that do not exist
IT202100018971A1 (it) * 2021-07-19 2023-01-19 Gualtiero Dragotti Metodo e sistema per la marcatura di elementi

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015642A (ko) * 2000-08-22 2002-02-28 이성환 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
KR20040083759A (ko) * 2003-03-25 2004-10-06 강훈 대화형 진화 연산을 이용한 아바타 생성
KR20120006610A (ko) * 2010-07-13 2012-01-19 삼성전자주식회사 얼굴 애니메이션 시스템 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3442366B2 (ja) * 2000-02-29 2003-09-02 株式会社ソニー・コンピュータエンタテインメント キャラクタ表示方法およびエンタテインメント装置
KR20050011120A (ko) 2003-07-22 2005-01-29 이채헌 곡선벡터로 구성된 아바타의 성형과 화장 방법 및 그 장치.
US7707220B2 (en) * 2004-07-06 2010-04-27 Icosystem Corporation Methods and apparatus for interactive searching techniques
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US20070298866A1 (en) * 2006-06-26 2007-12-27 Paolo Gaudiano Methods and systems for interactive customization of avatars and other animate or inanimate items in video games
US9251402B2 (en) * 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015642A (ko) * 2000-08-22 2002-02-28 이성환 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
KR20040083759A (ko) * 2003-03-25 2004-10-06 강훈 대화형 진화 연산을 이용한 아바타 생성
KR20120006610A (ko) * 2010-07-13 2012-01-19 삼성전자주식회사 얼굴 애니메이션 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190127338A (ko) * 2018-05-04 2019-11-13 현대자동차주식회사 차량 단말 및 그의 얼굴 인증 방법
KR102540920B1 (ko) * 2018-05-04 2023-06-07 현대자동차주식회사 차량 단말 및 그의 얼굴 인증 방법

Also Published As

Publication number Publication date
US20140129989A1 (en) 2014-05-08
US9348487B2 (en) 2016-05-24
KR20140059076A (ko) 2014-05-15

Similar Documents

Publication Publication Date Title
KR101494880B1 (ko) 인지적 아바타 생성 장치 및 방법
US20200348969A1 (en) Techniques for workflow analysis and design task optimization
US9063565B2 (en) Automated avatar creation and interaction in a virtual world
US11150724B2 (en) Avatar-based augmented reality engagement
US11501500B2 (en) Augmented reality (AR) providing apparatus and method for recognizing context using neural network, and non-transitory computer-readable record medium for executing the method
US20150235474A1 (en) Three-dimensional mapping system
WO2022017305A1 (en) Mixed-reality teleconferencing across multiple locations
US9299178B2 (en) Generation of animated gesture responses in a virtual world
US11741678B2 (en) Virtual object construction method, apparatus and storage medium
US20170115626A1 (en) Sharing method and sharing device
JP2020177495A (ja) 動画生成装置、動画生成方法、プログラム、記憶媒体
US20130035915A1 (en) System and method for multiple target tracking
US20180232890A1 (en) Detecting Hand-Eye Coordination in Real Time by Combining Camera Eye Tracking and Wearable Sensing
CN109155004A (zh) 用于强化学习代理的无模型控制
CN110732137A (zh) 对深度学习网络的注意力的持续控制
CN113627298A (zh) 目标检测模型的训练方法及检测目标对象的方法、装置
KR20190103222A (ko) 자동화된 활동-시간 트레이닝 기법
CN112817447A (zh) 一种ar内容显示方法及系统
US11514693B2 (en) Model-based image labeling and/or segmentation
CN109190048B (zh) 一种佩戴物推荐方法、装置、电子设备及存储介质
US10853821B2 (en) Realtime land use rights management
JP6798839B2 (ja) 情報提供装置、および情報提供方法
JP6798840B2 (ja) 推定装置、および推定方法
US20190197564A1 (en) Product space representation mapping
JP2024026023A (ja) オプティカル・フローを使用したフレーム・レート・アップコンバージョン

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 6