KR20230080543A - 아바타 얼굴 생성 시스템 - Google Patents

아바타 얼굴 생성 시스템 Download PDF

Info

Publication number
KR20230080543A
KR20230080543A KR1020210167851A KR20210167851A KR20230080543A KR 20230080543 A KR20230080543 A KR 20230080543A KR 1020210167851 A KR1020210167851 A KR 1020210167851A KR 20210167851 A KR20210167851 A KR 20210167851A KR 20230080543 A KR20230080543 A KR 20230080543A
Authority
KR
South Korea
Prior art keywords
image
unit
expression
facial expression
facial
Prior art date
Application number
KR1020210167851A
Other languages
English (en)
Other versions
KR102553432B1 (ko
Inventor
김용수
Original Assignee
(주) 키글
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 키글 filed Critical (주) 키글
Priority to KR1020210167851A priority Critical patent/KR102553432B1/ko
Publication of KR20230080543A publication Critical patent/KR20230080543A/ko
Application granted granted Critical
Publication of KR102553432B1 publication Critical patent/KR102553432B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 아바타 얼굴 생성 시스템에 따르면, 얼굴을 포함하는 기본이미지로부터 얼굴에 대응하는 얼굴 인상영역으로 이루어진 인상이미지를 추출하는 얼굴추출부; 기 설정된 표정왜곡설정값을 이용하여 상기 인상영역을 왜곡시켜 왜곡표정을 포함하는 표정이미지를 추출하는 표정추출부; 및 상기 인상이미지와 표정이미지를 포함하는 감정이미지를 변경하는 커스텀부;를 포함한다.

Description

아바타 얼굴 생성 시스템{SYSTEM FOR CREATING FACE AVATAR}
본 발명은 아바타 얼굴 생성 시스템에 관한 것이다.
아바타(avatar)는 온라인 게임이나 채팅, 가상 공간 등에서 사용자의 역할을 대신하는 애니메이션 캐릭터를 뜻하는 말로 1990년대 인터넷 보급과 더불어 활발히 도입되기 시작하였으며 2000년대에 실제 사람의 사실성보다는 3D 그래픽 캐릭터의 관점에서 세컨드라이프(Second Life)나 리니지 등의 서비스에서 활용되고 있다.
컴퓨터 그래픽스 기술의 발달로 인해 보다 사실적인 인체 표현이 가능한 아바타 기술이 영화나 CF를 중심으로 활발히 활용되고 있으며, 최근에는 컴퓨터 그래픽 기술과 컴퓨터 비전 기술의 결합으로 인한 시너지 효과 및 센서 기술과 컴퓨팅 하드웨어의 발전으로 인해 실제 사용자의 외형이나 움직임을 사실적으로 표현할 수 있는 실사 인체 아바타에 대한 연구와 산업으로의 응용이 활발히 진행되고 있다.
한편, 사용자는 자신만의 아바타를 만들고 싶어하며, 사용자와 완전히 동떨어진 아바타가 아니라, 사용자의 특성을 반영하는 아바타를 갖고 싶어하는 욕구도 같이 증가하고 있다.
하지만, 사용자의 대표적 특성인 얼굴이 반영된 아바타 제공 기술은 아바타의 표정이 하나의 표정으로 한정되어 있는 문제가 있다.
이러한 문제를 해결하고자, 사용자의 대표적 특성인 얼굴을 왜곡시켜 다양한 표정으로 변경할 뿐, 왜곡된 표정을 수정할 수 없는 불편함이 있었다.
대한민국 등록특허공보 제10-1629219호(2016.06.03.등록)
상술한 바와 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 인상이미지를 자동으로 추출하고, 인상이미지를 기준으로 표정이미지를 추출함과 동시에 감정이미지를 변경하여 사용자가 다양한 표현을 할 수 있는 아바타 얼굴 생성 시스템을 제공하기 위함이다.
또한, 본 발명의 목적은, 기본이미지로부터 얼굴 인상영역으로 이루어진 인상이미지를 추출하고, 얼굴 인상영역을 편집하여 최종의 인상이미지를 저장할 수 있는 아바타 얼굴 생성 시스템을 제공하기 위함이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 아바타 얼굴 생성 시스템에 따르면, 얼굴을 포함하는 기본이미지로부터 얼굴에 대응하는 얼굴 인상영역으로 이루어진 인상이미지를 추출하는 얼굴추출부; 기 설정된 표정왜곡설정값을 이용하여 상기 인상영역을 왜곡시켜 왜곡표정을 포함하는 표정이미지를 추출하는 표정추출부; 및 상기 인상이미지와 표정이미지를 포함하는 감정이미지를 변경하는 커스텀부;를 포함한다.
또한, 상기 얼굴추출부는, 상기 기본이미지에서 얼굴에 해당하는 라인을 기준으로 얼굴 인상영역을 추출하는 영역추출부와, 추출된 상기 얼굴 인상영역의 크기 편집이 가능하도록 하는 영역편집부와, 상기 영역편집부에 의해 크기가 편집된 얼굴 인상영역으로 이루어진 인상이미지를 저장하는 영역저장부를 포함한다.
또한, 상기 영역편집부는, 추출된 얼굴 인상영역 크기를 확장가능한 확장부와, 축소가능한 축소부 및 상기 확장부와 축소부에서 얼굴 인상영역의 크기를 조절할 수 있는 영역조절도구를 제어하는 도구제어부를 포함한다.
또한, 상기 커스텀부는, 상기 감정이미지를 어느 하나의 색상으로 표시하는 색상표시부와, 상기 감정이미지에 기 설정된 문양을 표시하는 문양표시부를 포함한다.
또한, 상기 문양표시부는, 상기 감정이미지의 상단에 문양을 표시하는 상단표시부와, 하단에 문양을 표시하는 하단표시부를 포함하고, 상기 상단표시부는, 상기 감정이미지의 이마에 표시하고, 상기 하단표시부는, 상기 감정이미지의 양쪽 볼 중 어느 하나 이상의 볼에 표시하는 것을 특징으로 한다.
또한, 상기 커스텀부는, 상기 색상표시부가 표시하는 색상의 투명도를 조절가능한 투명조절부를 더 포함하고, 상기 색상표시부는, 상기 투명조절부로 조절된 투명도를 갖는 색상을 상기 감정이미지에 오버랩하여 표시하는 것을 특징으로 한다.
또한, 하나 이상의 콘텐츠를 제공하는 콘텐츠제공부; 상기 콘텐츠를 재생하고, 상기 감정이미지를 포함하는 캐릭터를 표시하는 콘텐츠재생부; 및 상기 콘텐츠가 재생되는 동안, 상기 감정이미지를 번갈아가며 변경하는 이미지변경부를 더 포함한다.
또한, 사용자를 촬영하는 촬영부와, 추출된 표정이미지를 디스플레이하는 디스플레이부와, 디스플레이되는 표정이미지에 따라 사용자가 짓는 얼굴표정을 촬영부로부터 인식하고, 인식하는 얼굴표정에서 입과 눈을 포함하는 얼굴특징데이터를 추출하는 특징추출부 및 상기 특징추출부가 추출한 얼굴특징데이터에 따라 상기 표정이미지를 보정하여 보정이미지를 생성하는 보정이미지생성부를 포함하는 표정보정부;를 더 포함한다.
또한, 상기 표정이미지는, 기쁨을 표현하는 제1표정이미지, 슬픔을 표현하는 제2표현미지, 화남을 표현하는 제3표정이미지 및 놀람을 표현하는 제4표정이미지를 포함하고, 상기 디스플레이부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나의 표정이미지를 디스플레이하고, 사용자는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나 표정이미지를 따라 표정을 짓고, 특징인식부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나 표정이미지가 디스플레이되는 동안, 사용자가 짓는 얼굴표정으로부터 얼굴특징데이터를 각각 추출하고, 상기 보정이미지생성부는, 디스플레이되는 제1표정이미지 내지 제4표정이미지마다 추출된 얼굴특징데이터에 따라 눈과 입을 보정하여 보정이미지를 생성하는 것을 특징으로 한다.
또한, 상기 디스플레이부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나의 변경전 표정이미지에서 나머지 중 어느 하나의 변경후 표정이미지로 변경될 수 있는 제1 내지 제12 경우에 따라 표정이미지를 변경하되, 변경전 표정이미지에서 변경후 표정이미지를 오버랩하면서 일정시간동안 변경시키고, 상기 특징인식부는, 상기 제1 내지 제12 경우마다 사용자의 얼굴표정에서 얼굴특징이 변화하는 특징변화데이터를 더 추출하되, 각 경우에 대응하는 제1 내지 제12 특징변화데이터를 추출하고, 상기 특징변화데이터는, 표정이미지의 변경전에서 변경후까지 연속되는 영상데이터로 이루어지고, 상기 보정이미지생성부는, 어느 하나의 표정이미지가 다른 표정이미지로 변경되는 각 경우에 해당되는 특징변화데이터를 통해 표정이 변화하는 제1 내지 제12 표현동영상을 생성하고, 상기 이미지변경부가 상기 제1표정이미지 내지 제4표정이미지를 번갈아가며 변경하는 경우마다, 경우에 대응하는 표현동영상을 변경전 표정이미지와 변경후 표정이미지 사이에 재생되도록 하는 것을 특징으로 한다.
이상 살펴본 바와 같은 본 발명의 효과는, 인상이미지를 자동으로 추출하고, 인상이미지를 기준으로 표정이미지를 추출함과 동시에 감정이미지를 변경하여 사용자가 다양한 표현을 할 수 있는 아바타 얼굴 생성 시스템을 제공할 수 있다.
또한, 본 발명의 효과는, 기본이미지로부터 얼굴 인상영역으로 이루어진 인상이미지를 추출하고, 얼굴 인상영역을 편집하여 최종의 인상이미지를 저장할 수 있는 아바타 얼굴 생성 시스템을 제공할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템을 나타낸 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 얼굴추출부를 나타낸 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 특징추출부를 나타낸 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 색상표시부를 나타낸 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 상단표시부를 나타낸 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 하단표시부를 나타낸 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 기본표정설정부를 나타낸 도면이다.
도 8 내지 도 10은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 콘텐츠를 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 아바타 얼굴 생성 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
본 발명에 따른 아바타 얼굴 생성 시스템은, 사용자단말기(100) 및 서버(200)를 통해 구현된다.
사용자단말기(100) 및 서버(200)는 인터넷을 포함하는 네트워크를 통해 서로 통신을 수행한다.
사용자단말기(100)는 스마트폰, 테블릿 및 노트북을 포함하는 모바일 기기에 해당할 수 있으나 본 발명의 범위가 이에 한정되는 것은 아니고 데스크 톱과 같은 비 모바일 기기에 해당할 수 있다.
사용자단말기(100)는 아바타 얼굴 생성하기 위한 애플리케이션(101)을 서버(200)로부터 다운로드 할 수 있고, 애플리케이션(101)이 설치되면, 애플리케이션(101)을 통해 아바타 얼굴을 생성 및 생성된 아바타 얼굴을 서버(200)로 전송할 수 있다.
또한, 사용자단말기(100)는 애플리케이션(101)을 통해 생성된 아바타 얼굴을 서버(200)에서 제공하는 콘텐츠(210)에 적용하여 콘텐츠(210)가 재생될 수 있도록, 콘텐츠(210)의 재생시킬 수 있다.
이에 따라, 아바타 얼굴 생성 시스템은 사용자단말기(100) 내에 설치된 애플리케이션(101)으로 구현되며, 구현을 위한 입출력이 사용자단말기(100)를 통해 이루어진다.
도 1 내지 도 10을 참조하면, 본 발명에 따른 아바타 얼굴 생성 시스템은, 얼굴추출부(110), 표정추출부(130) 및 커스텀부(140)를 포함한다.
먼저, 얼굴추출부(110)는, 얼굴을 포함하는 기본이미지(135)로부터 얼굴에 대응하는 얼굴 인상영역으로 이루어진 인상이미지(111)를 추출한다.
이때, 기본이미지(135)는 사용자단말기(100) 또는 서버(200)에 저장된 이미지를 로딩할 수 있다. 또한, 기본이미지(135)는, 인상이미지(111)로 추출되고, 인상이미지(111)를 통해서 다양한 표정으로 이루어진 후술할 표정이미지로 추출됨에 따라, 사용자의 무표정으로 이루어지는 것이 바람직하나, 이에 한정하지 않는다.
또한, 얼굴추출부(110)는, 영역추출부(112)와, 영역편집부(113) 및 영역저장부를 포함한다.
영역추출부(112)는, 기본이미지(135)에서 얼굴에 해당하는 라인을 기준으로 얼굴 인상영역을 추출한다. 이때, 얼굴에 해당하는 라인은 빅데이터를 이용하여 추출될 수 있다.
도 2를 참조하면, 영역편집부(113)는, 추출된 얼굴 인상영역의 크기 편집이 가능하도록 한다.
이때, 영역편집부(113)는, 추출된 얼굴 인상영역 크기를 확장가능한 확장부(114)와, 축소가능한 축소부(115) 및 상기 확장부(114)와 축소부(115)에서 얼굴 인상영역의 크기를 조절할 수 있는 영역조절도구(116)를 제어하는 도구제어부(117)를 포함한다.
여기서, 영역조절도구(116)는 원, 사각형 등의 도형으로 형성되고, 도형의 크기가 조절될 수 있다.
즉, 확장부(114)는, 영역조절도구(116)가 기본이미지(135)에 터치 등을 통해 입력되면 얼굴 인상영역을 추가하며 확장시킨다. 또한, 축소부(115)는, 영역조절도구(116)가 기본이미지(135)에 터치 등을 통해 입력되면 얼굴 인상영역을 제거하며 축소시킨다.
이때, 얼굴 인상영역은, 기본이미지(135)에 기 설정된 영역색상으로 표시됨에 따라, 확장부(114)와 축소부(115)에 조절되는 얼굴 인상영역을 확인할 수 있다.
영역저장부는, 영역편집부(113)에 의해 크기가 편집된 얼굴 인상영역으로 이루어진 인상이미지(111)를 저장한다.
즉, 얼굴추출부(110)는, 기본이미지(135)로부터 얼굴만으로 이루어진 인상이미지(111)를 추출 및 저장할 수 있다.
또한, 도 3과 같이, 본 발명에 따른 아바타 얼굴 생성 시스템은, 인상이미지(111)가 저장되면, 저장된 인상이미지(111)에서 감정표현에 필요한 눈과 입의 얼굴특징 포인터를 추출하고, 추출한 얼굴특징 포인터의 위치를 조절할 수 있는 특징추출부(120)를 더 포함할 수 있다.
도 4와 같이, 표정추출부(130)는, 기 설정된 표정왜곡설정값을 이용하여 인상영역을 왜곡시켜 왜곡표정을 포함하는 표정이미지를 추출한다.
이때, 표정이미지는, 기쁨을 표현하는 제1표정이미지(131), 슬픔을 표현하는 제2표정이미지(132), 화남을 표현하는 제3표정이미지(133) 및 놀람을 표현하는 제4표정이미지(134)를 포함할 수 있다.
예를 들어, 제1표정이미지(131)의 기 설정된 표정왜곡설정값은, 특징추출부(120)가 추출한 얼굴특징 포인터를 왜곡시키는 것으로, 인상이미지(111)의 눈을 가늘게 왜곡시키고, 입꼬리 양쪽이 입 중앙보다 올라가도록 왜곡시킬 수 있다.
이에 따라, 표정왜곡설정값을 다르게 함에 따라, 다양한 표정을 표현할 수 있다.
커스텀부(140)는, 인상이미지(111)와 표정이미지를 포함하는 감정이미지를 변경할 수 있다.
도 4 내지 도 7을 참조하면, 커스텀부(140)는, 색상표시부(141), 문양표시부, 일괄표시부(144), 투명조절부 및 기본표정설정부(145)를 포함한다.
도 4와 같이, 색상표시부(141)는, 감정이미지를 어느 하나의 색상으로 표시할 수 있다.
즉, 색상표시부(141)는, 인상이미지(111) 및 제1표정이미지(131) 내지 제4표정이미지(134)를 어느 하나의 색상으로 표시할 수 있다.
도 5 및 도 6을 참조하면, 문양표시부는, 인상이미지(111) 및 제1표정이미지(131) 내지 제4표정이미지(134)에 기 설정된 문양을 표시할 수 있다.
일괄표시부(144)는, 인상이미지(111) 및 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나에서 색상과 문양이 표시되면, 나머지 이미지에도 일괄적으로 표시되도록 한다.
또한, 문양표시부는, 감정이미지의 상단에 문양을 표시하는 상단표시부(142)와, 하단에 문양을 표시하는 하단표시부(143)를 포함한다.
즉, 상단표시부(142)는, 감정이미지의 이마에 표시하고, 하단표시부(143)는, 감정이미지의 양쪽 볼 중 어느 하나 이상의 볼에 표시할 수 있다.
여기서, 문양은, 하트, 달팽이 미로, 꽃, 물방울, 별, 도형 등 어느 하나 이상으로 이루어질 수 있으나, 이에 한정하지 않는다.
투명조절부는, 색상표시부(141)가 표시하는 색상의 투명도를 조절가능하다. 이때, 투명도는 70% 이하로 이루어져 얼굴 인상영역이 보일 수 있도록 하는 것이 바람직하나, 이에 한정하지 않는다.
이때, 색상표시부(141)는, 투명조절부로 조절된 투명도를 갖는 색상을 감정이미지에 오버랩하여 표시한다.
예를 들어, 기쁨을 표현하는 제1표정이미지(131)에 노란색을 표시하는 경우, 사용자가 원하는 투명도를 설정하여 표시함에 따라, 사용자별로 감정이미지를 원하는 방향대로 컨스텀할 수 있다.
도 7을 참조하면, 기본표정설정부(145)는, 후술할 콘텐츠(210)가 재생될 때 기본적으로 표시되는 기본표정을 설정할 수 있다.
즉, 기본표정설정부(145)는, 기 설정에 따라 기본표정을 인상이미지(111)로 설정하되, 사용자에 의해 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나가 선택되면 설정된 인상이미지(111)를 선택된 표정이미지로 변경한 기본이미지(135)로 설정할 수 있다.
이에 따라, 감정이미지에는, 인상이미지(111) 및 제1표정이미지(131) 내지 제4표정이미지(134)를 포함할 수도 있고, 기본표정설정부(145)에 따라 추가이미지 및 제1표정이미지(131) 내지 제4표정이미지(134)를 포함할 수 있다. 이때, 추가이미지는 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나의 표정이미지와 같으나, 색상과 문양은 다르게 표시될 수 있다.
한편, 본 발명에 따른 아바타 얼굴 생성 시스템은, 콘텐츠제공부(150), 콘텐츠재생부(160) 및 이미지변경부(170)를 포함한다.
콘텐츠제공부(150)는, 하나 이상의 콘텐츠(210)를 제공한다. 이때, 콘텐츠제공부(150)는 서버(200)로부터 콘텐츠(210)를 다운로드한다.
도 8을 참조하면, 콘텐츠재생부(160)는, 콘텐츠(210)를 재생하고, 감정이미지를 포함하는 캐릭터(211)를 표시한다. 즉, 캐릭터(211)에는 기 설정된 캐릭터(211)얼굴을 포함할 수 있으며, 감정이미지가 생성되면 캐릭터(211)얼굴을 감성이미지로 변경하고, 감성이미지를 얼굴로 하는 캐릭터(211)를 표시할 수 있다.
도 9 및 도 10을 참조하면, 이미지변경부(170)는, 콘텐츠(210)가 재생되는 동안, 감정이미지를 번갈아가며 변경한다. 즉, 이미지변경부(170)는, 기본이미지(135) 및 제1표정이미지(131) 내지 제4표정이미지(134)를 랜덤 또는 콘텐츠(210)에 기 설정된 변경값에 따라 변경한다. 이때, 기 설정된 변경값은, 콘텐츠(210)에 따라 감정표현이 필요한 부분에 무표정, 기쁨, 슬픔, 화남, 놀람 중 어느 하나의 감정이 설정되고, 무표정에는 기본이미지(135), 기쁨에는 제1표정이미지(131), 슬픔에는 제2표정이미지(132), 화남에는 제3표정이미지(133), 놀람에는 제4표정이미지(134)로 변경할 수 있다.
한편, 본 발명에 따른 아바타 얼굴 생성 시스템은, 기쁨, 슬픔, 화남, 놀람의 표정이미지를 보정한 보정이미지를 생성할 수 있는 표정보정부를 더 포함한다.
표정보정부는, 촬영부(103), 디스플레이부(102), 특징추출부(120) 및 보정이미지생성부를 포함한다.
촬영부(103)는, 사용자를 촬영한다.
디스플레이부(102)는, 추출된 표정이미지를 디스플레이한다.
이때, 촬영부(103)와 디스플레이부(102)는, 사용자단말기(100)의 촬영모듈과 디스플레이모듈일 수 있다.
특징추출부(120)는, 디스플레이되는 표정이미지에 따라 사용자가 짓는 얼굴표정을 촬영부(103)로부터 인식하고, 인식하는 얼굴표정에서 입과 눈을 포함하는 얼굴특징데이터를 추출한다.
보정이미지생성부는, 특징추출부(120)가 추출한 얼굴특징데이터에 따라 표정이미지를 보정하여 보정이미지를 생성한다. 이에 따라, 제1표정이미지(131)는 제1보정이미지, 제2표정이미지(132)는 제2보정이미지, 제3표정이미지(133)는 제3보정이미지, 제4표정이미지(134)는 제4보정이미지로 생성되고, 이미지변경부(170)는 표정이미지 대신 보정이미지를 변경한다.
여기서, 표정추출부(130)는, 기 설정된 표정왜곡설정값으로 인상이미지(111)의 입과 눈을 왜곡시켜 표정이미지를 추출하기 때문에 사용자의 실제 표정과 다르게 추출하여 표정이미지가 어색할 수 있다.
즉, 표정보정부는, 상술한 어색함을 없앨 수 있도록, 추출한 표정이미지를 실제 표정으로부터 입과 눈을 인식하고, 추출한 얼굴특징데이터로 표정이미지를 보정하는 것이다.
더 구체적으로 설명하면, 디스플레이부(102)는, 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나의 표정이미지를 디스플레이한다.
이때, 사용자는, 디스플레이되는 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나 표정이미지를 따라 표정을 짓는다.
여기서, 특징인식부는, 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나 표정이미지가 디스플레이되는 동안, 사용자가 짓는 얼굴표정으로부터 얼굴특징데이터를 각각 추출할 수 있다.
즉, 제1표정이미지(131)가 디스플레이되면, 사용자는 제1표정이미지(131)를 따라서 기쁨표정을 짓는다. 여기서, 사용자는 제1표정이미지(131)를 따라해서 입꼬리를 올리고, 눈을 가늘게 하는 기쁨표정을 짓는다.
이때, 보정이미지생성부는, 디스플레이되는 제1표정이미지(131) 내지 제4표정이미지(134)마다 추출된 얼굴특징데이터에 따라 눈과 입을 보정한다.
예를 들어, 제1표정이미지(131)에서 입꼬리 간격보다 얼굴특징데이터에서 추출한 입꼬리 간격이 더 길면, 얼굴특징데이터에서 추출한 입꼬리 간격에 대응하도록 제1표정이미지(131)에서 입꼬리 간격을 늘려 보정하는 것이다. 또한, 제1표정이미지(131)에서 가늘게 표현된 눈보다, 얼굴특징데이터에서 추출한 눈이 더 크다면, 얼굴특징데이터에서 추출한 눈크기에 대응하도록 제1표정이미지(131)에서 눈 크기를 크게 보정하는 것이다.
이와 같이, 실제 표정에 대응하도록 표정이미지를 보정함으로써, 어색함을 줄이고, 콘텐츠(210)에서 자신의 얼굴과 최대한 유사한 감정이미지를 볼 수 있다.
또한, 콘텐츠(210)가 재생되는 동안, 표정이미지가 변경될 때 더 자연스럽게 변경되도록 할 수 있다.
예를 들어, 제1표정이미지(131)에서 제2표정이미지(132)로 즉시 변경되는 것이 아니라, 실제 기쁨표정에서 슬픔표정으로 변화하는 얼굴특징 변화모습을 제1표정이미지(131)와 제2표정이미지(132) 사이에 보여주는 것이다. 이에 따라, 표정이미지가 또 다른 표정이미지로 변화하는 얼굴특징 변화모습도 함께 보여줌에 따라, 자연스럽게 표정이미지를 변경시켜 자연스러운 콘텐츠(210)를 재생시킬 수 있다. 또한, 표정이미지 대신 기 보정된 보정이미지가 변경될 때는, 기 보정된 보정이미지가 또 다른 표정이미지로 변화하는 사이에 얼굴특징 변화모습을 함께 보여줄 수 있다.
이를 위해, 디스플레이부(102)는, 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나의 변경전 표정이미지에서 나머지 중 어느 하나의 변경후 표정이미지로 변경될 수 있는 경우의 수에 따라 표정이미지를 변경하되, 변경전 표정이미지에서 변경후 표정이미지를 오버랩하면서 일정시간동안 변경시킨다.
여기서, 변경전 표정이미지에서 변경후 표정이미지로 변경되는 경우의 수는, 제1표정이미지(131)에서 제2 내지 제4표정이미지(134) 중 어느 하나로 각각 변경되는 제1 내지 제3의 경우, 제2표정이미지(132)에서 제1, 제3 및 제4표정이미지(134) 중 어느 하나로 각각 변경되는 제4 내지 제6의 경우, 제3표정이미지(133)에서 제1, 제2 및 제4표정이미지(134) 중 어느 하나로 각각 변경되는 제7 내지 제9의 경우, 제4표정이미지(134)에서, 제1 내지 제3표정이미지(133) 중 어느 하나로 각각 변경되는 제10 내지 제12의 경우를 포함하여 총 12개의 경우를 나타낸다.
특징인식부는, 제1 내지 제12의 경우마다 사용자의 얼굴표정에서 얼굴특징이 변화하는 특징변화데이터를 더 추출한다. 이때, 특징변화데이터는 변경 전에서 후까지 연속되는 영상데이터로 이루어질 수 있다. 즉, 특징인식부는, 제1표정이미지(131)에서 제2표정이미지(132)를 따라 짓는 사용자의 얼굴표정에서 얼굴특징이 변화하는 특징변화데이터를 추출함에 따라, 각 경우마다 제1 내지 제12 특정변화데이터를 추출한다.
보정이미지생성부는, 어느 하나의 표정이미지가 다른 표정이미지로 변경되는 경우에 해당되는 특징변화데이터를 통해 표정이미지가 변화하는 표현동영상을 각 경우마다 제1 내지 제12 표현동영상을 생성할 수 있다.
그리고, 이미지변경부(170)는, 제1표정이미지(131) 내지 제4표정이미지(134)를 번갈아가며 변경하는 경우마다, 경우에 대응하는 표현동영상을 변경전 표정이미지와 변경후 표정이미지 사이에 재생되도록 한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. 더불어, 상술하는 과정에서 기술된 구성의 작동순서는 반드시 시계열적인 순서대로 수행될 필요는 없으며, 각 구성 및 단계의 수행 순서가 바뀌어도 본 발명의 요지를 충족한다면 이러한 과정은 본 발명의 권리범위에 속할 수 있음은 물론이다.
100 : 사용자단말기 101 : 애플리케이션
102 : 디스플레이부 103 : 촬영부
110 : 얼굴추출부 111 : 인상이미지
112 : 영역추출부 113 : 영역편집부
114 : 확장부 115 : 축소부
116 : 영역조절도구 117 : 도구제어부
120 : 특징추출부 130 : 표정추출부
131 : 제1표정이미지 132 : 제2표정이미지
133 : 제3표정이미지 134 : 제4표정이미지
135 : 기본이미지 140 : 커스텀부
141 : 색상표시부 142 : 상단표시부
143 : 하단표시부 144 : 일괄표시부
145 : 기본표정설정부 150 : 콘텐츠제공부
160 : 콘텐츠재생부 170 : 이미지변경부
200 : 서버 210 : 콘텐츠
211 : 캐릭터

Claims (10)

  1. 얼굴을 포함하는 기본이미지로부터 얼굴에 대응하는 얼굴 인상영역으로 이루어진 인상이미지를 추출하는 얼굴추출부;
    기 설정된 표정왜곡설정값을 이용하여 상기 인상영역을 왜곡시켜 왜곡표정을 포함하는 표정이미지를 추출하는 표정추출부; 및
    상기 인상이미지와 표정이미지를 포함하는 감정이미지를 변경하는 커스텀부;를 포함하는 아바타 얼굴 생성 시스템.
  2. 제1항에 있어서,
    상기 얼굴추출부는,
    상기 기본이미지에서 얼굴에 해당하는 라인을 기준으로 얼굴 인상영역을 추출하는 영역추출부와,
    추출된 상기 얼굴 인상영역의 크기 편집이 가능하도록 하는 영역편집부와,
    상기 영역편집부에 의해 크기가 편집된 얼굴 인상영역으로 이루어진 인상이미지를 저장하는 영역저장부를 포함하는 아바타 얼굴 생성 시스템.
  3. 제2항에 있어서,
    상기 영역편집부는, 추출된 얼굴 인상영역 크기를 확장가능한 확장부와, 축소가능한 축소부 및 상기 확장부와 축소부에서 얼굴 인상영역의 크기를 조절할 수 있는 영역조절도구를 제어하는 도구제어부를 포함하는 아바타 얼굴 생성 시스템.
  4. 제1항에 있어서,
    상기 커스텀부는,
    상기 감정이미지를 어느 하나의 색상으로 표시하는 색상표시부와,
    상기 감정이미지에 기 설정된 문양을 표시하는 문양표시부를 포함하는 아바타 얼굴 생성 시스템.
  5. 제4항에 있어서,
    상기 문양표시부는, 상기 감정이미지의 상단에 문양을 표시하는 상단표시부와, 하단에 문양을 표시하는 하단표시부를 포함하고,
    상기 상단표시부는, 상기 감정이미지의 이마에 표시하고,
    상기 하단표시부는, 상기 감정이미지의 양쪽 볼 중 어느 하나 이상의 볼에 표시하는 것을 특징으로 하는 아바타 얼굴 생성 시스템.
  6. 제4항에 있어서,
    상기 커스텀부는,
    상기 색상표시부가 표시하는 색상의 투명도를 조절가능한 투명조절부를 더 포함하고,
    상기 색상표시부는, 상기 투명조절부로 조절된 투명도를 갖는 색상을 상기 감정이미지에 오버랩하여 표시하는 것을 특징으로 하는 아바타 얼굴 생성 시스템.
  7. 제1항에 있어서,
    하나 이상의 콘텐츠를 제공하는 콘텐츠제공부;
    상기 콘텐츠를 재생하고, 상기 감정이미지를 포함하는 캐릭터를 표시하는 콘텐츠재생부; 및
    상기 콘텐츠가 재생되는 동안, 상기 감정이미지를 번갈아가며 변경하는 이미지변경부를 더 포함하는 아바타 얼굴 생성 시스템.
  8. 제7항에 있어서,
    사용자를 촬영하는 촬영부와,
    추출된 표정이미지를 디스플레이하는 디스플레이부와,
    디스플레이되는 표정이미지에 따라 사용자가 짓는 얼굴표정을 촬영부로부터 인식하고, 인식하는 얼굴표정에서 입과 눈을 포함하는 얼굴특징데이터를 추출하는 특징추출부 및
    상기 특징추출부가 추출한 얼굴특징데이터에 따라 상기 표정이미지를 보정하여 보정이미지를 생성하는 보정이미지생성부를 포함하는 표정보정부;를 더 포함하는 아바타 얼굴 생성 시스템.
  9. 제8항에 있어서,
    상기 표정이미지는, 기쁨을 표현하는 제1표정이미지, 슬픔을 표현하는 제2표현미지, 화남을 표현하는 제3표정이미지 및 놀람을 표현하는 제4표정이미지를 포함하고,
    상기 디스플레이부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나의 표정이미지를 디스플레이하고,
    사용자는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나 표정이미지를 따라 표정을 짓고,
    상기 제1표정이미지 내지 제4표정이미지 중 어느 하나 표정이미지가 디스플레이되는 동안, 사용자가 짓는 얼굴표정으로부터 얼굴특징데이터를 각각 추출하는 특징인식부를 포함하고,
    상기 보정이미지생성부는, 디스플레이되는 제1표정이미지 내지 제4표정이미지마다 추출된 얼굴특징데이터에 따라 눈과 입을 보정하여 보정이미지를 생성하는 것을 특징으로 하는 아바타 얼굴 생성 시스템.
  10. 제9항에 있어서,
    상기 디스플레이부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나의 변경전 표정이미지에서 나머지 중 어느 하나의 변경후 표정이미지로 변경될 수 있는 제1 내지 제12 경우에 따라 표정이미지를 변경하되, 변경전 표정이미지에서 변경후 표정이미지를 오버랩하면서 일정시간동안 변경시키고,
    상기 특징인식부는, 상기 제1 내지 제12 경우마다 사용자의 얼굴표정에서 얼굴특징이 변화하는 특징변화데이터를 더 추출하되, 각 경우에 대응하는 제1 내지 제12 특징변화데이터를 추출하고,
    상기 특징변화데이터는, 표정이미지의 변경전에서 변경후까지 연속되는 영상데이터로 이루어지고,
    상기 보정이미지생성부는, 어느 하나의 표정이미지가 다른 표정이미지로 변경되는 각 경우에 해당되는 특징변화데이터를 통해 표정이 변화하는 제1 내지 제12 표현동영상을 생성하고,
    상기 이미지변경부가 상기 제1표정이미지 내지 제4표정이미지를 번갈아가며 변경하는 경우마다, 경우에 대응하는 표현동영상을 변경전 표정이미지와 변경후 표정이미지 사이에 재생되도록 하는 것을 특징으로 하는 아바타 얼굴 생성 시스템.
KR1020210167851A 2021-11-30 2021-11-30 아바타 얼굴 생성 시스템 KR102553432B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210167851A KR102553432B1 (ko) 2021-11-30 2021-11-30 아바타 얼굴 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210167851A KR102553432B1 (ko) 2021-11-30 2021-11-30 아바타 얼굴 생성 시스템

Publications (2)

Publication Number Publication Date
KR20230080543A true KR20230080543A (ko) 2023-06-07
KR102553432B1 KR102553432B1 (ko) 2023-07-10

Family

ID=86761235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210167851A KR102553432B1 (ko) 2021-11-30 2021-11-30 아바타 얼굴 생성 시스템

Country Status (1)

Country Link
KR (1) KR102553432B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025718A (ko) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 화상 통화 방법 및 시스템
KR20140065762A (ko) * 2012-11-21 2014-05-30 토리인 주식회사 사용자 맞춤 캐릭터 영상물의 실시간 제공시스템 및 방법
KR101629219B1 (ko) 2014-05-23 2016-06-13 정성 얼굴인식을 통해 이용을 제한하는 엘리베이터 감시장치
KR101681501B1 (ko) * 2016-06-28 2016-12-01 (주) 키글 아바타 얼굴 생성 시스템 및 방법
KR20190101834A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025718A (ko) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 화상 통화 방법 및 시스템
KR20140065762A (ko) * 2012-11-21 2014-05-30 토리인 주식회사 사용자 맞춤 캐릭터 영상물의 실시간 제공시스템 및 방법
KR101629219B1 (ko) 2014-05-23 2016-06-13 정성 얼굴인식을 통해 이용을 제한하는 엘리베이터 감시장치
KR101681501B1 (ko) * 2016-06-28 2016-12-01 (주) 키글 아바타 얼굴 생성 시스템 및 방법
KR20190101834A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법

Also Published As

Publication number Publication date
KR102553432B1 (ko) 2023-07-10

Similar Documents

Publication Publication Date Title
CN107154069B (zh) 一种基于虚拟角色的数据处理方法及系统
US20210264139A1 (en) Creating videos with facial expressions
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
US8988436B2 (en) Training system and methods for dynamically injecting expression information into an animated facial mesh
KR101514327B1 (ko) 얼굴 아바타 생성 장치 및 방법
KR101306221B1 (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
Spencer ZBrush character creation: advanced digital sculpting
US20240153186A1 (en) Sentiment-based interactive avatar system for sign language
CN111530086B (zh) 一种生成游戏角色的表情的方法和装置
US20140267342A1 (en) Method of creating realistic and comic avatars from photographs
US20180143741A1 (en) Intelligent graphical feature generation for user content
CN116824020A (zh) 图像生成方法和装置、设备、介质和程序
KR20140065762A (ko) 사용자 맞춤 캐릭터 영상물의 실시간 제공시스템 및 방법
US20220165024A1 (en) Transforming static two-dimensional images into immersive computer-generated content
KR102553432B1 (ko) 아바타 얼굴 생성 시스템
KR101681501B1 (ko) 아바타 얼굴 생성 시스템 및 방법
CN114026524B (zh) 用于动画化人脸的方法、系统、以及计算机可读介质
WO2023130715A1 (zh) 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN111899321A (zh) 一种虚拟角色表情展现的方法和装置
Jie et al. Case Study of Short Animation with Facial Capture Technology Using Mobile
Luntraru et al. Harmonizing 2D and 3D in Modern Animation.
US20240193838A1 (en) Computer-implemented method for controlling a virtual avatar
WO2018018076A1 (en) Creating videos with facial expressions
KR100965622B1 (ko) 감성형 캐릭터 및 애니메이션 생성 방법 및 장치
KR20240077871A (ko) 가상 캐릭터 감정 표현 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant