KR100912877B1 - A mobile communication terminal having a function of the creating 3d avata model and the method thereof - Google Patents

A mobile communication terminal having a function of the creating 3d avata model and the method thereof Download PDF

Info

Publication number
KR100912877B1
KR100912877B1 KR1020070123247A KR20070123247A KR100912877B1 KR 100912877 B1 KR100912877 B1 KR 100912877B1 KR 1020070123247 A KR1020070123247 A KR 1020070123247A KR 20070123247 A KR20070123247 A KR 20070123247A KR 100912877 B1 KR100912877 B1 KR 100912877B1
Authority
KR
South Korea
Prior art keywords
face
model
avatar
dimensional
generating
Prior art date
Application number
KR1020070123247A
Other languages
Korean (ko)
Other versions
KR20080050336A (en
Inventor
김종진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080050336A publication Critical patent/KR20080050336A/en
Application granted granted Critical
Publication of KR100912877B1 publication Critical patent/KR100912877B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 이동통신 단말기의 카메라로 촬영한 얼굴 화상을 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성할 수 있는 장치 및 방법에 관한 것으로, 3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리와; 이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부와; 상기 메모리에 저장되어 있는 상기 표준 3차원 얼굴모델 및 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하는 3D 모델변환부와; 상기 3D 모델변환부에서 생성된 3차원 아바타 모델과 추가로 입력되는 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하는 애니메이션 조합부와; 상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합·편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하여 구성된다.The present invention relates to an apparatus and method for generating a three-dimensional avatar modeled after a real person using a face image photographed by a camera of a mobile communication terminal, and storing a standard three-dimensional face model for generating a three-dimensional avatar. Memory being played; An image processor which combines a front face image and a side face image obtained through a camera of the mobile communication terminal; A 3D model converter configured to generate a 3D avatar model using the front face image and the side face image combined from the standard 3D face model and the image processor stored in the memory; An animation combination unit generating 3D avatar animation data by combining the 3D avatar model generated by the 3D model converter and text or voice additionally input; And an animation data generator for combining and editing the plurality of 3D avatar animation data generated by the animation combination unit to generate animation data.

3차원 아바타, 얼굴 화상,애니메이션, 컨텐츠, 얼굴 모델 3D Avatar, Face Image, Animation, Content, Face Model

Description

３차원 아바타 생성 기능을 구비한 이동통신 단말기 및 ３차원 아바타 생성 방법{A MOBILE COMMUNICATION TERMINAL HAVING A FUNCTION OF THE CREATING 3D AVATA MODEL AND THE METHOD THEREOF}A mobile communication terminal having a three-dimensional avatar generation function and a three-dimensional avatar generation method {A MOBILE COMMUNICATION TERMINAL HAVING A FUNCTION OF THE CREATING 3D AVATA MODEL AND THE METHOD THEREOF}

본 발명은 3차원 아바타(Avatar)를 생성하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 이동통신 단말기의 카메라로 촬영한 얼굴 화상을 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성할 수 있는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a 3D avatar, and more particularly, to generate a 3D avatar modeled after a real person using a face image photographed by a camera of a mobile communication terminal. An apparatus and method are provided.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-044-01, 과제명: 멀티코아 CPU 및 MPU 기반 크롯플랫폼 게임기술 개발].The present invention is derived from the research conducted as part of the IT new growth engine core technology development project of the Ministry of Information and Communication and the Ministry of Information and Telecommunication Research and Development. [Task Management Number: 2006-S-044-01, Title: Multicore CPU and MPU based Crot Platform game technology development].

일반적으로, 아바타는 사이버 공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터로 정의되며, 기존 2차원 아바타는 단순한 그래픽으로 구현되어 현실감이 부족하다는 단점이 있었고, 이런 단점을 개선하여 등장한 것이 3차원 아바타이다.In general, an avatar is defined as an animation character that replaces the user's role in cyberspace, and the existing two-dimensional avatar has a shortcoming of lack of realism because it is implemented as a simple graphic.

그러나, 종래에는 3차원 아바타 생성을 위하여 3차원 모델 제작자가 별도의 3차원 그래픽 프로그램을 이용하여 여러 공정을 거쳐야만 제작이 가능하였다. 특히, 3차원 아바타에 사용되는 피부 재질이나 표정 애니메이션 등은 별도의 장비로 입력받은 데이터들을 이용할 수 밖에 없었다.However, in the related art, a three-dimensional model maker may use a separate three-dimensional graphics program to generate a three-dimensional avatar, and thus, may be manufactured. In particular, skin materials and facial animations used in 3D avatars had to use data input by separate equipment.

예를들면, 자연스러운 표정 애니메이션을 만들기 위해서는 고가의 페이셜 모션 캡처 장비가 필요하며, 이 또한 여러 가지 후처리 작업이 필요하다. 이는 3차원 아바타를 제작하기에 많은 시간과 인력, 그리고 고가의 장비가 필요하기에 많은 어려움을 가지고 있다.For example, creating facial expression animations requires expensive facial motion capture equipment, which also requires a lot of post-processing. This has a lot of difficulties because it takes a lot of time, manpower, and expensive equipment to produce a three-dimensional avatar.

이러한 문제점을 해결하기 위하여, 국내공개특허 제2001-0089329호(선행기술1)는 인터넷상에서 자신의 사진을 이용하여 아바타를 생성하고, 이를 이동통신 단말기로 전송할 수 있도록 해줌으로써 기존의 자기 사진만을 캡쳐하여 전송하는 방식과는 달리 자신의 사진을 아바타로 만듦으로써 아바타 몰을 이용하여 자신이 원하는 스타일로 변화할 수 있는 다양한 흥미거리를 제공할 수 있는 모바일 이미지 및 아바타 자가생성 프로그램에 대해 개시하고 있다. 그러나, 선행기술1은 인터넷 상에서 생성한 아바타를 다시 모바일로 전송하는 방식을 취하기 때문에 인터넷 상에서 아바타를 생성해야 하는 번거로운 절차가 필수적으로 요구된다.In order to solve this problem, Korean Laid-Open Patent No. 2001-0089329 (prior art 1) generates an avatar using its own picture on the Internet, and captures only the existing self-picture by allowing it to be transmitted to a mobile communication terminal. Unlike the method of transmitting a photo by using the avatar to make a picture of yourself using the avatar mall is a mobile image and avatar self-generation program that can provide a variety of interests that can be changed to the desired style. However, since the prior art 1 takes a method of transmitting an avatar generated on the Internet back to the mobile, a cumbersome procedure of generating an avatar on the Internet is required.

국내공개특허 제2003-0025588호(선행기술2)는 실사사진을 이용한 이동통신 단말기용 고품질 일러스트, 동영상캐릭터 생성 및 응용 서비스를 제공하는 사업 형태에 대해 개시하고 있으며, 이동통신 단말기의 사용자가 자신의 사진을 서비스 제공자에게 전송하여 그 사진을 이용 전문 디자이너가 고품질의 일러스트를 만들어 동영상(2차원 또는 3차원) 형태의 캐릭터로 사용자의 이동통신 단말기에 제공하고 있다.Korean Laid-Open Patent Publication No. 2003-0025588 (Prior Art 2) discloses a business type for providing high quality illustration, video character generation and application services for mobile communication terminals using live-action photographs. Photographs are sent to service providers, and professional designers use them to create high-quality illustrations and provide them to the user's mobile terminal as characters in the form of video (2D or 3D).

그러나, 선행기술2는 고품질의 캐릭터 제공이 가능하다는 장점을 제공하지 만, 사용자가 아닌 전문 디자이너가 아바타를 제작해주는 형태를 취하므로 시간 및 비용면에서 비경제적인 단점을 가진다.However, although the prior art 2 provides an advantage of providing a high quality character, it takes an uneconomical disadvantage in terms of time and cost because it takes the form of producing an avatar by a professional designer rather than a user.

본 발명은 상기한 문제점들을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 이동통신 단말기의 카메라로 촬영한 얼굴 이미지를 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성하고 이를 이용하여 다양한 3차원 컨텐츠를 제작할 수 있는 3차원 아바타 생성 기능을 구비한 이동통신 단말기 및 3차원 아바타 생성 방법을 제공하는 것이다.The present invention has been made to solve the above problems, an object of the present invention is to create a three-dimensional avatar modeled on a real person using a face image taken by the camera of the mobile communication terminal and using the various three-dimensional A mobile communication terminal having a 3D avatar generation function capable of producing content and a 3D avatar generation method are provided.

본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.Other objects and advantages of the invention will be described below and will be appreciated by the embodiments of the invention. In addition, the objects and advantages of the invention may be realized by the means and combinations indicated in the claims.

상기한 목적을 달성하기 위한 본 발명에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기는,3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리와; 이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부와; 상기 메모리에 저장되어 있는 상기 표준 3차원 얼굴모델 및 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하는 3D 모델변환부와; 상기 3D 모델변환부에서 생성된 3차원 아바타 모델과 추가로 입력되는 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하는 애니메이션 조합부와; 상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합· 편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a mobile communication terminal having a three-dimensional avatar generation function, including: a memory storing a standard three-dimensional face model for generating a three-dimensional avatar; An image processor which combines a front face image and a side face image obtained through a camera of the mobile communication terminal; A 3D model converter configured to generate a 3D avatar model using the front face image and the side face image combined from the standard 3D face model and the image processor stored in the memory; An animation combination unit generating 3D avatar animation data by combining the 3D avatar model generated by the 3D model converter and text or voice additionally input; And an animation data generation unit for generating animation data by combining and editing the plurality of 3D avatar animation data generated by the animation combination unit.

또한, 본 발명에 따른 3차원 아바타 생성 방법은, 이동통신 단말기의 카메라로 인물의 정면, 측면 얼굴 이미지를 촬영하는 단계; 상기 정면, 측면 얼굴 이미지를 이용하여 3차원 얼굴모델을 생성하는 단계; 및 텍스트 혹은 음성을 입력받은 후, 상기 입력받은 텍스트 혹은 음성을 상기 3차원 얼굴모델과 조합하여 얼굴 애니메이션 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.In addition, the three-dimensional avatar generation method according to the present invention comprises the steps of photographing the front, side face images of the person with a camera of the mobile communication terminal; Generating a 3D face model using the front and side face images; And after receiving text or voice, generating face animation data by combining the received text or voice with the 3D face model.

이상 상술한 바와 같이 본 발명에 따르면, 현재 보편적으로 사용되고 있는 이동통신 단말기의 카메라를 사용해 3D 아바타에 사용될 이미지를 쉽게 얻고, 이 이미지를 기반으로 자동화된 시스템으로 3D 얼굴모델을 제작하며, 또한 텍스트나 음성을 추가적으로 입력할 때 자동으로 3D 얼굴모델에 기초한 애니메이션을 생성함으로써 적은 노력과 시간으로 3D 아바타 모델과 애니메이션 제작이 가능하다는 효과가 있다.As described above, according to the present invention, an image to be used for a 3D avatar is easily obtained using a camera of a mobile communication terminal which is currently used in general, and a 3D face model is produced by an automated system based on the image, and also a text or When an additional voice is input, an animation based on a 3D face model is automatically generated, which enables the 3D avatar model and animation to be produced with little effort and time.

이러한 3차원 컨텐츠는 텍스트 기반의 문자메시지나 메일, 채팅 등의 서비스보다 보다 다양하고 재미있는 컨텐츠로 제작될 수 있으며, 또한 작은 텍스트 대신에 음성을 동반한 해상도 높은 동화상으로 제공되기 때문에 사용자가 쉽게 인지할 수 있는 장점을 제공한다.This 3D content can be produced with more diverse and interesting contents than text-based text messages, mails, chats, etc. Also, instead of small texts, the 3D contents are provided with high resolution moving images with voice so that users can easily recognize them. It provides the advantages.

이하, 본 발명에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기 및 3차원 아바타 생성 방법을 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, a mobile communication terminal having a 3D avatar generating function and a 3D avatar generating method according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기의 구성 블록도로서, 메모리부(102), 제어부(104), RF부(106), 음성처리부(108), 스피커(110), 마이크로폰(112), 키입력부(114), 표시부(116), 카메라(118), 및 3차원 아바타 생성부(120)를 포함하여 구성된다.1 is a block diagram of a mobile communication terminal having a 3D avatar generating function according to an embodiment of the present invention, which includes a memory unit 102, a controller 104, an RF unit 106, and a voice processor 108. , A speaker 110, a microphone 112, a key input unit 114, a display unit 116, a camera 118, and a 3D avatar generator 120.

메모리부(102)는 3차원 아바타 생성 기능을 수행하기 위한 절차가 프로그래밍된 프로그램을 저장하고 있다.The memory unit 102 stores a program in which a procedure for performing a 3D avatar generating function is programmed.

또한, 메모리부(102)에는 제어부(104)의 동작 프로그램, 시스템 프로그램이 저장되며, 특히 3차원 아바타를 생성하는데 필요한 프로그램과, 3D 얼굴 모델링을 위한 표준 3D 얼굴모델 정보를 저장하고 있다.In addition, the memory unit 102 stores an operation program and a system program of the controller 104, in particular, a program necessary for generating a 3D avatar, and standard 3D face model information for 3D face modeling.

제어부(104)는 이동통신 단말기의 전반적인 동작을 제어함과 동시에, 메모리부(102)에 저장된 프로그램을 읽어들여 해당 프로그램에 프로그래밍된 절차를 수행하여 촬영된 얼굴 이미지로부터 3차원 아바타를 생성하고, 이를 이용하여 다양한 3차원 컨텐츠 제작이 가능하도록 제어한다.The controller 104 controls the overall operation of the mobile communication terminal and simultaneously reads a program stored in the memory 102 and performs a procedure programmed in the program to generate a 3D avatar from the photographed face image. Control to enable various three-dimensional content production.

RF부(106)는 무선주파수신호의 송수신을 제어한다.The RF unit 106 controls the transmission and reception of radio frequency signals.

음성처리부(108)는 마이크로폰(112)에 의해 입력된 전기 신호를 변조하여 음성 데이터로 변환하고, RF부(106)로 출력하거나 또는 RF부(106)로부터 입력된 부호 화된 음성 데이터를 전기 신호로 복조하여 스피커(110)로 출력한다.The voice processing unit 108 modulates the electrical signal input by the microphone 112 and converts the voice signal into voice data, outputs it to the RF unit 106, or converts the encoded voice data input from the RF unit 106 into an electrical signal. Demodulate and output to the speaker 110.

키입력부(114)는 일반적으로 키 매트릭스 구조로 구성되는데, 다수의 숫자 키와 방향키와 각종 기능을 수행하기 위한 기능키로 이루어지며, 사용자의 키 입력에 의해 키 데이터의 전기적인 신호를 제어부(104)로 출력한다.The key input unit 114 generally includes a key matrix structure, and includes a plurality of numeric keys, direction keys, and function keys for performing various functions. The controller 104 controls an electrical signal of key data by a user's key input. Will output

표시부(116)는 단말기 현재의 상태를 표시하거나 프로그램의 진행 상황 변화를 표시한다. 또한 수신 단문 메시지 등을 표시한다. 이런 표시 장치는 액정 표시 장치(Liquid Crystal Display : LCD) 등과 같은 표시 장치로 구성할 수 있다.The display unit 116 displays the current state of the terminal or changes in the progress of the program. It also displays incoming short messages. Such a display device may be configured as a display device such as a liquid crystal display (LCD).

카메라(118)는 고체 촬상 소자(CCD) 또는 CMOS 이미지 센서(CIS)와 같은 반도체 이미지 센서, 연성회로기판(FPCB), 카메라용 렌즈, 적어도 하나 이상의 플래시 등과 같은 디지털 카메라의 부품을 구비하여, 제어부(104)의 제어 신호에 따라 외부의 대상을 촬영하여 영상 데이터를 획득하는 동작을 수행한다.The camera 118 is provided with a component of a digital camera such as a semiconductor image sensor such as a solid state imaging device (CCD) or a CMOS image sensor (CIS), a flexible printed circuit board (FPCB), a lens for a camera, at least one flash, and the like. An external object is photographed according to the control signal of 104 to acquire image data.

또한, 본 발명에 따른 이동통신 단말기는 3차원 아바타 생성부(120)를 구비하고 있는데, 3차원 아바타 생성부(120)는 영상처리부(122), 3D 모델변환부(124), 애니메이션 조합부(126), 애니메이션 데이터 생성부(128)로 구성된다.In addition, the mobile communication terminal according to the present invention includes a 3D avatar generating unit 120. The 3D avatar generating unit 120 includes an image processing unit 122, a 3D model converting unit 124, and an animation combining unit ( 126, an animation data generation unit 128.

영상처리부(122)에서는 얼굴의 이미지가 적절히 사용될 수 있도록 얼굴이 위치할 가이드 라인을 표시해주는데, 이 가이드 라인은 정면 얼굴 위치 가이드와 측면 얼굴 위치 가이드를 표시한다. 촬영자는 이 가이드 라인에 맞춰 정면 얼굴과 측면 얼굴 이미지를 연이어 촬영하고, 촬영된 이미지는 다음 단계의 데이터를 사용되기 위해 정면 얼굴 이미지와 측면 얼굴 이미지가 조합된다.The image processor 122 displays a guide line on which the face is to be positioned so that the image of the face can be used appropriately. The guide line displays the front face position guide and the side face position guide. The photographer sequentially shoots the front face and side face images in accordance with these guidelines, and the photographed image is combined with the front face image and the side face image to use the data of the next stage.

일실시예에서, 영상처리부(122)는 키입력부(114)를 통한 촬영 명령에 따라 카메라(118)를 통해 입력된 정면, 측면 얼굴을 촬영하여 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하고, 3차원 아바타를 생성하기 위해 조합된 얼굴 이미지를 메모리(102)에 저장한다.In an embodiment, the image processor 122 captures the front and side faces input through the camera 118 according to the shooting command through the key input unit 114, and combines the front face image and the side face image, and 3D. The combined face image is stored in the memory 102 to generate the avatar.

이때, 영상 처리부(122)는 사용자에 의해 촬영 대상의 얼굴에 조준된 상태에서 촬영을 명령하는 키입력부(114)의 조작이 이루어지면 3차원 아바타를 생성을 위한 일련의 절차에 필요한 각종 화면을 표시부(116)에 표시한다.In this case, the image processing unit 122 displays various screens necessary for a series of procedures for generating a 3D avatar when a manipulation of the key input unit 114 for commanding photographing is performed while the user is aimed at the face of the photographing subject. (116).

예를 들어, 영상 처리부(122)에 의해 촬영 모드가 실행되는 경우, 가이드 라인 기법에 의한 촬영이 이루어질 수 있도록 촬영할 대상을 조준할 수 있게 하기 위해 얼굴의 가이드 라인을 보여주는 가이드 라인 화면을 카메라(118)를 통해 입력되어 표시부(116)에 표시된 영상 위에 오버레이하여 표시한다.For example, when the shooting mode is executed by the image processor 122, the camera screen 118 may display a guide line screen showing the guide line of the face in order to be able to aim the target to be photographed so that shooting by the guideline technique may be performed. ) Is inputted through) and is overlaid and displayed on the image displayed on the display unit 116.

표시부(116)에 표시되는 정면 얼굴의 가이드 라인에는 얼굴 윤곽이 보여진다. 즉, 표시부(116)에는 카메라(118)를 통해 입력되는 얼굴 이미지가 표시된 상태에서 눈썹, 눈, 코, 입의 영역들을 나타내는 가이드 라인이 오버레이되어 표시된다.The outline of the face is shown in the guide line of the front face displayed on the display unit 116. That is, the display unit 116 is displayed by overlaying guide lines indicating the areas of the eyebrows, eyes, nose, and mouth while the face image input through the camera 118 is displayed.

이에 따라, 사용자는 이동통신 단말기의 위치를 조절하여 표시부(116)에 오버레이 되어 표시된 가이드 라인에 촬영 대상의 해당 부분이 매칭되도록 촬영 대상에 대한 조준을 수행할 수 있다.Accordingly, the user may adjust the position of the mobile communication terminal to perform an aiming on the photographing target so that the corresponding portion of the photographing target is matched to the displayed guide line overlaid on the display unit 116.

도 2는 도 1에서의 3D 모델변환부의 상세 구성 블록도로서, 3D 모델변환부(124)는 정면 얼굴 이미지와 측면 얼굴 이미지가 조합되어 얻어진 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하며, 표준 3차원 얼굴 모델 형태변형부(124a) 및 3차원 얼굴 피부재질 생성부(124b)를 포함하고 있다.FIG. 2 is a detailed block diagram of the 3D model converter of FIG. 1. The 3D model converter 124 generates a 3D avatar model using a face image obtained by combining a front face image and a side face image. A three-dimensional face model shape deformation unit 124a and a three-dimensional face skin material generating unit 124b are included.

도 2를 참조하면, 3차원 얼굴 모델을 위해서는 표준 3차원 얼굴모델을 제공한다. 이 표준 3차원 얼굴모델은 영상처리부(122)에서 얻어진 정면, 측면 얼굴 이미지를 기초로 형태가 자동으로 변형이 된다. 이는 표준 3차원 얼굴 모델 형태변형부(124a)가 담당한다.Referring to FIG. 2, a standard three-dimensional face model is provided for the three-dimensional face model. The standard three-dimensional face model is automatically deformed based on the front and side face images obtained by the image processor 122. This is handled by the standard three-dimensional face model shape deformation unit 124a.

표준 3차원 얼굴 모델 형태변형부(124a)에서 자동으로 변형된 3차원 얼굴모델은 실제 얼굴 이미지의 사람과 비슷한 형태로 변형되게 되는데, 3차원 얼굴 피부재질 생성부(124b)가 그 다음 정면, 측면 얼굴 이미지에서 3차원 얼굴 모델에 입혀질 피부재질을 생성한다.The three-dimensional face model automatically deformed by the standard three-dimensional face model shape deformation unit 124a is transformed into a shape similar to a person of an actual face image, and the three-dimensional face skin material generation unit 124b is then front and side The skin material to be applied to the 3D face model is generated from the face image.

피부재질이 생성되면 3차원 얼굴 모델에 정해진 피부 좌표대로 재질이 입혀지게 되어 3차원 아바타 모델이 생성되게 된다.When the skin material is generated, the material is coated on the 3D face model according to the skin coordinates, thereby generating the 3D avatar model.

바람직하게, 정면, 측면 얼굴 이미지를 이용하여 표준 3차원 얼굴 모델을 변형시키는 시스템은 이동통신 단말기용 프로그램으로 별도로 지원된다.Preferably, a system for transforming a standard three-dimensional face model using front and side face images is separately supported as a program for a mobile terminal.

도 3은 도 1에서의 애니메이션 조합부의 상세 구성 블록도이다.3 is a detailed block diagram illustrating an animation combination unit in FIG. 1.

도 3을 참조하면, 애니메이션 조합부(126)는 도 2에서 생성된 3차원 아바타 모델과 추가로 입력된 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하며, 예제 얼굴 모델 생성부(126a), 얼굴 예제 데이터 생성부(126b), 및 3차원 얼굴 모델 혼합부(126c)를 포함하고 있다.Referring to FIG. 3, the animation combination unit 126 generates 3D avatar animation data by combining the 3D avatar model generated in FIG. 2 and additionally input text or voice, and the example face model generator 126a. , A face example data generator 126b, and a three-dimensional face model mixer 126c.

예제 얼굴 모델 생성부(126a)는 3차원 아바타 모델을 이용하여 표정과 음소에 따른 여러 가지 예제 얼굴 모델을 생성시킨다. 예를들면, 예제 얼굴 모델들은 한글 발음, 영어 발음, 희로애락의 표정에 따라 각각 생성되게 된다.The example face model generator 126a generates various example face models according to facial expressions and phonemes using the 3D avatar model. For example, example face models are generated according to Korean pronunciation, English pronunciation, and facial expressions.

기본적인 원리는, 도 2에서의 표준 3차원 얼굴 모델 안에 여러 개의 뼈대가 연결되어있어 이를 정해진 패턴에 따라 이동시켜 각각의 예제 얼굴 모델을 생성시킨다.The basic principle is that several skeletons are connected within the standard three-dimensional face model in FIG. 2 and moved according to a predetermined pattern to generate each example face model.

얼굴 예제 데이터 생성부(126b)는 사용자가 이동통신 단말기로 직접 입력한 텍스트나 음성을 기반으로 애니메이션에 필요한 얼굴 예제 데이터를 생성시킨다.The face example data generator 126b generates face example data for animation based on text or voice input by the user directly to the mobile communication terminal.

이 데이터들은 3차원 얼굴 모델 혼합부(126c)에서 이전에 만들어진 3차원 얼굴 모델들과 혼합되어진다. 이때, 텍스트나 음성으로 입력된 데이터들에 맞추어 해당 예제 3차원얼굴 모델들이 혼합되어진다.These data are mixed with the three-dimensional face models previously made in the three-dimensional face model mixer 126c. At this time, the example 3D face models are mixed according to the data input by text or voice.

이런 과정으로 혼합되어진 3차원얼굴 모델들은 프레임별로 이어져 3차원 아바타 애니메이션을 완성하게 된다.The three-dimensional face models mixed in this process are continued frame by frame to complete the three-dimensional avatar animation.

이렇게 애니메이션 조합부(126)에서 생성된 여러 개의 3차원 아바타 애니메이션 데이터들은 애니메이션 데이터 생성부(128)에서 조합·편집된다.The three-dimensional avatar animation data generated by the animation combination unit 126 is combined and edited by the animation data generation unit 128.

전 단계에서 생성된 여러 개의 3차원 아바타 애니메이션 데이터들이 이 단계에서 조합하고 편집할 수 있다.Several three-dimensional avatar animation data generated in the previous step can be combined and edited in this step.

편집 시에는 애니메이션 길이와 순서 등을 변화시킬 수 있다.When editing, you can change the length and order of animations.

최종 편집된 3차원 아바타 애니메이션은 이동통신 단말기에서 제공하는 다양한 3차원 컨텐츠에 활용될 수 있도록 범용적인 데이터 포맷으로 저장된다. 이 데이 터들은 3차원 메일, 채팅 등의 다양한 컨텐츠에 활용하여 각각의 컨텐츠 데이터로 공통적으로 사용될 수 있다.The final edited 3D avatar animation is stored in a universal data format to be utilized for various 3D contents provided by the mobile communication terminal. These data can be used for various contents such as 3D mail and chat, and can be commonly used for each content data.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 고안이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the above has been illustrated and described with respect to the preferred embodiments of the present invention, the present invention is not limited to the specific embodiments described above, it is usually in the art to which the subject innovation belongs without departing from the spirit of the invention claimed in the claims. Various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

도 1은 본 발명의 일실시예에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기의 구성 블록도이다.1 is a block diagram of a mobile communication terminal having a 3D avatar generating function according to an embodiment of the present invention.

도 2는 도 1에서의 3D 모델변환부의 상세 구성 블록도이다.FIG. 2 is a detailed block diagram of the 3D model converter of FIG. 1.

도 3은 도 1에서의 애니메이션 조합부의 상세 구성 블록도이다.3 is a detailed block diagram illustrating an animation combination unit in FIG. 1.

Claims (6)

3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리;A memory storing a standard three-dimensional face model for generating a three-dimensional avatar; 이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부;An image processor for combining a front face image and a side face image obtained through a camera of the mobile communication terminal; 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 기초로 표준 3차원 얼굴 모델의 형태를 자동으로 변형시키는 표준 3차원 얼굴 모델 형태 변형부와, 상기 표준 3차원 얼굴 모델 형태 변형부에서 변형된 3차원 얼굴 모델에 입혀질 피부재질을 생성하는 3차원 얼굴 피부재질 생성부로 이루어져 상기 변형된 3차원 얼굴 모델에 피부재질을 조합하여 3차원 아바타 모델을 생성하는 3D 모델변환부;A standard three-dimensional face model shape deformation unit that automatically deforms the shape of a standard three-dimensional face model based on the front face image and the side face image combined from the image processing unit, and modified by the standard three-dimensional face model shape deformation unit. 3D model conversion unit consisting of a three-dimensional face skin material generating unit for generating a skin material to be coated on a three-dimensional face model to create a three-dimensional avatar model by combining the skin material to the modified three-dimensional face model; 상기 3차원 아바타 모델을 이용하여 표정과 음소에 따른 여러 가지 예제 얼굴 모델을 생성하는 예제 얼굴 모델 생성부와, 입력된 텍스트나 음성을 기반으로 애니메이션에 필요한 얼굴 예제 데이터를 생성하는 얼굴 예제 데이터 생성부와, 상기 예제 얼굴 모델과 상기 얼굴 예제 데이터를 혼합하여 3차원 아바타 애니메이션 데이터를 생성하는 3차원 얼굴 모델 혼합부로 이루어져 애니메이션 조합부; 및An example face model generator for generating various example face models according to expressions and phonemes using the 3D avatar model, and a face example data generator for generating face example data for animation based on input text or voice. And a three-dimensional face model mixer for mixing the example face model and the face example data to generate three-dimensional avatar animation data. And 상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합·편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하는 것을 특징으로 하는 3차원 아바타 생성 기능을 구비한 이동통신 단말기.And an animation data generation unit for generating animation data by combining and editing the plurality of 3D avatar animation data generated by the animation combination unit. 삭제delete 삭제delete 제1항에 있어서, 상기 예제 얼굴 모델은 한글 발음, 영어 발음, 및 희로애락의 표정 중 어느 하나에 따라 각각 생성되는 것을 특징으로 하는 3차원 아바타 생성 기능을 구비한 이동통신 단말기.The mobile communication terminal of claim 1, wherein the example face model is generated according to any one of Hangul pronunciation, English pronunciation, and facial expressions of white music. 이동통신 단말기의 카메라로 인물의 정면 얼굴 이미지와 측면 얼굴 이미지를 촬영하는 단계;Photographing a front face image and a side face image of a person with a camera of a mobile communication terminal; 상기 정면 얼굴 이미지와 측면 얼굴 이미지를 영상처리부에서 조합하는 단계;Combining the front face image and the side face image in an image processor; 조합된 얼굴 이미지를 기초로 표준 3차원 얼굴 모델 형태 변형부에서 표준 3차원 얼굴 모델의 형태를 자동으로 변형시키고, 3차원 얼굴 피부재질 생성부에서 상기 표준 3차원 얼굴 모델 형태 변형부에서 변형된 3차원 얼굴 모델에 입혀질 피부재질을 생성한 후, 상기 변형된 3차원 얼굴 모델에 피부재질을 조합하여 3차원 아바타 모델을 생성하는 단계; 및Based on the combined face image, the standard three-dimensional face model shape deformation unit automatically deforms the shape of the standard three-dimensional face model shape, and the three-dimensional face skin material generation unit deformed in the standard three-dimensional face model shape deformation unit 3 Generating a skin material to be coated on the dimensional face model and generating a 3D avatar model by combining the skin material on the modified 3D face model; And 상기 3차원 아바타 모델을 이용하여 예제 얼굴 모델 생성부에서 표정과 음소에 따른 여러 가지 예제 얼굴 모델을 생성하고, 입력된 텍스트나 음성을 기반으로 얼굴 예제 데이터 생성부에서 애니메이션에 필요한 얼굴 예제 데이터를 생성한 후, 3차원 얼굴 모델 혼합부에서 상기 예제 얼굴 모델과 상기 얼굴 예제 데이터를 혼합하여 3차원 아바타 애니메이션 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 이동통신 단말기 및 3차원 아바타 생성 방법.The example face model generator generates various example face models according to facial expressions and phonemes using the 3D avatar model, and generates face example data for animation in the face example data generator based on the input text or voice. And then generating a 3D avatar animation data by mixing the example face model and the face example data in a 3D face model mixer. 제5항에 있어서, 상기 3차원 아바타 애니메이션 데이터에 대해 애니메이션 데이터 생성부에서 조합·편집하여 애니메이션 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 이동통신 단말기 및 3차원 아바타 생성 방법.6. The method of claim 5, further comprising generating animation data by combining and editing the 3D avatar animation data in an animation data generator. 7.
KR1020070123247A 2006-12-02 2007-11-30 A mobile communication terminal having a function of the creating 3d avata model and the method thereof KR100912877B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060121091 2006-12-02
KR1020060121091 2006-12-02

Publications (2)

Publication Number Publication Date
KR20080050336A KR20080050336A (en) 2008-06-05
KR100912877B1 true KR100912877B1 (en) 2009-08-18

Family

ID=39805796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070123247A KR100912877B1 (en) 2006-12-02 2007-11-30 A mobile communication terminal having a function of the creating 3d avata model and the method thereof

Country Status (1)

Country Link
KR (1) KR100912877B1 (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100965622B1 (en) * 2008-10-31 2010-06-23 김영자 Method and Apparatus for making sensitive character and animation
KR101545736B1 (en) * 2009-05-04 2015-08-19 삼성전자주식회사 3 apparatus and method for generating three-dimensional content in portable terminal
US20110018961A1 (en) * 2009-07-24 2011-01-27 Huboro Co., Ltd. Video call device and method
KR101615719B1 (en) 2009-09-18 2016-04-27 삼성전자주식회사 Apparatus and method for extracting user's third dimension facial expression
KR101089184B1 (en) * 2010-01-06 2011-12-02 (주) 퓨처로봇 Method and system for providing a speech and expression of emotion in 3D charactor
TWI439960B (en) 2010-04-07 2014-06-01 Apple Inc Avatar editing environment
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
KR102210150B1 (en) * 2016-09-23 2021-02-02 애플 인크. Create and edit avatars
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN109727320A (en) * 2018-12-29 2019-05-07 三星电子（中国）研发中心 A kind of generation method and equipment of avatar
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
KR102667064B1 (en) 2019-02-19 2024-05-20 삼성전자 주식회사 Electronic device and method for providing user interface for editing of emoji in conjunction with camera function thereof
DK202070624A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074271A (en) 1996-08-30 1998-03-17 Nippon Telegr & Teleph Corp <Ntt> Method and device for preparing three-dimensional portrait
KR20020065990A (en) * 2001-02-08 2002-08-14 비쥬텍쓰리디(주) Apparatus and method for creation personal photo avatar
KR20060080349A (en) * 2005-01-05 2006-07-10 엘지전자 주식회사 3d avatar messenger system based on mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074271A (en) 1996-08-30 1998-03-17 Nippon Telegr & Teleph Corp <Ntt> Method and device for preparing three-dimensional portrait
KR20020065990A (en) * 2001-02-08 2002-08-14 비쥬텍쓰리디(주) Apparatus and method for creation personal photo avatar
KR20060080349A (en) * 2005-01-05 2006-07-10 엘지전자 주식회사 3d avatar messenger system based on mobile device

Also Published As

Publication number Publication date
KR20080050336A (en) 2008-06-05

Similar Documents

Publication Publication Date Title
KR100912877B1 (en) A mobile communication terminal having a function of the creating 3d avata model and the method thereof
EP2127341B1 (en) A communication network and devices for text to speech and text to facial animation conversion
JP4310916B2 (en) Video display device
US6943794B2 (en) Communication system and communication method using animation and server as well as terminal device used therefor
JPWO2004039068A1 (en) Image composition portable terminal and image composition method used therefor
CN110401810B (en) Virtual picture processing method, device and system, electronic equipment and storage medium
JP2005079719A (en) Photograph picture processor and photograph picture processing method
CN111530086B (en) Method and device for generating expression of game role
CN111530088B (en) Method and device for generating real-time expression picture of game role
JP2005020607A (en) Composite image output device and composite image output processing program
EP1884895A1 (en) Object outputting method and information processing device
CN111530087B (en) Method and device for generating real-time expression package in game
JP2007026090A (en) Video preparation device
JP5894505B2 (en) Image communication system, image generation apparatus, and program
KR100700872B1 (en) Method for displaying 3 dimension private character image of mobile terminal and the mobile terminal thereof
KR100643415B1 (en) 3d avatar messenger system based on mobile device
KR100659901B1 (en) Method for controlling the motion of avatar on mobile terminal and the mobile thereof
JPH11149285A (en) Image acoustic system
JP2007026088A (en) Model creation apparatus
JP2001092990A (en) Three-dimensional virtual space participant display method, three-dimensional virtual space display device and recording medium stored with three-dimensional virtual space participant display program
JP2002199446A (en) Photo seal generating device
KR101280226B1 (en) Method for composing the image signals in a robot and a robot thereof
KR20070011006A (en) Mobile communication terminal with custom character edit and method of controlling the same
JP2004248225A (en) Mobile terminal and mobile communication system
JP4567284B2 (en) Image editing apparatus, mobile phone, image editing program, and computer-readable recording medium for recording the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee