WO2018021607A1 - 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템 - Google Patents

3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템 Download PDF

Info

Publication number
WO2018021607A1
WO2018021607A1 PCT/KR2016/008637 KR2016008637W WO2018021607A1 WO 2018021607 A1 WO2018021607 A1 WO 2018021607A1 KR 2016008637 W KR2016008637 W KR 2016008637W WO 2018021607 A1 WO2018021607 A1 WO 2018021607A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
information
animation
character
unit
Prior art date
Application number
PCT/KR2016/008637
Other languages
English (en)
French (fr)
Inventor
배준현
Original Assignee
주식회사 엘로이즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘로이즈 filed Critical 주식회사 엘로이즈
Priority claimed from KR1020160099841A external-priority patent/KR101845535B1/ko
Publication of WO2018021607A1 publication Critical patent/WO2018021607A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • An embodiment of the present invention is a 3D avatar-based speaker-changing storytelling system for replacing a 3D character that is a character of storytelling displayed in 3D with a 3D avatar, and allowing the replaced avatar to be played in the same motion as the 3D character without being awkward. It is about.
  • a specific animation scenario includes 3D background, 3D character, animation and voice information, and based on this information, the 3D animation is played through the display terminal.
  • the user when the user wants to change the 3D character, the user can replace the 3D character using 3D character information provided in advance through the distributor of the 3D animation.
  • a 3D character which is a character of storytelling displayed in 3D
  • the replaced avatar is motionless as a 3D character without awkwardness. It provides a 3D avatar-based speaker changeable storytelling system that can be played back.
  • the mesh (mesh), bone (bone), rigging (texture) and vertex weight information (vertex weight) information included in the animation scenario Is a system for changing an existing 3D character into a new 3D avatar based on 3D character information and animation information including as meta information, and creates a triangle based on the mesh information to implement an object volume.
  • An object volume implementing unit for performing An object appearance generating unit generating an appearance of an object by adding the texture information to a material generated by the object volume implementing unit; An object skeleton generation unit which inserts the present information into a result generated by the object appearance generation unit; An object movement ratio setting unit configured to set a movement ratio that the result follows when a bone moves when the result generated by the object skeleton generation unit is applied to the animation based on the vertex weight information; And an object animation applying unit for mapping the existing 3D character to a new 3D avatar by applying a corresponding animation to the result and the rigging information in which the movement rate is set through the object movement rate setting unit.
  • the apparatus may further include an animation player for playing an animation based on a scenario including the 3D character information and the animation information, respectively.
  • the apparatus may further include a 3D avatar manager for generating and managing information about the 3D avatar.
  • the meta information loader for loading the meta information from the scenario selected by the user of the scenario of the animation player;
  • a character replacement setting unit configured to set a 3D character to be replaced in the meta information loaded through the meta information loader by receiving a change request of a 3D character from a user;
  • a meta information arranging unit for arranging the meta information of the 3D character set through the character replacement setting unit so as to be referred to in correspondence with each item of the 3D avatar information generated through the 3D avatar manager.
  • the apparatus may further include a 3D avatar loader for applying the 3D avatar information changed through the object animation applying unit to the 3D character of the animation being played back through the animation player.
  • a 3D character which is a character of storytelling displayed in 3D
  • the replaced avatar is the same as the 3D character without awkwardness.
  • a 3D avatar-based speaker changeable storytelling system that can be played in motion can be provided.
  • FIG. 1 is a block diagram showing the overall configuration of a 3D avatar-based speaker changeable storytelling system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a process of replacing a 3D avatar with a component of a 3D avatar based speaker changeable storytelling system.
  • 3 shows that 3D avatar DATA A 'is replaced with existing 3D avatar DATA A in order to apply a new 3D avatar for 3D avatar, temporal data and background data, so that time dependent DATA B and background DATA C are not affected. It is a view for explaining that only the avatar is replaced and displayed without having to regenerate the.
  • FIG. 4 is a flowchart illustrating a schematic process of replacing a 3D avatar in a 3D avatar based speaker changeable storytelling system according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of replacing an avatar in a 3D avatar-based speaker changeable storytelling system according to an embodiment of the present invention in more detail.
  • FIG. 6 is a diagram illustrating an example of a 3D character before replacement and a 3D avatar after replacement in the 3D avatar-based speaker changeable storytelling system according to an embodiment of the present invention.
  • FIG. 7 to 10 schematically illustrate a technique of retargeting a character, a rigging, a viewpoint, and an animation so that the replaced avatar takes the same motion as the character without being awkward.
  • the same reference numerals in particular, the tens and ones digits, or the same digits, tens, ones, and alphabets refer to members having the same or similar functions, and unless otherwise specified, each member in the figures The member referred to by the reference numeral may be regarded as a member conforming to these criteria.
  • FIG. 1 is a block diagram showing the overall configuration of the 3D avatar-based speaker changeable storytelling system according to an embodiment of the present invention
  • Figure 2 is a component of the 3D avatar-based speaker changeable storytelling system to replace the 3D avatar Is a block diagram showing the replacement process.
  • the 3D avatar-based speaker changeable storytelling system 1000 includes a mesh, a bone, a rigging texture, and a vertex weight included in an existing animation scenario.
  • 3D character information including weight) information as one meta information, and animation information can be changed into a new 3D avatar.
  • the animation information may include background data and time data of the animation.
  • the 3D avatar-based speaker changeable storytelling system 1000 may include a meta information loader unit 100, a character replacement setting unit 200, and a meta information placement unit. 300, the object volume implementer 400, the object appearance generator 500, the object skeleton generator 600, the object movement rate setting unit 700, the object animation application unit 800, and the 3D avatar loader ( 900).
  • the 3D avatar-based speaker changeable storytelling system 1000 may include at least one of an animation player 10 and a 3D avatar manager 20.
  • the meta information loader unit 100 may load meta information from a scenario selected by a user among a plurality of animation scenarios included in the animation player 10.
  • the animation player 10 may be a means for playing back an animation based on a scenario including 3D character information and animation information, respectively.
  • the animation player 10 may include a plurality of scenarios (scenarios 1, 2, and 3) each including 3D character information and animation information, and an animation playback module to play back the corresponding scenarios. .
  • the character replacement setting unit 200 may receive a change request of the 3D character from the user and set the 3D character of the replacement object in the meta information loaded through the meta information loader 100.
  • the meta information placing unit 300 may refer to the meta information of the 3D character set through the character replacement setting unit 200 in correspondence with each item of the 3D avatar information generated through the 3D avatar manager 20. Can be placed. That is, meshes, bones of 3D avatar information that change meta information of meshes, bones, rigging textures, vertex weights, etc. of 3D characters. ) May correspond to a rigging texture and vertex weight information item so that the meta information about the 3D character may be appropriately disposed on the program.
  • the object volume implementation unit 400 may implement a volume of an object by generating a triangle based on mesh information of the 3D character set through the meta information placement unit 300.
  • the object may mean an object in the process of forming the final result replaced with the 3D avatar.
  • the object appearance generating unit 500 may generate an appearance of an object by attaching a texture to a material generated through the object volume implementing unit 400.
  • the object skeleton generation unit 600 may insert bone information into a material generated through the object appearance generation unit to form a skeleton for the corresponding material.
  • the object movement ratio setting unit 700 corresponds to a bone moving when a material generated through the object skeleton generation unit 600 is applied to a corresponding animation based on vertex weight information. You can set the rate of movement that the material follows. That is, the ratio of how well the bone of the 3D avatar is to be followed as the bone of the 3D character moves.
  • the object animation applying unit 800 may apply a corresponding animation (animation scenario designated by the user) to the material and rigging information in which the bone movement ratio is set through the object movement ratio setting unit 700. It can be applied and replaced by mapping an existing 3D character to a new 3D avatar.
  • the 3D avatar loader 900 displays the 3D avatar information changed through the object animation applying unit 800 in real time by applying the 3D avatar information to the 3D character of the animation being played through the animation player 10 to be displayed on the existing animation. Replace 3D characters with new 3D avatars.
  • the 3D avatar manager 20 is a means for generating and managing information about the 3D avatar, and provides the 3D avatar information generated through the 3D avatar generator to the 3D avatar loader 900 as shown in FIG. 2.
  • the 3D avatar information and animation scenario may be stored in a separate storage through a wired / wireless communication network.
  • FIG. 3 shows that 3D avatar, time data, and background data are replaced by 3D avatar data A 'and 3D avatar data A in order to apply a new 3D avatar, so that time dependent DATA B and background DATA C are not affected. It is a view for explaining that only the avatar is replaced and displayed without having to regenerate.
  • the existing animation scenario includes 3D character DATA A (Mesh, Texture, Bone Info, Vertex Weight), time dependent DATA B (motion DATA, voice DATA) and background DATA C (Mesh, Texture). If the existing 3D character is changed by applying the 3D avatar DATA A 'in the process of playing it as an image, the time dependent DATA B (motion DATA, voice DATA) and the background DATA C (Mesh, Texture) are used to change the data. It is not affected and can be replaced and displayed only with a 3D avatar without having to create a new image D as a result.
  • 3D character DATA A Mesh, Texture, Bone Info, Vertex Weight
  • time dependent DATA B motion DATA, voice DATA
  • background DATA C Mesh, Texture
  • FIG. 4 is a flowchart illustrating a schematic process of replacing a 3D avatar in a 3D avatar based speaker changeable storytelling system according to an embodiment of the present invention.
  • the 3D speaker character may be set in the existing animation and the set 3D speaker character may be referred to the 3D avatar.
  • 3D speaker characters can be mapped and replaced with 3D avatars, and storytelling can be performed.
  • FIG. 5 is a flowchart illustrating a method of replacing an avatar in a 3D avatar-based speaker changeable storytelling system according to an embodiment of the present invention in more detail.
  • an animation scenario may be loaded, and in this case, 3D character information and animation information may be separately loaded.
  • the 3D character is changed to the 3D avatar desired by the user, and the changed information can be played again while applying the 3D character animation again through the 3D avatar real-time loader.
  • FIG. 6 is a diagram illustrating an example of a 3D character before replacement and a 3D avatar after replacement in the 3D avatar-based speaker changeable storytelling system according to an embodiment of the present invention.
  • FIG. 7 to 10 schematically illustrate a technique of retargeting a character, a rigging, a viewpoint, and an animation so that the replaced avatar takes the same motion as the character without being awkward.
  • an instance pointer of an avatar may be replaced with an instance pointer of content and an avatar through instance retargeting.
  • the replaced 3D avatar may appear as a scenario desired by the animation.
  • the bone information of the avatar may be replaced with the content bone information through retargeting.
  • the animation may be correctly operated by matching names.
  • a transform matrix of an avatar is mapped to a transform matrix of a content avatar through matrix retargeting using a position vector and a rotation quaternion.
  • the avatar of the user may be accurately mapped to the viewpoint of the avatar of the content.
  • the bone transform matrix may be mapped to a content bone transform matrix through interpolation of transform data over time.
  • the corresponding animation may be accurately mapped to the time interval.
  • the 3D avatar-based speaker-changing storytelling system performs story-telling through animation playback based on 3D character information and animation information included in the animation scenario selected by the user.
  • a plurality of 3D speaker characters may be changed into 3D avatars.
  • the present embodiment may replace the 3D character, which is the character of the storytelling displayed in 3D, with the 3D avatar, so that the replaced 3D avatar is reproduced in the same motion as the existing 3D character without awkwardness.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 아바타 기반 화자 변경형 스토리텔링 시스템에 관한 것으로, 해결하고자 하는 기술적 과제는 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하고, 교체된 아바타가 어색함 없이 3D 캐릭터와 같은 모션으로 재생되도록 하는데 있다. 일례로, 3D 캐릭터의 메쉬 정보를 바탕으로 트라이앵글(triangle)을 생성하여 객체의 부피를 구현하기 위한 객체 부피 구현부; 상기 객체 부피 구현부를 통해 생성된 결과물(material)에 상기 텍스처 정보를 부가하여 객체의 외형을 생성하는 객체 외형 생성부; 상기 객체 외형 생성부를 통해 생성된 결과물에 상기 본 정보를 삽입하는 객체 골격 생성부; 상기 버텍스 웨이트 정보를 바탕으로 상기 객체 골격 생성부를 통해 생성된 결과물을 해당 애니메이션에 적용 시 본(bone)이 이동할 때 해당 결과물이 따라가는 이동 비율을 설정하는 객체 이동 비율 설정부; 및 상기 객체 이동 비율 설정부를 통해 상기 이동 비율이 설정된 결과물 및 상기 리깅 정보에 해당 애니메이션을 적용하여, 기존 3D 캐릭터를 새로운 3D 아바타로 매핑하는 객체 애니메이션 적용부를 포함하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템을 개시한다.

Description

3Ｄ 아바타 기반 화자 변경형 스토리텔링 시스템
본 발명의 실시예는 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하고, 교체된 아바타가 어색함 없이 3D 캐릭터와 같은 모션으로 재생되도록 하기 위한 3D 아바타 기반 화자 변경형 스토리텔링 시스템에 관한 것이다.
기존 3D 애니메이션의 경우 특정 애니메이션 시나리오에는 3D 배경, 3D 캐릭터, 애니메이션 및 음성 정보 등을 포함하며, 이러한 정보를 바탕으로 디스플레이 단말기를 통해 3D 애니메이션이 재생된다.
기존의 3D 캐릭터 기반의 스토리텔링 시스템에서 사용자가 3D 캐릭터를 변경하고자 할 경우 3D 애니메이션의 배포자를 통해 미리 제공된 3D 캐릭터 정보를 이용하여 교체가 가능하므로, 3D 캐릭터 교체에 한계가 있다.
본 발명의 실시예는, 모션 캡처(motion capture) 기반의 애니메이션 재생에 있어서, 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하고, 교체된 아바타가 어색함 없이 3D 캐릭터와 같은 모션으로 재생할 수 있는 3D 아바타 기반 화자 변경형 스토리텔링 시스템을 제공한다.
본 발명의 실시예에 따른 하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템은, 애니메이션 시나리오에 포함된 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보를 하나의 메타 정보로서 포함하는 3D 캐릭터 정보, 및 애니메이션 정보를 바탕으로 기존 3D 캐릭터를 새로운 3D 아바타로 변경하기 위한 시스템으로, 상기 메쉬 정보를 바탕으로 트라이앵글(triangle)을 생성하여 객체의 부피를 구현하기 위한 객체 부피 구현부; 상기 객체 부피 구현부를 통해 생성된 결과물(material)에 상기 텍스처 정보를 부가하여 객체의 외형을 생성하는 객체 외형 생성부; 상기 객체 외형 생성부를 통해 생성된 결과물에 상기 본 정보를 삽입하는 객체 골격 생성부; 상기 버텍스 웨이트 정보를 바탕으로 상기 객체 골격 생성부를 통해 생성된 결과물을 해당 애니메이션에 적용 시 본(bone)이 이동할 때 해당 결과물이 따라가는 이동 비율을 설정하는 객체 이동 비율 설정부; 및 상기 객체 이동 비율 설정부를 통해 상기 이동 비율이 설정된 결과물 및 상기 리깅 정보에 해당 애니메이션을 적용하여, 기존 3D 캐릭터를 새로운 3D 아바타로 매핑하는 객체 애니메이션 적용부를 포함한다.
또한, 상기 3D 캐릭터 정보 및 상기 애니메이션 정보를 각각 포함하는 시나리오를 기반으로 애니메이션을 재생하는 애니메이션 재생기를 더 포함할 수 있다.
또한, 상기 3D 아바타에 대한 정보를 생성하고 관리하기 위한 3D 아바타 관리기를 더 포함할 수 있다.
또한, 상기 애니메이션 재생기의 시나리오 중 사용자가 선정한 시나리오로부터 상기 메타 정보를 로딩하는 메타 정보 로더부; 사용자로부터 3D 캐릭터의 변경 요청을 받아 상기 메타 정보 로더부를 통해 로딩된 상기 메타 정보에서 교체할 3D 캐릭터를 설정하기 위한 캐릭터 교체 설정부; 및 상기 캐릭터 교체 설정부를 통해 설정된 3D 캐릭터에 대한 메타 정보를, 상기 3D 아바타 관리기를 통해 생성된 3D 아바타 정보의 각 항목에 대응시켜 참조 가능하게 배치하기 위한 메타 정보 배치부를 더 포함할 수 있다.
또한, 상기 객체 애니메이션 적용부를 통해 변경된 3D 아바타 정보를, 상기 애니메이션 재생기를 통해 재생 중인 애니메이션의 3D 캐릭터에 실시간 적용하기 위한 3D 아바타 로더를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 모션 캡처(motion capture) 기반의 애니메이션 재생에 있어서, 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하고, 교체된 아바타가 어색함 없이 3D 캐릭터와 같은 모션으로 재생할 수 있는 3D 아바타 기반 화자 변경형 스토리텔링 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템의 전체 구성을 나타낸 블록도이다.
도 2는 3D 아바타를 교체하는 과정을 3D 아바타 기반 화자 변경형 스토리텔링 시스템의 구성요소와 함께 교체 과정을 나타낸 블록도이다.
도 3은 3D 아바타, 시간 데이터 및 배경 데이터가 새로운 3D 아바타를 적용하기 위해서 3D 아바타 DATA A’가 기존의 3D 아바타 DATA A와 교체함으로써 시간 종속 DATA B, 배경 DATA C는 영향을 받지 않으며 결과물로써 D를 재생성할 필요가 없이 아바타만이 교체되어 디스플레이되는 것을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 3D 아바타를 교체하는 개략적인 과정을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 아바타를 교체하는 방법을 보다 구체적으로 도시한 순서도이다.
도 6은 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 교체 전의 3D 캐릭터와 교체 후의 3D 아바타의 일례를 보여주는 도면이다.
도 7 내지 도 10은 교체된 아바타가 어색함이 없이 캐릭터와 같은 모션을 취하도록 캐릭터, 리깅, 시점, 애니메이션을 리타겟팅하는 기술을 개략적으로 도시한 도면이다.
이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 구현예(態樣, aspect)(또는 실시예)들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면에서 동일한 참조부호, 특히 십의 자리 및 일의 자리 수, 또는 십의 자리, 일의 자리 및 알파벳이 동일한 참조부호는 동일 또는 유사한 기능을 갖는 부재를 나타내고, 특별한 언급이 없을 경우 도면의 각 참조부호가 지칭하는 부재는 이러한 기준에 준하는 부재로 파악하면 된다.
또한, 각 도면에서 구성요소들은 이해의 편의 등을 고려하여 크기나 두께를 과장되게 크거나(또는 두껍게) 작게(또는 얇게) 표현하거나, 단순화하여 표현하고 있으나 이에 의하여 본 발명의 보호범위가 제한적으로 해석되어서는 안 된다.
본 명세서에서 사용한 용어는 단지 특정한 구현예(태양, 態樣, aspect)(또는 실시예)를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, ~포함하다~ 또는 ~이루어진다~ 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템의 전체 구성을 나타낸 블록도이고, 도 2는 3D 아바타를 교체하는 과정을 3D 아바타 기반 화자 변경형 스토리텔링 시스템의 구성요소와 함께 교체 과정을 나타난 블록도이다.
본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템(1000)은, 기존 애니메이션 시나리오에 포함된 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보를 하나의 메타 정보로서 포함하는 3D 캐릭터 정보, 및 애니메이션 정보를 바탕으로 기존 3D 캐릭터를 새로운 3D 아바타로 변경할 수 있다. 여기서 애니메이션 정보에는 애니메이션의 배경 데이터와 시간 데이터 등을 포함할 수 있다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템(1000)은, 메타 정보 로더부(100), 캐릭터 교체 설정부(200), 메타 정보 배치부(300), 객체 부피 구현부(400), 객체 외형 생성부(500), 객체 골격 생성부(600), 객체 이동 비율 설정부(700), 객체 애니메이션 적용부(800), 및 3D 아바타 로더(900) 중 적어도 하나를 포함할 수 있다.
더불어, 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템(1000)은, 애니메이션 재생기(10)와 3D 아바타 관리기(20) 중 적어도 하나를 포함할 수 있다.
상기 메타 정보 로더부(100)는, 애니메이션 재생기(10)에 구비되는 다수의 에니메이션 시나리오 중 사용자가 선정한 시나리오로부터 메타 정보를 로딩할 수 있다. 여기서, 애니메이션 재생기(10)는 3D 캐릭터 정보 및 애니메이션 정보를 각각 포함하는 시나리오를 기반으로 애니메이션을 재생하는 수단일 수 있다. 이러한 애니메이션 재생기(10)는, 도 2에 도시된 바와 같이 3D 캐릭터 정보와 애니메이션 정보를 각각 포함하는 다수의 시나리오(시나리오 1, 2, 3)와 해당 시나리오를 재생하는 애니메이션 재생 모듈을 포함할 수 있다.
상기 캐릭터 교체 설정부(200)는, 사용자로부터 3D 캐릭터의 변경 요청을 받아 메타 정보 로더부(100)를 통해 로딩된 메타 정보에서 교체 대상의 3D 캐릭터를 설정할 수 있다.
상기 메타 정보 배치부(300)는, 캐릭터 교체 설정부(200)를 통해 설정된 3D 캐릭터에 대한 메타 정보를, 3D 아바타 관리기(20)를 통해 생성된 3D 아바타 정보의 각 항목에 대응시켜 참조 가능하게 배치할 수 있다. 즉, 3D 캐릭터에 대한 메타 정보인 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보 등을 변경할 3D 아바타 정보의 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보 항목과 대응시켜 3D 캐릭터에 대한 메타 정보를 참조할 수 있도록 프로그램 상에 적절히 배치함을 의미할 수 있다.
상기 객체 부피 구현부(400)는, 상기 메타 정보 배치부(300)를 통해 세팅된 3D 캐릭터의 메쉬 정보를 바탕으로 트라이앵글(triangle)을 생성하여 객체(object)의 부피를 구현할 수 있다. 여기서 객체는 최종 결과물이 3D 아바타로 교체 형성되기 위한 과정 상의 대상물을 의미할 수 있다.
상기 객체 외형 생성부(500)는, 객체 부피 구현부(400)를 통해 생성된 결과물(material)에 텍스처(texture)를 붙여 객체의 외형을 생성할 수 있다.
상기 객체 골격 생성부(600)는, 객체 외형 생성부를 통해 생성된 결과물(material)에 본(bone) 정보를 삽입하여, 해당 결과물(material)에 대한 골격을 형성할 수 있다.
상기 객체 이동 비율 설정부(700)는, 버텍스 웨이트(vertex weight) 정보를 바탕으로 객체 골격 생성부(600)를 통해 생성된 결과물(material)을 해당 애니메이션에 적용 시 본(bone)이 이동할 때 해당 결과물(material)이 따라가는 이동 비율을 설정할 수 있다. 즉, 3D 캐릭터의 본(bone) 이동에 따라 3D 아바타의 본(bone)이 얼마나 잘 따라갈지를 비율로서 설정할 수 있다.
상기 객체 애니메이션 적용부(800)는, 객체 이동 비율 설정부(700)를 통해 본(bone) 이동 비율이 설정된 결과물(material) 및 리깅(rigging) 정보에 해당 애니메이션(사용자가 지정했던 애니메이션 시나리오)을 적용하여, 기존 3D 캐릭터를 새로운 3D 아바타로 매핑(mapping)함으로써 교체할 수 있다.
상기 3D 아바타 로더(900)는, 객체 애니메이션 적용부(800)를 통해 변경된 3D 아바타 정보를, 애니메이션 재생기(10)를 통해 재생 중인 애니메이션의 3D 캐릭터에 실시간 매핑하여 적용함으로써, 기존의 애니메이션에 디스플레이되는 3D 캐릭터를 새로운 3D 아바타로 교체할 수 있다.
상기 3D 아바타 관리기(20)는, 3D 아바타에 대한 정보를 생성하고 관리하기 위한 수단으로, 도 2에 도시된 바와 같이 3D 아바타 생성기를 통해 생성된 3D 아바타 정보를 3D 아바타 로더(900)로 제공하며, 해당 3D 아바타 정보와 애니메이션 시나리오를 유무선 통신망을 통하여 별도의 저장소에 저장할 수 있다.
도 3은 3D 아바타, 시간 데이터 및 배경 데이터가 새로운 3D아바타를 적용하기 위해서 3D아바타 DATA A’가 기존의 3D아바타 DATA A와 교체함으로써 시간 종속 DATA B, 배경 DATA C는 영향을 받지 않으며 결과물로써 D를 재 생성할 필요가 없이 아바타만이 교체되어 디스플레이되는 것을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 기존 애니메이션 시나리오에는 3D 캐릭터 DATA A(Mesh, Texture, Bone Info, Vertex Weight), 시간 종속 DATA B(동작 DATA, 음성 DATA)와 배경 DATA C(Mesh, Texture)가 포함되어 있고, 이를 영상으로 재생하는 과정에서 3D 아바타 DATA A'를 적용하여 기존 3D 캐릭터를 변경하게 되면, 시간 종속 DATA B(동작 DATA, 음성 DATA)와 배경 DATA C(Mesh, Texture)는 데이터 변경에 영향을 받지 않으며, 결과물로서 영상 D를 새롭게 생성할 필요 없이 3D 아바타로만 교체되어 디스플레이될 수 있다.
도 4는 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 3D 아바타를 교체하는 개략적인 과정을 나타낸 순서도이다.
도 4에 도시된 바와 같이, 기존의 애니메이션에서 3D 화자 캐릭터를 설정하고, 설정된 3D 화자 캐릭터를 3D 아바타에 참조시킬 수 있다.
이후 3D 화자 캐릭터를 3D 아바타로 매핑시켜 교체하고, 스토리텔링을 시행할 수 있다.
도 5는 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 아바타를 교체하는 방법을 보다 구체적으로 도시한 순서도이다.
우선, 애니메이션 시나리오를 로딩할 수 있으며, 이때, 3D 캐릭터 정보와 애니메이션 정보를 구분하여 로딩할 수 있다.
해당 3D 캐릭터 애니메이션을 적용하여 재생하는 과정에서 해당 3D 캐릭터를 사용자가 원하는 3D 아바타로 변경하고, 변경된 정보는 3D 아바타 실시간 로더를 통해 다시 해당 3D 캐릭터 애니메이션을 적용해가며 재생이 이루어질 수 잇따.
도 6은 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 교체 전의 3D 캐릭터와 교체 후의 3D 아바타의 일례를 보여주는 도면이다.
도 7 내지 도 10은 교체된 아바타가 어색함이 없이 캐릭터와 같은 모션을 취하도록 캐릭터, 리깅, 시점, 애니메이션을 리타겟팅하는 기술을 개략적으로 도시한 도면이다.
도 7을 참조하면, 아바타의 인스턴스 포인터(instance pointer)는 인스턴스 리타겟팅(instance retargeting)을 통해 콘텐츠와 아바타의 인스턴스 포인터(instance pointer)로 대체될 수 있다. 이때, 게임(에니메이션) 내 인스턴스(instance)를 해당 아바타의 인스턴스로 대체함으로써, 교체된 3D 아바타가 애니메이션이 원하는 시나리오대로 등장하게 될 수 있다.
도 8을 참조하면, 아바타의 본 정보(Bone Info)는 리타겟팅(retargeting)을 통해 콘텐츠 본 정보(Bone Info)로 대체될 수 있다. 이때, 애니메이션의 본 정보(Bone Info)와 아바타의 본 정보(Bone Info)가 다르더라도, 이름을 매칭(matching)시킴으로써 애니메이션이 정확하게 가동되도록 할 수 있다.
도 9를 참조하면, 아바타의 트랜스폼 매트릭스(Transform Matrix)는 위치 벡터(Vectro)와 회전 쿼터니언(Quaternion)를 이용한 매트릭스 리타겟팅(Matrix retargeting)을 통해 콘텐츠 아바타의 트랜스폼 매트릭스(Transform Matrix)로 매핑될 수 있다. 이때, 콘텐츠의 아바타의 시점에 사용자의 아바타가 정확하게 매핑(mapping)되도록 할 수 있다.
도 10을 참조하면, 본 트랜스폼 매트릭스(Bone Transform Matrix)는 시간에 따른 트랜스폼 데이터 보간을 통하여 콘텐츠 본 트랜스폼 매트릭스(Bone Transform Matrix)로 매핑(mapping)될 수 있다. 이때, 시간 구간에 해당 애니메이션이 정확하게 매핑(mapping)되도록 할 수 있다.
본 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템은 사용자가 선정한 애니메이션 시나리오에 포함되어 있는 3D 캐릭터 정보와 애니케이션 정보를 바탕으로 애니메이션 재생을 통해 스토리텔링(story-telling)을 하며, 시나리오들을 스토리텔링하는 과정에서 복수의 3D 화자 캐릭터들을 3D 아바타로 변경할 수 있다.
이와 같이 본 실시예는, 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하면서, 교체된 3D 아바타가 어색함 없이 기존의 3D 캐릭터와 같은 모션(motion)으로 재생되도록 할 수 있다.
이상에서 설명한 것은 본 발명에 의한 3D 아바타 기반 화자 변경형 스토리텔링 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (5)

  1. 애니메이션 시나리오에 포함된 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보를 하나의 메타 정보로서 포함하는 3D 캐릭터 정보, 및 애니메이션 정보를 바탕으로 기존 3D 캐릭터를 새로운 3D 아바타로 변경하기 위한 시스템으로,
    상기 메쉬 정보를 바탕으로 트라이앵글(triangle)을 생성하여 객체의 부피를 구현하기 위한 객체 부피 구현부;
    상기 객체 부피 구현부를 통해 생성된 결과물(material)에 상기 텍스처 정보를 부가하여 객체의 외형을 생성하는 객체 외형 생성부;
    상기 객체 외형 생성부를 통해 생성된 결과물에 상기 본 정보를 삽입하는 객체 골격 생성부;
    상기 버텍스 웨이트 정보를 바탕으로 상기 객체 골격 생성부를 통해 생성된 결과물을 해당 애니메이션에 적용 시 본(bone)이 이동할 때 해당 결과물이 따라가는 이동 비율을 설정하는 객체 이동 비율 설정부; 및
    상기 객체 이동 비율 설정부를 통해 상기 이동 비율이 설정된 결과물 및 상기 리깅 정보에 해당 애니메이션을 적용하여, 기존 3D 캐릭터를 새로운 3D 아바타로 매핑하는 객체 애니메이션 적용부를 포함하는 것을 특징으로 하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템.
  2. 제1 항에 있어서,
    상기 3D 캐릭터 정보 및 상기 애니메이션 정보를 각각 포함하는 시나리오를 기반으로 애니메이션을 재생하는 애니메이션 재생기를 더 포함하는 것을 특징으로 하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템.
  3. 제2 항에 있어서,
    상기 3D 아바타에 대한 정보를 생성하고 관리하기 위한 3D 아바타 관리기를 더 포함하는 것을 특징으로 하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템.
  4. 제3 항에 있어서,
    상기 애니메이션 재생기의 시나리오 중 사용자가 선정한 시나리오로부터 상기 메타 정보를 로딩하는 메타 정보 로더부;
    사용자로부터 3D 캐릭터의 변경 요청을 받아 상기 메타 정보 로더부를 통해 로딩된 상기 메타 정보에서 교체할 3D 캐릭터를 설정하기 위한 캐릭터 교체 설정부; 및
    상기 캐릭터 교체 설정부를 통해 설정된 3D 캐릭터에 대한 메타 정보를, 상기 3D 아바타 관리기를 통해 생성된 3D 아바타 정보의 각 항목에 대응시켜 참조 가능하게 배치하기 위한 메타 정보 배치부를 더 포함하는 것을 특징으로 하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템.
  5. 제2 항에 있어서,
    상기 객체 애니메이션 적용부를 통해 변경된 3D 아바타 정보를, 상기 애니메이션 재생기를 통해 재생 중인 애니메이션의 3D 캐릭터에 실시간 적용하기 위한 3D 아바타 로더를 더 포함하는 것을 특징을 하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템.
PCT/KR2016/008637 2016-07-26 2016-08-05 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템 WO2018021607A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160095014 2016-07-26
KR10-2016-0095014 2016-07-26
KR1020160099841A KR101845535B1 (ko) 2016-07-26 2016-08-05 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템
KR10-2016-0099841 2016-08-05

Publications (1)

Publication Number Publication Date
WO2018021607A1 true WO2018021607A1 (ko) 2018-02-01

Family

ID=61017013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/008637 WO2018021607A1 (ko) 2016-07-26 2016-08-05 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템

Country Status (1)

Country Link
WO (1) WO2018021607A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056294A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 3차원 캐릭터 애니메이션 제작 방법 및 시스템
US20030231182A1 (en) * 2002-06-12 2003-12-18 Tae-Joon Park Virtual character control system and method and recording medium
KR20110012278A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 애니메이션 제공 시스템, 서버 및 방법
KR20110107428A (ko) * 2010-03-25 2011-10-04 삼성전자주식회사 컨텐츠 제작을 위한 그래픽 유저 인터페이스를 제공하는 디지털 기기 및 그의 그래픽 유저 인터페이스 제공 방법 및 그 방법을 수행하기 위한 프로그램이 기록된 기록 매체
KR20120076514A (ko) * 2010-11-29 2012-07-09 유비벨록스(주) 아바타 미디어 역할 경매 서비스 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056294A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 3차원 캐릭터 애니메이션 제작 방법 및 시스템
US20030231182A1 (en) * 2002-06-12 2003-12-18 Tae-Joon Park Virtual character control system and method and recording medium
KR20110012278A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 애니메이션 제공 시스템, 서버 및 방법
KR20110107428A (ko) * 2010-03-25 2011-10-04 삼성전자주식회사 컨텐츠 제작을 위한 그래픽 유저 인터페이스를 제공하는 디지털 기기 및 그의 그래픽 유저 인터페이스 제공 방법 및 그 방법을 수행하기 위한 프로그램이 기록된 기록 매체
KR20120076514A (ko) * 2010-11-29 2012-07-09 유비벨록스(주) 아바타 미디어 역할 경매 서비스 방법 및 장치

Similar Documents

Publication Publication Date Title
CN106507161B (zh) 视频直播方法及直播装置
CN1136932C (zh) 图象合成方法及游戏机
CN105261055B (zh) 一种游戏角色换装方法、装置及终端
CN109413480A (zh) 画面处理方法、装置、终端及存储介质
CN105959177A (zh) 一种游戏服务器压力测试脚本的生成方法和装置
CN109756511A (zh) 一种数据处理方法及装置、一种计算设备及存储介质
KR101845535B1 (ko) 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템
CN103593184B (zh) 图像显示系统及图像显示方法
CN109902820A (zh) Ai模型训练方法、装置、存储介质及设备
CN111383642B (zh) 基于神经网络的语音应答方法、存储介质以终端设备
CN106339300A (zh) 一种第三方游戏的fps获取方法及获取系统
JP6114388B2 (ja) 帯域幅の効率的なリモート手続き呼び出しのための方法及びシステム
CN108769824A (zh) 一种视频混流方法、装置、系统、设备及介质
WO2020139054A1 (en) Apparatus and method for generating a virtual avatar
CN105617655B (zh) 物理效果展示方法、装置及游戏系统
CN106227327B (zh) 一种显示转换方法、装置及终端设备
CN109509242A (zh) 虚拟对象面部表情生成方法及装置、存储介质、电子设备
CN204695223U (zh) 一种基于增强现实的模型展示系统
CN112419825A (zh) 一种基于ar技术的多媒体会计教学装置
CN106390450A (zh) 一种游戏状态更新方法、装置及系统
US20220237848A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN106101858A (zh) 一种视频生成方法及装置
CN109032339A (zh) 一种实时智能体感同步的方法及系统
CN107707840A (zh) 一种摄像模组及多图像数据传递的方法
WO2018021607A1 (ko) 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16910629

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17.05.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16910629

Country of ref document: EP

Kind code of ref document: A1