KR101845535B1 - 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템 - Google Patents

3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템 Download PDF

Info

Publication number
KR101845535B1
KR101845535B1 KR1020160099841A KR20160099841A KR101845535B1 KR 101845535 B1 KR101845535 B1 KR 101845535B1 KR 1020160099841 A KR1020160099841 A KR 1020160099841A KR 20160099841 A KR20160099841 A KR 20160099841A KR 101845535 B1 KR101845535 B1 KR 101845535B1
Authority
KR
South Korea
Prior art keywords
avatar
information
animation
character
unit
Prior art date
Application number
KR1020160099841A
Other languages
English (en)
Other versions
KR20180012166A (ko
Inventor
임상철
박정호
배준현
Original Assignee
주식회사 엘로이즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘로이즈 filed Critical 주식회사 엘로이즈
Priority to PCT/KR2016/008637 priority Critical patent/WO2018021607A1/ko
Publication of KR20180012166A publication Critical patent/KR20180012166A/ko
Application granted granted Critical
Publication of KR101845535B1 publication Critical patent/KR101845535B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H04N13/0007—
    • H04N13/0048—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 아바타 기반 화자 변경형 스토리텔링 시스템에 관한 것으로, 해결하고자 하는 기술적 과제는 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하고, 교체된 아바타가 어색함 없이 3D 캐릭터와 같은 모션으로 재생되도록 하는데 있다.
일례로, 3D 캐릭터의 메쉬 정보를 바탕으로 트라이앵글(triangle)을 생성하여 객체의 부피를 구현하기 위한 객체 부피 구현부; 상기 객체 부피 구현부를 통해 생성된 결과물(material)에 상기 텍스처 정보를 부가하여 객체의 외형을 생성하는 객체 외형 생성부; 상기 객체 외형 생성부를 통해 생성된 결과물에 상기 본 정보를 삽입하는 객체 골격 생성부; 상기 버텍스 웨이트 정보를 바탕으로 상기 객체 골격 생성부를 통해 생성된 결과물을 해당 애니메이션에 적용 시 본(bone)이 이동할 때 해당 결과물이 따라가는 이동 비율을 설정하는 객체 이동 비율 설정부; 및 상기 객체 이동 비율 설정부를 통해 상기 이동 비율이 설정된 결과물 및 상기 리깅 정보에 해당 애니메이션을 적용하여, 기존 3D 캐릭터를 새로운 3D 아바타로 매핑하는 객체 애니메이션 적용부를 포함하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템을 개시한다.

Description

3Ｄ 아바타 기반 화자 변경형 스토리텔링 시스템{STORY-TELLING SYSTEM FOR CHANGING 3 DIMENSION CHARACTER INTO 3 DIMENSION AVATAR}
본 발명의 실시예는 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하고, 교체된 아바타가 어색함 없이 3D 캐릭터와 같은 모션으로 재생되도록 하기 위한 3D 아바타 기반 화자 변경형 스토리텔링 시스템에 관한 것이다.
기존 3D 애니메이션의 경우 특정 애니메이션 시나리오에는 3D 배경, 3D 캐릭터, 애니메이션 및 음성 정보 등을 포함하며, 이러한 정보를 바탕으로 디스플레이 단말기를 통해 3D 애니메이션이 재생된다.
기존의 3D 캐릭터 기반의 스토리텔링 시스템에서 사용자가 3D 캐릭터를 변경하고자 할 경우 3D 애니메이션의 배포자를 통해 미리 제공된 3D 캐릭터 정보를 이용하여 교체가 가능하므로, 3D 캐릭터 교체에 한계가 있다.
공개특허공보 제10-2009-0126450호(공개일자: 2009년12월09일)
본 발명의 실시예는, 모션 캡처(motion capture) 기반의 애니메이션 재생에 있어서, 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하고, 교체된 아바타가 어색함 없이 3D 캐릭터와 같은 모션으로 재생할 수 있는 3D 아바타 기반 화자 변경형 스토리텔링 시스템을 제공한다.
본 발명의 실시예에 따른 하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템은, 애니메이션 시나리오에 포함된 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보를 하나의 메타 정보로서 포함하는 3D 캐릭터 정보, 및 애니메이션 정보를 바탕으로 기존 3D 캐릭터를 새로운 3D 아바타로 변경하기 위한 시스템으로, 상기 메쉬 정보를 바탕으로 트라이앵글(triangle)을 생성하여 객체의 부피를 구현하기 위한 객체 부피 구현부; 상기 객체 부피 구현부를 통해 생성된 결과물(material)에 상기 텍스처 정보를 부가하여 객체의 외형을 생성하는 객체 외형 생성부; 상기 객체 외형 생성부를 통해 생성된 결과물에 상기 본 정보를 삽입하는 객체 골격 생성부; 상기 버텍스 웨이트 정보를 바탕으로 상기 객체 골격 생성부를 통해 생성된 결과물을 해당 애니메이션에 적용 시 본(bone)이 이동할 때 해당 결과물이 따라가는 이동 비율을 설정하는 객체 이동 비율 설정부; 및 상기 객체 이동 비율 설정부를 통해 상기 이동 비율이 설정된 결과물 및 상기 리깅 정보에 해당 애니메이션을 적용하여, 기존 3D 캐릭터를 새로운 3D 아바타로 매핑하는 객체 애니메이션 적용부를 포함한다.
또한, 상기 3D 캐릭터 정보 및 상기 애니메이션 정보를 각각 포함하는 시나리오를 기반으로 애니메이션을 재생하는 애니메이션 재생기를 더 포함할 수 있다.
또한, 상기 3D 아바타에 대한 정보를 생성하고 관리하기 위한 3D 아바타 관리기를 더 포함할 수 있다.
또한, 상기 애니메이션 재생기의 시나리오 중 사용자가 선정한 시나리오로부터 상기 메타 정보를 로딩하는 메타 정보 로더부; 사용자로부터 3D 캐릭터의 변경 요청을 받아 상기 메타 정보 로더부를 통해 로딩된 상기 메타 정보에서 교체할 3D 캐릭터를 설정하기 위한 캐릭터 교체 설정부; 및 상기 캐릭터 교체 설정부를 통해 설정된 3D 캐릭터에 대한 메타 정보를, 상기 3D 아바타 관리기를 통해 생성된 3D 아바타 정보의 각 항목에 대응시켜 참조 가능하게 배치하기 위한 메타 정보 배치부를 더 포함할 수 있다.
또한, 상기 객체 애니메이션 적용부를 통해 변경된 3D 아바타 정보를, 상기 애니메이션 재생기를 통해 재생 중인 애니메이션의 3D 캐릭터에 실시간 적용하기 위한 3D 아바타 로더를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 모션 캡처(motion capture) 기반의 애니메이션 재생에 있어서, 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하고, 교체된 아바타가 어색함 없이 3D 캐릭터와 같은 모션으로 재생할 수 있는 3D 아바타 기반 화자 변경형 스토리텔링 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템의 전체 구성을 나타낸 블록도이다.
도 2는 3D 아바타를 교체하는 과정을 3D 아바타 기반 화자 변경형 스토리텔링 시스템의 구성요소와 함께 교체 과정을 나타낸 블록도이다.
도 3은 3D 아바타, 시간 데이터 및 배경 데이터가 새로운 3D 아바타를 적용하기 위해서 3D 아바타 DATA A’가 기존의 3D 아바타 DATA A와 교체함으로써 시간 종속 DATA B, 배경 DATA C는 영향을 받지 않으며 결과물로써 D를 재생성할 필요가 없이 아바타만이 교체되어 디스플레이되는 것을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 3D 아바타를 교체하는 개략적인 과정을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 아바타를 교체하는 방법을 보다 구체적으로 도시한 순서도이다.
도 6은 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 교체 전의 3D 캐릭터와 교체 후의 3D 아바타의 일례를 보여주는 도면이다.
도 7 내지 도 10은 교체된 아바타가 어색함이 없이 캐릭터와 같은 모션을 취하도록 캐릭터, 리깅, 시점, 애니메이션을 리타겟팅하는 기술을 개략적으로 도시한 도면이다.
이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 구현예(態樣, aspect)(또는 실시예)들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면에서 동일한 참조부호, 특히 십의 자리 및 일의 자리 수, 또는 십의 자리, 일의 자리 및 알파벳이 동일한 참조부호는 동일 또는 유사한 기능을 갖는 부재를 나타내고, 특별한 언급이 없을 경우 도면의 각 참조부호가 지칭하는 부재는 이러한 기준에 준하는 부재로 파악하면 된다.
또한, 각 도면에서 구성요소들은 이해의 편의 등을 고려하여 크기나 두께를 과장되게 크거나(또는 두껍게) 작게(또는 얇게) 표현하거나, 단순화하여 표현하고 있으나 이에 의하여 본 발명의 보호범위가 제한적으로 해석되어서는 안 된다.
본 명세서에서 사용한 용어는 단지 특정한 구현예(태양, 態樣, aspect)(또는 실시예)를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, ~포함하다~ 또는 ~이루어진다~ 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템의 전체 구성을 나타낸 블록도이고, 도 2는 3D 아바타를 교체하는 과정을 3D 아바타 기반 화자 변경형 스토리텔링 시스템의 구성요소와 함께 교체 과정을 나타난 블록도이다.
본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템(1000)은, 기존 애니메이션 시나리오에 포함된 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보를 하나의 메타 정보로서 포함하는 3D 캐릭터 정보, 및 애니메이션 정보를 바탕으로 기존 3D 캐릭터를 새로운 3D 아바타로 변경할 수 있다. 여기서 애니메이션 정보에는 애니메이션의 배경 데이터와 시간 데이터 등을 포함할 수 있다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템(1000)은, 메타 정보 로더부(100), 캐릭터 교체 설정부(200), 메타 정보 배치부(300), 객체 부피 구현부(400), 객체 외형 생성부(500), 객체 골격 생성부(600), 객체 이동 비율 설정부(700), 객체 애니메이션 적용부(800), 및 3D 아바타 로더(900) 중 적어도 하나를 포함할 수 있다.
더불어, 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템(1000)은, 애니메이션 재생기(10)와 3D 아바타 관리기(20) 중 적어도 하나를 포함할 수 있다.
상기 메타 정보 로더부(100)는, 애니메이션 재생기(10)에 구비되는 다수의 에니메이션 시나리오 중 사용자가 선정한 시나리오로부터 메타 정보를 로딩할 수 있다. 여기서, 애니메이션 재생기(10)는 3D 캐릭터 정보 및 애니메이션 정보를 각각 포함하는 시나리오를 기반으로 애니메이션을 재생하는 수단일 수 있다. 이러한 애니메이션 재생기(10)는, 도 2에 도시된 바와 같이 3D 캐릭터 정보와 애니메이션 정보를 각각 포함하는 다수의 시나리오(시나리오 1, 2, 3)와 해당 시나리오를 재생하는 애니메이션 재생 모듈을 포함할 수 있다.
상기 캐릭터 교체 설정부(200)는, 사용자로부터 3D 캐릭터의 변경 요청을 받아 메타 정보 로더부(100)를 통해 로딩된 메타 정보에서 교체 대상의 3D 캐릭터를 설정할 수 있다.
상기 메타 정보 배치부(300)는, 캐릭터 교체 설정부(200)를 통해 설정된 3D 캐릭터에 대한 메타 정보를, 3D 아바타 관리기(20)를 통해 생성된 3D 아바타 정보의 각 항목에 대응시켜 참조 가능하게 배치할 수 있다. 즉, 3D 캐릭터에 대한 메타 정보인 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보 등을 변경할 3D 아바타 정보의 메쉬(mesh), 본(bone), 리깅(rigging) 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보 항목과 대응시켜 3D 캐릭터에 대한 메타 정보를 참조할 수 있도록 프로그램 상에 적절히 배치함을 의미할 수 있다.
상기 객체 부피 구현부(400)는, 상기 메타 정보 배치부(300)를 통해 세팅된 3D 캐릭터의 메쉬 정보를 바탕으로 트라이앵글(triangle)을 생성하여 객체(object)의 부피를 구현할 수 있다. 여기서 객체는 최종 결과물이 3D 아바타로 교체 형성되기 위한 과정 상의 대상물을 의미할 수 있다.
상기 객체 외형 생성부(500)는, 객체 부피 구현부(400)를 통해 생성된 결과물(material)에 텍스처(texture)를 붙여 객체의 외형을 생성할 수 있다.
상기 객체 골격 생성부(600)는, 객체 외형 생성부를 통해 생성된 결과물(material)에 본(bone) 정보를 삽입하여, 해당 결과물(material)에 대한 골격을 형성할 수 있다.
상기 객체 이동 비율 설정부(700)는, 버텍스 웨이트(vertex weight) 정보를 바탕으로 객체 골격 생성부(600)를 통해 생성된 결과물(material)을 해당 애니메이션에 적용 시 본(bone)이 이동할 때 해당 결과물(material)이 따라가는 이동 비율을 설정할 수 있다. 즉, 3D 캐릭터의 본(bone) 이동에 따라 3D 아바타의 본(bone)이 얼마나 잘 따라갈지를 비율로서 설정할 수 있다.
상기 객체 애니메이션 적용부(800)는, 객체 이동 비율 설정부(700)를 통해 본(bone) 이동 비율이 설정된 결과물(material) 및 리깅(rigging) 정보에 해당 애니메이션(사용자가 지정했던 애니메이션 시나리오)을 적용하여, 기존 3D 캐릭터를 새로운 3D 아바타로 매핑(mapping)함으로써 교체할 수 있다.
상기 3D 아바타 로더(900)는, 객체 애니메이션 적용부(800)를 통해 변경된 3D 아바타 정보를, 애니메이션 재생기(10)를 통해 재생 중인 애니메이션의 3D 캐릭터에 실시간 매핑하여 적용함으로써, 기존의 애니메이션에 디스플레이되는 3D 캐릭터를 새로운 3D 아바타로 교체할 수 있다.
상기 3D 아바타 관리기(20)는, 3D 아바타에 대한 정보를 생성하고 관리하기 위한 수단으로, 도 2에 도시된 바와 같이 3D 아바타 생성기를 통해 생성된 3D 아바타 정보를 3D 아바타 로더(900)로 제공하며, 해당 3D 아바타 정보와 애니메이션 시나리오를 유무선 통신망을 통하여 별도의 저장소에 저장할 수 있다.
도 3은 3D 아바타, 시간 데이터 및 배경 데이터가 새로운 3D아바타를 적용하기 위해서 3D아바타 DATA A’가 기존의 3D아바타 DATA A와 교체함으로써 시간 종속 DATA B, 배경 DATA C는 영향을 받지 않으며 결과물로써 D를 재 생성할 필요가 없이 아바타만이 교체되어 디스플레이되는 것을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 기존 애니메이션 시나리오에는 3D 캐릭터 DATA A(Mesh, Texture, Bone Info, Vertex Weight), 시간 종속 DATA B(동작 DATA, 음성 DATA)와 배경 DATA C(Mesh, Texture)가 포함되어 있고, 이를 영상으로 재생하는 과정에서 3D 아바타 DATA A'를 적용하여 기존 3D 캐릭터를 변경하게 되면, 시간 종속 DATA B(동작 DATA, 음성 DATA)와 배경 DATA C(Mesh, Texture)는 데이터 변경에 영향을 받지 않으며, 결과물로서 영상 D를 새롭게 생성할 필요 없이 3D 아바타로만 교체되어 디스플레이될 수 있다.
도 4는 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 3D 아바타를 교체하는 개략적인 과정을 나타낸 순서도이다.
도 4에 도시된 바와 같이, 기존의 애니메이션에서 3D 화자 캐릭터를 설정하고, 설정된 3D 화자 캐릭터를 3D 아바타에 참조시킬 수 있다.
이후 3D 화자 캐릭터를 3D 아바타로 매핑시켜 교체하고, 스토리텔링을 시행할 수 있다.
도 5는 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 아바타를 교체하는 방법을 보다 구체적으로 도시한 순서도이다.
우선, 애니메이션 시나리오를 로딩할 수 있으며, 이때, 3D 캐릭터 정보와 애니메이션 정보를 구분하여 로딩할 수 있다.
해당 3D 캐릭터 애니메이션을 적용하여 재생하는 과정에서 해당 3D 캐릭터를 사용자가 원하는 3D 아바타로 변경하고, 변경된 정보는 3D 아바타 실시간 로더를 통해 다시 해당 3D 캐릭터 애니메이션을 적용해가며 재생이 이루어질 수 잇따.
도 6은 본 발명의 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템에서 교체 전의 3D 캐릭터와 교체 후의 3D 아바타의 일례를 보여주는 도면이다.
도 7 내지 도 10은 교체된 아바타가 어색함이 없이 캐릭터와 같은 모션을 취하도록 캐릭터, 리깅, 시점, 애니메이션을 리타겟팅하는 기술을 개략적으로 도시한 도면이다.
도 7을 참조하면, 아바타의 인스턴스 포인터(instance pointer)는 인스턴스 리타겟팅(instance retargeting)을 통해 콘텐츠와 아바타의 인스턴스 포인터(instance pointer)로 대체될 수 있다. 이때, 게임(에니메이션) 내 인스턴스(instance)를 해당 아바타의 인스턴스로 대체함으로써, 교체된 3D 아바타가 애니메이션이 원하는 시나리오대로 등장하게 될 수 있다.
도 8을 참조하면, 아바타의 본 정보(Bone Info)는 리타겟팅(retargeting)을 통해 콘텐츠 본 정보(Bone Info)로 대체될 수 있다. 이때, 애니메이션의 본 정보(Bone Info)와 아바타의 본 정보(Bone Info)가 다르더라도, 이름을 매칭(matching)시킴으로써 애니메이션이 정확하게 가동되도록 할 수 있다.
도 9를 참조하면, 아바타의 트랜스폼 매트릭스(Transform Matrix)는 위치 벡터(Vectro)와 회전 쿼터니언(Quaternion)를 이용한 매트릭스 리타겟팅(Matrix retargeting)을 통해 콘텐츠 아바타의 트랜스폼 매트릭스(Transform Matrix)로 매핑될 수 있다. 이때, 콘텐츠의 아바타의 시점에 사용자의 아바타가 정확하게 매핑(mapping)되도록 할 수 있다.
도 10을 참조하면, 본 트랜스폼 매트릭스(Bone Transform Matrix)는 시간에 따른 트랜스폼 데이터 보간을 통하여 콘텐츠 본 트랜스폼 매트릭스(Bone Transform Matrix)로 매핑(mapping)될 수 있다. 이때, 시간 구간에 해당 애니메이션이 정확하게 매핑(mapping)되도록 할 수 있다.
본 실시예에 따른 3D 아바타 기반 화자 변경형 스토리텔링 시스템은 사용자가 선정한 애니메이션 시나리오에 포함되어 있는 3D 캐릭터 정보와 애니케이션 정보를 바탕으로 애니메이션 재생을 통해 스토리텔링(story-telling)을 하며, 시나리오들을 스토리텔링하는 과정에서 복수의 3D 화자 캐릭터들을 3D 아바타로 변경할 수 있다.
이와 같이 본 실시예는, 3D로 디스플레이되는 스토리텔링의 등장인물인 3D 캐릭터를 3D 아바타로 교체하면서, 교체된 3D 아바타가 어색함 없이 기존의 3D 캐릭터와 같은 모션(motion)으로 재생되도록 할 수 있다.
이상에서 설명한 것은 본 발명에 의한 3D 아바타 기반 화자 변경형 스토리텔링 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
1000: 3D 아바타 기반 화자 변경형 스토리텔링 시스템
100: 메타 정보 로더부
200: 캐릭터 교체 설정부
300: 메타 정보 배치부
400: 객체 부피 구현부
500: 객체 외형 생성부
600: 객체 골격 생성부
700: 객체 이동 비율 설정부
800: 객체 애니메이션 적용부
900: 3D 아바타 로더
10: 애니메이션 재생기
20: 3D 아바타 관리기

Claims (5)

  1. 애니메이션 시나리오에 포함된 메쉬(mesh), 본(bone), 리깅(rigging), 텍스쳐(texture) 및 버텍스 웨이트(vertex weight) 정보를 포함하는 3D 캐릭터 정보, 및 애니메이션 정보를 바탕으로 기존 3D 캐릭터를 새로운 3D 아바타로 변경하기 위한 시스템으로,
    상기 메쉬, 상기 본, 상기 리깅, 상기 텍스쳐 및 상기 버텍스 웨이트 정보를 하나의 메타 정보로서 포함하는 상기 3D 캐릭터 정보, 및 애니메이션 정보가 저장된 저장소;
    상기 메쉬 정보를 바탕으로 트라이앵글(triangle)을 생성하여 객체의 부피를 구현하기 위한 객체 부피 구현부;
    상기 객체 부피 구현부를 통해 생성된 결과물(material)에 상기 텍스처 정보를 부가하여 객체의 외형을 생성하는 객체 외형 생성부;
    상기 객체 외형 생성부를 통해 생성된 결과물에 상기 본 정보를 삽입하는 객체 골격 생성부;
    상기 버텍스 웨이트 정보를 바탕으로 상기 객체 골격 생성부를 통해 생성된 결과물을 해당 애니메이션에 적용 시 본(bone)이 이동할 때 해당 결과물이 해당 본(bone)을 어느 정도로 따라갈지를 해당 본(bone)과 결과물 간의 이동 비율로 설정하는 객체 이동 비율 설정부;
    상기 객체 이동 비율 설정부를 통해 상기 이동 비율이 설정된 결과물 및 상기 리깅 정보에 해당 애니메이션을 적용하여, 기존 3D 캐릭터를 새로운 3D 아바타로 매핑하는 객체 애니메이션 적용부;
    상기 3D 캐릭터 정보 및 상기 애니메이션 정보를 각각 포함하는 시나리오를 기반으로 애니메이션을 재생하는 애니메이션 재생기;
    상기 객체 애니메이션 적용부를 통해 변경된 3D 아바타 정보를 저장하고, 상기 애니메이션 재생기를 통해 재생 중인 애니메이션의 3D 캐릭터를 미리 저장된 3D 아바타로 실시간 적용하여 교체하기 위한 3D 아바타 로더;
    상기 3D 아바타에 대한 정보를 생성하고 관리하고, 생성된 상기 3D 아바타 정보를 상기 3D 아바타 로더로 제공하며 상기 3D 아바타 정보와 애니메이션 시나리오를 유무선 통신망을 통해 저장소를 통해 저장하기 위한 3D 아바타 관리기;
    상기 애니메이션 재생기의 시나리오 중 사용자가 선정한 시나리오로부터 상기 메타 정보를 로딩하는 메타 정보 로더부;
    사용자로부터 3D 캐릭터의 변경 요청을 받아 상기 메타 정보 로더부를 통해 로딩된 상기 메타 정보에서 교체할 3D 캐릭터를 설정하기 위한 캐릭터 교체 설정부; 및
    상기 캐릭터 교체 설정부를 통해 설정된 3D 캐릭터에 대한 메타 정보를, 상기 3D 아바타 관리기를 통해 생성된 3D 아바타 정보의 각 항목에 대응시켜 참조 가능하게 배치하기 위한 메타 정보 배치부를 포함하고,
    상기 애니메이션 재생기는,
    3D 아바타가 기존 3D 캐릭터와 동일한 모션을 취하도록 인스턴스 리타겟팅(instance retargeting)을 통해, 해당 애니메이션 내 인스턴스 포인터(instance pointer)를 3D 아바타의 인스턴스 포인터(instance pointer)로 대체하고,
    리타겟팅(retargeting)을 통해, 애니메이션 내 본 정보(Bone Info)와 3D 아바타의 본 정보(Bone Info) 간의 이름을 매칭(matching)하고,
    위치 벡터(Vectro)와 회전 쿼터니언(Quaternion)를 이용한 매트릭스 리타겟팅(Matrix retargeting)을 통해, 3D 아바타의 트랜스폼 매트릭스(Transform Matrix)를 콘텐츠 아바타의 트랜스폼 매트릭스(Transform Matrix)로 매핑(mapping)하며,
    시간에 따른 트랜스폼 데이터 보간을 통해, 본 트랜스폼 매트릭스(Bone Transform Matrix)를 콘텐츠 본 트랜스폼 매트릭스(Bone Transform Matrix)로 매핑(mapping)하는 것을 특징으로 하는 3D 아바타 기반 화자 변경형 스토리텔링 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020160099841A 2016-07-26 2016-08-05 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템 KR101845535B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/008637 WO2018021607A1 (ko) 2016-07-26 2016-08-05 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160095014 2016-07-26
KR20160095014 2016-07-26

Publications (2)

Publication Number Publication Date
KR20180012166A KR20180012166A (ko) 2018-02-05
KR101845535B1 true KR101845535B1 (ko) 2018-04-04

Family

ID=61224634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160099841A KR101845535B1 (ko) 2016-07-26 2016-08-05 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템

Country Status (1)

Country Link
KR (1) KR101845535B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437212B1 (ko) 2021-10-15 2022-08-29 주식회사 엔닷라이트 딥러닝 기반의 캐릭터 리깅 자동 생성 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748350B1 (en) * 2019-05-17 2020-08-18 Roblox Corporation Modification of animated characters
KR102304240B1 (ko) * 2020-01-29 2021-09-17 고민규 스토리텔링 네비게이터를 이용하여 컨텐츠 제작 서비스를 제공하는 장치 및 방법
KR20230011780A (ko) * 2021-07-14 2023-01-25 삼성전자주식회사 외부 장치의 성능에 기반하여 컨텐츠 생성 방법 및 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262118A1 (en) 2008-04-22 2009-10-22 Okan Arikan Method, system and storage device for creating, manipulating and transforming animation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262118A1 (en) 2008-04-22 2009-10-22 Okan Arikan Method, system and storage device for creating, manipulating and transforming animation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437212B1 (ko) 2021-10-15 2022-08-29 주식회사 엔닷라이트 딥러닝 기반의 캐릭터 리깅 자동 생성 방법 및 장치

Also Published As

Publication number Publication date
KR20180012166A (ko) 2018-02-05

Similar Documents

Publication Publication Date Title
KR101845535B1 (ko) 3ｄ 아바타 기반 화자 변경형 스토리텔링 시스템
CN104077797B (zh) 三维游戏动画系统
CN112933597B (zh) 图像处理方法、装置、计算机设备及存储介质
US20160256780A1 (en) 3D Sports Playbook
KR100928192B1 (ko) 내장형 디바이스에서의 3ｄ 콘텐츠에 대한 오프라인 최적화파이프라인
CN105635712A (zh) 基于增强现实的视频实时录制方法及录制设备
CN105261055B (zh) 一种游戏角色换装方法、装置及终端
CN110675466A (zh) 渲染系统及渲染方法、装置、电子设备和存储介质
CN111161365B (zh) 一种骨骼动画数据的压缩方法及装置
CN108681719A (zh) 视频图像处理方法及装置
CN108492338B (zh) 动画文件的压缩方法、装置、存储介质和电子装置
US20220237848A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN111225232A (zh) 基于视频的贴纸动画引擎、实现方法、服务器和介质
CN109614685A (zh) 基于bim模型的施工交底方法、装置、设备及移动终端
JP2021177647A (ja) ビデオシーケンス編成方法、装置、電子設備、記憶媒体、及びプログラム
CN114053696B (zh) 图像渲染处理方法、装置及电子设备
CN105957133B (zh) 一种加载贴图的方法和装置
CN111167119B (zh) 一种游戏开发展示方法、装置、设备及存储介质
JP2007537516A (ja) 動的な仮想図形を合成する方法
KR20120042467A (ko) 물리 시뮬레이션 결과 재활용 방법 및 이를 이용한 게임 서비스 장치
CN108958571B (zh) 三维会话数据展示方法、装置、存储介质和计算机设备
CN109859537A (zh) 一种织锦教学系统及方法、信息数据处理终端
CN108256611A (zh) 二维码影像生成方法、装置、计算设备及存储介质
CN107832366A (zh) 视频分享方法及装置、终端装置及计算机可读存储介质
CN111729322A (zh) 模型的描边处理方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant