KR20190109639A - 인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치 - Google Patents

인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치 Download PDF

Info

Publication number
KR20190109639A
KR20190109639A KR1020180025817A KR20180025817A KR20190109639A KR 20190109639 A KR20190109639 A KR 20190109639A KR 1020180025817 A KR1020180025817 A KR 1020180025817A KR 20180025817 A KR20180025817 A KR 20180025817A KR 20190109639 A KR20190109639 A KR 20190109639A
Authority
KR
South Korea
Prior art keywords
application
content
user
data
inference
Prior art date
Application number
KR1020180025817A
Other languages
English (en)
Inventor
이승욱
윤승욱
임성재
황본우
박창준
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180025817A priority Critical patent/KR20190109639A/ko
Publication of KR20190109639A publication Critical patent/KR20190109639A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 인공지능 기술을 이용하여 2차원 영상 혹은 불완전한 3차원 정보를 입력하여 애니메이션 및 렌더링 가능한 3차원 콘텐츠를 만들고, 이 3차원 콘텐츠부터 실제 어플리케이션을 후처리 없이 바로(런타임) 생성하여 사용자에게 서비스제공할 수 있으며, 생성된 3차원 어플리케이션의 캐릭터 또는 스타일을, 의미속성을 갖는 고수준의 정보(가령, 언어정보)를 인터페이스로 사용하여 다른 형태의 캐릭터 또는 스타일로 변형하거나 편집할 수 있는 방법 및 장치에 관한 것이다. 본 발명에 따르면, 사용자가 생성한 2D 데이터 또는 불완전한(또는 완전한) 3D 데이터가 인공지능 기반의 추론을 통해 애니메이션 가능하고 렌더링 가능한 3D 콘텐츠가 만들어지고, 이렇게 만들어진 3D 콘텐츠는 사용자 단말로 전송되어, 바로(런타임으로) 게임 등의 어플리케이션으로 생성된다. 사용자는 사용자 단말에서 바로 게임 등의 어플리케이션을 실행시킬 수 있다.

Description

인공지능을 이용한 3D 어플리케이션 생성 방법 및 장치 {Generation of 3D application using artificial intelligence}
본 발명은 인공지능 기술을 이용하여, 2차원 데이터 또는 불완전한 3차원 데이터로부터 애니메이션 및 렌더링 가능한 3D 콘텐츠를 만들고 이로부터 3D 어플리케이션(응용서비스, 응용프로그램)을 런타임 생성하는 기술, 그리고, 생성된 어플리케이션을 의미기반 속성에 기반한 고수준의 정보를 통해 이용하여 편집할 수 있도록 하는 기술에 관한 것이다.
3D 스캐닝 기술의 발전으로 사용자는 실시간으로 쉽게 3D 모델 또는 콘텐츠를 만들 수 있다. 그러나 실제로 만들어지는 3D 데이터는 응용서비스 등에 실제 사용되기에는 적합하지 않은 구조이다. 예를 들어 3D 스캐너로 생성된 콘텐츠는 몸, 머리카락, 모자, 옷, 장신구 등이 한 덩어리로 붙은채 만들어져 있어 모자를 교체하거나 옷을 갈아입는 등의 어플리케이션 서비스를 수행하기에 적합하지 않다. 또한 애니메이션을 위해 관절을 삽입하거나 리깅(rigging) 등을 하기에도 적당하지 않다. 특히, 사람의 경우 무릎 등의 관절은 많이 움직이는 위치이므로 메쉬의 페이스(face) 정보를 많이 할당하여 움직임이 자연스럽도록 해야 하는 반면, 허벅지 부분은 구부러짐 등의 움직임이 적기에 많은 페이스를 할당하지 않아도 된다.
현재 3D 스캐닝의 경우 아주 많은 정점 정보를 객체의 영역에 상관없이 동일한 밀도로 생성함으로 실제 애니메이션 등의 응용에 적합하지 않다. 또한, 최근에는 애니메이션 등이 가능한 표준모델과, 비전기술 등으로 생성된 3D 스캔 데이터를 비교하여 애니메이션이 가능한 3D 모델을 생성하는 경우도 있으나, 대부분은 초기 수작업과 후처리가 필요하며, 스무딩 효과 등으로 원본 스캔 정보가 상실되는 경우가 많다.
상기 문제를 해결하기 위하여 본 발명은 인공지능 기술을 이용하여 2차원 영상 혹은 불완전한 3차원 정보를 입력하여 애니메이션 및 렌더링 가능한 3차원 콘텐츠를 만들고, 이 3차원 콘텐츠부터 실제 어플리케이션을 후처리 없이 바로(런타임) 생성하여 사용자에게 서비스제공할 수 있는 방법 및 장치를 제안한다.
본 발명은 또한, 생성된 3차원 어플리케이션의 캐릭터 또는 스타일을, 의미속성을 갖는 고수준의 정보(가령, 언어정보)를 인터페이스로 사용하여 다른 형태의 캐릭터 또는 스타일로 변형하거나 편집할 수 있는 방법 및 장치를 제안한다.
상기 과제를 해결하기 위한 본 발명의 제1측면에 따른 3D 어플리케이션 생성 방법에 따르면, 사용자가 생성한 2D 데이터 또는 불완전한(또는 완전한) 3D 데이터가 인공지능 기반의 추론을 통해 애니메이션 가능하고 렌더링 가능한 3D 콘텐츠가 만들어지고, 이렇게 만들어진 3D 콘텐츠는 사용자 단말로 전송되어, 바로(런타임으로) 게임 등의 어플리케이션으로 생성된다. 사용자는 사용자 단말에서 바로 게임 등의 어플리케이션을 실행시킬 수 있다.
상기 과제를 해결하기 위한 본 발명의 제2측면에 따른 3D 어플리케이션 생성 장치에 따르면, 사용자는 데이터 생성장치를 써서, 2D 데이터 또는 불완전한(또는 완전한) 3D 데이터를 생성하면, 이 2D 또는 3D 데이터가 인공지능 기반의 추론엔진에 전송되어 여기서, 애니메이션 가능하고 렌더링 가능한 3D 콘텐츠가 만들어지고, 이렇게 만들어진 3D 콘텐츠는 사용자 단말로 전송된다. 사용자 단말에는 전송받은 3D 콘텐츠를 바로(런타임으로) 게임 등의 어플리케이션으로 생성하는 기능이 포함되어 있어, 사용자는 단말에서 바로 게임 등을 실행시킬 수 있다. 사용자는 단말에서 생성된 게임 등의 어플리케이션을 자신의 단말에서 바로 사용할 수도 있고, HMD와 같은 외부 단말에 전송하여 사용할 수도 있다.
추론엔진에서 만들어진 3D 콘텐츠에는 관절 및 리깅 정보가 포함되어 있어 애니메이션이 가능할 뿐 아니라, 알베도, 스펙큘라, 노멀 등의 다양한 텍스처 정보까지 포함되어 사실적인 렌더링이 가능하다.
또한 상기 사용자 단말에는 의미속성기반의 고수준 정보에 의해 동작하는 의미속성기반 편집기가 포함된다. 이 편집기에 의해 3D 모델(콘텐츠)는 의미속성 기반으로 편집되어 새로운 어플리케이션으로 편집 또는 변경될 수 있다.
추론엔진은 클라우드 혹은 로컬측(가령, 사용자 단말)에 존재할 수 있다.
추론엔진은 기존의 기계학습 알고리즘을 이용하여 입력데이터로부터 지도학습 혹은 비지도 학습으로 선학습을 수행하고, 이렇게 학습된 추론모델을 클라우드 혹은 사용자 단말에 로딩하여 추론을 진행한다. 추론의 결과, 실제 응용시스템 또는 어플리케이션 등에 후처리 없이 적용 가능한 3D 콘텐츠가 만들어진다. 즉, 만들어진 3D 콘텐츠의 토폴로지는, 추론엔진에서의 학습에 사용된 트레이닝 데이터의 구조와 같고, 관절, 리깅, 텍스처맵(알베도, 스페큘라, 노멀 등)을 보유하며, 객체별 분리가 가능하다.
사용자단말에는 어플리케이션 생성기, 의미속성기반 편집기가 포함될 수 있다.
어플리케이션 생성기는 추론엔진의 결과물로 출력된 애니메이션 또는 렌더링 가능한 3D 콘텐츠를 전달받아, 런타임으로 게임 등의 어플리케이션 또는 응용서비스를 생성한다. 이에 사용자는 사용자 단말에서 바로 게임 등의 어플리케이션을 즐길 수 있다.
의미속성기반 편집기는 어플리케이션 생성기와 연동하여 3D 콘텐츠를 의미속성 기반으로 편집하여 새로운 어플리케이션을 만들 수 있도록 한다. 편집의 대상에는 캐릭터 또는 스타일이 포함될 수 있다.
의미속성기반 편집기는 사용자가 편집을 위해 입력한 슬라이드바, 제스처, 눈동자, 음성언어 입력으로부터 편집의 의도, 편집 명령 등을 해석하는 사용자 입력 해석부와, 사용자 입력 해석부에서의 편집 의도/명령의 해석에 의해 어플리케이션의 캐릭터 또는 스타일을 변경하는 캐릭터 스타일 변경부를 포함할 수 있다.
여기서, 의미속성기반의 고수준의 정보란 인간의 언어, 손동작, 눈동자 움직임, 뇌파 등 의미를 갖고 이해 가능한 정보를 의미한다.
본 발명의 다른 측면으로서, 상술한 본 발명 방법 및 장치의 지능형 추론엔진을 이용하여 무한확장가능한 에셋스토어를 만들 수 있다. 사용자 혹은 서비스 제공자는 초기 3D 모델을 사용자 업로드 콘텐츠DB에 업로드한다. 업로드된 콘텐츠는 학습엔진으로 업로드되어 학습을 진행한다. 학습이 완료되면, 학습된 추론모델이 추론엔진으로 전송된다. 그리고, 사용자의 업로드된 콘텐츠가 추론엔진으로 전송되어 의미속성기반 고수준 편집에 의해 스타일이 변경되어 무한확장 콘텐츠DB에 전송된다. 사용자 업로드 콘텐츠의 스타일 변경버전은 다양한 버전으로 변경이 가능하다. 즉 무한확장콘텐츠DB에는 사용자의 업로드 콘텐츠와 이 스타일 변경버전이 함께 모여있는 콘텐츠 DB가 된다.
이상에서 소개한 본 발명 사상의 구성과 효과는 이하에서 도면과 함께 설명하는 발명의 상세한 설명에 의해 보다 더 명확해질 것이다.
본 발명은 최근 이슈가 되는 AR/VR/MR, 게임 등 3D 객체를 사용하는 모든 응용 프로그램에서 사용되는 콘텐츠의 자동 생성이 가능하여, 원화/사진 기반의 3D 콘텐츠 생성, 생성된 3D 모델 콘텐츠를 후처리없이 바로 적용, 사진/그림 혹은 불완전한 데이터 기반의 3D 어플리케이션 생성의 효과를 갖는다. 아울러, 어플리케이션의 캐릭터 또는 스타일을 의미속성에 기반한 고수준 정보에 의해 변경할 수 있다.
도 1은 본 발명의 한 실시예에 따른 3D 어플리케이션 생성 시스템의 개요도
도 2는 불완전한 3D 데이터의 예시도
도 3은 추론엔진(20)의 구성도
도 4는 사용자단말(30)의 구성도
도 5는 의미속성기반 편집기(50)의 구성도
도 6은 의미속성 기반 고수준의 스타일 변경을 설명하기 위한 모식도
도 7은 대화형 캐릭터 스타일 변경을 설명하기 위한 모식도
도 8은 응용서비스 스타일 변경의 예시도
도 9는 무한확장 에셋 스토어에 적용한 경우의 예시도
도 1은 본 발명의 한 실시예에 따른 3D 어플리케이션 생성 시스템의 개요를 나타낸다.
사용자는 데이터 생성장치(10)를 써서, 사진을 찍거나 그림을 그려서 2D 데이터를 생성하고(가령, 카메라나 페인터 프로그램 이용), 혹은 불완전한(또는 완전한) 3D 데이터를 생성한다(가령, 스캐너 이용).
이 2D/3D 데이터는 인공지능 기반의 추론엔진(20)에 전송되고, 여기서 3D 콘텐츠가 생성된다. 이때 생성된 3D 콘텐츠에는 관절 및 리깅 정보가 포함되어 있어 애니메이션이 가능할 뿐 아니라, 알베도, 스펙큘라, 노멀 등의 다양한 텍스처 정보까지 포함되어 사실적인 렌더링이 가능하다.
이렇게 생성된 애니메이션 가능하고 렌더링 가능한 3D 콘텐츠는 사용자 단말(30)로 전송된다. 사용자 단말(30)에는 전송받은 3D 콘텐츠를 바로(런타임으로) 게임 등 어플리케이션으로 생성하는 기능이 포함되어 있어, 사용자는 단말(30)에서 바로 게임 등을 실행시킬 수 있다. 사용자는 단말(30)에서 생성된 게임 등의 어플리케이션을 자신의 단말에서 바로 사용할 수도 있고, HMD와 같은 외부 단말(40)에 전송하여 사용할 수도 있다.
또한 사용자 단말(30)에는 의미속성기반의 고수준 정보에 의해 동작하는 의미속성기반 편집기가 포함되어 있어서 3D 모델을 의미속성 기반으로 편집하여(예를 들어 중세풍의 게임 콘텐츠를 현대풍의 게임 콘텐츠로 변경) 새로운 어플리케이션을 만들 수 있다. 여기서 의미속성기반의 고수준의 정보란 "귀엽게, 섹시하게, 고양이처럼, 중세풍으로" 등 인간의 언어로 이해 가능한 고수준의 정보와, 손동작, 눈동자 움직임, 뇌파 등의 다른 방법으로 이해 가능한 고수준의 정보를 의미한다.
또한 앞에서 언급한, 어플리케이션을 바로 생성한다는 의미는, 2차원 영상 혹은 불완전한 3D 정보를 입력받아, 입력 정보가 의미하는 3D 콘텐츠를 포함하는 응용서비스나 응용프로그램 등의 어플리케이션(예를 들어 게임 앱, VR 서비스 앱 등)을 사용자의 개입(후처리, 프로그래밍 등) 없이 바로 생성한다는 것이다.
이상에서 설명한 것과 같은 본 발명의 서비스 시나리오를 사용자의 서비스 이용 관점에서 다시 설명하면, 사용자가 스마트폰 등의 단말로 자신과 친구가 함께 서 있는 사진을 찍으면, 미리 정의된 형태의 2인 대전 게임 응용서비스 앱(예를 들어 안드로이드에서의 APK 파일)이 단말에서 제공되고, 사용자는 이 응용서비스 앱의 스타일을 자신이 원하는 형태로 변경(가령, 유럽풍의 배경 및 의상을 한국 전통 배경 및 의상으로 변경)하는 서비스를 즐길 수 있다.
도 1의 각 구성요소에 대해서 구체적인 구성과 작용을 설명한다.
먼저 사용자는 2차원 그림 또는 사진, 불완전한(혹은 완전한) 3D 데이터, 및 이들의 조합을 소정의 데이터 생성장치(10)(가령, 카메라, 페인터 프로그램, 스캐너 등)로 생성하여 추론엔진(20)에 입력한다. 기본적으로 추론엔진(20)은 인공지능을 기반으로 하므로, 입력데이터가 많을수록 더 좋은 결과물을 출력할 것이다.
불완전한 3D 데이터는 예를 들어 도 2와 같은 형태의 데이터를 의미한다. 일반적으로 3D 스캐닝시에는 전면만이 아닌 360도 전방위를 스캔해야 하는데 이것은 쉬운 작업이 아니다. 본 발명에서는 불완전한 3D 데이터, 즉, 특정 객체의 전면(혹은 측면)의 일부 데이터를 이용하여 360도 전체의 데이터를 복원하게 된다.
도 3은 추론엔진(20)의 구성도이다.
추론엔진(20)은 클라우드(도시하지 않음) 혹은 로컬측(가령, 사용자 단말(30))에 존재할 수 있는데, 기존의 기계학습 알고리즘(24)을 이용하여 입력데이터(22)로부터 지도학습 혹은 비지도 학습으로 선학습을 수행하고, 이렇게 학습된 추론모델(26)을 클라우드 혹은 사용자 단말에 로딩하여 추론을 진행한다. 추론된 결과물은 실제 응용시스템에 후처리 없이 적용 가능한 3D 콘텐츠(28)이다. 즉 토폴로지가, 학습시 사용된 트레이닝 데이터의 구조와 같고, 관절, 리깅, 텍스처맵(알베도, 스페큘라, 노멀 등)을 보유하며, 객체별 분리가 가능하다. 예를 들어, 모자를 착용한 사진의 경우 모자 객체와 사람 객체를 별도로 생성함으로써, 응용서비스(어플리케이션)에서 모자만 변경하여 착용하는 서비스 등을 지원할 수 있다.
도 4는 사용자단말(30)의 구성도로, 여기에는 어플리케이션 생성기(32), 의미속성기반 편집기(50)가 포함되어 있다.
어플리케이션 생성기(32)는 추론엔진(20)의 결과물로 출력된 애니메이션 또는 렌더링 가능한 3D 콘텐츠를 전달받아, 런타임으로 게임 등 어플리케이션을 생성한다. 이에 사용자는 사용자 단말(30)에서 바로 게임 등의 어플리케이션을 즐길 수 있다. 어플리케이션을 런타임으로 생성한다는 의미는, 추론 결과물인 3D 콘텐츠가 포함된 응용서비스나 응용프로그램 등의 어플리케이션(예를 들어 게임 앱, VR 서비스 앱 등)을 사용자의 개입(후처리, 프로그래밍 등) 없이 바로 사용자단말(30)에서 생성한다는 것이다.
또한 사용자 단말(30)에 포함된 의미속성기반 편집기(50)는 어플리케이션 생성기(32)와 연동하여 3D 콘텐츠를 의미속성 기반으로 편집하여(예를 들어 중세풍의 게임 콘텐츠를 현대풍의 게임 콘텐츠로 변경) 새로운 어플리케이션을 만들 수 있도록 한다. 여기서, 의미속성기반의 고수준의 정보란 인간의 언어, 손동작, 눈동자 움직임, 뇌파 등 의미를 갖고 이해 가능한 정보를 의미한다. 의미속성기반 편집기(50)에 대해서 더 설명한다.
도 5는 의미속성기반 편집기(50)의 구성도이다.
사용자 입력 해석부(52)는 사용자가 편집을 위해 입력한 슬라이드바, 제스처, 눈동자, 음성언어 입력으로부터 편집의 의도, 편집 명령 등을 해석한다.
캐릭터 스타일 변경부(54)는 사용자 입력 해석부(52)에서의 편집 의도/명령의 해석에 의해 어플리케이션의 캐릭터 또는 스타일을 변경한다.
의미속성기반 편집기(50)에서의 의미속성에 기반한 고수준 정보에 의한 캐릭터 편집 기능의 예를 도 6과 같이 정의될 수 있다. 도 6에서 사용자는 생성된 어플리케이션 내의 자신의 캐릭터를 슬라이드바(56)로 제어할 수 있다. 자신의 캐릭터를 사람처럼 보이게 하거나, 자신의 캐릭터를 수인족(판타지 소설 및 게임 등에 등장하는 사람과 동물이 혼합된 형태, 예를 들어 강아지 형태)으로 변경할 수 있다. 이는 기존의 정점, 면 등의 로우레벨의 3D 편집과 다른 형태의 편집이다. 예를 들어 사람이면 -1, 강아지는 1의 값으로 매핑되고 그 중간은 적절히 변경된다.
의미속성기반 편집기(50)는 도 6에 나타낸 슬라이드바(56) 형태뿐 아니라 사용자의 제스쳐, 눈동자의 움직임, 음성(언어) 등의 다양한 의미속성 기반 형태로 제어될 수 있다.
도 7은 의미속성기반 편집기(50)의 다른 실시형태로서 대화형 캐릭터/스타일 변경의 예를 나타낸다.
도 7을 참고하면, 사용자(58)는 TV 등의 지능형 단말(60)을 시청하고 있다. 이때 지능형 단말(60)에는 사용자의 개인비서 등 형태의 3차원 모델(62)이 포함되어 있다. 이때 사용자(58)는 자신의 상황에 따라 개인비서(62)를 다양한 형상으로 바꿀 수 있다. 즉 "좀 더 귀엽게 만들어봐"라는 일상언어를 통해 작업을 수행할 수 있다. 사용자(58)의 고수준의 언어 입력은 지능형 단말(60)에서 클라우드 추론엔진(20)으로 전송되어(추론엔진은 지능형 단말(60)에 포함될 수도 있음) 인공지능 엔진에 의해 분석된 후 현재 응용서비스(어플리케이션)에서 사용될 수 있는 편집/변경 가능한 단어로 매핑되어 내부적으로 도 6에 예시한 것같이 변형된다. 즉, 단어 매핑이 도 6의 사람형/수인형의 캐릭터 변경 개념으로 변경된다.
또한, 의미속성기반 편집기(50)에서의 의미속성 기반 고수준의 스타일 변경을 통해 사용자는 다양한 스타일변경을 수반한 게임을 즐길 수 있다. 도 8은 어플리케이션의 스타일을 변경하는 하나의 예제이다.
스마트폰 게임을 가정하면 '64'는 동양의 고대풍(예를 들어 조선시대)의 게임 배경이고, '72'는 서양의 고대풍(고대/중세 유럽)을 배경으로 한다. 사용자가 슬라이드바(70)를 우측으로 움직이면, 내부에 있는 '66', '68'의 캐릭터가 도 1의 추론엔진(20)으로 입력되고, 추론엔진(20)은 입력된 3D 캐릭터를 학습된 네트워크에서 추론하여 사용자가 원하는 방향으로(예를 들어 중세유럽) 스타일을 변경한다. 그 결과 슬라이드바(70)의 위치는 동양(64)에서 서양(72)으로 변경되고, 궁궐(66)은 중세유럽의 성(74)으로 변경되고, 조선시대 복장의 군인(68)은 유럽의 기사(76)로 변경된다. 이러한 방식으로 하나의 게임 혹은 응용서비스를 만들어서 의미기반 고수준의 편집을 통해 다양한 종류의 게임을 이용할 수 있다.
본 발명의 다른 이용에 관한 한 가지 예를 소개한다. 도 9에서와 같이, 본 발명의 지능형 추론엔진(82)을 이용하여 무한확장가능한 에셋스토어(asset store)를 만들 수 있다. 사용자 혹은 서비스 제공자(78)는 초기 3D 모델을 사용자 업로드 콘텐츠DB(84)에 업로드한다. 이렇게 업로드된 콘텐츠가 충분히 모이면, 이 콘텐츠는 학습엔진(80)으로 업로드되어 학습을 진행한다. 기존의 학습 결과에 추가 학습을 할 수 있다. 학습이 완료되면, 학습된 추론네트워크가 추론엔진시스템(82)으로 전송된다. 이렇게 학습된 추론엔진(82)에 전송된 사용자 업로드 콘텐츠는 본 발명의 의미속성기반 고수준 편집에 의해 스타일이 변경되어 무한확장 콘텐츠DB(86)로 전송된다. 사용자 업로드 콘텐츠의 스타일 변경버전은 다양한 버전으로 변경이 가능하다. 즉 무한확장콘텐츠DB(86)는 사용자의 업로드 콘텐츠와 이 스타일 변경버전이 함께 모여있는 콘텐츠 DB가 된다.
이상에서, 본 발명을 구체적인 실시예와 실시 형태로 예로 들어 설명하였다. 그러나 본 발명의 기술적 범위는 이러한 실시예에 의해 제한되는 것이 아니라, 이하의 특허청구범위의 합리적 해석에 의해 정해지는 것이다.
56: 슬라이드바, 58: 사용자, 60: 지능형 단말, 62: 3차원 모델, 64: 동양의 고대풍 게임 배경, 66, 68: 캐릭터, 70: 슬라이드바, 72: 서양의 고대풍 게임 배경, 74, 76: 캐릭터, 78: 사용자 또는 서비스 제공자

Claims (17)

  1. 인공지능을 이용한 3D 어플리케이션 생성 방법으로서,
    사용자가 생성한 2D 또는 3D 데이터가 기계학습 알고리즘에 의해 학습되고, 학습된 추론모델로부터 상기 2D 또는 3D 데이터에 대한 추론을 진행하여, 추론의 결과, 애니메이션 및 렌더링 가능한 3D 콘텐츠가 만들어지고,
    상기 3D 콘텐츠가 후처리 없이 적용되는 어플리케이션이 런타임으로 생성되어 사용자가 어플리케이션을 실행시킬 수 있는 것을 특징으로 하는 인공지능을 이용한 3D 어플리케이션 생성 방법.
  2. 제1항에서, 상기 애니메이션 및 렌더링 가능한 3D 콘텐츠는 인공지능 기반의 추론엔진에서 수행되는 것을 특징으로 하는 인공지능을 이용한 3D 어플리케이션 생성 방법.
  3. 제1항에서, 상기 어플리케이션의 런타임 생성은 사용자 단말에서 수행되는 것을 특징으로 하는 인공지능을 이용한 3D 어플리케이션 생성 방법.
  4. 제1항에서, 상기 3D 콘텐츠를 의미속성기반의 고수준 정보에 의해 편집하여 새로운 어플리케이션으로 편집 또는 변경하는 것을 추가로 포함하는 인공지능을 이용한 3D 어플리케이션 생성 방법.
  5. 제4항에서, 상기 의미속성기반의 고수준 정보에 의한 편집은 사용자 단말에서 수행되는 것을 특징으로 하는 인공지능을 이용한 3D 어플리케이션 생성 방법.
  6. 인공지능을 이용한 3D 어플리케이션 생성 장치로서,
    사용자가 2D 또는 3D 데이터를 생성하는 데이터 생성장치,
    상기 데이터 생성장치에서 출력된 상기 2D 또는 3D 데이터가 전송되어, 애니메이션 가능하고 렌더링 가능한 3D 콘텐츠가 만들어지는 인공지능 기반의 추론엔진,
    상기 추론엔진에서 전송받은 3D 콘텐츠를 런타임으로 어플리케이션으로 생성하는 사용자 단말을 포함하는 인공지능을 이용한 3D 어플리케이션 생성 장치.
  7. 제6항에서, 상기 추론엔진은 상기 사용자 단말 내에 존재하는 것을 특징으로 하는 인공지능을 이용한 3D 어플리케이션 생성 장치.
  8. 제6항에서, 상기 추론엔진은 클라우드 기반인 것을 특징으로 하는 인공지능을 이용한 3D 어플리케이션 생성 장치.
  9. 제6항에서, 상기 사용자 단말에는 의미속성기반의 고수준 정보에 의해 동작하는 의미속성기반 편집기가 추가로 포함되어, 상기 3D 콘텐츠가 의미속성 기반으로 편집되어 새로운 어플리케이션으로 편집 또는 변경되는 것을 특징으로 하는 인공지능을 이용한 3D 어플리케이션 생성 장치.
  10. 제9항에서, 상기 의미속성기반 편집기는
    사용자가 입력한 슬라이드바, 제스처, 눈동자, 음성언어 중 어느 하나의 입력으로부터 편집 명령을 해석하는 사용자 입력 해석부와,
    사용자 입력 해석부에서의 편집 명령의 해석에 의해 어플리케이션의 캐릭터 또는 스타일을 변경하는 캐릭터 스타일 변경부를 포함하는 인공지능을 이용한 3D 어플리케이션 생성 장치.
  11. 사용자가 생성한 2D 또는 3D 데이터를 수신하는 수단,
    상기 2D 또는 3D 데이터를 기계학습 알고리즘에 의해 학습하여 추론모델을 생성하는 수단,
    상기 학습된 추론모델로부터 상기 2D 또는 3D 데이터에 대한 추론을 진행하여, 추론의 결과, 애니메이션 및 렌더링 가능한 3D 콘텐츠를 출력하는 수단을 포함하는, 인공지능 기반의 3D 콘텐츠 추론엔진.
  12. 제11항에서, 상기 추론엔진은 사용자가 운용하는 단말 내에 존재하는 것을 특징으로 하는 인공지능 기반의 3D 콘텐츠 추론엔진.
  13. 제11항에서, 상기 추론엔진은 클라우드에 존재하는 것을 특징으로 하는 인공지능 기반의 3D 콘텐츠 추론엔진.
  14. 사용자가 생성한 2D 또는 3D 데이터를 기계학습 알고리즘에 의해 학습하여 상기 2D 또는 3D 데이터에 대한 추론을 진행하여, 추론의 결과로 출력된 애니메이션 및 렌더링 가능한 3D 콘텐츠를 수신하여, 상기 3D 콘텐츠로부터 런타임으로 3D 어플리케이션을 생성하는 수단을 포함하는, 3D 어플리케이션 생성을 위한 사용자 단말.
  15. 제14항에서, 상기 사용자 단말에는
    의미속성기반의 고수준 정보에 의해 동작하는 의미속성기반 편집기가 추가로 포함되어,
    상기 3D 콘텐츠를 의미속성 기반으로 편집하여 새로운 어플리케이션으로 편집 또는 변경하는 것을 특징으로 하는 3D 어플리케이션 생성을 위한 사용자 단말.
  16. 제15항에서, 상기 의미속성기반 편집기는
    사용자가 입력한 슬라이드바, 제스처, 눈동자, 음성언어 중 어느 하나의 입력으로부터 편집 명령을 해석하는 사용자 입력 해석부와,
    사용자 입력 해석부에서의 편집 명령의 해석에 의해 어플리케이션의 캐릭터 또는 스타일을 변경하는 캐릭터 스타일 변경부를 포함하는 3D 어플리케이션 생성을 위한 사용자 단말.
  17. 청구항 11 내지 청구항 13 중 어느 한 항의 인공지능 기반의 3D 콘텐츠 추론엔진에 의해 추론된 애니메이션 및 렌더링 가능한 3D 콘텐츠가 저장된 무한확장가능한 콘텐츠DB.


KR1020180025817A 2018-03-05 2018-03-05 인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치 KR20190109639A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180025817A KR20190109639A (ko) 2018-03-05 2018-03-05 인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180025817A KR20190109639A (ko) 2018-03-05 2018-03-05 인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20190109639A true KR20190109639A (ko) 2019-09-26

Family

ID=68067933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180025817A KR20190109639A (ko) 2018-03-05 2018-03-05 인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190109639A (ko)

Similar Documents

Publication Publication Date Title
KR102338136B1 (ko) 이모티콘 애니메이션 생성 방법 및 디바이스, 저장 매체 및 전자 디바이스
WO2022222810A1 (zh) 一种虚拟形象的生成方法、装置、设备及介质
Orvalho et al. A Facial Rigging Survey.
US11263821B1 (en) Generating augmented reality prerenderings using template images
CN108961369A (zh) 生成3d动画的方法和装置
US11568168B2 (en) Generating synthetic photo-realistic images
KR102334705B1 (ko) 웹툰 드로잉 장치 및 방법
KR20190112428A (ko) 통합 3d 객체모델 생성 및 의미론적 스타일전이 장치 및 방법
Zhao et al. Computer-aided graphic design for virtual reality-oriented 3D animation scenes
Maraffi Maya character creation: modeling and animation controls
Cadi Yazli et al. Modeling craftspeople for cultural heritage: A case study
Buttussi et al. H-animator: a visual tool for modeling, reuse and sharing of X3D humanoid animations
US20230222721A1 (en) Avatar generation in a video communications platform
US11836905B2 (en) Image reenactment with illumination disentanglement
CN115797546A (zh) 虚拟形象的生成方法、装置、设备及介质
KR20190109639A (ko) 인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치
Limano Realistic or iconic 3D animation (adaptation study with theory uncanny valley)
Chauhan et al. Image Multidiffusion Algorithms for AI Generative Art
CN117270721B (zh) 基于多用户交互xr场景的数字形象渲染方法及装置
KR102652652B1 (ko) 아바타 생성 장치 및 방법
Schmitz et al. Interactive pose and shape editing with simple sketches from different viewing angles
WO2024066549A1 (zh) 一种数据处理方法及相关设备
Miranda Intuitive Real-time Facial Interaction and Animation
de Carvalho Cruz et al. A review regarding the 3D facial animation pipeline
Santos Virtual Avatars: creating expressive embodied characters for virtual reality