KR20230173638A - 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
KR20230173638A
KR20230173638A KR1020230181422A KR20230181422A KR20230173638A KR 20230173638 A KR20230173638 A KR 20230173638A KR 1020230181422 A KR1020230181422 A KR 1020230181422A KR 20230181422 A KR20230181422 A KR 20230181422A KR 20230173638 A KR20230173638 A KR 20230173638A
Authority
KR
South Korea
Prior art keywords
real
motion
virtual
world object
world
Prior art date
Application number
KR1020230181422A
Other languages
English (en)
Inventor
전재웅
Original Assignee
(주) 애니펜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 애니펜 filed Critical (주) 애니펜
Publication of KR20230173638A publication Critical patent/KR20230173638A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 태양에 따르면, 애니메이션을 저작하기 위한 방법으로서, 입력 영상으로부터 실세계 객체의 외관 및 모션에 관한 특징 정보를 획득하는 단계, 상기 실세계 객체의 외관에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 객체를 결정하고, 상기 실세계 객체의 모션에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 모션을 결정하는 단계, 및 상기 가상 객체 및 상기 가상 모션에 기초하여 애니메이션 시퀀스를 생성하는 단계를 포함하는 방법이 제공된다.

Description

애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체{METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR AUTHORING AN ANIMATION}
본 발명은 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
근래에 들어, 퍼스널 컴퓨터나 이동 단말 장치 등과 같은 디지털 기기의 2차원 화면에서도 3차원적으로 표현될 수 있는 콘텐츠에 대한 수요가 늘고 있다. 또한, 1인 방송 플랫폼, 콘텐츠 크리에이터 플랫폼 등이 활성화되면서 3차원 콘텐츠를 직접 저작하여 사용하려는 일반인 사용자들이 늘어나고 있다.
하지만, 종래에는 이와 같은 3차원 콘텐츠의 저작을 위하여 콘텐츠 저작용 툴(tool)이 이용되어 왔는데, 통상적인 애니메이션 저작용 툴은 그 사용 방법이 복잡하고 어려워 숙련된 전문가에 의해서만 그 사용이 가능한 것이 일반적이었다.
이에, 본 발명자들은, 입력 영상으로부터 특정되는 실세계 객체의 외관 및 모션에 관한 특징 정보에 기초하여 가상 객체 및 가상 모션을 결정하고, 그 가상 객체 및 가상 모션을 기반으로 애니메이션 시퀀스를 생성할 수 있는 신규하고도 진보된 기술을 제안하는 바이다.
한국 공개특허공보 제2014-0070915호(2014.06.11)
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 촬영 영상을 이용하여 누구나 손쉽고 간편하게 애니메이션을 저작할 수 있도록 지원하는 것을 다른 목적으로 한다.
또한, 본 발명은, 애니메이션 저작과 연관되는 플랫폼에서 사용자가 구매하여 보유하고 있는 가상 객체 중에서 실세계 객체의 외관과 소정 수준 이상 유사한 외관을 갖는 가상 객체를 결정하고, 애니메이션 저작과 연관되는 플랫폼에서 사용자가 구매하여 보유하고 있는 가상 모션 중에서 실세계 객체의 모션과 소정 수준 이상 유사한 가상 모션을 결정하며, 결정된 가상 객체 및 가상 모션을 이용하여 애니메이션 시퀀스를 생성하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 애니메이션을 저작하기 위한 방법으로서, 입력 영상으로부터 실세계 객체의 외관 및 모션에 관한 특징 정보를 획득하는 단계, 상기 실세계 객체의 외관에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 객체를 결정하고, 상기 실세계 객체의 모션에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 모션을 결정하는 단계, 및 상기 가상 객체 및 상기 가상 모션에 기초하여 애니메이션 시퀀스를 생성하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 애니메이션을 저작하기 위한 시스템으로서, 입력 영상으로부터 실세계 객체의 외관 및 모션에 관한 특징 정보를 획득하는 특징 정보 획득부, 상기 실세계 객체의 외관에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 객체를 결정하고, 상기 실세계 객체의 모션에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 모션을 결정하는 결정부, 및 상기 가상 객체 및 상기 가상 모션에 기초하여 애니메이션 시퀀스를 생성하는 시퀀스 생성부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 촬영 영상을 이용하여 누구나 손쉽고 간편하게 애니메이션을 저작할 수 있게 된다.
또한, 본 발명에 의하면, 애니메이션 저작과 연관되는 플랫폼에서 사용자가 구매하여 보유하고 있는 가상 객체 중에서 실세계 객체의 외관과 소정 수준 이상 유사한 외관을 갖는 가상 객체를 결정하고, 애니메이션 저작과 연관되는 플랫폼에서 사용자가 구매하여 보유하고 있는 가상 모션 중에서 실세계 객체의 모션과 소정 수준 이상 유사한 가상 모션을 결정하며, 결정된 가상 객체 및 가상 모션을 이용하여 애니메이션 시퀀스를 생성할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 애니메이션을 저작하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 애니메이션 저작 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3 내지 도 10은 본 발명의 일 실시예에 따라 애니메이션이 저작되는 과정을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 애니메이션을 저작하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 애니메이션 저작 시스템(200) 및 디바이스(300)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망, 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 무선 주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 애니메이션 저작 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 예를 들어, 이러한 애니메이션 저작 시스템(200)은 서버 시스템일 수 있다.
본 발명의 일 실시예에 따른 애니메이션 저작 시스템(200)은 입력 영상으로부터 실세계 객체의 외관 및 모션에 관한 특징 정보를 획득하고, 실세계 객체의 외관에 관한 특징 정보를 참조하여 실세계 객체와 연관되는 가상 객체를 결정하며, 실세계 객체의 모션에 관한 특징 정보를 참조하여 실세계 객체와 연관되는 가상 모션을 결정하고, 가상 객체 및 가상 모션에 기초하여 애니메이션 시퀀스를 생성하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 입력 영상은 적어도 하나의 카메라 모듈(예를 들어, RGB 카메라, 적외선 카메라, 자외선 카메라, TOF(Time-of-Flight) 카메라 등) 또는 적어도 하나의 스캐너 모듈(예를 들어, 라이다(LiDAR) 센서, 레이더(radar) 센서 등)에 의해 실시간으로 또는 소정 기간 동안 촬영되는 영상을 의미할 수 있다. 또한, 위와 같은 입력 영상은 2차원 영상 또는 3차원 영상을 포함할 수 있다. 한편, 본 발명의 일 실시예에 따른 입력 영상이 반드시 위의 열거된 카메라 모듈(또는 카메라 모듈의 종류) 또는 스캐너 모듈(또는 스캐너 모듈의 종류)에만 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있음을 밝혀 둔다.
또한, 본 발명의 일 실시예에 따른 실세계 객체는 위의 적어도 하나의 카메라 모듈 또는 적어도 하나의 스캐너 모듈에 의해 특정될 수 있는 실세계에서의 사람, 사물 등 모든 유형의 대상을 총칭하는 개념일 수 있다.
본 발명에 따른 애니메이션 저작 시스템(200)의 구성과 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 애니메이션 저작 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 애니메이션 저작 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 디바이스(300) 또는 외부 시스템(미도시됨) 내에서 실현되거나 디바이스(300) 또는 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 통신망(100)을 통해 애니메이션 저작 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 디바이스(300)에는 입력 영상을 획득하기 위한 적어도 하나의 카메라 모듈 또는 적어도 하나의 스캐너 모듈, 애니메이션을 재생하기 위한 디스플레이 모듈(예를 들어, LCD, LED 디스플레이, OLED 디스플레이 등)이 더 포함될 수 있다.
한편, 본 발명의 일 실시예에 따른 디바이스(300)에는, 본 발명에 따른 애니메이션 저작 기능을 지원하기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 애니메이션 저작 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.
애니메이션 저작 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 애니메이션 저작 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 애니메이션 저작 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 특징 정보 획득부(210), 결정부(220), 시퀀스 생성부(230), 공유 관리부(240), 통신부(250) 및 제어부(260)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 특징 정보 획득부(210), 결정부(220), 시퀀스 생성부(230), 공유 관리부(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 애니메이션 저작 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 애니메이션 저작 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 특징 정보 획득부(210)는 입력 영상으로부터 실세계 객체의 외관 및 모션에 관한 특징 정보를 획득하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 실세계 객체의 외관에 관한 특징 정보에는 실세계 객체(구체적으로는, 실세계 객체에서 특정되는 각 영역 또는 각 부위)의 크기, 높이, 너비, 형상, 색상, 위치, 온도, 연결 관계 등에 관한 정보가 포함될 수 있고, 본 발명의 일 실시예에 따른 실세계 객체의 모션에 관한 특징 정보에는 실세계 객체(구체적으로는, 실세계 객체에서 특정되는 각 영역 또는 각 부위)의 이동 속도, 이동 경로, 이동 각도, 가속도, 각속도 등에 관한 정보가 포함될 수 있다.
예를 들어, 특징 정보 획득부(210)는 입력 영상으로부터 실세계 객체의 종류(예를 들어, 사람, 동물, 식물, 사물 등)를 특정하고, 그 종류를 참조하여 실세계 객체의 외관 및 모션에 관한 특징 정보를 추출할 수 있다. 보다 구체적으로, 특징 정보 획득부(210)는 실세계 객체의 종류가 사람으로 특정되면, 사람의 신체 구조(예를 들어, 머리, 얼굴, 눈, 코, 입, 팔 및 다리의 위치, 형상 및 연결 관계) 및 움직임(예를 들어, 머리, 얼굴, 눈, 코, 입, 팔 및 다리의 가동 범위 및 방향)에 관한 모델을 참조하여 사람의 각 신체 부위의 속성을 특정할 수 있고, 그 특정되는 각 신체 부위의 속성을 기반으로 사람의 외관(예를 들어, 성별, 키, 헤어 스타일, 옷차림, 얼굴의 각 부위의 위치 및 크기 등) 및 모션(예를 들어, 사람 또는 사람의 각 신체 부위의 이동 경로, 이동 속도, 이동 방향 등)에 관한 특징 정보를 추출할 수 있다. 또한, 특징 정보 획득부(210)는 실세계 객체의 종류가 버스로 특정되면, 버스의 구조(예를 들어, 차체, 바퀴 및 창문의 위치, 형상 및 방향) 및 움직임(예를 들어, 바퀴의 가동 범위 및 방향)에 관한 모델을 참조하여 버스의 각 구성 요소의 속성을 특정할 수 있고, 그 특정되는 각 구성 요소의 속성을 기반으로 버스의 외관 및 모션에 관한 특징 정보를 추출할 수 있다.
다른 예를 들어, 특징 정보 획득부(210)는 실세계 객체(또는 실세계 객체의 종류)를 식별하거나 실세계 객체의 특징을 추출하기 위한 객체 분석 모델을 이용하여 입력 영상 내의 실세계 객체를 분석함으로써, 실세계 객체가 어떤 객체인지 또는 어떤 종류의 객체인지를 식별하거나 실세계 객체의 외관 및 모션에 관한 특징 정보를 추출할 수 있다. 여기서, 객체 분석 모델은, 복수의 실세계 객체 및 그 복수의 실세계 객체와 연관되는 외관(예를 들어, 각 실세계 객체에서 특정되는 각 영역 또는 각 부위의 크기, 높이, 너비, 형상, 색상, 위치, 온도, 연결 관계 등) 및 모션(예를 들어, 각 실세계 객체에서 특정되는 각 영역 또는 각 부위의 이동 속도, 이동 경로, 이동 각도, 가속도, 각속도 등)에 관한 특징 정보를 이용하여 학습시킨 모델일 수 있다(이 경우에, 입력 영상 내에서 특정되는 실세계 객체의 위치, 실세계 객체의 방향 및 실세계 객체까지의 거리 중 적어도 하나를 더 고려하여 복수의 실세계 객체 및 그 복수의 실세계 객체와 연관되는 외관 및 모션에 관한 특징 정보에 대한 학습이 이루어질 수 있음). 이러한 학습은 나이브 베이즈(Naive Bayes) 분류, 서포트 벡터 머신(Support Vector Machine; SVM), 인공 신경망(Artificial Neural Network; ANN), 히든 마코브 모델(Hidden Markov Model; HMM) 등의 알고리즘을 기반으로 이루어질 수 있다. 또한, 특징 정보 획득부(210)는 하나의 객체 분석 모델을 이용하여 실세계 객체(또는 실세계 객체의 종류)를 식별하거나 그 실세계 객체의 외관 및 모션에 관한 특징 정보를 추출할 수도 있지만, 실세계 객체(또는 실세계 객체의 종류)를 식별하기 위한 제1 객체 분석 모델, 실세계 객체의 외관에 관한 특징 정보를 추출하기 위한 제2 객체 분석 모델 및 실세계 객체의 모션에 관한 특징 정보를 추출하기 위한 제3 객체 분석 모델을 각각 구성하고, 그 각각의 모델을 이용하여 실세계 객체가 어떤 객체인지를 식별하거나 실세계 객체의 외관 및 모션에 관한 특징 정보를 추출할 수도 있다.
보다 구체적으로, 특징 정보 획득부(210)는 실세계 객체(또는 실세계 객체의 종류)를 식별하기 위한 제1 객체 분석 모델을 이용하여 입력 영상으로부터 해당 입력 영상 내의 실세계 객체가 어떤 객체인지 또는 어떤 종류의 객체인지를 식별할 수 있다(이 경우에, 입력 영상 또는 입력 영상 내의 실세계 객체에 관한 데이터를 제1 객체 분석 모델에 입력하여 검출(detect), 분류(classification), 세그먼테이션(segmentation) 및 인식(recognition) 과정을 수행함으로써 실세계 객체(또는 실세계 객체의 종류)가 식별될 수 있음). 또한, 특징 정보 획득부(210)는 실세계 객체의 외관에 관한 특징 정보를 추출하기 위한 제2 객체 분석 모델을 이용하여 실세계 객체의 외관에 관한 특징 정보를 추출할 수 있다(이 경우에, 입력 영상 또는 입력 영상 내의 실세계 객체에 관한 데이터를 제2 객체 분석 모델에 입력하여 검출, 분류, 세그먼테이션 및 인식 과정을 수행함으로써 실세계 객체의 외관에 관한 특징 정보가 추출될 수 있음). 또한, 특징 정보 획득부(210)는 실세계 객체의 모션에 관한 특징 정보를 추출하기 위한 제3 객체 분석 모델을 이용하여 실세계 객체의 모션에 관한 특징 정보를 추출할 수 있다(이 경우에, 입력 영상 또는 입력 영상 내의 실세계 객체에 관한 데이터를 제3 객체 분석 모델에 입력하여 검출, 분류, 세그먼테이션 및 인식 과정을 수행함으로써 실세계 객체의 모션에 관한 특징 정보가 추출될 수 있음). 한편, 이러한 제3 객체 분석 모델은, 실세계 객체의 골격(스켈레톤)을 인지하여 골격 포인트(예를 들어, 실세계 객체가 사람인 경우 관절 포인트)를 연결하기 위한 학습 모델(예를 들어, 스켈레톤 작업을 위한 학습 모델), 스켈레톤을 기반으로 실세계 객체의 행동을 인지하는 학습 모델, 실세계 객체와 연관되는 상황을 인지하기 위한 학습 모델 등의 모델을 더 포함할 수 있다.
또한, 특징 정보 획득부(210)는 입력 영상으로부터 실세계 객체의 감정에 관한 특징 정보를 더 획득할 수 있다. 본 발명에 따른 실세계 객체의 감정에 관한 특징 정보에는 감정의 종류(예를 들어, 기쁨, 화남, 슬픔, 즐거움, 행복, 짜증 등) 및 세기(또는 강도)에 관한 정보가 포함될 수 있다.
예를 들어, 특징 정보 획득부(210)는, 입력 영상으로부터 실세계 객체의 종류(예를 들어, 사람, 동물, 식물, 사물 등)를 특정하고, 그 종류를 참조하여 실세계 객체의 감정에 관한 특징 정보를 획득할 수 있다. 보다 구체적으로, 특징 정보 획득부(210)는, 실세계 객체의 종류가 사람으로 특정되면, 사람의 신체 구조(예를 들어, 머리, 얼굴, 눈, 코, 입, 팔 및 다리의 위치, 형상 및 연결 관계) 및 움직임(예를 들어, 머리, 얼굴, 눈, 코, 입, 팔 및 다리의 가동 범위 및 방향)에 관한 모델을 참조하여 사람의 각 신체 부위의 속성을 특정할 수 있고, 그 특정되는 각 신체 부위의 속성을 기반으로 사람의 감정에 관한 특징 정보를 추출할 수 있다.
다른 예를 들어, 특징 정보 획득부(210)는 실세계 객체로부터 감정에 관한 특징을 추출하기 위한 객체 분석 모델을 참조하여 입력 영상 내의 실세계 객체를 분석함으로써 실세계 객체의 감정에 관한 특징 정보를 추출할 수 있다. 이러한 객체 분석 모델은 앞서 살펴본 외관 또는 모션에 관한 특징 정보를 추출하기 위한 객체 분석 모델과 그 구성 및 형태가 적어도 일부 유사할 수 있다.
또 다른 예를 들어, 특징 정보 획득부(210)는 실세계 객체의 외관 및 모션 중 적어도 하나에 관한 특징 정보에 기초하여 실세계 객체의 감정에 관한 특징 정보를 추출할 수 있다. 보다 구체적으로, 예를 들어 실세계 객체가 사람인 경우, 특징 정보 획득부(210)는 사람의 외관 및 모션에 관한 특징 정보로부터 눈의 위치, 입의 위치, 형상 및 움직임을 특정하고 이를 기준으로 사람의 감정의 종류를 결정하거나, 또는 사람의 외관 및 모션에 관한 특징 정보로부터 손과 다리(또는 발)의 움직임, 이동 경로 및 이동 속도를 특정하고 이를 기준으로 사람의 감정의 종류(예를 들어, 특정한 장소를 맴도는 경우에는 불안한 감정으로 특정할 수 있음)를 결정할 수 있다. 또한, 예를 들어 실세계 객체가 사람인 경우, 특징 정보 획득부(210)는 사람의 외관 및 모션에 관한 특징 정보로부터 눈의 위치, 입의 위치, 형상 및 움직임의 변화 또는 지속 시간을 특정하고 이를 기준으로 사람의 감정의 강도를 결정하거나, 또는 사람의 모션에 관한 특징 정보로부터 손이나 다리, 또는 발의 움직임, 이동 경로의 변화, 이동 속도의 변화 및 지속 시간을 특정하고 이를 기준으로 사람의 감정의 강도를 결정할 수 있다.
한편, 본 발명의 일 실시예에 따른 실세계 객체의 감정에 관한 특징 정보가 반드시 실세계 객체의 모션에 관한 특징 정보와 구분되는 것은 아니며, 필요에 따라 실세계 객체의 모션에 관한 특징 정보에 포함될 수도 있음을 밝혀 둔다.
다음으로, 본 발명의 일 실시예에 따른 결정부(220)는 실세계 객체의 외관에 관한 특징 정보를 참조하여 실세계 객체와 연관되는 가상 객체를 결정하고, 실세계 객체의 모션에 관한 특징 정보를 참조하여 실세계 객체와 연관되는 가상 모션을 결정하는 기능을 수행할 수 있다.
예를 들어, 결정부(220)는 복수의 가상 객체 중에서 실세계 객체의 외관에 관한 특징 정보를 기준으로 실세계 객체의 외관과 소정 수준 이상 유사한 외관을 갖는 객체를 실세계 객체와 연관되는 가상 객체로 결정하고, 복수의 가상 모션 중에서 실세계 객체의 모션에 관한 특징 정보를 기준으로 실세계 객체의 모션과 소정 수준 이상 유사한 모션을 실세계 객체와 연관되는 가상 모션으로 결정할 수 있다. 여기서, 복수의 가상 객체 및 복수의 가상 모션은, 가상 객체 및 가상 모션 관한 데이터베이스(이러한 데이터베이스는 본 발명에 따른 애니메이션 저작 시스템(200)에 포함되거나 외부 시스템에 존재할 수 있음)에 의해 기설정되거나, 본 발명에 따른 애니메이션 저작과 연관되는 플랫폼에서 사용자가 구매하여 보유하고 있는 것일 수 있다(이 경우에, 사용자별로 복수의 가상 객체 및 복수의 가상 모션이 달라질 수 있음).
한편, 실세계 객체의 골격 유무에 따라 결정부(220)가 실세계 객체의 모션과 유사한 가상 모션을 결정하는 방식이 달라질 수 있다.
예를 들어, 실세계 객체가 골격을 갖는 경우에는 실세계 객체의 스켈레톤 변화에 관한 정보(이러한 정보는 실세계 객체의 모션에 관한 특징 정보에 속할 수 있음)를 기준으로 해당 실세계 객체의 모션과 소정 수준 이상 유사한 가상 모션을 결정할 수 있고, 실세계 객체가 골격을 갖지 않는 경우에는 단위 시간 또는 단위 영역으로 분할되는 실세계 객체의 모션에 관한 특징 정보(즉, 실세계 객체의 모션에 관한 복수의 단위 특징 정보)를 기준으로 해당 실세계 객체의 모션과 소정 수준 이상 유사한 가상 모션을 결정할 수 있다. 한편, 본 발명의 일 실시예에 따라 실세계 객체의 모션과 유사한 가상 모션을 결정하는 방식이 반드시 상술한 방식에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
또한, 결정부(220)는 사용자의 개인 정보를 더 참조하여 가상 객체 및 가상 모션 중 적어도 하나를 결정할 수 있다. 본 발명의 일 실시예에 따른 사용자의 개인 정보에는, 사용자의 연령, 성별, 인종, 지역, 선호 가상 객체, 선호 모션 등에 관한 정보가 포함될 수 있다.
예를 들어, 결정부(220)는 애니메이션 저작과 연관되는 사용자(또는 디바이스(300)의 보유자)의 개인 정보에 기초하여 해당 사용자가 선호하는 가상 객체 및 가상 모션을 특정할 수 있고, 복수의 가상 객체 및 복수의 가상 모션 중에서 해당 사용자가 선호하는 가상 객체 및 가상 모션에 대하여 다른 가상 객체 및 가상 모션에 비해 높은 가중치가 부여되도록 할 수 있다. 즉, 가상 객체 및 가상 모션 중 적어도 하나를 결정함에 있어서, 특정한 가상 객체 및 가상 모션에 대한 사용자의 선호가 더 고려될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 시퀀스 생성부(230)는 가상 객체 및 가상 모션에 기초하여 애니메이션 시퀀스를 생성하는 기능을 수행할 수 있다.
예를 들어, 시퀀스 생성부(230)는 가상 객체가 가상 모션을 소정 시간(예를 들어, 이러한 시간은 앞서 살펴본 실세계 객체가 모션을 행하는 시간과 동일할 수 있음) 동안 행하는 것을 애니메이션 시퀀스로서 생성할 수 있다. 보다 구체적으로, 시퀀스 생성부(230)는 가상 객체가 실세계 객체의 동선과 동일하거나 유사한 동선으로 이동하면서 가상 모션을 행하는 것을 애니메이션 시퀀스로서 생성할 수 있다.
또한, 시퀀스 생성부(230)는 가상 객체 및 가상 모션에 기초하여 생성되는 애니메이션 시퀀스를 실세계 영상에 결합하여 증강 현실(Augmented Reality; AR) 영상 및 혼합 현실(Mixed Reality; MR) 영상 중 적어도 하나를 생성할 수 있다.
예를 들어, 시퀀스 생성부(230)는 입력 영상을 배경으로 애니메이션 시퀀스를 결합하여 증강 현실 영상을 생성할 수 있다. 보다 구체적으로, 시퀀스 생성부(230)는 입력 영상에서 실세계 객체를 제거한 것을 배경으로 가상 객체가 실세계 객체와 동일하거나 유사한 동선으로 이동하면서 가상 모션을 행하는 증강 현실 영상을 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 공유 관리부(240)는 시퀀스 생성부(230)에 의해 생성되는 애니메이션 시퀀스 또는 그 애니메이션 시퀀스와 결합하여 생성되는 영상(예를 들어, 증강 현실 영상 또는 혼합 현실 영상)이 복수의 사용자 간에 공유되도록 할 수 있다.
예를 들어, 공유 관리부(240)는 애니메이션 저작과 연관되는 사용자(또는 디바이스(300)의 보유자)의 소셜 네트워크 서비스(SNS), 클라우드, 웹 서버 등을 통해 애니메이션 시퀀스 또는 그 애니메이션 시퀀스와 결합하여 생성되는 증강 현실 영상이 다른 사용자와 공유(예를 들어, 실시간 공유)되도록 할 수 있다.
한편, 공유 관리부(240)는 다른 사용자가 위의 공유되는 애니메이션 시퀀스의 가상 객체 및 가상 모션 중 적어도 하나를 추가 또는 수정하거나 다른 가상 객체 또는 가상 모션으로 변경할 수 있게 하기 위한 사용자 인터페이스를 제공할 수 있다. 즉, 위의 공유되는 애니메이션 시퀀스의 가상 객체 또는 가상 모션은 다른 사용자에 의해 추가, 수정, 또는 변경될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 특징 정보 획득부(210), 결정부(220), 시퀀스 생성부(230) 및 공유 관리부(240)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 특징 정보 획득부(210), 결정부(220), 시퀀스 생성부(230), 공유 관리부(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따른 제어부(260)는 애니메이션 저작 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 애니메이션 저작 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 특징 정보 획득부(210), 결정부(220), 시퀀스 생성부(230), 공유 관리부(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3 내지 도 10은 본 발명의 일 실시예에 따라 애니메이션이 저작되는 과정을 예시적으로 나타내는 도면이다.
제1 실시예
본 발명의 일 실시예에 따른 애니메이션 저작 시스템(200)이 사용자 스마트폰(300)에 포함되는 상황을 가정해 볼 수 있다.
먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따라 사용자 스마트폰(300)의 촬영 모듈을 통해 정장을 입고 있는 사람(310)이 1번 장소에서 2번 장소를 향해 뛰어가는 영상이 입력 영상으로 획득될 수 있다.
그 다음에, 본 발명의 일 실시예에 따라 위의 획득되는 입력 영상으로부터 사람(즉, 실세계 객체)(310)의 외관, 모션 및 감정에 관한 특징 정보가 획득될 수 있다.
예를 들어, 적어도 하나의 객체 분석 모델(이러한 객체 분석 모델은 실세계 객체 및 그 실세계 객체와 연관되는 외관, 모션 및 감정에 관한 특징 정보에 대하여 딥 러닝을 수행하여 생성되는 모델일 수 있음)을 참조하여, 위의 입력 영상으로부터 실세계 객체(310)의 종류가 사람임이 특정될 수 있고, 실세계 객체(310)의 외관, 모션 및 감정에 관한 특징 정보가 획득될 수 있다.
보다 구체적으로, 포마드 헤어스타일의 키 180cm의 남성이 와이셔츠 및 정장 바지를 입고 넥타이를 매고 있으며, 얼굴의 눈, 코 및 입의 위치가 소정 위치에 존재하는 것(예를 들어, 얼굴의 모발선으로부터 눈썹 아래까지의 길이, 눈썹 아래로부터 코의 기저부까지의 길이 및 코의 기저부로부터 턱 끝까지의 길이가 동일하고, 얼굴의 가로 길이가 한 쪽 눈 가로 길이의 5배임)이 실세계 객체(310)의 외관에 관한 특징 정보로 추출될 수 있다. 또한, 80도로 굽힌 양 팔꿈치가 앞뒤로 소정 속도로 반복하여 움직이고, 양 무릎의 굽힘과 펴짐이 소정 속도로 반복되는 것이 실세계 객체(310)의 모션에 관한 특징 정보로 추출될 수 있다. 또한, 낮은 강도의 웃음(예를 들어, 이러한 강도는 감정의 세기에 따라 수 또는 수십 단계의 등급으로 구분될 수 있음)이 실세계 객체(310)의 감정에 관한 특징 정보로 추출될 수 있다.
그 다음에, 본 발명의 일 실시예에 따라 실세계 객체(310)의 외관에 관한 특징 정보를 참조하여 실세계 객체(310)와 연관되는 가상 객체가 결정되고, 실세계 객체(310)의 모션에 관한 특징 정보를 참조하여 실세계 객체(310)와 연관되는 가상 모션이 결정되며, 실세계 객체(310)의 감정에 관한 특징 정보를 참조하여 실세계 객체(310)와 연관되는 가상 감정이 결정될 수 있다.
예를 들어, 도 4를 참조하면, 사용자 스마트폰 또는 외부 시스템에 저장되거나, 해당 사용자가 애니메이션 저작과 연관되는 플랫폼에서 구매하여 보유하고 있는 복수의 가상 객체(도 4의 (a) 참조) 중에서, 실세계 객체(310)의 외관에 관한 특징 정보를 기준으로 실세계 객체(310)의 외관과 소정 수준 이상 유사한 외관을 갖는 객체가 가상 객체(410)로 결정될 수 있다. 또한, 사용자 스마트폰 또는 외부 시스템에 저장되거나, 해당 사용자가 애니메이션 저작 플랫폼에서 구매하여 보유하고 있는 복수의 가상 모션(도 4의 (b) 참조) 중에서, 실세계 객체(310)의 모션에 관한 특징 정보를 기준으로 실세계 객체(310)의 모션과 소정 수준 이상 유사한 모션이 가상 모션(420)으로 결정될 수 있다. 또한, 사용자 스마트폰 또는 외부 시스템에 저장되거나, 해당 사용자가 애니메이션 저작 플랫폼에서 구매하여 보유하고 있는 복수의 가상 감정 중에서, 실세계 객체(310)의 감정에 관한 특징 정보를 기준으로 실세계 객체(310)의 감정과 소정 수준 이상 유사한 감정이 가상 감정으로 결정될 수 있다.
그 다음에, 위와 같이 결정된 가상 객체(410), 가상 모션(420) 및 가상 감정에 기초하여 애니메이션 시퀀스가 생성될 수 있다.
예를 들어, 도 5를 참조하면, 가상 객체(510)가 가상 감정을 나타낸 상태로 실세계 객체(310)의 동선(320)과 동일하거나 유사한 동선(520)으로 이동하면서 가상 모션(420)을 행하는 것이 애니메이션 시퀀스로서 생성될 수 있다.
그 다음에, 본 발명의 일 실시예에 따라 스마트폰(300)을 통해 획득되는 입력 영상에 위의 생성되는 애니메이션 시퀀스를 결합하여 증강 현실 영상이 생성될 수 있다(도 6 참조).
제2 실시예
본 발명의 일 실시예에 따른 애니메이션 저작 시스템(200)과 사용자의 증강 현실 글래스(300)가 통신망(100)을 통해 상호 연동되는 상황을 가정해 볼 수 있다.
먼저, 도 7을 참조하면, 본 발명의 일 실시예에 따라 사용자의 증강 현실 글래스(300)에 의해 실세계 객체인 파란색 버스(710)가 3번 장소에서 4번 장소를 향해 주행하는 영상이 입력 영상으로 획득될 수 있다.
그 다음에, 본 발명의 일 실시예에 따라 위의 획득되는 입력 영상으로부터 입력 영상 내의 실세계 객체(710)의 종류가 버스임이 특정될 수 있고, 실세계 객체(710)의 외관 및 모션에 관한 특징 정보가 추출될 수 있다.
그 다음에, 복수의 가상 객체 중에서, 실세계 객체(710)의 종류 및 외관에 관한 특징 정보를 기준으로 그 종류 및 외관이 소정 수준 이상 유사한 객체인 '파란색 타요 캐릭터 버스'가 가상 객체로 결정될 수 있다. 또한, 복수의 가상 모션 중에서, 실세계 객체(710)의 모션에 관한 특징 정보를 단위 시간 또는 단위 영역으로 분할하여 특정되는 실세계 객체(710)의 모션에 관한 복수의 단위 특징 정보를 기준으로(예를 들어, 연속적으로 비교하여) 해당 모션과 소정 수준 이상 유사한 모션인 '가속 주행 모션'이 가상 모션으로 결정될 수 있다.
그 다음에, 도 8을 참조하면, 위의 가상 객체로 결정된 파란색 타요 캐릭터 버스가 3번 장소에서 4번 장소로 이동하면서 위의 가상 모션으로 결정된 가속 주행 모션을 소정 시간(예를 들어, 이러한 시간은 앞서 살펴본 실세계 객체인 파란색 버스(710)가 그와 연관된 모션을 행하는 시간과 동일할 수 있음) 동안 반복적으로 수행하는 것이 애니메이션 시퀀스로서 생성될 수 있다.
제3 실시예
본 발명의 일 실시예에 따른 애니메이션 저작 시스템(200)에 의해 생성된 애니메이션 시퀀스 또는 증강 현실 영상이 소셜 네트워크를 통해 다른 사용자와 공유되는 상황을 가정해 볼 수 있다.
먼저, 도 9를 참조하면, 본 발명의 일 실시예에 따라 제1 사용자에 의해 파란색 버스가 5번 장소와 6번 장소를 반복적으로 이동하는 것이 애니메이션 시퀀스로 생성될 수 있다.
그 다음에, 제1 사용자의 요청에 따라 위의 생성되는 애니메이션 시퀀스가 소셜 네트워크 서비스를 통해 제2 사용자와 공유될 수 있다.
그 다음에, 도 10을 참조하면, 위의 공유된 애니메이션 시퀀스를 수정하기 위한 사용자 인터페이스가 제2 사용자에게 제공될 수 있고, 제2 사용자는 이러한 사용자 인터페이스를 사용하여 위의 애니메이션 시퀀스에서 파란색 버스가 5번 및 6번 장소를 반복적으로 이동하는 것을 빨간색의 오토바이가 5번, 6번, 7번 및 8번 장소를 반복적으로 이동하는 것으로 수정할 수 있다. 즉, 공유된 애니메이션 시퀀스에서 가상 객체가 변경될 수 있고, 그 가상 객체가 행하는 가상 모션이 변경될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 애니메이션 저작 시스템
210: 특징 정보 획득부
220: 결정부
230: 시퀀스 생성부
240: 공유 관리부
250: 통신부
260: 제어부
300: 디바이스

Claims (15)

  1. 애니메이션을 저작하기 위한 방법으로서,
    입력 영상으로부터 실세계 객체의 외관 및 모션에 관한 특징 정보를 획득하는 단계,
    상기 실세계 객체의 외관에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 객체를 결정하고, 상기 실세계 객체의 모션에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 모션을 결정하는 단계, 및
    상기 가상 객체 및 상기 가상 모션에 기초하여 애니메이션 시퀀스를 생성하는 단계를 포함하고,
    상기 생성되는 애니메이션 시퀀스가 애니메이션 저작과 연관되는 사용자 외의 다른 사용자에게 공유되는 것에 대응하여, 상기 공유되는 애니메이션 시퀀스의 가상 객체 및 가상 모션 중 적어도 하나를 추가, 수정, 또는 변경할 수 있게 하기 위한 사용자 인터페이스가 상기 다른 사용자에게 제공되는
    방법.
  2. 제1항에 있어서,
    상기 획득 단계에서, 객체 분석 모델을 이용하여 상기 입력 영상 내의 실세계 객체를 분석함으로써 상기 실세계 객체의 외관 및 모션에 관한 특징 정보를 추출하고,
    상기 객체 분석 모델은, 복수의 실세계 객체 및 상기 복수의 실세계 객체와 연관되는 외관 및 모션에 관한 특징 정보를 이용하여 학습시킨 모델인
    방법.
  3. 제1항에 있어서,
    상기 획득 단계에서, 상기 입력 영상에서 특정되는 상기 실세계 객체의 종류를 참조하여 상기 실세계 객체의 외관 및 모션에 관한 특징 정보를 추출하는
    방법.
  4. 제1항에 있어서,
    상기 획득 단계에서, 상기 입력 영상으로부터 상기 실세계 객체의 감정에 관한 특징 정보를 더 획득하는
    방법.
  5. 제1항에 있어서,
    상기 결정 단계에서,
    복수의 가상 객체 중에서 상기 실세계 객체의 외관에 관한 특징 정보에 기초하여 상기 실세계 객체의 외관과 소정 수준 이상 유사한 외관을 갖는 객체를 상기 가상 객체로 결정하고,
    복수의 가상 모션 중에서 상기 실세계 객체의 모션에 관한 특징 정보에 기초하여 상기 실세계 객체의 모션과 소정 수준 이상 유사한 모션을 상기 가상 모션으로 결정하는
    방법.
  6. 제5항에 있어서,
    상기 복수의 가상 객체 및 상기 복수의 가상 모션은 애니메이션 저작과 연관되는 플랫폼에서의 구매 이력을 참조하여 특정되는
    방법.
  7. 제1항에 있어서,
    상기 생성 단계에서, 상기 애니메이션 시퀀스를 실세계 영상에 결합하여 증강 현실 영상 및 혼합 현실 영상 중 적어도 하나를 생성하는
    방법.
  8. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  9. 애니메이션을 저작하기 위한 시스템으로서,
    입력 영상으로부터 실세계 객체의 외관 및 모션에 관한 특징 정보를 획득하는 특징 정보 획득부,
    상기 실세계 객체의 외관에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 객체를 결정하고, 상기 실세계 객체의 모션에 관한 특징 정보를 참조하여 상기 실세계 객체와 연관되는 가상 모션을 결정하는 결정부, 및
    상기 가상 객체 및 상기 가상 모션에 기초하여 애니메이션 시퀀스를 생성하는 시퀀스 생성부를 포함하고,
    상기 생성되는 애니메이션 시퀀스가 애니메이션 저작과 연관되는 사용자 외의 다른 사용자에게 공유되는 것에 대응하여, 상기 공유되는 애니메이션 시퀀스의 가상 객체 및 가상 모션 중 적어도 하나를 추가, 수정, 또는 변경할 수 있게 하기 위한 사용자 인터페이스가 상기 다른 사용자에게 제공되는
    시스템.
  10. 제9항에 있어서,
    상기 특징 정보 획득부는, 객체 분석 모델을 이용하여 상기 입력 영상 내의 실세계 객체를 분석함으로써 상기 실세계 객체의 외관 및 모션에 관한 특징 정보를 추출하고,
    상기 객체 분석 모델은, 복수의 실세계 객체 및 상기 복수의 실세계 객체와 연관되는 외관 및 모션에 관한 특징 정보를 이용하여 학습시킨 모델인
    시스템.
  11. 제9항에 있어서,
    상기 특징 정보 획득부는, 상기 입력 영상에서 특정되는 상기 실세계 객체의 종류를 참조하여 상기 실세계 객체의 외관 및 모션에 관한 특징 정보를 추출하는
    시스템.
  12. 제9항에 있어서,
    상기 특징 정보 획득부는, 상기 입력 영상으로부터 상기 실세계 객체의 감정에 관한 특징 정보를 더 획득하는
    시스템.
  13. 제9항에 있어서,
    상기 결정부는, 복수의 가상 객체 중에서 상기 실세계 객체의 외관에 관한 특징 정보에 기초하여 상기 실세계 객체의 외관과 소정 수준 이상 유사한 외관을 갖는 객체를 상기 가상 객체로 결정하고, 복수의 가상 모션 중에서 상기 실세계 객체의 모션에 관한 특징 정보에 기초하여 상기 실세계 객체의 모션과 소정 수준 이상 유사한 모션을 상기 가상 모션으로 결정하는
    시스템.
  14. 제13항에 있어서,
    상기 복수의 가상 객체 및 상기 복수의 가상 모션은 애니메이션 저작과 연관되는 플랫폼에서의 구매 이력을 참조하여 특정되는
    시스템.
  15. 제9항에 있어서,
    상기 시퀀스 생성부는, 상기 애니메이션 시퀀스를 실세계 영상에 결합하여 증강 현실 영상 및 혼합 현실 영상 중 적어도 하나를 생성하는
    시스템.
KR1020230181422A 2020-07-22 2023-12-14 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 KR20230173638A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200091310 2020-07-22
KR20200091310 2020-07-22
KR1020210096245A KR20220012203A (ko) 2020-07-22 2021-07-22 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210096245A Division KR20220012203A (ko) 2020-07-22 2021-07-22 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Publications (1)

Publication Number Publication Date
KR20230173638A true KR20230173638A (ko) 2023-12-27

Family

ID=79729643

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210096245A KR20220012203A (ko) 2020-07-22 2021-07-22 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR1020230181422A KR20230173638A (ko) 2020-07-22 2023-12-14 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210096245A KR20220012203A (ko) 2020-07-22 2021-07-22 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (5)

Country Link
US (1) US20230274483A1 (ko)
JP (1) JP7550953B2 (ko)
KR (2) KR20220012203A (ko)
CN (1) CN116235208A (ko)
WO (1) WO2022019692A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224250A1 (ko) * 2022-05-16 2023-11-23 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN118097082B (zh) * 2024-04-26 2024-07-30 腾讯科技（深圳）有限公司 虚拟对象图像生成方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140070915A (ko) 2012-11-30 2014-06-11 인크로스 주식회사 웹 어플리케이션의 애니메이션 에디팅 방법 및 그 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4973622B2 (ja) 2007-08-29 2012-07-11 カシオ計算機株式会社 画像合成装置および画像合成処理プログラム
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
FR2984057B1 (fr) * 2011-12-13 2014-01-03 Solidanim Systeme de tournage de film video
WO2017079731A1 (en) * 2015-11-06 2017-05-11 Mursion, Inc. Control system for virtual characters
JP2017138915A (ja) 2016-02-05 2017-08-10 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム
US11071915B2 (en) 2016-09-30 2021-07-27 Sony Interactive Entertainment Inc. Delivery of spectator feedback content to virtual reality environments provided by head mounted display
JP7066116B2 (ja) * 2017-11-27 2022-05-13 地方独立行政法人東京都立産業技術研究センター 人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラム
CN109377539B (zh) * 2018-11-06 2023-04-11 北京百度网讯科技有限公司 用于生成动画的方法和装置
WO2020130692A1 (ko) * 2018-12-19 2020-06-25 (주) 애니펜 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20200052812A (ko) * 2019-06-20 2020-05-15 (주)셀빅 가상 환경에 활동 캐릭터를 생성하기 위한 가상환경의 활동캐릭터 생성 방법
US11551393B2 (en) * 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
US10949715B1 (en) * 2019-08-19 2021-03-16 Neon Evolution Inc. Methods and systems for image and voice processing
US11393149B2 (en) * 2020-07-02 2022-07-19 Unity Technologies Sf Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model
CN111833418B (zh) * 2020-07-14 2024-03-29 北京百度网讯科技有限公司 动画交互方法、装置、设备以及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140070915A (ko) 2012-11-30 2014-06-11 인크로스 주식회사 웹 어플리케이션의 애니메이션 에디팅 방법 및 그 장치

Also Published As

Publication number Publication date
JP2023537233A (ja) 2023-08-31
JP7550953B2 (ja) 2024-09-13
WO2022019692A1 (ko) 2022-01-27
US20230274483A1 (en) 2023-08-31
CN116235208A (zh) 2023-06-06
KR20220012203A (ko) 2022-02-03

Similar Documents

Publication Publication Date Title
US12100087B2 (en) System and method for generating an avatar that expresses a state of a user
KR102523512B1 (ko) 얼굴 모델의 생성
US11763510B2 (en) Avatar animation using markov decision process policies
US11670027B2 (en) Automated dance animation
US11836862B2 (en) External mesh with vertex attributes
KR20230173638A (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11983826B2 (en) 3D upper garment tracking
US11663792B2 (en) Body fitted accessory with physics simulation
US20230419578A1 (en) State-space system for pseudorandom animation
US11673054B2 (en) Controlling AR games on fashion items
KR102345729B1 (ko) 영상 생성 방법 및 장치
US20240152217A1 (en) User avatar movement control using an augmented reality eyewear device

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal