KR102596248B1 - 모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템 - Google Patents

모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템 Download PDF

Info

Publication number
KR102596248B1
KR102596248B1 KR1020220190144A KR20220190144A KR102596248B1 KR 102596248 B1 KR102596248 B1 KR 102596248B1 KR 1020220190144 A KR1020220190144 A KR 1020220190144A KR 20220190144 A KR20220190144 A KR 20220190144A KR 102596248 B1 KR102596248 B1 KR 102596248B1
Authority
KR
South Korea
Prior art keywords
motion
content
provider
avatar
user
Prior art date
Application number
KR1020220190144A
Other languages
English (en)
Inventor
김켄
정지욱
파르호드 루스탐 욱리 후다이베르가노브
김송은
Original Assignee
주식회사 쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리아이 filed Critical 주식회사 쓰리아이
Priority to KR1020220190144A priority Critical patent/KR102596248B1/ko
Application granted granted Critical
Publication of KR102596248B1 publication Critical patent/KR102596248B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47211—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting pay-per-view content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시예에 따른 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템을 제공한다. 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템은 사용자 또는 제공자의 모션에 대한 동영상을 이용하여 스켈레톤 데이터를 생성하는 모션캡처 엔진, 사용자 또는 제공자의 모션에 대한 동영상 및 상기 스켈레톤 데이터에 기초하여 제공자의 모션의 종류를 분류하는 모션 분류부, 제공자의 모션의 종류에 대응되는 아바타 및 가상 배경을 선정하고, 상기 스켈레톤 데이터에 아바타 및 가상 배경을 투영하여 가상 컨텐츠를 생성하는 가상 컨텐츠 생성부 및 사용자의 모션에 대한 동영상과 매칭되는 가상 컨텐츠를 선별하여 사용자에게 제공하는 추천부를 포함한다.

Description

모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템{Method and system for providing motion capture-based ultra-realistic content}
본 발명은 제공자의 모션에 기초하여 가상 컨텐츠를 생성하고, 사용자의 모션과 매칭되는 제공자의 가상 컨텐츠를 추천하는 모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템에 관한 것이다.
일반적으로, 춤, 율동, 근력운동, 또는 요가 등을 포함한 다양한 동작을 실행함에 있어, 본래의 동작을 기준(Reference)으로 하여 실행자가 기준 동작을 얼마나 잘 따라 하고 있는지 여부를 알 수 있다면, 동작을 바로잡는 데 큰 도움이 될 수 있다. 동작을 지켜보면서 교정하여 주는 코치의 역할을 대신 할 수 있는 디지털 컨텐츠가 있다면, 이러한 동작의 학습효과를 크게 향상 시킬 수 있을 것이다.
대개, 기준이 되는 형태의 디지털 컨텐츠는 널리 보급되고 있으며, 이를 보고 동작을 실시하는 사용자는 자신의 동작을 객관적으로 확인하는 것이 거의 불가능하다. 거울 앞에서 동작을 한다고 하여도 동작에 따라서는 거울로 확인할 수 없는 부분도 있을 수 있고, 디스플레이를 보면서 동작을 실시하는 경우, 거울을 볼 여유가 없다.
따라서, 사용자의 동작과 코치의 동작을 서로 비교하여 디스플레이에 표시할 수 있는 플랫폼이 개발되고 있다. 다만, 사용자가 동영상을 업로드하고, 사용자가 원하는 동작과 매칭되는 동영상을 선별하기 위해 많은 노력이 요구된다.
또한, 비대면으로 강의를 진행하는 컨텐츠의 특성 상, 개인신상정보의 노출, 사용자의 모션에 대한 피드백의 부제 및 사용자가 특정 동작의 올바른 수행 자세를 명확하게 인지하지 못하는 문제점이 발생된다. 구체적으로, 코치가 직접 특정 동작을 수행하는 영상이 불특정 다수의 사용자에게 공개됨으로써, 코치의 개인신상정보 노출이 문제가 되고 있다. 또한, 비대면으로 강의를 진행하는 컨텐츠의 특성 상, 어린아이의 집중력이 유지되기 어렵고 흥미 유발이 어려운 문제점 있다. 또한, 코치들의 영상에 대한 검증 과정이 없이, 사용자에게 컨텐츠가 제공되어 사용자는 어떠한 자세로 동작을 수행하는 것을 올바른 것인지에 대해 명확하게 구분하지 못하는 문제점이 있다.
본 발명의 기술적 과제는 사용자가 업로드한 동영상의 분석을 통해 사용자가 수행하는 모션과 대응되는 가상 컨텐츠를 사용자에게 제공할 수 있는 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템을 제공하는 것이다.
본 발명의 기술적 과제는 사용자에게 제공되는 가상 컨텐츠를 생성함에 있어, 제공자의 모션 분석, 아바타 생성 및 배경 생성을 순차적으로 수행하여 보다 퀄리티 높은 가상 컨텐츠를 생성할 수 있다.
본 발명의 기술적 과제는 특정 동작에 있어 이상적인 자세를 사용자에게 알릴 수 있도록 라이선스 컨텐츠를 생성하는 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템을 제공하는 것이다.
본 발명의 실시예에 따른 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템을 제공한다. 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템은 사용자 또는 제공자의 모션에 대한 동영상을 이용하여 스켈레톤 데이터를 생성하는 모션캡처 엔진, 사용자 또는 제공자의 모션에 대한 동영상 및 상기 스켈레톤 데이터에 기초하여 제공자의 모션의 종류를 분류하는 모션 분류부, 제공자의 모션의 종류에 대응되는 아바타 및 가상 배경을 선정하고, 상기 스켈레톤 데이터에 아바타 및 가상 배경을 투영하여 가상 컨텐츠를 생성하는 가상 컨텐츠 생성부 및 사용자의 모션에 대한 동영상과 매칭되는 가상 컨텐츠를 선별하여 사용자에게 제공하는 추천부를 포함한다.
일 예에 의하여, 상기 모션캡처 엔진은, 입력되는 동영상에서 사람의 모션 만을 추출하는 객체 탐지 모듈 및 상기 객체 탐지 모듈에 의해 추출된 사람의 모션에 기초하여 2D 스켈레톤 데이터 또는 3D 스켈레톤 데이터를 생성하는 스켈레톤 데이터 생성부를 포함한다.
일 예에 의하여, 상기 모션 분류부는, 동영상에 사람의 모션 외에 동물 또는 사람이 다루는 도구에 대한 모션이 존재하는지 분류하는 제1 모션 분류부 및 상기 제1 모션 분류부에 의해 분류된 동영상의 1차 분류 결과에 기초하여 사람의 모션의 종류를 세분화하는 2차 분류를 진행하는 제2 모션 분류부를 포함한다.
일 예에 의하여, 상기 제1 모션 분류부는 상기 모션캡처 엔진에 입력되는 동영상을 분석하고, 상기 제2 모션 분류부는 상기 모션캡처 엔진에 의해 생성된 사람의 모션에 대한 동영상과 대응되는 상기 스켈레톤 데이터를 분석한다.
일 예에 의하여, 상기 제2 모션 분류부는 동영상이 서로 다른 종류의 모션들을 표현하는 경우 모션의 종류에 따라 동영상을 분할한다.
일 예에 의하여, 상기 가상 컨텐츠 생성부는, 복수의 아바타들에 대한 정보를 저장하는 아바타 저장부 상기 아바타 저장부에 저장된 복수의 아바타들 중 제공자의 모션의 종류에 대응되는 대응되는 아바타를 상기 모션캡처 엔진에서 생성한 상기 스켈레톤 데이터에 투영하여 3D 아바타를 생성하는 아바타 생성부 및 제공자의 모션의 종류에 대응되는 배경을 생성하여 상기 아바타 생성부에 의해 생성된 상기 3D 아바타와 결합하는 배경 생성부를 포함한다.
일 예에 의하여, 상기 아바타 생성부는 제공자가 아바타의 종류를 선택 가능하도록 상기 스켈레톤 데이터에 투영한 아바타 이외의 아바타를 표시하고, 상기 배경 생성부는 제공자가 배경의 종류를 선택 가능하도록 상기 3D 아바타에 결합된 배경 이외의 배경을 표시한다.
일 예에 의하여, 상기 배경 생성부는 제공자의 모션의 종류가 동물 또는 도구를 이용하는 것으로 판단되는 경우, 제공자의 모션의 종류에 대응되는 가상 동물 또는 가상 도구를 생성하여 상기 3D 아바타와 결합한다.
일 예에 의하여, 상기 가상 컨텐츠 생성부에 의해 생성된 가상 컨텐츠는 모션의 종류에 따라 구분되어 저장부에 저장된다.
일 예에 의하여, 상기 추천부는 사용자의 모션의 종류와 매칭되는 제공자의 가상 컨텐츠를 선별하여 사용자에게 제공하는 컨텐츠 매칭부를 포함한다.
일 예에 의하여, 상기 컨텐츠 매칭부는 사용자가 입력한 동영상의 촬영 방향을 고려하여 제공자의 가상 컨텐츠를 매칭한다.
일 예에 의하여, 상기 추천부는 상기 컨텐츠 매칭부에 의해 선별된 제공자의 가상 컨텐츠와 사용자의 모션을 비교하는 모션 비교부를 포함하고, 상기 모션 비교부는 사용자의 모션에서 제공자의 가상 컨텐츠와 일치하지 않는 부분을 탐지하여 사용자에게 알린다.
일 예에 의하여, 상기 모션 비교부는 사용자가 입력한 동영상의 촬영 방향과 매칭되도록 가상 컨텐츠 내의 3D 아바타의 모션 수행 방향을 조절하고, 상기 모션 비교부는 사용자의 모션과 가상 컨텐츠 내의 3D 아바타의 모션을 비교하여 사용자에게 표시한다.
일 예에 의하여, 복수의 제공자들의 가상 컨텐츠들을 조합하여 특정 모션에 대한 기준이 되는 라이선스 컨텐츠를 생성하는 라이선스 컨텐츠 생성부를 더 포함한다.
일 예에 의하여, 가상 컨텐츠는 3D 아바타가 복수의 구분 동작들을 포함하는 특정 모션을 수행하는 컨텐츠이고, 상기 라이선스 컨텐츠 생성부는 복수의 가상 컨텐츠들 각각의 구분 동작들을 비교하는 것을 통해 기준이 되는 구분 동작들을 추출하여 상기 라이선스 컨텐츠를 생성한다.
일 예에 의하여, 상기 기준이 되는 구분 동작들은 특정 구분 동작에서 복수의 가상 컨텐츠들이 서로 일치된 동작을 나타내는지 여부에 기초하여 선별되고, 상기 라이선스 컨텐츠를 구성하는 구분 동작들은 서로 다른 가상 컨텐츠들에서 추출될 수 있다.
일 예에 의하여, 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서, 상기 인스트럭션들은 프로세서에 의해 실행되고, 상기 프로세서는, 사용자 또는 제공자의 모션에 대한 동영상을 이용하여 스켈레톤 데이터를 생성하는 동작, 사용자 또는 제공자의 모션에 대한 동영상 및 상기 스켈레톤 데이터에 기초하여 제공자의 모션의 종류를 분류하는 동작, 제공자의 모션의 종류에 대응되는 아바타 및 가상 배경을 선정하고, 상기 스켈레톤 데이터에 아바타 및 가상 배경을 투영하여 가상 컨텐츠를 생성하는 동작 및 사용자의 모션에 대한 동영상과 매칭되는 가상 컨텐츠를 선별하여 사용자에게 제공하는 동작을 수행한다.
본 발명의 실시예에 따르면, 컨텐츠를 사용자에게 제공하는 목적으로 제공자가 업로드한 동영상에 기초하여 3D 아바타가 제공자의 모션을 모사하는 가상 컨텐츠를 생성할 수 있다. 가상 컨텐츠를 사용자에게 제공함으로써, 제공자가 얼굴을 공개하는 동영상을 사용자에게 제공할 필요가 없어 컨텐츠 제공자의 개인신상이 보호될 수 있다. 또한, 3D 아바타를 통한 컨텐츠 제공으로, 다양한 수요자의 흥미를 유발시킬 수 있다.
본 발명의 실시예에 따르면, 제공자가 동영상을 업로드하면서 별도의 카테고리 구분을 하지 않더라도 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템은 제공자의 모션의 종류를 판단하고 모션의 종류에 맞는 아바타 및 배경을 설정함으로써, 제공자의 별도의 수고를 들이지 않고도 3D 아바타에 의해 구현되는 가상 컨텐츠가 제작될 수 있다.
본 발명의 실시예에 따르면, 사용자의 모션에 대응되는 가상 컨텐츠를 자동으로 사용자에게 추천됨에 따라, 사용자는 별도의 조작 없이도 특정 모션에 대한 강의를 포함하는 가상 컨텐츠를 제공받을 수 있다.
도 1은 본 발명의 실시예에 따른 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템에 의한 제공자의 동영상을 처리하는 과정을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 3D 아바타를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템에 의한 사용자에게 가상 컨텐츠를 추전하는 과정을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 라이선스 컨텐츠를 생성하는 방법을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전문에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 구성의 명칭을 제1, 제2 등으로 구분한 것은 그 구성의 명칭이 동일한 관계로 이를 구분하기 위한 것으로, 하기의 설명에서 반드시 그 순서에 한정되는 것은 아니다.
상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 기술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 기술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 컴퓨터로 판독 가능한 매체는 물리적으로 단독으로 구분되는 매체 (예컨대, USB 등) 뿐만 아니라, 온라인으로 다운로드 되어 컴퓨터 장치의 저장 매체(예컨대, 메모리 등)에 저장된 경우를 포함한다.
도 1은 본 발명의 실시예에 따른 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템에 의한 제공자의 동영상을 처리하는 과정을 설명하기 위한 블록도이다.
도 1을 참조하면, 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 컨텐츠를 제공하는 주체가 입력하는 동영상을 처리하는 과정을 수행할 수 있다. 컨텐츠를 제공하는 주체는 제공자로 정의될 수 있고, 컨텐츠를 제공받는 주체는 사용자로 정의될 수 있다. 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 소프트웨어, 컴퓨터 프로그램 및 스마트폰에 의해 구동되는 어플리케이션이거나, 이들과 하드웨어의 조합으로 이루어질 수 있다. 또한, 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 사용자가 업로드한 동영상을 분석하고, 동영상에 대한 피드백을 제공하고, 강의를 위한 가상 컨텐츠를 제공하는 플랫폼일 수 있다. 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 제공자가 업로드 또는 입력한 동영상을 3D 아바타로 생성하여 저장할 수 있다.
모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 모션캡처 엔진(100), 모션 분류부(200), 가상 컨텐츠 생성부(300), 저장부(400) 및 라이선스 컨텐츠 생성부(500)를 포함할 수 있다.
모션캡처 엔진(100)은 제공자의 모션에 대한 동영상을 이용하여 스켈레톤 데이터를 생성할 수 있다. 제공자의 모션은 춤, 스포츠 및 운동과 관련된 모션을 의미할 수 있다. 모션캡처 엔진(100)은 객체 탐지 모듈(110) 및 스켈레톤 데이터 생성부(130)를 포함할 수 있다. 객체 탐지 모듈(110) 및 스켈레톤 데이터 생성부(130)는 딥러닝 모델에 의해 구현되는 구성일 수 있다. 예를 들어, 딥러닝 모델은 순환 신경망(Recurrent Neural Network: RNN), 컨볼루션 신경망(Convolution Neural Network: CNN) 및 심층 신경망(Deep Neural Network: DNN) 등에 기반하여 구현될 수 있다.
객체 탐지 모듈(110)은 제공자가 입력한 동영상에서 사람의 모션 만을 추출할 수 있다. 제공자가 입력하는 동영상에는 사람 이외에 동물 또는 사람이 다루는 도구에 대한 영상도 포함될 수 있다. 예를 들어, 제공자가 농구에 대한 동영상을 촬영한 경우 동영상 내에는 도구인 농구공이 표현될 수 있고, 제공자가 승마에 대한 동영상을 촬영한 경우 동영상 내에는 동물인 말이 표현될 수 있다. 객체 탐지 모듈(110)은 사람의 모션 만을 추출할 수 있고, 추출된 영상은 스켈레톤 데이터 생성부(130)에서 처리될 수 있다.
스켈레톤 데이터 생성부(130)는 객체 탐지 모듈(110)에 의해 추출된 사람의 모션에 기초하여 2D 스켈레톤 데이터 또는 3D 스켈레톤 데이터를 생성할 수 있다. 3D 스켈레톤 데이터는 관절 등의 부위에 대응되는 키포인트(key-point)의 3차원 공간 좌표 상의 위치 좌표와 키포인트의 연결 정보를 포함할 수 있다. 스켈레톤 데이터 생성부(130)는 동영상 내의 제공자의 골격을 인식하여, 골격을 기반으로 관절과 뼈를 구분할 수 있다. 스켈레톤 데이터 생성부(130)는 관절에 대한 3차원 데이터를 추출함으로써 3D 스켈레톤 데이터를 추출할 수 있다. 스켈레톤 데이터 생성부(130)는 관절에 대한 3차원 데이터를 추출하는 과정에서 미리 학습되거나 저장된 사람의 관절에 대한 정보를 이용할 수 있다.
모션 분류부(200)는 제공자의 모션에 대한 동영상 및 스켈레톤 데이터에 기초하여 제공자의 모션의 종류를 분류할 수 있다. 모션 분류부(200)는 제공자의 동영상이 어떠한 종류의 모션에 대한 것인지를 분류하고 판별할 수 있다. 모션 분류부(200)는 제1 모션 분류부(210) 및 제2 모션 분류부(230)를 포함할 수 있다.
제1 모션 분류부(210)는 동영상에 사람의 모션 외에 동물 또는 사람이 다루는 도구에 대한 모션이 존재하는지 분류할 수 있다. 제1 모션 분류부(210)는 제공자가 모션캡처 엔진(100)에 입력한 동영상에 기초하여 제공자의 모션에 대한 1차 분류를 수행할 수 있다.
제2 모션 분류부(230)는 제1 모션 분류부(210)에 의해 분류된 동영상의 1차 분류 결과에 기초하여 제공자의 모션의 종류를 세분화하는 2차 분류를 진행할 수 있다. 제2 모션 분류부(230)는 모션캡처 엔진(100)에 의해 생성된 제공자의 모션에 대한 동영상에 대한 스켈레톤 데이터를 분석할 수 있다. 구체적으로, 제2 모션 분류부(230)는 제공자가 입력한 동영상에서 사람의 모션에 해당하는 영상에 기초하여 스켈레톤 데이터 생성부(130)가 생성한 스켈레톤 데이터를 분석할 수 있다. 2차 분류는 제공자의 모션이 구체적인 종류를 구분하는 것일 수 있다. 예를 들어, 2차 분류는 제공자의 모션이 웨이트 트레이닝에서 어떤 동작을 수행하는 모션인지를 구분하는 것을 의미할 수 있다.
제2 모션 분류부(230)는 동영상이 서로 다른 종류의 모션들을 표현하는 경우 모션의 종류에 따라 동영상을 분할할 수 있다. 사용자는 복수의 모션들이 포함된 하나의 동영상을 플랫폼에 업로드할 수 있다. 예를 들어, 사용자는 농구에 대한 영상을 업로드하면서 드리블과 슛팅에 대한 모션들을 포함하는 하나의 동영상을 업로드할 수 있다. 제2 모션 분류부(230)는 제공자의 동영상을 분석한 결과 복수의 모션들이 하나의 동영상에 포함된 것을 판단할 수 있고, 각각의 모션들을 기준으로 하나의 동영상의 모션들의 종류에 따라 분할할 수 있다.
1차 분류 및 2차 분류 결과 제공자의 모션의 종류가 판별될 수 있고, 판별된 분류에 따라 향후 제공자의 동영상에 기초하여 도출되는 가상 컨텐츠가 저장부(400)에 저장될 수 있다.
가상 컨텐츠 생성부(300)는 제공자의 모션의 종류에 대응되는 아바타 및 가상 배경을 선정하고, 스켈레톤 데이터에 아바타 및 가상 배경을 투영하여 가상 컨텐츠를 생성할 수 있다. 가상 컨텐츠는 사람이 아닌 3D 아바타가 특정 모션을 수행하는 것을 표시하는 것을 의미할 수 있다. 즉, 가상 컨텐츠는 사용자에게 특정 모션에 대한 강의를 진행하는 컨텐츠이거나, 사용자에게 특정 모션에 대한 시범을 보여주는 컨텐츠를 포함할 수 있다. 가상 컨텐츠 생성부(300)는 아바타 저장부(310), 아바타 생성부(330) 및 배경 생성부(350)를 포함할 수 있다.
아바타 저장부(310)는 복수의 아바타들에 대한 정보를 저장할 수 있다. 복수의 아바타들은 사람의 다양한 모션과 매칭될 수 있도록 다양한 종류를 포함할 수 있다. 예를 들어, 농구와 관련된 복수의 아바타들이 아바타 저장부(310)에 저장될 수 있고, 승마와 관련된 아바타들이 아바타 저장부(310)에 저장될 수 있다. 아바타들 각각에는 사람의 골격 정보와 매칭되도록 사람의 신체 부위에 대한 정보에 반영될 수 있다. 또한, 아바타들은 모션의 종류에 따라 구분되는바, 각각의 아바타들에는 모션의 종류에 따른 골격의 모션 데이터가 저장될 수 있다. 아바타 저장부(310)는 아바타 이외의 배경, 동물 및 도구에 대한 정보를 저장할 수 있다. 아바타 이외의 배경, 동물 및 도구는 3D 아바타를 생성할 때 3D 아바타와 함께 결합될 수 있는 배경, 동물 및 도구를 의미할 수 있다.
아바타 생성부(330)는 아바타 저장부(310)에 저장된 복수의 아바타들 중 제공자의 모션의 종류에 대응되는 아바타를 모션캡처 엔진(100)에서 생성한 스켈레톤 데이터에 투영하여 3D 아바타를 생성할 수 있다. 제공자의 모션의 종류는 모션 분류부(200)에서 판단될 결과에 기초할 수 있다. 3D 아바타는 제공자의 모션을 모사하는 가상의 캐릭터를 의미할 수 있다. 3D 아바타는 3D 공간 상에서 표현될 수 있고, 3D 아바타를 포함하는 가상 컨텐츠는 사용자에게 제공될 수 있다. 3D 아바타는 제공자의 동영상에 기초하여 생성되는바, 최초에는 제공자의 특정 모션을 수행하는 방향과 동일한 방향을 향해 특정 모션을 수행할 수 있다. 3D 아바타는 제공자가 수행한 모션에 대한 3차원 움직임에 대한 정보를 모두 포함할 수 있는바, 사용자는 3D 아바타가 특정 모션을 수행하는 방향을 가상 컨텐츠 내에서 제어할 수 있다. 예를 들어, 사용자는 3D 아바타가 스쿼트를 수행하는 방향을 정면, 측면 및 후면으로 제어할 수 있다. 따라서, 사용자는 3D 아바타가 특정 모션을 수행하는 동작을 다양한 방향에서 볼 수 있다.
아바타 생성부(330)는 제공자가 아바타의 종류를 선택 가능하도록 스켈레톤 데이터에 투영한 아바타 이외의 아바타를 표시할 수 있다. 아바타 생성부(330)는 제공자의 모션의 종류에 대응되는 대표 아바타를 스켈레톤 데이터에 투영할 수 있으나, 특정 모션과 대응되는 아바타의 종류는 다양할 수 있다. 아바타의 종류는 아바타의 성별, 외형 및 의복 등을 포함할 수 있다. 아바타 생성부(330)는 최초에 매칭된 대표 아바타 이외의 아바타를 제공자가 선택하여 교체할 수 있도록 다양한 선택지를 제공자에게 제공할 수 있다.
배경 생성부(350)는 제공자의 모션의 종류에 대응되는 배경을 생성하여 아바타 생성부(330)에 의해 생성된 3D 아바타와 결합할 수 있다. 예를 들어, 제공자의 모션이 농구라고 판단된 경우, 배경 생성부(350)는 농구장을 배경으로 선택하여 3D 아바타와 결합할 수 있다. 또한, 배경 생성부(350)는 제공자의 모션의 종류가 동물 또는 도구를 이용하는 것으로 판단되는 경우, 제공자의 모션의 종류에 대응되는 가상 동물 또는 가상 도구를 생성하여 3D 아바타와 결합할 수 있다. 예를 들어, 제공자의 모션이 농구라고 판단된 경우, 배경 생성부(350)는 농구공을 가상 도구로 선택하여 3D 아바타와 결합할 수 있다.
배경 생성부(350)는 제공자가 배경의 종류를 선택 가능하도록 3D 아바타에 결합된 배경 이외의 배경을 표시할 수 있다. 배경 생성부(350)는 제공자의 모션의 종류에 대응되는 대표 배경을 3D 아바타에 결합시킬 수 있으나, 특정 모션과 대응되는 배경의 종류는 다양할 수 있다. 배경 생성부(350)는 최초에 매칭된 대표 배경 이외의 배경을 제공자가 선택하여 교체할 수 있도록 다양한 선택지를 제공자에게 제공할 수 있다.
저장부(400)는 가상 컨텐츠 생성부(300)에 의해 생성된 가상 컨텐츠를 모션의 종류에 따라 구분하여 저장할 수 있다. 가상 컨텐츠는 3D 아바타가 복수의 구분 동작들을 포함하는 특정 모션을 수행하는 컨텐츠로, 3D 아바타에 가상 배경 및 가상 도구가 결합된 컨텐츠를 의미할 수 있다. 가상 컨텐츠는 모션 분류부(200)에 의해 분류된 결과에 기초하여 저장부(400)에 저장될 수 있다. 제1 모션 분류부(210)에 의한 1차 분류 결과, 가상 컨텐츠는 사람의 모션만이 존재하는 컨텐츠인지, 도구를 다루는 컨텐츠인지 또는 동물과 함께 모션을 수행하는 컨텐츠인지가 분류될 수 있다. 제2 모션 분류부(230)에 의한 2차 분류 결과, 가상 컨텐츠는 제공자의 모션의 구체적인 종류에 의해 분류될 수 있다. 예를 들어, 가상 컨텐츠는 웨이트 트레이닝 중 스쿼트인지, 벤치 프레스인지 등의 세부적인 동작의 종류에 따라 분류될 수 있다.
라이선스 컨텐츠 생성부(500)는 복수의 제공자들의 가상 컨텐츠들을 조합하여 특정 모션에 대한 기준이 되는 라이선스 컨텐츠를 생성할 수 있다. 라이선스 컨텐츠는 특정 모션에 대한 이상적인 동작을 보여주는 컨텐츠를 의미할 수 있다. 라이선스 컨텐츠 생성부(500)는 복수의 가상 컨텐츠들 각각의 구분 동작들을 비교하는 것을 통해 기준이 되는 구분 동작들을 추출하여 상기 라이선스 컨텐츠를 생성할 수 있다. 구체적으로, 라이선스 컨텐츠 생성부(500)는 특정 모션에 대한 복수의 컨텐츠들 중 이상적인 동작만을 추출하여 라이선스 컨텐츠를 생성할 수 있다.
본 발명의 실시예에 따르면, 컨텐츠를 사용자에게 제공하는 목적으로 제공자가 업로드한 동영상에 기초하여 3D 아바타가 제공자의 모션을 모사하는 가상 컨텐츠를 생성할 수 있다. 가상 컨텐츠를 사용자에게 제공함으로써, 제공자가 얼굴을 공개하는 동영상을 사용자에게 제공할 필요가 없어 컨텐츠 제공자의 개인신상이 보호될 수 있다. 또한, 3D 아바타를 통한 컨텐츠 제공으로, 다양한 수요자의 흥미를 유발시킬 수 있다.
본 발명의 실시예에 따르면, 제공자가 동영상을 업로드하면서 별도의 카테고리 구분을 하지 않더라도 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 제공자의 모션의 종류를 판단하고 모션의 종류에 맞는 아바타 및 배경을 설정함으로써, 제공자의 별도의 수고를 들이지 않고도 3D 아바타에 의해 구현되는 가상 컨텐츠가 제작될 수 있다.
도 2는 본 발명의 실시예에 따른 3D 아바타를 생성하는 과정을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 컨텐츠를 제공하고자 하는 제공자는 촬영 장치(10)를 이용하여 동영상을 촬영하고, 촬영된 동영상을 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)에 의해 구현되는 플랫폼, 웹사이트 및 서버 등에 업로드할 수 있다. 예를 들어, 촬영 장치(10)는 스마트폰 및 카메라를 포함할 수 있다.
모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 제공자가 업로드한 동영상을 분석할 수 있다. 모션캡처 엔진(100)은 제공자의 모션을 분석할 수 있다. 구체적으로, 객체 탐지 모듈(110)은 제공자가 입력한 동영상에서 사람의 모션 만을 추출하게 되고, 스켈레톤 데이터 생성부(130)는 사람의 모션에 기초하여 3D 스켈레톤 데이터(20)를 생성할 수 있다. 예를 들어, 제공자의 모션은 웨이트 트레이닝 중 스쿼트 동작일 수 있다. 3D 스켈레톤 데이터(20)는 스쿼트 동작을 수행하는 제공자의 모션을 모사할 수 있다.
제1 모션 분류부(210)는 제공자의 동영상에 기초하여 제공자의 모션 이외에 도구나 동물이 동영상 내에 표현되지 않는다는 것을 판단할 수 있다. 제2 모션 분류부(230)는 3D 스켈레톤 데이터(20)에 기초하여 제공자의 모션의 종류를 분류할 수 있다. 예를 들어, 제2 모션 분류부(230)는 3D 스켈레톤 데이터(20)에 기초하여 제공자의 모션이 스쿼트 동작이라는 것을 분류할 수 있다.
아바타 생성부(330)는 3D 스켈레톤 데이터(20)에 아바타를 투영시켜 3D 아바타(30)를 생성할 수 있다. 아바타 생성부(330)는 제2 모션 분류부(230)의 분류에 대응되는 대표 아바타를 3D 스켈레톤 데이터(20)에 투영시켜 3D 아바타(30)를 생성할 수 있다. 배경 생성부(330)는 제2 모션 분류부(230)의 분류에 대응되는 배경을 3D 아바타(30)에 결합시킬 수 있다. 3D 아바타(30)에 배경이 결합되면 가상 컨텐츠의 생성이 완료될 수 있다. 가상 컨텐츠는 모션 분류부(200)에 의해 분류된 카테고리에 기초하여 저장부(400)에 저장될 수 있다.
도 3은 본 발명의 실시예에 따른 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템에 의한 사용자에게 가상 컨텐츠를 추전하는 과정을 설명하기 위한 블록도이다. 설명의 간략을 위해 중복되는 내용의 기재는 생략한다.
도 3을 참조하면, 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 사용자가 업로드 또는 입력한 동영상을 분석하여 사용자의 모션의 종류를 구분하고, 사용자에게 맞는 가상 컨텐츠를 제공할 수 있다. 사용자는 수행하는 모션이 정확하게 수행되었는지 피드백을 받고자 하는 대상 또는 수행하는 모션에 대한 강의에 대한 컨텐츠를 제공받고자 하는 대상을 의미할 수 있다. 사용자의 모션은 춤, 스포츠 및 운동과 관련된 모션을 의미할 수 있다. 사용자의 동영상은 촬영 장치에 의해 실시간으로 컨텐츠 제공 시스템(1)에 의해 구현되는 플랫폼, 웹사이트 및 서버 등에 전송될 수 있다. 모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템(1)은 모션캡처 엔진(100), 모션 분류부(200) 및 추천부(600)를 포함할 수 있다.
모션캡처 엔진(100)은 사용자가 입력하는 동영상에 기초하여 2D 스켈레톤 데이터 또는 3D 스켈레톤 데이터를 생성할 수 있다. 모션캡처 엔진(100)은 객체 탐지 모듈(110) 및 스켈레톤 데이터 생성부(130)를 포함할 수 있다. 객체 탐지 모듈(110)은 사용자가 입력한 동영상에서 사람의 모션 만을 추출할 수 있다. 스켈레톤 데이터 생성부(130)는 객체 탐지 모듈(110)에 의해 추출된 사용자의 모션에 기초하여 3D 스켈레톤 데이터를 생성할 수 있다.
모션 분류부(200)는 사용자의 모션에 대한 동영상 및 스켈레톤 데이터에 기초하여 사용자의 모션의 종류를 분류할 수 있다. 제1 모션 분류부(210)는 동영상에 사람의 모션 외에 동물 또는 사람이 다루는 도구에 대한 모션이 존재하는지에 대한 1차 분류를 수행할 수 있다. 제2 모션 분류부(230)는 제1 모션 분류부(210)에 의해 분류된 동영상의 1차 분류 결과에 기초하여 사용자의 모션의 종류를 세분화하는 2차 분류를 진행할 수 있다.
모션캡처 엔진(100)과 모션 분류부(200)는 사용자의 동영상 및 제공자의 동영상 모두를 처리하고 분석할 수 있다. 모션캡처 엔진(100)과 모션 분류부(200)에 의해 사용자의 동영상은 사용자의 모션을 모사하는 3D 스켈레톤 데이터로 변환될 수 있고, 3D 스켈레톤 데이터가 모사하는 모션의 종류가 구분될 수 있다.
추천부(600)는 사용자의 모션에 대한 동영상과 매칭되는 가상 컨텐츠를 선별하여 사용자에게 제공할 수 있다. 추천부(600)는 사용자의 모션의 종류를 분류한 결과에 기초하여 사용자에 맞는 가상 컨텐츠를 사용자에게 제공할 수 있고, 가상 컨텐츠와 사용자의 모션을 비교한 결과를 피드백할 수 있다.
추천부(600)는 컨텐츠 매칭부(610), 모션 비교부(630) 및 유료 컨텐츠 제공부(650)를 포함할 수 있다. 추천부(600)는 딥러닝 모델에 의해 구현되는 구성일 수 있다. 예를 들어, 딥러닝 모델은 순환 신경망(Recurrent Neural Network: RNN), 컨볼루션 신경망(Convolution Neural Network: CNN) 및 심층 신경망(Deep Neural Network: DNN) 등에 기반하여 구현될 수 있다.
컨텐츠 매칭부(610)는 사용자의 모션의 종류와 매칭되는 제공자의 가상 컨텐츠를 선별하여 사용자에게 제공할 수 있다. 예를 들어, 모션 분류부(200)에 의해 사용자의 모션의 종류가 스쿼트로 분류된 경우, 컨텐츠 매칭부(610)는 저장부(400)에 저장된 복수의 가상 컨텐츠들 중 스쿼트에 대한 가상 컨텐츠를 사용자에게 제공할 수 있다. 이 때, 컨텐츠 매칭부(610)는 사용자가 입력한 동영상의 촬영 방향을 고려하여 제공자의 가상 컨텐츠를 매칭할 수 있다. 예를 들어, 사용자가 동영상을 촬영한 방향이 정면인 경우, 컨텐츠 매칭부(610)는 가상 컨텐츠들 중 사용자의 모션의 종류와 매칭되고 가상 컨텐츠 내의 3D 아바타가 해당 모션을 모사하는 방향이 정면인 가상 컨텐츠를 사용자에게 제공할 수 있다. 3D 아바타는 3D 공간 내에서 회전 가능한바, 사용자는 3D 아바타가 모사하는 특정 모션을 다양한 방향에서 볼 수 있다. 다만, 3D 아바타가 모사하는 모션의 신뢰성 측면에서, 제공자가 특정 모션을 수행한 방향에 기초하여 3D 아바타가 특정 모션을 모사하는 것이 모션을 모사하는 정확도가 높을 수 있다. 따라서, 컨텐츠 매칭부(610)는 사용자의 동영상의 촬영 방향을 고려하여 가상 컨텐츠를 매칭시키되, 사용자의 동영상 촬영 방향은 모션 분류부(200) 중 제2 모션 분류부(230)에 의해 판단될 수 있다. 즉, 사용자의 동영상의 촬영 방향은 제2 모션 분류부(230)가 사용자의 모션에 대한 3D 스켈레톤 데이터를 분석하는 과정에서 판단될 수 있다.
모션 비교부(630)는 컨텐츠 매칭부(610)에 의해 선별된 제공자의 가상 컨텐츠와 사용자의 모션을 비교할 수 있다. 모션 비교부(630)는 가상 컨텐츠와 사용자의 모션을 비교함에 있어, 사용자의 모션의 3D 스켈레톤 데이터를 이용할 수 있다. 즉, 모션 비교부(630)는 사용자의 모션의 3D 스켈레톤 데이터와 가상 컨텐츠의 3D 아바타의 움직임을 비교하거나, 사용자의 모션의 3D 스켈레톤 데이터와 가상 컨텐츠의 3D 아바타에 포함되어 있는 3D 스켈레톤 데이터의 움직임을 비교할 수 있다. 가상 컨텐츠와 사용자의 모션을 비교하는 것은 별도의 디스플레이(700)를 통해 표현될 수 있다.
모션 비교부(630)는 사용자의 모션에서 제공자의 가상 컨텐츠와 일치하지 않는 부분을 탐지하여 사용자에게 알릴 수 있다. 일 예로, 모션 비교부(630)는 가상 컨텐츠의 3D 아바타의 모션과 일치하지 않는 사용자의 모션에 대해 디스플레이(700) 상에 표시하거나 사용자에게 알림을 출력할 수 있다. 또한, 모션 비교부(730)는 학습된 모션 데이터에 기초하여 사용자의 신체적 특징(예: 골반 틀어짐, 좌우 비대칭 등)에서 기인하는 모션의 불일치에 대해 피드백할 수 있다. 사용자의 신체적 특징은 모션 분류부(200)에 의해 사전에 파악될 수 있다.
모션 비교부(630)는 사용자가 입력한 동영상의 촬영 방향과 매칭되도록 가상 컨텐츠 내의 3D 아바타의 모션 수행 방향을 조절할 수 있다. 사용자의 모션과 3D 아바타의 모션을 직접적으로 비교하기 위해서는, 특정 모션을 수행하는 방향이 일치하는 것이 요구된다. 따라서, 모션 비교부(630)는 가상 컨텐츠 내의 3D 아바타의 모션 수행 방향을 사용자의 모션 수행 방향과 일치하도록 3D 아바타를 회전시킨 상태로 가상 컨텐츠를 사용자에게 제공할 수 있다. 다만, 사용자는 디스플레이(700)를 통해 표현되는 가상 컨텐츠 내의 3D 아바타가 모션을 수행하는 방향을 직접 조절할 수도 있다.
모션 비교부(630)는 사용자의 모션 수행 방향이 변경되는 경우, 사용자의 모션 수행 방향에 맞도록 3D 아바타의 모션 수행 방향을 조절할 수 있다. 사용자가 업로드한 동영상에는 사용자가 다양한 방향을 기준으로 특정 모션을 수행하는 것이 포함될 수 있고, 사용자의 실시간 모션 수행 과정이 컨텐츠 제공 시스템(1)에 의해 구현되는 플랫폼, 웹사이트 및 서버 등에 전송될 수 있다. 모션 비교부(630)는 사용자가 모션을 수행하는 방향에 따라 3D 아바타의 모션 수행 방향을 회전시킴으로, 사용자는 본인의 모션과 3D 아바타의 모션을 한눈에 비교할 수 있다.
유료 컨텐츠 제공부(650)는 라이선스 컨텐츠를 사용자에게 제공할 수 있다. 라이선스 컨텐츠는 컨텐츠 매칭부(610)에 의해 사용자에게 제공되는 가상 컨텐츠가 아닌, 사용자의 요청에 의해 사용자에게 제공되는 가상 컨텐츠일 수 있다. 유로 컨텐츠 제공부(650)는 사용자의 요청이 있는 경우에 라이선스 컨텐츠를 사용자에게 제공할 수 있다. 이 때, 필요에 따라, 라이선스 컨텐츠는 유료로 사용자에게 제공될 수 있다.
본 발명의 실시예에 따르면, 사용자의 모션에 대응되는 가상 컨텐츠를 자동으로 사용자에게 추천됨에 따라, 사용자는 별도의 조작 없이도 특정 모션에 대한 강의를 포함하는 가상 컨텐츠를 제공받을 수 있다.
도 4는 본 발명의 실시예에 따른 라이선스 컨텐츠를 생성하는 방법을 설명하기 위한 도면이다.
도 1 및 도 4를 참조하면, 라이선스 컨텐츠 생성부(500)는 복수의 제공자들의 가상 컨텐츠들을 조합하여 특정 모션에 대한 기준이 되는 라이선스 컨텐츠를 생성할 수 있다. 가상 컨텐츠는 3D 아바타가 복수의 구분 동작들을 포함하는 특정 모션을 수행하는 컨텐츠를 의미할 수 있다. 대부분의 모션은 복수의 구분 동작들로 구분될 수 있고, 제공자들 마다 특정 모션을 수행함에 있어 구분 동작들은 상이할 수 있다. 또한, 어떤 제공자는 특정 모션에서 특정 구분 동작을 수행하는데 약점이 있을 수 있으나, 다른 구분 동작을 수행하는데 강점이 있을 수 있다. 따라서, 라이선스 컨텐츠 생성부(500)는 복수의 가상 컨텐츠들 각각의 구분 동작들을 비교하는 것을 통해 기준이 되는 구분 동작들을 추출하여 라이선스 컨텐츠를 생성함으로써 특정 모션을 수행하는데 있어 이상적인 구분 동작들을 포함하는 가상 컨텐츠를 생성할 수 있다. 기준이 되는 구분 동작들은 특정 구분 동작에서 복수의 가상 컨텐츠들이 서로 일치된 동작을 나타내는지 여부에 기초하여 선별될 수 있다. 예를 들어, 복수의 가상 컨텐츠들에서 복수의 구분 동작들 각각이 서로 일치하는지를 판단하고, 일치하는 비중이 높은 구분 동작들 만을 추출하여 라이선스 컨텐츠가 생성될 수 있다. 따라서, 라이선스 컨텐츠를 구성하는 구분 동작들은 서로 다른 가상 컨텐츠들에서 추출될 수 있다.
일 예로, 스쿼트라는 동일 모션을 수행하는 제1 가상 컨텐츠, 제2 가상 컨텐츠 및 제3 가상 컨텐츠가 제공되고, 각각의 가상 컨텐츠는 구분 동작 1 및 구분 동작 2로 구분된다. 이 때, 라이선스 컨텐츠 생성부(500)는 구분 동작 1에서 제2 가상 컨텐츠와 제3 가상 컨텐츠는 동작이 일치되나 제1 가상 컨텐츠가 수행하는 모션은 제2 가상 컨텐츠와 제3 가상 컨텐츠가 수행하는 모션과 상이하다는 것을 판단할 수 있다. 라이선스 컨텐츠 생성부(500)는 제2 가상 컨텐츠와 제3 가상 컨텐츠가 수행하는 구분 동작 1을 기준 구분 동작으로 선정할 수 있다. 또한, 라이선스 컨텐츠 생성부(500)는 구분 동작 2에서 제1 가상 컨텐츠와 제2 가상 컨텐츠는 동작이 일치되나 제3 가상 컨텐츠가 수행하는 모션은 제1 가상 컨텐츠와 제2 가상 컨텐츠가 수행하는 모션과 상이하다는 것을 판단할 수 있다. 라이선스 컨텐츠 생성부(500)는 제1 가상 컨텐츠와 제2 가상 컨텐츠가 수행하는 구분 동작 2를 기준 구분 동작으로 선정할 수 있다. 최종적으로, 라이선스 컨텐츠 생성부(500)는 제2 가상 컨텐츠와 제3 가상 컨텐츠가 수행하는 구분 동작 1과 제1 가상 컨텐츠와 제2 가상 컨텐츠가 수행하는 구분 동작 2를 추출하여 라이선스 컨텐츠를 생성할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 기록할 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU (arithmetic logic unit), 디지털 신호 프로세서 (digital signal processor), 마이크로컴퓨터, FPGA (field programmable gate array), PLU (programmable logic unit), 마이크로프로세서, 또는 명령 (instruction) 을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제 (operating system: OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
이상, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (17)

  1. 사용자 또는 제공자의 모션에 대한 동영상을 이용하여 스켈레톤 데이터를 생성하는 모션캡처 엔진;
    사용자 또는 제공자의 모션에 대한 동영상 및 상기 스켈레톤 데이터에 기초하여 제공자의 모션의 종류를 분류하는 모션 분류부;
    제공자의 모션의 종류에 대응되는 아바타 및 가상 배경을 선정하고, 상기 스켈레톤 데이터에 아바타 및 가상 배경을 투영하여 가상 컨텐츠를 생성하는 가상 컨텐츠 생성부; 및
    사용자의 모션에 대한 동영상과 매칭되는 제공자의 모션에 대한 동영상에 기초하여 생성된 가상 컨텐츠를 선별하여 사용자에게 제공하는 추천부를 포함하고,
    복수의 제공자들의 가상 컨텐츠들을 조합하여 특정 모션에 대한 기준이 되는 라이선스 컨텐츠를 생성하는 라이선스 컨텐츠 생성부를 더 포함하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  2. 제1 항에 있어서,
    상기 모션캡처 엔진은,
    입력되는 동영상에서 사람의 모션 만을 추출하는 객체 탐지 모듈; 및
    상기 객체 탐지 모듈에 의해 추출된 사람의 모션에 기초하여 2D 스켈레톤 데이터 또는 3D 스켈레톤 데이터를 생성하는 스켈레톤 데이터 생성부를 포함하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  3. 제1 항에 있어서,
    상기 모션 분류부는,
    동영상에 사람의 모션 외에 동물 또는 사람이 다루는 도구에 대한 모션이 존재하는지 분류하는 제1 모션 분류부; 및
    상기 제1 모션 분류부에 의해 분류된 동영상의 1차 분류 결과에 기초하여 사람의 모션의 종류를 세분화하는 2차 분류를 진행하는 제2 모션 분류부를 포함하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  4. 제3 항에 있어서,
    상기 제1 모션 분류부는 상기 모션캡처 엔진에 입력되는 동영상을 분석하고,
    상기 제2 모션 분류부는 상기 모션캡처 엔진에 의해 생성된 사람의 모션에 대한 동영상과 대응되는 상기 스켈레톤 데이터를 분석하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  5. 제3 항에 있어서,
    상기 제2 모션 분류부는 동영상이 서로 다른 종류의 모션들을 표현하는 경우 모션의 종류에 따라 동영상을 분할하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  6. 제1 항에 있어서,
    상기 가상 컨텐츠 생성부는,
    복수의 아바타들에 대한 정보를 저장하는 아바타 저장부;
    상기 아바타 저장부에 저장된 복수의 아바타들 중 제공자의 모션의 종류에 대응되는 아바타를 상기 모션캡처 엔진에서 생성한 상기 스켈레톤 데이터에 투영하여 3D 아바타를 생성하는 아바타 생성부; 및
    제공자의 모션의 종류에 대응되는 배경을 생성하여 상기 아바타 생성부에 의해 생성된 상기 3D 아바타와 결합하는 배경 생성부를 포함하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  7. 제6 항에 있어서,
    상기 아바타 생성부는 제공자가 아바타의 종류를 선택 가능하도록 상기 스켈레톤 데이터에 투영한 아바타 이외의 아바타를 표시하고,
    상기 배경 생성부는 제공자가 배경의 종류를 선택 가능하도록 상기 3D 아바타에 결합된 배경 이외의 배경을 표시하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  8. 제6 항에 있어서,
    상기 배경 생성부는:
    제공자의 모션의 종류가 동물 또는 도구를 이용하는 것으로 판단되는 경우, 제공자의 모션의 종류에 대응되는 가상 동물 또는 가상 도구를 생성하여 상기 3D 아바타와 결합하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  9. 제8 항에 있어서,
    상기 가상 컨텐츠 생성부에 의해 생성된 가상 컨텐츠는 모션의 종류에 따라 구분되어 저장부에 저장되는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  10. 제1 항에 있어서,
    상기 추천부는 사용자의 모션의 종류와 매칭되는 제공자의 가상 컨텐츠를 선별하여 사용자에게 제공하는 컨텐츠 매칭부를 포함하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  11. 제10 항에 있어서,
    상기 컨텐츠 매칭부는 사용자가 입력한 동영상의 촬영 방향을 고려하여 제공자의 가상 컨텐츠를 매칭하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  12. 제10 항에 있어서,
    상기 추천부는 상기 컨텐츠 매칭부에 의해 선별된 제공자의 가상 컨텐츠와 사용자의 모션을 비교하는 모션 비교부를 포함하고,
    상기 모션 비교부는 사용자의 모션에서 제공자의 가상 컨텐츠와 일치하지 않는 부분을 탐지하여 사용자에게 알리는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  13. 제12 항에 있어서,
    상기 모션 비교부는 사용자가 입력한 동영상의 촬영 방향과 매칭되도록 가상 컨텐츠 내의 3D 아바타의 모션 수행 방향을 조절하고,
    상기 모션 비교부는 사용자의 모션과 가상 컨텐츠 내의 3D 아바타의 모션을 비교하여 사용자에게 표시하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  14. 삭제
  15. 제1 항에 있어서,
    가상 컨텐츠는 3D 아바타가 복수의 구분 동작들을 포함하는 특정 모션을 수행하는 컨텐츠이고,
    상기 라이선스 컨텐츠 생성부는 복수의 가상 컨텐츠들 각각의 구분 동작들을 비교하는 것을 통해 기준이 되는 구분 동작들을 추출하여 상기 라이선스 컨텐츠를 생성하는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  16. 제15 항에 있어서,
    상기 기준이 되는 구분 동작들은 특정 구분 동작에서 복수의 가상 컨텐츠들이 서로 일치된 동작을 나타내는지 여부에 기초하여 선별되고,
    상기 라이선스 컨텐츠를 구성하는 구분 동작들은 서로 다른 가상 컨텐츠들에서 추출될 수 있는,
    모션캡쳐 기반의 초실감형 컨텐츠 제공 시스템.
  17. 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서, 상기 인스트럭션들은 프로세서에 의해 실행되고, 상기 프로세서는,
    사용자 또는 제공자의 모션에 대한 동영상을 이용하여 스켈레톤 데이터를 생성하는 동작;
    사용자 또는 제공자의 모션에 대한 동영상 및 상기 스켈레톤 데이터에 기초하여 제공자의 모션의 종류를 분류하는 동작;
    제공자의 모션의 종류에 대응되는 아바타 및 가상 배경을 선정하고, 상기 스켈레톤 데이터에 아바타 및 가상 배경을 투영하여 가상 컨텐츠를 생성하는 동작;
    사용자의 모션에 대한 동영상과 매칭되는 제공자의 모션에 대한 동영상에 기초하여 생성된 가상 컨텐츠를 선별하여 사용자에게 제공하는 동작; 및
    복수의 제공자들의 가상 컨텐츠들을 조합하여 특정 모션에 대한 기준이 되는 라이선스 컨텐츠를 생성하는 동작을 수행하는,
    저장매체.

KR1020220190144A 2022-12-30 2022-12-30 모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템 KR102596248B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220190144A KR102596248B1 (ko) 2022-12-30 2022-12-30 모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220190144A KR102596248B1 (ko) 2022-12-30 2022-12-30 모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템

Publications (1)

Publication Number Publication Date
KR102596248B1 true KR102596248B1 (ko) 2023-11-01

Family

ID=88746255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220190144A KR102596248B1 (ko) 2022-12-30 2022-12-30 모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템

Country Status (1)

Country Link
KR (1) KR102596248B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080073849A (ko) * 2007-02-07 2008-08-12 박재홍 실시간 가상캐릭터 출력을 갖는 헬스기구 및 그 제어방법
KR20140054197A (ko) * 2011-08-08 2014-05-08 게리 앤드 메어리 웨스트 헬스 인스티튜트 환자에 의해 관리되는 물리 재활치료를 증강시키기 위한 비침습적 모션 추적 시스템, 장치, 및 방법
KR102438488B1 (ko) * 2022-03-02 2022-09-01 최성 3d 마커리스 모션 캡처 기반 3d 아바타 생성 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080073849A (ko) * 2007-02-07 2008-08-12 박재홍 실시간 가상캐릭터 출력을 갖는 헬스기구 및 그 제어방법
KR20140054197A (ko) * 2011-08-08 2014-05-08 게리 앤드 메어리 웨스트 헬스 인스티튜트 환자에 의해 관리되는 물리 재활치료를 증강시키기 위한 비침습적 모션 추적 시스템, 장치, 및 방법
KR102438488B1 (ko) * 2022-03-02 2022-09-01 최성 3d 마커리스 모션 캡처 기반 3d 아바타 생성 장치 및 방법

Similar Documents

Publication Publication Date Title
Fothergill et al. Instructing people for training gestural interactive systems
US20210000404A1 (en) Systems and methods for automated recognition of bodily expression of emotion
Xu et al. Security and Usability Challenges of {Moving-Object}{CAPTCHAs}: Decoding Codewords in Motion
US11113988B2 (en) Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
CN105930710B (zh) 活体检测方法和装置
CN115769234A (zh) 基于模板从2d图像生成3d对象网格
Thong Huynh et al. Engagement intensity prediction withfacial behavior features
US11568617B2 (en) Full body virtual reality utilizing computer vision from a single camera and associated systems and methods
Yu et al. Weakly semantic guided action recognition
US11660500B2 (en) System and method for a sports-coaching platform
Tang et al. Research on sports dance movement detection based on pose recognition
Pinheiro et al. Body pose estimation integrated with notational analysis: a new approach to analyze penalty kicks strategy in elite football
KR102596248B1 (ko) 모션캡쳐 기반의 초실감형 컨텐츠 제공 방법 및 그를 위한 시스템
KR102171319B1 (ko) 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법
Fang et al. Technical and tactical command decision algorithm of football matches based on big data and neural network
Xipeng et al. Research on badminton teaching technology based on human pose estimation algorithm
Liebermann et al. Video-based technologies
Gammon et al. Limb-O: real-time comparison and visualization of lower limb motions
KR102670939B1 (ko) 센서 데이터를 활용한 운동 자세 평가 시스템 및 방법
KR102566378B1 (ko) 인공지능을 통한 영상 분석 기반 홈 트레이닝 가이드 제공방법, 장치 및 컴퓨터프로그램
Ronchi Vision for Social Robots: Human Perception and Pose Estimation
Nishanthan et al. The Realtime Yoga Assistance System
Neher Hockey pose estimation and action recognition using convolutional neural networks to ice hockey
Moodley A model for cricket stroke recognition using computer vision methods
Lu AiShifu: AI Karate Pose Trainer Using Human Pose Estimation

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant