KR20210153472A - 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템 - Google Patents

모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템 Download PDF

Info

Publication number
KR20210153472A
KR20210153472A KR1020200070557A KR20200070557A KR20210153472A KR 20210153472 A KR20210153472 A KR 20210153472A KR 1020200070557 A KR1020200070557 A KR 1020200070557A KR 20200070557 A KR20200070557 A KR 20200070557A KR 20210153472 A KR20210153472 A KR 20210153472A
Authority
KR
South Korea
Prior art keywords
data
motion
user
capture data
face
Prior art date
Application number
KR1020200070557A
Other languages
English (en)
Other versions
KR102371072B1 (ko
Inventor
김태원
김진식
Original Assignee
주식회사 이엠피이모션캡쳐
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이엠피이모션캡쳐 filed Critical 주식회사 이엠피이모션캡쳐
Priority to KR1020200070557A priority Critical patent/KR102371072B1/ko
Priority to PCT/KR2020/007728 priority patent/WO2021251534A1/ko
Publication of KR20210153472A publication Critical patent/KR20210153472A/ko
Application granted granted Critical
Publication of KR102371072B1 publication Critical patent/KR102371072B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법이 개시된다. 본 발명의 실시간 방송플랫폼 제공 방법은 사용자의 신체에 장착된 모션감지센서 및 사용자가 촬영된 영상에 각각 기초하여, 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 실시간으로 추출하는 단계, 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 얼굴캡쳐데이터가 적용된 리깅데이터(rigging)에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하는 단계 및, 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 단계를 포함한다.

Description

모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템 { METHOD, APPARARUS AND SYSTEM FOR PROVIDING REAL-TIME BROADCASTING PLATFORM USING MOTION AND FACIAL CAPTURE }
본 발명은 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템에 관한 것으로 더욱 상세하게는, 모션 및 얼굴 캡쳐를 통해 실시간으로 가상의 캐릭터를 제어할 수 있는 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템에 관한 것이다.
최근 1인 미디어가 트렌드로 자리 잡으면서 '나만의 콘텐츠 만들기'가 단순한 취미를 넘어 돈이 되는 시대로 바뀌고 있다. 대표적인 콘텐츠 유통 채널이자 플랫폼인 유튜브를 중심으로 한 1인 방송 동영상 콘텐츠의 인기는 1인 크리에이터의 성장과 함께 기존 미디어 시장과 콘텐츠 산업을 재편하고 있다.
여기에 다양한 1인 미디어 지원 사업이 더해져 신입 크리에이터들도 1인 미디어 시장에 보다 쉽게 진입하고, 양질의 콘텐츠를 제작할 수 있는 환경이 됐다. 또 이렇게 제작된 콘텐츠들은 지리적, 문화적, 언어적 한계를 뛰어넘어 전 세계의 시청자들에게 사랑받고 있다.
이처럼 인터넷 방송 플랫폼을 중심으로 한 1인 미디어의 성장은 콘텐츠를 만들어내는 1인 크리에이터, 콘텐츠를 유통하는 플랫폼, 콘텐츠를 소비하는 시청자, 1인 크리에이터의 기획사 역할을 하는 MCN(Multi Channel Network)의 탄생 등 시장 전반의 변화와 성장을 이끌었다.
크리에이터의 영향력과 인기도는 시청자수와 수익이 기준이 되는 추세임으로, 크리에이터들도 시청자들의 관심을 끌고 유입을 유도하기 위하여 다양한 방법을 사용하고 있다.
그 중 가장 대표적인 것이 카메라를 이용하여 크리에이터를 촬영하고 시청자의 채팅에 따라 크리에이터는 바로 반응하여 시청자의 호응을 유도하는 방법으로, 인터넷 방송플랫폼이라서 가능해진 방식이다.
하지만, 이러한 방식은 얼굴을 공개하는 것을 부담스러워 하는 크리에이터에게는 사용하기 어려운 방식이다.
또한, 모션 캡쳐를 활용하여 인기 있는 만화나 동물 캐릭터를 연기해 시청자의 유입을 유도하고자 하는 크리에이터도 많았지만, 이러한 모션 캡쳐 및 애니메이션 장비는 고가로 방송을 처음 시작하려는 크리에이터에게는 부담이 되는 가격이다.
따라서, 상기와 같은 문제점을 해결하기 위하여 얼굴을 공개하지 않아도 시청자와 소통(리액션)이 가능하며 가격이 저렴한 모션캡쳐 솔루션에 대한 니즈가 점점 커지고 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 실제 사람과 같은 형태와 움직임을 보여주는 가상의 캐릭터를 구현할 수 있는 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템을 제공하는 것을 그 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법은 사용자의 신체에 장착된 모션감지센서 및 상기 사용자가 촬영된 영상에 각각 기초하여, 상기 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 실시간으로 추출하는 단계, 상기 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 상기 얼굴캡쳐데이터가 적용된 리깅데이터(rigging)에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하는 단계 및, 상기 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 단계를 포함한다.
이때, 상기 추출하는 단계는 상기 사용자의 신체에 부착된 자이로(gyro) 센서를 통해 측정된 값에 기초하여, 상기 모션캡쳐데이터를 추출할 수 있다.
또한, 상기 추출하는 단계는 상기 자이로센서를 통해 상기 사용자의 움직임에 대응되는 좌표데이터를 추출하는 단계, 상기 추출된 좌표데이터를 신체동작데이터로 변환하는 단계, 상기 변환된 신체동작데이터를 렌더러 엔진에 의한 시뮬레이션데이터와 비교하여 보정을 수행하는 단계 및, 상기 보정이 수행된 신체동작데이터를 상기 모션캡쳐데이터로 추출하는 단계를 포함할 수 있다.
또한, 상기 추출하는 단계는 상기 사용자가 촬영된 영상 내의 상기 사용자 얼굴에서 기 설정된 객체를 인식하고, 상기 인식된 객체의 형상을 나타내는 마킹데이터를 상기 얼굴캡쳐데이터로 추출할 수 있다.
또한, 상기 추출하는 단계는 상기 기 설정된 객체가 인식되면, 상기 인식된 객체의 중심선 및 윤곽선 중 적어도 어느 하나에 간격을 두고 배치되는 복수의 마커를 생성한 후, 상기 생성된 복수의 마커를 연결하여 상기 인식된 객체의 형상을 나타내는 상기 마킹데이터를 생성할 수 있다.
또한, 상기 추출하는 단계는 사용자 입력에 따라 상기 마킹데이터의 마커 위치를 보정할 수 있다.
또한, 상기 생성하는 단계는 상기 추출된 얼굴캡쳐데이터를 상기 기 설정된 캐릭터의 리깅데이터에 적용하는 단계, 상기 리깅데이터의 상기 얼굴캡쳐데이터와의 오차를 보정하는 단계 및, 상기 오차가 보정된 리깅데이터에 기초하여, 상기 캐릭터의 표정 변화를 애니메이션으로 생성하는 단계를 포함할 수 있다.
또한, 상기 방법은 복수의 캐릭터 중 상기 애니메이션을 생성하기 위한 어느 하나의 캐릭터를 선택하고, 상기 선택된 캐릭터의 외형 및 동작 중 어느 하나를 커스터마이징하기 위한 UI를 상기 방송플랫폼을 통해 제공하는 단계를 더 포함할 수 있다.
또한, 상기 UI는 애드온(add-on) 형태의 UI 스크립트로 제작되는 것일 수 있다.
한편, 본 발명의 일 실시 예에 따른, 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 장치는 사용자의 신체에 장착된 모션감지센서로부터 측정된 측정값 및 상기 사용자가 촬영된 영상을 각각 실시간으로 수신하는 입력부, 상기 모션캡쳐데이터에 대응되는 동작데이터 및 리깅데이터(rigging)를 저장하는 저장부 및, 상기 측정값 및 상기 촬영된 영상으로부터 각각 상기 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 추출하고, 상기 저장된 동작데이터 및 리깅데이터에 기초하여, 상기 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 상기 얼굴캡쳐데이터가 적용된 리깅데이터에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하며, 상기 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 프로세서를 포함한다.
이때, 상기 모션감지센서는 자이로(gyro) 센서일 수 있다.
또한, 상기 프로세서는 상기 자이로센서를 통해 상기 사용자의 움직임에 대응되는 좌표데이터를 추출하고, 추출된 좌표데이터를 신체동작데이터로 변환하며, 상기 변환된 신체동작데이터를 렌더러 엔진에 의한 시뮬레이션데이터와 비교하여 보정을 수행하고, 상기 보정이 수행된 신체동작데이터를 상기 모션캡쳐데이터로 추출할 수 있다.
또한, 상기 프로세서는 상기 사용자가 촬영된 영상 내의 상기 사용자 얼굴에서 기 설정된 객체를 인식하고, 상기 인식된 객체의 형상을 나타내는 마킹데이터를 상기 얼굴캡쳐데이터로 추출할 수 있다.
또한, 상기 프로세서는 상기 기 설정된 객체가 인식되면, 상기 인식된 객체의 중심선 및 윤곽선 중 적어도 어느 하나에 간격을 두고 배치되는 복수의 마커를 생성한 후, 상기 생성된 복수의 마커를 연결하여 상기 인식된 객체의 형상을 나타내는 상기 마킹데이터를 생성할 수 있다.
또한, 상기 장치는 사용자 인터페이스를 더 포함하고, 상기 프로세서는 상기 사용자 인터페이스를 통해 입력된 사용자 입력에 따라 상기 마킹데이터의 마커 위치를 보정할 수 있다.
또한, 상기 프로세서는 상기 추출된 얼굴캡쳐데이터를 상기 기 설정된 캐릭터의 리깅데이터에 적용하고, 상기 리깅데이터의 상기 얼굴캡쳐데이터와의 오차를 보정하며, 상기 오차가 보정된 리깅데이터에 기초하여, 상기 캐릭터의 표정 변화를 애니메이션으로 생성할 수 있다.
또한, 상기 프로세서는 복수의 캐릭터 중 상기 애니메이션을 생성하기 위한 어느 하나의 캐릭터를 선택하고, 상기 선택된 캐릭터의 외형 및 동작 중 어느 하나를 커스터마이징하기 위한 UI를 상기 방송플랫폼을 통해 제공할 수 있다.
또한, 상기 UI는 애드온(add-on) 형태의 UI 스크립트로 제작되는 것일 수 있다.
한편, 본 발명의 일 실시 예에 따른, 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 시스템은 사용자를 촬영하는 카메라, 상기 사용자의 신체에 장착되는 모션감지센서 및, 상기 모션감지센서로부터 측정된 측정값 및 상기 카메라로부터 촬영된 영상을 각각 실시간으로 수신하고, 상기 수신된 측정값 및 상기 촬영된 영상으로부터 각각 상기 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 추출하며, 상기 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 상기 얼굴캡쳐데이터가 적용된 리깅데이터(rigging data)에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하고, 상기 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 전자장치를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 실시간으로 크리에이터의 모션캡쳐를 수행하고, 이와 같은 모션캡쳐 데이터로 미리 만들어진 캐릭터를 제어함으로써, 크리에이터가 원하는 캐릭터 또는 제작한 캐릭터를 이용하여 시청자와 실시간 커뮤니케이션 가능하며 저가의 방송 솔루션으로 사용이 가능하다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법을 간략히 설명하기 위한 흐름도,
도 2는 본 발명의 일 실시 예에 따른 실시간 방송플랫폼 제공을 위한 데이터 가공 방법을 간략히 설명하기 위한 흐름도,
도 3은 본 발명의 일 실시 예에 따른 얼굴캡쳐데이터 및 캐릭터의 애니메이션 데이터를 생성하기 위한 흐름도,
도 4 및 5는 본 발명의 일 실시 예에 따른 얼굴캡쳐데이터를 추출하는 과정을 설명하기 위한 화면,
도 6은 본 발명의 일 실시 예에 따른 얼굴캡쳐데이터를 리깅데이터에 적용하여 애니메이션 데이터를 생성하는 방법을 설명하기 위한 흐름도,
도 7은 본 발명의 일 실시 예에 따른 뉴런 센서에 의한 모션캡쳐데이터를 추출하는 과정을 설명하기 위한 흐름도,
도 8은 본 발명의 일 실시 예에 따른 뉴런 센서가 착용되는 신체범위의 다양한 예를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 뉴런 센서에 의한 모션캡쳐데이터를 생성하는 모습을 나타낸 도면,
도 10은 본 발명의 일 실시 예에 따른 뉴런 센서에 의한 모션캡쳐데이터를 보정하는 과정을 설명하기 위한 흐름도,
도 11은 본 발명의 일 실시 예에 따른 모션캡쳐데이터 추출 최적화 알고리즘을 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른 자이로센서에 의한 모션캡쳐 결과화면을 도시한 도면,
도 13은 본 발명의 일 실시 예에 따른 광학센서에 의한 모션캡쳐데이터를 추출하는 방법을 설명하기 위한 흐름도,
도 14 및 15는 본 발명의 일 실시 예에 따른 광학센서에 의한 모션캡쳐데이터를 생성하는 모습을 나타낸 도면,
도 16 및 17은 본 발명의 일 실시 예에 따른 캐릭터 커스터마이징 UI 및 방송 송출 UI를 나타낸 도면,
도 18은 본 발명의 일 실시 예에 따른 리얼타임 3D 엔진이 방송플랫폼과 실시간으로 연동된 화면을 도시한 도면,
도 19는 본 발명의 일 실시 예에 따른 장치의 구성을 간략히 도시한 블록도,
도 20은 본 발명의 일 실시 예에 따른 시스템의 구성을 간략히 도시한 블록도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법을 간략히 설명하기 위한 흐름도이다.
먼저, 사용자의 신체에 장착된 모션감지센서 및 사용자가 촬영된 영상에 각각 기초하여, 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 실시간으로 추출할 수 있다(S110).
구체적으로, 모션캡쳐데이터는 사용자의 신체에 장착된 모션감지센서를 통해 측정된 값에 기초하여 추출된다. 이때, 모션감지센서는 자이로(gyro) 센서로 구현될 수 있다.
자이로센서는 3축 자이로스코프(gyroscope), 3축 액셀로미터(accelerometer), 3축 마그네토미터(magnetometer)를 포함하는 IMU(Inertial Mesurment Unit)로 구현될 수 있으며, 스트랩에 의해 사용자의 신체에 부착되고 조여질 수 있다. IMU는 뉴런 센서로 통칭되기도 한다.
허브(hub)는 자이로센서로부터 실시간으로 측정되는 값을 수신한 후, 이 데이터를 와이파이(Wi-Fi) 또는 USB 등의 유무선 통신을 통해 방송 플랫폼을 제공하는 장치에 전송할 수 있다.
사용자의 신체에 장착된 자이로센서를 통해, 사용자의 움직임에 대응되는 좌표데이터를 추출하고, 추출된 좌표데이터를 신체동작데이터로 변환할 수 있다. 이때, 변환된 신체동작데이터를 렌더러 엔진에 의한 시뮬레이션데이터와 비교하여 보정이 수행될 수 있으며, 보정이 수행된 신체동작데이터가 모션캡쳐데이터로 추출될 수 있다.
한편, 사용자가 촬영된 영상 내의 사용자 얼굴에서 기 설정된 객체를 인식하고, 인식된 객체의 형상을 나타내는 마킹데이터를 얼굴캡쳐데이터로 추출할 수 있다. 여기서, 마킹데이터는 인식된 객체의 중심선 및 윤곽선 중 적어도 어느 하나에 간격을 두고 배치되는 복수의 마커를 연결하여, 인식된 객체의 형상을 나타내는 데이터일 수 있다.
이때, 사용자 입력에 따라 마킹데이터의 마커 위치를 보정할 수 있다.
이후, 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 얼굴캡쳐데이터가 적용된 리깅데이터에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성한다(S120).
이때, 추출된 얼굴캡쳐데이터를 기 설정된 캐릭터의 리깅데이터(rigging)에 적용하고, 리깅데이터의 얼굴캡쳐데이터와의 오차를 보정할 수 있다. 이때, 오차가 보정된 리깅데이터에 기초하여, 캐릭터의 표정 변화를 애니메이션으로 생성할 수 있다.
이후, 생성된 애니메이션을 실시간으로 송출하기 위한 방송 플랫폼을 제공한다(S130). 이때, 복수의 캐릭터 중 애니메이션을 생성하기 위한 어느 하나르ㅣ 캐릭터를 선택하고, 선택된 캐릭터의 외형 및 동작 중 어느 하나를 커스터마이징하기 위한 UI를 방송플랫폼을 통해 제공할 수 있다.
이하, 구체적인 각 단계의 실시 예에 있어서는 도면과 함께 후술하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 실시간 방송플랫폼 제공을 위한 데이터 가공 방법을 간략히 설명하기 위한 흐름도이다.
콘텐츠가 기획되면(S210), 3D 캐릭터 모델링을 기반으로, 리얼타임 렌더러 엔진을 통해, 실사에 가까운 모델링된 데이터를 구현할 수 있다(S220). 이때, 리얼타임 렌더러 엔진은 예를 들어, 언리얼(unreal) 엔진으로 구현될 수 있다.
이후, 캐릭터 리깅(character rigging)을 통해, 사람의 움직임에 대한 범위를 지정해주고(S230), 모션/얼굴 캡쳐를 통해 모션캡쳐데이터 및 얼굴캡쳐데이터를 추출한다(S240). 이때, 모션캡쳐데이터는 자이로 타입의 모션캡쳐를 통해 실제 사람의 움직임을 데이터화하여 추출할 수 있으며, 얼굴캡쳐데이터는 마커없이도 촬영된 영상을 통해 얼굴 각 부위의 움직임을 캡쳐하여 추출할 수 있다.
이후, 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 얼굴캡쳐데이터가 적용된 리깅데이터에 대응되는 얼굴표정을 나타내는 3D 애니메이션을 생성할 수 있고(S250), 이를 기 설정된 캐릭터에 적용하여 생동감 있는 애니메이션 캐릭터(S260)를 구현할 수 있다.
한편, S210 내지 S260 단계와 동시에 또는 별도로, S210 내지 S260 단계에서 구현된 캐릭터를 커스터마이징할 수 있는 UI 스크립트를 실시간 영상 송출 플랫폼(실시간 방송 플랫폼)에 제공하기 위한 소프트웨어를 기획하고(S270), 기획된 소프트웨어에서 제공되는, 캐릭터의 선택, 커스터마이징 및 효과 등을 지정할 수 있는 UI를 디자인할 수 있다(S280). 디자인된 UI를 구현하기 위한 프로그래밍이 수행되면(S290), S260 단계에서 구현된 캐릭터의 애니메이션데이터 및 S290 단계에서 구현된 프로그래밍 데이터를 실시간 영상 송출 플랫폼(10)에 전송할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 얼굴캡쳐데이터 및 캐릭터의 애니메이션 데이터를 생성하기 위한 흐름도이다.
도 3에 도시된 마커리스 알고리즘에 따르면, 커스터마이징된 캐릭터의 표정 연기를 위한 얼굴캡쳐데이터를 생성하는데에 있어서, 마커를 얼굴에 직접 찍고 이를 인식하도록 했었던 기존 얼굴캡쳐방식과 달리, 마커 없이도 얼굴캡쳐데이터를 추출하고, 이에 기초하여 리깅데이터의 움직임을 나타내는 애니메이션데이터를 생성할 수 있다.
먼저, 카메라를 통해 얼굴 데이터를 촬영하고(S310), 마커리스 알고리즘에 따라 얼굴부위별 위치를 설정한다(S320).
이후, 얼굴부위별 위치 데이터를 추적 및 분석하고(S330), 움직임이 입혀질 리깅데이터를 로딩한다(S340).
추적된 위치 데이터를 리깅데이터에 추가하고(S350), 얼굴 부위별 각 위치의 오차 및 노이즈로 인한 오류를 보정한다(S360). 이때, 실제 얼굴 부위별 각 위치의 값과 보정된 값의 차이가 기 설정된 임계값 이상인지 여부를 판단하고(S370), 임계값 이상인 경우, 출력이 비정상이라고 판단하고(S370:N) S360 단계를 재수행한다. 임계값 미만인 경우 출력이 정상이라고 판단하고(S370:Y), 데이터 최적화 과정을 수행하여(S380), 최종적으로 최적화된 애니메이션데이터를 생성할 수 있다(S390).
도 4 및 5는 본 발명의 일 실시 예에 따른 얼굴캡쳐데이터를 추출하는 과정을 설명하기 위한 화면이다.
도 4에 도시된 바와 같이, 사용자의 촬영 영상에서 얼굴 표정을 나타내는데 주요한 포인트가 되는 눈, 코 및 입 등의 객체를 자동으로 인식할 수 있다. 이때, 인식된 각 객체의 중심선 또는 윤곽선 상에 간격을 두어 마커를 생성한 후, 생성된 마커를 연결하여 각 객체의 형상을 나타내는 마킹데이터(41)를 생성할 수 있다.
이때, 도 5에 도시된 바와 같이, 자동으로 인식된 각 객체의 마커는 실제 부위의 중심선 또는 윤곽선과 오차가 발생할 수도 있으므로, 사용자 입력에 따라 사용자가 직접 마커의 위치를 미세 조절하는 것이 가능하다.
도 6은 본 발명의 일 실시 예에 따른 얼굴캡쳐데이터를 리깅데이터에 적용하여 애니메이션 데이터를 생성하는 방법을 설명하기 위한 흐름도이다.
도 6에 도시된 바와 같이, 마커의 세부 조절이 끝나면 커스터마이징된 캐릭터의 표정 연기를 하는데에 기준이 되는 마커(61-1, 61-2, 61-3)들을 선택하고, 추적된 마커 데이터를 캐릭터 리깅데이터에 적용할 수 있다. 이에 따라, 리깅데이터에서 선택된 마커(61-1, 61-2, 61-3)에 대응되는 포인트(62-1, 62-2, 62-3)가 마커(61-1, 61-2, 61-3)의 움직임과 동기화될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 자이로센서에 의한 모션캡쳐데이터를 추출하는 과정을 설명하기 위한 흐름도이다.
도 7의 모션캡쳐 알고리즘에 따르면, 기존에 가장 널리 사용된 방식인, 신체에 마커를 장착하고 이를 촬영하여 모션을 캡쳐하였던 방식 대신에, 마커 없이도 자이로센서를 활용하여 모션을 캡쳐할 수 있다.
먼저, 자이로스코프 및 허브를 셋업하고(S710), 감지된 모션캡쳐데이터에 대한 캘리브레이션을 수행할 수 있다(S720). 이때, 모션캡쳐데이터의 출력이 정상 범위 내인지 여부를 판단하고(S730), 정상 범위 내인 경우(S730:Y), 출력된 모션캡쳐데이터의 좌표값을 저장한다(S740). 정상 범위 내가 아닌 경우(S730:N)에는 캘리브레이션을 재수행할 수 있다. 모션캡쳐데이터의 출력이 정상 범위 내인지 여부는 출력값과 기 설정된 임계값을 비교하여, 그 값의 차이가 기 설정된 값 이상인지 여부에 따라 판단할 수 있다.
이후, 저장된 데이터의 좌표값을 신체동작데이터로 변환하고(S750), 변환된 신체동작데이터의 실제동작과의 오차 및 노이즈에 의한 오류를 보정한다(S760). 보정된 신체동작데이터의 출력이 정상 범위 내인지 여부를 판단하고(S770), 정상 범위 내인 경우(S770:Y), 데이터 최적화를 수행하여(S780), 최종 신체동작데이터를 출력한다(S790).
보정된 신체동작데이터의 출력이 정상 범위 내가 아닌 경우에는(S770:N) S760 단계의 보정을 재수행할 수 있다.
신체동작데이터의 출력이 정상 범위 내인지 여부는 출력값과 기 설정된 임계값을 비교하여, 그 값의 차이가 기 설정된 값 이상인지 여부에 따라 판단할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 뉴런 센서가 착용되는 신체범위의 다양한 예를 도시한 도면이다.
뉴런 센서는 3축 자이로스코프, 3축 가속도계, 3축 자력계가 내장된 IMU(관성 측정 장치)를 통해 움직임을 실시간으로 체크하게 되며, 데이터는 Embedded data fusion, Human body dynamic 및 Physical engine 알고리즘에 입각하여 계산된 후, 60fs의 속도로 9개의 축 센서 유닛이 사용자(액터)의 몸에 함께 장착되는 허브에 전달된다. 허브에 전달된 데이터는 와이파이(Wi-Fi) 또는 USB 케이블을 통해 모션캡쳐데이터를 출력하는 전자장치(100)에 최종적으로 전달될 수 있다.
신체에 장착되는 센서의 개수는 세부적인 움직임을 포착하는 범위에 따라 (a) 내지 (d)와 같이 설정될 수 있다.
(a)와 같은 11 뉴런의 경우, 손, 발을 제외한 팔, 다리, 몸통에만 부착되어 모션캡쳐데이터를 추적할 수 있다.
(b)와 같은 18 뉴런의 경우, (a)의 실시 예에서 어깨, 손, 발에 추가적으로 부착되어 모션캡쳐데이터를 추적할 수 있다.
(c)와 같은 21 뉴런의 경우, (b)의 실시 예에서 왼손 손가락에 추가적으로 부착되어 모션캡쳐데이터를 추적할 수 있다.
(d)와 같은 32 뉴런의 경우, (c)의 실시 예에서 오른손 손가락에 추가적으로 부착되어 모션캡쳐데이터를 추적할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 자이로센서에 의한 모션캡쳐데이터를 생성하는 모습을 나타낸 도면이다.
사용자가 뉴런을 착용하였을 때, 도 9의 (a)에 도시된 바와 같은 모델링이 수행될 수 있다. 이때, 뉴런을 착용한 사용자의 신체사이즈를 선택하여 적용할 수 있으며, 캘리브레이션 및 자세교정이 수행될 수 있다.
이때, 뉴런 센서를 이용한 모션캡쳐 방식은 기존 마커를 위용한 모션 캡쳐 방식에 비해 오차가 발생할 여지가 크므로, 이를 캘리브레이션하기 위한 알고리즘을
캘리브레이션은 외부 잡음으로부터 데이터의 혼선을 방지하고 사용자의 움직임을 정확하게 추출하기 위해 진행될 수 있다. 움직임이 큰 동작의 경우, 캘리브레이션이 정확하지 않은 경우가 생기므로, 이 경우에는 캘리브레이션의 재작업을 통해 모션캡쳐의 정확도를 유지할 수 있다.
도 9의 (b)에 도시된 바와 같이, 4가지 자세를 취한 후, 이러한 자세가 인식될 때까지 유지하여 캘리브레이션을 수행한 후 캡쳐를 진행할 수 있다. 도 9의 (b)는 4가지 교정용 포즈를 나타낸 것이다.
도 12에 도시된 바와 같이, 사용자(1210)의 감지된 모션에 따라, 모션캡쳐데이터에 대응되는 동작데이터(122)가 생성되며, 동작데이터(122)의 움직임에 따라 기 설정된 캐릭터(1230)가 대응되도록 움직임을 수행할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 자이로센서에 의한 모션캡쳐데이터를 보정하는 과정을 설명하기 위한 흐름도이다.
먼저, 자이로센서를 통한 모션캡쳐를 수행하면서(S1010-1), 신체동작 데이터의 실제 좌표값을 추출한다(S1020-1). 이와 동시에, 유니티(unity) 또는 언리얼(unreal) 엔진과 같은 리얼타임 렌더러 엔진을 통한 시뮬레이션을 수행하고(S1010-2), 시뮬레이션된 데이터의 좌표값을 추출하는 동작(S1020-2)을 동시에 수행할 수 있다.
이에 따라 신체동작 데이터 및 시뮬레이션 데이터가 각각 출력되면(S1130-1, S1130-2), 출력된 신체동작 데이터 및 시뮬레이션 데이터를 서로 비교하여, 신체동작 데이터가 시뮬레이션 데이터와 가장 근접할 수 있도록 보정을 수행한다.
이때 보정 과정은 위치값의 오차, 외부 노이즈로 인한 오류 및 격한 움직임에 의해 발생한 오차 등을 보정하는 작업 등으로 이루어질 수 있다.
이렇게 보정된 신체동작데이터가 캐릭터의 움직임을 표현하기 위한 최종 신체동작데이터로 출력되게 된다(S1040). 그리고, 위와 같은 비교 작업 및 보정 작업은 스크립트화될 수 있다.
도 11은 본 발명의 일 실시 예에 따른 모션캡쳐데이터 추출 최적화 알고리즘을 설명하기 위한 도면이다.
본 발명에서 사용하고자 하는 자이로 형태의 모션캡쳐방식의 추출데이터는 BVH를 기반으로 한다. BVH 데이터는 모션의 포지션(position) 값과 로테이션(rotation) 값을 포함한 X, Y 및 Z 축의 위치 정보가 들어간 본 데이터(Bone data)이므로, 실제 사용하고자 하는 캐릭터 Bone에 리깅 데이터의 포지션 및 로테이션 값을 (0,0,0)으로 수렴시킬 때 정확한 위치 값을 추출할 수 있다.
그러나, 현재 방식(1110)에서는 추출되는 데이터를 (0,0,0)으로 자동 보정하는 기능이 없으므로, BVH 데이터 출력시 모든 데이터의 위치데이터가 일관된 형태로 나오지 않고, 데이터 자체가 오류가 나는 현상이 발생하여 출력 후 추가적으로 보정 과정을 거치게 되며, 그로 인해 최종데이터의 출력 진행에 외부 수정을 진행하는 일이 발생하게 된다.
이를 보완하기 위하여, 뉴런데이터를 출력하는 과정 및 Bone 데이터를 출력하는 과정(1130) 중간에 X,Y 및 Z 값을 (0,0,0)으로 보정해주는 변환과정(1120)을 추가하여, 실시간으로 데이터의 위치 값이 정상적으로 출력되도록 하여 최종 데이터 출력까지 걸리는 딜레이를 감소시킬 수 있다.
리얼타임 렌더러 엔진에서 동작하는 소프트웨어를 제작 후에, C++ 및 JAVA를 통해 내부에 적용 가능한 스크립트 제작을 진행하여, 프로그램에서 최종데이터 출력시에 추출데이터를 확인 후 변경해주는 형태로 데이터 추출 최적화를 구현할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 광학센서에 의한 모션캡쳐데이터를 추출하는 방법을 설명하기 위한 흐름도이다.
본 발명의 모션캡쳐데이터는 광학센서에 의해 추출될 수도 있다. 광학식 모션캡쳐 방식은, 옵티컬 카메라, 스위칭 허브, 라우터, 마커가 부착된 모션 수트 및 마커를 포함하는 장비로 수행될 수 있다.
옵티컬 카메라는 적외선 렌즈가 포함된 고해상도 카메라를 통해 액터(사용자) 적외선을 투사하여 재귀반사된 위치데이터 값을 스위칭 허브로 전달하는 구성이다.
스위칭 허브는 옵티컬 카메라와 이더넷 케이블로 연결되어, 전원을 공급하고 촬영된 데이터를 수신하여 라우터로 전달하는 구성이다.
라우터는 각 스위칭 허브로부터 수신된 데이터를 최종 모션캡쳐데이터를 출력하기 위한 전자장치(100)로 전달하는 구성이다.
전자장치(100)는 라우터로부터 전달받은 카메라의 위치값을 전용프로그램을 통해 실시간으로 처리하여, 모션캡쳐데이터를 출력하는 구성이다.
모션 수트는 액터의 움직임을 표현하기 위해 마커가 부착될 수 있는 수트이며, 마커는 모션 수트를 착용한 액터의 각 관절부위에 부착되어 적외선 반사에 의한 신체의 위치값을 표현하는 구성이다.
적외선 송출 및 검출용 렌즈가 내장된 고해상도 옵티컬 카메라에서 적외선을 액터를 향해 발사하면, 반사물질이 도포된 마커가 적외선을 반사하여 돌아오는 데이터를 검출하고, 이를 통해 액터의 위치와 각도에 기반한 모션캡쳐데이터를 저장할 수 있다.
모션캡쳐데이터는 관성 및 광학 알고리즘이 적용된 2대 이상의 옵티컬 카메라에서 방출되는 적외선을 통해 마커가 동시에 관측되면, 마커의 3차원 좌표를 삼각함수에 의해 계산하여 위치값을 추출하고, 이 위치값을 120fps 이상의 속도로 스위칭 허브로 전달하게 된다. 이렇게 전달된 데이터는 라우터를 통해 이더넷으로 전자장치(100)에 최종적으로 전달되게 된다.
전신 움직임의 포착 시 기본적으로 기본 신체관절 부위(37군데)에 발 위치(4군데)를 추가하는 제1 형태 또는 기본 신체관절 부위(37군데)에 허벅지, 팔, 가슴, 머리의 마커(13군데)를 추가하는 제2 형태를 기반으로 액터의 모션을 포착할 수 있다.
구체적으로 도 13에 도시된 바와 같이, 카메라 위치 및 각도를 설정하여 주변환경을 정리하는 센서 보정을 수행한다(S1310). 카메라 뷰를 차단할 수 있는 반짝거리는 물체나 불필요한 장애물을 제거하고 바닥은 반사되지 않는 매트를 사용하여 반사로 인한 왜곡을 최소화할 수 있다. 캡쳐 데이터의 효율적 이용을 위해서는 카메라의 적절한 배치가 필요하며, 카메라 레이아웃에 대한 계획을 정한 후 카메라를 배치할 수 있다.
2대 이상의 동기된 카메라를 통해 마커를 동시 추적해야 정확한 동작값을 얻을 수 있기에 카메라 간의 거리는 일정한 거리를 두고 분리시키며, 서로 마주보지 않은 상태에서 캡쳐를 위한 볼륨이 나올 수 있게 화면을 통해 확인하면서 카메라를 배치한다.
카메라 캘리브레이션용 완드를 이용하여, 캡쳐 볼륨 전체에 마커가 달린 완드를 흔들어서 카메라가 흔들리는 샘플을 수집하게 하고, 그 수집된 샘플들을 이용하여 위치값에 대한 계산을 진행한다. 모든 계산이 끝나면 캡쳐 볼륨에 대한 접지면을 정의하여 계산된 값의 위치값을 설정할 수 있다.
이후, 모션 수트를 착용한 액터의 적절한 위치에 마커를 부착시킨 후, 캡쳐 볼륨의 중앙으로 이동하여, 도 14의 (a)에 도시된 바와 같인 T 교정 포즈를 지시한 후, 도 14의 (b)와 같이, 프로그램 내에서 실제 캡쳐에 사용되는, 초기 측정된 스켈레톤을 생성한다(S1320).
이후, 도 15의 (a)에 도시된 바와 같이 스켈레톤의 움직임 데이터를 녹화하며(S1330), 캡쳐되는 스켈레톤의 움직임은 적외선 반사를 통해 광학식 카메라로 전달되어 전자장치(100)에서 실시간으로 확인가능하다. 또한, 모션빌더 플러그인을 통해, 모션빌더에 표현된 모델링 데이터와 실제 모션캡쳐가 진행되는 스켈레톤과 연동하여 모션빌더의 모델링 움직임을 스켈레톤의 움직임으로 표현할 수 있다.
이때, 마커 위치를 확인하고 손실 데이터를 재건하는 데이터 처리과정이 수행될 수 있으며(S1340), 도 15의 (b)에 도시된 바와 같이, 액터의 움직임과 최대한 근사하게 마커의 위치값이 설정되어 액터의 움직임이 모델링 데이터의 신체관절이 변환되는 스켈레톤의 움직임으로 표현될 수 있다(S1350).
마커가 실장된 부위는 움직임을 통해 각 카메라로 캡쳐된 2D 개체와 이 2D 개체를 바탕으로 실시간으로 재구성된 3D 데이터가 모두 저장되며, 이렇게 저장된 추적데이터들은 다양한 형태의 파일형태(CSV, FBX, C3D)로 추출되어 사용 가능하게 만들어 진다. 이렇게 저장된 3D 데이터는 3D 캐릭터에 적용되게 된다(S1360).
도 16 및 17은 본 발명의 일 실시 예에 따른 캐릭터 커스터마이징 UI 및 방송 송출 UI를 나타낸 도면이다.
도 16에 도시된 바와 같이, 방송플랫폼은 방송 전 또는 방송 중에 원하는 캐릭터, 동작, 자막, 환경, 특수효과 등을 커스터마이징할 수 있는 저작도구를 포함하는 UI를 제공할 수 있다.
도 16의 (a)에 도시된 바와 같이, 방송 전 제공되는 UI는 캐릭터 화면 영역(1610-1), 캐릭터 커스터마이징 영역(1620-1) 및 캐릭터 모델링 영역(1630-1)을 포함할 수 있고, 각 영역은 도 16의 (b)에 도시된 각 영역(1610-2, 1620-2, 1630-2)와 같이 구현될 수 있다. 캐릭터 모델링 영역(1630-1)에서는 복수의 캐릭터 중 애니메이션을 생성하기 위한 어느 하나의 캐릭터를 선택할 수 있고, 캐릭터 커스터마이징 영역(1620-1)에서는 선택된 캐릭터의 외형 및 동작 중 어느 하나를 커스터마이징할 수 있다.
또한, 도 17의 (a)에 도시된 바와 같이, 실시간 방송 중에 제공되는 UI는 배경화면 선택 영역(1710-1), 실시간 방송화면 영역(1720-1), 효과 선택 영역(1730-1) 및 저작도구 영역(1740-1)을 포함할 수 있고, 각 영역은 도 17의 (b)에 도시된 각 영역(1710-2, 1720-2, 1730-2, 1740-2)와 같이 구현될 수 있다.
도 18은 본 발명의 일 실시 예에 따른 리얼타임 3D 엔진이 방송플랫폼과 실시간으로 연동된 화면을 도시한 도면이다.
도 18의 (a) 및 (b)에 도시된 바와 같이, 오브젝트의 재질, 재료, 픽셀 단위 연산을 이용한 파티클 광원 실시간 처리 알고리즘을 스크립트를 통해 구현할 수 있다. 언리얼과 같은 렌더러 엔진을 실시간으로 연동하면, 사용하고자 하는 캐릭터를 바로 불러올 수 있고, 실시간 커스터마이징이 가능하다.
또한, UI는 애드온(add-on) 형태의 UI 스크립트로 제작될 수 있다. 구체적으로, 기존 방송 송출 플랫폼과 렌더러 엔진을 연동할 수 있도록, 렌더러 엔진 내 블루프린트(blueprint)를 이용하여 송출 플랫폼에 애드온(add-on)될 수 있도록 UI 스크립트를 제작할 수 있다.
도 19는 본 발명의 일 실시 예에 따른 장치의 구성을 간략히 도시한 블록도이다.
본 발명의 일 실시 예에 다른 전자장치(100)는 입력부(110), 저장부(120) 및 프로세서(130)를 포함한다.
입력부(110)는 사용자의 신체에 장착된 모션감지센서로부터 측정된 측정값 및 사용자가 촬영된 영상을 실시간으로 수신하는 구성이다. 이에 따라, 입력부(110)는 모션감지센서 및 사용자를 촬영하는 카메라와 유무선 통신방식을 통해 통신을 수행하는 통신부(미도시)를 포함할 수 있다.
저장부(120)는 모션캡쳐데이터에 대응되는 동작데이터 및 리깅데이터를 저장하는 구성이다. 저장부(120)는
프로세서(130)는 전자장치(100)를 전반적으로 제어하기 위한 구성이다.
구체적으로, 프로세서(130)는 측정값 및 촬영된 영상으로부터, 각각 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 추출하고, 저장된 동작데이터 및 리깅데이터에 기초하여, 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 얼굴캡쳐데이터가 적용된 리깅데이터에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하며, 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공할 수 있다.
이때, 프로세서(130)는 자이로센서로 구현되는 모션감지센서를 통해 사용자의 움직임에 대응되는 좌표데이터를 추출하고, 추출된 좌표데이터를 신체동작데이터로 변환하며, 변환된 신체동작데이터를 렌더러 엔진에 의한 시뮬레이션 데이터와 비교하여 보정을 수행하고, 보정이 수행된 신체동작데이터를 모션캡쳐데이터로 추출할 수 있다.
또한, 프로세서(130)는 사용자가 촬영된 영상 내의 사용자 얼굴에서 기 설정된 객체를 인식하고, 인식된 객체의 형상을 나타내는 마킹데이터를 얼굴캡쳐데이터로 추출할 수 있다.
이때, 프로세서(130)는 기 설정된 객체가 인식되면, 인식된 객체의 중심선 및 윤곽선 중 적어도 어느 하나에 간격을 두고 배치되는 복수의 마커를 생성한 후, 생성된 복수의 마커를 연결하여, 인식된 객체의 형상을 나타내는 마킹데이터를 생성할 수 있다.
또한, 본 발명의 일 실시 예에 따른 전자장치(100)는 사용자 인터페이스(미도시)를 더 포함할 수 있다. 이때, 프로세서(130)는 사용자 인터페이스를 통해 입력된 사용자 명령에 따라 마킹데이터의 마커 위치를 보정할 수 있다.
또한, 프로세서(130)는 추출된 얼굴캡쳐데이터를 기 설정된 캐릭터의 리깅데이터에 적용하고, 리깅데이터의 얼굴캡쳐데이터와의 오차를 보정하며, 오차가 보정된 리깅데이터에 기초하여 캐릭터의 표정 변화를 애니메이션으로 생성할 수 있다.
이때, 프로세서(130)는 복수의 캐릭터 중 애니메이션을 생성하기 위한 어느 하나의 캐릭터를 선택하고, 선택된 캐릭터의 외형 및 동작 중 어느 하나를 커스터마이징하기위한 UI를 방송플랫폼을 통해 제공할 수 있다.
도 20은 본 발명의 일 실시 예에 따른 시스템의 구성을 간략히 도시한 블록도이다.
본 발명의 일 실시 예에 따른 방송 플랫폼 제공 시스템(1000)은 전자장치(100), 카메라(200) 및 자이로센서(300)를 포함한다. 이때, 전자장치(100), 카메라(200) 및 자이로센서(300)는 네트워크(2000)를 통해 연결될 수 있다.
전자장치(100)는 실시간 방송 플랫폼을 제공하기 위한 구성으로, 카메라(200) 및 자이로센서(300)로부터 얼굴캡쳐데이터 및 모션캡쳐데이터를 각각 수신할 수 있다.
이때, 전자장치(100)는 카메라(200) 및 자이로센서(300)와 연결된 외부 장치(미도시)를 통해 얼굴캡쳐데이터 및 모션캡쳐데이터를 수신할 수도 있다.
전자장치(100)는 수신된 측정값 및 촬영된 영상으로부터 각각 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 추출한다. 이후, 전자장치(100)는 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 얼굴캡쳐데이터가 적용된 리깅데이터에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성할 수 있다.
이후, 전자장치(100)는 제공되는 방송플랫폼을 통해 생성된 애니메이션을 실시간으로 송출할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 크리에이터가 원하는 캐릭터 또는 제작한 캐릭터를 이용하여 시청자와 실시간 커뮤니케이션 가능하며 저가의 방송 솔루션으로 사용이 가능하다.
상술한 다양한 실시 예에 따른 방송플랫폼 제공 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 방송플랫폼 제공 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다. 일 예로, ⅰ) 사용자의 신체에 장착된 모션감지센서 및 사용자가 촬영된 영상에 각각 기초하여, 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 실시간으로 추출하는 단계, ⅱ) 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 얼굴캡쳐데이터가 적용된 리깅데이터(rigging)에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하는 단계 및, ⅲ) 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
한편, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
S110: 사용자의 신체에 장착된 모션감지센서 및 사용자가 촬영된 영상에 각각 기초하여, 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 실시간으로 추출하는 단계
S120: 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 얼굴캡쳐데이터가 적용된 리깅데이터(rigging)에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하는 단계
S130: 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 단계
100: 전자장치 110: 입력부
120: 저장부 130: 프로세서
200: 카메라 300: 자이로센서
1000: 방송플랫폼 제공 시스템 2000: 네트워크

Claims (20)

  1. 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법에 있어서,
    사용자의 신체에 장착된 모션감지센서 및 상기 사용자가 촬영된 영상에 각각 기초하여, 상기 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 실시간으로 추출하는 단계;
    상기 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 상기 얼굴캡쳐데이터가 적용된 리깅데이터(rigging)에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하는 단계; 및
    상기 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 단계;를 포함하는 방법.
  2. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 사용자의 신체에 부착된 자이로(gyro) 센서를 통해 측정된 값에 기초하여, 상기 모션캡쳐데이터를 추출하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 추출하는 단계는,
    상기 자이로센서를 통해 상기 사용자의 움직임에 대응되는 좌표데이터를 추출하는 단계;
    상기 추출된 좌표데이터를 신체동작데이터로 변환하는 단계;
    상기 변환된 신체동작데이터를 렌더러 엔진에 의한 시뮬레이션데이터와 비교하여 보정을 수행하는 단계; 및
    상기 보정이 수행된 신체동작데이터를 상기 모션캡쳐데이터로 추출하는 단계;를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 사용자가 촬영된 영상 내의 상기 사용자 얼굴에서 기 설정된 객체를 인식하고, 상기 인식된 객체의 형상을 나타내는 마킹데이터를 상기 얼굴캡쳐데이터로 추출하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 추출하는 단계는,
    상기 기 설정된 객체가 인식되면, 상기 인식된 객체의 중심선 및 윤곽선 중 적어도 어느 하나에 간격을 두고 배치되는 복수의 마커를 생성한 후, 상기 생성된 복수의 마커를 연결하여 상기 인식된 객체의 형상을 나타내는 상기 마킹데이터를 생성하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 추출하는 단계는,
    사용자 입력에 따라 상기 마킹데이터의 마커 위치를 보정하는 것을 특징으로 하는 방법.
  7. 제4항에 있어서,
    상기 생성하는 단계는,
    상기 추출된 얼굴캡쳐데이터를 상기 기 설정된 캐릭터의 리깅데이터에 적용하는 단계;
    상기 리깅데이터의 상기 얼굴캡쳐데이터와의 오차를 보정하는 단계; 및
    상기 오차가 보정된 리깅데이터에 기초하여, 상기 캐릭터의 표정 변화를 애니메이션으로 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    복수의 캐릭터 중 상기 애니메이션을 생성하기 위한 어느 하나의 캐릭터를 선택하고, 상기 선택된 캐릭터의 외형 및 동작 중 어느 하나를 커스터마이징하기 위한 UI를 상기 방송플랫폼을 통해 제공하는 단계;를 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 UI는 애드온(add-on) 형태의 UI 스크립트로 제작되는 것을 특징으로 하는 방법.
  10. 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼을 제공하는 장치에 있어서,
    사용자의 신체에 장착된 모션감지센서로부터 측정된 측정값 및 상기 사용자가 촬영된 영상을 각각 실시간으로 수신하는 입력부;
    상기 모션캡쳐데이터에 대응되는 동작데이터 및 리깅데이터(rigging)를 저장하는 저장부; 및
    상기 측정값 및 상기 촬영된 영상으로부터 각각 상기 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 추출하고, 상기 저장된 동작데이터 및 리깅데이터에 기초하여, 상기 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 상기 얼굴캡쳐데이터가 적용된 리깅데이터에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하며, 상기 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 프로세서;를 포함하는 장치.
  11. 제10항에 있어서,
    상기 모션감지센서는,
    자이로(gyro) 센서인 것을 특징으로 하는 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 자이로센서를 통해 상기 사용자의 움직임에 대응되는 좌표데이터를 추출하고, 추출된 좌표데이터를 신체동작데이터로 변환하며, 상기 변환된 신체동작데이터를 렌더러 엔진에 의한 시뮬레이션데이터와 비교하여 보정을 수행하고, 상기 보정이 수행된 신체동작데이터를 상기 모션캡쳐데이터로 추출하는 것을 특징으로 하는 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 사용자가 촬영된 영상 내의 상기 사용자 얼굴에서 기 설정된 객체를 인식하고, 상기 인식된 객체의 형상을 나타내는 마킹데이터를 상기 얼굴캡쳐데이터로 추출하는 것을 특징으로 하는 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 기 설정된 객체가 인식되면, 상기 인식된 객체의 중심선 및 윤곽선 중 적어도 어느 하나에 간격을 두고 배치되는 복수의 마커를 생성한 후, 상기 생성된 복수의 마커를 연결하여 상기 인식된 객체의 형상을 나타내는 상기 마킹데이터를 생성하는 것을 특징으로 하는 장치.
  15. 제14항에 있어서,
    사용자 인터페이스;를 더 포함하고,
    상기 프로세서는,
    상기 사용자 인터페이스를 통해 입력된 사용자 명령에 따라 상기 마킹데이터의 마커 위치를 보정하는 것을 특징으로 하는 장치.
  16. 제13항에 있어서,
    상기 프로세서는,
    상기 추출된 얼굴캡쳐데이터를 상기 기 설정된 캐릭터의 리깅데이터에 적용하고, 상기 리깅데이터의 상기 얼굴캡쳐데이터와의 오차를 보정하며, 상기 오차가 보정된 리깅데이터에 기초하여, 상기 캐릭터의 표정 변화를 애니메이션으로 생성하는 것을 특징으로 하는 장치.
  17. 제10항에 있어서,
    상기 프로세서는,
    복수의 캐릭터 중 상기 애니메이션을 생성하기 위한 어느 하나의 캐릭터를 선택하고, 상기 선택된 캐릭터의 외형 및 동작 중 어느 하나를 커스터마이징하기 위한 UI를 상기 방송플랫폼을 통해 제공하는 것을 특징으로 하는 장치.
  18. 제17항에 있어서,
    상기 UI는,
    애드온(add-on) 형태의 UI 스크립트로 제작되는 것을 특징으로 하는 장치.
  19. 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 시스템에 있어서,
    사용자를 촬영하는 카메라;
    상기 사용자의 신체에 장착되는 모션감지센서; 및
    상기 모션감지센서로부터 측정된 측정값 및 상기 카메라로부터 촬영된 영상을 각각 실시간으로 수신하고, 상기 수신된 측정값 및 상기 촬영된 영상으로부터 각각 상기 사용자의 모션캡쳐데이터 및 얼굴캡쳐데이터를 추출하며, 상기 추출된 모션캡쳐데이터에 대응되는 동작을 나타내고, 상기 얼굴캡쳐데이터가 적용된 리깅데이터(rigging data)에 대응되는 얼굴표정을 나타내는 기 설정된 캐릭터의 애니메이션을 생성하고, 상기 생성된 애니메이션을 실시간으로 송출하기 위한 방송플랫폼을 제공하는 전자장치;를 포함하는 시스템.
  20. 제1항 내지 제9항 중 어느 한 항의 방법을 실행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
KR1020200070557A 2020-06-10 2020-06-10 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템 KR102371072B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200070557A KR102371072B1 (ko) 2020-06-10 2020-06-10 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
PCT/KR2020/007728 WO2021251534A1 (ko) 2020-06-10 2020-06-15 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200070557A KR102371072B1 (ko) 2020-06-10 2020-06-10 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20210153472A true KR20210153472A (ko) 2021-12-17
KR102371072B1 KR102371072B1 (ko) 2022-03-10

Family

ID=78846171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200070557A KR102371072B1 (ko) 2020-06-10 2020-06-10 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템

Country Status (2)

Country Link
KR (1) KR102371072B1 (ko)
WO (1) WO2021251534A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158858A2 (ko) 2021-01-19 2022-07-28 주식회사 엘지에너지솔루션 배터리, 그리고 이를 포함하는 배터리 팩 및 자동차

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638918B (zh) * 2022-01-26 2023-03-28 武汉艺画开天文化传播有限公司 一种实时表演捕捉虚拟直播与录制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060109044A (ko) * 2005-04-15 2006-10-19 엘지전자 주식회사 특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션생성방법
KR20120059994A (ko) * 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
KR20130080442A (ko) * 2010-06-09 2013-07-12 마이크로소프트 코포레이션 표정의 실시간 애니메이션화
KR101681096B1 (ko) * 2010-07-13 2016-12-01 삼성전자주식회사 얼굴 애니메이션 시스템 및 방법
KR20200028830A (ko) * 2018-09-07 2020-03-17 (주)위지윅스튜디오 실시간 cg 영상 방송 서비스 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060109044A (ko) * 2005-04-15 2006-10-19 엘지전자 주식회사 특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션생성방법
KR20130080442A (ko) * 2010-06-09 2013-07-12 마이크로소프트 코포레이션 표정의 실시간 애니메이션화
KR101681096B1 (ko) * 2010-07-13 2016-12-01 삼성전자주식회사 얼굴 애니메이션 시스템 및 방법
KR20120059994A (ko) * 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
KR20200028830A (ko) * 2018-09-07 2020-03-17 (주)위지윅스튜디오 실시간 cg 영상 방송 서비스 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158858A2 (ko) 2021-01-19 2022-07-28 주식회사 엘지에너지솔루션 배터리, 그리고 이를 포함하는 배터리 팩 및 자동차
WO2022158857A2 (ko) 2021-01-19 2022-07-28 주식회사 엘지에너지솔루션 전극 조립체, 배터리 및 이를 포함하는 배터리 팩 및 자동차
WO2022158864A2 (ko) 2021-01-19 2022-07-28 주식회사 엘지에너지솔루션 전극 단자의 고정 구조 및 이를 포함하는 배터리, 배터리 팩 및 자동차
WO2022158862A2 (ko) 2021-01-19 2022-07-28 주식회사 엘지에너지솔루션 전극 조립체, 배터리 및 이를 포함하는 배터리 팩 및 자동차
DE202022002791U1 (de) 2021-01-19 2023-06-28 Lg Energy Solution, Ltd. Batterie, Batteriepack und Fahrzeug damit

Also Published As

Publication number Publication date
KR102371072B1 (ko) 2022-03-10
WO2021251534A1 (ko) 2021-12-16

Similar Documents

Publication Publication Date Title
JP7068562B2 (ja) 拡張現実データを記録するための手法
US11880541B2 (en) Systems and methods of generating augmented reality (AR) objects
US10368047B2 (en) Six-degree of freedom video playback of a single monoscopic 360-degree video
CN102622774B (zh) 起居室电影创建
KR20180121494A (ko) 단안 카메라들을 이용한 실시간 3d 캡처 및 라이브 피드백을 위한 방법 및 시스템
US20140104387A1 (en) Handheld portable optical scanner and method of using
CN103258339A (zh) 基于实况记录和基于计算机图形的媒体流的实时合成
US20210158552A1 (en) Systems and methods for enhanced depth determination using projection spots
KR102371072B1 (ko) 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
US10692286B2 (en) Device and method of creating an augmented interactive virtual reality system
US20240020901A1 (en) Method and application for animating computer generated images
JP2020005150A (ja) 録画再生装置及びプログラム
US11601632B2 (en) Device and method of creating an augmented interactive virtual reality system
Törmänen Comparison of entry level motion capture suits aimed at indie game production
Herath et al. Unconstrained Segue Navigation for an Immersive Virtual Reality Experience
CN117475074A (zh) 基于场景照明不满足一个或更多个标准而使用3d/ai模型来生成视频流用户的3d表示
EP2795584A1 (en) System, method and apparatus for rapid film pre-visualization

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right