KR20200028830A - 실시간 cg 영상 방송 서비스 시스템 - Google Patents

실시간 cg 영상 방송 서비스 시스템 Download PDF

Info

Publication number
KR20200028830A
KR20200028830A KR1020190093577A KR20190093577A KR20200028830A KR 20200028830 A KR20200028830 A KR 20200028830A KR 1020190093577 A KR1020190093577 A KR 1020190093577A KR 20190093577 A KR20190093577 A KR 20190093577A KR 20200028830 A KR20200028830 A KR 20200028830A
Authority
KR
South Korea
Prior art keywords
real
time
content
unit
character
Prior art date
Application number
KR1020190093577A
Other languages
English (en)
Other versions
KR102200239B1 (ko
Inventor
박관우
우창헌
Original Assignee
(주)위지윅스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)위지윅스튜디오 filed Critical (주)위지윅스튜디오
Publication of KR20200028830A publication Critical patent/KR20200028830A/ko
Application granted granted Critical
Publication of KR102200239B1 publication Critical patent/KR102200239B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

본 발명은 실시간 CG 영상 방송 서비스 시스템에 관한 것이다.
본 발명에 따른 실시간 CG 영상 방송 서비스 시스템은, 방송이 시작되면서 실시간으로 연기자의 얼굴 및 몸동작의 움직임을 센싱하여 캡처 데이터를 생성하는 실시간 퍼포먼스 캡처부와; 방송 시작시 방송에 사용될 캐릭터 및 상황 콘텐츠를 선택하는 CG 콘텐츠 선택부와; 상기 실시간 퍼포먼스 캡처부에서 캡처된 캡처 데이터에 따라 상기 CG 콘텐츠 선택부에서 선택한 캐릭터를 CG 콘텐츠 DB로부터 가져와 실시간으로 애니메이션을 수행하고, 상기 CG 콘텐츠 선택부에서 선택한 상황 콘텐츠를 CG 콘텐츠 DB로부터 가져와 함께 렌더링함으로써 최종 CG 영상을 만들어내는 실시간 CG 영상 렌더링부; 및 상기 실시간 CG 영상 렌더링부에서 제작된 최종 CG 영상을 유무선 인터넷을 통하여 실시간으로 송출하는 실시간 CG 영상 방송 서비스부를 포함한다.
이와 같은 본 발명에 의하면, 실시간 CG 영상 서비스를 효율적으로 제공하기 위한 서비스 플랫폼이 제공된다. 이 플랫폼을 통해 지속적으로 신규 콘텐츠 및 서비스가 제공되어 다수의 사람들이 손쉽게 다양한 CG 영상 콘텐츠를 제작할 수 있다.

Description

실시간 CG 영상 방송 서비스 시스템{REAL-TIME COMPUTER GRAPHICS VIDEO BROADCASTING SERVICE SYSTEM}
본 발명은 실시간 CG 영상 방송 서비스 시스템에 관한 것으로, 특히 실시간으로 연기하는 3차원 캐릭터 또는 콘텐츠를 선택하고, 선택된 캐릭터 또는 콘텐츠를 기반으로 제작된 3차원 영상이 인터넷 방송 시스템을 통해 서비스되며, 시청자의 반응을 실시간으로 반영하여 방송 내용을 변경할 수 있는 실시간 CG 영상 방송 서비스 시스템에 관한 것이다.
현재 휴대폰 카메라를 포함하여 다양한 카메라를 활용한 실시간 영상 방송 서비스는 유튜브, 아프리카 TV 등의 동영상 서비스 플랫폼을 통해 지속적으로 확산되고 있다. 카메라를 이용하여 사용자가 게임을 하는 영상을 촬영하거나, 다양한 음식을 맛보는 것을 촬영하고, 스튜디오 등 다양한 장소에서 춤을 추거나 음악을 들려주는 등 다양한 방법으로 BJ (Broadcast Jockey)는 사용자에게 영상을 제공하고 많은 구독자를 확보하고 있다.
3차원 가상 캐릭터 기반의 CG 영상 방송 서비스 시스템은 최근 일본을 중심으로 시작되었고, 현재 단일 캐릭터 위주로 춤을 추거나 이야기를 하는 등 단순한 배경을 활용한 CG 영상 서비스로 제공되고 있다.
얼굴 및 몸동작 모션 캡처 센서를 통해 사용자의 얼굴 및 몸동작 정보를 얻고, 이 정보에 따라 가상 캐릭터의 얼굴 및 몸동작이 3차원 가상 공간의 배경과 함께 3차원 가상 캐릭터가 실시간으로 시뮬레이션 되는 방법으로 CG 영상이 제작되고, 또한 이 영상이 실시간으로 인터넷으로 서비스된다.
3차원 가상 캐릭터에 의한 CG 영상 방송 시장이 성공하기 위해서는 다양한 3차원 캐릭터를 선택할 수 있고, 다양한 상황 콘텐츠를 기반으로 필요한 상황을 쉽게 만들 수 있도록 제공하는 것이 필수적이나, 현재의 시스템들은 단일 캐릭터 서비스 위주의 시스템으로 개발되어 한번 설정한 캐릭터나 상황 콘텐츠의 변경이 어려운 실정이다.
이와 관련하여, 한국공개특허공보 제10-2018-0052496호는, 가상 공연 스튜디오 시스템으로서, 배우 혼자서 자신의 모습이 자신 앞의 스크린 혹은 TV에 가상 공연 스튜디오 공연장처럼 보이며 노래나 춤을 연습하거나 연기 할 수 있는 자동 가상 공연 개인 스튜디오를 구현하기 위해 복수의 고정 및 트랙킹 카메라를 포함하고 이들을 사용하는 실시간 가상 스튜디오에서 합성된 영상을 스튜디오 앞의 단수 혹은 복수의 평면 TV나 프로젝터 등의 몰입형 평면 혹은 곡면 스크린에 보이게 하되 이를 실제 카메라들의 움직임을 가상스튜디오에서 같이 움직이는 Tracking 센서 방식과, 또 고정된 카메라의 경우에 가상 카메라로 움직이는 (Trackless)를 사용하여 배우 트랙킹 및 트랙리스 가상 카메라를 이용하여 마치 연기자가 실제 방송국의 뮤직 스튜디오에서 방송하는 것처럼 자신은 스크린으로 보고, 또 이를 인터넷으로 전세계 누구에게나 방송이 가능하게 하는 가상 공연 스튜디오 시스템을 개시하고 있다.
그러나, 이는 배우가 스스로 컨텐츠를 정하여 본인의 모습으로 공연하는 것을 볼 수 있게 하는 것으로, 통합적으로 CG 콘텐츠와 서비스를 제공하는 것 과는 거리가 있다.
또한, 현재 한국에서 성행하고 있는 스크린골프 시스템의 경우, 게임을 시작할 때 사용자가 원하는 골프 코스와 난이도를 선택할 수 있도록 하여, 사용자의 실력에 맞는 콘텐츠를 제공하여 시장을 확장하고 있다. 물론 서버에 지속적으로 골프 코스를 추가하여 사용자가 계속 새로운 환경에서 골프 경험을 할 수 있도록 하고 있다.
한국에서 성행하고 있는 노래방 시스템의 경우, 다양한 노래들 중 사용자가 원하는 노래를 선택하여 부를 수 있도록 제공하여 다양한 사용자가 노래방에서 음악을 즐길 수 있다. 물론 노래방 시스템 서버에 지속적으로 노래가 등록되어 사용자가 계속 신곡을 부를 수 있는 환경을 제공하고 있다.
따라서 CG 영상 방송 서비스의 경우도 캐릭터 및 콘텐츠를 통합적으로 관리하여 사용자에 맞는 CG 캐릭터와 상황 콘텐츠를 선택하여 CG 영상을 방송할 수 있는 커스텀 CG 영상 방송 서비스를 제공하는 플랫폼이 절실히 요구된다.
한국공개특허공보 제10-2018-0052496호 (2018.05.18.)
본 발명은 이러한 3차원 캐릭터 기반의 CG 영상 서비스들을 캐릭터 및 상황 콘텐츠를 선택하여 사용자 맞춤형 CG 영상 서비스를 제작할 수 있는 통합 플랫폼을 제공하여 사용자가 쉽고 편리하게 CG 영상을 제작할 수 있는 환경을 구축하고자 한다.
상기의 목적을 달성하기 위하여 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템은,
방송이 시작되면서 실시간으로 연기자의 얼굴 및 몸동작의 움직임을 센싱하여 캡처 데이터를 생성하는 실시간 퍼포먼스 캡처부와;
방송 시작시 방송에 사용될 캐릭터 및 상황 콘텐츠를 선택하는 CG 콘텐츠 선택부와;
상기 실시간 퍼포먼스 캡처부에서 캡처된 캡처 데이터에 따라 상기 CG 콘텐츠 선택부에서 선택한 캐릭터를 CG 콘텐츠 DB로부터 가져와 실시간으로 애니메이션을 수행하고, 상기 CG 콘텐츠 선택부에서 선택한 상황 콘텐츠를 CG 콘텐츠 DB로부터 가져와 함께 렌더링함으로써 최종 CG 영상을 만들어내는 실시간 CG 영상 렌더링부; 및
상기 실시간 CG 영상 렌더링부에서 제작된 최종 CG 영상을 유무선 인터넷을 통하여 실시간으로 송출하는 실시간 CG 영상 방송 서비스부를 포함하는 점에 그 특징이 있다.
여기서, 바람직하게는 주기적으로 CG 콘텐츠의 내용을 추가/변경/삭제 등의 관리를 수행하는 CG 콘텐츠 관리부를 더 포함할 수 있다.
이때, 상기 CG 콘텐츠 관리부는 CG 콘텐츠 DB에 있는 CG 캐릭터를 관리하는 것으로, 신규 CG 캐릭터를 추가하거나, 기존 캐릭터를 수정 혹은 삭제하는 CG 캐릭터 관리부와, CG 콘텐츠 DB에 있는 배경 등의 상황 콘텐츠를 관리하는 것으로, 신규 상황 콘텐츠를 추가하거나, 기존 콘텐츠를 수정 혹은 삭제하는 상황 콘텐츠 관리부로 구성될 수 있다.
또한, 상기 실시간 퍼포먼스 캡처부는 얼굴의 움직임을 측정하는 센서로부터 얼굴의 움직임 정보를 추출하는 실시간 얼굴 모션 캡처부와, 몸동작을 실시간으로 측정하는 센서로부터 몸의 움직임 정보를 추출하는 실시간 몸동작 모션 캡처부로 구성될 수 있다.
또한, 상기 CG 콘텐츠 선택부는, CG 콘텐츠 DB에 있는 실시간 방송이 가능한 캐릭터 리스트들을 보며 방송을 하고 싶은 캐릭터를 선택하는 CG 캐릭터 선택부와, CG 콘텐츠 DB에 있는 실시간 CG 영상의 배경으로 사용하고 싶은 상황 콘텐츠를 선택하는 상황 콘텐츠 선택부로 구성될 수 있다.
또한, 상기 실시간 CG 영상 렌더링부는, 실시간 퍼포먼스 캡처부에서 전송해온 캡처 데이터를 활용하여 캐릭터의 얼굴과 몸의 움직임을 시뮬레이션하는 캐릭터 렌더링부와; 3차원 배경 환경을 시뮬레이션하는 배경 렌더링부와; 제작하고자 하는 CG 영상의 상황에 따라 캐릭터의 위치, 배경 등을 고려하여 3차원 상에서 CG 영상을 렌더링할 가상의 카메라 위치 및 방향을 조작하는 가상 카메라 조작부와; 캐릭터 렌더링부에서 그려지는 캐릭터 영상과 배경 랜더링부에서 그려지는 배경 영상, 그리고 가상 카메라 조작부에서 나오는 최종 가상 카메라의 위치와 방향에서 보여지는 최종 CG 영상을 생성하는 통합 렌더링부로 구성될 수 있다.
또한, 상기 실시간 퍼포먼스 캡처부는 얼굴 모션, 몸동작 모션 중 적어도 하나의 동작을 캡처하여 시뮬레이션할 수 있다.
또한, 상기 CG 콘텐츠 선택부는 CG 콘텐츠 DB에 저장되어 있는 실시간 퍼포먼스가 가능한 캐릭터들의 리스트에서 선택할 경우, 선택된 캐릭터가 실시간 방송에서 동작할 수 있다.
또한, 상기 CG 콘텐츠 선택부는 CG 콘텐츠 DB에 저장되어 있는 배경 등 상황 콘텐츠 리스트에서 선택할 경우, 선택된 배경 등 상황이 실시간 방송에서 동작할 수 있다.
이와 같은 본 발명에 의하면, 실시간 CG 영상 서비스를 효율적으로 제공하기 위한 서비스 플랫폼이 제공된다. 이 플랫폼을 통해 지속적으로 신규 콘텐츠 및 서비스가 제공되어 다수의 사람들이 손쉽게 다양한 CG 영상 콘텐츠를 제작할 수 있다.
도 1은 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템의 방송 서비스의 흐름도이다.
도 3은 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템에서 CG 캐릭터 선택 화면 설계의 예를 나타낸 도면이다.
도 4는 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템에서 상황 콘텐츠 선택 화면 설계의 예를 나타낸 도면이다.
도 5는 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템에서 캐릭터 선택과 상황 콘텐츠 선택에 따른 실시간 CG 영상의 예를 나타낸 도면이다.
도 6은 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템에서 실시간 CG 영상 방송 서비스의 최종 서비스 형태를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 실시간 CG 영상 방송 서비스 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템(100)은, 실시간 퍼포먼스 캡처부(110), CG 콘텐츠 선택부(120), 실시간 CG 영상 렌더링부(130) 및 실시간 CG 영상 방송 서비스부(150)를 포함하여 구성된다.
실시간 퍼포먼스 캡처부(110)는 방송이 시작되면서 실시간으로 연기자의 얼굴 및 몸동작의 움직임을 센싱하여 캡처 데이터를 생성한다. 퍼포먼스 캡처 장비로는 Faceware, VICON, Optitrack, XSens 등의 상용 시스템이 사용될 수 있으며, 일반적인 영상처리 방법으로 제작할 수도 있다. 퍼포먼스 캡처 장비를 통해 추출된 얼굴 및 몸동작 캡처 데이터를 활용하여 실시간 CG 영상 렌더링부(130)의 캐릭터 렌더링부(131)에서 해당되는 CG 캐릭터의 움직임을 생성한다.
CG 콘텐츠 선택부(120)는 방송 시작시 방송에 사용될 캐릭터 및 상황 콘텐츠를 선택한다. 연기자가 연기하고자 하는 캐릭터와 장소를 선택해서 실시간 CG 방송을 할 수 있다.
실시간 CG 영상 렌더링부(130)는 상기 실시간 퍼포먼스 캡처부(110)에서 캡처된 캡처 데이터에 따라 상기 CG 콘텐츠 선택부(120)에서 선택한 캐릭터를 CG 콘텐츠 DB(140)로부터 가져와 실시간으로 애니메이션을 수행하고, 상기 CG 콘텐츠 선택부(120)에서 선택한 상황 콘텐츠를 CG 콘텐츠 DB(140)로부터 가져와 함께 렌더링함으로써 최종 CG 영상을 생성한다.
CG 콘텐츠 DB(140)에는 다양한 종류의 실시간 방송이 가능한 캐릭터 및 배경 등 상황 콘텐츠 등이 저장되어 있으며, CG 콘텐츠 DB와 유선 혹은 무선으로 연결되어 있는 CG 콘텐츠 관리부(160)에서는 주기적으로 CG 콘텐츠의 내용을 추가/변경/삭제 등의 관리를 한다. 이 CG 콘텐츠 관리부(160) 기능을 통해 다양한 CG 영상 서비스 플랫폼이 구축될 수 있다.
실시간 CG 영상 방송 서비스부(150)는 상기 실시간 CG 영상 렌더링부(130)에서 제작된 최종 CG 영상을 유무선 인터넷(170)을 통하여 실시간으로 송출한다. 영상을 인터넷으로 송출하는 방법은 OBS, XSplit 등의 상용 스트리밍 툴을 사용하여 유튜브, 아프리카TV 등 영상 서비스 플랫폼을 통해 사용자에게 전달된다.
여기서, 이상과 같은 구성의 본 발명의 실시간 CG 영상 방송 서비스 시스템(100)은 바람직하게는 주기적으로 CG 콘텐츠의 내용을 추가/변경/삭제 등의 관리를 수행하는 CG 콘텐츠 관리부(160)를 더 포함할 수 있다.
이때, 상기 CG 콘텐츠 관리부(160)는 CG 콘텐츠 DB(140)에 있는 CG 캐릭터를 관리하는 것으로, 신규 CG 캐릭터를 추가하거나, 기존 캐릭터를 수정 혹은 삭제하는 CG 캐릭터 관리부(161)와, CG 콘텐츠 DB에 있는 배경 등의 상황 콘텐츠를 관리하는 것으로, 신규 상황 콘텐츠를 추가하거나, 기존 콘텐츠를 수정 혹은 삭제하는 상황 콘텐츠 관리부(162)로 구성될 수 있다.
또한, 상기 실시간 퍼포먼스 캡처부(110)는 얼굴의 움직임을 측정하는 센서로부터 얼굴의 움직임 정보를 추출하는 실시간 얼굴 모션 캡처부(111)와, 몸동작을 실시간으로 측정하는 센서로부터 몸의 움직임 정보를 추출하는 실시간 몸동작 모션 캡처부(112)로 구성될 수 있다. 얼굴의 움직임을 측정하는 센서로는 Faceware 등의 상용 제품이 사용될 수 있으며, 영상 처리 기법을 이용하여 제작할 수도 있다. 또한, 몸의 움직임을 측정하는 센서로는 Vicon, Optitrack, XSens 등의 상용 제품이 사용될 수 있으며, 일반적인 광학 기법이나 관성식 센서 기술을 활용하여 제작할 수도 있다. 얼굴과 몸의 캡처 데이터는 실시간 CG 영상 렌더링부(130)에 전송되어 캐릭터의 움직임을 생성하는데 사용된다.
또한, 상기 CG 콘텐츠 선택부(120)는, CG 콘텐츠 DB(140)에 있는 실시간 방송이 가능한 캐릭터 리스트들을 보며 방송을 하고 싶은 캐릭터를 선택하는 CG 캐릭터 선택부(121)와, CG 콘텐츠 DB에 있는 실시간 CG 영상의 배경으로 사용하고 싶은 상황 콘텐츠를 선택하는 상황 콘텐츠 선택부(122)로 구성될 수 있다. 선택된 캐릭터와 상황 콘텐츠는 실시간 서비스를 시작하게 되면 해당 캐릭터와 배경으로 영상이 만들어지게 된다. 실시간 CG 영상 방송 서비스가 시작되면 실시간 퍼포먼스 캡처부(110)에서 연기자의 몸동작을 캡처하기 시작한다.
또한, 상기 실시간 CG 영상 렌더링부(130)는, 실시간 퍼포먼스 캡처부에서 전송해온 캡처 데이터를 활용하여 캐릭터의 얼굴과 몸의 움직임을 시뮬레이션하는 캐릭터 렌더링부(131)와; 3차원 배경 환경을 시뮬레이션하는 배경 렌더링부(132)와; 제작하고자 하는 CG 영상의 상황에 따라 캐릭터의 위치, 배경 등을 고려하여 3차원 상에서 CG 영상을 렌더링할 가상의 카메라 위치 및 방향을 조작하는 가상 카메라 조작부(133)와; 캐릭터 렌더링부에서 그려지는 캐릭터 영상과 배경 랜더링부에서 그려지는 배경 영상, 그리고 가상 카메라 조작부에서 나오는 최종 가상 카메라의 위치와 방향에서 보여지는 최종 CG 영상을 생성하는 통합 렌더링부(134)로 구성될 수 있다.
캐릭터 렌더링부(131)에서 렌더링되는 캐릭터는 방송 전에 CG 콘텐츠 선택부(120)에서 미리 선택했던 캐릭터가 사용된다. 또한, 상기 배경 렌더링부(132)에서 시뮬레이션되는 배경은 캐릭터와 마찬가지로 방송 전에 CG 콘텐츠 선택부(120)에서 미리 선택했던 배경이 사용된다. 또한, 가상 카메라 조작부(133)에서 제공하는 실시간 CG 영상 서비스에는 Unreal, Unity3D 등의 게임엔진이 사용되는데, 키보드나 마우스를 이용하여 3차원 가상공간에 가상의 카메라를 위치시킨 후 CG 영상을 생성한다.
또한, 상기 실시간 퍼포먼스 캡처부(110)는 얼굴 모션, 몸동작 모션 중 적어도 하나의 동작을 캡처하여 시뮬레이션할 수 있다.
또한, 상기 CG 콘텐츠 선택부(120)는 CG 콘텐츠 DB(140)에 저장되어 있는 실시간 퍼포먼스가 가능한 캐릭터들의 리스트에서 선택할 경우, 선택된 캐릭터가 실시간 방송에서 동작할 수 있다.
또한, 상기 CG 콘텐츠 선택부(120)는 CG 콘텐츠 DB(140)에 저장되어 있는 배경 등 상황 콘텐츠 리스트에서 선택할 경우, 선택된 배경 등 상황이 실시간 방송에서 동작할 수 있다.
도 2는 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템의 방송 서비스의 흐름도이다.
도 2를 참조하면, 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템(100)의 방송 서비스는 사용자가 제작하기 원하는 캐릭터나 상황 콘텐츠를 선택하는 단계(210), 사용자가 퍼포먼스 캡처 장비를 활용하여 얼굴 및 몸동작을 캡처하는 단계(220), 캡처된 사용자의 동작 및 캐릭터의 동작과 상황 콘텐츠를 활용하여 실시간으로 CG 영상을 렌더링하는 단계(230), 그리고 렌더링 된 CG 영상을 실시간으로 방송하는 단계(240)로 구성된다.
도 3은 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템에서 CG 캐릭터 선택 화면 설계의 예를 나타낸 도면이다.
도 3에 도시된 바와 같이, 예시는 사각 캐릭터, 삼각 캐릭터, 오각 캐릭터로 단순하게 구분되어 있으나, 실제에 활용될 때는 다양한 얼굴과 몸, 머리 스타일, 옷 스타일들이 구비된 캐릭터로 서비스 될 수 있다.
도 4는 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템에서 상황 콘텐츠 선택 화면 설계의 예를 나타낸 도면이다.
도 4를 참조하면, CG 영상에서 활용될 수 있는 상황 콘텐츠는 배경 정보, 효과 정보 등을 포함하게 되는데 이 예시에는 배경 정보만을 예시로 나타내었다. 사용자가 제작하고자 하는 콘텐츠가 계곡, 길거리, 바다 등 여러 배경을 선택할 수 있도록 구성되어 있으며, CG 영상에 활용될 수 있도록 사진, 동영상, 3차원 모델 등의 형태로 구성될 수 있다.
도 5는 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템에서 캐릭터 선택과 상황 콘텐츠 선택에 따른 실시간 CG 영상의 예를 나타낸 도면이다.
도 5를 참조하면, 거리 상황에서 오각 캐릭터가 연기하는 모습을 예시로 들었다. 여기에서 오각 캐릭터는 퍼포먼스 캡처 장비에 의해 캡처된 사용자의 움직임에 따라 실시간으로 움직이게 된다. 연기자가 실시간으로 방송 서비스 하는 경우 시청자가 실시간으로 댓글 등의 반응에 대해 연기자가 반응할 경우 이 반응이 CG 영상 콘텐츠 속으로 추가되어 다시 방송으로 스트리밍되어 실시간으로 상호작용이 가능하다.
도 6은 본 발명에 따른 실시간 CG 영상 방송 서비스 시스템에서 실시간 CG 영상 방송 서비스의 최종 서비스 형태를 나타낸 도면이다.
도 6을 참조하면, 퍼포먼스 캡처 장비를 장착하고 연기하고 있는 사용자가 있고, 가상 카메라를 활용하여 미리 설정되어 있는 배경과 캐릭터를 오버레이 시켜 렌더링한 영상이 실시간으로 스마트폰과 TV 등으로 서비스되고 있는 실시간 CG 영상 방송 서비스를 보여준다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: (본 발명)실시간 CG 영상 방송 서비스 시스템
111: 실시간 얼굴 모션 캡처부 112: 실시간 몸동작 모션 캡처부
120: CG 콘텐츠 선택부 121: CG 캐릭터 선택부
122: 상황 콘텐츠 선택부 130: 실시간 CG 영상 렌더링부
131: 캐릭터 렌더링부 132: 배경 렌더링부
133: 가상 카메라 조작부 134: 통합 렌더링부
140: CG 콘텐츠 DB 150: 실시간 CG 영상 방송 서비스부
160: CG 콘텐츠 관리부 161: CG 캐릭터 관리부
162: 상황 콘텐츠 관리부 170: 유무선 인터넷

Claims (9)

  1. 방송이 시작되면서 실시간으로 연기자의 얼굴 및 몸동작의 움직임을 센싱하여 캡처 데이터를 생성하는 실시간 퍼포먼스 캡처부와;
    방송 시작시 방송에 사용될 캐릭터 및 상황 콘텐츠를 선택하는 CG 콘텐츠 선택부와;
    상기 실시간 퍼포먼스 캡처부에서 캡처된 캡처 데이터에 따라 상기 CG 콘텐츠 선택부에서 선택한 캐릭터를 CG 콘텐츠 DB로부터 가져와 실시간으로 애니메이션을 수행하고, 상기 CG 콘텐츠 선택부에서 선택한 상황 콘텐츠를 CG 콘텐츠 DB로부터 가져와 함께 렌더링함으로써 최종 CG 영상을 만들어내는 실시간 CG 영상 렌더링부; 및
    상기 실시간 CG 영상 렌더링부에서 제작된 최종 CG 영상을 유무선 인터넷을 통하여 실시간으로 송출하는 실시간 CG 영상 방송 서비스부를 포함하는 실시간 CG 영상 방송 서비스 시스템.
  2. 제1항에 있어서,
    주기적으로 CG 콘텐츠의 내용을 추가/변경/삭제의 관리를 수행하는 CG 콘텐츠 관리부를 더 포함하는 실시간 CG 영상 방송 서비스 시스템.
  3. 제2항에 있어서,
    상기 CG 콘텐츠 관리부는,
    CG 콘텐츠 DB에 있는 CG 캐릭터를 관리하는 것으로, 신규 CG 캐릭터를 추가하거나, 기존 캐릭터를 수정 혹은 삭제하는 CG 캐릭터 관리부와;
    CG 콘텐츠 DB에 있는 배경 등의 상황 콘텐츠를 관리하는 것으로, 신규 상황 콘텐츠를 추가하거나, 기존 콘텐츠를 수정 혹은 삭제하는 상황 콘텐츠 관리부로 구성된 실시간 CG 영상 방송 서비스 시스템.
  4. 제1항에 있어서,
    상기 실시간 퍼포먼스 캡처부는,
    얼굴의 움직임을 측정하는 센서로부터 얼굴의 움직임 정보를 추출하는 실시간 얼굴 모션 캡처부와;
    몸동작을 실시간으로 측정하는 센서로부터 몸의 움직임 정보를 추출하는 실시간 몸동작 모션 캡처부로 구성된 실시간 CG 영상 방송 서비스 시스템.
  5. 제1항에 있어서,
    상기 CG 콘텐츠 선택부는,
    CG 콘텐츠 DB에 있는 실시간 방송이 가능한 캐릭터 리스트들을 보며 방송을 하고 싶은 캐릭터를 선택하는 CG 캐릭터 선택부와;
    CG 콘텐츠 DB에 있는 실시간 CG 영상의 배경으로 사용하고 싶은 상황 콘텐츠를 선택하는 상황 콘텐츠 선택부로 구성된 실시간 CG 영상 방송 서비스 시스템.
  6. 제1항에 있어서,
    상기 실시간 CG 영상 렌더링부는,
    실시간 퍼포먼스 캡처부에서 전송해온 캡처 데이터를 활용하여 캐릭터의 얼굴과 몸의 움직임을 시뮬레이션하는 캐릭터 렌더링부와;
    3차원 배경 환경을 시뮬레이션하는 배경 렌더링부와;
    제작하고자 하는 CG 영상의 상황에 따라 캐릭터의 위치, 배경 등을 고려하여 3차원 상에서 CG 영상을 렌더링할 가상의 카메라 위치 및 방향을 조작하는 가상 카메라 조작부와;
    캐릭터 렌더링부에서 그려지는 캐릭터 영상과 배경 랜더링부에서 그려지는 배경 영상, 그리고 가상 카메라 조작부에서 나오는 최종 가상 카메라의 위치와 방향에서 보여지는 최종 CG 영상을 생성하는 통합 렌더링부로 구성된 실시간 CG 영상 방송 서비스 시스템.
  7. 제1항에 있어서,
    상기 실시간 퍼포먼스 캡처부는 얼굴 모션, 몸동작 모션 중 적어도 하나의 동작을 캡처하여 시뮬레이션하는 실시간 CG 영상 방송 서비스 시스템.
  8. 제1항에 있어서,
    상기 CG 콘텐츠 선택부는 CG 콘텐츠 DB에 저장되어 있는 실시간 퍼포먼스가 가능한 캐릭터들의 리스트에서 선택할 경우, 선택된 캐릭터가 실시간 방송에서 동작하는 실시간 CG 영상 방송 서비스 시스템.
  9. 제1항에 있어서,
    상기 CG 콘텐츠 선택부는 CG 콘텐츠 DB에 저장되어 있는 배경 등 상황 콘텐츠 리스트에서 선택할 경우, 선택된 배경 등 상황이 실시간 방송에서 동작하는 실시간 CG 영상 방송 서비스 시스템.
KR1020190093577A 2018-09-07 2019-07-31 실시간 cg 영상 방송 서비스 시스템 KR102200239B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180106825 2018-09-07
KR20180106825 2018-09-07

Publications (2)

Publication Number Publication Date
KR20200028830A true KR20200028830A (ko) 2020-03-17
KR102200239B1 KR102200239B1 (ko) 2021-01-08

Family

ID=70003900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190093577A KR102200239B1 (ko) 2018-09-07 2019-07-31 실시간 cg 영상 방송 서비스 시스템

Country Status (1)

Country Link
KR (1) KR102200239B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251534A1 (ko) * 2020-06-10 2021-12-16 주식회사 이엠피이모션캡쳐 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
KR102573931B1 (ko) * 2023-02-28 2023-08-31 주식회사 케타버스 상품공급자와 인플루언서의 매칭관리시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090044105A (ko) * 2007-10-31 2009-05-07 (주)한국인터넷소프트웨어 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR20180052496A (ko) 2016-11-10 2018-05-18 주식회사 다림비젼 가상 공연 스튜디오 시스템
KR101894955B1 (ko) * 2017-01-05 2018-09-05 주식회사 미디어프론트 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090044105A (ko) * 2007-10-31 2009-05-07 (주)한국인터넷소프트웨어 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR20180052496A (ko) 2016-11-10 2018-05-18 주식회사 다림비젼 가상 공연 스튜디오 시스템
KR101894955B1 (ko) * 2017-01-05 2018-09-05 주식회사 미디어프론트 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251534A1 (ko) * 2020-06-10 2021-12-16 주식회사 이엠피이모션캡쳐 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
KR20210153472A (ko) * 2020-06-10 2021-12-17 주식회사 이엠피이모션캡쳐 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
KR102573931B1 (ko) * 2023-02-28 2023-08-31 주식회사 케타버스 상품공급자와 인플루언서의 매칭관리시스템

Also Published As

Publication number Publication date
KR102200239B1 (ko) 2021-01-08

Similar Documents

Publication Publication Date Title
Pavlik Journalism in the age of virtual reality: How experiential media are transforming news
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
WO2019128787A1 (zh) 网络视频直播方法、装置及电子设备
WO2020090786A1 (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
US11709576B2 (en) Providing a first person view in a virtual world using a lens
US11363325B2 (en) Augmented reality apparatus and method
CN111080759B (zh) 一种分镜效果的实现方法、装置及相关产品
US20120272162A1 (en) Methods and systems for virtual experiences
CN109190503A (zh) 美颜方法、装置、计算装置和存储介质
CN109074679A (zh) 具有增强现实强化的基于场景的实时广告
CN112714305A (zh) 展示方法、装置、设备和计算机可读存储介质
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
TW201917556A (zh) 多屏互動方法、裝置及電子設備
JP6609078B1 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
US20190012834A1 (en) Augmented Content System and Method
WO2022102446A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法
JP7167388B1 (ja) 動画作成システム、動画作成装置、及び動画作成用プログラム
JP7344084B2 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
WO2023130715A1 (zh) 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
WO2022201944A1 (ja) 配信システム
CN116233513A (zh) 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant