KR102601160B1 - 버추얼 공간과 버추얼 아바타를 기초로 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템 - Google Patents
버추얼 공간과 버추얼 아바타를 기초로 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템 Download PDFInfo
- Publication number
- KR102601160B1 KR102601160B1 KR1020220125581A KR20220125581A KR102601160B1 KR 102601160 B1 KR102601160 B1 KR 102601160B1 KR 1020220125581 A KR1020220125581 A KR 1020220125581A KR 20220125581 A KR20220125581 A KR 20220125581A KR 102601160 B1 KR102601160 B1 KR 102601160B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- spectator
- data
- viewer
- avatar
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 17
- 238000007726 management method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 102220029485 rs398123559 Human genes 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Tourism & Hospitality (AREA)
- Social Psychology (AREA)
- Computer Graphics (AREA)
- Primary Health Care (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 개시의 일 측면에 따른 콘텐츠 서비스 시스템은, 공연자의 버추얼 아바타가 공연하는 무대로 세팅된 버추얼 공간을 생성하고, 버추얼 공간 및 공연자의 공연자 버추얼 아바타를 합성함으로써 버추얼 공연에 대한 공연 영상 데이터를 생성하는 아바타 버추얼 스튜디오 플랫폼 장치 및 복수의 관람자 장치들로부터 수신된 관람 모드 데이터를 기초로 공연 영상 데이터를 AR 데이터, VR 데이터 또는 노멀 영상 데이터로 인코딩하고, 인코딩된 데이터를, 복수의 관람자 장치들로 송출하는 콘텐츠 송출 플랫폼 장치를 포함한다.
Description
본 개시의 기술적 사상은 버추얼 공간과 버추얼 아바타를 기초로 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템에 대한 것으로서, 자세하게는 공연자와 관람자가 실시간으로 소통하는 인터랙티브 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템에 관한 것이다.
최근 코로나로 인해 국가 간 이동과 사람들의 모임이 제한되면서 가상 현실(virtual reality) 기반의 비대면 기술에 대한 관심이 커지고 있다. 이러한 추세에 따라, 방송, 영화, 공연 등의 영상 제작 분야에서도 버추얼 프로덕션(virtual production) 기술을 도입하는 시도들이 늘고 있다.
버추얼 프로덕션은 실시간 그래픽 렌더링(Real-time graphics rendering)과 카메라 트래킹(camera tracking) 기술을 기반으로 한 즉각적인 시각화와 영상 합성이 가능한 영상 촬영 기술로서, 영상 제작 공정의 효율성과 품질을 제고할 수 있는 기술이다. 가령, 버추얼 프로덕션은 영상 촬영 현장에서 카메라 움직임이 반영된 그래픽을 다양한 형태로 시각화 하여 실시간으로 카메라의 실사 영상과 합성하는 개념으로 사용될 수 있다.
이러한 버추얼 프로덕션은 주로 실내에서 이루어져 촬영 공간, 시간, 날씨 등의 제약을 줄일 수 있고, 복합적인 요소들이 동시적으로 촬영될 수 있어 영상 제작의 후반 작업(post production)의 시간을 줄일 수 있으므로, 영상 제작의 생산성 향상을 도모할 수 있는 장점이 있다.
다만, 버추얼 프로덕션 기술을 도입하여 영상을 촬영하는 경우, 공연자 또는 배우는 물리적으로 한정된 스튜디오 내에서 공연 또는 액팅을 해야하므로 물리적 한계가 존재할 수 있다.
한편, 비접촉을 실현하기 위해 버추얼 아바타를 통해 가상 현실 상에서 방송, 영화, 공연을 진행하는 상황이 발생하고 있다.
본 개시의 기술적 사상은 공연자와 관람자 간의 실시간 소통을 통해 인터랙티브 콘텐츠를 관람자에게 제공하는 콘텐츠 서비스 플랫폼 시스템을 제공한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 일 측면에 따른 콘텐츠 서비스 시스템은, 공연자의 버추얼 아바타가 공연하는 무대로 세팅된 버추얼 공간을 생성하고, 버추얼 공간 및 공연자의 공연자 버추얼 아바타를 합성함으로써 버추얼 공연에 대한 공연 영상 데이터를 생성하는 아바타 버추얼 스튜디오 플랫폼 장치 및 복수의 관람자 장치들로부터 수신된 관람 모드 데이터를 기초로 공연 영상 데이터를 AR 데이터, VR 데이터 또는 노멀 영상 데이터로 인코딩하고, 인코딩된 데이터를, 복수의 관람자 장치들로 송출하는 콘텐츠 송출 플랫폼 장치를 포함한다.
나아가, 아바타 버추얼 스튜디오 플랫폼 장치는, 공연자 버추얼 아바타 및 버추얼 공간을 합성하여 1차 공연 영상 데이터를 생성하고, 1차 공연 영상 데이터에 복수의 관람자 장치들로부터 수신된 관람자 버추얼 아바타들을 합성하여 2차 공연 영상 데이터를 생성하고, 1차 공연 영상 데이터 및 2차 공연 영상 데이터를 상기 콘텐츠 송출 플랫폼 장치로 출력한다.
나아가, 아바타 버추얼 스튜디오 플랫폼 장치는, 복수의 관람자 장치들 중 제1 관람자 장치부터 관람자 제거 요청이 수신되면, 기 1차 공연 영상 데이터를 상기 제1 관람자 장치에 제공하고, 복수의 관람자 장치들 중 제2 관람자 장치부터 관람자 제거 요청이 수신되지 않으면, 2차 공연 영상 데이터를 제2 관람자 장치에 제공한다.
나아가, 콘텐츠 송출 플랫폼 장치는, 복수의 관람자 장치들 중 제3 관람자 장치로부터 관람 모드를 수신하고, 관람 모드에 따라 2차 공연 영상 데이터에서 관람자 버추얼 아바타들을 선택적으로 제거하여 제3 관람자 장치에 제공한다.
나아가, 콘텐츠 송출 플랫폼 장치는, 관람 모드가 노멀 관람 모드이면, 관람자 버추얼 아바타들이 모두 렌더링된 2차 공연 영상 데이터를 제3 관람자 장치에 제공하고, 관람 모드가 그룹 관람 모드이면, 관람자 버추얼 아바타들 중, 제3 관람자 장치와 합의되지 않은 관람자 장치들과 관련된 관람자 버추얼 아바타들을 2차 공연 영상 데이터에서 제거하여 제3 관람자 장치에 제공하고,
관람 모드가 프라이빗 관람 모드이면, 제3 관람자 장치 외의 관람자 장치들과 관련된 관람자 버추얼 아바타들을 2차 공연 영상 데이터에서 제거하여 제3 관람자 장치에 제공한다.
나아가, 아바타 버추얼 스튜디오 플랫폼 장치는, 복수의 관람자 장치들로부터 관람 반응 데이터를 수신하고, 관람 반응 데이터를 기초로 버추얼 공연의 사운드를 조절하거나 버추얼 공간의 텍스쳐를 변경한다.
나아가, 관람 반응 데이터는, 복수의 관람자 장치들로부터 수신되는 실시간 댓글, 버추얼 공연에 참여하는 관람자 인원, 복수의 관람자 장치들로부터 수신되는 관람자 버추얼 아바타들의 위치, 관람자 버추얼 아바타들의 음성 중 적어도 하나를 포함한다.
본 개시의 실시예에 따르면, 콘텐츠 서비스 플랫폼 시스템은, 공연자와 관람자 간의 실시간 소통을 통해 인터랙티브 콘텐츠를 관람자에게 제공한다.
도 1은 본 개시의 예시적 실시예에 따른 콘텐츠 서비스 플랫폼 시스템(1)을 설명하는 도면이다.
도 2는 본 개시의 예시적 실시예에 따른 버추얼 아바타 제작 플랫폼(10)을 설명하는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 아바타 버추얼 스튜디오 플랫폼(20)을 설명하는 블록도이다.
도 4는 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)을 설명하는 블록도이다.
도 5는 본 개시의 예시적 실시예에 따른 아바타 버추얼 스튜디오 플랫폼(20)의 동작 방법을 설명하는 흐름도이다.
도 6은 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)의 동작 방법을 설명하는 흐름도이다.
도 7은 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)의 동작 방법을 설명하는 흐름도이다.
도 2는 본 개시의 예시적 실시예에 따른 버추얼 아바타 제작 플랫폼(10)을 설명하는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 아바타 버추얼 스튜디오 플랫폼(20)을 설명하는 블록도이다.
도 4는 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)을 설명하는 블록도이다.
도 5는 본 개시의 예시적 실시예에 따른 아바타 버추얼 스튜디오 플랫폼(20)의 동작 방법을 설명하는 흐름도이다.
도 6은 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)의 동작 방법을 설명하는 흐름도이다.
도 7은 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)의 동작 방법을 설명하는 흐름도이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다.
도 1은 본 개시의 예시적 실시예에 따른 콘텐츠 서비스 플랫폼 시스템(1)을 설명하는 도면이다.
도 1을 참조하면, 콘텐츠 서비스 플랫폼 시스템(1)은 공연, 영화, 드라마(이하, 공연) 등의 멀티미디어 콘텐츠를 콘텐츠 사용자(40)에게 제공하는 시스템일 수 있다. 콘텐츠 서비스 플랫폼 시스템(1)은 버추얼 아바타 제작 플랫폼(10), 아바타 버추얼 스튜디오 플랫폼(20) 및 콘텐츠 송출 플랫폼(30)을 포함할 수 있다. 버추얼 아바타 제작 플랫폼(10), 아바타 버추얼 스튜디오 플랫폼(20) 및 콘텐츠 송출 플랫폼(30) 및 콘텐츠 사용자(40)는 네트워크를 통해 상호 데이터를 송/수신할 수 있다.
버추얼 아바타 제작 플랫폼(10)은 버추얼 아바타 제작자의 서버에 구비되는 버추얼 아바타 생성 장치일 수 있다. 버추얼 아바타 제작 플랫폼(10)은 3차원 공간에 배치되며 액터 또는 공연자(이하, 공연자)를 촬영하는 복수의 2D 카메라 및/또는 3D 카메라등을 통해, 공연자의 행동을 트래킹하는 버추얼 아바타를 생성할 수 있다. 버추얼 아바타 제작 플랫폼(10)은 생성된 버추얼 아바타 데이터를 아바타 버추얼 스튜디오 플랫폼(20)으로 전송할 수 있다. 일부 실시예들에서, 버추얼 아바타 제작 플랫폼(20)은 공연을 관람하는 관람자의 실시간 관람 반응을 수신하고, 공연자에게 관람자의 실시간 관람 반응을 시각적, 청각적으로 제공할 수 있다. 예를 들어, 버추얼 아바타 제작 플랫폼(20)은 실시간 관람 반응(예를 들어, 관람자의 실시간 댓글, 관람자 버추얼 아바타들의 시선, 실시간 관람자 인원, 관람자 버추얼 아바타의 위치, 관람자 버추얼 아바타의 표정, 관람자 버추얼 아바타의 행동, 관람자 버추얼 아바타의 음성 등)을 기초로 관람자의 반응을 통계적으로 분석하여, 공연자에게 제공할 수 있다. 공연자는 통계적으로 분석된 관람자의 반응을 기초로 공연의 진행을 조절할 수 있으므로, 공연자와 관람자 간의 인터랙티브 콘텐츠가 제공될 수 있다.
아바타 버추얼 스튜디오 플랫폼(20)은 버추얼 공연 연출자의 서버에 구비되는 공연 영상 생성 및 편집 장치일 수 있다. 아바타 버추얼 스튜디오 플랫폼(20)은 공연 세트장으로 세팅된 버추얼 공간과, 공연자의 버추얼 아바타를 합성함으로써 공연 영상을 생성할 수 있다. 일부 실시예들에서, 아바타 버추얼 스튜디오 플랫폼(20)은 콘텐츠 사용자(이하, 관람자)(40)의 버추얼 아바타를 기초로 공연 영상을 생성할 수 있다. 아바타 버추얼 스튜디오 플랫폼(20)는 생성된 공연 영상 데이터를 콘텐츠 송출 플랫폼(30)으로 전송할 수 있다. 공연 영상 데이터는 버추얼 공연을 복수의 시점들에서 촬영한 영상 데이터일 수 있다. 일부 실시예들에서, 아바타 버추얼 스튜디오 플랫폼(20)은 공연을 관람하는 관람자의 실시간 관람 반응(예를 들어, 관람자의 실시간 댓글, 관람자 버추얼 아바타들의 시선, 실시간 관람자 인원, 관람자 버추얼 아바타의 위치, 관람자 버추얼 아바타의 표정, 관람자 버추얼 아바타의 행동, 관람자 버추얼 아바타의 음성 등)을 기초로 공연의 사운드를 조절하고, 버추얼 공간의 텍스쳐를 변경할 수 있다. 통계적으로 분석된 관람자의 반응을 기초로 공연의 분위기 및 사운드가 제어되므로, 관람자가 참여하는 인터랙티브 콘텐츠가 제공될 수 있다.
콘텐츠 송출 플랫폼(30)은 버추얼 공연 유통자의 서버에 구비되는 공연 영상 송출 장치일 수 있다. 콘텐츠 송출 플랫폼(30)은 관람자(40)에게 다시점 공연 영상 데이터를 송출할 수 있다. 일부 실시예들에서, 콘텐츠 송출 플랫폼(30)은 관람자(40)의 요청에 따라 특정 시점에서 촬영한 영상 데이터를 송출할 수 있다. 예를 들어, 관람자가 VR 장치를 사용하는 경우, 콘텐츠 송출 플랫폼(30)은 버추얼 공간 내 관람자(40)의 버추얼 아바타의 위치에 대응하는 시점에서 촬영된 영상 데이터를 VR 장치에 송출할 수 있다. 일부 실시예들에서, 콘텐츠 송출 플랫폼(30)은 다시점 공연 데이터를 클라우드 서버에 송출할 수 있고, 관람자(40)는 영상 재생 장치를 사용하여 클라우드 서버로부터 다시점 공연 영상을 다운로드하여 특정 시점의 공연 영상을 재생할 수 있다.
관람자(40)는 복수의 클라이언트들(예를 들어, 클라이언트1, 클라이언트2)을 사용하여 공연 영상을 관람할 수 있으며, 복수의 클라이언트들 각각은 다양한 종류의 영상 재생 장치일 수 있다. 예를 들어, 복수의 클라이언트들 각각은 AR(Augmented Reality) 장치, VR 장치(Virtual Reality) 장치, XR 장치(Extended Reality) 장치, 미디어 재생 장치, PC(Personal Computer), 태블릿, 모바일 장치 중 적어도 하나일 수 있다.
도 2는 본 개시의 예시적 실시예에 따른 버추얼 아바타 제작 플랫폼(10)을 설명하는 블록도이다.
도 2를 참조하면, 버추얼 아바타 제작 플랫폼(10)은 카메라(11), 마이크(12), 볼륨 매트릭 시스템(12), 모션 캡쳐 시스템(14), 아바타 합성 시스템(15), 실시간 반응 관리 시스템(16)을 포함할 수 있다.
카메라(11)는 공연자의 위치를 기준으로 3차원 공간에 배치되는 복수의 카메라들일 수 있다. 또는, 카메라(11)는 공연자의 신체에 부착된 센서들을 감지하는 3D 스캔 시스템일 수 있다.
마이크(12)는 공연자의 음성을 녹음하기 위해 공연자의 위치를 기준으로 3차원 공간에 배치되는 복수의 마이크들일 수 있고, 공연자의 음성을 녹음할 수 있다.
블륨 매트릭 시스템(13)은 동적으로 움직이는 공연자를 촬영한 카메라의 영상 데이터를 기초로 공연자의 모습에 대응하는 3D 모델링 데이터를 생성할 수 있다.
모션 캡쳐 시스템(14)은 공연자 신체에 부착된 센서들에 대한 카메라의 스캔 데이터를 기초로 센서의 위치값을 통해 공연자의 움직임 또는 표정에 대응하는 모션 데이터를 생성할 수 있다.
아바타 합성 시스템(15)은 3D 모델링 데이터, 모션 데이터, 음성 데이터를 기초로 공연자의 버추얼 아바타를 생성할 수 있다. 버추얼 아바타는 공연자의 실제 모습과 일치되도록 3D 모델링 데이터, 모션 데이터에 텍스쳐 매핑될 수도 있고, 실제와 상이한 모습으로 텍스쳐 매핑될 수도 있다.
실시간 반응 관리 시스템(16)은 관람자의 실시간 관람 반응에 대한 관람 반응 데이터를 수집하고, 관람 반응 데이터를 가공하여 실시간 관람 반응 정보를 공연자에게 제공할 수 있다. 구체적으로, 실시간 반응 관리 시스템(16)은 관람자의 실시간 댓글, 관람자 버추얼 아바타들의 시선, 실시간 관람자 인원, 관람자 버추얼 아바타의 위치, 관람자 버추얼 아바타의 표정, 관람자 버추얼 아바타의 행동, 관람자 버추얼 아바타의 음성을 수집할 수 있다. 예를 들어, 실시간 반응 관리 시스템(16)은 관람자의 실시간 댓글들 중 미리 정해진 단어의 횟수를 카운트하고, 카운트된 값을 기초로 복수의 관람자들의 실시간 관람 반응 정보를 생성할 수 있다. 실시간 반응 관리 시스템(16)은 관람자 버추얼 아바타들의 시선을 모니터링하여, 공연자에 대한 집중도를 산출함으로써 복수의 관람자들의 실시간 관람 반응 정보를 생성할 수 있다. 실시간 반응 관리 시스템(16)은 관람자 버추얼 아바타의 표정을 기계 학습된 모델을 통해 분석하여 복수의 관람자들의 반응 정보를 생성할 수 있다. 실시간 반응 관리 시스템(16)은 버추얼 아바타의 행동을 기계 학습된 모델을 통해 분석하여 복수의 관람자들의 반응 정보를 생성할 수 있다. 실시간 반응 관리 시스템(16)은 STT(Speech-to-Text) 기술 또는 음성 파형도 분석을 기초로 관람자의 음성에 의한 복수의 관람자들의 반응 정보를 생성할 수 있다.
아바타 합성 시스템(15)은 관람자의 실시간 관람 반응을 기초로 공연자의 버추얼 아바타의 크기를 조절하거나 버추얼 아바타에 매핑되는 텍스쳐를 변경할 수 있다.
즉, 관람자와 공연자 사이의 인터랙티브 콘텐츠가 교환됨으로써 실감형 가상 공연이 제공될 수 있다.
버추얼 아바타 제작 플랫폼(10)은 공연자의 실시간 공연을 모사하는 버추얼 아바타에 대한 공연자 아바타 데이터를 아바타 버추얼 스튜디오 플랫폼(20)에 출력할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 아바타 버추얼 스튜디오 플랫폼(20)을 설명하는 블록도이다.
도 3을 참조하면, 아바타 버추얼 스튜디오 플랫폼(20)은 버추얼 공간 관리 시스템(21), 버추얼 아바타 관리 시스템(22), 버추얼 카메라(23), 영상 편집 시스템(24), 제1 처리 장치(25) 및 제2 처리 장치(26)를 포함할 수 있다.
버추얼 공간 관리 시스템(21)은 공연자의 버추얼 아바타가 공연하는 가상 무대로 세팅된 3차원 버추얼 공간을 생성할 수 있다. 버추얼 공간 관리 시스템(21)은 공연자의 버추얼 아바타와 버추얼 공간을 합성함으로써 공연 영상 데이터를 생성할 수 있다. 일부 실시예들에서, 버추얼 공간 관리 시스템(21)은 관람자의 버추얼 아바타를 추가적으로 합성함으로써 공연 영상 데이터를 생성할 수 있다. 버추얼 공간 관리 시스템(21)은 관람자의 실시간 관람 반응을 기초로 공연과 관련된 데이터를 편집할 수 있다. 구체적으로, 버추얼 공간 관리 시스템(21)은 공연의 사운드를 조절하거나, 버추얼 공간의 구조를 변경할 수 있다. 버추얼 공간의 구조를 변경하는 것은, 버추얼 공간의 물리적 크기를 조절하거나, 버추얼 공간의 3D 쉐이프를 변경하거나, 버추얼 공간이 나타내는 무대의 설치물을 변경하거나, 버추얼 공간의 벽면에 투영되는 텍스쳐를 변경하는 것 중 하나일 수 있다.
버추얼 아바타 관리 시스템(22)은 공연자 아바타 데이터 및 관람자 아바타 데이터를 관리할 수 있다. 버추얼 아바타 관리 시스템(22)은 버추얼 공간 내 공연자 버추얼 아바타 및 관람자 버추얼 아바타의 위치와, 버추얼 아바타의 3D 모델링 데이터를 매핑하여 관리할 수 있다. 공연자 버추얼 아바타의 위치 및 관람자 버추얼 아바타의 위치는 시간에 따라 변경될 수 있다.
버추얼 카메라(23)는 버추얼 공간 내 복수의 시점에 따라 촬영되는 다시점 공연 영상 데이터를 획득할 수 있다. 예를 들어, 버추얼 카메라(23)는 공연자 버추얼 아바타의 시점, 관람자의 버추얼 아바타의 시점 등 복수의 시점들에서 가상 공연을 촬영할 수 있다.
영상 편집 시스템(24)은 버추얼 카메라(23)로부터 다시점 공연 영상 데이터를 수신하고, 다시점 공연 영상 데이터를 편집할 수 있다.
제1 처리 장치(25)는 버추얼 공간 관리 시스템(21)에 의해 생성된 버추얼 공간 데이터를 압축하여 출력할 수 있다. 제2 처리 장치(26)는 영상 편집 시스템(24)에 의해 편집된 다시점 공연 영상 데이터를 압축하여 출력할 수 있다. 제1 처리 장치(25) 및 제2 처리 장치(26)는 GPU(Graphic Processing Unit), CPU(Central Processing Uint), NPU(Neural Processing Unit) 등과 같은 프로세서를 포함할 수 있다.
도 4는 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)을 설명하는 블록도이다.
도 4를 참조하면, 콘텐츠 송출 플랫폼(30)은 스위칭 모듈(31), 제1 내지 3 인코더(32 내지 34), VR 데이터 송출 시스템(35), AR 데이터 송출 시스템(36), 클라우드 송출 시스템(37)을 포함할 수 있다.
스위칭 모듈(31)은 공연 영상 데이터를 수신하고, 모드 데이터를 기초로 제1 내지 3 인코더(32 내지 34) 중 하나에 공연 영상 데이터를 출력할 수 있다. 모드 데이터는 관람자가 VR 모드, AR 모드, 일반 관람 모드 중 어느 모드로 공연을 관람할지 나타낼 수 있다. 예를 들어, 관람자가 VR 모드로 공연 관람을 요청하는 경우, 스위칭 모듈(31)은 제1 인코더(32)에 공연 영상 데이터를 출력할 수 있고, 관람자가 AR 모드로 공연 관람을 요청하는 경우, 스위칭 모듈(31)은 제2 인코더(33)에 공연 영상 데이터를 출력할 수 있고, 관람자가 일반 관람 모드로 공연 관람을 요청하는 경우, 스위칭 모듈(31)은 제3 인코더(33)에 공연 영상 데이터를 출력할 수 있다.
복수의 인코더들(32~34)은 VR 데이터, AR 데이터 및 노멀 영상 데이터 중 적어도 하나를 포함하는 서로 다른 복수의 유형들로 공연 영상 데이터를 인코딩할 수 있다. 예컨대, 제1 인코더(32), 제2 인코더(33) 및 제3 인코더(34)는 각각 VR 데이터, AR 데이터 및 노멀 영상 데이터를 포함하는 서로 다른 복수의 유형들로 공연 영상 데이터를 인코딩할 수 있다.
제1 인코더(32)는 공연 영상 데이터를 VR 모드로 인코딩하여 출력할 수 있다. 구체적으로, 제1 인코더(32)는 관람자의 버추얼 아바타의 1인칭 시점에서 바라 본 공연 영상을 VR 포맷에 따라 인코딩함으로써 VR 데이터를 생성하고, VR 데이터를 VR 데이터 송출 시스템(35)에 제공할 수 있다. VR 데이터 송출 시스템(35)은 VR 데이터를 관람자(40)에게 송출할 수 있다. 관람자(40)는 VR 데이터를 기초로 버추얼 공간에서 1인칭으로 가상 공연을 관람하는 가상 현실을 구현할 수 있다.
제2 인코더(33)는 공연 영상 데이터를 AR 모드로 인코딩함으로써 AR 데이터를 생성하고, AR 데이터를 AR 데이터 송출 시스템(36)에 제공할 수 있다. 구체적으로, 제2 인코더(33)는 공연 영상 데이터 중 버추얼 공간을 제외한 공연자의 버추얼 아바타에 대한 데이터를 추출하고, 3인칭 시점에서 공연자의 버추얼 아바타를 바라 본 공연 영상을 AR 포맷에 따라 인코딩할 수 있다. 일부 실시예들에서, 제2 인코더(33)는 공연 영상 데이터 중 복수의 관람자들의 버추얼 아바타에 대한 데이터를 추출하고 AR 포맷에 따라 인코딩할 수 있다. 관람자(40)는 AR 데이터를 기초로 공연자의 버추얼 아바타(및/또는 관람자의 버추얼 아바타)와 실제 3D 배경을 합성함으로써 증강 현실을 구현할 수 있다.
제3 인코더(34)는 3인칭 시점에서 가상 공연을 바라 본 공연 영상을 인코딩할 수 있다. 즉, 제2 인코더(33)와 달리, 제3 인코더(34)는 버추얼 공간 및 공연자의 버추얼 아바타에 대한 공연 영상 데이터를 인코딩하여 클라우드 송출 시스템(37)에 제공할 수 있다. 일부 실시예들에서, 제3 인코더(34)는 버추얼 공간, 공연자의 버추얼 아바타 및 관람자의 버추얼 아바타에 대한 공연 연상 데이터를 인코딩할 수도 있다. 클라우드 송출 시스템(37)은 인코딩된 공연 영상 데이터를 클라우드 서버(38)에 제공할 수 있다. 클라우드 서버(38)는 공연 영상 데이터를 저장하고, 사용자의 요청에 따라 공연 영상 데이터를 사용자에게 제공할 수 있다.
관람자(40)가 사용하는 장치인 클라이언트1, 클라이언트2 등은 VR 장치, AR 장치 및 영상 재생 장치를 포함할 수 있으며, 관람자 반응 데이터, 모드 데이터 및 관람자 아바타 데이터를 출력할 수 있다.
관람 반응 데이터는, 실시간 댓글, 관람자 버추얼 아바타들의 시선, 실시간 관람자 인원, 관람자 버추얼 아바타의 위치, 관람자 버추얼 아바타의 표정, 관람자 버추얼 아바타의 행동 또는 관람자 버추얼 아바타의 음성을 의미할 수 있다. 관람 반응 데이터는 버추얼 아바타 제작 플랫폼(10)에 제공될 수 있다.
모드 데이터는 VR 모드, AR 모드, 일반 관람 모드 중 어느 하나를 의미할 수 있다. 모드 데이터는, 콘텐츠 송출 플랫폼(30)에 제공될 수 있다.
관람자 아바타 데이터는, 관람자(40)의 장치가 생성한 관람자 버추얼 아바타에 대한 정보를 포함할 수 있다. 버추얼 아바타 제작 플랫폼(10), 아바타 버추얼 스튜디오 플랫폼(20)에 제공될 수 있다. 관람자 아바타 데이터는 아바타 버추얼 스튜디오 플랫폼(20)에 제공될 수 있다.
도 5는 본 개시의 예시적 실시예에 따른 아바타 버추얼 스튜디오 플랫폼(20)의 동작 방법을 설명하는 흐름도이다. 도 5는 도 1을 참조하여 설명될 수 있다.
도 5를 참조하면, 아바타 버추얼 스튜디오 플랫폼(20)은 공연자의 버추얼 아바타 및 버추얼 공간을 합성하여 1차 공연 데이터를 생성할 수 있다(S61).
아바타 버추얼 스튜디오 플랫폼(20)은 1차 공연 데이터에, 복수의 관람자 버추얼 아바타들의 위치, 행동 및 음성을 합성하여 2차 공연 데이터를 생성할 수 있다(S62).
아바타 버추얼 스튜디오 플랫폼(20)은 1차 공연 데이터 및 2차 공연 데이터를 콘텐츠 송출 플랫폼(30)에 제공할 수 있다(S63).
도 6은 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)의 동작 방법을 설명하는 흐름도이다. 도 6은 도 1 및 도 5를 참조하여 설명될 수 있다.
도 6을 참조하면, 콘텐츠 송출 플랫폼(30)은 1차 및 2차 공연 데이터를 수신할 수 있다(S71).
콘텐츠 송출 플랫폼(30)은 관람자(40)로부터 관람자 제거 요청을 수신할 수 있다(S52).
콘텐츠 송출 플랫폼(30)은 관람자 제거 요청을 수신하지 않은 경우(S52=N), 1차 공연 데이터를 관람자(40)에게 송출할 수 있고(S53), 관람자 제거 요청을 수신한 경우(S52=Y), 2차 공연 데이터를 관람자(40)에게 송출할 수 있다(S54).
본 개시의 예시적 실시예에 따르면, 관람자 제거 요청에 따라, 관람자의 버추얼 아바타가 제거된 공연 영상이 관람자(40)에게 전송될 수 있으므로, 콘텐츠 송출 플랫폼(30)과 관람자(40) 간의 데이터 전송량이 감소할 수 있고, 개선된 딜레이를 갖는 인터랙티브 콘텐츠가 제공될 수 있다.
도 7은 본 개시의 예시적 실시예에 따른 콘텐츠 송출 플랫폼(30)의 동작 방법을 설명하는 흐름도이다. 도 7은 도 1을 참조하여 설명될 수 있다.
도 7을 참조하면, 콘텐츠 송출 플랫폼(30)은 관람자(40)로부터 관람 모드를 수신할 수 있다(S71). 관람 모드는, 노멀 관람 모드, 그룹 관람 모드 및 프라이빗 관람 모드를 포함할 수 있다. 노멀 관람 모드는, 본인을 포함하는 모든 관람자의 버추얼 아바타가 버추얼 공간에 렌더링된 상태에서 공연을 관람하는 모드를 의미할 수 있고, 그룹 관람 모드는, 본인 및 본인가 합의된 다른 관람자의 버추얼 아바타가 버추얼 공간에 렌더링된 상태에서 공연을 관람하는 모드를 의미할 수 있고, 프라이빗 관란 모드는 본인의 버추얼 아바타만 버추얼 공간에 렌더링된 상태에서 공연을 관람하는 모드를 의미할 수 있다.
관람 모드가 노멀 관람 모드인 경우(S72=Y), 콘텐츠 송출 플랫폼(30)은 버추얼 공간, 공연자의 버추얼 아바타 및 모든 관람자들의 버추얼 아바타가 합성된 노멀 공연 데이터를 관람자(40)에게 송출할 수 있다(S75).
관람 모드가 그룹 관람 모드인 경우(S73=Y), 콘텐츠 송출 플랫폼(30)은 버추얼 공간, 공연자의 버추얼 아바타 및 상호 합의된 관람자들의 버추얼 아바타가 합성된 공연 데이터를 관람자(40)에게 송출할 수 있다(S76).
관람 모드가 프라이빗 관람 모드인 경우(S74=Y), 콘텐츠 송출 플랫폼(30)은 버추얼 공간, 공연자의 버추얼 아바타 및 해당 관람자의 버추얼 아바타가 합성된 공연 데이터를 관람자(40)에게 송출할 수 있다(S77).
본 개시의 예시적 실시예에 따르면, 관람 모드에 따라 버추얼 공간 내의 관람자 아바타를 선택적으로 렌더링함으로써 관람자(40)에게 쾌적한 관람 환경을 제공할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시 예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시 예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 버추얼 아바타 제작 플랫폼 20: 아바타 버추얼 스튜디오 플랫폼
30: 콘텐츠 송출 플랫폼 40: 콘텐츠 사용자
11: 카메라 12: 마이크
13: 볼륨 매트랙 시스템 14: 모션 캡쳐 시스템
15: 아바타 합성 시스템 16: 실시간 반응 관리 시스템
17: 버추얼 공간 관리 시스템 22: 버추얼 아바타 관리 시스템
23: 버추얼 카메라 24: 영상 편집 시스템
25: 제1 처리 장치 26: 제2 처리 장치
31: 스위칭 모듈 32: 제1 인코더
33: 제2 인코더 34: 제3 인코더
35: VR 데이터 송출 시스템 36:AR 데이터 송출 시스템
37: 클라우드 송출 시스템 38: 클라우드 서버
30: 콘텐츠 송출 플랫폼 40: 콘텐츠 사용자
11: 카메라 12: 마이크
13: 볼륨 매트랙 시스템 14: 모션 캡쳐 시스템
15: 아바타 합성 시스템 16: 실시간 반응 관리 시스템
17: 버추얼 공간 관리 시스템 22: 버추얼 아바타 관리 시스템
23: 버추얼 카메라 24: 영상 편집 시스템
25: 제1 처리 장치 26: 제2 처리 장치
31: 스위칭 모듈 32: 제1 인코더
33: 제2 인코더 34: 제3 인코더
35: VR 데이터 송출 시스템 36:AR 데이터 송출 시스템
37: 클라우드 송출 시스템 38: 클라우드 서버
Claims (7)
- 복수의 관람자 장치들에 콘텐츠 데이터를 제공하는 콘텐츠 서비스 시스템으로서,
공연자의 버추얼 아바타가 공연하는 무대로 세팅된 버추얼 공간을 생성하고, 상기 버추얼 공간 및 상기 공연자의 공연자 버추얼 아바타를 합성함으로써 버추얼 공연에 대한 공연 영상 데이터를 생성하는 아바타 버추얼 스튜디오 플랫폼 장치; 및
복수의 관람자 장치들로부터 수신된 관람 모드 데이터를 기초로 상기 공연 영상 데이터를 AR 데이터, VR 데이터 및 노멀 영상 데이터 중 적어도 하나를 포함하는 서로 다른 복수의 유형들로 인코딩하고, 인코딩된 데이터를, 상기 복수의 관람자 장치들로 송출하는 콘텐츠 송출 플랫폼 장치를 포함하고,
상기 아바타 버추얼 스튜디오 플랫폼 장치는,
상기 공연자 버추얼 아바타 및 상기 버추얼 공간을 합성하여 1차 공연 영상 데이터를 생성하고, 상기 1차 공연 영상 데이터에 상기 복수의 관람자 장치들로부터 수신된 관람자 버추얼 아바타들을 합성하여 2차 공연 영상 데이터를 생성하고, 상기 1차 공연 영상 데이터 및 상기 2차 공연 영상 데이터를 상기 콘텐츠 송출 플랫폼 장치로 출력하며,
상기 콘텐츠 송출 플랫폼 장치는,
상기 복수의 관람자 장치들 중 특정 관람자 장치로부터 관람 모드를 수신하고, 상기 관람 모드에 따라 상기 2차 공연 영상 데이터에서 상기 관람자 버추얼 아바타들을 선택적으로 제거하여 상기 특정 관람자 장치에 제공하는 것을 특징으로 하는 콘텐츠 서비스 시스템. - 삭제
- 제1항에 있어서,
상기 아바타 버추얼 스튜디오 플랫폼 장치는,
상기 복수의 관람자 장치들 중 제1 관람자 장치부터 관람자 제거 요청이 수신되면, 상기 1차 공연 영상 데이터를 상기 제1 관람자 장치에 제공하고,
상기 복수의 관람자 장치들 중 제2 관람자 장치부터 관람자 제거 요청이 수신되지 않으면, 상기 2차 공연 영상 데이터를 상기 제2 관람자 장치에 제공하는 것을 특징으로 하는 콘텐츠 서비스 시스템. - 삭제
- 제3항에 있어서,
상기 콘텐츠 송출 플랫폼 장치는,
상기 관람 모드가 노멀 관람 모드이면, 상기 관람자 버추얼 아바타들이 모두 렌더링된 상기 2차 공연 영상 데이터를 제3 관람자 장치에 제공하고,
상기 관람 모드가 그룹 관람 모드이면, 상기 관람자 버추얼 아바타들 중, 상기 제3 관람자 장치와 합의되지 않은 관람자 장치들과 관련된 관람자 버추얼 아바타들을 상기 2차 공연 영상 데이터에서 제거하여 상기 제3 관람자 장치에 제공하고,
상기 관람 모드가 프라이빗 관람 모드이면, 상기 제3 관람자 장치 외의 관람자 장치들과 관련된 관람자 버추얼 아바타들을 상기 2차 공연 영상 데이터에서 제거하여 상기 제3 관람자 장치에 제공하는 것을 특징으로 하는 콘텐츠 서비스 시스템. - 제1항에 있어서,
상기 아바타 버추얼 스튜디오 플랫폼 장치는,
상기 복수의 관람자 장치들로부터 관람 반응 데이터를 수신하고, 상기 관람 반응 데이터를 기초로 상기 버추얼 공연의 사운드를 조절하거나 상기 버추얼 공간의 텍스쳐를 변경하는 것을 특징으로 하는 콘텐츠 서비스 시스템. - 제6항에 있어서,
상기 관람 반응 데이터는,
상기 복수의 관람자 장치들로부터 수신되는 실시간 댓글, 상기 버추얼 공연에 참여하는 관람자 인원, 상기 복수의 관람자 장치들로부터 수신되는 관람자 버추얼 아바타들의 위치, 상기 관람자 버추얼 아바타들의 음성 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 서비스 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220125581A KR102601160B1 (ko) | 2022-09-30 | 2022-09-30 | 버추얼 공간과 버추얼 아바타를 기초로 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220125581A KR102601160B1 (ko) | 2022-09-30 | 2022-09-30 | 버추얼 공간과 버추얼 아바타를 기초로 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102601160B1 true KR102601160B1 (ko) | 2023-11-13 |
Family
ID=88746617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220125581A KR102601160B1 (ko) | 2022-09-30 | 2022-09-30 | 버추얼 공간과 버추얼 아바타를 기초로 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102601160B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080082759A (ko) * | 2007-03-09 | 2008-09-12 | (주) 이브로드캐스트 | 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법 |
| KR20180021623A (ko) * | 2016-08-22 | 2018-03-05 | 정우성 | Vr 콘텐츠 제공 시스템 및 방법 |
| KR102383102B1 (ko) * | 2021-08-25 | 2022-04-11 | 권하연 | 가상 현실을 이용하여 컬러 테라피를 제공하는 방법 및 장치 |
| KR20220084666A (ko) * | 2020-12-14 | 2022-06-21 | 박수인 | 반려동물 회상 서비스 제공 방법 및 시스템 |
-
2022
- 2022-09-30 KR KR1020220125581A patent/KR102601160B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080082759A (ko) * | 2007-03-09 | 2008-09-12 | (주) 이브로드캐스트 | 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법 |
| KR20180021623A (ko) * | 2016-08-22 | 2018-03-05 | 정우성 | Vr 콘텐츠 제공 시스템 및 방법 |
| KR20220084666A (ko) * | 2020-12-14 | 2022-06-21 | 박수인 | 반려동물 회상 서비스 제공 방법 및 시스템 |
| KR102383102B1 (ko) * | 2021-08-25 | 2022-04-11 | 권하연 | 가상 현실을 이용하여 컬러 테라피를 제공하는 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10699482B2 (en) | Real-time immersive mediated reality experiences | |
| US11393483B2 (en) | Method for transmitting and receiving audio data and apparatus therefor | |
| Patricio et al. | Toward six degrees of freedom audio recording and playback using multiple ambisonics sound fields | |
| CN112492380A (zh) | 音效调整方法、装置、设备及存储介质 | |
| US20210194942A1 (en) | System, platform, device, and method for spatial audio production and virtual reality environment | |
| KR20150105058A (ko) | 온라인을 이용한 혼합현실형 가상 공연 시스템 | |
| US20240048676A1 (en) | Method, apparatus and device for processing immersive media data, storage medium | |
| KR102567931B1 (ko) | 시청자 반응을 기초로 인터랙티브 시나리오를 업데이트하는 콘텐츠 생성 플랫폼 장치 | |
| JP7457525B2 (ja) | 受信装置、コンテンツ伝送システム、及びプログラム | |
| Kasuya et al. | LiVRation: Remote VR live platform with interactive 3D audio-visual service | |
| Pike et al. | Object-based 3D audio production for virtual reality using the audio definition model | |
| Moustakas et al. | Interactive audio realities: An augmented/mixed reality audio game prototype | |
| Shirley et al. | Platform independent audio | |
| KR20190031220A (ko) | Vr 콘텐츠 제공 시스템 및 방법 | |
| Young et al. | Telefest: Augmented virtual teleportation for live concerts | |
| WO2019193244A1 (en) | An apparatus, a method and a computer program for controlling playback of spatial audio | |
| KR102601160B1 (ko) | 버추얼 공간과 버추얼 아바타를 기초로 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템 | |
| GB2592473A (en) | System, platform, device and method for spatial audio production and virtual rality environment | |
| Regenbrecht et al. | Voxelvideos for entertainment, education, and training | |
| Susal et al. | Immersive audio for VR | |
| Schweiger et al. | Tools for 6-dof immersive audio-visual content capture and production | |
| CN115494962A (zh) | 一种虚拟人实时互动系统及方法 | |
| Young et al. | Extended reality: music in immersive XR environments: the possibilities (and approaches) for (AI) music in immersive XR environments | |
| WO2020153092A1 (ja) | 情報処理装置及び情報処理方法 | |
| Jang et al. | Object-based 3d audio scene representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |