KR20230124304A - 온라인 가상 공연 장치 및 방법, 온라인 가상 공연 시스템 - Google Patents

온라인 가상 공연 장치 및 방법, 온라인 가상 공연 시스템 Download PDF

Info

Publication number
KR20230124304A
KR20230124304A KR1020220021443A KR20220021443A KR20230124304A KR 20230124304 A KR20230124304 A KR 20230124304A KR 1020220021443 A KR1020220021443 A KR 1020220021443A KR 20220021443 A KR20220021443 A KR 20220021443A KR 20230124304 A KR20230124304 A KR 20230124304A
Authority
KR
South Korea
Prior art keywords
audience
information
server
performance
context
Prior art date
Application number
KR1020220021443A
Other languages
English (en)
Inventor
김용완
김기홍
김대환
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220021443A priority Critical patent/KR20230124304A/ko
Priority to US17/986,970 priority patent/US20230267670A1/en
Publication of KR20230124304A publication Critical patent/KR20230124304A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/08—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125—Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/131—Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/175—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments for jam sessions or musical collaboration through a network, e.g. for composition, ensemble playing or repeating; Compensation of network or internet delays therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 일실시예에 따른 온라인 가상 공연 장치는, 공연자의 실시간 모션 및 음향 정보를 생성하여 공연 서버에 전송하는 공연자 스트리밍 서버와, 원격으로 접속한 관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 관객 참여 서버와, 관객의 개별 컨텍스트 정보를 생성하고, 상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 가상 관객 생성부를 포함할 수 있다.

Description

온라인 가상 공연 장치 및 방법, 온라인 가상 공연 시스템{APPARATUS AND METHOD FOR SERVING ON-LINE VIRTUAL PERFORMING, SYSTEM FOR SERVING ON-LINE VIRTUAL PERFORMING}
본 발명은 대규모 관객 수용이 가능한 온라인 가상 공연 장치 및 방법에 관한 것이다.
최근, 코로나 19로 인해 비대면 활동의 가속화로 오프라인 공연과 병행하여 가상의 공연 공간 내에서 물리적 제약없이 전세계 해외 관객들이 한 곳에서 공연자의 공연 무대를 즐길 수 있는 새로운 형태의 온라인 가상 공연 시장이 창출되고 있다.
현재 제공되는 온라인 가상 공연 플랫폼은 기존의 오프라인 공연이 제공하는 수준의 현장감과 실시간 반응성을 제공하지 못하고 있다. 이를 해소하기 위해 관객의 외형 및 움직임을 대변하는 1인칭 아바타 형태로 아바타를 생성하여 가상 공연에 참여하는 방식이 개발되고 있다.
하지만, 가상 공연에 참여하는 관객이 만 명 이상의 대규모 인원으로 집결할 경우, 사용자 데이터 양이 방대하여 지연 시간 및 랜더링 부하 등에 문제가 발생된다. 이와 다르게, 관객을 일정 수준으로 제한할 경우, 가상 공연의 현장감을 제공하는 데 한계가 있다.
본 발명의 목적은 대규모 관객의 참여가 가능한 온라인 가상 공연 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 고 품질의 가상 공연의 관람이 가능한 온라인 가상 공연 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 온라인 가상 공연 장치는, 공연자의 실시간 모션 및 음향 정보를 생성하여 공연 서버에 전송하는 공연자 스트리밍 서버와, 원격으로 접속한 관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 관객 참여 서버와, 관객의 개별 컨텍스트 정보를 생성하고, 상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 가상 관객 생성부를 포함할 수 있다.
상기 공연자 스트리밍 서버는, 공연자의 실시간 모션을 수집하는 모션 수집부와, 상기 음향 정보를 수집하는 음향 수집부와, 상기 공연자의 실시간 모션 및 상기 음향 정보를 믹싱하는 믹싱부를 포함할 수 있다.
상기 음향 정보는, 상기 공연자의 음성 및 상기 공연자 주변의 악기, 스피커 음향을 포함할 수 있다.
상기 관객 참여 서버는, 상기 존 영역을 상기 관객과의 거리를 기초로 메인 존과 서브 존으로 구획하고, 상기 메인 존의 컨텍스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송할 수 있다.
상기 가상 관객 생성부는, 상기 관객 참여 서버로부터 존 별 컨텍스트 메타 정보를 제공받아 존 별로 관객을 재구성하여 상기 관객 참여 서버에 제공할 수 있다.
상기 가상 관객 생성부는, 상기 관객의 외형, 모션, 음성, 단일 이미지 기반 얼굴 감정 인식 데이터를 기초로 관객의 컨택스트 정보를 추출할 수 있다.
상기 관객의 컨택스트 정보는 관객의 환호도를 포함할 수 있다.
상기 가상 관객 생성부는, 상기 공연자 스트리밍 서버로부터 음향 정보를 수신하고, 관객의 외형, 모션 정보 및 상기 음향 정보를 기초로 상기 서브 존의 가상 관객을 생성할 수 있다.
상기 관객 참여 서버는, 로그인, 관객 공연 공간 참여 존, 이벤트, 음성 믹싱을 포함하는 기능별 서버를 포함할 수 있다.
또한, 실시예에 따른 온라인 가상 공연 방법은 공연자 스트리밍 서버에서, 공연자의 실시간 모션 및 음향 정보를 생성하여 공연 서버에 전송하는 단계와, 가상 관객 생성부에서, 원격으로 접속한 관객의 개별 컨텍스트 정보를 생성하고, 상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 단계와, 관객 참여 서버에서, 관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 단계를 포함할 수 있다.
상기 공연자의 실시간 모션 및 음향 정보를 생성하여 공연 서버에 전송하는 단계는, 공연자의 실시간 모션을 수집하는 단계와, 상기 음향 정보를 수집하는 단계와, 상기 공연자의 실시간 모션 및 상기 음향 정보를 믹싱하는 단계를 포함할 수 있다.
상기 음향 정보는, 상기 공연자의 음향 및 상기 공연자 주변의 악기, 스피커 음향을 포함할 수 있다.
상기 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 단계는, 상기 존 영역을 상기 관객과의 거리를 기초로 메인 존과 서브 존으로 구획하고, 상기 메인 존의 컨텍스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송할 수 있다.
상기 가상 관객 생성부에서, 상기 관객 참여 서버로부터 존 별 컨텍스트 메타 정보를 제공받아 존 별로 관객을 재구성하여 상기 관객 참여 서버에 제공하는 단계를 더 포함할 수 있다.
상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 단계는, 상기 관객의 외형, 모션, 음성, 단일 이미지 기반 얼굴 감정 인식 데이터를 기초로 관객의 컨택스트 정보를 추출할 수 있다.
상기 관객의 컨택스트 정보는 관객의 환호도를 포함할 수 있다.
상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 단계는, 상기 음향 정보를 수신하고, 상기 관객의 외형, 모션 정보 및 상기 음향 정보를 기초로 상기 서브 존의 가상 관객을 생성할 수 있다.
상기 관객 참여 서버는, 로그인, 관객 공연 공간 참여 존, 이벤트, 음성 믹싱을 포함하는 기능별 서버를 포함할 수 있다.
또한, 실시예에 따른 온라인 가상 공연 시스템은 온라인 가상 공연을 진행하는 공연 서버와, 공연자의 실시간 모션 및 음향 정보를 생성하여 상기 공연 서버에 전송하는 공연자 스트리밍 서버와, 관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 관객 참여 서버와, 관객의 개별 컨텍스트 정보를 생성하고, 상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 가상 관객 생성부를 포함할 수 있다.
상기 관객 참여 서버는, 상기 존 영역을 상기 관객과의 거리를 기초로 복수의 존 영역으로 메인 존과 서브 존으로 구획하고, 상기 메인 존의 컨텍스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송할 수 있다.
본 발명은 대규모 온라인 관객을 수용할 때 발생하는 대규모 데이터로 인한 지연, 렌더링 부하 등을 줄일 수 있는 효과가 있다.
또한, 본 발명은 대규모 관객을 존-서브 존으로 구성하고, 존은 환호도와 같은 활성도 컨텍스트 메타 정보 만을 재구성함으로써 데이터 양을 줄일 수 있는 효과가 있다.
또한, 본 발명은 주변 관객의 외형변화, 모션 등은 파라메터화하여 서브존 전용 서버 구성을 통해 현장감 및 사실감을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 개별적 음성을 존 단위로 서버에서 믹싱된 음원 만을 전달하고 이를 처리함으로써 대규모 온라인 관객시 발생하는 데이터양 및 계산양을 줄여 원활한 공연자 방송 스트리밍이 가능함과 함께 대규모 관객이 운집해 있는 사실적 현장감을 전달할 수 있는 효과가 있다.
도 1은 실시예에 따른 온라인 가상 공연 시스템을 나타낸 블록도이다.
도 2는 실시예에 따른 온라인 가상 공연 장치를 나타낸 블록도이다.
도 3은 실시예에 따른 온라인 가상 공연 장치의 공연자 스트리밍 서버를 나타낸 블록도이다.
도 4는 실시예에 따른 온라인 가상 공연 장치의 관객 참여 서버를 나타낸 블록도이다.
도 5는 실시예에 따른 온라인 가상 공연 장치의 가상 관객 생성부를 나타낸 블록도이다.
도 6은 실시예에 따른 온라인 가상 공연 방법을 나타낸 순서도이다.
도 7는 실시예에 따른 온라인 가상 공연 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템의 구성을 나타낸 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 실시예에 따른 온라인 가상 시스템을 나타낸 블록도이다.
도 1을 참조하면, 실시예에 따른 온라인 가상 공연 시스템은 온라인 가상 공연 장치(100)와 공연 서버(200)를 포함할 수 있다.
가상 공연 장치(100)는 가상 공연을 위한 공연자 및 관객에 대한 데이터를 처리할 수 있다. 가상 공연 장치(100)는 공연자의 스트리밍 지연 방지와 대규모의 관객을 수용할 수 있도록 데이터를 처리할 수 있다.
공연 서버(200)는 공연자의 공연 컨텐츠에 따라 가상 공연을 진행할 수 있다.
도 2는 실시예에 따른 온라인 가상 공연 장치를 나타낸 블록도이다.
도 2에 도시된 바와 같이, 가상 공연 장치(100)는 공연자 스트리밍 서버(110)와, 관객 참여 서버(130)와, 가상 관객 생성부(150)를 포함할 수 있다.
공연자 스트리밍 서버(110)는 공연자의 모션 및 음향 정보를 생성할 수 있다. 공연자 스트리밍 서버(110)는 공연이 지연이나 중단 없이 전달될 수 있도록 독립적으로 운용되는 프로토콜을 이용할 수 있다. 공연자 스트리밍 서버(110)는 공연 데이터가 동기화되기 위해 공연자의 실시간 모션 캡쳐 데이터, 가상 공연에 이용할 수 있는 가상 현실 환경에서 원격 공연자의 오프라인 공연 실황음을 다채널 음향 포맷으로 믹싱하고 전달하기 위한 방송 스트리밍을 수행할 수 있다.
도 3은 실시예에 따른 온라인 가상 공연 장치의 공연자 스트리밍 서버를 나타낸 블록도이다.
도 3에 도시된 바와 같이, 공연자 스트리밍 서버(110)는 모션 수집부(111)와, 음향 수집부(113)와, 믹싱부(115)를 포함할 수 있다.
모션 수집부(111)는 공연자의 실시간 모션을 수집할 수 있다. 음향 수집부(113)는 공연에 필요한 음향을 수집할 수 있다. 음향은 공연자의 음성 및 공연자의 주변의 악기, 스피커 등에서 표현되는 음향을 포함할 수 있다. 믹싱부(115)는 공연자의 실시간 모션과 공연자의 음향을 다채널 포맷으로 믹싱할 수 있다.
공연자 스트리밍 서버(110)에서 수집된 공연자의 모션 및 음향 데이터와 함께 악기, 스피커 등의 3차원 가상 위치 정보는 가상 관객 생성부(150)에 전송될 수도 있다.
도 2로 돌아가서, 관객 참여 서버(130)는 관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버(200)에 전송할 수 있다.
보다 상세하게, 관객 참여 서버(130)는 기능별 서버를 구동하고, 공연 공간에 대규모 온라인 관객이 군집해 있는 것으로 보이도록 관객들을 존 서버에 분산 매핑하여 동기화할 수 있다. 관객 참여 서버(130)는 관객의 위치를 기초로 거리에 따라 복수의 존으로 구획할 수 있으며, 예를 들어, 존을 메인 존, 근거리-중거리-원거리 서브존으로 구획할 수 있다.
근거리 서브 존에는 실시간 관객의 외형 및 모션을 계속적으로 전달할 수 있다. 중-원 거리에 있는 서브 존은 환호도와 같은 존 활성도 등의 존 컨텍스트 메타정보를 가상 관객 생성부(150)에 전달할 수 있다.
또한, 관객 참여 서버(130)는 공연에 참여한 대규모 관객의 존별 대규모 음향 믹싱을 수행하고, 근-중-원 거리에 따라 믹싱된 그룹 음원을 가상 관객 생성부(150)에 전달할 수 있다.
도 4는 실시예에 따른 온라인 가상 공연 장치의 관객 참여 서버를 나타낸 블록도이다.
도 4에 도시된 바와 같이, 관객 참여 서버(130)는 기능별로 로그인, 관객 공연 공간 참여 존, 이벤트, 음성 믹싱 등 공연 요소별 기능별 서버를 구동할 수 있다.
해당 기능별 서버 간에도 일정 주기마다 동기화를 수행하는 마스터 서버 기능이 존재하여 각 존에 참여한 관객들 간의 컨텍스트 메타 정보나 이벤트 데이터를 동기화할 수 있다.
기능별 서버에는 가상 공연 공간 내 보이지 않는 존이 구분되어 있고 관객이 로그인시 미리 티케팅된 좌석 번호에 따라 관객은 관객 참여 존 서버에 매핑이 된다.
존을 구획하는 방법에는 특정 크기로 나누는 격자형이나 서로 다른 크기의 동심원들로 구성할 수도 있으나, 이에 한정되지 않는다.
관객 참여 서버(130)는 관객에서 파악된 개별 컨텍스트 정보를 기반으로 존 안에 참여한 존별 컨텍스트 메타 정보를 계산한다. 관심있는 그룹 컨텍스트로는 그룹 환호도 등과 같은 활성화 컨텍스트를 존을 대표하는 컨텍스트 메타 정보로 활용한다.
각 개인 관객들의 외형, 모션 정보는 공연 서버(200) 측으로는 전달되지 않고 메타 정보 및 음성 정보만 전달이 된다. 개인 관객의 외형변화, 모션 등의 반영은 개인 관객 주변의 일부 관객에게만 전달될 수 있도록 한다. 이를 위해 개인 관객 및 주변 관객들을 대상으로 근거리 서브 존을 구성할 수 있는 전용 서버가 구성이 될 수 있다.
전용 서버는 데디케이트 서버 및 피어투피어 방식으로 공연 서버(200)를 거치지 않고 해당 서브 존 내에서만 외형, 모션 변화 정보, 믹싱된 그룹 음원 만을 전달하여 동기화하는 방식을 구성한다. 이를 통해 공연 서버가 감당해야 하는 데이터량을 획기적으로 줄일 수 있으면서 대규모 관객의 변화된 부분도 같이 반영할 수 있다.
기존 게임에서는 미리 정해진 게임 동작 애니메이션의 ID만 전송하면 되는 반면에 공연 서버(200)는 실시간으로 개인 관객 및 그 주변 사람들의 외형적 변화와 모션 데이터를 수신 및 송신할 수 있어야 하기 때문에 만명 내외의 관객 데이터가 공연 서버(200)로 송수신되고 동기화하기에는 너무 많은 대용량 네트워크 대역폭과 지연 및 렌더링 부하를 야기할 수 있다. 따라서, 개인 및 주변은 서브 전 서버를 구성하여 실시간 데이터를 공유하고 관객 참여 서버(130)는 음성 및 인식된 개별 컨텍스트 정보만을 전달한다.
존간 서버 정보 동기화의 경우도 동기화 정보를 최소화하기 위해 콘텐츠 구동 정보, 공연 이벤트 정보, 존간 컨텍스트 메타 정보 등의 간략화된 정보 만을 동기화하는데 사용한다. 음성의 경우에는 대규모 관객이 한 공간에 있다는 현장감을 전달하기 위해 대규모 사용자의 음성을 믹싱하고 가상 관객 생성부(150)에서 거리나 위치 등에 따른 3차원 음향, 공간감 생성을 위해서는 한번에 전부 믹싱하는 것이 아닌 존별 대규모 음향을 믹싱하여 전달할 수 있다.
물론, 근거리 관객 음향의 경우 서브 존 전용 서버를 통해 개별 주변 관객 음향을 가상 관객 생성부(150)에 전달할 수 있다. 공연 서버(200)는 존 단위로 음원을 믹싱하여 존 별 단일 음원을 가상 관객 생성부(150)에 전달한다. 공연 중간에 공연자와 관객 간 이벤트의 경우 한 공연자가 다수의 관객한테 맞춤형 이벤트를 체험하게 해줄 수 있다.
공연자 스트리밍 서버(110)로부터 공연자의 동작을 전달받아 이벤트를 발생할 가상 관객 생성부(150)로 이벤트 정보를 생성하여 전달할 수 있다. 즉 공연자의 악수 동작을 공연자 스트리밍 서버(110) 로부터 전달받아 다수의 관객들한테 맞춤형으로 동작을 변형하여 체험할 수 있게 한다.
도 2로 돌아가서, 가상 관객 생성부(150)는 관객의 개별 컨텍스트 정보를 생성하고, 존 별 관객 그룹의 컨택스트 메타 정보를 수신하여 존 별로 대규모 관객을 표현하고 수신된 콘텐츠 이벤트 정보에 따른 공연을 체험할 수 있도록 역할을 수행한다.
도 5는 실시예에 따른 온라인 가상 공연 장치의 가상 관객 생성부를 나타낸 블록도이다.
도 5에 도시된 바와 같이, 가상 관객 생성부(150)는 블렌드 쉐입으로 구성된 파라메트릭 외형 템플릿을 웹캠의 2D로 재투영하는 피팅 과정과 포즈 추정 과정을 통해 외형과 모션을 몇 개의 파라미터로 추출하고 서브 존 네트워크를 통해 주변 관객으로 보낼 수 있다.
가상 관객 생성부(150)는 관객의 외형과 모션, 음성, 웹캡 RGB 단일 이미지 기반의 얼굴 감정 인식 등의 데이터를 통해 환호도 등의 활성도에 해당하는 개별 컨텍스트 정보를 추출하고, 이를 관객 참여 서버(130)로 전송할 수 있다. 이때, 음성의 경우 관객 참여 서버(130)와 개별 서브 존 전용 서버 양측으로 동시에 전달할 수 있다.
또한, 가상 관객 생성부(150)는 서브 존내 관객의 외형, 모션 정보와 관객 참여 서버(130) 로부터 전달되는 존별 컨텍스트 메타 정보를 수신할 수 있다.
가상 관객 생성부(150)는 존별 환호도 등의 활성도에 해당하는 존별 컨텍스트 메타 정보를 기반으로 각 존별 아바타 등의 관객 그룹의 활성도를 생성할 수 있다. 활성도 레벨에 따른 애니메이션 데이터는 다양하게 생성되어 미리 저장될 수 있다.
활성도에 따라 생성된 존별 컨텍스트에 더해서 관객 주변 데이터는 실시간으로 전달된 외형, 모션 변화를 반영하여 거리에 따른 존 및 서브존 레벨별 차별적 렌더링을 수행하게 된다.
가상 관객 생성부(150)는 이벤트 생성 데이터의 경우 전달된 공연자의 데이터와 이벤트 동기화 정보 등을 기반으로 관객 만의 자연스러운 맞춤형 이벤트 과정을 수행할 수 있다.
가상 관객 생성부(150)는 존별 믹싱된 음성의 경우, 거리 및 위치에 따라 3차원 음상 및 임장감을 수행하는 과정을 수행하여 공연 서버 측에서의 음향 처리 부하를 최소화할 수 있다.
도 6은 실시예에 따른 온라인 가상 공연 방법을 나타낸 순서도이고, 도 7는 실시예에 따른 온라인 가상 공연 방법을 설명하기 위한 도면이다. 여기서, 온라인 가상 공연 방법은 가상 공연 장치에서 수행될 수 있다.
도 6을 참조하면, 가상 공연 장치(100)의 공연자 스트리밍 서버는 공연자의 실시간 모션 및 음향 정보를 수집할 수 있다. 음향 정보는 공연자의 음성 및 주변 악기 등의 음향을 포함할 수 있다. 가상 공연 장치(100)의 공연자 스트리밍 서버는 수집된 모션 및 음향 정보를 믹싱하여 공연 서버에 전송할 수 있다(S100).
가상 공연 장치(100)의 가상 관객 생성부는 관객의 개별 컨택스트 정보를 생성할 수 있다(S200).
가상 공연 장치(100)의 관객 참여 서버는 관객을 미리 생성된 존 영역에 매핑하고, 존 영역의 컨택스트 메타 정보를 계산하여 공연 서버에 전송할 수 있다. 온라인 가상 공연 장치는 컨택스트 메타 정보와 함께 공연자의 음성 정보를 공연 서버에 전송할 수 있다(S300).
도 7에 도시된 바와 같이, 관객 참여 서버에는 복수의 존 영역이 생성될 수 있으며, 그 중, 가, 나, 라, 마 영역은 관객의 환호도가 Low 인 영역일 수 있으며, 다, 마 영역은 관객의 환호도가 High인 영역일 수 있다.
도 6으로 돌아가서, 가상 공연 장치(100)의 가상 관객 생성부는 존 별 차별적 랜더링을 수행하여 전송할 수 있다. 이로 인해 대규모 관객을 존 별로 다르게 표현할 수 있다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템의 구성을 나타낸 블록도이다.
실시예에 따른 가상 공연 장치는 컴퓨터 판독 가능한 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다.
도 8을 참조하면, 실시예에 따른 컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다.
프로세서(1010)는 중앙 처리 장치 또는 메모리나 스토리지에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 프로세서(1010)는 일종의 중앙처리장치로서 가상 공연 장치 또는 시스템의 전체 동작을 제어할 수 있다.
프로세서(1010)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microporcessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 이에 한정되는 것은 아니다.
메모리(1030)는 실시예에 따른 가상 공연 방법을 수행하기 위한 제어 프로그램 등 전반적인 동작을 위한 다양한 데이터가 저장될 수 있다. 구체적으로, 메모리에는 가상 공연 장치 또는 시스템에서 구동되는 다수의 응용 프로그램, 가상 공연 장치 또는 시스템의 동작을 위한 데이터 및 명령어가 저장될 수 있다.
메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
일 실시예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록 매체로서, 공연자의 실시간 모션 및 음향 정보를 생성하여 공연 서버에 전송하는 동작과, 원격으로 접속한 관객의 개별 컨텍스트 정보를 생성하고, 상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 동작과, 관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 단계 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인","중요하게" 등과 같은 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 온라인 가상 공연 장치
110: 공연자 스트리밍 서버
130: 관객 참여 서버
150: 가상 관객 생성부
200: 공연 서버

Claims (20)

  1. 공연자의 실시간 모션 및 음향 정보를 생성하여 공연 서버에 전송하는 공연자 스트리밍 서버;
    원격으로 접속한 관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 관객 참여 서버; 및
    관객의 개별 컨텍스트 정보를 생성하고, 상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 가상 관객 생성부;
    를 포함하는 온라인 가상 공연 장치.
  2. 청구항 1에 있어서,
    상기 공연자 스트리밍 서버는,
    공연자의 실시간 모션을 수집하는 모션 수집부;
    상기 음향 정보를 수집하는 음향 수집부; 및
    상기 공연자의 실시간 모션 및 상기 음향 정보를 믹싱하는 믹싱부;
    를 포함하는 온라인 가상 공연 장치.
  3. 제2항에 있어서,
    상기 음향 정보는,
    상기 공연자의 음성 및 상기 공연자 주변의 악기, 스피커 음향을 포함하는 온라인 가상 공연 장치.
  4. 제1항에 있어서,
    상기 관객 참여 서버는,
    상기 존 영역을 상기 관객과의 거리를 기초로 메인 존과 서브 존으로 구획하고, 상기 메인 존의 컨텍스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 온라인 가상 공연 장치.
  5. 제4항에 있어서,
    상기 가상 관객 생성부는,
    상기 관객 참여 서버로부터 존 별 컨텍스트 메타 정보를 제공받아 존 별로 관객을 재구성하여 상기 관객 참여 서버에 제공하는 온라인 가상 공연 장치.
  6. 제1항에 있어서,
    상기 가상 관객 생성부는,
    상기 관객의 외형, 모션, 음성, 단일 이미지 기반 얼굴 감정 인식 데이터를 기초로 관객의 컨택스트 정보를 추출하는 온라인 가상 공연 장치.
  7. 제6항에 있어서,
    상기 관객의 컨택스트 정보는 관객의 환호도를 포함하는 온라인 가상 공연 장치.
  8. 제4항에 있어서,
    상기 가상 관객 생성부는,
    상기 공연자 스트리밍 서버로부터 음향 정보를 수신하고,
    관객의 외형, 모션 정보 및 상기 음향 정보를 기초로 상기 서브 존의 가상 관객을 생성하는 온라인 가상 공연 장치.
  9. 제1항에 있어서,
    상기 관객 참여 서버는,
    로그인, 관객 공연 공간 참여 존, 이벤트, 음성 믹싱을 포함하는 기능별 서버를 포함하는 온라인 가상 공연 장치.
  10. 공연자 스트리밍 서버에서, 공연자의 실시간 모션 및 음향 정보를 생성하여 공연 서버에 전송하는 단계;
    가상 관객 생성부에서, 원격으로 접속한 관객의 개별 컨텍스트 정보를 생성하고, 상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 단계; 및
    관객 참여 서버에서, 관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 단계;
    를 포함하는 온라인 가상 공연 방법.
  11. 제10항에 있어서,
    상기 공연자의 실시간 모션 및 음향 정보를 생성하여 공연 서버에 전송하는 단계는,
    공연자의 실시간 모션을 수집하는 단계;
    상기 음향 정보를 수집하는 단계; 및
    상기 공연자의 실시간 모션 및 상기 음향 정보를 믹싱하는 단계
    를 포함하는 온라인 가상 공연 방법.
  12. 제11항에 있어서,
    상기 음향 정보는,
    상기 공연자의 음향 및 상기 공연자 주변의 악기, 스피커 음향을 포함하는 온라인 가상 공연 방법.
  13. 제10항에 있어서,
    상기 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 단계는,
    상기 존 영역을 상기 관객과의 거리를 기초로 메인 존과 서브 존으로 구획하고, 상기 메인 존의 컨텍스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 온라인 가상 공연 방법.
  14. 제13항에 있어서,
    상기 가상 관객 생성부에서, 상기 관객 참여 서버로부터 존 별 컨텍스트 메타 정보를 제공받아 존 별로 관객을 재구성하여 상기 관객 참여 서버에 제공하는 단계를 더 포함하는 온라인 가상 공연 방법.
  15. 제10항에 있어서,
    상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 단계는,
    상기 관객의 외형, 모션, 음성, 단일 이미지 기반 얼굴 감정 인식 데이터를 기초로 관객의 컨택스트 정보를 추출하는 온라인 가상 공연 방법.
  16. 제15항에 있어서,
    상기 관객의 컨택스트 정보는 관객의 환호도를 포함하는 온라인 가상 공연 방법.
  17. 제13항에 있어서,
    상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 단계는,
    상기 음향 정보를 수신하고,
    상기 관객의 외형, 모션 정보 및 상기 음향 정보를 기초로 상기 서브 존의 가상 관객을 생성하는 온라인 가상 공연
  18. 제10항에 있어서,
    상기 관객 참여 서버는,
    로그인, 관객 공연 공간 참여 존, 이벤트, 음성 믹싱을 포함하는 기능별 서버를 포함하는 온라인 가상 공연 방법.
  19. 온라인 가상 공연을 진행하는 공연 서버;
    공연자의 실시간 모션 및 음향 정보를 생성하여 상기 공연 서버에 전송하는 공연자 스트리밍 서버;
    관객을 미리 생성된 존 영역에 매핑하고, 관객의 개별 컨텍스트 정보를 기초로 존 영역의 컨택스트 메타 정보를 계산하고, 계산된 컨택스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 관객 참여 서버; 및
    관객의 개별 컨텍스트 정보를 생성하고, 상기 생성된 개별 컨텍스트 정보를 상기 관객 참여 서버에 전송하는 가상 관객 생성부; 및
    를 포함하는 온라인 가상 공연 시스템.
  20. 제19항에 있어서,
    상기 관객 참여 서버는,
    상기 존 영역을 상기 관객과의 거리를 기초로 복수의 존 영역으로 메인 존과 서브 존으로 구획하고, 상기 메인 존의 컨텍스트 메타 정보와 상기 관객의 컨텍스트 정보 중 음성 정보를 상기 공연 서버에 전송하는 온라인 가상 공연 시스템.
KR1020220021443A 2022-02-18 2022-02-18 온라인 가상 공연 장치 및 방법, 온라인 가상 공연 시스템 KR20230124304A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220021443A KR20230124304A (ko) 2022-02-18 2022-02-18 온라인 가상 공연 장치 및 방법, 온라인 가상 공연 시스템
US17/986,970 US20230267670A1 (en) 2022-02-18 2022-11-15 Apparatus and method for serving online virtual performance and system for serving online virtual performance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220021443A KR20230124304A (ko) 2022-02-18 2022-02-18 온라인 가상 공연 장치 및 방법, 온라인 가상 공연 시스템

Publications (1)

Publication Number Publication Date
KR20230124304A true KR20230124304A (ko) 2023-08-25

Family

ID=87574672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220021443A KR20230124304A (ko) 2022-02-18 2022-02-18 온라인 가상 공연 장치 및 방법, 온라인 가상 공연 시스템

Country Status (2)

Country Link
US (1) US20230267670A1 (ko)
KR (1) KR20230124304A (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327099A1 (en) * 2011-06-24 2012-12-27 William John Vojak Dynamically adjusted display attributes based on audience proximity to display device
US20130198006A1 (en) * 2012-01-30 2013-08-01 Soma Sundaram Santhiveeran Providing targeted content for multiple users
WO2015142732A1 (en) * 2014-03-21 2015-09-24 Audience Entertainment, Llc Adaptive group interactive motion control system and method for 2d and 3d video
WO2017010145A1 (ja) * 2015-07-13 2017-01-19 ソニー株式会社 音声配信装置、音声再生端末、認証デバイス、音声配信システム、および音声配信方法
US11363334B2 (en) * 2019-06-11 2022-06-14 The Nielsen Company (Us), Llc Methods and apparatus to identify user presence to a meter
US11429839B2 (en) * 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines

Also Published As

Publication number Publication date
US20230267670A1 (en) 2023-08-24

Similar Documents

Publication Publication Date Title
JP7384440B2 (ja) データ処理システム及び方法
US11386903B2 (en) Methods and systems for speech presentation based on simulated binaural audio signals
KR101167058B1 (ko) 오디오 신을 생성함에 사용되는 장치, 방법 및 컴퓨터로 읽기 가능한 매체
US20190325634A1 (en) Foveal adaptation of particles and simulation models in a foveated rendering system
JP7408792B2 (ja) シーンのインタラクション方法及び装置、電子機器並びにコンピュータプログラム
US8730156B2 (en) Maintaining multiple views on a shared stable virtual space
JP2003164672A (ja) ネットワーク化されたゲームの観客経験を提供するシステムおよび方法
US20220070241A1 (en) System and method enabling interactions in virtual environments with virtual presence
JP7340281B2 (ja) 仮想環境内でのアプリケーションの配信システム及び方法
CN108322474B (zh) 基于共享桌面的虚拟现实系统、相关装置及方法
US20050253872A1 (en) Method and system for culling view dependent visual data streams for a virtual environment
JP6379107B2 (ja) 情報処理装置並びにその制御方法、及びプログラム
KR20220029453A (ko) 사용자 그래픽 표현 기반 사용자 인증 시스템 및 방법
JP7391394B2 (ja) 仮想環境内から仮想ブロードキャストするためのシステム及び方法
US20220070240A1 (en) Ad hoc virtual communication between approaching user graphical representations
CN112188223A (zh) 直播视频播放方法、装置、设备及介质
CN109120990A (zh) 直播方法、装置和存储介质
Kanev et al. Design and simulation of interactive 3D computer games
JP2024521795A (ja) 分配された入力の感情分析によるライブイベントのクラウドノイズのシミュレーション
KR20220030178A (ko) 가상 환경에서 클라우드 컴퓨팅 기반 가상 컴퓨팅 리소스를 프로비저닝하는 시스템 및 방법
KR20230124304A (ko) 온라인 가상 공연 장치 및 방법, 온라인 가상 공연 시스템
CN114095772B (zh) 连麦直播下的虚拟对象展示方法、系统及计算机设备
WO2024009653A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
WO2023201534A1 (en) A system and method for facilitating a virtual event
US20230381674A1 (en) Triggering virtual help or hindrance based on audience participation tiers