KR102625902B1 - 라이브 배신 시스템 및 라이브 배신 방법 - Google Patents

라이브 배신 시스템 및 라이브 배신 방법 Download PDF

Info

Publication number
KR102625902B1
KR102625902B1 KR1020217029116A KR20217029116A KR102625902B1 KR 102625902 B1 KR102625902 B1 KR 102625902B1 KR 1020217029116 A KR1020217029116 A KR 1020217029116A KR 20217029116 A KR20217029116 A KR 20217029116A KR 102625902 B1 KR102625902 B1 KR 102625902B1
Authority
KR
South Korea
Prior art keywords
live
venue
venues
video
participants
Prior art date
Application number
KR1020217029116A
Other languages
English (en)
Other versions
KR20210135520A (ko
Inventor
노리카즈 하야시
Original Assignee
발루스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 발루스 가부시키가이샤 filed Critical 발루스 가부시키가이샤
Publication of KR20210135520A publication Critical patent/KR20210135520A/ko
Application granted granted Critical
Publication of KR102625902B1 publication Critical patent/KR102625902B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Social Psychology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Primary Health Care (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Environmental Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

라이브 영상이 일제히 배신되는 복수의 라이브 회장에 있어서, 참가자 전체의 몰입감을 높인다. 라이브 배신 시스템(1)은, 반응 수집부(4)와, 연출 효과 제어부(5)를 갖고, 장소가 상이한 복수의 라이브 회장(A~C)에 대하여, 라이브 영상을 일제히 배신한다. 반응 수집부(4)는, 라이브 영상을 라이브 회장(A~C)에서 시청하는 참가자의 반응을, 라이브 회장 내의 검출 기기(7)로부터, 라이브 회장마다 실시간으로 수집한다. 연출 효과 제어부(5)는 반응 수집부(4)에 의해 수집된 라이브 회장마다의 참가자의 반응에 기초하여, 라이브 회장(A~C)에 있어서 연출해야 할 연출 효과를 라이브 회장마다 결정한다.

Description

라이브 배신 시스템 및 라이브 배신 방법
본 발명은, 라이브 배신 시스템 및 라이브 배신 방법에 관한 것으로, 특히, 장소가 상이한 복수의 라이브 회장(會場)에 대한 일제(一齊) 라이브 배신에 관한 것이다.
예를 들면, 특허문헌 1에는 사용자들이 서로 협력하거나, 또는 서로 경쟁하면서, 가수나 캐릭터의 콘서트 영상이 표시되는 영상 표시 장치에 미리 정해진 연출 효과를 출력하는 이벤트 연출 시스템이 개시되어 있다. 이 이벤트 연출 시스템은, 연출 제어 서브 시스템과, 유저 단말과, 영상 표시 장치를 가진다. 연출 제어 서브 시스템은, 이벤트 회장의 연출 제어를 행한다. 유저 단말은, 연출 제어 서브 시스템과 통신 네트워크를 통해 접속되어 있다. 영상 표시 장치는, 이벤트 회장에 마련되어 있고, 연출 제어 서브 시스템에 의한 연출 효과의 영상을 표시한다. 여기서, 연출 효과는, 이벤트 회장에 있어서의 유저의 각종 작업에 의해 발생한 포인트를 사용함으로써 선정되고, 이것이 영상 데이터에 합성된다. 예를 들면, 캐릭터가 부르는 영상의 배후의 레이어로서, 코멘트를 표시한 후에 소멸한다고 하는 동작이 부가되고, 이러한 연출 효과를 통하여, 이벤트는 분위기가 고조된다.
일본 공개특허공보 제2017-151978호
그런데, 장소가 상이한 복수의 라이브 회장에 대한 라이브 배신을 일제히 행하는 경우, 참가자의 분위기 고조(히트 업)의 정도는 라이브 회장마다 다르기 때문에, 모든 라이브 회장에서 동일한 연출 효과를 일률적으로 행하면, 회장에 따라서는 참가자에게 위화감을 줄 우려가 있다. 예를 들면, 참가자를 한층 분위기를 고조시키는 연출 효과가 높은 것은, 이미 충분히 분위기가 고조되어 있는 라이브 회장에서는 바람직하지만, 그것보다도 분위기가 고조되지 않는 라이브 회장에서는 바람직하지 않다. 그와 같은 라이브 회장에서는, 오히려 연출 효과를 적게 하는 편이, 그 참가자에 있어서의 몰입감이 얻어지기 쉽다.
본 발명은, 이러한 사정을 감안하여 이루어진 것으로, 그 목적은, 라이브 배신이 일제히 행해지는 복수의 라이브 회장에 있어서, 참가자 전원의 몰입감을 높이는 것이다.
이러한 문제를 해결하기 위해, 제1 발명은, 장소가 상이한 복수의 라이브 회장 측의 기기에 네트워크 접속되어 있고, 복수의 회장에 대해 라이브 영상을 일제히 배신하는 라이브 배신 시스템을 제공한다. 이 라이브 배신 시스템은, 모션 해석부와, 라이브 영상 생성부와, 반응 수집부와, 연출 효과 제어부를 구비한다. 모션 해석부는, 캐릭터의 움직임을 연기하는 액터의 움직임을 분석하여 데이터화한다. 라이브 영상 생성부는, 데이터화된 액터의 움직임을 캐릭터의 움직임으로 변환함으로써, 라이브 영상을 생성한다. 반응 수집부는, 라이브 영상이 일제히 라이브 배신된 복수의 라이브 회장의 각각에 있어서의 참가자의 반응을, 복수의 라이브 회장 각각에 설치된 검출 기기로부터, 네트워크를 통해, 실시간 및 일원적으로 수집한다. 연출 효과 제어부는, 반응 수집부에 의해 수집된 라이브 회장 마다의 참가자의 반응에 기초하여, 라이브 영상에 부가하는 연출 효과를 라이브 회장마다 개별적으로 결정하고, 네트워크를 통해, 복수의 라이브 회장의 각각에 설치된 출력 기기에 송신한다.
여기서, 제1 발명에 있어서, 상기 연출 효과 제어부는 상기 연출 효과로서, 라이브 회장마다의 연출 효과 영상을 생성하고, 영상 효과 영상이 합성된 라이브 영상을 라이브 회장에 배신해도 좋다. 또한, 상기 연출 효과 제어부는, 상기 연출 효과로서, 라이브 회장마다의 연출 효과 음향을 결정하고, 라이브 회장측의 음향 기기에 지시해도 좋다. 또한, 상기 연출 효과 제어부는, 상기 연출 효과로서, 라이브 회장마다의 연출 효과 조명을 결정하고, 라이브 회장측의 조명 기기에 지시해도 좋다.
제1 발명에 있어서, 상기 검출 기기는, 라이브 회장에 있어서의 참가자가 소유하는 복수의 휴대 단말이며, 상기 참가자의 반응은, 복수의 휴대 단말에 대한 참가자의 유저 조작의 수라도 좋다. 또한, 상기 검출 기기는, 각각의 라이브 회장에 설치된 카메라이며, 상기 참가자의 반응은 카메라에 의해 취득된 화상 중의 움직임이라도 좋다. 또한, 상기 검출 기기는, 각각의 라이브 회장에 설치된 마이크이며, 상기 참가자의 반응은, 마이크에 의해 취득된 소리라도 좋다. 또한, 상기 검출 기기는, 각각의 라이브 회장에 설치된 온도 센서이며, 상기 참가자의 반응은, 온도 센서에 의해 취득된 온도의 변화라도 좋다.
제2 발명은, 장소가 상이한 복수의 라이브 회장 측의 기기에 네트워크 접속된 라이브 배신 시스템이, 복수의 라이브 회장에 대해 라이브 영상을 일제히 배신하는 라이브 배신 방법을 제공한다. 이 라이브 배신 방법은, 이하의 단계를 구비한다. 제1 단계에서는, 캐릭터의 움직임을 연기하는 액터의 움직임을 분석하여 데이터화하고, 데이터화된 액터의 움직임을 캐릭터의 움직임으로 변환함으로써, 라이브 영상을 생성한다. 제2 단계에서는, 라이브 영상이 일제히 라이브 배신된 복수의 라이브 회장의 각각에서 시청하는 참가자의 반응을, 복수의 라이브 회장의 각각에 설치된 검출 기기로부터, 네트워크를 통해, 실시간 및 일원적으로 수집한다. 제3 단계에서는, 수집된 라이브 회장마다의 참가자의 반응에 기초하여, 라이브 영상에 부가하는 연출 효과를 라이브 회장마다 개별적으로 결정하고, 네트워크를 통해, 복수의 라이브 회장의 각각에 설치된 출력 기기에 송신한다.
본 발명에 의하면, 액터의 움직임에 따라 생성된 라이브 영상에 부가하는 연출 효과를, 각각의 라이브 회장에 있어서의 참가자의 반응에 따라, 라이브 회장마다 개별적으로 결정한다. 각각의 라이브 회장에 적합한 연출 효과를 실행함으로써, 특정한 라이브 회장의 참가자에게 위화감을 주지 않고, 일제 라이브 배신에 있어서의 참가자 전원의 몰입감을 효과적으로 높일 수 있다.
도 1은 본 실시 형태에 관한 가상 라이브 시스템의 블록도이다.
도 2는 라이브 영상의 한 예를 도시하는 도면이다.
도 3은 연출 효과 영상의 일례를 도시하는 도면이다.
도 4는 합성 영상의 일례를 나타내는 도면이다.
도 1은, 본 실시 형태에 관한 가상 라이브 시스템의 블록도이다. 이 가상 라이브 시스템은, 장소가 상이한 복수의 라이브 회장(A~C)에 네트워크 접속된 라이브 배신 시스템(1)을 주체로 구성되어 있고, 라이브 회장(A~C)에 대하여, 가상적인 캐릭터(캐릭터의 그룹을 포함한다)의 노래나 춤을 영상화한 라이브 영상을 일제히 배신한다. 이에 의해, 많은 회장에 있어서, 가상적인 캐릭터에 의한 라이브의 동시 개최가 실현된다. 또한, 본 명세서에 있어서, "라이브 회장"이란, 동화상 배신, VR 배신(VR;virtual reality), AR 배신(AR;Augmented Reality) 등의 일제 라이브 배신이 행해지는 장소를 넓게 포함하고, 실재하는 회장뿐만 아니라, 온라인 상의 회장(참가 인원수는 상관없음)도 포함된다.
라이브 배신 시스템(1)은, 모션 해석부(2)와, 라이브 영상 생성부(3)와, 연출 효과 제어부(5)와, 반응 수집부(4)를 갖는다. 모션 해석부(2)는 캐릭터의 움직임을 연기하는 액터(actor)에 부착된 다수의 모션 센서의 출력에 기초하여, 액터의 움직임을 해석하여 데이터화한다. 라이브 영상 생성부(3)는, 데이터화된 액터의 움직임을 가상적인 캐릭터의 움직임으로 변환함으로써, 예를 들어 도 2에 도시한 바와 같은, 가상적인 캐릭터에 관한 애니메이션화된 라이브 영상을 생성한다. 이 라이브 영상은, 인터넷 등의 네트워크를 통해, 라이브 회장(A~C)에 동시 배신된다.
각각의 라이브 회장(A~C)은, 출력 기기(6)와, 검출 기기(7)를 갖고 있다. 출력 기기(6)에는, 스크린에 영상을 투사하는 프로젝터 등의 표시 기기(6a)와, 스피커를 주체로 한 음향 기기(6b)와, 라이트나 레이저 빔 등을 발하는 조명 기기(6c)가 존재한다. 표시 기기(6a)는, 영상 제어부(5a)에 의해 제어되고, 음향 기기(6b)는, 음향 제어부(5b)에 의해 제어되고, 조명 기기(6c)는, 조명 제어부(5c)에 의해 라이브 회장마다 개별적으로 제어된다.
검출 기기(7)는, 특정한 라이브 회장에 있어서 라이브 영상을 시청하는 참가자의 반응을 직접적 또는 간접적으로 검출한다. 본 실시 형태에 있어서, 검출 기기(7)로서는, 참가자가 소지하고 있는 휴대 단말(7a), 라이브 회장 내에 있어서의 참가자 전체를 내려다보는 카메라(7b), 라이브 회장 내에 있어서의 참가자 전체의 목소리를 집음하는 마이크(7c), 라이브 회장 내의 온도를 검출하는 온도 센서(7d)가 상정되고, 이들 중 적어도 하나가 이용된다.
검출 기기(7)로서, 참가자가 보유하고 있는 스마트폰 등의 휴대 단말(7a)을 사용하는 경우, 휴대 단말(7a)에 있어서의 미리 정해진 유저 조작의 수(예를 들어, 탭수)에 기초하여, 참가자의 반응을 검출·추정할 수 있다. 가상 라이브에서는, 캐릭터로부터의 요구가 있었던 경우, 참가자는, 좋아하는 캐릭터를 응원하기 위해, 휴대 단말(7a)의 앱 상에서 탭을 고속으로 행한다(탭수의 대소는 응원의 정도를 나타낸다). 따라서, 참가자에 의한 탭의 총수가 많을수록, 라이브 회장이 분위기가 고조되고 있다고, 즉, 참가자의 반응이 높다고 간주할 수 있다.
검출 기기(7)로서, 라이브 회장에 설치된 카메라(7b)를 이용하는 경우, 카메라(7b)에 의해 촬상된 화상 중의 움직임에 기초하여, 참가자의 반응을 검출·추정할 수 있다. 일반적으로, 라이브 회장이 분위기가 고조될수록, 사람들의 움직임이나, 펜 라이트에 유래한 휘점의 움직임이 커지는 경향이 있다. 따라서, 카메라(7b)에 의해 촬상된 화상의 시계열적으로 모니터링하여, 화상 중의 움직임(예를 들면, 옵티컬 플로우)이 커질수록, 라이브 회장이 분위기가 고조되고 있다고, 즉, 참가자의 반응이 높다고 간주할 수 있다.
검출 기기(7)로서, 라이브 회장에 설치된 마이크(7c)를 이용하는 경우, 마이크(7c)에 의해 취득된 소리의 대소에 기초하여, 참가자의 반응을 검출·추정할 수 있다. 가상 라이브에서는, 캐릭터로부터의 요구가 있었던 경우, 참가자는 큰 목소리로 성원을 보낸다. 따라서, 참가자에 의한 성원의 음량이 클수록, 라이브 회장이 분위기가 고조되어 있다고, 즉, 참가자의 반응이 높다고 간주할 수 있다.
검출 기기(7)로서, 라이브 회장에 설치된 온도 센서(7d)를 이용하는 경우, 온도 센서(7d)에 의해 검출된 온도 변화에 기초하여, 참가자의 반응을 검출·추정할 수 있다. 라이브 회장이 분위기가 고조될수록, 라이브 회장이 열기로 휩싸여, 실온이 상승한다. 따라서, 온도 센서(7d)에 의해 실온의 상승을 모니터링하여, 온도 상승의 정도가 커질수록, 라이브 회장이 분위기가 고조되고 있다고, 즉, 참가자의 반응이 높다고 간주할 수 있다.
라이브 배신 시스템(1)은, 라이브 회장(A~C)측의 검출 기기(7)에 의해 검출된 라이브 회장마다의 참가자의 반응에 따라, 라이브 회장마다 연출 효과를 제어한다. 구체적으로는, 반응 수집부(4)는, 라이브 회장(A~C)에 있어서 라이브 영상을 시청하는 참가자의 반응을, 각각의 라이브 회장(A~C) 내의 검출 기기(7)로부터, 라이브 회장마다 실시간으로 수집한다. 연출 효과 제어부(5)는 반응 수집부(4)에 의해 수집된 라이브 회장마다의 참가자의 반응에 기초하여, 라이브 회장(A~C)에 있어서 연출해야 할 연출 효과를 라이브 회장마다 결정한다. 연출 효과 제어부(5)로서는, 영상 제어부(5a), 음향 제어부(5b) 및 조명 제어부(5c)가 설치되어 있다.
영상 제어부(5a)는, 연출 효과로서, 라이브 회장마다의 연출 효과 영상을 생성하고, 영상 효과 영상을 개별적으로 합성한 라이브 영상을 라이브 회장(A~C)에 배신한다. 도 3은, 연출 효과 영상의 일례로서, 라이브 영상의 배경 레이어로서 부가되는 유성을 나타낸다. 단위 시간당 유성의 개수는, 각각의 라이브 회장(A~C)에 있어서의 참가자의 반응에 따라 라이브 회장마다 결정되고, 참가자의 반응이 높아질수록 많아진다. 도 4는, 라이브 영상에 유성의 연출 효과 영상이 합성된 합성 영상의 일례를 나타내는 도면이다. 참가자의 반응이 높은 라이브 회장(A)에 대해서는, 합성 화상에 있어서의 유성의 수가 많고, 이에 의해, 매우 분위기가 고조되어 있는 참가자에게 적합한 연출이 행해진다. 참가자의 반응이 중간 정도인 라이브 회장(B)에 대해서는, 합성 화상에 있어서의 유성의 수가 보통이며, 이에 의해, 보통으로 분위기가 고조되어 있는 참가자에게 위화감을 주지 않고, 그에 상응하는 연출이 행해진다. 참가자의 반응이 낮은 라이브 회장(C)에 대해서는, 합성 화상에 있어서의 유성의 수가 적고, 이에 의해, 분위기가 고조되지 않은 참가자에게 위화감을 주지 않고, 그에 상응하는 연출이 행해진다.
또한, 라이브 영상에 합성하는 연출 효과 영상은, 유성에 한정되는 것은 아니며, 이미 알려진 다양한 영상을 임의로 사용할 수 있다. 예를 들어, 연출 효과 영상으로서 불타오르는 불꽃을 사용하는 경우, 참가자의 반응에 따라, 불꽃의 대소나 기세를 가변적으로 제어해도 좋다. 또한, 연출 효과 영상은 동종의 것일 필요는 없으며, 참가자의 반응에 따라 다른 종류의 연출 효과 영상을 부가해도 좋다. 또한, 영상 제어부(5a)에 의한 연출 효과로서는, 배경으로서의 연출 효과 영상의 부가뿐만 아니라, 예를 들면, 캐릭터의 땀의 양을 변경하는 것과 같이, 라이브 영상의 캐릭터 자체에 변화를 부여해도 좋다.
음향 제어부(5b)는, 연출 효과로서, 라이브 회장마다의 연출 효과 음향을 결정하고, 그 실행을 라이브 회장측의 음향 기기(6b)에 개별적으로 지시한다. 예를 들면, 참가자의 반응이 높아질수록, 음량을 크게 하거나, 음원의 수를 증가시키는 것과 같은 것이다.
조명 제어부(5c)는, 연출 효과로서, 라이브 회장마다의 연출 효과 조명을 결정하고, 라이브 회장측의 조명 기기(6c)에 개별적으로 지시한다. 예를 들면, 참가자의 반응이 높아질수록, 라이트의 발광수를 증가시키거나, 플래시의 간격을 짧게 하거나, 레이저 빔의 개수를 증가시키는 것과 같은 것이다.
이와 같이, 본 실시형태에 의하면, 라이브 회장에서 연출해야 할 연출 효과를, 각각의 라이브 회장에 있어서의 참가자의 반응, 환언하면, 라이브 회장에 있어서의 분위기 고조의 정도에 따라, 라이브 회장마다 개별적으로 결정한다. 이에 의해, 각각의 라이브 회장에 적합한 연출 효과를 실행한다. 그 결과, 특정한 라이브 회장의 참가자에게 위화감을 주지 않고, 라이브 배신이 일제히 행해지는 모든 라이브 회장에 있어서, 참가자 전원의 몰입감을 효과적으로 높일 수 있다.
1 라이브 배신 시스템 2 모션 해석부
3 라이브 영상 생성부 4 반응 수집부
5 연출 효과 제어부 5a 영상 제어부
5b 음향 제어부 5c 조명 제어부
6 출력 기기 6a 표시 기기
6b 음향 기기 6c 조명 기기
7 검출 기기 7a 휴대 단말
7b 카메라 7c 마이크
7d 온도 센서

Claims (10)

  1. 장소가 상이한 복수의 라이브 회장 측의 기기에 네트워크 접속되어 있고, 라이브 배신에 있어서의 액터의 움직임에 기초하여 생성된 라이브 영상을 라이브 배신하는 라이브 배신 시스템에 있어서,
    라이브에서의 캐릭터의 움직임을 연기하는 액터의 움직임을 분석하여 데이터화하는 모션 해석부와,
    상기 데이터화된 액터의 움직임을 캐릭터의 움직임으로 변환함으로써, 상기 라이브 영상을 생성하는 라이브 영상 생성부와,
    상기 라이브 영상이 라이브 배신된 상기 복수의 라이브 회장의 각각에 있어서의 참가자의 반응을, 상기 복수의 라이브 회장의 각각에 설치된 검출 기기로부터, 네트워크를 통해, 실시간 및 일원적으로 수집하는 반응 수집부와,
    상기 수집된 라이브 회장마다의 참가자의 반응에 기초하여, 상기 라이브 영상에 부가하는 연출 효과를 라이브 회장마다 개별적으로 결정하고, 네트워크를 통해, 상기 복수의 라이브 회장의 각각에 설치된 출력 기기에 송신하는 연출 효과 제어부
    를 구비한 것을 특징으로 하는, 라이브 배신 시스템.
  2. 제1항에 있어서,
    상기 연출 효과는, 상기 라이브 영상에 대해 개별적으로 레이어 합성되는 라이브 회장마다의 연출 효과 영상, 라이브 회장 측의 음향 장치에 대해 개별적으로 지시되는 라이브 회장마다의 연출 효과 음향, 또는, 라이브 회장 측의 조명 기기에 대해 개별적으로 지시되는 라이브 회장마다의 연출 효과 조명인 것을 특징으로 하는, 라이브 배신 시스템.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 장소가 상이한 복수의 라이브 회장 측의 기기에 네트워크 접속된 라이브 배신 시스템이, 라이브 배신에 있어서의 액터의 움직임에 기초하여 생성된 라이브 영상을 라이브 배신하는 라이브 배신 방법에 있어서,
    라이브에서의 캐릭터의 움직임을 연기하는 액터의 움직임을 분석하여 데이터화하는 제1 단계와,
    상기 데이터화된 액터의 움직임을 캐릭터의 움직임으로 변환함으로써 라이브 영상을 생성하고, 상기 생성된 라이브 영상을 상기 복수의 라이브 회장에 라이브 배신하는 제2 단계와,
    상기 라이브 영상이 라이브 배신된 상기 복수의 라이브 회장의 각각에 있어서의 참가자의 반응을, 상기 복수의 라이브 회장의 각각에 설치된 검출 기기로부터, 네트워크를 통해, 실시간 및 일원적으로 수집하는 제3 단계와,
    상기 수집된 라이브 회장마다의 참가자의 반응에 기초하여, 상기 라이브 영상에 부가하는 연출 효과를 라이브 회장마다 개별적으로 결정하고, 네트워크를 통해, 상기 복수의 라이브 회장의 각각에 설치된 출력 기기에 송신하는 제4 단계
    를 구비한 것을 특징으로 하는, 라이브 배신 방법.
  10. 제9항에 있어서,
    상기 연출 효과는, 상기 라이브 영상에 대해 개별적으로 레이어 합성되는 라이브 회장마다의 연출 효과 영상, 라이브 회장 측의 음향 장치에 대해 개별적으로 지시되는 라이브 회장마다의 연출 효과 음향, 또는, 라이브 회장 측의 조명 기기에 대해 개별적으로 지시되는 라이브 회장마다의 연출 효과 조명인 것을 특징으로 하는, 라이브 배신 방법.
KR1020217029116A 2019-03-13 2019-03-13 라이브 배신 시스템 및 라이브 배신 방법 KR102625902B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010165 WO2020183630A1 (ja) 2019-03-13 2019-03-13 ライブ配信システムおよびライブ配信方法

Publications (2)

Publication Number Publication Date
KR20210135520A KR20210135520A (ko) 2021-11-15
KR102625902B1 true KR102625902B1 (ko) 2024-01-17

Family

ID=72426182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217029116A KR102625902B1 (ko) 2019-03-13 2019-03-13 라이브 배신 시스템 및 라이브 배신 방법

Country Status (6)

Country Link
US (1) US20220132224A1 (ko)
EP (1) EP3941080A4 (ko)
JP (1) JPWO2020183630A1 (ko)
KR (1) KR102625902B1 (ko)
CN (1) CN113767643B (ko)
WO (1) WO2020183630A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023012976A1 (ko) * 2021-08-05 2023-02-09
CN114613119B (zh) * 2022-01-19 2023-09-19 浙江大丰体育设备有限公司 支持无线群控荧光棒群控的基站
JP2024004193A (ja) * 2022-06-28 2024-01-16 エイベックス・テクノロジーズ株式会社 配信システム
WO2024047815A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 盛り上がり尤度制御方法、盛り上がり尤度制御装置及び盛り上がり尤度制御プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150002618A1 (en) 2011-10-07 2015-01-01 Let's Powow Limited Collaboration extension system
CN104754284A (zh) 2013-12-26 2015-07-01 中国移动通信集团公司 一种视频会议直播方法、设备及系统
US20160057391A1 (en) 2014-08-21 2016-02-25 Jupiter Systems Systems and methods of incorporating live streaming sources into a video conference
JP2018158046A (ja) * 2017-03-23 2018-10-11 株式会社バンダイナムコエンターテインメント 操作制御システム、キャラクタ上映システム及びプログラム
JP6463535B1 (ja) * 2018-04-27 2019-02-06 株式会社コロプラ プログラム、情報処理装置、および方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5993314A (en) * 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
JP4432246B2 (ja) * 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
JP5609160B2 (ja) * 2010-02-26 2014-10-22 ソニー株式会社 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体
JP5767004B2 (ja) * 2011-04-19 2015-08-19 鳳俊 李 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム
EP2582145A3 (en) * 2011-10-13 2014-07-30 Gface GmbH Interactive remote participation in live entertainment
US20150054727A1 (en) * 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US10231024B2 (en) * 2013-09-12 2019-03-12 Blizzard Entertainment, Inc. Selectively incorporating feedback from a remote audience
WO2015120413A1 (en) * 2014-02-07 2015-08-13 Fanpics, Llc Real-time imaging systems and methods for capturing in-the-moment images of users viewing an event in a home or local environment
CN104159005A (zh) * 2014-08-22 2014-11-19 苏州乐聚一堂电子科技有限公司 虚拟演唱会观众影像系统
US9814987B1 (en) * 2014-12-22 2017-11-14 Amazon Technologies, Inc. Spectator feedback and adaptation
US9691238B2 (en) * 2015-07-29 2017-06-27 Immersion Corporation Crowd-based haptics
JP6931505B2 (ja) 2016-02-23 2021-09-08 株式会社ユークス イベント演出システム、その動作方法、およびそのプログラム
CN106303555B (zh) * 2016-08-05 2019-12-03 深圳市摩登世纪科技有限公司 一种基于混合现实的直播方法、装置和系统
JP2018036690A (ja) * 2016-08-29 2018-03-08 米澤　朋子 一対多コミュニケーションシステムおよびプログラム
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
JPWO2018199115A1 (ja) * 2017-04-24 2020-02-27 富士通株式会社 演出制御装置、演出システム、及びプログラム
CN107634936B (zh) * 2017-08-24 2020-11-27 广州华多网络科技有限公司 一种直播互动方法、服务器及终端
CN108091192A (zh) * 2017-12-14 2018-05-29 尹子悦 交互式在线教学系统及方法、教师系统以及学生系统
JP6775557B2 (ja) * 2018-09-03 2020-10-28 グリー株式会社 動画配信システム、動画配信方法、及び動画配信プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150002618A1 (en) 2011-10-07 2015-01-01 Let's Powow Limited Collaboration extension system
CN104754284A (zh) 2013-12-26 2015-07-01 中国移动通信集团公司 一种视频会议直播方法、设备及系统
US20160057391A1 (en) 2014-08-21 2016-02-25 Jupiter Systems Systems and methods of incorporating live streaming sources into a video conference
JP2018158046A (ja) * 2017-03-23 2018-10-11 株式会社バンダイナムコエンターテインメント 操作制御システム、キャラクタ上映システム及びプログラム
JP6463535B1 (ja) * 2018-04-27 2019-02-06 株式会社コロプラ プログラム、情報処理装置、および方法

Also Published As

Publication number Publication date
EP3941080A4 (en) 2023-02-15
CN113767643A (zh) 2021-12-07
JPWO2020183630A1 (ja) 2021-12-02
KR20210135520A (ko) 2021-11-15
WO2020183630A1 (ja) 2020-09-17
EP3941080A1 (en) 2022-01-19
US20220132224A1 (en) 2022-04-28
CN113767643B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
KR102625902B1 (ko) 라이브 배신 시스템 및 라이브 배신 방법
US20120331387A1 (en) Method and system for providing gathering experience
CN107168518B (zh) 一种用于头戴显示器的同步方法、装置及头戴显示器
CN105938541B (zh) 利用数字内容增强现场表演的系统和方法
JP2017151978A (ja) イベント演出システム、その動作方法、およびそのプログラム
US20190166670A1 (en) Lighting control apparatus, corresponding method and computer program product
JP2024019661A (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11288032B2 (en) Platform for control in synchronization with music and control method therefor
JP2018170602A (ja) 実行装置、情報処理システム、情報処理方法、及びプログラム
JP7188831B2 (ja) ライブ配信システムおよびライブ配信方法
US11665373B2 (en) Virtual spectator experience for live events
JP7442979B2 (ja) カラオケシステム
US10311292B2 (en) Multiple-media performance mechanism
Poirier-Quinot et al. Nü soundworks: Using spectators smartphones as a distributed network of speakers and sensors during live performances
WO2021242325A1 (en) Interactive remote audience projection system
KR102624423B1 (ko) 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술
CN114501050B (zh) 用于输出信息的方法和装置
KR102111990B1 (ko) 웨어러블 장치를 이용한 컨텐츠 제어 방법, 장치 및 시스템
JP2023552119A (ja) 撮影中のパフォーマに対する聴衆反応のシミュレーション
US20230134451A1 (en) Machine learning systems and methods for sensory augmentation using gaze tracking and emotional prediction techniques
US20220284664A1 (en) Image Display System, Display Control Method, and Light Emission Control Method
KR20230040334A (ko) 가상 지원 스튜디오의 생성 및 관리를 위한 시스템 및 방법
KR20230057319A (ko) 비대면 리액티브 공연을 위한 공연서버 운영 방법
JP2022185896A (ja) 情報処理システム、環境設定システム、データ提供方法、プログラム
JP2023182937A (ja) 反応管理装置及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right