JPWO2020183630A1 - ライブ配信システムおよびライブ配信方法 - Google Patents

ライブ配信システムおよびライブ配信方法 Download PDF

Info

Publication number
JPWO2020183630A1
JPWO2020183630A1 JP2021504695A JP2021504695A JPWO2020183630A1 JP WO2020183630 A1 JPWO2020183630 A1 JP WO2020183630A1 JP 2021504695 A JP2021504695 A JP 2021504695A JP 2021504695 A JP2021504695 A JP 2021504695A JP WO2020183630 A1 JPWO2020183630 A1 JP WO2020183630A1
Authority
JP
Japan
Prior art keywords
live
venue
effect
participants
live venue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021504695A
Other languages
English (en)
Inventor
範和 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BALUS CO., LTD.
Original Assignee
BALUS CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BALUS CO., LTD. filed Critical BALUS CO., LTD.
Publication of JPWO2020183630A1 publication Critical patent/JPWO2020183630A1/ja
Priority to JP2022130925A priority Critical patent/JP7188831B2/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Social Psychology (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Primary Health Care (AREA)
  • Computer Security & Cryptography (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Ecology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

ライブ映像が一斉配信される複数のライブ会場において、参加者全体の没入感を高める。ライブ配信システム１は、反応収集部４と、演出効果制御部５とを有し、場所が異なる複数のライブ会場Ａ〜Ｃに対して、ライブ映像を一斉に配信する。反応収集部４は、ライブ映像をライブ会場Ａ〜Ｃで視聴する参加者の反応を、ライブ会場内の検出機器７から、ライブ会場毎にリアルタイムで収集する。演出効果制御部５は、反応収集部４によって収集されたライブ会場毎の参加者の反応に基づいて、ライブ会場Ａ〜Ｃにおいて演出すべき演出効果をライブ会場毎に決定する。

Description

本発明は、ライブ配信システムおよびライブ配信方法に係り、特に、場所が異なる複数のライブ会場に対する一斉ライブ配信に関する。
例えば、特許文献１には、ユーザたちが互いに協力し、または、互いに競い合いなどしながら、歌手やキャラクターのコンサートの映像が表示される映像表示装置に所定の演出効果を出力するイベント演出システムが開示されている。このイベント演出システムは、演出制御サブシステムと、ユーザ端末と、映像表示装置とを有する。演出制御サブシステムは、イベント会場の演出制御を行う。ユーザ端末は、演出制御サブシステムと通信ネットワークを介して接続されている。映像表示装置は、イベント会場に設けられており、演出制御サブシステムによる演出効果の映像を表示する。ここで、演出効果は、イベント会場におけるユーザの各種作業によって発生したポイントを使用することで選定され、これが映像データに合成される。例えば、キャラクターが歌う映像の背後のレイヤーとして、コメントを表示した後に消滅するといった動作が付加され、このような演出効果を通じて、イベントが盛り上げられる。
特開２０１７−１５１９７８号公報
ところで、場所が異なる複数のライブ会場に対するライブ配信を一斉に行う場合、参加者の盛り上がり（ヒートアップ）の程度はライブ会場毎に異なることから、すべてのライブ会場で同一の演出効果を一律に行うと、会場によっては参加者に違和感を与えるおそれがある。例えば、参加者を一層盛り上げるような演出効果の高いものは、既に十分に盛り上がっているライブ会場では好ましいが、それよりも盛り上がりに欠けるライブ会場では好ましくない。そのようなライブ会場では、むしろ演出効果を控えめにした方が、そこの参加者にとっての没入感が得られ易い。
本発明は、かかる事情に鑑みてなされたものであり、その目的は、ライブ配信が一斉に行われる複数のライブ会場において、参加者全員の没入感を高めることである。
かかる課題を解決すべく、第１の発明は、反応収集部と、演出効果制御部とを有し、場所が異なる複数のライブ会場に対して、ライブ配信を一斉に行うライブ配信システムを提供する。反応収集部は、ライブ会場における参加者の反応を、ライブ会場内の検出機器から、ライブ会場毎にリアルタイムで収集する。演出効果制御部は、反応収集部によって収集されたライブ会場毎の参加者の反応に基づいて、ライブ会場において演出すべき演出効果をライブ会場毎に個別に決定する。
ここで、第１の発明において、上記演出効果制御部は、上記演出効果として、ライブ会場毎の演出効果映像を生成し、映像効果映像が合成されたライブ映像をライブ会場に配信してもよい。また、上記演出効果制御部は、上記演出効果として、ライブ会場毎の演出効果音響を決定し、ライブ会場側の音響機器に指示してもよい。さらに、上記演出効果制御部は、上記演出効果として、ライブ会場毎の演出効果照明を決定し、ライブ会場側の照明機器に指示してもよい。
第１の発明において、上記検出機器は、ライブ会場における参加者が所有する複数の携帯端末であって、上記参加者の反応は、複数の携帯端末に対する参加者のユーザ操作の数であってもよい。また、上記検出機器は、それぞれのライブ会場に設置されたカメラであって、上記参加者の反応は、カメラによって取得された画像中の動きであってもよい。また、上記検出機器は、それぞれのライブ会場に設置されたマイクであって、上記参加者の反応は、マイクによって取得された音であってもよい。さらに、上記検出機器は、それぞれのライブ会場に設置された温度センサであって、上記参加者の反応は、温度センサによって取得された温度の変化であってもよい。
第２の発明は、場所が異なる複数のライブ会場に対して、ライブ配信を一斉に行うライブ配信方法を提供する。このライブ配信方法において、第１のステップでは、演者の動きを仮想的なキャラクターの動きに変換することによって、仮想的なキャラクターのライブ映像を生成する。第２のステップでは、ライブ映像をライブ会場で視聴する参加者の反応を、ライブ会場側の検出機器から、ライブ会場毎にリアルタイムで収集する。第３のステップでは、収集されたライブ会場毎の参加者の反応に基づいて、ライブ会場において演出すべき演出効果をライブ会場毎に決定する。第４のステップでは、決定されたライブ会場毎の演出効果に基づいて、演出効果映像をライブ会場毎に生成する。第５のステップでは、生成されたライブ映像に、生成されたライブ会場毎の演出効果映像を合成する。第６のステップでは、演出効果映像が合成されたライブ会場毎のライブ映像を、ライブ会場に配信する。
本発明によれば、ライブ会場で演出すべき演出効果を、それぞれのライブ会場における参加者の反応に応じて、ライブ会場毎に個別に決定することで、それぞれのライブ会場に適した演出効果を実行する。これにより、特定のライブ会場の参加者に違和感を与えることなく、一斉ライブ配信における参加者全員の没入感を効果的に高めることができる。
本実施形態に係る仮想ライブシステムのブロック図 ライブ映像の一例を示す図 演出効果映像の一例を示す図 合成映像の一例を示す図
図１は、本実施形態に係る仮想ライブシステムのブロック図である。この仮想ライブシステムは、場所が異なる複数のライブ会場Ａ〜Ｃにネットワーク接続されたライブ配信システム１を主体に構成されており、ライブ会場Ａ〜Ｃに対して、仮想的なキャラクター（キャラクターのグループを含む。）の歌や踊りを映像化したライブ映像を一斉に配信する。これにより、多くの会場において、仮想的なキャラクターによるライブの同時開催が実現される。なお、本明細書において、「ライブ会場」とは、動画配信、ＶＲ配信（ＶＲ；virtual reality）、ＡＲ配信（ＡＲ；Augmented Reality）などの一斉ライブ配信が行われる場所を広く包含し、実在する会場のみならず、オンライン上の会場（参加人数は問わない。）も含まれる。
ライブ配信システム１は、モーション解析部２と、ライブ映像生成部３と、演出効果制御部４と、反応収集部５とを有する。モーション解析部２は、キャラクターの動きを演じる演者（アクター）に取り付けられた多数のモーションセンサの出力に基づいて、演者の動きを解析してデータ化する。ライブ映像生成部３は、データ化された演者の動きを仮想的なキャラクターの動きに変換することによって、例えば図２に示すような、仮想的なキャラクターに関するアニメ化されたライブ映像を生成する。このライブ映像は、インターネットなどのネットワークを介して、ライブ会場Ａ〜Ｃに同時配信される。
それぞれのライブ会場Ａ〜Ｃは、出力機器６と、検出機器７とを有している。出力機器６には、スクリーンに映像を投射するプロジェクタなどの表示装置６ａと、スピーカを主体とした音響機器６ｂと、ライトやレーザビームなどを発する照明機器５ｃとが存在する。表示装置５ａは、映像制御部５ａによって制御され、音響機器６ｂは、音響制御部５ｂによって制御され、照明機器６ｃは、照明制御部５ｃによってライブ会場毎に個別に制御される。
検出機器７は、特定のライブ会場においてライブ映像を視聴する参加者の反応を直接的または間接的に検出する。本実施形態において、検出機器７としては、参加者が所持している携帯端末７ａ、ライブ会場内における参加者全体を俯瞰したカメラ７ｂ、ライブ会場内における参加者全体の声を集音するマイク７ｃ、ライブ会場内の温度を検出する温度センサ７ｄが想定され、これらの内の少なくとも一つが用いられる。
検出機器７として、参加者が保持しているスマートフォンなどの携帯端末７ａを用いる場合、携帯端末７ａにおける所定のユーザ操作の数（例えば、タップ数）に基づいて、参加者の反応を検出・推定することができる。仮想ライブでは、キャラクターからの要求があった場合、参加者は、好きなキャラクターを応援すべく、携帯端末７ａのアプリ上でタップを高速で行う（タップ数の大小は応援の程度を示す。）。したがって、参加者によるタップの総数が多いほど、ライブ会場が盛り上がっている、すなわち、参加者の反応が高いとみなすことができる。
検出機器７として、ライブ会場に設置されたカメラ７ｂを用いる場合、カメラ７ｂによって撮像された画像中の動きに基づいて、参加者の反応を検出・推定することができる。一般に、ライブ会場が盛り上がるほど、人々の動きや、ペンライトに由来した輝点の動きが大きくなる傾向がある。そこで、カメラ７ｂによって撮像された画像の時系列的にモニタリングして、画像中の動き（例えばオプティカルフロー）が大きくなるほど、ライブ会場が盛り上がっている、すなわち、参加者の反応が高いとみなすことができる。
検出機器７として、ライブ会場に設置されたマイク７ｃを用いる場合、マイク７ｃによって取得された音の大小に基づいて、参加者の反応を検出・推定することができる。仮想ライブでは、キャラクターからの要求があった場合、参加者は大きな声で声援を送る。したがって、参加者による声援の音量が大きいほど、ライブ会場が盛り上がっている、すなわち、参加者の反応が高いとみなすことができる。
検出機器７として、ライブ会場に設置された温度センサ７ｄを用いる場合、温度センサ７ｄによって検出された温度変化に基づいて、参加者の反応を検出・推定することができる。ライブ会場が盛り上がるほど、ライブ会場が熱気で包まれ、室温が上昇する。そこで、温度センサ７ｄによって室温の上昇をモニタリングして、温度上昇の度合いが大きくなるほど、ライブ会場が盛り上がっている、すなわち、参加者の反応が高いとみなすことができる。
ライブ配信システム１は、ライブ会場Ａ〜Ｃ側の検出機器７によって検出されたライブ会場毎の参加者の反応に応じて、ライブ会場毎に検出効果を制御する。具体的には、反応収集部４は、ライブ会場Ａ〜Ｃにおいてライブ映像を視聴する参加者の反応を、それぞれのライブ会場Ａ〜Ｃ内の検出機器７から、ライブ会場毎にリアルタイムで収集する。演出効果制御部５は、反応収集部４によって収集されたライブ会場毎の参加者の反応に基づいて、ライブ会場Ａ〜Ｃにおいて演出すべき演出効果をライブ会場毎に決定する。演出効果制御部５としては、映像制御部５ａ、音響制御部５ｂ、および、照明制御部５ｃが設けられている。
映像制御部５ａは、演出効果として、ライブ会場毎の演出効果映像を生成し、映像効果映像を個別に合成したライブ映像をライブ会場Ａ〜Ｃに配信する。図３は、演出効果映像の一例として、ライブ映像の背景レイヤーとして付加される流れ星を示す。単位時間当たりの流れ星の個数は、それぞれのライブ会場Ａ〜Ｃにおける参加者の反応に応じてライブ会場毎に決定され、参加者の反応が高くなるほど多くなる。図４は、ライブ映像に流れ星の演出効果映像が合成された合成映像の一例を示す図である。参加者の反応が高いライブ会場Ａについては、合成画像における流れ星の数が多く、これによって、非常に盛り上がっている参加者に適した演出が行われる。参加者の反応が中程度のライブ会場Ｂについては、合成画像における流れ星の数が普通であり、これによって、普通に盛り上がっている参加者に違和感を与えることなく、それ相応の演出が行われる。参加者の反応が低いライブ会場Ｃについては、合成画像における流れ星の数が少なく、これによって、盛り上がりに欠ける参加者に違和感を与えることなく、それ相応の演出が行われる。
なお、ライブ映像に合成する演出効果映像は、流れ星に限定されるものではなく、既知の様々な映像を任意に用いることができる。例えば、演出効果映像として燃え上がる炎を用いる場合、参加者の反応に応じて、炎の大小や勢いを可変に制御してもよい。また、演出効果映像は、同種のものである必要はなく、参加者の反応に応じて異なる種類の演出効果映像を付加してもよい。さらに、映像制御部５ａによる演出効果としては、背景としての演出効果映像の付加のみならず、例えば、キャラクターの汗の量を変えるといった如く、ライブ映像のキャラクター自体に変化を付けてもよい。
音響制御部５ｂは、演出効果として、ライブ会場毎の演出効果音響を決定し、その実行をライブ会場側の音響機器６ｂに個別に指示する。例えば、参加者の反応が高くなるほど、音量を大きくしたり、音源の数を増やしたりするといった如くである。
照明制御部４ｃは、演出効果として、ライブ会場毎の演出効果照明を決定し、ライブ会場側の照明機器６ｃに個別に指示する。例えば、参加者の反応が高くなるほど、ライトの発光数を増やしたり、フラッシュの間隔を短くしたり、レーザビームの本数を増やすといった如くである。
このように、本実施形態によれば、ライブ会場で演出すべき演出効果を、それぞれのライブ会場における参加者の反応、換言すれば、ライブ会場における盛り上がりの程度に応じて、ライブ会場毎に個別に決定する。これにより、それぞれのライブ会場に適した演出効果を実行する。その結果、特定のライブ会場の参加者に違和感を与えることなく、ライ配信が一斉に行われるすべてのライブ会場において、参加者全員の没入感を効果的に高めることができる。
１ ライブ配信システム
２ モーション解析部
３ ライブ映像生成部
４ 反応収集部
５ 演出効果制御部
５ａ 映像制御部
５ｂ 音響制御部
５ｃ 照明制御部
６ 出力機器
６ａ 表示機器
６ｂ 音響機器
６ｃ 照明機器
７ 検出機器
７ａ 携帯端末
７ｂ カメラ
７ｃ マイク
７ｄ 温度センサ
かかる課題を解決すべく、第１の発明は、場所が異なる複数のライブ会場側の機器にネットワーク接続されており、複数のライブ会場に対してライブ映像を一斉に配信するライブ配信システムを提供する。このライブ配信システムは、モーション解析部と、ライブ映像生成部と、反応収集部と、演出効果制御部とを有する。モーション解析部は、キャラクターの動きを演じる演者の動きを解析してデータ化する。ライブ映像生成部は、データ化された演者の動きをキャラクターの動きに変換することによって、ライブ映像を生成する。反応収集部は、ライブ映像が一斉にライブ配信された複数のライブ会場のそれぞれにおける参加者の反応を、複数のライブ会場のそれぞれに設けられた検出機器から、ネットワークを介して、リアルタイムかつ一元的にで収集する。演出効果制御部は、反応収集部によって収集されたライブ会場毎の参加者の反応に基づいて、ライブ映像に付加する演出効果をライブ会場毎に個別に決定し、ネットワークを介して、複数のライブ会場のそれぞれに設けられた出力機器に送信する。
第２の発明は、場所が異なる複数のライブ会場側の機器にネットワーク接続されたライブ配信システムが、複数のライブ会場に対してライブ映像を一斉に配信するライブ配信方法を提供する。このライブ配信方法は、以下のステップを有する。第１のステップでは、キャラクターの動きを演じる演者の動きを解析してデータ化し、データ化された演者の動きをキャラクターの動きに変換することによって、ライブ映像を生成する。第２のステップでは、ライブ映像が一斉にライブ配信された複数のライブ会場のそれぞれで視聴する参加者の反応を、複数のライブ会場のそれぞれに設けられた検出機器から、ネットワークを介して、リアルタイムかつ一元的に収集する。第３のステップでは、収集されたライブ会場毎の参加者の反応に基づいて、ライブ映像に付加する演出効果をライブ会場毎に個別に決定し、ネットワークを介して、複数のライブ会場のそれぞれに設けられた出力機器に送信する。
本発明によれば、演者の動きに応じて生成されたライブ映像に付加する演出効果を、それぞれのライブ会場における参加者の反応に応じて、ライブ会場毎に個別に決定する。それぞれのライブ会場に適した演出効果を実行することで、特定のライブ会場の参加者に違和感を与えることなく、一斉ライブ配信における参加者全員の没入感を効果的に高めることができる。
なお、ライブ映像に合成する演出効果映像は、流れ星に限定されるものではなく、既知の様々な映像を任意に用いることができる。例えば、演出効果映像として燃え上がる炎を用いる場合、参加者の反応に応じて、炎の大小や勢いを可変に制御してもよい。また、演出効果映像は、同種のものである必要はなく、参加者の反応に応じて異なる種類の演出効果映像を付加してもよい。

Claims (9)

  1. 場所が異なる複数のライブ会場に対して、ライブ配信を一斉に行うライブ配信システムにおいて、
    ライブ会場における参加者の反応を、ライブ会場内の検出機器から、ライブ会場毎にリアルタイムで収集する反応収集部と、
    前記反応収集部によって収集されたライブ会場毎の参加者の反応に基づいて、ライブ会場において演出すべき演出効果をライブ会場毎に個別に決定する演出効果制御部と
    を有することを特徴とするライブ配信システム。
  2. 前記演出効果制御部は、前記演出効果として、ライブ会場毎の演出効果映像を生成し、前記映像効果映像が合成されたライブ映像をライブ会場に配信することを特徴とする請求項１に記載されたライブ配信システム。
  3. 前記演出効果制御部は、前記演出効果として、ライブ会場毎の演出効果音響を決定し、ライブ会場側の音響機器に指示することを特徴とする請求項１に記載されたライブ配信システム。
  4. 前記演出効果制御部は、前記演出効果として、ライブ会場毎の演出効果照明を決定し、ライブ会場側の照明機器に指示することを特徴とする請求項１に記載されたライブ配信システム。
  5. 前記検出機器は、ライブ会場における参加者が所有する複数の携帯端末であって、
    前記参加者の反応は、前記複数の携帯端末に対する参加者のユーザ操作の数であることを特徴とする請求項１から４のいずれかに記載されたライブ配信システム。
  6. 前記検出機器は、それぞれのライブ会場に設置されたカメラであって、
    前記参加者の反応は、前記カメラによって取得された画像中の動きであることを特徴とする請求項１から４のいずれかに記載されたライブ配信システム。
  7. 前記検出機器は、それぞれのライブ会場に設置されたマイクであって、
    前記参加者の反応は、前記マイクによって取得された音であることを特徴とする請求項１から４のいずれかに記載されたライブ配信システム。
  8. 前記検出機器は、それぞれのライブ会場に設置された温度センサであって、
    前記参加者の反応は、前記温度センサによって取得された温度の変化であることを特徴とする請求項１から４のいずれかに記載されたライブ配信システム。
  9. 場所が異なる複数のライブ会場に対して、ライブ配信を一斉に行うライブ配信方法において、
    演者の動きを仮想的なキャラクターの動きに変換することによって、仮想的なキャラクターのライブ映像を生成する第１のステップと、
    ライブ映像をライブ会場で視聴する参加者の反応を、ライブ会場側の検出機器から、ライブ会場毎にリアルタイムで収集する第２のステップと、
    前記収集されたライブ会場毎の参加者の反応に基づいて、ライブ会場において演出すべき演出効果をライブ会場毎に決定する第３のステップと、
    前記決定されたライブ会場毎の演出効果に基づいて、演出効果映像をライブ会場毎に生成する第４のステップと、
    前記生成されたライブ映像に、前記生成されたライブ会場毎の演出効果映像を合成する第５のステップと、
    前記演出効果映像が合成されたライブ会場毎のライブ映像を、ライブ会場に配信する第６のステップと
    を有することを特徴とするライブ配信方法。
JP2021504695A 2019-03-13 2019-03-13 ライブ配信システムおよびライブ配信方法 Pending JPWO2020183630A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022130925A JP7188831B2 (ja) 2019-03-13 2022-08-19 ライブ配信システムおよびライブ配信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010165 WO2020183630A1 (ja) 2019-03-13 2019-03-13 ライブ配信システムおよびライブ配信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022130925A Division JP7188831B2 (ja) 2019-03-13 2022-08-19 ライブ配信システムおよびライブ配信方法

Publications (1)

Publication Number Publication Date
JPWO2020183630A1 true JPWO2020183630A1 (ja) 2021-12-02

Family

ID=72426182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021504695A Pending JPWO2020183630A1 (ja) 2019-03-13 2019-03-13 ライブ配信システムおよびライブ配信方法

Country Status (6)

Country Link
US (1) US20220132224A1 (ja)
EP (1) EP3941080A4 (ja)
JP (1) JPWO2020183630A1 (ja)
KR (1) KR102625902B1 (ja)
CN (1) CN113767643B (ja)
WO (1) WO2020183630A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023012976A1 (ja) * 2021-08-05 2023-02-09
CN114613119B (zh) * 2022-01-19 2023-09-19 浙江大丰体育设备有限公司 支持无线群控荧光棒群控的基站
JP2024004193A (ja) * 2022-06-28 2024-01-16 エイベックス・テクノロジーズ株式会社 配信システム
WO2024047815A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 盛り上がり尤度制御方法、盛り上がり尤度制御装置及び盛り上がり尤度制御プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151978A (ja) * 2016-02-23 2017-08-31 株式会社ユークス イベント演出システム、その動作方法、およびそのプログラム
JP2018036690A (ja) * 2016-08-29 2018-03-08 米澤　朋子 一対多コミュニケーションシステムおよびプログラム
JP2018158046A (ja) * 2017-03-23 2018-10-11 株式会社バンダイナムコエンターテインメント 操作制御システム、キャラクタ上映システム及びプログラム
JP6463535B1 (ja) * 2018-04-27 2019-02-06 株式会社コロプラ プログラム、情報処理装置、および方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5993314A (en) * 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
JP4432246B2 (ja) * 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
JP5609160B2 (ja) * 2010-02-26 2014-10-22 ソニー株式会社 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体
JP5767004B2 (ja) * 2011-04-19 2015-08-19 鳳俊 李 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム
NZ595638A (en) * 2011-10-07 2013-09-27 Let S Powow Ltd Collaboration Extension System
EP2582145A3 (en) * 2011-10-13 2014-07-30 Gface GmbH Interactive remote participation in live entertainment
US20150054727A1 (en) * 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US10231024B2 (en) * 2013-09-12 2019-03-12 Blizzard Entertainment, Inc. Selectively incorporating feedback from a remote audience
CN104754284B (zh) * 2013-12-26 2018-08-10 中国移动通信集团公司 一种视频会议直播方法、设备及系统
WO2015120413A1 (en) * 2014-02-07 2015-08-13 Fanpics, Llc Real-time imaging systems and methods for capturing in-the-moment images of users viewing an event in a home or local environment
US9344681B2 (en) * 2014-08-21 2016-05-17 Infocus Corporation Systems and methods of incorporating live streaming sources into a video conference
CN104159005A (zh) * 2014-08-22 2014-11-19 苏州乐聚一堂电子科技有限公司 虚拟演唱会观众影像系统
US9814987B1 (en) * 2014-12-22 2017-11-14 Amazon Technologies, Inc. Spectator feedback and adaptation
US9691238B2 (en) * 2015-07-29 2017-06-27 Immersion Corporation Crowd-based haptics
CN106303555B (zh) * 2016-08-05 2019-12-03 深圳市摩登世纪科技有限公司 一种基于混合现实的直播方法、装置和系统
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
JPWO2018199115A1 (ja) * 2017-04-24 2020-02-27 富士通株式会社 演出制御装置、演出システム、及びプログラム
CN107634936B (zh) * 2017-08-24 2020-11-27 广州华多网络科技有限公司 一种直播互动方法、服务器及终端
CN108091192A (zh) * 2017-12-14 2018-05-29 尹子悦 交互式在线教学系统及方法、教师系统以及学生系统
JP6775557B2 (ja) * 2018-09-03 2020-10-28 グリー株式会社 動画配信システム、動画配信方法、及び動画配信プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151978A (ja) * 2016-02-23 2017-08-31 株式会社ユークス イベント演出システム、その動作方法、およびそのプログラム
JP2018036690A (ja) * 2016-08-29 2018-03-08 米澤　朋子 一対多コミュニケーションシステムおよびプログラム
JP2018158046A (ja) * 2017-03-23 2018-10-11 株式会社バンダイナムコエンターテインメント 操作制御システム、キャラクタ上映システム及びプログラム
JP6463535B1 (ja) * 2018-04-27 2019-02-06 株式会社コロプラ プログラム、情報処理装置、および方法

Also Published As

Publication number Publication date
CN113767643A (zh) 2021-12-07
EP3941080A4 (en) 2023-02-15
US20220132224A1 (en) 2022-04-28
KR102625902B1 (ko) 2024-01-17
EP3941080A1 (en) 2022-01-19
WO2020183630A1 (ja) 2020-09-17
CN113767643B (zh) 2024-04-05
KR20210135520A (ko) 2021-11-15

Similar Documents

Publication Publication Date Title
WO2020183630A1 (ja) ライブ配信システムおよびライブ配信方法
WO2016088566A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP7465019B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7188831B2 (ja) ライブ配信システムおよびライブ配信方法
Gurevich et al. Ambisonic spatialization for networked music performance
WO2022024898A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP7442979B2 (ja) カラオケシステム
JP6951610B1 (ja) 音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラム
JP2009005012A (ja) データ配信装置、データ配信方法およびプログラム
WO2021242325A1 (en) Interactive remote audience projection system
JP2018028646A (ja) 会場別カラオケ
US7526790B1 (en) Virtual audio arena effect for live TV presentations: system, methods and program products
US11641459B2 (en) Viewing system, distribution apparatus, viewing apparatus, and recording medium
WO2023120244A1 (ja) 伝送装置、伝送方法、およびプログラム
JP2007124253A (ja) 情報処理装置および制御方法
JP6610076B2 (ja) 情報処理装置、情報処理システム、プログラム、及び記録媒体
JP7137278B2 (ja) 再生制御方法、制御システム、端末装置およびプログラム
JP7344610B2 (ja) 管理サーバ
JP7191146B2 (ja) 配信サーバ、配信方法、及びプログラム
JP7436319B2 (ja) サーバ装置
JP2011228998A (ja) 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム
JP2023535364A (ja) バーチャル対応のスタジオの創出及び管理のためのシステム及び方法
JP2023552119A (ja) 撮影中のパフォーマに対する聴衆反応のシミュレーション
EP4183134A1 (en) System and method for remotely creating an audio/video mix and master of live audio and video
KR20230057319A (ko) 비대면 리액티브 공연을 위한 공연서버 운영 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220121

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20220228

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20220228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230110