WO2021235048A1 - 無観客ライブ配信方法及びシステム - Google Patents

無観客ライブ配信方法及びシステム Download PDF

Info

Publication number
WO2021235048A1
WO2021235048A1 PCT/JP2021/009282 JP2021009282W WO2021235048A1 WO 2021235048 A1 WO2021235048 A1 WO 2021235048A1 JP 2021009282 W JP2021009282 W JP 2021009282W WO 2021235048 A1 WO2021235048 A1 WO 2021235048A1
Authority
WO
WIPO (PCT)
Prior art keywords
live
venue
audience
audio
user
Prior art date
Application number
PCT/JP2021/009282
Other languages
English (en)
French (fr)
Inventor
憲保 池田
Original Assignee
憲保 池田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 憲保 池田 filed Critical 憲保 池田
Priority to US17/925,212 priority Critical patent/US20230188770A1/en
Priority to CN202180036372.8A priority patent/CN115668956A/zh
Publication of WO2021235048A1 publication Critical patent/WO2021235048A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25841Management of client data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone

Definitions

  • the present invention relates to a live distribution method and a live distribution system, and more particularly to a two-way broadcasting system that performs live distribution via a communication line.
  • Live distribution using the Internet is actually being performed by performers, etc.
  • the video and audio of the performers can be viewed via a computer, smartphone, or the like.
  • Patent Document 1 discloses a system that provides a communication service using multimedia communication for transmitting information using a plurality of information media. Patent Document 1 also discloses a multi-client interactive conference service that enables conferences using video and audio information between a plurality of client terminals. Further, Patent Document 1 also discloses that a PC for transmitting live broadcasting for performing live broadcasting is provided.
  • Patent Document 1 does not consider live distribution in a non-audience state at all.
  • the problem to be solved is that the reaction of the viewer cannot be notified to the performers in real time in the live broadcast without spectators, so the performers cannot always focus on the performance, the game, etc.
  • non-audience live broadcasting method in which live distribution can be viewed through a monitor, and a speaker installed at a live venue where the live distribution is performed is used by a viewer for the live distribution.
  • a non-audience live broadcasting method can be obtained, which comprises outputting a reaction voice as an analog acoustic signal and notifying a live performer of the reaction of a viewer to the live distribution in real time.
  • the timing is adjusted with respect to the user terminal provided with the monitor for receiving the video and audio of the live venue and the user microphone for transmitting the user audio, and the video and audio of the live venue.
  • a two-way broadcasting system including a live venue side device that outputs the user voice to a speaker installed in the live venue can be obtained.
  • the bidirectional described in the second aspect is characterized in that the video and audio of the live venue are non-audience live video and audio generated in a non-audience state.
  • a broadcasting system is obtained.
  • the bidirectional broadcasting system according to the second or third aspect, wherein the user terminal and the live venue side device are connected via the Internet. can get.
  • the center server connected to the Internet is further provided, and the user terminal and the live venue side device are connected to the center server and the Internet via the center server and the user voice.
  • the two-way broadcasting system according to a fourth aspect is obtained, wherein the non-audience live video and audio are transmitted and received via the center server.
  • the performers and the like can obtain the same sense of presence as when a large number of spectators are visiting the live venue, despite the fact that there are no spectators. Further, even when watching a live performance by a non-audience, the viewer can convey an impression or the like to the performer or the like regarding the performance performed by the performer or the like. By recording, selling, and charging the video, audio, and user audio of the live performance without spectators, it is possible to inform the user of the excitement of the live performance. In addition, by limiting the number of viewers, tickets and the like associated with live performances without spectators can be sold online in advance, thereby stabilizing the income of performers, planning companies, and the like.
  • FIG. 1 It is a block diagram which shows an example of the two-way broadcasting system which concerns on one Embodiment of this invention. It is a block diagram which shows the schematic structure of the user terminal shown in FIG. It is a block diagram explaining the venue side interface shown in FIG.
  • FIG. 1 shows a two-way broadcasting system according to an embodiment of the present invention.
  • the two-way broadcasting system shown in FIG. 1 is a two-way broadcasting system using the Internet 10.
  • the communication line may include a mobile communication network or a cable television network.
  • the illustrated two-way broadcasting system includes a large number of user terminals 11 1 to 11 n connected to the Internet 10, a live venue 12, and a center server 13.
  • Each user terminal 11 1 to 11 n is provided with a microphone MIC that picks up and transmits the user's own sound in addition to a monitor (not shown) that reproduces live video and sound from the live venue 12.
  • the illustrated microphone MIC may be a microphone built in the monitor.
  • the monitor is a monitor such as a PC or a monitor of a mobile terminal, but may be a TV monitor as long as it is a television capable of bidirectional communication.
  • the live venue 12 shown in FIG. 1 is provided with a plurality of television cameras 14, a plurality of microphones 16, and a speaker 18 as venue-side devices.
  • the illustrated television camera 14 and microphone 16 are connected to the live broadcast transmitting unit 20, while the speaker 18 is connected to the audio receiving unit 22.
  • the live broadcast transmission unit 20 and the audio reception unit 22 are connected to the Internet 10 via the venue side interface 24.
  • the live broadcast transmission unit 20 digitizes live video and audio from the television camera 14 and the microphone 16, and also combines and mixes them using a normal distribution method and outputs them to the venue side interface 24.
  • the venue side interface 24 has a function of transmitting digitized video and audio signals in a format suitable for the Internet 10. Further, the venue side interface 24 includes a D / A conversion unit that multiplexes the digital audio signals from the user terminals 11 1 to 11n and converts the multiplexed digital audio signals into analog audio signals. In this case, digital audio signals from a plurality of user terminals 11 1 to 11n are combined and sent to the audio receiving unit 22. As a result, the voice receiving unit 22 synthesizes a plurality of analog voice signals from the venue side interface 24 to drive the Sbeeker 18, and in the hall, analog acoustic signals such as cheers, cheers, and applause from many users are sent into the hall. Output to. In this case, the analog audio signal reproduced in the venue may be picked up by the microphone 16 and converted into a digital audio signal by the live broadcast transmission unit 20 and sent to the interface 24 on the venue side.
  • the live video and audio of the live venue 12 are digitized by the live broadcast transmission unit 20, combined by the venue side interface 24, and transmitted to the Internet 10.
  • the above-mentioned live broadcast transmitting unit 20, audio receiving unit 22, and venue-side interface 24 may be realized by hardware or software.
  • the digital video signal and digital audio signal from the venue side interface 24 including the live video and audio are transmitted to the center server 13 via the Internet 10.
  • the center server 13 includes a live controller 31, a Web / Mail server 33, and a database 35. Further, in the illustrated example, a main controller 37 for controlling these is provided.
  • the live controller 31 identifies each user terminal 11 of the distribution destination under the control of the main controller 37 for the digital video signal and the audio signal transmitted via the Internet 10, and connects the Internet 10 to each identified user terminal 11.
  • Digital video signals and audio signals are delivered live via the Internet. Further, the received digital video and audio are stored in the database 35 under the control of the main controller 37, and the live video and audio can be viewed ex post facto according to the user's request even after the end of the live.
  • the live controller 31 has functions for controlling live video and audio, controlling time, managing users, managing schedules related to live performances, and the like.
  • the Web / Mail server 33 identifies the account or the like of the user terminal 11 sent via the Internet 10, and also receives the mail or message from the identified user terminal 11 and receives the mail or message from the identified user terminal 11 via the Internet 10.
  • the Web / Mail server 33 identifies whether or not the user is permitted to watch the live from the account or the like of the user terminal 11, and permits the identified user terminal 11 to watch the live.
  • a user who is permitted to watch can send an impression or the like by e-mail or a message, and the content of the sent e-mail or the like is reflected in the live video from the live venue 12.
  • FIG. 2 is a block diagram showing an example of the user terminal 11 shown in FIG.
  • the user terminal 11 includes a user control unit 41, a monitor 42, and an Internet interface 43.
  • the illustrated user control unit 41 includes a mail transmission / reception processing unit 45 and a voice processing unit 46. It is assumed that the mail transmission / reception processing unit 45 is connected to an input / output device (not shown) such as a keyboard. The input / output device may be one that inputs by voice.
  • the mail transmission / reception processing unit 45 outputs the mail input by the user to the Internet interface 43.
  • the voice processing unit 46 is connected to the microphone MIC and the monitor 42.
  • the voice processing unit 46 includes an A / D converter that receives an analog voice signal indicating the impression of the user from the microphone MIC and converts the analog voice signal into a user digital voice signal.
  • the audio processing unit 46 receives a time signal from the monitor 42, adjusts the timing of the user digital audio signal and the live video and audio received by the monitor 42, and outputs the timing-adjusted digital audio signal to the Internet interface.
  • Output to 43 The Internet interface 43 combines the digital audio signal and the user's identification signal, converts them into a packet signal or the like, and outputs the signal to the Internet 10.
  • the mail from the mail transmission / reception processing unit 45 may be output independently of the digital voice signal or the like from the voice processing unit 46, or may be mixed and output.
  • the packet signal including the voice of each user is transmitted from the Internet 10 to the center server 13, and the center server 13 transmits the timing-adjusted user digital voice signal to the voice receiving unit 22 of the live venue 12 via the Internet 10. It is assumed that the center server 13 has adjusted the schedule with the live concert in advance.
  • FIG. 3 is a block diagram showing the venue side interface 24 shown in FIG.
  • the illustrated venue-side interface 24 has a live signal processing unit 51 that processes video and audio from the live broadcast transmission unit 20, and a user-side audio processing unit 52 that processes user-side audio signals.
  • the live signal processing unit 51 and the user voice processing unit 52 are controlled by the venue side controller 53.
  • the live signal processing unit 51 receives the video signal and the audio signal from the live broadcast transmission unit 20, and converts the A / D converter into A / D and the A / D converted signal into a signal format suitable for the Internet 10. It includes a video / audio processing unit, a multiplexer, and the like.
  • the user audio processing unit 52 includes a audio processing unit including a demultiplexer that separates a digital audio signal from the user and a D / A converter that D / A converts the separated digital audio signal, and is D / A converted.
  • the analog audio signal is sent to the audio receiving unit 22 and converted into a signal for driving the speaker 18.
  • the live distribution is performed. It is possible to collect the fee from the viewer in advance, and it is possible to eliminate financial anxiety about the performers and the like. In this case, if the position in the live venue corresponding to the seat is determined for each viewer based on the viewer's account and the viewer information, the live distribution with a more realistic feeling can be enjoyed. Furthermore, it is possible to store the live broadcast in a database, and after the live distribution, to distribute the video and audio accompanying the live at a later date according to the viewer's request, or store it in another storage medium. It is also possible to sell the storage medium. It should be noted that the present invention is not necessarily limited to live distribution without spectators, and can be applied to live distribution with a small number of spectators.
  • the present invention can give the same impression and excitement as a live venue to performers and the like who perform live distribution that requires no audience in two-way Internet broadcasting.
  • the present invention is not limited to wired networks, but can be applied to 4G or 5G wireless networks.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

双方向放送システムでは、無観客ライブ配信の際における出演者のパフォーマンスの低下について考慮されていないのが実情である。 モニターを通してライブ配信を楽しめる無観客ライブ放送方法であって、ライブ配信に対する各視聴者の反応音声をリアルタイムに収集し、通信回線を介して当該ライブ配信を行っているライブ会場に設置されたスピーカに、前記ライブ配信に対する各視聴者のリアルタイムの反応音声をアナログ音響信号として出力し、当該ライブ配信に対する視聴者の反応をリアルタイムにライブ出演者に報知することを特徴とする無観客ライブ放送方法が得られる。

Description

無観客ライブ配信方法及びシステム
 本発明はライブ配信方法及びライブ配信システムに関し、特に、通信回線を介してライブ配信を行う双方向放送システムに関する。
 新型コロナウィルス(COVID-19)の感染の影響を少なくするために自宅待機が要請されている。このため、スポーツ、音楽、芸能等のエンターテインメントのライブは軒並み中止または延期となっている。したがって、これらエンターテインメントに携わる企業、組織、個人は、当該イベントの出演者である演奏者、スポーツ選手、タレント (以下、出演者等と呼ぶ)と共に経済的に窮地に追い込まれている。
 一方、COVID-19の拡大は未だとどまるところを知らず、終息の時期は全く不明である。
 外出等の自粛が要請されている時期こそエンターテインメントによる安らぎ、楽しみが必要であるが、今はインターネット等を介して出演者等の個人的な演奏などの配信を見るのがやっとである。劇場、球場等、大中小のライブ会場において音楽、スポーツを楽しむことはできないのが実情である。
 インターネットを使ったライブ配信が出演者等によって実際に行われている。ライブ配信では出演者の映像及び音声をコンピュータ、スマートフォン等を介して視聴することができる。また、この場合、視聴者が感想等を書き込むことができ、書き込んだ感想等はコンピュータやスマートフォンのライブ画面上にリアルタイムに表示される仕組みも有る(非特許文献1)。
 しかしながら、ライブ会場で演奏をする出演者等はこれら視聴者の反応をリアルタイムにライブ会場で知ることはできない。このため、出演者等は、ライブ後に記録された視聴者の反応を知ることができるだけであり、出演者等にとって視聴者の反応がどのようなものかをリアルタイムに知ることはできない。この結果、無観客で行われるイベントは、出演者のパフォーマンスの低下等を招く結果となる場合が多い。
 一方、特許文献1は複数の情報メディアを用いて情報の伝送を行うためのマルチメディア通信を使用したコミュニケーションサービスを提供するシステムを開示している。特許文献1では、複数のクライアント端末間で映像と音声情報による会議を可能とするマルチクライアントインタラクティブ会議サービスも開示している。また、特許文献1はライブ放送を行うライブ放送発信用PCを設けることも開示している。
 しかしながら、特許文献1は無観客状態におけるライブ配信については全く考慮していない。
特開2002-359831号公報
ニコニコ生放送(登録商標)のTOP画面(URL:https://live.nicovideo.jp/)
 解決しようとする問題点は、無観客ライブ放送では視聴者の反応をリアルタイムに出演者等に報知できないため、出演者等は演奏、試合等に対して必ずしも注力できない部分もある。
 更に、ネットを通した無観客ライブ演奏に対する費用等が不確定であるためイベント業者、演奏者にとっては経済的に有利とはいえないと言う欠点もある。
 本発明の第1の態様によれば、モニターを通してライブ配信を視聴できる無観客ライブ放送方法であって、当該ライブ配信を行っているライブ会場に設置されたスピーカに、前記ライブ配信に対する視聴者の反応音声をアナログ音響信号として出力し、当該ライブ配信に対する視聴者の反応をリアルタイムにライブ出演者に報知することを特徴とする無観客ライブ放送方法が得られる。
 本発明の第2の態様によれば、ライブ会場の映像及び音声を受信するモニター及びユーザ音声を送信するユーザマイクを備えたユーザ端末と、前記ライブ会場の映像及び音声に対してタイミング調整された前記ユーザ音声を前記ライブ会場に設置されたスピーカに出力するライブ会場側装置と、を有する双方向放送システムが得られる。
 本発明の第3の態様によれば、前記ライブ会場の映像及び音声は無観客の状態で生成された無観客ライブ映像及び音声であることを特徴とする第2の態様に記載された双方向放送システムが得られる。
 本発明の第4の態様によれば、前記ユーザ端末と前記ライブ会場側装置とはインターネットを介して接続されていることを特徴とする第2又は第3の態様に記載の双方向放送システムが得られる。
 本発明の第5の態様によれば、更に、前記インターネットに接続されたセンタサーバを備え、前記ユーザ端末及び前記ライブ会場側装置とは前記センタサーバ及び前記インターネットを介して接続され、前記ユーザ音声、前記無観客ライブ映像及び音声は前記センタサーバを介して送受されることを特徴とする第4の態様に記載の双方向放送システムが得られる。
 本発明によれば、無観客にも拘わらず、ライブ会場に観客が多数来場している場合と同様な臨場感を出演者等は得ることができる。更に、無観客のライブを視聴している場合にも、視聴者は出演者等の行うパフォーマンスに対して感動等を出演者等に伝えることができる。無観客ライブの映像、音声及びユーザ音声をも含めて記録・販売・課金することにより、ライブ演奏等の盛り上がりをユーザに知らせることができる。また、視聴者を限定することにより無観客ライブに伴うチケット等を前売りでネット販売することにより、演奏者、企画会社等の収入を安定化できる。
本発明の一実施例に係る双方向放送システムの一例を示すブロック図である。 図1に示されたユーザ端末の概略構成を示すブロック図である。 図1に示された会場側インターフェースを説明するブロック図である。
 図1は本発明の一実施例に係る双方向放送システムを示している。図1に示された双方向放送システムはインターネット10を使用した双方向放送システムである。尚、通信回線として、移動体通信網やケーブルテレビ網を含めてもよい。図示された双方向放送システムはインターネット10に接続された多数のユーザ端末11~11、ライブ会場12、及びセンタサーバ13を含んでいる。各ユーザ端末11~11n には、ライブ会場12からのライブ映像及び音声を再生するモニター(図示せず)の他に、ユーザ自身の音声をピックアップして送信するマイクロフォンMICを備えている。尚、図示されたマイクロフォンMICはモニターに内蔵されているマイクフォンであっても良い。また、モニターはPC等のモニター、携帯端末のモニターであるが、双方向通信可能なテレビであれば、テレビのモニターであっても良い。
 図1に示されたライブ会場12には、複数のテレビカメラ14、複数のマイクロフォン16、及びスピーカ18が会場側装置として備えられている。図示されたテレビカメラ14及びマイクロフォン16はライブ放送発信部20に接続され、他方、スピーカ18は音声受信部22に接続されている。
 ライブ放送発信部20及び音声受信部22は会場側インターフェース24を介してインターネット10に接続されている。ライブ放送発信部20はテレビカメラ14及びマイクロフォン16からのライブ映像及び音声をデジタル化すると共に、通常の配信手法を用いて結合、混合して会場側インターフェース24に出力する。
 ここで、会場側インターフェース24はデジタル化された映像、音声信号をインターネット10に合致した形式で送信する機能を備えている。更に、会場側インターフェース24はユーザ端末11~11nからのデジタル音声信号を多重化すると共に、多重化されたデジタル音声信号をアナログ音声信号に変換するD/A変換部を含んでいる。この場合、複数のユーザ端末11~11nからのデジタル音声信号が合成された形で、音声受信部22に送られる。この結果、音声受信部22は会場側インターフェース24からの複数のアナログ音声信号を合成してスビーカ18を駆動し、会場内に多くのユーザからの声援、歓声、拍手等のアナログ音響信号を会場内に出力する。この場合、会場内で再生されたアナログ音声信号はマイクロフォン16によって拾われライブ放送発信部20でデジタル音声信号に変換され、会場側インターフェース24に送られても良い。
 ライブ会場12のライブ映像及び音声はライブ放送発信部20でデジタル化されると共に、会場側インターフェース24で結合され、インターネット10に送信される。上記したライブ放送発信部20、音声受信部22、及び会場側インターフェース24はハードウェアで実現されても良いし、ソフトウェアで実現されても良い。
 ライブ映像及び音声を含む会場側インターフェース24からのデジタル映像信号及びデジタル音声信号はインターネット10を介して、センタサーバ13に送信される。センタサーバ13はライブコントローラ31、Web/Mailサーバ33、及びデータベース35を含んでいる。また、図示された例では、これらを制御するメインコントローラ37が設けられている。
 ライブコントローラ31はインターネット10を介して送られてくるデジタル映像信号及び音声信号をメインコントローラ37の制御の下に、配信先の各ユーザ端末11を識別し、識別した各ユーザ端末11にインターネット10を介して、デジタル映像信号及び音声信号をライブ配信する。また、受信されたデジタル映像及び音声はメインコントローラ37の制御のもとにデータベース35に格納され、ライブの終了後にも、ユーザの要望に応じて当該ライブ映像及び音声を事後的に視聴できる。
 ライブコントローラ31はライブ映像及び音声の制御、時間の制御、ユーザの管理、ライブに関するスケジュール等の管理を行う機能を備えている。
 一方、Web/Mailサーバ33はインターネット10を介して送られてくるユーザ端末11のアカウント等を識別すると共に、当該識別されたユーザ端末11からのメールやメッセージ等を受信してインターネット10を介してライブ会場12に送信する。Web/Mailサーバ33はユーザ端末11のアカウント等からライブの視聴を許可されたユーザであるか否かを識別し、識別されたユーザ端末11に当該ライブの視聴を許可する。視聴を許可されたユーザは感想等をメールやメッセージで送信することができ、送信されたメール等の内容はライブ会場12からのライブ映像に反映される。
 上記した双方向放送システムでは、視聴を許可された多くのユーザがライブ演奏等に対する感動、興奮を音声のままでライブ会場12に音響信号として出力できる。このため、無観客ライブ演奏であるにも拘わらず、観客が恰もライブ会場12にいるかのような興奮等を出演者等に伝えることができる。
 図2は図1に示されたユーザ端末11の一例を示すブロック図である。ユーザ端末11はユーザ制御部41、モニター42、及びインターネットインターフェース43を備えている。図示されたユーザ制御部41はメール送受信処理部45及び音声処理部46を含んでいる。メール送受信処理部45はキーボード等の入出力装置(図示せず)に接続されているものとする。入出力装置は音声によって入力するものであっても良い。メール送受信処理部45はユーザによって入力されたメールをインターネットインターフェース43に出力する。
 音声処理部46はマイクロフォンMIC及びモニター42に接続されている。音声処理部46は、マイクロフォンMICからユーザの感動等を示すアナログ音声信号を受け、当該アナログ音声信号をユーザデジタル音声信号に変換するA/D変換器を含んでいる。更に、音声処理部46は、モニター42から時間信号を受信して、ユーザデジタル音声信号とモニター42で受信されたライブ映像及び音声とのタイミングを調整し、タイミング調整されたデジタル音声信号をインターネットインターフェース43に出力する。インターネットインターフェース43は当該デジタル音声信号と当該ユーザの識別信号とを結合すると共に、パケット信号等に変換してインターネット10に出力する。
 メール送受信処理部45からのメールは、音声処理部46からのデジタル音声信号等とは独立して出力されても良いし、混合して出力されても良い。
 各ユーザの音声を含むパケット信号はインターネット10からセンタサーバ13に送信され、センタサーバ13はインターネット10を介して、タイミング調整したユーザデジタル音声信号をライブ会場12の音声受信部22に送信する。尚、センタサーバ13はライブとのスケジュール調整を予め行っているものとする。
 この結果、ライブ会場12では、ライブ映像及び音声に対する感動、興奮を表すユーザ音声が殆ど同時的に出演者等に向けて報知される。
 図3は図1に示した会場側インターフェース24を示すブロック図である。図示された会場側インターフェース24は ライブ放送発信部20からの映像及び音声を処理するライブ信号処理部51と、ユーザ側音声信号を処理するユーザ側音声処理部52を有している。これらライブ信号処理部51及びユーザ音声処理部52は会場側コントローラ53によって制御されている。
 ライブ信号処理部51はライブ放送発信部20からの映像信号及び音声信号を受けて、A/D変換するA/D変換器、A/D変換された信号をインターネット10に適した信号形式にする映像音声処理部、及びマルチプレクサ等を含んでいる。
 他方、ユーザ音声処理部52はユーザからのデジタル音声信号を分離するデマルチプレクサ、分離されたデジタル音声信号をD/A変換するD/A変換器を含む音声処理部を備え、D/A変換されたアナログ音声信号は音声受信部22に送られ、スピーカ18を駆動する信号に変換される。
 また、無観客のライブ配信の開始前に、視聴者のアカウント等をセンタサーバ等により識別すると共に視聴者情報を登録しておき、ライブ配信前に視聴者の数等を特定すれば、ライブ配信に伴う視聴者から料金を前もって徴収することができ、出演者等に対する経済的な不安を除くことができる。この場合、視聴者のアカウント及び視聴者情報に基づき、座席に相当するライブ会場内の位置を視聴者毎に決定するようにすれば、より臨場感にあふれたライブ配信を楽しむことができる。更に、ライブ配信の放送をデータベースに記憶しておき、ライプ配信後、視聴者の要求に応じて、ライブに伴う映像、音声を後日配信することも可能であるし、別の記憶媒体に記憶して当該記憶媒体を販売することも可能である。尚、本発明は必ずしも無観客ライブ配信に限定されるものではなく、少数の観客のライブ配信の際にも適用できる。
 本発明は、双方向インターネット放送において無観客を要求されるようなライブ配信を行う出演者等にライブ会場と同等の感動と感激を与えることができる。本発明は有線ネットワークに限定されることなく、4G又は5Gのワイヤレスネットワークにも適用できる。
 10         インターネット
 11~11     ユーザ端末
 12         ライブ会場
 13         センタサーバ
 14         テレビカメラ
 16         マイクロフォン
 18         スピーカ
 20         ライブ放送発信部
 22         音声受信部
 24         会場側インターフェース
 31         ライブコントローラ
 33         Web/Mailサーバ
 35         データベース
 37         メインコントローラ
 41         ユーザ制御部
 42         モニター
 43         インターネットインターフェース
 45         メール送受信処理部
 46         音声処理部
 51         ライブ信号処理部
 52         ユーザ音声処理部
 53         会場側コントローラ

Claims (5)

  1.  モニターを通してライブ配信を楽しめる無観客ライブ放送方法であって、ライブ配信に対する各視聴者の反応音声をリアルタイムに収集し、通信回線を介して当該ライブ配信を行っているライブ会場に設置されたスピーカに、前記ライブ配信に対する各視聴者のリアルタイムの反応音声をアナログ音響信号として出力し、当該ライブ配信に対する視聴者の反応をリアルタイムにライブ出演者に報知することを特徴とする無観客ライブ放送方法。
  2.  ライブ会場の映像及び音声を受信するモニター及びユーザ音声を送信するユーザマイクを備えたユーザ端末と、前記ライブ会場の映像及び音声に対してタイミング調整された前記ユーザ音声を前記ライブ会場に設置されたスピーカに出力するライブ会場側装置と、を有する双方向放送システム。
  3.  前記ライブ会場の映像及び音声は無観客の状態で生成された無観客ライブ映像及び音声であることを特徴とする請求項2に記載された双方向放送システム。
  4.  前記ユーザ端末と前記ライブ会場側装置とはインターネットを介して接続されていることを特徴とする請求項2又は3記載の双方向放送システム。
  5.  更に、前記インターネットに接続されたセンタサーバを備え、前記ユーザ端末及び前記ライブ会場側装置とは前記センタサーバ及び前記インターネットを介して接続され、前記ユーザ音声と、前記無観客ライブ映像及び音声は前記センタサーバを介して送受されることを特徴とする請求項4記載の双方向放送システム。
PCT/JP2021/009282 2020-05-19 2021-03-09 無観客ライブ配信方法及びシステム WO2021235048A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/925,212 US20230188770A1 (en) 2020-05-19 2021-03-09 Interactive broadcasting method and system
CN202180036372.8A CN115668956A (zh) 2020-05-19 2021-03-09 无观众现场表演配送方法以及系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020087522A JP2021182696A (ja) 2020-05-19 2020-05-19 双方向放送方法及びシステム
JP2020-087522 2020-05-19

Publications (1)

Publication Number Publication Date
WO2021235048A1 true WO2021235048A1 (ja) 2021-11-25

Family

ID=78606871

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009282 WO2021235048A1 (ja) 2020-05-19 2021-03-09 無観客ライブ配信方法及びシステム

Country Status (4)

Country Link
US (1) US20230188770A1 (ja)
JP (1) JP2021182696A (ja)
CN (1) CN115668956A (ja)
WO (1) WO2021235048A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024047813A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 音響情報出力制御装置、方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022018828A1 (ja) * 2020-07-21 2022-01-27 日本電信電話株式会社 応援支援方法、応援支援装置、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094683A (ja) * 2002-08-30 2004-03-25 Casio Comput Co Ltd サーバ、通信方法及び観客端末
WO2017010145A1 (ja) * 2015-07-13 2017-01-19 ソニー株式会社 音声配信装置、音声再生端末、認証デバイス、音声配信システム、および音声配信方法

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6409599B1 (en) * 1999-07-19 2002-06-25 Ham On Rye Technologies, Inc. Interactive virtual reality performance theater entertainment system
EP1348302B1 (en) * 2001-01-02 2007-02-21 Nds Limited Method and system for control of broadcast content access
US7003726B2 (en) * 2001-02-21 2006-02-21 Nanonation Incorporated Computer network having context sensitive and interactive multimedia applications and controls, forming dynamic user interfaces on local computer terminals
US6937295B2 (en) * 2001-05-07 2005-08-30 Junaid Islam Realistic replication of a live performance at remote locations
US7321387B2 (en) * 2001-07-30 2008-01-22 Eastman Kodak Company System and method for offering imaging services of a customer and participants at a live entertainment event
US8768838B1 (en) * 2005-02-02 2014-07-01 Nexus Payments, LLC Financial transactions using a rule-module nexus and a user account registry
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US8799953B2 (en) * 2009-08-27 2014-08-05 Verizon Patent And Licensing Inc. Media content distribution systems and methods
US20110112913A1 (en) * 2009-11-12 2011-05-12 Ian Murray System and method for live music performance digital recording, distribution, and digital advertising
US20110191151A1 (en) * 2010-02-01 2011-08-04 Rodney Boyd Rosa System for serving advertisements that allows compensation for user viewing
MX350182B (es) * 2010-06-15 2017-08-08 Ticketmaster L L C Metodo y sistemas para configuracion y modelado por computadora de lugares de eventos y mapas interactvos.
US8928810B2 (en) * 2010-12-15 2015-01-06 Bernhard Fritsch System for combining video data streams into a composite video data stream
US20150379591A1 (en) * 2011-06-09 2015-12-31 Michael Massarik Method, System, And Software For Generating Performance Metrics Of Charity Effectiveness
US20130179201A1 (en) * 2012-01-06 2013-07-11 Visa International Service Association Systems and methods to optimize media presentations to a seated audience
US11853927B1 (en) * 2012-09-12 2023-12-26 Southern Experience, Llc Method and system for optimizing experiences and/or purchases at live events through virtual electronic tickets on a portable computing device (PCD)
WO2014130594A1 (en) * 2013-02-19 2014-08-28 Wizeo Methods and systems for hosting interactive live stream video events for payment or donation
CN105474246A (zh) * 2013-07-31 2016-04-06 索尼公司 信息处理设备、信息处理方法和程序
US20150154513A1 (en) * 2013-12-04 2015-06-04 Ryan E. Kennedy Systems and methods for enhanced ticket sales
US20170068910A1 (en) * 2013-12-18 2017-03-09 Alex Burroughs System and method for music distribution
US20150287119A1 (en) * 2014-04-07 2015-10-08 Rukkus, Inc. Presentation of items of value for purchase
WO2016007962A1 (en) * 2014-07-11 2016-01-14 ProSports Technologies, LLC Camera feed distribution from event venue virtual seat cameras
CN104157277A (zh) * 2014-08-22 2014-11-19 苏州乐聚一堂电子科技有限公司 虚拟演唱会现场主持伴音系统
CN104301853A (zh) * 2014-08-22 2015-01-21 苏州乐聚一堂电子科技有限公司 拟人临场转播系统
US9282287B1 (en) * 2014-09-09 2016-03-08 Google Inc. Real-time video transformations in video conferences
US20160170938A1 (en) * 2014-12-11 2016-06-16 International Business Machines Corporation Performance Modification Based on Aggregate Feedback Model of Audience Via Real-Time Messaging
US10390064B2 (en) * 2015-06-30 2019-08-20 Amazon Technologies, Inc. Participant rewards in a spectating system
US9544618B1 (en) * 2015-07-20 2017-01-10 Venuenext, Inc. Presenting content within a venue using client devices associated with users attending the venue
US11012719B2 (en) * 2016-03-08 2021-05-18 DISH Technologies L.L.C. Apparatus, systems and methods for control of sporting event presentation based on viewer engagement
US9894403B2 (en) * 2016-03-14 2018-02-13 The Directv Group, Inc. Method and system for selecting and viewing sports content and a scoreguide in a virtual reality device
CN106162211B (zh) * 2016-06-30 2019-04-16 北京小米移动软件有限公司 基于直播应用进行直播的方法及装置
US10674187B2 (en) * 2016-07-26 2020-06-02 Facebook, Inc. Systems and methods for shared broadcasting
US20180082357A1 (en) * 2016-09-20 2018-03-22 Evan John Kaye Method for displaying search results for items with environmental attributes
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US20220383325A1 (en) * 2016-12-05 2022-12-01 Ned Hoffman System and Method for Web-Based Payments
CN106709762A (zh) * 2016-12-26 2017-05-24 乐蜜科技有限公司 直播间中虚拟礼物的推荐方法、装置及移动终端
US10652618B2 (en) * 2017-02-16 2020-05-12 Facebook, Inc. Transmitting video clips of viewers' reactions during a broadcast of a live video stream
US10728198B2 (en) * 2017-03-31 2020-07-28 XO Group Inc. Methods and apparatus for dynamic location-based media broadcasting
US10250914B2 (en) * 2017-04-24 2019-04-02 Facebook, Inc. Providing a start trigger for a live video broadcast
US10187690B1 (en) * 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
US10967255B2 (en) * 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events
US10645547B2 (en) * 2017-06-02 2020-05-05 Charter Communications Operating, Llc Apparatus and methods for providing wireless service in a venue
EP3673433A4 (en) * 2017-08-22 2021-05-19 Jessamine, Jeffery PROCESS AND SYSTEM FOR SECURE IDENTITY TRANSFER WITH INTEGRATED SERVICE NETWORK AND APPLICATION ECOSYSTEM
CN107493515B (zh) * 2017-08-30 2021-01-01 香港乐蜜有限公司 一种基于直播的事件提醒方法及装置
US11037076B1 (en) * 2017-09-06 2021-06-15 Southern Experience, Llc Method and system for distributing electronic ticket status information for a live event over a network to a remote subscriber portable computing device
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
US10664524B2 (en) * 2017-09-13 2020-05-26 Facebook, Inc. Highlighting portions of a live video broadcast
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
US10341537B2 (en) * 2017-09-29 2019-07-02 Sony Interactive Entertainment America Llc Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
US10380798B2 (en) * 2017-09-29 2019-08-13 Sony Interactive Entertainment America Llc Projectile object rendering for a virtual reality spectator
US11179635B2 (en) * 2017-10-11 2021-11-23 Sony Interactive Entertainment LLC Sound localization in an augmented reality view of a live event held in a real-world venue
US20190132650A1 (en) * 2017-10-27 2019-05-02 Facebook, Inc. Providing a slide show in a live video broadcast
US20190200051A1 (en) * 2017-12-27 2019-06-27 Facebook, Inc. Live Media-Item Transitions
CN108769823B (zh) * 2018-05-28 2019-05-28 广州虎牙信息科技有限公司 直播间显示方法、装置、设备
CN108769772B (zh) * 2018-05-28 2019-06-14 广州虎牙信息科技有限公司 直播间显示方法、装置、设备及存储介质
US10897647B1 (en) * 2018-07-25 2021-01-19 Imdb.Com, Inc. Ascertaining audience reactions for a media item
US10324186B1 (en) * 2018-10-04 2019-06-18 Capital One Services, Llc Enhanced object tracking using laser emitters and sensors
CN109491564A (zh) * 2018-10-18 2019-03-19 深圳前海达闼云端智能科技有限公司 虚拟机器人的互动方法,装置,存储介质及电子设备
US20200288204A1 (en) * 2019-03-05 2020-09-10 Adobe Inc. Generating and providing personalized digital content in real time based on live user context
US10950081B2 (en) * 2019-03-18 2021-03-16 Igt System and method for streaming wagering games
US20210001236A1 (en) * 2019-07-03 2021-01-07 Scoretrade Inc. System and method for integrating live video communication and content in the context of internet-based sports gaming mobile device application
US20210044640A1 (en) * 2019-08-09 2021-02-11 Guru Network Limited Livestreaming interactive content to a digital media platform
CN110753235A (zh) * 2019-10-29 2020-02-04 北京字节跳动网络技术有限公司 直播间红包处理方法、装置、介质及电子设备
CN110996116B (zh) * 2019-12-18 2022-03-11 广州市百果园信息技术有限公司 一种主播信息的推送方法、装置、计算机设备和存储介质
CA3103533A1 (en) * 2019-12-23 2021-06-23 Billmaster Inc. Method for automatically associating a user of an application with an order made at a retail location
CN111432266A (zh) * 2020-03-31 2020-07-17 北京达佳互联信息技术有限公司 互动信息显示方法、装置、终端及存储介质
US11202035B2 (en) * 2020-04-24 2021-12-14 Facebook, Inc. Dynamically modifying live video streams for participant devices in digital video rooms
US11657337B2 (en) * 2020-04-27 2023-05-23 Digital Seat Media, Inc. System and method for exchanging tickets via a machine-readable code
US11546552B1 (en) * 2020-09-14 2023-01-03 Aniruddha Gupta System and method for real-life interactive experience between event participants in a virtual gathering
WO2022061143A1 (en) * 2020-09-17 2022-03-24 Dogan Koslu Methods, apparatuses, and computer program products for provision of automated interactive electronic seating charts
JP2022076685A (ja) * 2020-11-10 2022-05-20 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094683A (ja) * 2002-08-30 2004-03-25 Casio Comput Co Ltd サーバ、通信方法及び観客端末
WO2017010145A1 (ja) * 2015-07-13 2017-01-19 ソニー株式会社 音声配信装置、音声再生端末、認証デバイス、音声配信システム、および音声配信方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024047813A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 音響情報出力制御装置、方法およびプログラム

Also Published As

Publication number Publication date
CN115668956A (zh) 2023-01-31
US20230188770A1 (en) 2023-06-15
JP2021182696A (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
US8525013B2 (en) VoIP music conferencing system
US7518992B2 (en) Interactive data transmission system having staged servers
JP5609160B2 (ja) 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体
CN110910860B (zh) 线上ktv实现方法、装置、电子设备及存储介质
WO2002049362A1 (en) Broadcast viewing method, broadcast transmitting server, mobile terminal, and multi-location calling/broadcast control viewing apparatus
WO2021235048A1 (ja) 無観客ライブ配信方法及びシステム
JP2016001446A (ja) 変換画像提供装置、変換画像提供方法及びプログラム
KR100614276B1 (ko) 참여방송 시스템
KR20080086262A (ko) 디지털 콘텐츠 공유를 위한 방법 및 장치, 그리고 디지털콘텐츠 공유 시스템
US20050021620A1 (en) Web data conferencing system and method with full motion interactive video
JP2005198313A (ja) ディジタルリアルタイム対話型番組システム
JP2007074221A (ja) 多地点会議方法及び多地点会議システム並びに多地点会議処理装置のプログラム
WO2005081528A1 (ja) 情報配信システム及び方法とその情報配信装置、受信端末、情報中継装置
JP2003333572A (ja) 仮想観客形成装置およびその方法、仮想観客形成受信装置およびその方法ならびに仮想観客形成プログラム
JP3241225U (ja) 無観客ライブ配信システム
US7526790B1 (en) Virtual audio arena effect for live TV presentations: system, methods and program products
RU2527732C2 (ru) Способ озвучивания видеотрансляции
JP2002027453A (ja) コンサート臨場感補助システム
WO2002005117A1 (en) Interactive data transmission system
KR100874024B1 (ko) 대화형 콘텐츠를 중계하는 중계기, 방법 및 그 기록매체
JP6279415B2 (ja) 合成データ提供装置、合成データ提供方法及びプログラム
JP2007134808A (ja) 音声配信装置、音声配信方法、音声配信プログラム、および記録媒体
JP2002026840A (ja) 同時解説放送装置
JP2022066944A (ja) 情報処理装置、コンピュータプログラムおよび情報処理システム
WO2023012311A1 (en) Real-time audio-video streaming system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21809523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21809523

Country of ref document: EP

Kind code of ref document: A1