JP2023552119A - 撮影中のパフォーマに対する聴衆反応のシミュレーション - Google Patents

撮影中のパフォーマに対する聴衆反応のシミュレーション Download PDF

Info

Publication number
JP2023552119A
JP2023552119A JP2023532147A JP2023532147A JP2023552119A JP 2023552119 A JP2023552119 A JP 2023552119A JP 2023532147 A JP2023532147 A JP 2023532147A JP 2023532147 A JP2023532147 A JP 2023532147A JP 2023552119 A JP2023552119 A JP 2023552119A
Authority
JP
Japan
Prior art keywords
audience
feedback
audience feedback
simulated
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023532147A
Other languages
English (en)
Inventor
リンジー ミラー
トーマス ドーソン
グレゴリー カールソン
デイヴィッド ヤング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2023552119A publication Critical patent/JP2023552119A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/38Arrangements for distribution where lower stations, e.g. receivers, interact with the broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33Arrangements for monitoring the users' behaviour or opinions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

実装は、一般に撮影中のパフォーマに模擬聴衆反応を提供する。いくつかの実装では、方法が、ターゲットクライアント装置からターゲットユーザのビデオを受け取ることを含む。方法は、ビデオを複数の聴衆クライアント装置に提供することをさらに含む。方法は、複数の聴衆クライアント装置から生の聴衆フィードバックを受け取ることをさらに含む。方法は、1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供することをさらに含み、ターゲットクライアント装置は、模擬聴衆フィードバックをターゲットユーザに提供する。【選択図】 図1

Description

オンラインでのライブイベント放送が増加している。現在のところ、オンラインプラットフォーム上で開催されるライブイベントはライブイベントに匹敵するものではない。この理由は、パフォーマがパフォーマンス中に聴衆フィードバックをほとんど受け取らないからである。例えば、あるパフォーマが以前に1つの都市(例えば、サンフランシスコ)で大いに笑いを誘った特定のジョークを飛ばしたとしても、別の都市(例えば、サンアトランタ)では肯定的なフィードバックを得られないことがある。ライブシナリオでは、パフォーマが、肯定的なフィードバックを得られないことに基づいて、そのパフォーマンスの残り部分では同様のジョークをスキップしようと決定することができる。しかしながら、通常、オンラインパフォーマンスでは、パフォーマが得られる聴衆フィードバックは皆無かそれに近い。
実施形態は、一般に撮影中のパフォーマに模擬聴衆反応を提供する。いくつかの実施形態では、システムが、1又は2以上のプロセッサと、1又は2以上の非一時的コンピュータ可読記憶媒体に符号化された、1又は2以上のプロセッサによって実行されるロジックとを含む。ロジックは、実行時に、ターゲットクライアント装置からターゲットユーザのビデオを受け取ることと、ビデオを複数の聴衆クライアント装置に提供することと、複数の聴衆クライアント装置から生の聴衆フィードバックを受け取ることと、1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供することとを含む動作を1又は2以上のプロセッサに行わせ、ターゲットクライアント装置は、模擬聴衆フィードバックをターゲットユーザに提供する。
さらにシステムについて、いくつかの実施形態では、ロジックが、実行時に、生の聴衆フィードバックを集約することと、生の聴衆フィードバックを特性化することと、生の聴衆フィードバックの特性化及び1又は2以上の所定の聴衆フィードバックポリシーに基づいて模擬聴衆フィードバックを生成することとを含む動作を1又は2以上のプロセッサにさらに行わせる。いくつかの実施形態では、ロジックが、実行時に、生の聴衆フィードバック及び1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供することを含む動作を1又は2以上のプロセッサにさらに行わせる。いくつかの実施形態では、模擬聴衆フィードバックが、視覚聴衆フィードバック、聴覚聴衆フィードバック及び触覚聴衆フィードバックのうちの1つ又は2つ以上を含む。いくつかの実施形態では、1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーが、生の聴衆フィードバックの肯定的側面及び否定的側面を特性化することを含む。いくつかの実施形態では、1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーが、ビデオに関連する文脈情報を特性化することを含む。いくつかの実施形態では、ロジックが、実行時に、1又は2以上の所定の聴衆フィードバックポリシーに基づいて聴衆クライアント装置に模擬聴衆フィードバックの1又は2以上の部分を提供することを含む動作を1又は2以上のプロセッサにさらに行わせ、聴衆クライアント装置は、模擬聴衆フィードバックの1又は2以上の部分を聴衆ユーザに提供する。
いくつかの実施形態では、プログラム命令を記憶した非一時的コンピュータ可読記憶媒体を提供する。プログラム命令は、1又は2以上のプロセッサによって実行された時に、ターゲットクライアント装置からターゲットユーザのビデオを受け取ることと、ビデオを複数の聴衆クライアント装置に提供することと、複数の聴衆クライアント装置から生の聴衆フィードバックを受け取ることと、1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供することとを含む動作を1又は2以上のプロセッサに行わせ、ターゲットクライアント装置は、模擬聴衆フィードバックをターゲットユーザに提供する。
さらにコンピュータ可読記憶媒体について、いくつかの実施形態では、プログラム命令が、実行時に、生の聴衆フィードバックを集約することと、生の聴衆フィードバックを特性化することと、生の聴衆フィードバックの特性化及び1又は2以上の所定の聴衆フィードバックポリシーに基づいて模擬聴衆フィードバックを生成することとを含む動作を1又は2以上のプロセッサにさらに行わせる。いくつかの実施形態では、プログラム命令が、実行時に、生の聴衆フィードバック及び1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供することを含む動作を1又は2以上のプロセッサにさらに行わせる。いくつかの実施形態では、模擬聴衆フィードバックが、視覚聴衆フィードバック、聴覚聴衆フィードバック及び触覚聴衆フィードバックのうちの1つ又は2つ以上を含む。いくつかの実施形態では、1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーが、生の聴衆フィードバックの肯定的側面及び否定的側面を特性化することを含む。いくつかの実施形態では、1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーが、ビデオに関連する文脈情報を特性化することを含む。いくつかの実施形態では、プログラム命令が、実行時に、1又は2以上の所定の聴衆フィードバックポリシーに基づいて聴衆クライアント装置に模擬聴衆フィードバックの1又は2以上の部分を提供することを含む動作を1又は2以上のプロセッサにさらに行わせ、聴衆クライアント装置は、模擬聴衆フィードバックの1又は2以上の部分を聴衆ユーザに提供する。
いくつかの実施形態では、方法が、ターゲットクライアント装置からターゲットユーザのビデオを受け取ることと、ビデオを複数の聴衆クライアント装置に提供することと、複数の聴衆クライアント装置から生の聴衆フィードバックを受け取ることと、1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供することとを含み、ターゲットクライアント装置は、模擬聴衆フィードバックをターゲットユーザに提供する。
さらに方法について、いくつかの実施形態では、方法が、生の聴衆フィードバックを集約することと、生の聴衆フィードバックを特性化することと、生の聴衆フィードバックの特性化及び1又は2以上の所定の聴衆フィードバックポリシーに基づいて模擬聴衆フィードバックを生成することと、をさらに含む。いくつかの実施形態では、方法が、生の聴衆フィードバック及び1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供することをさらに含む。いくつかの実施形態では、模擬聴衆フィードバックが、視覚聴衆フィードバック、聴覚聴衆フィードバック及び触覚聴衆フィードバックのうちの1つ又は2つ以上を含む。いくつかの実施形態では、1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーが、生の聴衆フィードバックの肯定的側面及び否定的側面を特性化することを含む。いくつかの実施形態では、1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーが、ビデオに関連する文脈情報を特性化することを含む。
本明細書の残り部分及び添付図面を参照することにより、本明細書に開示する特定の実施形態の性質及び利点のさらなる理解を実現することができる。
本明細書で説明する実装のために使用できる、撮影中のパフォーマに模擬聴衆フィードバックを提供するライブイベント環境例のブロック図である。 いくつかの実装による、撮影中のパフォーマに模擬聴衆フィードバックを提供する別のライブイベント環境例200のブロック図である。 いくつかの実装による、撮影中のパフォーマに模擬聴衆フィードバックを提供するためのフロー図例である。 いくつかの実装による、撮影中のパフォーマに模擬聴衆フィードバックを提供するためのユーザインターフェイス例である。 本明細書で説明するいくつかの実装に使用できるネットワーク環境例のブロック図である。 本明細書で説明するいくつかの実装に使用できるコンピュータシステム例のブロック図である。
本明細書で説明する実施形態は、撮影中のパフォーマに対する模擬聴衆フィードバック(simulated audience feedback)の提供を可能にし、容易にし、管理するものである。このような模擬聴衆フィードバックは、視覚キューの形態の視覚フィードバックと、音響キューの形態の聴覚フィードバックとを含むことができる。模擬聴衆フィードバックは、パフォーマンスに対する様々な聴衆反応(例えば、歓声、笑い、微笑み、拍手、踊りなど)を示すことができ、これらの反応は、アーティスト/パフォーマ及び聴衆の両方に対してイベントの活力及び楽しさを高める。模擬聴衆フィードバックは、パフォーマ又はターゲットユーザに、ターゲットユーザがパフォーマンスに関して意思決定することを可能にするソーシャルシグナルを提供する。
本明細書においてさらに詳細に説明するように、様々な実施形態では、システムが、ターゲットクライアント装置からターゲットユーザ(パフォーマ)のビデオを受け取る。次に、システムは、このビデオを複数の聴衆クライアント装置に提供する。次に、システムは、聴衆クライアント装置から生の聴衆フィードバックを受け取る。その後、システムは、1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供し、ターゲットクライアント装置はターゲットユーザに聴衆フィードバックを提供する。
図1は、本明細書で説明する実装に使用できる、撮影中のパフォーマに模擬聴衆フィードバックを提供するライブイベント環境例100のブロック図である。いくつかの実装では、環境100が、ネットワーク106を介してクライアント装置104又はクライアント104と通信するシステム102を含む。クライアント装置という用語及びクライアントという用語は同義的に使用することができる。ネットワーク106は、Bluetoothネットワーク、Wi-Fiネットワーク、インターネットなどのいずれかの好適な通信ネットワークとすることができる。
本明細書でさらに詳細に説明するように、クライアント104のカメラは、ライブイベント108の活動エリア内のターゲットユーザ106のビデオを取り込む。図示のように、クライアント装置104は内蔵カメラを有する。様々な実施形態では、クライアント装置104が、内蔵カメラ及び/又は1又は2以上の独立したスタンドアロンカメラと共に動作することができる。ライブイベント108は、ターゲットユーザ106がカメラの前で実演できるいずれかの活動エリア又は環境を含むことができる。例えば、ライブイベント108は、部屋、スタジオ、ステージなどとすることができる。また、ライブイベント108は、屋内又は屋外とすることができる。様々な実施形態では、ターゲットユーザ106がパフォーマである。ターゲットユーザという用語及びパフォーマという用語は同義的に使用することができる。
様々な実施形態では、システム102がクライアント装置104からターゲットユーザ106のビデオを受け取り、その後にクライアント装置110、112、114、116及び118を介して聴衆にビデオを送信又はブロードキャストする。様々な実施形態では、ビデオがストリーミングライブである。クライアント装置110~118の各々はビデオを受け取り、これを1又は2以上の聴衆メンバーが見ることができる。例えば、所与のクライアント装置は、個人に対してユーザインターフェイス内にビデオを表示するコンピュータ、スマートフォンなどとすることができる。別の例では、所与のクライアント装置を、テレビなどにおいて個人又は個人集団にビデオを表示する娯楽システムとすることができる。本明細書では単一のカメラの文脈でいくつかの実施形態を説明するが、これらの及びその他の実施形態は複数のカメラにも適用することができる。本明細書では、例えば図2に関連して、複数のカメラを含むいくつかの実施形態例を説明する。
様々な実施形態では、システム102が、それぞれのクライアント装置110~118を介して聴衆から生の聴衆フィードバックを受け取る。聴衆メンバーのクライアント装置110~118は、聴衆クライアント装置110~118と呼ぶこともできる。様々な実施形態では、生の聴衆フィードバックが、音(例えば、笑い声、拍手など)及びその他のデータ(例えば、絵文字又はその他の表意文字選択、ユーザ入力テキスト、所定のテキスト選択など)を含むことができる。
本明細書でさらに詳細に説明するように、システム102は、聴衆がパフォーマンスを見ている時に聴衆からリアルタイムで生の聴衆フィードバックを収集することができる。このような生の聴衆フィードバックは、それぞれのクライアント装置に関連する聴衆メンバーの局所に存在するマイク及びビデオカメラを使用して収集できるオーディオ及びビデオデータを含むことができる。例えば、所与の聴衆クライアント装置と一体化された、又はこのような聴衆クライアント装置がアクセスできるマイク及び/又はカメラを利用することができる。システム102は、聴衆メンバーがオーディオ又はビデオ手段を介してフィードバックを提供することを可能にする一方で、様々な実施形態では、各聴衆メンバーが自身のビデオ録画及び/又はオーディオ録音のいずれかをやめること又はオフにすることを可能にすることもできる。
様々な実施形態では、システム102が、ソーシャルネットワークを含む1又は2以上のオンラインプラットフォームと共に動作することができる。例えば、システム102は、1又は2以上のオンラインプラットフォームを介してビデオをストリーミングすることができる。システム102は、1又は2以上のオンラインプラットフォームを介して生の聴衆フィードバックを収集することもできる。様々な実施形態では、システム102が、サードパーティオンラインプラットフォームと共に動作することができる。
システム102は、生の聴衆フィードバックを処理するために様々な人工知能技術、深層機械学習技術及びコンピュータビジョン技術を利用することができる。本明細書では、生の聴衆フィードバック処理のための実施形態例についてさらに詳細に説明する。
本明細書でさらに詳細に説明するように、システム102は、生の聴衆フィードバックを模擬聴衆フィードバックに変換する。その後、システム102は、1又は2以上の所定の聴衆フィードバックポリシーに基づいて模擬聴衆フィードバックをクライアント装置104に提供する。ターゲットユーザ106は、パフォーマンス中にクライアント装置104上の模擬聴衆フィードバックを見たり又は聞いたりすることができ、フィードバックに基づいて適宜にパフォーマンスを調整することができる。ターゲットユーザ106のクライアント装置104は、ターゲットクライアント装置104と呼ぶこともできる。本明細書では、生の聴衆フィードバック生成のための実施形態例についてさらに詳細に説明する。
説明を容易にするために、図1には、システム102、クライアント104及びネットワーク106の各々につき1つのブロックを示す。ブロック102、104及び106は、複数のシステム、クライアント装置及びネットワークを表すことができる。また、聴衆メンバーに関連するいずれかの数のクライアント装置が存在することもできる。他の実装では、環境100が、図示のコンポーネントの全てを有さないことも、及び/又は本明細書に示す要素の代わりに又はこれらに加えて他のタイプの要素を含む他の要素を有することもできる。
システム102は、本明細書で説明する実施形態を実行するが、他の実施形態では、システム102に関連するいずれかの好適なコンポーネント又はコンポーネントの組み合わせ、或いはシステム102に関連するいずれかの好適な1又は複数のプロセッサが、本明細書で説明する実施形態の実行を容易にすることができる。
図2は、いくつかの実施形態による、撮影中のパフォーマに模擬聴衆フィードバックを提供するライブイベント環境例200のブロック図である。この実施形態例では、環境200が図1のシステム102及びターゲットユーザ106を含む。システム102は、ネットワーク206を介してターゲットクライアント装置204と通信する。ネットワーク206は、Bluetoothネットワーク、Wi-Fiネットワーク、インターネットなどのいずれかの好適な通信ネットワークとすることができる。
この実施形態例では、システム102が、クライアント104及びシステム102に関連する複数のカメラ212、214、216及び218からライブイベント210におけるターゲットユーザ106の複数のビデオを受け取る。4つのカメラを示しているが、あらゆる数のカメラが存在することができ、さらには図1に示すような単一のカメラしか存在しないこともできる。本明細書では、1又は2以上のカメラがターゲットユーザのクライアント装置から分離している例において実施形態を説明するが、ターゲットユーザのビデオを取り込むために使用される所与のカメラはクライアント装置に統合することもできる。例えば、クライアント装置は、カメラ付きコンピュータ、カメラ付きスマートフォンなどであることができる。
様々な実施形態では、ターゲットユーザ106が、聴衆によって見られる活動を実行するという点でパフォーマであることができる。パフォーマは様々なタイプであることができ、特定の実装に依存する。例えば、様々な実施形態では、パフォーマが、ミュージシャン、お笑い芸人(standup comic)、マジシャンなどのエンターテイメントパフォーマ又はパフォーミングアーティストである。様々な実施形態では、パフォーマが、教師、進行役(facilitator)、指導者などの講演者(public speaker)であることができる。本明細書に示すように、ターゲットユーザ及びパフォーマという用語は同義的に使用することができる。
様々な実施形態では、ターゲットユーザ106の異なる視点で複数のビデオを取り込むために、ライブイベント210内の任意の位置にカメラ212~218を配置することができる。カメラ及びビデオカメラという用語は同義的に使用することができる。単一ビデオ録画の文脈でいくつかの実施形態を説明するが、これらの及びその他の実施形態は複数のビデオにも適用することができる。従って、システム102は、複数のビデオを含むことができるストリーミングビデオをブロードキャストすることができる。ストリーミングビデオの特定の構成は、実装に応じて異なることができる。例えば、ストリーミングビデオは、直列に連結した複数のビデオ及び/又は分割画面上の複数のビデオなどを含むことができる。
説明を容易にするために、図2には、システム102、クライアント装置204及びネットワーク206の各々につき1つのブロックを示す。ブロック102、204及び206は、複数のシステム、クライアント装置及びネットワークを表すことができる。また、ライブイベント210にはいずれかの数のカメラが存在することができる。他の実装では、環境200が、図示のコンポーネントの全てを有さないことも、及び/又は本明細書に示す要素の代わりに又はこれらに加えて他のタイプの要素を含む他の要素を有することもできる。
図3は、いくつかの実施形態による、撮影中のパフォーマに模擬聴衆フィードバックを提供するための例示的なフロー図である。図1及び図3を合わせて参照すると、方法は、システム102などのシステムがクライアント装置104などのターゲットクライアント装置からターゲットユーザのビデオを受け取るブロック302において開始する。様々な実施形態では、ビデオが1又は2以上のカメラからのビデオ映像を含む。複数のカメラからのビデオ映像は、システム102及び/又はクライアント装置204において単一のビデオに組み合わせることができる。
ブロック304において、システム102は、複数の聴衆クライアント装置にビデオを提供する。システム102は、ソーシャルメディアプラットフォームを含むいずれかの好適なオンラインプラットフォームを介してビデオをストリーミングすることができる。システム102は、いずれかの好適なサードパーティソーシャルメディアプラットフォームを介してビデオをストリーミングすることもできる。
ブロック306において、システム102は、複数の聴衆クライアント装置から生の聴衆フィードバックを受け取る。様々な実施形態では、システム102が、異なる聴衆メンバーがパフォーマンス中に行う自然な視覚フィードバック又はボディランゲージ(例えば、微笑み、前のめりの姿勢、しかめっ面など)を検出することができる。システム102は、異なる聴衆メンバーがパフォーマンス中に行う自然な聴覚反応(例えば、くすくす笑い、笑い、ブーイングなど)を検出することができる。上述したように、システム102は、マイクを使用して生のオーディオデータを収集し、ビデオカメラを使用して生のビデオデータを収集することができる。このようなマイク及びビデオカメラは、それぞれのクライアント装置に関連する聴衆の局所に存在する。
多くの聴衆メンバーは、所与のオンラインパフォーマンスを自宅で一人で又は少人数で見ると考えられるので、所与のクライアント装置からの聴衆フィードバックは、ライブイベントに物理的に存在する大人数の聴衆メンバーからの聴衆フィードバックとは異なり、それほど強いものではない可能性がある。
本明細書でさらに詳細に説明するように、様々な実施形態では、システム102が、微妙な聴衆フィードバック及びそれほど微妙ではない聴衆フィードバックを収集して処理し、模擬聴衆フィードバックを再パッケージ又は生成し、クライアント装置を介してターゲットユーザ/パフォーマ106に提供されるようにする。生の聴衆フィードバックは、肯定的フィードバック及び否定的フィードバックを含むことができるので、システム102は、模擬聴衆フィードバックにおいてこのような肯定的及び/又は否定的フィードバックを示す。生の聴衆フィードバック処理のための実施形態例については、例えば以下のブロック308に関連してさらに詳細に説明する。
いくつかの実施形態では、システム102が、聴衆から他のタイプの聴衆フィードバックを収集することができる。例えば、システム102は、聴衆メンバーがユーザインターフェイス内でユーザ選択を行ってターゲットユーザ/パフォーマにフィードバックを与えることを可能にすることができる。別の例では、ユーザインターフェイスが、聴衆メンバーがタップする絵文字アイコン(例えば、笑顔、ハートなど)又は所定のメッセージ(例えば、「大好き!」、「アンコール!」など)を含むことができる聴衆感情選択項目(audience sentiment selections)を含むことができる。いくつかの実施形態では、システム102が、聴衆メンバーが(例えば、チャットウィンドウ内などに)自由にメッセージを打ち込んでターゲットユーザ/パフォーマにフィードバックを与えることを可能にすることができる。
ブロック308において、システム102は、1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供する。様々な実施形態では、ターゲットクライアント装置がターゲットユーザ/パフォーマに模擬聴衆フィードバックを提供する。
様々な実施形態では、システム102が、生の聴衆フィードバックの特性化及び1又は2以上の所定の聴衆フィードバックポリシーに基づいて模擬聴衆フィードバックを生成する。様々な実施形態では、聴衆フィードバックポリシーが、ターゲットユーザ106に送信される模擬聴衆フィードバックの生成を容易にする。聴衆フィードバックポリシーのための様々な実施形態例については、以下でさらに詳細に説明する。
様々な実施形態では、システム102が、生の聴衆フィードバックから、異なる聴衆メンバーからの混合反応を決定する。例えば、システム102は、何人の人々が拍手しているか、何人の人々が応援しているか、何人がブーイングしているかなどを決定することができる。様々な実施形態では、システム102が、各フィードバックタイプを肯定的なもの又は否定的なものとして分類又はカテゴリ分けすることができる。例えば、システム102は、笑いを肯定的なものとみなし、ブーイングを否定的なものとみなすことができる。この結果、システム102は、聴衆の反応及び感情を表す有意義な模擬聴衆フィードバックを提供することができる。例えば、システム102は、応援している人々の方が多く、ブーイングしている人々は少数のみであると判定した場合、ブーイングよりも応援の方を大きく再生することができる。従って、システム102は、生の聴衆フィードバックを、一般聴衆の実際のフィードバックを厳密に表す模擬聴衆フィードバックに変換又は翻訳する。いくつかの実施形態では、システム102が、パフォーマンスを見ている聴衆メンバーの数、及び特定のアクション(例えば、笑い、拍手など)を行っている聴衆の人数又は割合を示すことができる。
システム102は、模擬聴衆フィードバックを生成した後に、模擬聴衆フィードバックをターゲットクライアント装置に提供する。模擬聴衆フィードバック及び聴衆フィードバックポリシーのための様々な実施形態例については、以下でさらに詳細に説明する。例えば、以下の図4には、ターゲットユーザ106に対して様々なタイプの模擬聴衆フィードバックを表示するユーザインターフェイス例を示す。
ステップ、動作又は計算については特定の順序で示しているが、特定の実施形態ではこの順序を変更することもできる。特定の実施形態に応じて、他のステップ順も可能である。いくつかの特定の実施形態では、本明細書において順次的なものとして示す複数のステップを同時に実行することもできる。また、いくつかの実施形態は、図示のステップの全てを有さないことも、及び/又は本明細書に示すステップの代わりに又はこれらに加えて他のステップを有することもできる。
図4は、いくつかの実施形態による、撮影中のパフォーマに模擬聴衆フィードバックを提供するためのユーザインターフェイス例400である。ユーザインターフェイス400は、集団としての聴衆を表す模擬聴衆フィードバックをシステム102がターゲットユーザ106に提供することを可能にする。換言すれば、模擬聴衆フィードバックは、シミュレートされた集団的ソーシャルシグナルを提供する複合聴衆フィードバックを提供する。
図示のように、ユーザインターフェイス400は、ターゲットユーザ106がパフォーマンスを見ることを可能にするビデオウィンドウ402を含む。ユーザインターフェイス400は、フィードバックアイコン406、フィードバックメータ408及びその他のフィードバック情報410を含む視覚的聴衆フィードバック404も表示する。様々な実施形態では、フィードバックアイコン406が、絵文字ストリーム又はその他の視覚効果(例えば、火花、風船など)を含むことができる。
様々な実施形態では、フィードバックメータ408を、様々な聴衆フィードバック値を示す視覚インジケータとすることができる。聴衆フィードバック値及び対応するフィードバックメータのタイプは様々とすることができ、特定の実装に依存する。例えば、所与のフィードバックメータは拍手値を示すことができる。別の例では、所与のフィードバックメータが笑い値を示すことができる。別の例では、所与のフィードバックメータがブーイング値を示すことができる。様々な実施形態では、フィードバックメータ408が、例えば不良から良までに及ぶ全体的聴衆反応の1又は2以上の表現を表示する。
本明細書に示すように、いくつかの聴衆フィードバックは肯定的なものであることができ、いくつかの聴衆フィードバックは否定的なものであることができる。いくつかの実施形態では、システム102が、ターゲットユーザ106に素早く便利に感情を伝えるように色分けインジケータを提供することができる。例えば、フィードバックメータは、笑いに関連する場合には何らかの形態の緑色を表示することができる。別の例では、フィードバックメータが、ブーイングに関連する場合には何らかの形態の赤色を示すことができる。色の形態は様々とすることができ、特定の実装に依存することができる。例えば、棒グラフ、文字などに特定の色を使用することができる。いくつかの実施形態では、システム102が、ライブフィードを停止して再接続していない聴衆の人数又は割合を示して、何人の人々がパフォーマンスの視聴をやめたかを示すこともできる。
様々な実施形態では、その他のフィードバック情報410が、ターゲットユーザ106にとって有用な他のいずれかのフィードバックを含むことができる。例えば、上述したように、ユーザインターフェイス400は、集団としての聴衆を表す模擬聴衆フィードバックをシステム102がターゲットユーザ106に提供することを可能にする。いくつかの実施形態では、システム102が、模擬聴衆フィードバックにいくつかの個々のフィードバックが含まれることを可能にすることもできる。例えば、その他のフィードバック情報410は、個々のコメントを表示するチャットウィンドウなどを含むことができる。
様々な実施形態では、システム102が、拍手、笑いなどの様々なオーディオフィードバックを出力する1又は2以上のオーディオスピーカ(図示せず)を介してターゲットユーザ106に聴覚的聴衆フィードバックを提供することができる。いくつかの実施形態では、システム102が、振動、パルスなどの様々な触覚フィードバックを出力する1又は2以上の触覚装置(図示せず)を介してターゲットユーザ106に触覚的聴衆フィードバックを提供することもできる。
以下の説明は、本明細書で説明する他の実施形態と組み合わせて使用できるさらなる実施形態例を詳述するものである。
本明細書に示すように、システム102は、パフォーマンスにおける異なる瞬間の聴衆反応をリアルタイムで表す模擬聴衆フィードバックを提供する。様々な実施形態では、システム102が、生の聴衆フィードバックを解釈してこのようなフィードバックを模擬聴衆フィードバックに変換する。形態は様々に変化することができる。例えば、本明細書で説明するいくつかの例では、システム102が、複数のクライアント装置からの笑い声を集約し、これらの笑い声を混合して、一群の聴衆メンバーが一斉に笑っている様子を表す音を提供することができる。別の例では、システム102が、聴覚的な音(例えば、笑いなど)又は視覚的ボディランゲージ(例えば、笑顔など)をテキスト(例えば、「大好き!」など)又は絵文字(例えば、ハートなど)に変換することができる。
様々な実施形態では、所定の聴衆フィードバックポリシーが、システム102が文脈に基づいて異なる模擬聴衆フィードバックを生成して出力することであることができる。例えば、娯楽の文脈では、システム102が、笑いに関連する模擬聴衆フィードバックを生成して出力することができる。ビジネスの文脈では、システム102が、質問に関連する模擬聴衆フィードバックを生成して出力することができる。例えば、ある講演者は、プレゼンテーション中にいくつかの質問に答えるために聴衆からの質問を見たいと望む場合がある。様々な実施形態では、システム102が、ターゲットユーザ106がボタン選択(例えば、「娯楽」、「コメディ」、「ビジネス」など)を使用してシステムに文脈を示すことを可能にすることができる。いくつかの実施形態では、システム102が、人工知能及び機械学習を使用して文脈を決定することもできる。
様々な実施形態では、所定の聴衆フィードバックポリシーが、生の聴衆フィードバックにおける社会的手掛かり(social cues)を文脈に基づいて解釈し、その文脈に基づいて少なくともいくつかの模擬聴衆フィードバックを提供することであることができる。例えば、様々な実施形態では、システム102が、文脈に基づいて異なる模擬聴衆フィードバックを生成して出力することができる。例えば、娯楽の文脈では、システム102が、笑いに関連する模擬聴衆フィードバックを生成して出力することができる。ビジネスの文脈では、システム102が、質問に関連する模擬聴衆フィードバックを生成して出力することができる。例えば、ある講演者は、プレゼンテーション中にいくつかの質問に答えるために聴衆からの質問を見たいと望む場合がある。様々な実施形態では、システム102が、ターゲットユーザ106がボタン選択(例えば、「娯楽」、「コメディ」、「ビジネス」など)を使用してシステムに文脈を示すことを可能にすることができる。いくつかの実施形態では、システム102が、人工知能及び機械学習を使用して文脈を決定することもできる。
様々な実施形態では、所定の聴衆フィードバックポリシーが、生の聴衆フィードバックにおける社会的手掛かりを国際的文脈で解釈し、国際的文脈に基づいて少なくともいくつかの模擬聴衆フィードバックを提供することであることができる。例示的なシナリオでは、米国人従業員と日本人従業員との間のビジネスミーティングでは日本人の沈黙を思考中と解釈することができる。従って、システム102は、適切な模擬聴衆フィードバック(例えば、「うーん...」と言っているテキスト、頭を掻いている絵文字など)を表示することができる。別の例では、伸びをすることを退屈な状態と解釈することができる。従って、システム102は、しかめっ面の絵文字などを表示することができる。
様々な実施形態では、所定の聴衆フィードバックポリシーが、生の聴衆フィードバックにおける社会的手掛かりをターゲットユーザの文脈で解釈し、ターゲットユーザに基づいて少なくともいくつかの模擬聴衆フィードバックを提供するプロセスであることができる。例えば、いくつかの実施形態では、システム102が、(いずれかの実際の聴衆反応とは無関係に)ターゲットユーザ106に基づいて適切な反応を検出し、これをターゲットユーザ106に提供することができる。このような模擬聴衆フィードバックは、様々なタイプのフィードバック(例えば、トーン、音量など)を含むことができる。いくつかの実施形態では、システム102が、システム102においてフィルタ及び/又は機能を適用することができる。様々な実施形態では、ターゲットユーザ106に関するこのようなフィードバックを模擬聴衆フィードバックに含めることができる。いくつかの実施形態では、システム102が、フィルタ及び/又は機能が聴衆ユーザレベルで適用されることを可能にすることができる。例えば、システム102は、聴衆クライアント装置(例えば、コンピュータ、スマートフォン、テレビなど)が(いずれかの実際の聴衆反応とは無関係に)ターゲットユーザ106のトーンに基づいて適切なフィードバックを検出し、これをターゲットユーザ106に提供することを可能にすることができる。
上述したように、システム102は、生の聴衆フィードバックを特性化することに少なくとも部分的に基づいて模擬聴衆フィードバックを生成する。様々な実施形態では、システムが、異なる聴衆クライアント装置から受け取った生の聴衆フィードバックを集約する。システムは、その後に生の聴衆フィードバックを特性化する。例えば、様々な実施形態では、システム102が、人工知能及び機械学習を使用して、くすくす笑い、笑い、拍手、ブーイングなどの音を識別してカテゴリ分けすることができる。システム102は、これらの側面の強度レベルを測定するために音の音量及び持続時間を決定することもできる。
別の例として、様々な実施形態では、システム102が、人工知能及び機械学習を使用して、前のめりの姿勢、微笑み、しかめっ面などのボディランゲージを識別してカテゴリ分けすることができる。システム102は、これらの側面の強度レベルを測定するために異なる動作の持続時間及び大きさを決定することもできる。
いくつかの実施形態では、システム102が、ライブイベント中の傾向(音量の上昇又は低下、人数の増加又は減少など)を検出するために、生の聴衆フィードバックの漸進的変化を追跡することができる。従って、システム102は、聴衆反応の大きさを示すことができる実際の聴衆反応に基づいて模擬聴衆フィードバックを提供する。換言すれば、出力される模擬聴衆フィードバックは、入力された生の聴衆フィードバックに比例する。パフォーマは、自身の演奏が聴衆に与える影響を模擬聴衆フィードバックを通じて理解することができる。
上述したように、聴衆反応の強度レベルは微妙な場合もあり、或いは物理的にパフォーマンスに参加している聴衆からの聴衆反応の強度レベルより少なくとも低いことがある。例えば、自宅の誰かによるくすくす笑い又は笑い声は、その人物が多くの他人と共に物理的にライブイベントに参加している場合よりも強度(例えば、音量、持続時間など)が低い場合がある。
いくつかの実施形態では、所定の聴衆フィードバックポリシーが、システム102が笑いなどの聴衆フィードバックの特定の側面を特性化し、強度レベル(例えば、音量、持続時間など)を測定し、強度レベルが所定の閾値レベルに達した場合に模擬聴衆フィードバックを生成することであることができる。様々な実施形態では、システム102が、1又は2以上の所定の閾値レベルに達するまでターゲットユーザ106に特定のフィードバックを提供することを見合わせることができる。この結果、システム102は、たとえオンラインパフォーマンス体験の性質に起因して聴衆フィードバックが一般に低い音量レベルであっても、ターゲットユーザ106に模擬聴衆フィードバックの形態の有用で有意義な聴衆フィードバックを提供することができる。
様々な実施形態では、システム102が、模擬聴衆フィードバックにおける群衆反応のオーディオレベルを、観衆(audience crowd)をシミュレートする音がターゲットユーザ/パフォーマの音を圧倒しないように制限又は正規化することができる。いくつかの実施形態では、所定の聴衆フィードバックポリシーが、システム102がフィードバックのタイプに基づいて音を混合して音量を設定することであることができる。例えば、システム102は、拍手又は歓声などよりも低い音量で笑いを混ぜ込むことができる。別の例では、システム102が、拍手及び/又は歓声に残響を追加して音をより没入的なものにすることができる。
様々な実施形態では、システム102が、生の聴衆フィードバック及び本明細書で説明する1又は2以上の所定の聴衆フィードバックポリシーに基づいてターゲットクライアント装置に模擬聴衆フィードバックを提供する。様々な実施形態では、模擬聴衆フィードバックが、アーティスト/パフォーマ(例えば、ミュージシャン、ライブコメディアンなど)に、自身のパフォーマンスを望む通りに調整するための信頼できる瞬間的聴衆フィードバックを提供する。例えば、いくつかのシナリオでは、あるパフォーマが以前に1つの都市(例えば、サンフランシスコ)で大いに笑いを誘った特定のジョークを飛ばしたとしても、別の都市(例えば、アトランタ)では肯定的なフィードバックを得られないことがある。ライブシナリオでは、パフォーマが、肯定的なフィードバックを得られないことに基づいて、そのパフォーマンスの残り部分では同様のジョークをスキップしようと決定することができる。模擬聴衆フィードバックは、ターゲットユーザ/パフォーマに特定の題材を望む通りに追加及び/又は削除するように伝えることができる。
様々な実施形態では、模擬聴衆フィードバックが、視覚的聴衆フィードバック、聴覚的聴衆フィードバック及び触覚的聴衆フィードバックのうちの1つ又は2つ以上を含む。様々な実施形態では、視覚的聴衆フィードバックが視覚信号(例えば、聴衆が選択した絵文字、絶え間ない拍手など)を含むことができる。様々な実施形態では、聴覚的聴衆フィードバックが拍手、歓声などを含むことができ、これによってより本能的な直感(more visceral feeling)及び/又は聴衆フィードバックを得ることができる。
様々な実施形態では、1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーが、生の聴衆フィードバックの肯定的側面及び否定的側面を特性化することを含む。様々な実施形態では、少なくとも1つの所定の聴衆フィードバックポリシーが、ビデオに関連する文脈情報を特性化することを含む。
様々な実施形態では、システム102が、模擬聴衆フィードバックをパフォーマのみに送信する。或いは、いくつかの実施形態では、システム102が、1又は2以上の所定の聴衆フィードバックポリシーに基づいて、それぞれの聴衆クライアント装置を介して模擬聴衆フィードバックの1又は2以上の部分を聴衆メンバーに提供することもできる。様々な実施形態では、聴衆クライアント装置が、模擬聴衆フィードバックの1又は2以上の部分を聴衆ユーザに提供する。
システム102は、模擬聴衆フィードバックを聴衆メンバーに提供するか否かをターゲットユーザ106が選択できるようにすることができる。システム102は、どのようなタイプの模擬聴衆フィードバックを聴衆メンバーに提供するかをターゲットユーザ106が選択できるようにすることもできる。例えば、ターゲットユーザ106は、笑いなどの特定の音響フィードバックを聴衆に聞こえるように選択することができる。いくつかの実施形態では、システムが、集約された笑い声を混合して聴衆メンバーへの模擬聴衆フィードバックに含めることができる。いくつかの実施形態では、システムが、予め録音された笑い声を単純に聴衆メンバーへの模擬聴衆フィードバックに含めることができる。
様々な実施形態では、システム102が、聴衆メンバーに模擬聴衆フィードバックを送信するプロセスとは別の独立したプロセスでターゲットユーザ106に模擬聴衆フィードバックを送信する。この理由は、模擬聴衆フィードバックがターゲットユーザ106にとってより包括的であるからである。例えば、フィードバックメータは、パフォーマには有用であるが、聴衆メンバーには有用ではないと考えられる。また、笑い声は聴衆メンバーの視聴体験を向上させることができる。このような音声は、コメディアンなどの一部のパフォーマには有用であるかもしれないが、他のパフォーマの気を散らす恐れがある。
本明細書で説明する実施形態は様々な利点を提供する。例えば、実施形態は、ターゲットユーザ/パフォーマに有用な聴衆フィードバックを提供して、パフォーマがフィードバックに基づいて望む通りにパフォーマンスを修正することを可能にする。本明細書で説明する実施形態は、より有意義なフィードバックをターゲットユーザに提供するために、フィードバックアイコン、フィードバックメータ及びその他のフィードバック情報を含む異なるタイプのフィードバックも提供する。
本明細書で説明する実施形態は、従来の解決策の欠点を回避する。例えば、従来の解決策は、全ての参加者を無音化することを含むことができる。この結果、気まずい沈黙が生じる恐れがある。また、パフォーマが聴衆反応に合わせることができなければ、聴衆がパフォーマを楽しいと感じられなくなる恐れもある。従来の解決策は、参加者全員にオープンマイクを提供して、パフォーマ及び聴衆が等しいステージ時間を有するようにすることができる。この結果、邪魔が入ったり、プライバシーが欠如したり、不適切な詳細(例えば、背景での会話など)が共有されたりする恐れがある。従来の解決策の中には、特定の主要メンバーがマイクを有する部分的オープンマイク又は限定的オープンマイクを提供するものもある。この結果、聴衆メンバーが個人的寄与(例えば、爆笑など)を個別に聞かれて特定された時に不快に感じる恐れがある。他の聴衆メンバーは、群衆音がまばらであり又は本物ではないと感じられることがあるので、参加している感覚及びグループがつながっている感覚に欠ける場合がある。本明細書で説明する実施形態は、システムがターゲットユーザ/パフォーマに模擬聴衆フィードバックを提供することによってこれらの課題を回避する。
図5は、本明細書で説明するいくつかの実装に使用できるネットワーク環境例500のブロック図である。いくつかの実装では、ネットワーク環境500が、サーバ装置504及びデータベース506を含むシステム502を含む。例えば、システム502は、図1のシステム102を実装するためだけでなく、本明細書で説明する実施形態を実行するために使用することもできる。ネットワーク環境500は、システム502と通信することができる、及び/又は直接又はシステム502を介して互いに通信することができるクライアント装置510、520、530及び540も含む。ネットワーク環境500は、システム502及びクライアント装置510、520、530及び540が通信できるようにするネットワーク550も含む。ネットワーク550は、Wi-Fiネットワーク、Bluetoothネットワーク、インターネットなどのいずれかの好適な通信ネットワークとすることができる。
説明を容易にするために、図5には、システム502、サーバ装置504及びネットワークデータベース506の各々につき1つのブロックを示し、クライアント装置510、520、530及び540を表す4つのブロックを示す。ブロック502、504及び506は、複数のシステム、サーバ装置及びネットワークデータベースを表すことができる。また、いずれかの数のクライアント装置が存在することもできる。他の実装では、環境500が、図示のコンポーネントの全てを有さないことも、及び/又は本明細書に示す要素の代わりに又はこれらに加えて他のタイプの要素を含む他の要素を有することもできる。
システム502のサーバ装置504は、本明細書で説明する実施形態を実行するが、他の実施形態では、システム502に関連するいずれかの好適なコンポーネント又はコンポーネントの組み合わせ、或いはシステム502に関連するいずれかの好適な1又は複数のプロセッサが、本明細書で説明する実施形態の実行を容易にすることができる。
本明細書で説明する様々な実施形態では、システム502のプロセッサ及び/又はいずれかのクライアント装置510、520、530及び540のプロセッサが、1又は2以上のディスプレイ画面上のユーザインターフェイス内に本明細書で説明する要素(例えば、情報など)が表示されるようにする。
図6は、本明細書で説明するいくつかの実装に使用できるコンピュータシステム例600のブロック図である。例えば、コンピュータシステム600は、図5のサーバ装置504及び/又は図1のシステム102を実装するためだけでなく、本明細書で説明する実施形態を実行するために使用することもできる。いくつかの実装では、コンピュータシステム600が、プロセッサ602、オペレーティングシステム604、メモリ606、及び入力/出力(I/O)インターフェイス608を含むことができる。様々な実装では、プロセッサ602を、本明細書で説明する様々な機能及び特徴を実装するためだけでなく、本明細書で説明する方法の実装を実行するために使用することもできる。プロセッサ602については、本明細書で説明する実装を実行するものとして説明するが、説明するステップは、コンピュータシステム600のいずれかの好適なコンポーネント又はコンポーネントの組み合わせ、或いはコンピュータシステム600又はいずれかの好適なシステムに関連するいずれかの好適な1又は複数のプロセッサが実行することができる。本明細書で説明する実装は、ユーザ装置上で、サーバ上で、又はこれらの組み合わせにおいて実施することができる。
コンピュータシステム600は、メモリ606又は他のいずれかの適切な記憶位置又はコンピュータ可読媒体上に記憶することができるソフトウェアアプリケーション610も含む。ソフトウェアアプリケーション610は、本明細書で説明する実装及びその他の機能をプロセッサ602が実行することを可能にする命令を与える。ソフトウェアアプリケーションは、1又は2以上のネットワーク及びネットワーク通信に関連する様々な機能を実行するネットワークエンジンなどのエンジンを含むこともできる。コンピュータシステム600のコンポーネントは、1又は2以上のプロセッサ、又はハードウェア装置のいずれかの組み合わせ、及びハードウェア、ソフトウェア、ファームウェアなどのいずれかの組み合わせによって実装することができる。
説明を容易にするために、図6には、プロセッサ602、オペレーティングシステム604、メモリ606、I/Oインターフェイス608及びソフトウェアアプリケーション610の各々につき1つのブロックを示す。これらのブロック602、604、606、608及び610は、複数のプロセッサ、オペレーティングシステム、メモリ、I/Oインターフェイス、及びソフトウェアアプリケーションを表すことができる。様々な実装では、コンピュータシステム600が、図示のコンポーネントの全てを有さないことも、及び/又は本明細書に示すコンポーネントの代わりに又はこれらに加えて他のタイプのコンポーネントを含む他の要素を有することもできる。
特定の実施形態に関して説明を行ったが、これらの特定の実施形態は例示にすぎず、限定的なものではない。これらの実施例に示す概念は、他の実施例及び実装に適用することもできる。
様々な実装では、1又は2以上のプロセッサによって実行されるソフトウェアが1又は2以上の非一時的コンピュータ可読媒体に符号化される。ソフトウェアは、1又は2以上のプロセッサによって実行された時に、本明細書で説明した実装及びその他の機能を実行する。
特定の実施形態のルーチンの実装には、C、C++、Java、アセンブリ言語などを含むいずれかの好適なプログラム言語を使用することができる。手続き型又はオブジェクト指向型などの異なるプログラミング技術を使用することができる。これらのルーチンは、単一の処理装置又は複数のプロセッサ上で実行することができる。ステップ、動作又は計算については特定の順序で示しているかもしれないが、異なる特定の実施形態ではこの順序を変更することができる。いくつかの特定の実施形態では、本明細書において順次的なものとして示した複数のステップを同時に実行することもできる。
特定の実施形態は、命令実行システム、装置、システム又はデバイスが使用する、或いはこれらに接続された(機械可読記憶媒体とも呼ばれる)非一時的コンピュータ可読記憶媒体に実装することができる。特定の実施形態は、ソフトウェア又はハードウェア又はこれらの組み合わせにおける制御ロジックの形で実装することもできる。制御ロジックは、1又は2以上のプロセッサによって実行された時に、本明細書で説明した実装及びその他の機能を実行することができる。例えば、実行可能命令を含むことができる制御ロジックの記憶には、ハードウェア記憶装置などの有形媒体を使用することができる。
特定の実施形態は、プログラムされた汎用デジタルコンピュータを使用することによって、及び/又は特定用途向け集積回路、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノエンジニアリングシステム、コンポーネント及び機構を使用することによって実装することができる。一般に、特定の実施形態の機能は、当業で周知のあらゆる手段によって実現することができる。分散型ネットワークシステム、コンポーネント及び/又は回路を使用することもできる。データの通信又は転送は、有線、無線又は他のいずれかの手段によるものとすることができる。
「プロセッサ」は、データ、信号又はその他の情報を処理するいずれかの好適なハードウェア及び/又はソフトウェアシステム、機構又はコンポーネントを含むことができる。プロセッサは、汎用中央処理装置、複数の処理装置、機能を実現するための専用回路又はその他のシステムを有するシステムを含むことができる。処理は、地理的位置に制限される必要も、又は時間的制限を有する必要もない。例えば、プロセッサは、その機能を「リアルタイム」、「オフライン」、「バッチモード」などで実行することができる。処理の一部は、異なる(又は同じ)処理システムが異なる時点に異なる場所で実行することもできる。コンピュータは、メモリと通信するいずれかのプロセッサとすることができる。メモリは、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、磁気記憶装置(ハードディスクドライブなど)、フラッシュ、光学記憶装置(CD又はDVDなど)、磁気又は光ディスク、或いはプロセッサによって実行される命令(例えば、プログラム又はソフトウェア命令)を記憶するのに適したその他の有形媒体などの電子的記憶装置を含むいずれかの好適なデータストレージ、メモリ及び/又は非一時的コンピュータ可読記憶媒体とすることができる。例えば、実行可能命令を含むことができる制御ロジックの記憶には、ハードウェア記憶装置などの有形媒体を使用することができる。命令は、例えばサーバ(例えば、分散システム及び/又はクラウドコンピューティングシステム)から配信されるサービス型ソフトウェア(SaaA)などの形態の電気信号に含めて電気信号として提供することもできる。
また、特定の用途に従って有用である時には、図面/図に示す要素のうちの1つ又は2つ以上をより分離又は統合された形で実装し、或いはいくつかの事例では除去又は動作不能とすることもできると理解されるであろう。上述した方法のいずれかをコンピュータが実行できるようにする、機械可読媒体に記憶できるプログラム又はコードを実装することも本発明の趣旨及び範囲に含まれる。
本明細書及び以下の特許請求の範囲全体を通じて使用する「1つの(英文不定冠詞)」及び「その(英文定冠詞)」は、文脈において別途明確に示していない限り複数形の照応を含む。また、本明細書及び以下の特許請求の範囲全体を通じて使用する「~内(in)」の意味は、文脈において別途明確に示していない限り、「~内(in)」及び「~上(on)」の意味を含む。
以上、本明細書では特定の実施形態について説明したが、上述した開示では修正、様々な変更及び置換の自由が意図されており、いくつかの例では、記載した範囲及び趣旨から逸脱することなく、特定の実施形態のいくつかの特徴が対応する他の特徴の使用を伴わずに使用されると理解されたい。従って、特定の状況又は材料を基本的範囲及び趣旨に適合させるように多くの修正を行うことができる。
100 ライブイベント環境
102 システム
104 クライアント
106 ターゲットユーザ(パフォーマ)
106 ネットワーク
108 ライブイベント
110~118 クライアント

Claims (20)

  1. 1又は2以上のプロセッサと、
    1又は2以上の非一時的コンピュータ可読記憶媒体に符号化された、前記1又は2以上のプロセッサによって実行されるロジックと、
    を備え、前記ロジックは、実行時に、
    ターゲットクライアント装置からターゲットユーザのビデオを受け取ることと、
    前記ビデオを複数の聴衆クライアント装置に提供することと、
    前記複数の聴衆クライアント装置から生の聴衆フィードバックを受け取ることと、
    1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記ターゲットクライアント装置に模擬聴衆フィードバックを提供することと、
    を含む動作を前記1又は2以上のプロセッサに行わせ、前記ターゲットクライアント装置は、前記模擬聴衆フィードバックを前記ターゲットユーザに提供する、
    ことを特徴とするシステム。
  2. 前記ロジックは、実行時に、
    前記生の聴衆フィードバックを集約することと、
    前記生の聴衆フィードバックを特性化することと、
    前記生の聴衆フィードバックの前記特性化及び前記1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記模擬聴衆フィードバックを生成することと、
    を含む動作を前記1又は2以上のプロセッサにさらに行わせる、請求項1に記載のシステム。
  3. 前記ロジックは、実行時に、前記生の聴衆フィードバック及び前記1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記ターゲットクライアント装置に模擬聴衆フィードバックを提供することを含む動作を前記1又は2以上のプロセッサにさらに行わせる、
    請求項1に記載のシステム。
  4. 前記模擬聴衆フィードバックは、視覚聴衆フィードバック、聴覚聴衆フィードバック及び触覚聴衆フィードバックのうちの1つ又は2つ以上を含む、
    請求項1に記載のシステム。
  5. 前記1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーは、前記生の聴衆フィードバックの肯定的側面及び否定的側面を特性化することを含む、
    請求項1に記載のシステム。
  6. 前記1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーは、前記ビデオに関連する文脈情報を特性化することを含む、
    請求項1に記載のシステム。
  7. 前記ロジックは、実行時に、前記1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記聴衆クライアント装置に前記模擬聴衆フィードバックの1又は2以上の部分を提供することを含む動作を前記1又は2以上のプロセッサにさらに行わせ、前記聴衆クライアント装置は、前記模擬聴衆フィードバックの前記1又は2以上の部分を聴衆ユーザに提供する、
    請求項1に記載のシステム。
  8. プログラム命令を記憶した非一時的なコンピュータ可読記憶媒体であって、前記プログラム命令は、1又は2以上のプロセッサによって実行された時に、
    ターゲットクライアント装置からターゲットユーザのビデオを受け取ることと、
    前記ビデオを複数の聴衆クライアント装置に提供することと、
    前記複数の聴衆クライアント装置から生の聴衆フィードバックを受け取ることと、
    1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記ターゲットクライアント装置に模擬聴衆フィードバックを提供することと、
    を含む動作を前記1又は2以上のプロセッサに行わせ、前記ターゲットクライアント装置は、前記模擬聴衆フィードバックを前記ターゲットユーザに提供する、ことを特徴とするコンピュータ可読記憶媒体。
  9. 前記プログラム命令は、実行時に、
    前記生の聴衆フィードバックを集約することと、
    前記生の聴衆フィードバックを特性化することと、
    前記生の聴衆フィードバックの前記特性化及び前記1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記模擬聴衆フィードバックを生成することと、
    を含む動作を前記1又は2以上のプロセッサにさらに行わせる、請求項8に記載のコンピュータ可読記憶媒体。
  10. 前記プログラム命令は、実行時に、前記生の聴衆フィードバック及び前記1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記ターゲットクライアント装置に模擬聴衆フィードバックを提供することを含む動作を前記1又は2以上のプロセッサにさらに行わせる、
    請求項8に記載のコンピュータ可読記憶媒体。
  11. 前記模擬聴衆フィードバックは、視覚聴衆フィードバック、聴覚聴衆フィードバック及び触覚聴衆フィードバックのうちの1つ又は2つ以上を含む、
    請求項8に記載のコンピュータ可読記憶媒体。
  12. 前記1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーは、前記生の聴衆フィードバックの肯定的側面及び否定的側面を特性化することを含む、
    請求項8に記載のコンピュータ可読記憶媒体。
  13. 前記1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーは、前記ビデオに関連する文脈情報を特性化することを含む、
    請求項8に記載のコンピュータ可読記憶媒体。
  14. 前記プログラム命令は、実行時に、前記1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記聴衆クライアント装置に前記模擬聴衆フィードバックの1又は2以上の部分を提供することを含む動作を前記1又は2以上のプロセッサにさらに行わせ、前記聴衆クライアント装置は、前記模擬聴衆フィードバックの前記1又は2以上の部分を聴衆ユーザに提供する、
    請求項8に記載のコンピュータ可読記憶媒体。
  15. コンピュータ実装方法であって、
    ターゲットクライアント装置からターゲットユーザのビデオを受け取ることと、
    前記ビデオを複数の聴衆クライアント装置に提供することと、
    前記複数の聴衆クライアント装置から生の聴衆フィードバックを受け取ることと、
    1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記ターゲットクライアント装置に模擬聴衆フィードバックを提供することと、
    を含み、前記ターゲットクライアント装置は、前記模擬聴衆フィードバックを前記ターゲットユーザに提供する、
    ことを特徴とする方法。
  16. 前記生の聴衆フィードバックを集約することと、
    前記生の聴衆フィードバックを特性化することと、
    前記生の聴衆フィードバックの前記特性化及び前記1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記模擬聴衆フィードバックを生成することと、
    をさらに含む、請求項15に記載の方法。
  17. 前記生の聴衆フィードバック及び前記1又は2以上の所定の聴衆フィードバックポリシーに基づいて前記ターゲットクライアント装置に模擬聴衆フィードバックを提供することをさらに含む、
    請求項15に記載の方法。
  18. 前記模擬聴衆フィードバックは、視覚聴衆フィードバック、聴覚聴衆フィードバック及び触覚聴衆フィードバックのうちの1つ又は2つ以上を含む、
    請求項15に記載の方法。
  19. 前記1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーは、前記生の聴衆フィードバックの肯定的側面及び否定的側面を特性化することを含む、
    請求項15に記載の方法。
  20. 前記1又は2以上の所定の聴衆フィードバックポリシーのうちの少なくとも1つの所定の聴衆フィードバックポリシーは、前記ビデオに関連する文脈情報を特性化することを含む、
    請求項15に記載の方法。
JP2023532147A 2020-12-18 2021-12-16 撮影中のパフォーマに対する聴衆反応のシミュレーション Pending JP2023552119A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/127,923 US20220201370A1 (en) 2020-12-18 2020-12-18 Simulating audience reactions for performers on camera
US17/127,923 2020-12-18
PCT/IB2021/061886 WO2022130298A1 (en) 2020-12-18 2021-12-16 Simulating audience reactions for performers on camera

Publications (1)

Publication Number Publication Date
JP2023552119A true JP2023552119A (ja) 2023-12-14

Family

ID=79021861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023532147A Pending JP2023552119A (ja) 2020-12-18 2021-12-16 撮影中のパフォーマに対する聴衆反応のシミュレーション

Country Status (5)

Country Link
US (1) US20220201370A1 (ja)
EP (1) EP4245037A1 (ja)
JP (1) JP2023552119A (ja)
CN (1) CN115428466A (ja)
WO (1) WO2022130298A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100094686A1 (en) * 2008-09-26 2010-04-15 Deep Rock Drive Partners Inc. Interactive live events
US11399053B2 (en) * 2009-03-04 2022-07-26 Jacquelynn R. Lueth System and method for providing a real-time digital virtual audience
US8806518B2 (en) * 2012-06-27 2014-08-12 Intel Corporation Performance analysis for combining remote audience responses
US10231024B2 (en) * 2013-09-12 2019-03-12 Blizzard Entertainment, Inc. Selectively incorporating feedback from a remote audience
KR20170090417A (ko) * 2014-12-03 2017-08-07 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
US9843768B1 (en) * 2016-09-23 2017-12-12 Intel Corporation Audience engagement feedback systems and techniques
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
MX2020007674A (es) * 2018-01-19 2020-09-14 Esb Labs Inc Interfaz de audiencia interactiva virtual.
US10970898B2 (en) * 2018-10-10 2021-04-06 International Business Machines Corporation Virtual-reality based interactive audience simulation

Also Published As

Publication number Publication date
CN115428466A (zh) 2022-12-02
US20220201370A1 (en) 2022-06-23
WO2022130298A1 (en) 2022-06-23
EP4245037A1 (en) 2023-09-20

Similar Documents

Publication Publication Date Title
US10979842B2 (en) Methods and systems for providing a composite audio stream for an extended reality world
US11386903B2 (en) Methods and systems for speech presentation based on simulated binaural audio signals
US11575531B2 (en) Dynamic virtual environment
JP6101973B2 (ja) ボイスリンクシステム
US20120331387A1 (en) Method and system for providing gathering experience
WO2013107184A1 (zh) 记录会议的方法和会议系统
US12022136B2 (en) Techniques for providing interactive interfaces for live streaming events
CN111556279A (zh) 即时会话的监控方法和通信方法
EP4054180A1 (en) Integrated input/output (i/o) for a three-dimensional (3d) environment
JP2024507092A (ja) 画像処理方法、装置、及びコンピュータコンピュータプログラム
Ursu et al. Orchestration: Tv-like mixing grammars applied to video-communication for social groups
US20240056529A1 (en) Enhancing group sound reactions
JP6367748B2 (ja) 認識装置、映像コンテンツ提示システム
JP2023552119A (ja) 撮影中のパフォーマに対する聴衆反応のシミュレーション
CN112287129A (zh) 音频数据的处理方法、装置及电子设备
Wilson et al. Being Together—or, Being Less Un-together—with Networked Music
CN113516974A (zh) 用于提供交互服务的方法和装置
US20240015368A1 (en) Distribution system, distribution method, and non-transitory computer-readable recording medium
WO2023238637A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
Aguilera et al. Spatial audio for audioconferencing in mobile devices: Investigating the importance of virtual mobility and private communication and optimizations
WO2024047816A1 (ja) 映像関連音再生方法、映像関連音再生装置及び映像関連音再生プログラム
US20240013488A1 (en) Groups and Social In Artificial Reality
WO2024047815A1 (ja) 盛り上がり尤度制御方法、盛り上がり尤度制御装置及び盛り上がり尤度制御プログラム
US20210320959A1 (en) System and method for real-time massive multiplayer online interaction on remote events
Conard A new proscenium: exploring interactive live performance in a socially distant digital world

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240624