WO2022264536A1 - 情報処理装置、情報処理方法、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、及び情報処理システム Download PDF

Info

Publication number
WO2022264536A1
WO2022264536A1 PCT/JP2022/008256 JP2022008256W WO2022264536A1 WO 2022264536 A1 WO2022264536 A1 WO 2022264536A1 JP 2022008256 W JP2022008256 W JP 2022008256W WO 2022264536 A1 WO2022264536 A1 WO 2022264536A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal device
data
information processing
delay
information
Prior art date
Application number
PCT/JP2022/008256
Other languages
English (en)
French (fr)
Inventor
寿之 示沢
夏樹 板谷
歩 小林
充 勝股
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023529521A priority Critical patent/JPWO2022264536A1/ja
Priority to EP22824536.1A priority patent/EP4358522A1/en
Priority to CN202280041141.0A priority patent/CN117461317A/zh
Publication of WO2022264536A1 publication Critical patent/WO2022264536A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the control unit 13 includes an acquisition unit 131, a data control unit 132, and a grouping unit 133.
  • Each block (acquisition unit 131 to grouping unit 133) constituting the control unit 13 is a functional block indicating the function of the control unit 13.
  • FIG. These functional blocks may be software blocks or hardware blocks.
  • each of the functional blocks described above may be one software module realized by software (including microprograms), or may be one circuit block on a semiconductor chip (die). Of course, each functional block may be one processor or one integrated circuit.
  • the control unit 13 may be configured in functional units different from the functional blocks described above. The configuration method of the functional blocks is arbitrary.
  • FIG. 11 is a diagram showing an example of a remote live venue.
  • a remote live venue is a virtual space imitating a real live venue.
  • the terminal device 30 for example, a VR device
  • the user can experience as if he or she were at the actual live venue.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

第１のユーザ（端末装置３０１）にライブデータを配信する情報処理装置であって、ライブデータに対するインタラクションデータを送信する第１のユーザと情報処理装置との間の遅延、又は、ライブデータに対する第１のユーザからのインタラクションデータを受信する第２のユーザ（端末装置３０２）と第１のユーザとの間の遅延の情報に基づいて、第１のユーザからのインタラクションデータに関する制御を行う。

Description

情報処理装置、情報処理方法、及び情報処理システム
　本開示は、情報処理装置、情報処理方法、及び情報処理システムに関する。
　近年、インタラクション型の配信サービスが利用されるようになっている。例えば、近年では、配信されたライブデータに対するユーザのインタラクションを可能にするインタラクション型のリモートライブが利用されるようになっている。
特開２０１９－７５６０４号公報
　通信には遅延が伴う。そのため、インタラクション型の配信サービスでは、インタラクション（例えば、歓声）のタイミングが大きくずれる等、ユーザが不自然さを感じる可能性がある。
　そこで、本開示では、高品質なインタラクション型の配信サービスの提供を可能にする情報処理装置、情報処理方法、及び情報処理システムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、第１の端末装置にライブデータを配信する情報処理装置であって、前記情報処理装置と前記第１の端末装置との間の遅延、又は、前記ライブデータに対する前記第１の端末装置からのインタラクションデータを受信する第２の端末装置と前記第１の端末装置との間の遅延、の情報を取得する取得部と、前記取得した遅延の情報に基づいて、前記第１の端末装置からの前記インタラクションデータに関する制御を行うデータ制御部と、を備える。
インタラクション型の配信システムの構成例を示す図である。 ライブデータの配信タイミングと視聴タイミングを示す図である 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る配信サーバの構成例を示す図である。 本開示の実施形態に係る撮像装置の構成例を示す図である。 本開示の実施形態に係る端末装置の構成例を示す図である。 リモートライブの配信処理を示すフローチャートである。 通信遅延の測定フローの一例を示す図である。 通信遅延の測定フローの他の例を示す図である。 ５ＱＩの一部を示す図である。 リモートライブ会場の一例を示す図である。 グループと通信遅延との対応関係を示す図である。
　以下、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成を、同一の符号の後に異なる数字を付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて端末装置３０１、３０２、及び３０３のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、端末装置３０１、３０２、及び３０３を特に区別する必要が無い場合には、単に端末装置３０と称する。
＜＜１．本実施形態の概要＞＞
　近年、インタラクション型の配信サービスが利用されるようになっている。例えば、近年では、配信されたライブデータに対するユーザのインタラクション（例えば、歓声）を可能にするインタラクション型のリモートライブが利用されるようになっている。ここで、ライブデータは、例えば、リアルタイムの演奏や放送のデータである。
　しかし、通信には遅延が伴う。そのため、インタラクション型の配信サービスでは、通信の状態によっては、ユーザが配信に対して不自然さを感じることがある。例えば、インタラクション型のリモートライブでは、ユーザ毎の通信環境等の違いに基づく通信遅延を起因として、インタラクションに大きなズレが生じることがある。以下、図１及び図２を使ってこの問題を説明する。
　図１は、インタラクション型の配信システムの構成例を示す図である。図１の例では、アーティストの端末装置（撮像装置やスピーカー、モニターを含む。）と、ファン１の端末装置と、ファン２の端末装置と、が、アーティストの演奏映像を配信する配信サーバに接続されている。ファン１の端末装置と配信サーバは、通信リンクＡ１で接続されており、ファン２の端末装置と配信サーバは、通信リンクＡ２で接続されている。また、ファン１の端末装置とファン２の端末装置は、通信リンクＢで接続されている。ここで、通信リンクＡ１、Ａ２、Ｂは、インターネット等のネットワークを経由するリンクであり、通信遅延を伴う。なお、アーティストの端末装置と配信サーバとの間の通信遅延は無視できるほど小さいものとする。また、アーティストの端末装置と配信サーバとの間の通信遅延は、通信リンクの通信遅延に含まれてもよい。
　配信サーバは、通信リンクＡ１、又は通信リンクＡ２を使用して、ファン１、ファン２それぞれの端末装置にライブデータ（例えば、アーティストの演奏映像）を配信する。図２は、ライブデータの配信タイミングと視聴タイミングを示す図である。図２の例では、ファン１、ファン２の端末装置それぞれからは、インタラクションデータ（図２の例では、歓声のデータ）が配信サーバに送信されている。歓声のデータを受信した配信サーバは、受信したデータを、アーティストの端末装置に送信する。さらに、配信サーバは、ファン１の端末装置にファン２の歓声のデータを配信するとともに、ファン２の端末装置にファン１の歓声のデータを配信する。
　上述したように、インターネット等のネットワークを経由したデータの送信には通信遅延が伴う。ネットワークを経由してインタラクションデータを送信する場合、通信遅延により、インタラクションの到達が、本来あるべきタイミングから大きくずれることがある。この場合、ライブが盛り上がっているタイミングとは大きくずれたタイミングでインタラクション（例えば、歓声や拍手）が発生したり、インタラクションがバラバラのタイミングで発生したりする。図２の例では、アーティストに届くファン１及びファン２の歓声が、アーティストの演奏からずれたタイミングとなっている。また、図２の例では、ファン１に届くファン２の歓声が、アーティストの演奏から大きくずれたタイミングとなっている。また、図２の例では、ファン２に届くファン１の歓声が、アーティストの演奏から大きくずれたタイミングとなっている。
　図２に示したような状態になると、本来あるべきタイミング（例えば、演奏が盛り上がったタイミング）とはズレたタイミングで大きな歓声が発生することになるので、ユーザはライブに不自然さを感じることとなる。結果として、ユーザは、リモートライブを効果的に体感できない。
　そこで、本実施形態では、以下の手段により上記問題解決する。
　例えば、配信サーバは、アーティスト、ユーザ、及び他のユーザとの間の通信遅延に応じて、アーティストのライブデータと各ユーザからのインタラクションデータを適切に制御するようにする。これにより、アーティスト及びユーザは、リモートライブであってもあたかも生ライブに参加しているような没入感を得られる。
　また、配信サーバは、各ユーザとアーティストとの間の通信遅延に応じて、各ユーザからのインタラクションデータにおける音量を制御する。例えば、配信サーバは、配信サーバから近い（遅延が少ない）ユーザの音量は大きく、遠い（遅延が多い）ユーザの音量は小さく聞こえるようにする。これにより、アーティストが、例えば、ドーム、スタジアム、アリーナのような大規模施設で生ライブをしているような、没入感を得られる。
　また、端末装置は、各ユーザ間の通信遅延に応じて、ユーザ同士で盛り上がりの共有制御を行う。例えば、遅延の小さいユーザの端末装置の間で、配信サーバを経由せず、直接、インタラクションデータを交換するようにする。これにより、盛り上がりの共有をタイムリーに行うことができる。
　以上、本実施形態の概要を述べたが、以下、本実施形態に係る情報処理システム１を詳細に説明する。
＜＜２．情報処理システムの構成＞＞
　まず、情報処理システム１の全体の構成を説明する。
　図３は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。情報処理システム１は、ローカル空間に位置するユーザにリモート空間にいるような体感を提供するためシステムである。情報処理システム１は、配信サーバ１０と、撮像装置２０と、端末装置３０と、を備える。なお、図中の装置は、論理的な意味での装置と考えてもよい。つまり、同図の装置の一部が仮想マシン（VM：Virtual　Machine）、コンテナ（Container）、ドッカー（Docker）などで実現され、それらが物理的に同一のハードウェア上で実装されてもよい。
　配信サーバ１０、撮像装置２０、及び端末装置３０は、それぞれ通信機能を備え、ネットワークＮを介して接続されている。配信サーバ１０、撮像装置２０、及び端末装置３０は、通信装置と言い換えることが可能である。なお、図３の例では、ネットワークＮが１つしか示されていないが、ネットワークＮは複数存在していてもよい。
　ここで、ネットワークＮは、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）、セルラーネットワーク、固定電話網、地域ＩＰ（Internet　Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、ネットワークＮには、コアネットワークが含まれていてもよい。コアネットワークは、例えば、ＥＰＣ（Evolved　Packet　Core）や５ＧＣ（5G　Core　network）である。また、ネットワークＮには、コアネットワーク以外のデータネットワークが含まれていてもよい。データネットワークは、通信事業者のサービスネットワーク、例えば、ＩＭＳ（IP　Multimedia　Subsystem）ネットワークであってもよい。また、データネットワークは、企業内ネットワーク等、プライベートなネットワークであってもよい。
　配信サーバ１０、撮像装置２０、及び端末装置３０等の通信装置は、ＬＴＥ（Long　Term　Evolution）、ＮＲ（New　Radio）、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、等の無線アクセス技術（RAT：Radio　Access　Technology）を使ってネットワークＮ又は他の通信装置と接続するよう構成されていてもよい。このとき、通信装置は、異なる無線アクセス技術を使用可能に構成されていてもよい。例えば、通信装置は、ＮＲとＷｉ－Ｆｉを使用可能に構成されていてもよい。また、通信装置は、異なるセルラー通信技術（例えば、ＬＴＥとＮＲ）を使用可能に構成されていてもよい。ＬＴＥ及びＮＲは、セルラー通信技術の一種であり、基地局がカバーするエリアをセル状に複数配置することで、通信装置の移動通信を可能にする。
　なお、配信サーバ１０、撮像装置２０、及び端末装置３０等の通信装置は、ＬＴＥ、ＮＲ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ以外の無線アクセス技術を使ってネットワークＮ又は他の通信装置に接続可能であってもよい。例えば、通信装置は、ＬＰＷＡ（Low　Power　Wide　Area）通信を使ってネットワークＮ又は他の通信装置に接続可能であってもよい。また、通信装置は、独自規格の無線通信を使ってネットワークＮ又は他の通信装置に接続可能であってもよい。勿論、通信装置は、他の既知の規格の無線通信を使ってネットワークＮ又は他の通信装置に接続可能であってもよい。
　以下、情報処理システム１を構成する各装置の構成を具体的に説明する。なお、以下に示す各装置の構成はあくまで一例である。各装置の構成は、以下に示す構成とは異なっていてもよい。
＜２－１．サーバの構成＞
　最初に、配信サーバ１０の構成を説明する。
　配信サーバ１０は、１又は複数の端末装置３０にライブデータ（例えば、アーティストの演奏映像）を配信する情報処理装置（コンピュータ）である。配信サーバ１０がデータを配信する端末装置３０には、アーティストが使用する端末装置が含まれていてもよい。このとき、配信サーバ１０は、ファンが使用する端末装置３０からのインタラクションデータをアーティストが使用する端末装置３０に送信してもよい。
　配信サーバ１０には、あらゆる形態のコンピュータを採用可能である。例えば、配信サーバ１０は、ＰＣサーバであってもよいし、ミッドレンジサーバであってもよいし、メインフレームサーバであってもよい。また、配信サーバ１０は、ユーザや端末の近く（e.g.,　端末を含むローカルNWに配置された基地局に又は当該基地局に接続されたコアネットワーク装置に接続されたエッジサーバ）でのデータ処理（エッジ処理）を行う情報処理装置であってもよい。例えば、基地局または路側機に併設又は内蔵された情報処理装置（コンピュータ）であってもよい。勿論、配信サーバ１０は、クラウドコンピューティングを行う情報処理装置であってもよい。
　図４は、本開示の実施形態に係る配信サーバ１０の構成例を示す図である。配信サーバ１０は、通信部１１と、記憶部１２と、制御部１３と、を備える。なお、図４に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、配信サーバ１０の機能は、複数の物理的に分離された構成に分散して実装されてもよい。例えば、配信サーバ１０は、複数のサーバ装置により構成されていてもよい。
　通信部１１は、他の装置と通信するための通信インタフェースである。例えば、通信部１１は、ＮＩＣ（Network　Interface　Card）等のＬＡＮ（Local　Area　Network）インタフェースである。通信部１１は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部１１は、制御部１３の制御に従って撮像装置２０、端末装置３０等と通信する。
　記憶部１２は、ＤＲＡＭ（Dynamic　Random　Access　Memory）、ＳＲＡＭ（Static　Random　Access　Memory）、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部１２は、配信サーバ１０の記憶手段として機能する。
　図４に戻り、制御部１３は、配信サーバ１０の各部を制御するコントローラ（controller）である。制御部１３は、例えば、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等のプロセッサにより実現される。例えば、制御部１３は、配信サーバ１０内部の記憶装置に記憶されている各種プログラムを、プロセッサがＲＡＭ（Random　Access　Memory）等を作業領域として実行することにより実現される。なお、制御部１３は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、及びＦＰＧＡは何れもコントローラとみなすことができる。
　制御部１３は、取得部１３１と、データ制御部１３２と、グルーピング部１３３と、を備える。制御部１３を構成する各ブロック（取得部１３１～グルーピング部１３３）はそれぞれ制御部１３の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア（マイクロプログラムを含む。）で実現される１つのソフトウェアモジュールであってもよいし、半導体チップ（ダイ）上の１つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ１つのプロセッサ又は１つの集積回路であってもよい。制御部１３は上述の機能ブロックとは異なる機能単位で構成されていてもよい。機能ブロックの構成方法は任意である。
　なお、制御部１３は上述の機能ブロックとは異なる機能単位で構成されていてもよい。また、制御部１３を構成する各ブロック（取得部１３１～グルーピング部１３３）の一部又は全部の動作を、他の装置が行ってもよい。例えば、制御部１３を構成する各ブロックの一部又は全部の動作を、撮像装置２０の制御部２３、又は端末装置３０の制御部３３が行ってもよい。制御部１３を構成する各ブロックの動作は後述する。
＜２－２．撮像装置の構成＞
　次に、撮像装置２０の構成を説明する。
　撮像装置２０は、撮像機能を備えた情報処理装置（コンピュータ）である。撮像装置２０は、例えば、アーティストの演奏会場に設置され、撮像したアーティストの演奏映像を配信サーバ１０に送信する。なお、撮像装置２０は、アーティストが所持する端末装置３０とみなしてもよい。
　図５は、本開示の実施形態に係る撮像装置２０の構成例を示す図である。撮像装置２０は、通信部２１と、記憶部２２と、制御部２３と、センサ部２４と、撮像部２５と、を備える。なお、図５に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、撮像装置２０の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
　通信部２１は、他の装置と通信するための通信インタフェースである。例えば、通信部２１は、ＮＩＣ等のＬＡＮインタフェースである。通信部２１は、有線インタフェースであってもよいし、無線インタフェースであってもよい。
　通信部２１が無線インタフェースを備える場合、通信部２１は、ＬＴＥ、ＮＲ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、等の無線アクセス技術を使ってネットワークＮと接続するよう構成されていてもよい。このとき、通信装置は、異なる無線アクセス技術を使用可能に構成されていてもよい。例えば、通信装置は、ＮＲとＷｉ－Ｆｉを使用可能に構成されていてもよい。また、通信装置は、異なるセルラー通信技術（例えば、ＬＴＥとＮＲ）を使用可能に構成されていてもよい。その他、撮像装置２０は、ＬＴＥ、ＮＲ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ以外の無線アクセス技術を使ってネットワークＮに接続可能であってもよい。
　記憶部２２は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部２２は、撮像装置２０の記憶手段として機能する。記憶部２２には、撮像部２５によって撮影された撮影データ（例えば、画像データやメタデータ）が格納される。なお、撮影データはファイル形式であってもよい。
　制御部２３は、撮像装置２０の各部を制御するコントローラである。制御部２３は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ等のプロセッサにより実現される。例えば、制御部２３は、撮像装置２０内部の記憶装置に記憶されている各種プログラムを、プロセッサがＲＡＭ等を作業領域として実行することにより実現される。なお、制御部２３は、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、及びＦＰＧＡは何れもコントローラとみなすことができる。
　センサ部２４は、撮影会場に関する情報を検出するセンサである。例えば、センサ部２４は、撮影会場の形状、及び撮影会場にある人や物体の位置、形状等を検出する３Ｄセンサである。このとき、センサ部２４は、ＴｏＦ（Time　of　Flight）カメラ方式３Ｄセンサであってもよいし、ステレオカメラ方式の３Ｄセンサであってもよい。
　撮像部２５は、光像を電気信号に変換する変換部である。撮像部２５は、例えば、イメージセンサと、イメージセンサから出力されたアナログの画素信号の処理を行う信号処理回路等を備え、レンズから入ってきた光をデジタルデータ（画像データ）に変換する。なお、撮像部２５が撮像する画像は、映像（動画）に限られず、静止画であってもよい。なお、撮像部２５は、カメラと言い換えることができる。
＜２－３．端末装置の構成＞
　次に、端末装置３０の構成を説明する。
　端末装置３０は、配信サーバ１０と通信可能に構成された情報処理装置である。例えば、端末装置３０は、ＡＲ（Augmented　Reality）デバイス、ＶＲ（Virtual　Reality）デバイス、ＭＲ（Mixed　Reality）デバイス等のｘＲデバイスである。このとき、ｘＲデバイスは、ＡＲグラス、ＭＲグラス等のメガネ型デバイスであってもよいし、ＶＲヘッドマウントディスプレイ等のヘッドマウント型デバイスであってもよい。端末装置３０をｘＲデバイスとする場合、端末装置３０は、ユーザ装着部分（例えば、メガネ部分）のみで構成されるスタンドアローン型のデバイスであってもよい。また、端末装置３０は、ユーザ装着部分（例えば、メガネ部分）と、当該部分と連動する端末部分（例えば、スマートデバイス）と、で構成される端末連動型デバイスであってもよい。
　なお、端末装置３０は、携帯電話、スマートデバイス（スマートフォン、又はタブレット）、ＰＤＡ（Personal　Digital　Assistant）、ノートＰＣ等のモバイル端末であってもよい。また、端末装置３０は、スマートウォッチ等のウェアラブルデバイスであってもよい。その他、端末装置３０は、持ち運び可能なＩｏＴ（Internet　of　Things）デバイスであってもよい。
　図６は、本開示の実施形態に係る端末装置３０の構成例を示す図である。端末装置３０は、通信部３１と、記憶部３２と、制御部３３と、入力部３４と、出力部３５と、センサ部３６と、撮像部３７と、を備える。なお、図６に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、端末装置３０の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
　通信部３１は、他の装置と通信するための通信インタフェースである。例えば、通信部３１は、ＮＩＣ等のＬＡＮインタフェースである。なお、通信部３１は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部３１が無線インタフェースを備える場合、通信部３１は、ＬＴＥ（Long　Term　Evolution）、ＮＲ（New　Radio）、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、等の無線アクセス技術（RAT：Radio　Access　Technology）を使ってネットワークＮ又は他の通信装置と接続するよう構成されていてもよい。通信部３１は、制御部３３の制御に従って配信サーバ１０、撮像装置２０等と通信する。
　記憶部３２は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部３２は、端末装置３０の記憶手段として機能する。
　制御部３３は、端末装置３０の各部を制御するコントローラである。制御部３３は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ等のプロセッサにより実現される。例えば、制御部３３は、端末装置３０内部の記憶装置に記憶されている各種プログラムを、プロセッサがＲＡＭ等を作業領域として実行することにより実現される。なお、制御部３３は、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、及びＦＰＧＡは何れもコントローラとみなすことができる。
　入力部３４は、外部から各種入力を受け付ける入力装置である。例えば、入力部３４は、キーボードやマウスや操作キー等、ユーザが各種操作を行うための操作装置である。なお、端末装置３０にタッチパネルが採用される場合には、タッチパネルも入力部３４に含まれる。この場合、ユーザは、指やスタイラスで画面をタッチすることにより各種操作を行う。
　出力部３５は、音、光、振動、画像等、外部に各種出力を行う装置である。出力部３５は、各種情報を表示する表示装置を備える。表示装置は、例えば、液晶ディスプレイ、有機ＥＬ（Electro　Luminescence）ディスプレイである。なお、端末装置３０にタッチパネルが採用される場合には、表示装置は入力部３４と一体の装置であってもよい。また、端末装置３０がｘＲデバイス（例えば、ＡＲ／ＭＲグラス）の場合、グラス上に画像を投影する透過型デバイスであってもよいし、ユーザの網膜に直接画像を投影する網膜投影型デバイスであってもよい。出力部３５は、制御部３３の制御に従って、ユーザに各種出力を行う。
　センサ部３６は、端末装置３０の位置又は姿勢に関する情報を取得するセンサである。例えば、センサ部３６は、加速度センサである。なお、センサ部３６は、加速度センサに限られない。センサ部３６は、ＩＭＵ（Inertial　Measurement　Unit）であってもよいし、地磁気センサであってもよいし、３Ｄセンサであってもよい。また、センサ部３６は、ＧＮＳＳ（Global　Navigation　Satellite　System）センサであってもよい。ＧＮＳＳセンサは、ＧＰＳ（Global　Positioning　System）センサであってもよいし、ＧＬＯＮＡＳＳセンサであってもよいし、Ｇａｌｉｌｅｏセンサであってもよいし、ＱＺＳＳ（Quasi-Zenith　Satellite　System）センサであってもよい。また、センサ部３６は、これら複数のセンサを組み合わせたものであってもよい。センサ部は、ユーザの動作（例えば、拍手等）を検出可能に構成されていてもよい。
　撮像部３７は、光像を電気信号に変換する変換部である。撮像部３７は、例えば、イメージセンサと、イメージセンサから出力されたアナログの画素信号の処理を行う信号処理回路等を備え、レンズから入ってきた光をデジタルデータ（画像データ）に変換する。なお、撮像部３７が撮像する画像は、映像（動画）に限られず、静止画であってもよい。なお、撮像部３７は、カメラと言い換えることができる。
＜＜３．情報処理システムの動作＞＞
　以上、情報処理システム１の構成について述べたが、次に、情報処理システム１の動作を説明する。
＜３－１．配信サーバの動作の概要＞
　まず、配信サーバ１０の動作の概要を説明する。図７は、リモートライブの配信処理を示すフローチャートである。配信処理は、アーティストの演奏に遠隔地から参加可能にする処理である。以下、図７を参照しながら、配信サーバ１０の動作の概要を説明する。以下の処理は、配信サーバ１０の制御部１３で実行される。
　まず、配信サーバ１０の取得部１３１は、通信遅延の情報を取得する（ステップＳ１０１）。例えば、取得部１３１は、配信サーバ１０と端末装置３０との間の遅延、又は、端末装置３０と他の端末装置３０との間の遅延、の情報を取得する。このとき、取得部１３１は、端末装置３０が測定した遅延の情報を端末装置３０から取得してもよいし、自ら測定してもよい。
　次に、配信サーバ１０のデータ制御部１３２は、ステップＳ１０１で取得した通信遅延の情報に基づいて、リモートライブ会場内のユーザの座席位置を決定する（ステップＳ１０２）。リモートライブ会場は、現実のライブ会場を模した仮想空間である。ユーザは、端末装置３０（例えば、ＶＲデバイス）越しにリモートライブ会場を見ることで、あたかも自分が現実のライブ会場にいるかのような体験を得ることができる。リモートライブ会場には、現実のライブ会場と同様に、座席が用意されている。データ制御部１３２は、ステップＳ１０１で取得した遅延の情報に基づいて、端末装置３０を使用するユーザの座席を決定する。
　次に、配信サーバ１０の取得部１３１は、撮像装置２０からアーティストの演奏の映像データを受け取る。そして、配信サーバ１０のデータ制御部１３２は、端末装置３０に映像データをライブデータとして配信する（ステップＳ１０３）。
　次に、配信サーバ１０は、ライブデータに対する端末装置３０のインタラクションデータ（例えば、端末装置３０のユーザの歓声や拍手のデータ）を受信する（ステップＳ１０４）。インタラクションデータは、例えば、端末装置３０を装着するユーザの歓声や動作（例えば、拍手）のデータである。
　次に、配信サーバ１０のデータ制御部１３２は、インタラクションデータに対する制御を実行する（ステップＳ１０５）。例えば、インタラクションデータがユーザの歓声データであるとする。このとき、データ制御部１３２は、ステップＳ１０１で取得した通信遅延の情報に基づいて、アーティストの端末装置３０に配信するインタラクションデータの音量を調整してもよい。より具体的には、データ制御部１３２は、遅延が小さいほど音量を大きく、遅延が大きいほど音量を小さくしてもよい。
　次に、配信サーバ１０は、アーティストの演奏が終了したか判別する（ステップＳ１０６）。演奏が終了していない場合（ステップＳ１０６：Ｎｏ）、配信サーバ１０は、ステップＳ１０３に処理を戻す。演奏が終了した場合（ステップＳ１０６：Ｙｅｓ）、配信サーバ１０は、配信処理を終了する。
　なお、配信サーバ１０の動作例は、図７で示したフローチャートには限られない。例えば、ステップＳ１０２は配信サーバ１０の動作における必須の構成要素でなくてもよい。例えば、配信サーバ１０は、ステップＳ１０２の動作を行うことなく、ステップＳ１０１で取得した通信遅延の情報をステップＳ１０５でのインタラクションデータに対する制御に用いてもよい。
　以上、配信サーバ１０の動作の概要を説明したが、以下、配信サーバ１０の動作を詳細に説明する。
＜３－２．通信遅延の情報の取得＞
　まず、ステップＳ１０１の通信遅延の情報の取得について詳細に説明する。
＜３－２－１．通信遅延について＞
　本実施形態における、通信遅延の測定する通信リンクは、図１に示すように、通信リンクＡと通信リンクＢとに分けられる。通信リンクＡは、アーティストのライブデータを配信する配信サーバ１０とライブを視聴するユーザの端末装置３０との間の通信リンクであり、通信リンクＢは、ライブを視聴するユーザ間の通信リンクである。なお、通信リンクＡは、アーティストの端末装置３０或いは撮像装置２０と、ユーザの端末装置３０と、の間のリンクとみなしてもよい。アーティストは、ライブの主催者と置き換え可能である。
　通信遅延は、通信リンク毎（すなわち、ファンの端末装置３０毎および／または配信サーバ１０毎）に異なるため、それぞれ個別に測定される。その測定は、配信サーバ１０側で行う場合と、端末装置３０側で行う場合と、がある。例えば、配信サーバ１０側で測定する場合、配信サーバ１０は、端末装置３０毎の通信リンクＡの通信遅延の測定結果を取得できる。一方、端末装置３０側で測定する場合、配信サーバ１０は、通信リンクＡの通信遅延の測定結果に加えて、通信リンクＢの通信遅延の測定結果も取得することができる。なお、通信リンクＡにおける通信遅延を第１の遅延、通信リンクＢにおける通信遅延を第２の遅延とも称する。
　また、通信遅延は、通信レイヤー（例えば、物理レイヤー、ＭＡＣ（Media　Access　Control）レイヤー、アプリケーションレイヤーなど）によっても異なる。本実施形態では、いずれの通信レイヤーにおける通信遅延も想定しうる。
　また、通信遅延を測定するための通信ノード（すなわち、配信サーバ１０や端末装置３０など）は、上述のように個別の通信ノードであってもよい。また、複数の通信ノードをグループ化した通信ノードグループを１つの通信ノードとしてもよい。すなわち、通信遅延の測定は、複数の配信サーバ１０をグループ化した配信サーバ１０グループを１つの通信ノードとして行ってもよいし、複数の端末装置３０をグループ化した端末装置３０グループを１つの通信ノードとして行ってもよい。なお、端末装置３０のグルーピングについては後述する。
　また、本実施形態において、通信遅延として、端末装置３０や配信サーバ１０の入り口におけるネットワーク上の遅延、端末装置３０や配信サーバ１０の処理遅延なども含めた遅延など、様々な遅延が想定しうる。
　また、通信遅延は、瞬時の通信遅延（例えば、データの送信毎、制御毎に測定される通信遅延）であってもよい。また、通信遅延は、所定の時間間隔で平均化された通信遅延であってもよい。また、通信遅延は、所定の忘却係数を用いた移動平均で得られた通信遅延であってもよい。その他、通信遅延の算出には、遅延分散など様々な遅延に関するパラメータを用いてもよい。
　また、通信遅延の測定には、各端末装置３０のエッジネットワーク（マンションタイプ、無線）やメトロネットワーク（地域網）の混雑状況を加味してもよい。
＜３－２－２．通信遅延の測定方法＞
　通信遅延の測定は、様々な方法を用いることができる。通信遅延は通信レイヤーによっても異なるため、測定する通信レイヤーによって測定方法は異なってもよい。
　（１）例１
　ある通信ノードのある通信レイヤーは、他の通信ノードが通信遅延を測定するための所定の信号（パケット、情報）を生成し、他の通信ノードに送信する。他の通信ノードは送信された所定の信号を受信する。他の通信ノードが、所定の信号の送信タイミング（時刻）を判別できれば、所定の信号の受信タイミングとの時間差で通信遅延が把握できる。例えば、所定の信号の送信タイミングの判別方法として、その所定の信号に送信時刻を示すタイムスタンプを付加することが考えられる。
　図８は、通信遅延の測定フローの一例を示す図である。通信ノードＡ（例えば、配信サーバ１０又は端末装置３０）は、通信遅延測定信号に対して、送信時刻に関するタイムスタンプを付加し、通信ノードＢに送信する。通信ノードＢ（例えば、配信サーバ１０又は端末装置３０）は、受信した信号に付加されたタイムスタンプと、その信号の受信タイミングとに基づいて、通信遅延を測定する。さらに、通信ノードＢは、測定した通信遅延を通信ノードＡに通知することができる。この通信遅延は、通信ノードＡから通信ノードＢまでの通信リンクにおける遅延であるが、通信ノードＢから通信ノードＡまでの通信リンクにおける遅延も同等であると想定することができる。
　（２）例２
　ある通信ノードが所定の信号を他の通信ノードに送信する。他の通信ノードＢは所定の信号に応じた応答信号を、ある通信ノードに送信する。ある通信ノードは、所定の信号の送信タイミングと、応答信号の受信タイミングとに基づいて、通信遅延を測定する。例えば、ある通信ノードは、ＩＰレイヤーのＰｉｎｇコマンドによるＰｉｎｇ値を使って通信遅延を測定する。
　図９は、通信遅延の測定フローの他の例を示す図である。通信ノードＡ（例えば、配信サーバ１０又は端末装置３０）は、通信ノードＢに通信遅延測定信号を送信する。この通信遅延測定信号は、通信遅延を測定するための応答信号を送信するための制御情報を含むことができる。通信ノードＢ（例えば、配信サーバ１０又は端末装置３０）は、通信遅延測定信号に基づいて、応答信号を通信ノードＡに送信する。通信ノードＡは、通信遅延測定信号の送信タイミングと、応答信号の受信タイミングとに基づいて、通信遅延を測定する。この通信遅延は、通信ノードＡと通信ノードＢとの間の往復の遅延であるが、いずれか一方の通信遅延はその半分として想定することができる。
　（３）例３
　通信遅延は、実際に測定されたものでなくてもよい。通信遅延は、推定（想定）された値であってもよい。通信遅延は、通信リンクで用いられる通信方法、設定される通信パラメータ、通信モード、通信フォーマットなどの情報に基づいて、推定されうる。具体的には、ある通信リンクにおいて、通信遅延の要求条件に応じて規定された複数の通信モードから設定されることにより、通信遅延が想定されうる。本実施形態において、通信遅延の測定は、通信遅延の推定と読み替えてもよい。
　例えば、ユーザが接続するネットワークが５Ｇ　ＮＲであるとする。通信ノード（例えば、配信サーバ１０又は端末装置３０）が通信パラメータの情報に基づいて通信遅延を推定する場合、この通信パラメータには、５ＱＩ（5G　QoS　Identifier）　ｖａｌｕｅを用いることができる。図１０は、５ＱＩの一部を示す図である。推定される通信遅延は、図１０に示す表のＰａｃｋｅｔ　ｄｅｌａｙ　ｂｕｄｇｅｔに基づいて決めることができる。例えば、あるユーザに対して、５ＱＩ　ｖａｌｕｅ＝７１を設定した場合、通信ノードはその時の通信遅延は１５０ｍｓと推定する。
＜３－３．通信遅延に基づくリモートライブに関する制御＞
　次に、通信遅延に基づくリモートライブに関する制御について詳細に説明する。
　上述したように、配信サーバ１０は、通信リンクそれぞれの通信遅延の情報を取得し、その取得した通信遅延の情報に基づいて、リモートライブにおける様々な制御を行う。リモートライブに関する制御としては、リモートライブ会場内のユーザの座席位置の決定（図７のステップＳ１０２）と、インタラクションデータに対する制御（図７のステップＳ１０６）と、が想定されうる。
＜３－３－１．リモートライブ会場内の座席の決定＞
　まず、リモートライブ会場内のユーザ（ファン）の座席位置の決定について説明する。
　この実施形態では、アーティストが仮想的なコンサート会場でリモートライブを行う場合を想定する。以下の説明では、仮想的なコンサート会場のことをリモートライブ会場ということがある。
　図１１は、リモートライブ会場の一例を示す図である。リモートライブ会場は、現実のライブ会場を模した仮想空間である。ユーザは、端末装置３０（例えば、ＶＲデバイス）越しにリモートライブ会場を見ることで、あたかも自分が現実のライブ会場にいるかのような体験を得ることができる。
　リモートライブ会場には、現実のライブ会場と同様に、座席が用意されている。図１１に示すように、アーティストはコンサート会場の檀上に位置する。配信サーバ１０は、端末装置３０の通信遅延の情報に基づいて、端末装置３０（観客となるユーザ）のリモートライブ会場内での仮想的な位置（座席位置）を決定する。このとき、通信リンクＡの通信遅延はアーティストとの距離に対応し、通信リンクＢの通信遅延はユーザ間の距離にそれぞれ対応する。換言すると、配信サーバ１０は、それぞれのユーザの仮想空間内でのアーティストからの距離を通信リンクＡの通信遅延に基づいて決定する。また、配信サーバ１０は、それぞれのユーザの仮想空間内での他のユーザとの距離を通信リンクＢの通信遅延に基づいて決定する。
　図１１の例では、５つのユーザがリモートライブに参加している。各ユーザは、端末装置３０を介して仮想空間（リモートライブ会場）にアクセスしている。配信サーバ１０は、通信遅延に応じて座席位置を決定する。各ユーザの仮想的な座席位置は以下のとおりである。なお、以下の例において、配信サーバ１０は、通信リンクにおける遅延が低遅延か、中遅延か、長遅延かを、予め定められた閾値に基づき判別してもよい。
　（アーティストとの距離）
　配信サーバ１０は、通信遅延が大きくなるほど、仮想空間内でのユーザとアーティストとの距離を長くする。例えば、配信サーバ１０は、ユーザの座席位置を以下の通り決定する。
　（１）配信サーバ１０と端末装置３０１との間の通信リンクＡにおける通信遅延は、低遅延であるため、配信サーバ１０は、端末装置３０１のユーザの座席位置をリモートライブ会場の前方のアーティストに近い位置とする。
　（２）配信サーバ１０と端末装置３０２、３０３、３０４との間の通信リンクＡにおける通信遅延は、中遅延であるため、配信サーバ１０は、端末装置３０２、３０３、３０４それぞれのユーザの座席位置をリモートライブ会場の中ほどの位置とする。
　（３）配信サーバ１０と端末装置３０５との間の通信リンクＡにおける通信遅延は、長遅延であるため、配信サーバ１０は、端末装置３０５のユーザの座席位置をリモートライブ会場の後方のアーティストから遠い位置とする。
　（ユーザ間の距離）
　配信サーバ１０は、通信遅延が大きくなるほど、仮想空間内でのユーザ間の距離を長くする。例えば、配信サーバ１０は、ユーザの座席位置を以下の通り決定する。
　（１）端末装置３０２のユーザと端末装置３０３のユーザとの間の通信リンクＢの通信遅延は、低遅延であるため、配信サーバ１０は、端末装置３０２のユーザと端末装置３０３のユーザを相対的に近い座席に配置する。
　（２）端末装置３０３のユーザと端末装置３０４のユーザとの間の通信リンクＢの通信遅延は、長遅延であるため、配信サーバ１０は、端末装置３０３のユーザと端末装置３０４のユーザを相対的に遠い座席に配置する。
　配信サーバ１０は、決定した位置に基づいてインタラクションデータに関する制御を行う。例えば、配信サーバ１０は、他のユーザの端末装置３０又はアーティストの端末装置３０に送信するユーザの歓声のデータを、ユーザの座席位置に応じたタイミングで送信するようにする。
　ここで、音の伝搬速度は通信速度に比べて遅いため、実際の大きなコンサート会場では観客の座席に応じて音声自体が遅延することになる。具体的には、１００ｍの距離で約３００ｍｓ、１０ｍの距離でも約３０ｍｓの音声遅延が生じる。上記のような座席配置を通信遅延に基づいて行うことにより、各ユーザからアーティストおよび／または他のユーザへのインタラクションデータが、その仮想的な距離による音声遅延と同様の通信遅延で受信されることになる。そのため、リモートライブで、通信遅延がユーザ毎に異なる場合でも実際のライブと同様の臨場感が得られる。
　なお、上記の説明では、通信遅延に応じて仮想的な座席位置を決定する方法を説明したが、配信サーバ１０は、通信遅延に基づき決まるユーザが選択可能な座席範囲から、ユーザが選択した仮想的な座席位置を、ユーザから取得するようにしてもよい。そして、配信サーバ１０は、取得した座席位置の情報に基づいてインタラクションデータに関する制御を行ってもよい。
　ここで、ユーザが選択可能な座席範囲は、例えば、以下のように決定される。例えば、図１１の例において、配信サーバ１０は、例えば以下の（１）～（３）に示すように、通信リンクＡの通信遅延が小さいほど、選択可能な座席の範囲が増えるようにする。なお、配信サーバ１０は、通常のコンサートと同様に、その選択可能な座席範囲の中で、アーティストとの距離に応じてライブの料金が変わるようにしてもよい。
　（１）配信サーバ１０と端末装置３０１との間の通信リンクＡにおける通信遅延は、低遅延であるため、配信サーバ１０は、端末装置３０１のユーザの座席範囲を、アーティストに近い範囲だけでなく、それよりも後方（すなわち、アーティストから遠い）範囲まで広げる。
　（２）配信サーバ１０と端末装置３０２、３０３、３０４との間の通信リンクＡにおける通信遅延は、中遅延であるため、配信サーバ１０は、端末装置３０２、３０３、３０４それぞれのユーザの座席範囲をリモートライブ会場の中ほどの範囲だけでなく、それよりも後方（すなわち、アーティストから遠い）範囲まで広げる。
　（３）配信サーバ１０と端末装置３０５との間の通信リンクＡにおける通信遅延は、長遅延であるため、配信サーバ１０は、端末装置３０１のユーザの座席範囲を、アーティストから遠い範囲のみとする。
　なお、以上の説明では、リモートライブ会場を想定した場合を説明したが、これに限定されるものではない。本発明の方法が、仮想的な空間において、単にアーティストとファンとの相対的な位置関係（例えば、距離）、および／または、ファン同士の相対的な位置関係を決定するために用いられることができる。
＜３－３－２．インタラクションデータに対する制御＞
　次に、インタラクションデータに対する制御について説明する。
　配信サーバ１０は、通信遅延の情報に基づいて、端末装置３０からのインタラクションデータに関する制御を行う。ここで、インタラクションデータは、端末装置３０のユーザの音声又は動作（例えば、拍手）に関する情報である。本実施形態において、インタラクションデータに関する制御には、音量の調整、遅延量の調整、および／またはフィルタリングが含まれる。なお、本実施形態において、配信サーバ１０がインタラクションデータに関する制御を行うときに距離の情報を用いる場合、その距離は通信遅延に基づいて算出される仮想的な距離であってもよい。
　なお、以下の説明では、ユーザからのインタラクションデータがアーティストに送信される場合について説明するが、以下に示す制御例は、ユーザ間でインタラクションデータを共有する場合も同様に適用することができる。なお、以下の制御例では、配信サーバ１０が処理を行うものとするが、以下に示す処理を行う装置は配信サーバ１０に限られず、端末装置３０であってもよい。また、以下に示す処理は、送信側または受信側のいずれで行われてもよい。
　端末装置３０で処理を行う場合、配信サーバ１０はその処理を行うために必要な情報を端末装置３０に送信することができる。例えば、その情報は、第１の遅延を示す情報、第２の遅延を示す情報、配信データおよび／またはインタラクションデータの生成または送信のタイミング（時刻）を示す情報などを含むことができる。端末装置３０は、それらの情報に基づいて、配信データおよび／またはインタラクションデータに対して制御を行う。
　（１）音量の調整
　例えば、インタラクションデータが端末装置３０のユーザからの歓声のデータであるとする。ユーザからの歓声のデータがアーティストに送信される場合、配信サーバ１０は、その歓声の音量の調整を、そのユーザの通信リンクＡの通信遅延に基づいて行う。その音量の調整において、以下の式（１）及び式（２）に示す音の距離減衰の方程式が用いることができる。
　　減衰量＝２０×ｌｏｇ１０（ｒ２／ｒ１）　　　・・・（１）
　　減衰量＝１０×ｌｏｇ１０（ｒ２／ｒ１）　　　・・・（２）
　ここで、式（１）は点音源における減衰量を示す式で、式（２）は線音源における減衰量を示す式である。点音源は、打音などのように点とみなされる音源であり、線音源は、一列に並んだ機械、道路の交通騒音などのように、長い線状をなした音源である。ここで、ｒ１は、騒音レベル（ｄＢ）を測定した地点の音の発生源（例えば、ユーザの仮想空間内での位置）からの距離であり、ｒ２は、音を聞く場所（すなわち、この例ではアーティスト）までの距離である。ここで、距離の単位は、例えば、メートルである。
　なお、点音源、線音源に分類できない場合、減衰量は、式（１）および式（２）の双方を用いて算出されうる。例えば、配信サーバ１０は、式（１）および式（２）で算出される値の中間値を減衰量としてもよい。
　なお、この音量の調整において、所定の通信遅延を超える場合、配信サーバ１０は、その音量をゼロにすることができる。この場合、大きな通信遅延のインタラクションデータはカットすることができるので、アーティスト側に違和感なく、臨場感を実現できる。
　（２）遅延量の調整
　例えば、インタラクションデータが端末装置３０のユーザからの歓声のデータであるとする。ユーザからの歓声のデータがアーティストに送信される場合、配信サーバ１０は、その歓声の遅延量の調整を、そのユーザの通信リンクＡの通信遅延に基づいて行う。より具体的には、配信サーバ１０は、実際の通信遅延にさらに遅延を付加する。例えば、複数のユーザ（端末装置３０）をグループ化する場合、そのグループ内のユーザ間で同じ遅延になるようにそれぞれのユーザのインタラクションの送信に対して遅延を付加する。
　（３）フィルタリング
　例えば、インタラクションデータが端末装置３０のユーザからの歓声のデータであるとする。ユーザからの歓声のデータがアーティストに送信される場合、配信サーバ１０は、そのユーザの通信リンクＡの通信遅延に基づいて、フィルタリングを行う。このフィルタリングには、音源分離フィルタ、人工知能を活用したフィルタ等、様々なフィルタを使用可能である。例えば、配信サーバ１０は、通信遅延が所定の閾値より小さく、音量が所定の音量より大きいインタラクションデータに対して、話し声のみをカットし、歓声のみを抽出するフィルタリング処理を行う。これにより、プライバシーに配慮したインタラクションデータをアーティストに届けることができる。
　なお、インタラクションデータに対する制御は上記には限られない。例えば、インタラクションデータに対する制御は、空間オーディオ（立体音響）に適応されてもよい。空間オーディオとは、全天球に広がる仮想的な音場空間に各音源をオブジェクトとして任意の位置に配置することで、ユーザがスピーカーやヘッドホンを通して立体的な音響を楽しめる体験をいう。例えば、ユーザからのインタラクションデータを、当該ユーザの遅延時間に応じて、音場空間上の異なる位置に配置してもよい。例えば、ユーザからのインタラクションデータがアーティストに送信される場合であって、アーティストむけに出力されるスピーカーが空間オーディオに対応している場合、通信遅延が低遅延のユーザからのインタラクションデータ（音源）を、音場空間上におけるユーザから近い位置にオブジェクトとして配置してもよい。同様に、通信遅延が長遅延のユーザからのインタラクションデータ（音源）を、音場空間上におけるユーザから遠い位置にオブジェクトとして配置してもよい。例えば、ユーザからのインタラクションデータが他のユーザに送信される場合であっても、同じように処理されてもよい。
＜３－４．グルーピング＞
　配信サーバ１０は、複数の端末装置３０をグループ分けしてもよい。そして、配信サーバ１０は、インタラクションデータに関する制御をグループ毎に行ってもよい。なお、配信サーバ１０は、様々な方法を用いて複数の端末装置３０をグループ分けできる。以下、複数の端末装置３０のグルーピングの方法を説明する。なお、配信サーバ１０は、以下で説明するグルーピング方法を単体で用いることもできるし、複数のグルーピング方法を組み合わせることもできる。以下で説明する処理は、例えば、配信サーバ１０のグルーピング部１３３で実行される。
＜３－４－１．通信遅延に基づいて行われるグルーピング＞
　配信サーバ１０は、複数の端末装置３０それぞれの通信遅延の情報に基づいて複数の端末装置３０をグループ分けしてもよい。例えば、配信サーバ１０は、複数の端末装置３０それぞれの通信リンクＡの通信遅延および／または通信リンクＢの通信遅延の情報に基づいて、複数の端末装置３０をグルーピングする。図１２は、グループと通信遅延との対応関係を示す図である。ここで、ｔは通信遅延であり、Ｔ０～Ｔ３は、グループ分けのための基準値（閾値）である。配信サーバ１０は、図１２に示すように、その通信遅延に対する所定の範囲毎のグループのリストを予め保持し、各ユーザの通信遅延とそのリストに基づいて複数の端末装置３０をグルーピングする。
　ライブデータには、映像データが含まれていてもよい。そして、配信サーバ１０は、映像のフレーム数（フレームレート）を単位とする基準値に複数の端末装置３０それぞれの通信遅延の情報をあてはめることにより、複数の端末装置３０をグループ分けしてもよい。例えば、図１２に示すＴ０～Ｔ３はそれぞれ映像のフレーム数を単位とする基準値であってもよい。例えば、配信サーバ１０は、３３ｍｓ毎、１６ｍｓ毎など映像のフレーム数を単位とする基準値を使って複数の端末装置３０をグルーピングする。これにより、上り、下りの遅延がフレーム数換算で同じになる複数の端末装置３０を同一のグループとできる。
　端末装置３０間の通信リンクである通信リンクＢの通信遅延は、全ての端末装置３０で測定しなくてもよい。例えば、配信サーバ１０は、とある仮想的な位置にグルーピングされた端末装置３０同士でランダムに複数台とＰ２Ｐ接続を行い相互の遅延を測定する。このとき、配信サーバ１０は、測定された相互の遅延が短いもの数台とＰ２Ｐ接続を張り、相互に盛り上がりデータをやり取りするグループとしてもよい。
＜３－４－２．固定的に行われるグルーピング＞
　配信サーバ１０は、所定の条件やパラメータに応じて、グルーピングを固定的行ってもよい。
　（１）接続ネットワークオペレータの情報に基づくグルーピング
　配信サーバ１０は、複数の端末装置３０それぞれの接続ネットワークオペレータの情報に基づいて、複数の端末装置３０をグループ分けしてもよい。接続ネットワークオペレータの情報は、例えば、ユーザおよび／またはアーティストが接続する回線事業者やインターネットプロバイダー業者の情報である。接続ネットワークオペレータの情報は、ユーザおよび／またはアーティストが加入する（又は使用しているＳＩＭカードの）ネットワークオペレータの情報であってもよい。
　なお、無線回線におけるネットワークオペレータには、ＭＮＯ（Mobile　Network　Operator）、ＭＶＮＯ（Mobile　Virtual　Network　Operator）、ＭＶＮＥ（Mobile　Virtual　Network　Enabler）が含まれていてもよい。
　さらに、配信サーバ１０は、ユーザの端末装置３０が接続するネットワークオペレータが、アーティスト側が指定する所定のネットワークオペレータかどうかに応じて、制御を切り替えるようにしてもよい。例えば、配信サーバ１０は、端末装置３０が接続するネットワークオペレータが、アーティスト側が指定する所定のネットワークオペレータである場合、通信遅延が可能な限り小さくなるようにデータの送信を制御する。
　（２）通信システムの情報に基づくグルーピング
　配信サーバ１０は、ユーザおよび／またはアーティストの端末装置３０が通信に用いる通信システム（通信方式、通信方法）の情報に基づいて、複数の端末装置３０をグループ分けしてもよい。ここで、通信システムの情報には、有線回線の場合、光ファイバー、ADSL、ケーブルテレビ回線、同軸ケーブル回線などを判別するための情報が含まれていてもよい。また、無線回線の場合、４Ｇ　ＬＴＥ、５Ｇ　ＮＲ、無線ＬＡＮ、衛星通信、Ｄ２Ｄ（Device-to-device）通信などを判別するための情報が含まれていてもよい。
　（３）指定に基づくグルーピング
　配信サーバ１０は、所定の端末装置３０のユーザの指定に基づいて、複数の端末装置３０をグループ分けしてもよい。例えば、配信サーバ１０は、所定のユーザおよび／またはアーティストが事前に指定した複数のユーザを同一のグループとする。
　例えば、所定のユーザが友人や知人を事前に同じグループとして指定したとする。このとき、配信サーバ１０は、この指定の情報に基づいて、複数の端末装置３０をグループ分けする。例えば、ユーザ同士でインタラクションデータを共有する場合、配信サーバ１０は、インタラクションデータの送信をこのグループ内の端末装置３０に制限する。また、配信サーバ１０は、例えば、話し声を含めたインタラクションデータ（音声データ）はこのグループ内でのみで共有されるが、話し声以外の歓声などのインタラクションデータ（音声データ）は他のグループとも共有されるようインタラクションデータの送信を制御してもよい。
　また、配信サーバ１０は、アーティスト（主催者）が料金（投げ銭）を多く払ったユーザを事前に同じグループとして指定できるよう構成されていてもよい。このとき、配信サーバ１０は、この指定の情報に基づいて、複数の端末装置３０をグループ分けする。なおこのグループは上記の制御において優遇されてもよい。
　（４）現実の位置情報に基づくグルーピング
　配信サーバ１０は、複数の端末装置３０それぞれの現実の位置情報に基づいて、複数の端末装置３０をグループ分けしてもよい。配信サーバ１０は、ユーザおよび／またはアーティストがリモートで参加する実際の位置情報に基づいて、複数の端末装置３０のグルーピングを行う。このとき、グルーピングを行う位置の単位は、国・地方・都道府県・市区町村など行政区域であってもよいし、セルラーネットワークにおけるセル（基地局がカバーする通信エリア）であってもよい。
　（５）アクセスログに基づくグルーピング
　配信サーバ１０は、端末装置３０（ユーザ）のアクセスログに基づいてグルーピングを行ってもよい。例えば、配信サーバ１０は、ユーザのアクセスログに含まれるＩＰアドレスに対して、ｗｈｏｉｓを利用し、ｃｏｕｎｔｒｙとｎｅｔｎａｍｅを取得する。配信サーバ１０は、これらの情報に基づいて得られる国情報および／またはＩＳＰ（インターネットサービスプロバイダー）の種別によりグルーピングを行う。
　これにより、ＩＳＰ（Internet　Service　Provider）が収容しているゲートウェイのコア側の混雑状況がグループ毎に類似となる。また、ＦＴＴＨ（Fiber　To　The　Home）系ＩＳＰかＭｏｂｉｌｅ系ＩＳＰかの分類も可能となる。また、各ＩＳＰのＮＡＴ（Network　Address　Translation）やセキュリティポリシーの特性がグループ毎に統一になるため、アプリケーションレイヤーでのＰ２Ｐ（Peer　to　Peer）接続の可否がグループ毎に同一となる。つまり、グループ毎に同一のプロトコルに決めやすくなる。
＜＜４．変形例＞＞
　本実施形態の配信サーバ１０、撮像装置２０、又は端末装置３０を制御する制御装置は、専用のコンピュータシステムにより実現してもよいし、汎用のコンピュータシステムによって実現してもよい。
　例えば、上述の動作を実行するための通信プログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、配信サーバ１０、撮像装置２０、又は端末装置３０の外部の装置（例えば、パーソナルコンピュータ）であってもよい。また、制御装置は、配信サーバ１０、撮像装置２０、又は端末装置３０の内部の装置（例えば、制御部１３、制御部２３、又は制御部３３）であってもよい。
　また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating　System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上述の実施形態のフローチャートに示された各ステップは、適宜順序を変更することが可能である。
　また、例えば、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムＬＳＩ（Large　Scale　Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本実施形態において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、本実施形態は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述したいくつかの実施形態におけるインタラクションデータは、音声データに限られない。例えば、インタラクションデータは、映像データ、触覚データ、嗅覚データ、味覚データであってもよい。
＜＜５．むすび＞＞
　以上説明したように、配信サーバ１０は、配信サーバ１０と端末装置３０との間の通信遅延の情報に基づいて、ライブデータに対する端末装置３０からのインタラクションデータに関する制御を行う。例えば、配信サーバ１０は、通信遅延の情報に基づいて端末装置３０に映す仮想空間内での端末装置３０の位置を決定し、決定した位置に基づいてインタラクションデータに関する制御を行う。これにより、アーティスト及びユーザは、リモートライブであっても生ライブのような没入感を得られる。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。例えば、上述した各実施形態の一部又は全てと他の実施形態の一部又は全てとが組み合わされて実施されてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１の端末装置にライブデータを配信する情報処理装置であって、
　前記ライブデータに対するインタラクションデータを送信する前記第１の端末装置と前記情報処理装置との間の遅延、又は、前記ライブデータに対する前記第１の端末装置からのインタラクションデータを受信する第２の端末装置と前記第１の端末装置との間の遅延、の情報を取得する取得部と、
　前記取得した遅延の情報に基づいて、前記第１の端末装置からの前記インタラクションデータに関する制御を行うデータ制御部と、
　を備える情報処理装置。
（２）
　前記データ制御部は、前記取得した遅延の情報に基づいて前記第１の端末装置に映す仮想空間内での該第１の端末装置の位置を決定し、決定した位置に基づいて前記インタラクションデータに関する制御を行う、
　前記（１）に記載の情報処理装置。
（３）
　前記第１の端末装置に映す仮想空間内の範囲であって前記遅延に基づき決まる前記範囲から、前記第１の端末装置のユーザが選択した該第１の端末装置の位置の情報を取得する取得部、を備え、
　前記データ制御部は、取得した前記位置の情報に基づいて前記インタラクションデータに関する制御を行う、
　前記（１）に記載の情報処理装置。
（４）
　前記インタラクションデータは、前記第１の端末装置のユーザの音声又は動作に関する情報である、
　前記（１）～（３）のいずれかに記載の情報処理装置。
（５）
　前記インタラクションデータは、前記第１の端末装置のユーザの音声であり、
　前記データ制御部は、前記取得した遅延の情報に基づいて、前記第１の端末装置のユーザの音声の大きさに関する制御を行う、
　前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
　前記第１の端末装置は複数存在しており、
　前記取得部は、複数の遅延の情報を取得し、
　前記データ制御部は、前記取得した複数の遅延の情報に基づいて、前記第１の端末装置から前記第２の端末装置への前記インタラクションデータの送信遅延の大きさの制御を行う、
　前記（１）～（４）のいずれかに記載の情報処理装置。
（７）
　前記データ制御部は、前記取得した複数の遅延の情報に基づき決まる遅延量を、前記インタラクションデータの送信に対し付加する、
　前記（６）に記載の情報処理装置。
（８）
　前記データ制御部は、前記取得した遅延に基づいて、前記インタラクションデータに対してフィルタリング処理を行う、
　前記（１）～（４）のいずれかに記載の情報処理装置。
（９）
　前記インタラクションデータは、前記第１の端末装置のユーザの音声であり、
　前記データ制御部は、前記取得した遅延に基づいて、前記インタラクションデータに対して音声に関するフィルタリング処理を行う、
　前記（８）に記載の情報処理装置。
（１０）
　前記データ制御部は、前記取得した遅延が所定の閾値より小さく、前記音声の音量が所定の音量より大きい場合には、話し声をカットするフィルタリング処理を行う、
　前記（９）に記載の情報処理装置。
（１１）
　複数の前記第１の端末装置をグループ分けするグルーピング部、を備え、
　前記データ制御部は、前記インタラクションデータに関する制御を前記グループ毎に行う、
　前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）
　前記グルーピング部は、複数の前記第１の端末装置それぞれの前記遅延の情報に基づいて複数の前記第１の端末装置をグループ分けする、
　前記（１１）に記載の情報処理装置。
（１３）
　前記ライブデータには、少なくとも映像データが含まれ、
　前記グルーピング部は、複数の前記第１の端末装置のグループ分けのための１又は複数の基準値に、前記遅延の情報を当てはめることにより、複数の前記第１の端末装置をグループ分けし、
　前記１又は複数の基準値は、映像のフレーム数を単位とする値である、
　前記（１２）に記載の情報処理装置。
（１４）
　複数の前記第１の端末装置それぞれの接続ネットワークオペレータの情報に基づいて、複数の前記第１の端末装置をグループ分けする、
　前記（１１）に記載の情報処理装置。
（１５）
　所定の前記第１の端末装置又は前記第２の端末装置のユーザの指定に基づいて、複数の前記第１の端末装置をグループ分けする、
　前記（１１）に記載の情報処理装置。
（１６）
　複数の前記第１の端末装置それぞれの現実の位置情報に基づいて、複数の前記第１の端末装置をグループ分けする、
　前記（１１）に記載の情報処理装置。
（１７）
　第１の端末装置にライブデータを配信する情報処理装置が実行する情報処理方法であって、
　前記ライブデータに対するインタラクションデータを送信する前記第１の端末装置と前記情報処理装置との間の遅延、又は、前記ライブデータに対する前記第１の端末装置からのインタラクションデータを受信する第２の端末装置と前記第１の端末装置との間の遅延、の情報を取得し、
　前記取得した遅延の情報に基づいて、前記第１の端末装置からの前記インタラクションデータに関する制御を行う、
　情報処理方法。
（１８）
　ライブデータを配信する配信サーバと、前記ライブデータを受信し前記ライブデータに対するインタラクションデータを送信する１又は複数の第１の端末装置と、前記ライブデータに対する前記第１の端末装置からのインタラクションデータを受信する第２の端末装置、を備える情報処理システムであって、
　前記配信サーバと前記第１の端末装置との間の遅延、又は、前記第２の端末装置と前記第１の端末装置との間の遅延、の情報を取得する取得部と、
　前記取得した遅延の情報に基づいて、前記第１の端末装置からの前記インタラクションデータに関する制御を行うデータ制御部と、
　を備える情報処理システム。
（１９）
　前記ライブデータは、アーティストの演奏の映像データであり、
　前記第１の端末装置は、前記アーティストの演奏を視聴するユーザの端末装置であり、
　前記第２の端末装置は、前記アーティストの演奏を視聴するユーザの端末装置である前記第１の端末装置からの前記インタラクションデータを前記アーティストへ出力するための端末装置である、
　前記（１８）に記載の情報処理システム。
（２０）
　前記ライブデータは、アーティストの演奏の映像データであり、
　前記第１の端末装置は、前記アーティストの演奏を視聴するユーザの端末装置であり、
　前記第２の端末装置は、前記アーティストの演奏を視聴するユーザの端末装置であって、前記第１の端末装置のユーザとは異なるユーザの端末装置ある、
　前記（１８）に記載の情報処理システム。
　１　情報処理システム
　１０　配信サーバ
　２０　撮像装置
　３０　端末装置
　１１、２１、３１　通信部
　１２、２２、３２　記憶部
　１３、２３、３３　制御部
　２４、３６　センサ部
　２５、３７　撮像部
　３４　入力部
　３５　出力部
　１３１　取得部
　１３２　データ制御部
　１３３　グルーピング部

Claims (20)

  1. 　第１の端末装置にライブデータを配信する情報処理装置であって、
    　前記ライブデータに対するインタラクションデータを送信する前記第１の端末装置と前記情報処理装置との間の遅延、又は、前記ライブデータに対する前記第１の端末装置からのインタラクションデータを受信する第２の端末装置と前記第１の端末装置との間の遅延、の情報を取得する取得部と、
    　前記取得した遅延の情報に基づいて、前記第１の端末装置からの前記インタラクションデータに関する制御を行うデータ制御部と、
    　を備える情報処理装置。
  2. 　前記データ制御部は、前記取得した遅延の情報に基づいて前記第１の端末装置に映す仮想空間内での該第１の端末装置の位置を決定し、決定した位置に基づいて前記インタラクションデータに関する制御を行う、
    　請求項１に記載の情報処理装置。
  3. 　前記第１の端末装置に映す仮想空間内の範囲であって前記遅延に基づき決まる前記範囲から、前記第１の端末装置のユーザが選択した該第１の端末装置の位置の情報を取得する取得部、を備え、
    　前記データ制御部は、取得した前記位置の情報に基づいて前記インタラクションデータに関する制御を行う、
    　請求項１に記載の情報処理装置。
  4. 　前記インタラクションデータは、前記第１の端末装置のユーザの音声又は動作に関する情報である、
    　請求項１に記載の情報処理装置。
  5. 　前記インタラクションデータは、前記第１の端末装置のユーザの音声であり、
    　前記データ制御部は、前記取得した遅延の情報に基づいて、前記第１の端末装置のユーザの音声の大きさに関する制御を行う、
    　請求項１に記載の情報処理装置。
  6. 　前記第１の端末装置は複数存在しており、
    　前記取得部は、複数の遅延の情報を取得し、
    　前記データ制御部は、前記取得した複数の遅延の情報に基づいて、前記第１の端末装置から前記第２の端末装置への前記インタラクションデータの送信遅延の大きさの制御を行う、
    　請求項１に記載の情報処理装置。
  7. 　前記データ制御部は、前記取得した複数の遅延の情報に基づき決まる遅延量を、前記インタラクションデータの送信に対し付加する、
    　請求項６に記載の情報処理装置。
  8. 　前記データ制御部は、前記取得した遅延に基づいて、前記インタラクションデータに対してフィルタリング処理を行う、
    　請求項１に記載の情報処理装置。
  9. 　前記インタラクションデータは、前記第１の端末装置のユーザの音声であり、
    　前記データ制御部は、前記取得した遅延に基づいて、前記インタラクションデータに対して音声に関するフィルタリング処理を行う、
    　請求項８に記載の情報処理装置。
  10. 　前記データ制御部は、前記取得した遅延が所定の閾値より小さく、前記音声の音量が所定の音量より大きい場合には、話し声をカットするフィルタリング処理を行う、
    　請求項９に記載の情報処理装置。
  11. 　複数の前記第１の端末装置をグループ分けするグルーピング部、を備え、
    　前記データ制御部は、前記インタラクションデータに関する制御を前記グループ毎に行う、
    　請求項１に記載の情報処理装置。
  12. 　前記グルーピング部は、複数の前記第１の端末装置それぞれの前記遅延の情報に基づいて複数の前記第１の端末装置をグループ分けする、
    　請求項１１に記載の情報処理装置。
  13. 　前記ライブデータには、少なくとも映像データが含まれ、
    　前記グルーピング部は、複数の前記第１の端末装置のグループ分けのための１又は複数の基準値に、前記遅延の情報を当てはめることにより、複数の前記第１の端末装置をグループ分けし、
    　前記１又は複数の基準値は、映像のフレーム数を単位とする値である、
    　請求項１２に記載の情報処理装置。
  14. 　複数の前記第１の端末装置それぞれの接続ネットワークオペレータの情報に基づいて、複数の前記第１の端末装置をグループ分けする、
    　請求項１１に記載の情報処理装置。
  15. 　所定の前記第１の端末装置又は前記第２の端末装置のユーザの指定に基づいて、複数の前記第１の端末装置をグループ分けする、
    　請求項１１に記載の情報処理装置。
  16. 　複数の前記第１の端末装置それぞれの現実の位置情報に基づいて、複数の前記第１の端末装置をグループ分けする、
    　請求項１１に記載の情報処理装置。
  17. 　第１の端末装置にライブデータを配信する情報処理装置が実行する情報処理方法であって、
    　前記ライブデータに対するインタラクションデータを送信する前記第１の端末装置と前記情報処理装置との間の遅延、又は、前記ライブデータに対する前記第１の端末装置からのインタラクションデータを受信する第２の端末装置と前記第１の端末装置との間の遅延、の情報を取得し、
    　前記取得した遅延の情報に基づいて、前記第１の端末装置からの前記インタラクションデータに関する制御を行う、
    　情報処理方法。
  18. 　ライブデータを配信する配信サーバと、前記ライブデータを受信し前記ライブデータに対するインタラクションデータを送信する１又は複数の第１の端末装置と、前記ライブデータに対する前記第１の端末装置からのインタラクションデータを受信する第２の端末装置、を備える情報処理システムであって、
    　前記配信サーバと前記第１の端末装置との間の遅延、又は、前記第２の端末装置と前記第１の端末装置との間の遅延、の情報を取得する取得部と、
    　前記取得した遅延の情報に基づいて、前記第１の端末装置からの前記インタラクションデータに関する制御を行うデータ制御部と、
    　を備える情報処理システム。
  19. 　前記ライブデータは、アーティストの演奏の映像データであり、
    　前記第１の端末装置は、前記アーティストの演奏を視聴するユーザの端末装置であり、
    　前記第２の端末装置は、前記アーティストの演奏を視聴するユーザの端末装置である前記第１の端末装置からの前記インタラクションデータを前記アーティストへ出力するための端末装置である、
    　請求項１８に記載の情報処理システム。
  20. 　前記ライブデータは、アーティストの演奏の映像データであり、
    　前記第１の端末装置は、前記アーティストの演奏を視聴するユーザの端末装置であり、
    　前記第２の端末装置は、前記アーティストの演奏を視聴するユーザの端末装置であって、前記第１の端末装置のユーザとは異なるユーザの端末装置ある、
    　請求項１８に記載の情報処理システム。
PCT/JP2022/008256 2021-06-15 2022-02-28 情報処理装置、情報処理方法、及び情報処理システム WO2022264536A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023529521A JPWO2022264536A1 (ja) 2021-06-15 2022-02-28
EP22824536.1A EP4358522A1 (en) 2021-06-15 2022-02-28 Information processing device, information processing method, and information processing system
CN202280041141.0A CN117461317A (zh) 2021-06-15 2022-02-28 信息处理设备、信息处理方法和信息处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021099543 2021-06-15
JP2021-099543 2021-06-15

Publications (1)

Publication Number Publication Date
WO2022264536A1 true WO2022264536A1 (ja) 2022-12-22

Family

ID=84526135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008256 WO2022264536A1 (ja) 2021-06-15 2022-02-28 情報処理装置、情報処理方法、及び情報処理システム

Country Status (4)

Country Link
EP (1) EP4358522A1 (ja)
JP (1) JPWO2022264536A1 (ja)
CN (1) CN117461317A (ja)
WO (1) WO2022264536A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116437282A (zh) * 2023-03-23 2023-07-14 合众新能源汽车股份有限公司 虚拟演唱会的声感处理方法及存储介质、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235027A (ja) * 2002-02-12 2003-08-22 Matsushita Electric Ind Co Ltd 配信映像の同時再生方法、映像配信システムおよび端末装置
WO2019067112A1 (en) * 2017-09-29 2019-04-04 Sony Interactive Entertainment America Llc SPECTATOR VIEW IN AN INTERACTIVE GAMING WORLD PRESENTED IN A LIVE EVENT LOCATED IN A PLACE OF THE REAL WORLD
JP2019075604A (ja) 2017-10-12 2019-05-16 株式会社ミクシィ 情報処理装置、動画配信方法、及び動画配信プログラム
WO2019168637A1 (en) * 2018-02-28 2019-09-06 Sony Interactive Entertainment LLC Scaled vr engagement and views in an e-sports event

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235027A (ja) * 2002-02-12 2003-08-22 Matsushita Electric Ind Co Ltd 配信映像の同時再生方法、映像配信システムおよび端末装置
WO2019067112A1 (en) * 2017-09-29 2019-04-04 Sony Interactive Entertainment America Llc SPECTATOR VIEW IN AN INTERACTIVE GAMING WORLD PRESENTED IN A LIVE EVENT LOCATED IN A PLACE OF THE REAL WORLD
JP2019075604A (ja) 2017-10-12 2019-05-16 株式会社ミクシィ 情報処理装置、動画配信方法、及び動画配信プログラム
WO2019168637A1 (en) * 2018-02-28 2019-09-06 Sony Interactive Entertainment LLC Scaled vr engagement and views in an e-sports event

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116437282A (zh) * 2023-03-23 2023-07-14 合众新能源汽车股份有限公司 虚拟演唱会的声感处理方法及存储介质、电子设备

Also Published As

Publication number Publication date
EP4358522A1 (en) 2024-04-24
JPWO2022264536A1 (ja) 2022-12-22
CN117461317A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US11477509B2 (en) Immersive cognitive reality system with real time surrounding media
US20210314527A1 (en) System and method for real-time audiovisual interaction with a target location
US20150223005A1 (en) 3-dimensional audio projection
US20150172843A1 (en) Multi-terminal cooperative play method for multimedia file, and related apparatus and system
JP7163908B2 (ja) 情報処理装置、情報処理方法、および記録媒体
CN109426333A (zh) 一种基于虚拟空间场景的信息交互方法及装置
US9706329B2 (en) Multiuser, geofixed acoustic simulations
US20210112361A1 (en) Methods and Systems for Simulating Acoustics of an Extended Reality World
US9992762B2 (en) Reverse path communication system
CN117695619A (zh) 多会话远程游戏渲染
US11490201B2 (en) Distributed microphones signal server and mobile terminal
WO2022264536A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
CN110100460A (zh) 基于头部位置和时间的具有非头部跟踪立体声的高保真度立体声响复制音频
WO2018012628A1 (ja) 画像表示装置及び画像表示システム
US9794314B2 (en) Asynchronous audio and video in an environment
CN115486098A (zh) 用于服务使能架构层(seal)的位置报告
CN110944140A (zh) 远程展示方法、远程展示系统、电子装置、存储介质
CN111381787A (zh) 一种投屏方法以及设备
WO2021131992A1 (ja) 端末装置、アプリケーションサーバ、受信方法及び送信方法
US20240031759A1 (en) Information processing device, information processing method, and information processing system
CN115581913A (zh) 多设备协同方法及客户端
JP2023155920A (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US10728296B1 (en) System, method and apparatus for distributed content dissemination
Cohen et al. From whereware to whence-and whitherware: Augmented audio reality for position-aware services
US20100268839A1 (en) Method and apparatus for providing an audiovisual stream

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824536

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529521

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280041141.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022824536

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022824536

Country of ref document: EP

Effective date: 20240115