WO2021020150A1

WO2021020150A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2021020150A1
Application number: PCT/JP2020/027696
Authority: WO
Inventors: 貴嗣青木; 史憲入江; 一紀田村; 真彦宮田; 泰規村上
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2019-07-26
Filing date: 2020-07-16
Publication date: 2021-02-04
Anticipated expiration: 2022-01-26
Also published as: US20240365078A1; US12058512B2; US20220132261A1; JPWO2021020150A1; JP7317119B2

Abstract

情報処理装置は、複数の音情報、収音装置位置情報、及び対象被写体位置情報を取得する。また、情報処理装置は、取得した収音装置位置情報及び対象被写体位置情報に基づいて、複数の音情報から、対象被写体の位置に対応する領域の対象音を特定する。更に、情報処理装置は、仮想視点映像が生成される場合に、特定した対象音が、取得した対象被写体位置情報により示される対象被写体の位置に対応する領域とは異なる領域から発せられた音よりも強調された対象被写体強調音を含む音を示す対象被写体強調音情報を生成する。

Description

情報処理装置、情報処理方法、及びプログラム

　本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。

　特開２０１８－０１９２９４号公報には、複数の撮影装置により撮影された複数の画像信号と、複数の収音点において収音された複数の収音信号とに基づいて、任意の視点に対応する画像及び音響を処理する情報処理システムが開示されている。特開２０１８－０１９２９４号公報に記載の情報処理システムは、視点位置と、撮影対象に対する視線の方向とを取得する取得手段と、視点位置及び視線の方向に応じた画像であって、複数の画像信号に基づく画像に対応する音響信号を生成する基準となる聴取点を視点位置及び視線の方向に応じて決定する決定手段と、複数の収音信号に基づいて、聴取点に応じた音響信号を生成する音響生成手段と、を備えることを特徴する。また、ここで、決定手段は、音響信号を生成するために用いる収音信号の収音点を選択するための基準となる場所的範囲である聴取範囲をさらに決定し、音響生成手段は、複数の収音信号に基づいて、聴取点及び聴取範囲に応じた音響信号を生成する。

　本開示の技術に係る一つの実施形態は、生成された仮想視点映像により示される対象被写体の位置に対応する領域から発せられた音の聞き取りに寄与することができる情報処理装置、情報処理方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、複数の収音装置の各々によって得られた音を示す複数の音情報、複数の収音装置の各々の位置を示す収音装置位置情報、及び撮像領域内での対象被写体の位置を示す対象被写体位置情報を取得する取得部と、取得部によって取得された収音装置位置情報及び対象被写体位置情報に基づいて、複数の音情報から、対象被写体の位置に対応する領域の対象音を特定する特定部と、撮像領域に対する仮想視点の位置を示す視点位置情報、撮像領域に対する仮想視線の方向を示す視線方向情報、撮像領域に対する画角を示す画角情報、及び対象被写体位置情報に基づいて、撮像領域が複数の撮像装置によって複数の方向から撮像されることで得られた複数の画像が用いられることによって仮想視点映像が生成される場合に、特定部によって特定された対象音が、取得部によって取得された対象被写体位置情報により示される対象被写体の位置に対応する領域とは異なる領域から発せられた音よりも強調された対象被写体強調音を含む音を示す対象被写体強調音情報を生成する生成部と、を含む情報処理装置である。

　本開示の技術に係る第２の態様は、生成部は、対象被写体強調音情報を生成する第１生成処理と、複数の収音装置の各々によって得られた複数の音を総合させた総合音を示す総合音情報を、取得部によって取得された音情報に基づいて生成する第２生成処理と、を選択的に実行する第１の態様に係る情報処理装置である。

　本開示の技術に係る第３の態様は、生成部は、画角情報により示される画角が基準画角未満の場合に第１生成処理を実行し、画角情報により示される画角が基準画角以上の場合に第２生成処理を実行する第２の態様に係る情報処理装置である。

　本開示の技術に係る第４の態様は、撮像領域を示す撮像領域画像が表示装置によって表示されている状態で撮像領域画像内の対象被写体を示す対象被写体画像の位置を指示する指示情報が受付部によって受け付けられ、取得部は、撮像領域内の位置と撮像領域を示す撮像領域画像内の位置との対応関係を示す対応関係情報、及び受付部によって受け付けられた指示情報に基づいて、対象被写体位置情報を取得する第１の態様から第３の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第５の態様は、撮像領域を示す撮像領域画像が表示装置によって表示されている状態で撮像領域画像を観察している人物の観察方向が検出部によって検出され、取得部は、撮像領域内の位置と撮像領域を示す撮像領域画像内の位置との対応関係を示す対応関係情報、及び検出部での検出結果に基づいて、対象被写体位置情報を取得する第１の態様から第３の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第６の態様は、検出部は、撮像素子を有し、撮像素子によって人物の眼部が撮像されることで得られた眼部画像に基づいて人物の視線方向を観察方向として検出する第５の態様に係る情報処理装置である。

　本開示の技術に係る第７の態様は、表示装置は、人物に対して装着されるヘッドマウントディスプレイであり、ヘッドマウントディスプレイに検出部が設けられている第５の態様に係る情報処理装置である。

　本開示の技術に係る第８の態様は、ヘッドマウントディスプレイは、複数存在しており、取得部は、複数のヘッドマウントディスプレイのうちの特定のヘッドマウントディスプレイに設けられている検出部での検出結果と、対応関係情報とに基づいて対象被写体位置情報を取得する第７の態様に係る情報処理装置である。

　本開示の技術に係る第９の態様は、生成部は、観察方向が単位時間あたりに変化する頻度が既定頻度以上の場合に、対象被写体強調音情報を生成しない第５の態様から第８の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１０の態様は、生成部によって生成された対象被写体強調音情報を出力可能な出力部を更に含み、出力部は、観察方向が単位時間あたりに変化する頻度が既定頻度以上の場合に、生成部によって生成された対象被写体強調音情報を出力しない第５の態様から第８の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１１の態様は、生成部は、複数の収音装置の各々によって得られた複数の音を総合させた全体音を示す全体音情報と、対象音が全体音よりも強調され、かつ、対象被写体強調音よりも抑制された中間音を示す中間音情報とを生成し、観察方向が単位時間あたりに変化する頻度が既定頻度以上の場合に、生成部によって生成された全体音情報、中間音情報、及び対象被写体強調音情報を、全体音情報、中間音情報、及び対象被写体強調音情報の順に出力する出力部を更に含む第５の態様から第８の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１２の態様は、対象被写体強調音情報は、対象被写体強調音を含み、かつ、異なる位置から発せられた音を含まない音を示す情報である第１の態様から第１１の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１３の態様は、特定部は、取得部によって取得された収音装置位置情報及び対象被写体位置情報を用いることで、対象被写体の位置と複数の収音装置との位置関係を特定し、複数の音情報により各々示される音は、特定部によって特定された位置関係に従って、対象被写体の位置から離れた位置の音ほど小さく調節された音である第１の態様から第１２の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１４の態様は、仮想視点映像に含まれる対象被写体を示す仮想視点対象被写体画像は、仮想視点映像内において仮想視点対象被写体画像の周辺の画像よりもピントが合っている画像である第１の態様から第１３の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１５の態様は、収音装置位置情報は、撮像領域内において固定されている収音装置の位置を示す情報である第１の態様から第１４の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１６の態様は、複数の収音装置のうちの少なくとも１つは対象被写体に取り付けられている第１の態様から第１４の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１７の態様は、複数の収音装置の各々は、撮像領域内において対象被写体を含めた複数の物体に取り付けられている第１の態様から第１４の態様の何れか１つの態様に係る情報処理装置である。

　本開示の技術に係る第１８の態様は、複数の収音装置の各々によって得られた音を示す複数の音情報、撮像領域内での複数の収音装置の各々の位置を示す収音装置位置情報、及び撮像領域内での対象被写体の位置を示す対象被写体位置情報を取得し、取得した収音装置位置情報及び対象被写体位置情報に基づいて、複数の音情報から、対象被写体の位置に対応する領域の対象音を特定し、撮像領域に対する仮想視点の位置を示す視点位置情報、撮像領域に対する仮想視線の方向を示す視線方向情報、撮像領域に対する画角を示す画角情報、及び対象被写体位置情報に基づいて、撮像領域が複数の撮像装置によって複数の方向から撮像されることで得られた複数の画像が用いられることによって仮想視点映像が生成される場合に、特定した対象音が、取得した対象被写体位置情報により示される対象被写体の位置に対応する領域とは異なる領域から発せられた音よりも強調された対象被写体強調音を含む音を示す対象被写体強調音情報を生成することを含む情報処理方法である。

　本開示の技術に係る第１９の態様は、コンピュータに、複数の収音装置の各々によって得られた音を示す複数の音情報、撮像領域内での複数の収音装置の各々の位置を示す収音装置位置情報、及び撮像領域内での対象被写体の位置を示す対象被写体位置情報を取得し、取得した収音装置位置情報及び対象被写体位置情報に基づいて、複数の音情報から、対象被写体の位置に対応する領域の対象音を特定し、撮像領域に対する仮想視点の位置を示す視点位置情報、撮像領域に対する仮想視線の方向を示す視線方向情報、撮像領域に対する画角を示す画角情報、及び対象被写体位置情報に基づいて、撮像領域が複数の撮像装置によって複数の方向から撮像されることで得られた複数の画像が用いられることによって仮想視点映像が生成される場合に、特定した対象音が、取得した対象被写体位置情報により示される対象被写体の位置に対応する領域とは異なる領域から発せられた音よりも強調された対象被写体強調音を含む音を示す対象被写体強調音情報を生成することを含む処理を実行させるためのプログラムである。

実施形態に係る情報処理システムの外観構成の一例を示す概略斜視図である。実施形態に係る情報処理システムに含まれるＨＭＤの外観構成の一例を示す概略斜視図である。実施形態に係る情報処理システムに含まれる情報処理装置とその周辺機器との関係性の一例を示す概念図である。実施形態に係る情報処理システムに含まれる複数の収音装置の配置例を示す概念図である。実施形態に係る情報処理システムに含まれる複数の収音装置の配置の第１変形例を示す概念図である。実施形態に係る情報処理システムに含まれる複数の収音装置の配置の第２変形例を示す概念図である。実施形態に係る情報処理装置の電気系のハードウェア構成の一例を示すブロック図である。実施形態に係るスマートフォンの電気系のハードウェア構成の一例を示すブロック図である。実施形態に係るＨＭＤの電気系のハードウェア構成の一例を示すブロック図である。実施形態に係る収音装置の電気系のハードウェア構成の一例を示すブロック図である。実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。実施形態に係るスマートフォンに対して視点視線画角指示が与えられている態様の一例を示す概念図である。実施形態に係る情報処理装置の映像生成部の処理内容の一例の説明に供する概念図である。実施形態に係る情報処理装置の映像生成部によって生成される仮想視点映像の視点位置及び視線方向が変更された場合の態様の一例を示す状態遷移図である。実施形態に係る情報処理装置の映像生成部によって生成される仮想視点映像の画角が変更された場合の態様の一例を示す状態遷移図である。実施形態に係る情報処理装置及びＨＭＤでの処理内容の一例の説明に供する概念図である。実施形態に係る情報処理装置の映像生成部によって対象被写体位置情報に従って対象被写体画像に対してピントが合っている状態の仮想視点映像を生成し、生成した仮想視点映像をＨＭＤに対して表示させる処理内容の一例を示す概念図である。実施形態に係る情報処理装置の取得部及び特定部の処理内容の一例の説明に供するブロック図である。実施形態に係る情報処理装置の収音装置側情報取得部、対象被写体位置情報取得部、特定部、及び調節音情報生成部の処理内容の一例の説明に供するブロック図である。実施形態に係る情報処理装置の調節音情報生成部によって実行される第１生成処理及び第２生成処理の処理内容の一例を示す概念図である。実施形態に係る情報処理装置の調節音情報生成部によって生成された対象被写体強調音情報及び総合音情報の出力の一例を示すブロック図である。実施形態に係る映像生成処理の流れの一例を示すフローチャートである。実施形態に係る音生成処理の流れの一例を示すフローチャートである。図２１に示すフローチャートの続きである。視聴者の観察方向が頻繁に変化する場合のＨＭＤ及び情報処理装置での処理内容の一例の説明に供する概念図である。実施形態に係る音生成処理の流れの第１変形例を示すフローチャートである。実施形態に係る情報処理装置の調節音情報生成部によって実行される第２生成処理の変形例を示すブロック図である。実施形態に係る音生成処理の流れの第２変形例を示すフローチャートである。複数の視聴者がＨＭＤを装着している場合のＨＭＤ及び情報処理装置での処理内容の一例の説明に供する概念図である。対象被写体に取り付けられている収音装置の構成の一例を示すブロック図である。対象被写体位置から収音装置までの距離と音情報により示される音の音量との相関の一例を示すグラフである。視点位置からの視界が基準領域を取り囲んでいる態様の一例を示す概念図である。視点位置からの視界が基準領域内に収まっている態様の一例を示す概念図である。視点位置からの視界が基準領域から外れている態様の一例を示す概念図である。実施形態に係るＨＭＤの構成の変形例を示すブロック図である。実施形態に係る情報処理装置プログラムが記憶されている記憶媒体内の情報処理装置プログラムが情報処理装置のコンピュータにインストールされる態様の一例を示すブロック図である。

　添付図面に従って本開示の技術に係る実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　ＣＰＵとは、“Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。ＧＰＵとは、“Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ”の略称を指す。３Ｄとは、“３　Ｄｉｍｅｎｓｉｏｎ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ”の略称を指す。ＨＭＤとは、“Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ”の略省を指す。ＧＰＳとは、“Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ”の略称を指す。また、本明細書の説明において、「同一」とは、完全な同一の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの同一を指す。

　一例として図１に示すように、情報処理システム１０は、情報処理装置１２、スマートフォン１４、複数の撮像装置１６、撮像装置１８、無線通信基地局（以下、単に「基地局」と称する）２０、及びＨＭＤ３４を備えている。なお、基地局２０は１ヵ所に限らず複数存在していてもよい。さらに、基地局２０で使用する通信規格には、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）規格等を含む無線通信規格と、ＷｉＦｉ（８０２．１１）規格及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）規格を含む無線通信規格とが含まれる。

　撮像装置１６及び１８は、ＣＭＯＳイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び／又はデジタルズーム機能が搭載されている。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。以下では、説明の便宜上、撮像装置１８及び複数の撮像装置１６を区別して説明する必要がない場合、符号を付さずに「複数の撮像装置」と称する。

　複数の撮像装置１６は、サッカー競技場２２内に設置されている。複数の撮像装置１６の各々は、サッカーフィールド２４を取り囲むように配置されており、サッカーフィールド２４を含む領域を撮像領域として複数の方向から撮像する。ここでは、複数の撮像装置１６の各々がサッカーフィールド２４を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置１６の配置は、生成したい仮想視点映像に応じて決定される。サッカーフィールド２４の全部を取り囲むように複数の撮像装置１６を配置してもよいし、特定の一部を取り囲むように複数の撮像装置１６を配置してもよい。撮像装置１８は、無人航空機（例えば、マルチ回転翼型無人航空機）に設置されており、サッカーフィールド２４を含む領域を撮像領域として上空から俯瞰した状態で撮像する。サッカーフィールド２４を含む領域を上空から俯瞰した状態の撮像領域とは、サッカーフィールド２４に対する撮像装置１８による撮像面を指す。

　情報処理装置１２は、管制室３２に設置されている。複数の撮像装置１６及び情報処理装置１２は、ＬＡＮケーブル３０を介して接続されており、情報処理装置１２は、複数の撮像装置１６を制御し、かつ、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得する。なお、ここでは、ＬＡＮケーブル３０による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。

　基地局２０は、情報処理装置１２、スマートフォン１４、ＨＭＤ３４、及び無人航空機２７と無線通信を介して各種情報の送受信を行う。すなわち、情報処理装置１２は、基地局２０を介して、スマートフォン１４、ＨＭＤ３４、及び無人航空機２７と無線通信可能に接続されている。情報処理装置１２は、基地局２０を介して無人航空機２７と無線通信を行うことにより、無人航空機２７を制御したり、撮像装置１８によって撮像されることで得られた画像を無人航空機２７から取得したりする。

　情報処理装置１２は、サーバに相当するデバイスであり、スマートフォン１４及びＨＭＤ３４は、情報処理装置１２に対するクライアント端末に相当するデバイスである。なお、以下では、スマートフォン１４及びＨＭＤ３４を区別して説明する必要がない場合、符号を付さずに「端末装置」と称する。

　情報処理装置１２及び端末装置は、基地局２０を介して互いに無線通信を行うことにより、端末装置は、情報処理装置１２に対して各種サービスの提供を要求し、情報処理装置１２は、端末装置からの要求に応じたサービスを端末装置に提供する。

　情報処理装置１２は、複数の撮像装置から複数の画像を取得し、取得した複数の画像に基づいて生成した映像を、基地局２０を介して端末装置に送信する。

　図１に示す例において、視聴者２８は、スマートフォン１４を所持しており、視聴者２８の頭部にはＨＭＤ３４が装着されている。情報処理装置１２から送信された映像（以下、「配信映像」とも称する）は、端末装置によって受信され、端末装置によって受信された配信映像は、端末装置を通して視聴者２８によって視認される。サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席２６が設けられている。視聴者２８は、観戦席２６で配信映像を視認してもよいし、観戦席２６以外の場所（例えば、自宅等）で配信映像を視認してもよく、視聴者２８が配信映像を視認する場所は、情報処理装置１２と無線通信可能な場所であれば如何なる場所であってもよい。なお、視聴者２８は、本開示の技術に係る「人物」の一例である。

　一例として図２に示すように、ＨＭＤ３４は、本体部１１Ａ、装着部１３Ａ、及びスピーカ１５８を備えている。ＨＭＤ３４は、視聴者２８に対して装着される。視聴者２８にＨＭＤ３４が装着される場合、本体部１１Ａは視聴者２８の額前から眼前にかけて位置し、装着部１３Ａは視聴者２８の頭部の上半部に位置する。スピーカ１５８は、装着部１３Ａに取り付けられており、視聴者２８の左側頭部に位置する。

　装着部１３Ａは、数センチメートル程度の幅を有する帯状部材であり、内側リング１３Ａ１と外側リング１５Ａ１とを備えている。内側リング１３Ａ１は、円環状に形成されており、視聴者２８の頭部の上半部に対して密着した状態で固定される。外側リング１５Ａ１は、視聴者２８の後頭部側が切り欠かれた形状で形成されている。外側リング１５Ａ１は、内側リング１３Ａ１のサイズの調整に応じて、初期位置から外側に撓んだり、撓んだ状態から初期位置に向けて内側に縮んだりする。

　本体部１１Ａは、保護枠１１Ａ１、コンピュータ１５０、及びディスプレイ１５６を備えている。コンピュータ１５０は、ＨＭＤ３４の全体を制御する。保護枠１１Ａ１は、視聴者２８の両眼全体を覆うように湾曲した１枚の透明板であり、例えば、透光性を有するプラスチックで形成される。

　ディスプレイ１５６は、スクリーン１５６Ａ及び投影部１５６Ｂを備えており、投影部１５６Ｂは、コンピュータ１５０によって制御される。スクリーン１５６Ａは、保護枠１１Ａ１の内側に配置されている。スクリーン１５６Ａは、視聴者２８の両眼の各々に割り当てられている。スクリーン１５６Ａは、保護枠１１Ａ１と同様に透明な材料で形成されている。視聴者２８は、スクリーン１５６Ａ及び保護枠１１Ａ１を介して実空間を肉眼で視認する。つまり、ＨＭＤ３４は、透過型のＨＭＤである。

　スクリーン１５６Ａは、視聴者２８の眼と正対する位置にあり、スクリーン１５６Ａの内面（視聴者２８側の面）には、コンピュータ１５０の制御下で投影部１５６Ｂによって配信映像が投影される。投影部１５６Ｂは、周知のデバイスであるので詳しい説明は省略するが、配信映像を表示する液晶等の表示素子と、表示素子に表示された配信映像をスクリーン１５６Ａの内面に向けて投影する投影光学系と、を有するデバイスである。スクリーン１５６Ａは、投影部１５６Ｂによって投影された配信映像を反射し、かつ、実空間の光を透過するハーフミラーを用いることで実現される。投影部１５６Ｂは、既定のフレームレート（例えば、６０ｆｐｓ）でスクリーン１５６Ａの内面に配信映像を投影する。配信映像は、スクリーン１５６Ａの内面で反射して視聴者２８の眼に入射する。これにより、視聴者２８は、配信映像を視覚的に認識する。なお、ここでは、スクリーン１５６Ａとしてハーフミラーを例示したが、これに限らず、スクリーン１５６Ａ自体を液晶等の表示素子としてもよい。また、ここで示したスクリーン投影型ＨＭＤの他に、視聴者２８の眼の網膜に直接レーザで照射する網膜投影ＨＭＤを採用してもよい。

　スピーカ１５８は、コンピュータ１５０に接続されており、コンピュータ１５０の制御下で音を出力する。すなわち、スピーカ１５８は、コンピュータ１５０の制御下で、音を示す電気信号を受信し、受信した電気信号を音に変換し、変換して得た音を出力することで、各種情報の可聴表示を実現する。ここでは、スピーカ１５８はコンピュータ１５０と一体となっているが、コンピュータ１５０と有線又は無線で接続された別途ヘッドホン（イヤホンを含む）による音の出力を採用してもよい。

　一例として図３に示すように、情報処理装置１２は、上空から観察した場合のサッカーフィールド２４を含む領域を示す俯瞰映像４６Ａを無人航空機２７から取得する。俯瞰映像４６Ａは、サッカーフィールド２４を含む領域が撮像領域（以下、単に「撮像領域」とも称する）として上空から俯瞰された状態で無人航空機２７の撮像装置１８によって撮像されることで得られた動画像である。なお、ここでは、俯瞰映像４６Ａが動画像である場合を例示しているが、撮像映像４６Ａは、これに限らず、上空から観察した場合のサッカーフィールド２４を含む領域を示す静止画像であってもよい。

　情報処理装置１２は、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す撮像映像４６Ｂを複数の撮像装置１６の各々から取得する。撮像映像４６Ｂは、複数の撮像装置１６の各々によって複数の方向から撮像領域が撮像されることで得られた動画像である。なお、ここでは、撮像映像４６Ｂが動画像の場合を例示しているが、撮像映像４６Ｂは、これに限らず、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す静止画像であってもよい。

　俯瞰映像４６Ａ及び撮像映像４６Ｂは、サッカーフィールド２４を含む領域が互いに異なる複数の方向から撮像されることで得られた映像であり、本開示の技術に係る「複数の画像」の一例である。

　情報処理装置１２は、俯瞰映像４６Ａ及び撮像映像４６Ｂを用いることにより仮想視点映像４６を生成する。仮想視点映像４６は、複数の撮像装置の各々の視点位置及び視線方向とは異なる視点位置及び視線方向から撮像領域を観察した場合の撮像領域を示す映像である。図３に示す例において、仮想視点映像４６とは、観戦席２６内の視点位置４２及び視線方向４４から撮像領域を観察した場合の撮像領域を示す仮想視点映像を指す。仮想視点映像４６の一例としては、３Ｄポリゴンを用いた動画像が挙げられる。

　ここでは、仮想視点映像４６として動画像を例示しているが、これに限らず、３Ｄポリゴンを用いた静止画像であってもよい。ここでは、撮像装置１８によって撮像されることで得られた俯瞰映像４６Ａも仮想視点映像４６の生成に使用される形態例を示しているが、本開示の技術はこれに限定されない。例えば、俯瞰映像４６Ａが仮想視点映像４６の生成に使用されずに、複数の撮像装置１６の各々によって撮像されることで得られた複数の撮像映像４６Ｂのみが仮想視点映像４６の生成に使用されるようにしてもよい。すなわち、撮像装置１８（例えば、マルチ回転翼型無人航空機）から得られる映像を使用せずに、複数の撮像装置１６によって撮像されることで得られた映像のみから仮想視点映像４６が生成されるようにしてもよい。なお、撮像装置１８（例えば、マルチ回転翼型無人航空機）から得られる映像を使用すれば、より高精度な仮想視点映像の生成が可能となる。

　情報処理装置１２は、配信映像として、俯瞰映像４６Ａ、撮像映像４６Ｂ、及び仮想視点映像４６を選択的に端末装置に送信する。

　一例として図４Ａに示すように、情報処理システム１０は、複数の収音装置１００を備えている。収音装置１００は、収音を行う。ここで、収音とは、音の捕捉、すなわち、音の収集を指す。また、収音装置１００は、捕捉した音、すなわち、収集した音を示す音情報を送信する。複数の収音装置１００は、撮像領域内に存在しており、複数の収音装置１００の各々の設置位置は、撮像領域内において固定されている。本実施形態において「存在」とは、例えば、規則的な配列で間隔を置いた状態での存在を指す。なお、本開示の技術における「存在」の意味には、これ以外にも、不規則的又は規則的に散らばった状態での存在、という意味も含まれる。

　また、図４Ａに示す例では、複数の収音装置１００が撮像領域内に散在しているが、複数の収音装置１００は、必ずしも撮像領域内に散在していなくてもよく、例えば隙間なく整列されていてもよい。また、複数の収音装置１００は、必ずしも撮像領域内に存在していなくてもよく、例えば、図４Ｂ及び図４Ｃに示すように、撮像領域の外側から指向性の高いマイクロフォンにより撮像領域内の収音を行ってもよい。図４Ｂに示す例では、撮像領域内に存在している複数の収音装置１００と撮像領域外に存在している複数の収音装置１００とによって収音が行われている。また、図４Ｃに示す例では、撮像領域内に収音装置１００が存在せず、撮像領域外に複数の収音装置１００Ｃが存在しており、撮像領域内に指向性を有する複数の収音装置１００によって撮像領域内の収音が行われている。

　図４Ａに示す例では、複数の収音装置１００は、サッカーフィールド２４内に行列状に埋め込まれている。具体的には、サイドラインの一端から他端にかけて、かつ、ゴールラインの一端から他端にかけて、収音装置１００が既定の間隔（例えば、５メートル間隔）で配置されている。図４Ａに示す例では、３５個の収音装置１００がサッカーフィールド２４内に行列状に配置されているが、収音装置１００の個数は、これに限らず、複数であればよい。また、複数の収音装置１００は、行列状に配置されている必要はない。例えば、複数の収音装置１００は、同心円状、又は、渦巻き状等に配置されていてもよく、サッカーフィールド２４内に存在していればよい。

　複数の収音装置１００は、基地局２０を介して、情報処理装置１２と無線通信可能に接続されている。複数の収音装置１００の各々は、基地局２０を介して情報処理装置１２と無線通信を行うことにより、情報処理装置１２との間で各種情報の授受を行う。例えば、複数の収音装置１００の各々は、情報処理装置１２からの要求に応じて、情報処理装置１２に音情報を送信する。情報処理装置１２は、複数の収音装置１００から送信された複数の音情報に基づいて調節音情報を生成する。調節音情報は、複数の音情報により示される複数の音の少なくとも一部の音が調整されることで得られた調節音を示す情報である。情報処理装置１２は、生成して得た調節音情報をＨＭＤ３４に送信する。ＨＭＤ３４は、情報処理装置１２から送信された調節音情報を受信し、受信した調節音情報により示される調節音をスピーカ１５８から出力させる。

　一例として図５に示すように、情報処理装置１２は、コンピュータ５０、受付デバイス５２、ディスプレイ５３、第１通信Ｉ／Ｆ５４、および第２通信Ｉ／Ｆ５６を備えている。コンピュータ５０は、ＣＰＵ５８、ストレージ６０、及びメモリ６２を備えており、ＣＰＵ５８、ストレージ６０、及びメモリ６２は、バスライン６４を介して接続されている。図５に示す例では、図示の都合上、バスライン６４として１本のバスラインが図示されているが、バスライン６４には、データバス、アドレスバス、及びコントロールバス等が含まれている。

　ＣＰＵ５８は、情報処理装置１２の全体を制御する。ストレージ６０は、各種パラメータ及び各種プログラムを記憶している。ストレージ６０は、不揮発性の記憶装置である。ここでは、ストレージ６０の一例として、フラッシュメモリが採用されているが、これに限らず、ＥＥＰＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ６２は、揮発性の記憶装置である。メモリ６２には、各種情報が一時的に記憶される。メモリ６２は、ＣＰＵ５８によってワークメモリとして用いられる。ここでは、メモリ６２の一例として、ＲＡＭが採用されているが、これに限らず、他の種類の揮発性の記憶装置であってもよい。

　受付デバイス５２は、情報処理装置１２の使用者等からの指示を受け付ける。受付デバイス５２の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス５２は、バスライン６４に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５８によって取得される。

　ディスプレイ５３は、バスライン６４に接続されており、ＣＰＵ５８の制御下で、各種情報を表示する。ディスプレイ５３の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ＥＬディスプレイ又は無機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ５３として採用されてもよい。

　第１通信Ｉ／Ｆ５４は、ＬＡＮケーブル３０に接続されている。第１通信Ｉ／Ｆ５４は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。第１通信Ｉ／Ｆ５４は、バスライン６４に接続されており、ＣＰＵ５８と複数の撮像装置１６との間で各種情報の授受を司る。例えば、第１通信Ｉ／Ｆ５４は、ＣＰＵ５８の要求に従って複数の撮像装置１６を制御する。また、第１通信Ｉ／Ｆ５４は、複数の撮像装置１６の各々によって撮像されることで得られた撮像映像４６Ｂ（図３参照）を取得し、取得した撮像映像４６ＢをＣＰＵ５８に出力する。

　第２通信Ｉ／Ｆ５６は、基地局２０に対して無線通信可能に接続されている。第２通信Ｉ／Ｆ５６は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。第２通信Ｉ／Ｆ５６は、バスライン６４に接続されている。第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８と無人航空機２７との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とスマートフォン１４との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とＨＭＤ３４との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８と複数の収音装置１００の各々との間で各種情報の授受を司る。

　一例として図６に示すように、スマートフォン１４は、コンピュータ７０、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６を備えている。コンピュータ７０は、ＣＰＵ８８、ストレージ９０、及びメモリ９２を備えており、ＣＰＵ８８、ストレージ９０、及びメモリ９２は、バスライン９４を介して接続されている。図６に示す例では、図示の都合上、バスライン９４として１本のバスラインが図示されているが、バスライン９４は、シリアルバスで構成されているか、或いは、データバス、アドレスバス、及びコントロールバス等を含んで構成されている。また、図６に示す例では、ＣＰＵ８８、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６は、共通のバスで接続されているが、ＣＰＵ８８と各デバイスは専用バス又は専用通信線で接続されていてもよい。

　ＣＰＵ８８は、スマートフォン１４の全体を制御する。ストレージ９０は、各種パラメータ及び各種プログラムを記憶している。ストレージ９０は、不揮発性の記憶装置である。ここでは、ストレージ９０の一例として、ＥＥＰＲＯＭが採用されているが、これに限らず、マスクＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ９２には、各種情報が一時的に記憶され、メモリ９２は、ＣＰＵ８８によってワークメモリとして用いられる。ここでは、メモリ９２の一例として、ＤＲＡＭが採用されているが、これに限らず、ＳＲＡＭ等の他の種類の記憶装置であってもよい。

　受付デバイス７６は、視聴者２８からの指示を受け付ける。受付デバイス７６の一例としては、タッチパネル７６Ａ及びハードキー等が挙げられる。受付デバイス７６は、バスライン９４に接続されており、受付デバイス７６によって受け付けられた指示は、ＣＰＵ８８によって取得される。

　ディスプレイ７８は、バスライン９４に接続されており、ＣＰＵ８８の制御下で、各種情報を表示する。ディスプレイ７８の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ７８として採用されてもよい。

　スマートフォン１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル７６Ａ及びディスプレイ７８によって実現される。すなわち、ディスプレイ７８の表示領域に対してタッチパネル７６Ａを重ね合わせることによってタッチパネル・ディスプレイが形成される。また、本実施形態では、タッチパネル２８が独立して設けられているが、ディスプレイ７６Ａに内蔵された（いわゆるインセル型タッチパネル）でもよい。

　マイクロフォン８０は、収音を行い（音を収集し）、収集した音を電気信号に変換する。マイクロフォン８０は、バスライン９４に接続されている。マイクロフォン８０によって収集された音が変換されて得られた電気信号は、バスライン９４を介してＣＰＵ８８によって取得される。

　スピーカ８２は、電気信号を音に変換する。スピーカ８２は、バスライン９４に接続されている。スピーカ８２は、ＣＰＵ８８から出力された電気信号を、バスライン９４を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をスマートフォン１４の外部に出力する。

　撮像装置８４は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置８４は、バスライン９４に接続されている。撮像装置８４によって被写体が撮像されることで得られた画像は、バスライン９４を介してＣＰＵ８８によって取得される。

　通信Ｉ／Ｆ８６は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ８６は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ８６は、バスライン９４に接続されている。通信Ｉ／Ｆ８６は、基地局２０を介して、無線通信方式で、ＣＰＵ８８と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置１２、無人航空機２７、及びＨＭＤ３４等が挙げられる。

　一例として図７に示すように、ＨＭＤ３４は、本開示の技術に係る「表示装置」の一例であり、コンピュータ１５０、受付デバイス１５２、ディスプレイ１５６、マイクロフォン１５７、スピーカ１５８、アイトラッカ１６６、及び通信Ｉ／Ｆ１６８を備えている。

　コンピュータ１５０は、ＣＰＵ１６０、ストレージ１６２、及びメモリ１６４を備えており、ＣＰＵ１６０、ストレージ１６２、及びメモリ１６４は、バスライン１７０を介して接続されている。図７に示す例では、図示の都合上、バスライン１７０として１本のバスラインが図示されているが、バスライン１７０には、データバス、アドレスバス、及びコントロールバス等が含まれている。

　ＣＰＵ１６０は、ＨＭＤ３４の全体を制御する。ストレージ１６２は、各種パラメータ及び各種プログラムを記憶している。ストレージ１６２は、不揮発性の記憶装置である。ここでは、ストレージ１６２の一例として、ＥＥＰＲＯＭが採用されているが、これに限らず、マスクＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ１６４は、揮発性の記憶装置である。メモリ１６４には、各種情報が一時的に記憶され、メモリ１６４は、ＣＰＵ１６０によってワークメモリとして用いられる。ここでは、メモリ１６４の一例として、ＤＲＡＭが採用されているが、これに限らず、ＳＲＡＭ等の他の種類の揮発性の記憶装置であってもよい。

　受付デバイス１５２は、視聴者２８からの指示を受け付ける。受付デバイス１５２の一例としては、リモートコントローラ及び／又はハードキー等が挙げられる。受付デバイス１５２は、バスライン１７０に接続されており、受付デバイス１５２によって受け付けられた指示は、ＣＰＵ１６０によって取得される。

　ディスプレイ１５６は、視聴者２８が視認する配信映像を表示可能なディスプレイである。ディスプレイ１５６は、バスライン１７０に接続されており、ＣＰＵ１６０の制御下で、各種情報を表示する。

　マイクロフォン１５７は、収音を行い（音を収集し）、収集した音を電気信号である音情報に変換する。マイクロフォン１５７は、バスライン１７０に接続されている。マイクロフォン１５７によって収集された音が変換されて得られた音情報は、バスライン１７０を介してＣＰＵ１６０によって取得される。

　スピーカ１５８は、電気信号を音に変換する。スピーカ１５８は、バスライン１７０に接続されている。スピーカ１５８は、ＣＰＵ１６０から出力された電気信号を、バスライン１７０を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をＨＭＤ３４の外部に出力する。

　アイトラッカ１６６は、撮像素子１６６Ａを備えている。ここでは、撮像素子１６６Ａとして、ＣＭＯＳイメージが採用されている。なお、撮像素子１６６Ａは、ＣＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサ等の他種類のイメージセンサであってもよい。アイトラッカ１６６は、撮像素子１６６Ａを用いることで既定のフレームレート（例えば、６０ｆｐｓ）に従って視聴者２８の両眼を撮像する。アイトラッカは、視聴者２８の両眼を撮像することで得た眼部画像（視聴者２８の眼部を示す画像）に基づいて、視聴者２８の視線方向（以下、単に「視線方向」とも称する）を検出する。

　すなわち、アイトラッカ１６６は、配信映像（例えば、仮想視点映像４６）がディスプレイ１５６に表示されている状態で、配信映像内の対象被写体を示す対象被写体画像（以下、単に「対象被写体画像」とも称する）を観察している視聴者２８の観察方向（以下、単に「観察方向」とも称する）として、撮像素子１６６Ａによって撮像されることで得られた画像に基づいて視線方向を検出する。なお、アイトラッカ１６６は、本開示の技術に係る「検出部（ディテクタ）」の一例である。

　通信Ｉ／Ｆ１６８は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ１６８は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ１６８は、バスライン１７０に接続されている。通信Ｉ／Ｆ１６８は、基地局２０を介して、無線通信方式で、ＣＰＵ１６０と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置１２、無人航空機２７、及びスマートフォン１４等が挙げられる。

　一例として図８に示すように、収音装置１００は、コンピュータ２００、マイクロフォン２０７、及び通信Ｉ／Ｆ２１８を備えている。コンピュータ２００は、ＣＰＵ２１０、ストレージ２１２、及びメモリ２１４を備えており、ＣＰＵ２１０、ストレージ２１２、及びメモリ２１４は、バスライン２２０を介して接続されている。図８に示す例では、図示の都合上、バスライン２２０として１本のバスラインが図示されているが、バスライン２２０には、データバス、アドレスバス、及びコントロールバス等が含まれている。

　ＣＰＵ２１０は、収音装置１００の全体を制御する。ストレージ２１２は、各種パラメータ及び各種プログラムを記憶している。ストレージ２１２は、不揮発性の記憶装置である。ここでは、ストレージ２１２の一例として、ＥＥＰＲＯＭが採用されているが、これに限らず、マスクＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ２１４は、揮発性の記憶装置である。メモリ２１４には、各種情報が一時的に記憶され、メモリ２１４は、ＣＰＵ２１０によってワークメモリとして用いられる。ここでは、メモリ２１４の一例として、ＤＲＡＭが採用されているが、これに限らず、ＳＲＡＭ等の他の種類の揮発性の記憶装置であってもよい。

　マイクロフォン２０７は、収音を行い（音を収集し）、収集した音を電気信号に変換する。マイクロフォン２０７は、バスライン２２０に接続されている。マイクロフォン２０７によって収集された音が変換されて得られた電気信号は、バスライン２２０を介してＣＰＵ２１０によって取得される。

　通信Ｉ／Ｆ２１８は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ２１８は、例えば、回路（ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ２１８は、バスライン２２０に接続されている。通信Ｉ／Ｆ２１８は、基地局２０を介して、無線通信方式で、ＣＰＵ２１０と情報処理装置１２との間で各種情報の授受を司る。

　一例として図９に示すように、情報処理装置１２において、ストレージ６０には、映像生成プログラム６０Ａ、及び音生成プログラム６０Ｂが記憶されている。なお、以下では、映像生成プログラム６０Ａ及び音生成プログラム６０Ｂを区別して説明する必要がない場合、符号を付さずに「情報処理装置プログラム」と称する。

　ＣＰＵ５８は、本開示の技術に係る「プロセッサ」の一例であり、メモリ６２は、本開示の技術に係る「メモリ」の一例である。ＣＰＵ５８は、ストレージ６０から情報処理装置プログラムを読み出し、読み出した情報処理装置プログラムをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した情報処理装置プログラムに従って情報処理装置１２の全体を制御し、かつ、複数の撮像装置、無人航空機２７、端末装置、及び複数の収音装置１００との間で各種情報の授受を行う。

　ＣＰＵ５８は、ストレージ６０から映像生成プログラム６０Ａを読み出し、読み出した映像生成プログラム６０Ａをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した映像生成プログラム６０Ａに従って映像生成部５８Ａ及び取得部５８Ｂとして動作する。ＣＰＵ５８は、映像生成部５８Ａ及び取得部５８Ｂとして動作することで、後述の映像生成処理（図２０参照）を実行する。

　ＣＰＵ５８は、ストレージ６０から音生成プログラム６０Ｂを読み出し、読み出した音生成プログラム６０Ｂをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した音生成プログラム６０Ｂに従って取得部５８Ｂ、特定部５８Ｃ、調節音情報生成部５８Ｄ、及び出力部５８Ｅとして動作する。ＣＰＵ５８は、取得部５８Ｂ、特定部５８Ｃ、調節音情報生成部５８Ｄ、及び出力部５８Ｅとして動作することで、後述の音生成処理（図２１及び図２２参照）を実行する。なお、調節音情報生成部５８Ｄは、本開示の技術に係る「生成部」の一例である。

　一例として図１０に示すように、情報処理装置１２は、俯瞰映像４６Ａをスマートフォン１４に送信する。スマートフォン１４は、情報処理装置１２から送信された俯瞰映像４６Ａを受信する。スマートフォン１４によって受信された俯瞰映像４６Ａは、スマートフォン１４のディスプレイ７８に表示される。

　ディスプレイ７８に俯瞰映像４６Ａが表示されている状態で、視聴者２８は、スマートフォン１４に対して、視点指示、視線指示、及び画角指示を選択的に与える。視点指示とは、撮像領域に対する仮想的な視点（以下、「仮想視点」と称する）の位置の指示を指す。視線指示とは、撮像領域に対する仮想的な視線（以下、「仮想視線」と称する）の方向の指示を指す。画角指示とは、撮像領域に対する画角（以下、単に「画角」と称する。）の指示を指す。以下では、説明の便宜上、視点指示、視線指示、及び画角指示を区別して説明する必要がない場合、「視点視線画角指示」と称する。また、仮想視点の位置を「仮想視点位置」とも称する。また、「仮想視線」の方向を「仮想視線方向」とも称する。

　視点指示としては、例えば、タッチパネル７６Ａに対するタッチ操作が挙げられる。タッチ操作に代えて、タップ操作又はダブルタップ操作であってもよい。視線指示としては、例えば、タッチパネル７６Ａに対するスライド操作が挙げられる。スライド操作に代えて、フリック操作であってもよい。画角指示としては、例えば、タッチパネル７６Ａに対するピンチ操作が挙げられる。ピンチ操作は、ピンチイン操作とピンチアウト操作とに大別される。ピンチイン操作は、画角を広くする場合に行われる操作であり、ピンチアウト操作は、画角を狭くする場合に行われる操作である。

　視点指示によって指示された仮想視点位置を示す視点情報、視線指示によって指示された仮想視線方向を示す視線方向情報、画角指示によって指示された画角を示す画角情報は、スマートフォン１４のＣＰＵ８８によって情報処理装置１２に送信される。なお、以下では、説明の便宜上、視点情報、視線方向情報、及び画角情報を区別して説明する必要がない場合、「視点視線画角情報」と称する。

　スマートフォン１４のＣＰＵ８８によって送信された視点視線画角情報は、映像生成部５８Ａによって受信され、スマートフォン１４のＣＰＵ８８によって送信された画角情報は調節音情報生成部５８Ｄによって受信される。

　一例として図１１に示すように、映像生成部５８Ａは、無人航空機２７から俯瞰映像４６Ａを取得し、複数の撮像装置１６の各々から撮像映像４６Ｂを取得する。俯瞰映像４６Ａには、第１位置対応付け情報が付与されており、撮像映像４６Ｂには、第２位置対応付け情報が付与されている。

　第１位置対応付け情報は、撮像領域内の位置と俯瞰映像４６Ａ内の位置（例えば、画素の位置）との対応関係を示す情報である。第１位置対応付け情報では、撮像領域内の位置を特定可能な撮像領域内位置特定情報（例えば、三次元座標）と、俯瞰映像４６Ａ内の位置を特定可能な俯瞰映像内位置特定情報とが対応付けられている。なお、一例として図１１に示すように、撮像領域は、サッカーフィールド２４を底面とした直方体状の三次元領域であり、撮像領域内位置特定情報は、サッカーフィールド２４の４隅のうちの１つを原点２４Ａとした三次元座標で表現されている。

　第２位置対応付け情報は、撮像領域内の位置と撮像映像４６Ｂの位置（例えば、画素の位置）との対応関係を示す情報である。第２位置対応付け情報では、撮像領域内の位置を特定可能な撮像領域内位置特定情報（例えば、三次元座標）と、撮像映像４６Ｂ内の位置を特定可能な撮像映像内位置特定情報とが対応付けられている。

　映像生成部５８Ａは、視線画角情報に基づいて、無人航空機２７から取得した俯瞰映像４６Ａと、複数の撮像装置１６の各々から取得した撮像映像４６Ｂとを用いることにより仮想視点映像４６を生成する。仮想視点映像４６には、第３位置対応付け情報が付与されている。第３位置対応付け情報は、撮像領域内の位置と仮想視点映像４６内の位置（例えば、画素の位置）との対応関係を示す情報であり、本開示の技術に係る「対応関係情報」の一例である。第３位置対応付け情報は、第１位置対応付け情報及び第２位置対応付け情報に基づいて映像生成部５８Ａによって生成される。

　なお、ここでは、仮想視点映像４６が生成されるので、第３位置対応付け情報が本開示の技術に係る「対応関係情報」の一例であるが、映像生成部５８Ａにおいて、仮想視点映像４６が生成されずに、仮想視点映像４６に代えて俯瞰映像４６Ａがそのまま用いられる場合は、第１位置対応付け情報が本開示の技術に係る「対応関係情報」の一例である。また、映像生成部５８Ａにおいて、仮想視点映像４６が生成されずに、仮想視点映像４６に代えて撮像映像４６Ｂがそのまま用いられる場合は、第２位置対応付け情報が本開示の技術に係る「対応関係情報」の一例である。

　一例として図１２に示すように、映像生成部５８Ａは、視点情報及び視線方向情報が変更されると、視点情報及び視線方向情報の変更に伴って仮想視点映像４６を再生成する。仮想視点映像４６が映像生成部５８Ａによって視点情報及び視線方向情報に従って再生成されると、これに伴って第３位置対応付け情報も、第１位置対応付け情報及び第２位置対応付け情報に基づいて映像生成部５８Ａによって再生成される。そして、再生成された第３位置対応付け情報は、映像生成部５８Ａによって最新の仮想視点映像４６に付与される。

　一例として図１３に示すように、映像生成部５８Ａは、画角情報が変更されると、画角情報の変更に伴って仮想視点映像４６を再生成する。仮想視点映像４６が映像生成部５８Ａによって画角情報に従って再生成されると、これに伴って第３位置対応付け情報も、第１位置対応付け情報及び第２位置対応付け情報に基づいて映像生成部５８Ａによって再生成される。そして、再生成された第３位置対応付け情報は、映像生成部５８Ａによって最新の仮想視点映像４６に付与される。

　一例として図１４に示すように、映像生成部５８Ａは、仮想視点映像４６及び第３位置対応付け情報をＨＭＤ３４に送信する。ＨＭＤ３４において、ＣＰＵ１６０は、映像生成部５８Ａから送信された仮想視点映像４６及び第３位置対応付け情報を受信し、受信した仮想視点映像４６をディスプレイ１５６に表示する。

　ここで、撮像素子１６６Ａは、仮想視点映像４６がディスプレイ１５６に表示されている状態で、視聴者２８の眼部２９を撮像する。アイトラッカ１６６は、撮像素子１６６Ａによって眼部２９が撮像されることで得られた眼部画像に基づいて観察方向を検出し、検出した観察方向を特定可能な観察方向特定情報をＣＰＵ１６０に出力する。

　ＣＰＵ１６０は、観察方向特定情報と、第３位置対応付け情報に含まれる仮想視点映像内位置特定情報と基づいて、ディスプレイ１５６（具体的には、図２に示すスクリーン１５６Ａ）において、視聴者２８が着眼している位置（以下、「着眼位置」と称する）を特定する。そして、ＣＰＵ１６０は、特定した着眼位置と第３位置対応付け情報とに基づいて、対象被写体位置情報を導出する。

　対象被写体位置情報には、撮像領域内被写体位置情報と仮想視点映像内被写体位置情報とが含まれている。撮像領域内被写体位置情報は、撮像領域内での対象被写体の位置（以下、「対象被写体位置」とも称する）を示す情報である。ここでは、撮像領域内被写体位置情報の一例として、撮像領域内での対象被写体位置を特定可能な三次元座標が採用されている。仮想視点映像内被写体位置情報は、仮想視点映像４６内での対象被写体画像４７の位置（以下、「対象被写体画像位置」とも称する）を特定可能な情報（例えば、画素の位置を特定可能なアドレス）である。対象被写体位置情報は、対象被写体位置と対象被写体画像位置との対応関係が特定可能な状態で、撮像領域内被写体位置情報と仮想視点映像内被写体位置情報とが対応付けられた情報である。

　ＣＰＵ１６０は、第３位置対応付け情報と、アイトラッカ１６６での検出結果、すなわち、観察方向特定情報と、に基づいて、対象被写体位置情報を導出する。具体的には、ＣＰＵ１６０は、第３位置対応付け情報から、着眼位置に対応する撮像領域内位置特定情報及び仮想視点映像内位置特定情報を対象被写体位置情報として取得する。ＣＰＵ１６０は、取得した対象被写体位置情報を情報処理装置１２に送信する。

　情報処理装置１２において、取得部５８Ｂは、対象被写体位置情報取得部５８Ｂ１を備えている。対象被写体位置情報取得部５８Ｂ１は、対象被写体位置情報を取得する。ここでは、ＨＭＤ３４のＣＰＵ１６０から送信された対象被写体位置情報が、対象被写体位置情報取得部５８Ｂ１によって受信されることで取得される。

　一例として図１５に示すように、対象被写体位置情報取得部５８Ｂ１は、対象被写体位置情報を映像生成部５８Ａに出力する。そして、映像生成部５８Ａは、上述した視点視線画角情報及び対象被写体位置情報に基づいて、俯瞰映像４６Ａ及び撮像映像４６Ｂを用いることで仮想視点映像４６を生成する。具体的には、映像生成部５８Ａは、対象被写体位置情報取得部５８Ｂ１から入力された対象被写体位置情報に含まれる仮想視点映像内位置特定情報により特定される対象被写体画像位置に対してピントが合っている仮想視点映像４６を生成する。つまり、対象被写体画像４７の周辺の画像よりも対象被写体画像４７に対してピントが合っている仮想視点映像４６が映像生成部５８Ａによって生成される。ここで、対象被写体画像４７の周辺の画像よりも対象被写体画像４７に対してピントが合っている状態とは、対象被写体画像４７の周辺の画像のコントラスト値よりも対象被写体画像４７のコントラスト値が高い状態を指す。

　一例として図１５に示すように、仮想視点映像４６内は、対象被写体画像４７が位置する合焦領域と、対象被写体画像４７の周辺領域であり、合焦領域よりもコントラスト値が低い非合焦領域とに大別される。ここで、対象被写体画像４７は、本開示の技術に係る「仮想視点対象被写体画像」の一例である。合焦領域と非合焦領域とを有する仮想視点映像４６は、映像生成部５８Ａによって、第３位置対応付け情報が付与された状態でＨＭＤ３４に送信される。そして、ＨＭＤ３４において、ＣＰＵ１６０は、映像生成部５８Ａから送信された仮想視点映像４６及び第３位置対応付け情報を受信する。そして、ＣＰＵ１６０は、受信した仮想視点映像４６をディスプレイ１５６に表示する。

　一例として図１６に示すように、取得部５８Ｂは、対象被写体位置情報取得部５８Ｂ１の他に、収音装置側情報取得部５８Ｂ２を備えている。対象被写体位置情報取得部５８Ｂ１は、ＨＭＤ３４から取得した対象被写体位置特定情報を特定部５８Ｃに出力する。

　収音装置１００は、音情報と、撮像領域内での収音装置１００の位置（以下、「収音装置位置」とも称する）を示す収音位置特定情報とを情報処理装置１２に送信する。ここでは、収音位置特定情報の一例として、撮像領域内での収音装置位置を特定可能な三次元座標が採用されている。なお、収音位置特定情報は、本開示の技術に係る「収音装置位置情報」の一例である。

　情報処理装置１２において、収音装置側情報取得部５８Ｂ２は、音情報及び収音位置特定情報を取得する。ここでは、収音装置１００から送信された音情報及び収音位置特定情報が、収音装置側情報取得部５８Ｂ２によって受信されることで取得される。収音装置側情報取得部５８Ｂ２は、収音装置１００から取得した音情報及び収音位置特定情報に基づいて収音装置情報を生成する。収音装置情報は、音情報と収音位置特定情報とが収音装置１００毎に対応付けられた情報である。収音装置側情報取得部５８Ｂ２は、生成した収音装置情報を特定部５８Ｃに出力する。

　一例として図１７に示すように、特定部５８Ｃは、対象被写体位置情報取得部５８Ｂ１から対象被写体位置情報を取得し、収音装置側情報取得部５８Ｂ２から収音装置情報を取得する。そして、特定部５８Ｃは、対象被写体位置情報及び収音装置情報に基づいて、複数の音情報から、対象被写体に対応する領域の対象音を特定する。

　特定部５８Ｃは、複数の収音装置１００の各々についての収音装置情報を収音装置側情報取得部５８Ｂ２から取得する。すなわち、特定部５８Ｃは、収音装置側情報取得部５８Ｂ２から複数の収音装置情報を取得する。特定部５８Ｃは、複数の収音装置情報から、対象被写体位置情報に含まれる撮像領域内被写体位置情報に対応する収音位置特定情報を有する収音装置情報を特定する。ここで、撮像領域内被写体位置情報に対応する収音位置特定情報とは、複数の収音装置情報に含まれる複数の収音位置特定情報により示される複数の収音装置位置のうち、撮像領域内被写体位置情報から特定される対象被写体位置に最も近い収音装置位置を特定可能な収音位置特定情報を指す。

　特定部５８Ｃは、特定した収音装置情報に含まれる音情報を、対象被写体位置に対応する領域の対象音を示す対象音情報として特定する。

　調節音情報生成部５８Ｄは、特定部５８Ｃによって特定された対象音情報を特定部５８Ｃから取得し、複数の収音装置１００の各々についての収音装置情報を収音装置側情報取得部５８Ｂ２から取得する。調節音情報生成部５８Ｄは、取得した対象音情報及び収音装置情報に基づいて調節音情報を生成する。調節音情報は、総合音情報と対象被写体強調音情報とに大別される。総合音情報は、本開示の技術に係る「総合音情報」及び「全体音情報」の一例である。総合音情報とは、総合音を示す情報を指す。総合音は、本開示の技術に係る「総合音」及び「全体音」の一例である。総合音とは、複数の収音装置１００の各々によって得られた複数の音を総合させた音を指す。対象被写体強調音情報とは、周辺音よりも強調された対象音（以下、「強調対象音」とも称する）を含む音（以下、「対象被写体強調音」とも称する）を示す情報を指す。周辺音とは、特定部５８Ｃによって取得された対象被写体位置情報に含まれる撮像領域内被写体位置情報により示される対象被写体位置に対応する領域とは異なる領域から発せられた音を指す。

　ここで、対象被写体位置に対応する領域とは、例えば、対象被写体そのものを指す。なお、これに限らず、対象被写体の中心位置を、対象被写体位置とした場合、対象被写体位置に対応する領域は、対象被写体位置から予め定められた距離で画定された三次元領域であってもよい。対象被写体位置から予め定められた距離で画定された三次元領域としては、例えば、対象被写体位置を中心とした半径３メートル以内の球状領域、又は、対象被写体位置を中心とした４メートル四方の立方体状領域が挙げられる。

　ここでは、周辺音の一例として、対象音情報が音情報として含まれる収音装置情報とは異なる収音装置情報に含まれる音情報により示される音が採用されている。強調対象音は、周辺音の音量を、周辺音に関する音情報により示される音の音量よりも小さくしたり、対象音の音量を、対象音情報により示される対象音の音量よりも大きくしたりすることによって実現される。なお、これに限らず、強調対象音は、周辺音の音量を、周辺音に関する音情報により示される音の音量よりも小さくし、かつ、対象音の音量を、対象音情報により示される対象音の音量よりも大きくすることによって実現されるようにしてもよい。

　調節音情報生成部５８Ｄは、第１生成処理と第２生成処理とを選択的に実行する。第１生成処理は、対象被写体強調音情報を生成する処理であり、第２生成処理は、総合音情報を生成する処理である。調節音情報生成部５８Ｄは、スマートフォン１４から取得した画角情報に基づいて第１生成処理と第２生成処理とを選択的に実行する。

　一例として図１８に示すように、調節音情報生成部５８Ｄは、画角情報により示される画角が基準画角未満の場合に第１生成処理を実行し、画角情報により示される画角が基準画角以上の場合に第２生成処理を実行する。図１８に示す例では、画角情報により示される画角を“θ”とし、基準画角を“θ_ｔｈ”とした場合、“画角θ＜基準画角θ_ｔｈの場合に調節音情報生成部５８Ｄによって第１生成処理が実行されることで対象被写体強調音情報が生成される。また、“画角θ≧基準画角θ_ｔｈの場合に調節音情報生成部５８Ｄによって第２生成処理が実行されることで総合音情報が生成される。

　ＨＭＤによって表示されている仮想視点映像４６の内容と対象被写体強調音とが合っていない場合、対象被写体強調音が視聴者２８に対して不快感を与えてしまう虞がある。そこで、ここでは、対象被写体強調音がスピーカ１５８から出力される場合よりも総合音がスピーカ１５８から出力される方が視聴者２８に対して不快感を与えない画角の下限値として、官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された固定値が基準画角θ_ｔｈとして採用されている。

　なお、ここでは、基準画角θ_ｔｈとして、固定値が採用されているが、これに限らず、受付デバイス５２，７６又は１５２によって受け付けられた指示に従って変更可能な可変値を基準画角θ_ｔｈとして採用してもよい。

　ＣＰＵ５８（図９参照）は、調節音情報生成部５８Ｄによって生成された対象被写体強調音情報を出力可能な出力部５８Ｅとして動作する。出力部５８Ｅは、第１生成処理が実行されることによって対象被写体強調音情報が生成された場合に、調節音情報生成部５８Ｄから対象被写体強調音情報を取得し、取得した対象被写体強調音情報を出力する。すなわち、出力部５８Ｅは、対象被写体強調音情報をＨＭＤ３４に送信する。また、出力部５８Ｅは、第２生成処理が実行されることによって総合音情報が生成された場合に、調節音情報生成部５８Ｄから総合音情報を取得し、取得した総合音情報を出力する。すなわち、出力部５８Ｅは、総合音情報をＨＭＤ３４に送信する。

　出力部５８Ｅによる対象被写体強調音情報及び総合音情報の出力は、映像生成部５８Ａによる仮想視点映像４６のＨＭＤ３４への出力に同期して行われる。この場合、映像生成部５８Ａは、仮想視点映像４６の出力を開始するタイミングに合わせて同期信号を出力部５８Ｅに出力する。出力部５８Ｅによる対象被写体強調音情報及び総合音情報の出力は、映像生成部５８Ａからの同期信号の入力に合わせて行われる。

　ＨＭＤ３４において、出力部５８Ｅから送信された対象被写体強調音情報は、ＣＰＵ１６０によって受信され、受信された対象被写体強調音情報により示される対象被写体強調音はスピーカ１５８から出力される。また、ＨＭＤ３４において、出力部５８Ｅから送信された総合音情報は、ＣＰＵ１６０によって受信され、受信された総合音情報により示される総合音はスピーカ１５８から出力される。

　次に、情報処理システム１０の作用について説明する。

　先ず、情報処理装置１２のＣＰＵ５８によって映像生成プログラム６０Ａに従って実行される映像生成処理の流れの一例について図２０を参照しながら説明する。

　図２０に示す映像生成処理では、先ず、ステップＳＴ１０で、映像生成部５８Ａは、俯瞰映像４６Ａ、撮像映像４６Ｂ、及び視点視線画角情報を取得し、その後、映像生成処理はステップＳＴ１２へ移行する。

　ステップＳＴ１２で、映像生成部５８Ａは、ステップＳＴ１０で取得した視点視線画角情報に基づいて、ステップＳＴ１０で取得した俯瞰映像４６Ａ及び撮像映像４６Ｂを用いることで、無限遠にピントを合わせた仮想視点映像４６を生成し、その後、映像生成処理はステップＳＴ１４へ移行する。

　ステップＳＴ１４で、映像生成部５８Ａは、ステップＳＴ１２で生成した仮想視点映像４６をＨＭＤ３４に出力し、その後、映像生成処理はステップＳＴ１６へ移行する。ステップＳＴ１４の処理が実行されることでＨＭＤ３４に出力された仮想視点映像４６は、ＨＭＤ３４において、ディスプレイ１５６に表示され、視聴者２８によって視認される。

　ステップＳＴ１６で、対象被写体位置情報取得部５８Ｂ１は、アイトラッカ１６６での検出結果に基づいてＣＰＵ１６０によって導出された対象被写体位置情報を取得し、その後、映像生成処理はステップＳＴ１８へ移行する。

　ステップＳＴ１８で、映像生成部５８Ａは、俯瞰映像４６Ａ、撮像映像４６Ｂ、及び視点視線画角情報を取得し、その後、映像生成処理はステップＳＴ２０へ移行する。

　ステップＳＴ２０で、映像生成部５８Ａは、ステップＳＴ１８で取得した視点視線画角情報、及びステップＳＴ１６で取得した対象被写体位置情報に基づいて、ステップＳＴ１８で取得した俯瞰映像４６Ａ及び撮像映像４６Ｂを用いることで、対象被写体画像４７に対してピントが合っている仮想視点映像４６を生成し、その後、映像生成処理はステップＳＴ２２へ移行する。

　ステップＳＴ２２で、映像生成部５８Ａは、ステップＳＴ２０で生成した仮想視点映像４６をＨＭＤ３４に出力し、その後、映像生成処理はステップＳＴ２４へ移行する。ステップＳＴ２２の処理が実行されることでＨＭＤ３４に出力された仮想視点映像４６は、ＨＭＤ３４において、ディスプレイ１５６に表示され、視聴者２８によって視認される。

　ステップＳＴ２４で、ＣＰＵ５８は、映像生成処理を終了する条件（映像生成処理終了条件）を満足したか否かを判定する。映像生成処理終了条件の一例としては、受付デバイス５２，７６又は１５２によって、映像生成処理を終了する指示が受け付けられた、との条件が挙げられる。ステップＳＴ２４において、映像生成処理終了条件を満足していない場合は、判定が否定されて、映像生成処理はステップＳＴ１６へ移行する。ステップＳＴ２４において、映像生成処理終了条件を満足した場合は、判定が肯定されて、映像生成処理が終了する。

　次に、情報処理装置１２のＣＰＵ５８によって音生成プログラム６０Ｂに従って実行される音生成処理の流れの一例について図２１及び図２２を参照しながら説明する。なお、ここでは、映像生成部５８Ａによる仮想視点映像４６の出力が開始されるタイミングに合わせて映像生成部５８Ａから出力部５８Ｅに同期信号が出力されることを前提として説明する。

　図２１に示す音生成処理では、先ず、ステップＳＴ５０で、収音装置側情報取得部５８Ｂ２は、複数の収音装置１００の各々から音情報及び収音位置特定情報を取得し、その後、音生成処理はステップＳＴ５２へ移行する。

　ステップＳＴ５２で、収音装置側情報取得部５８Ｂ２は、ステップＳＴ５０で取得した音情報及び収音位置特定情報に基づいて、複数の収音装置１００の各々についての収音装置情報を生成し、その後、音生成処理はステップＳＴ５４へ移行する。

　ステップＳＴ５４で、調節音情報生成部５８Ｄは、スマートフォン１４から画角情報を取得し、その後、音生成処理はステップＳＴ５６へ移行する。

　ステップＳＴ５６で、調節音情報生成部５８Ｄは、ステップＳＴ５４で取得した画角情報により示される画角が基準画角未満か否かを判定する。ステップＳＴ５６において、ステップＳＴ５４で取得した画角情報により示される画角が基準画角以上の場合は、判定が否定されて、音生成処理は、図２２に示すステップＳＴ５８へ移行する。ステップＳＴ５６において、ステップＳＴ５４で取得した画角情報により示される画角が基準画角未満の場合は、判定が肯定されて、音生成処理はステップＳＴ６４へ移行する。

　図２２に示すステップＳＴ５８で、調節音情報生成部５８Ｄは、ステップＳＴ５２で生成された収音装置情報に基づいて総合音情報を生成し、その後、音生成処理はステップＳＴ６０へ移行する。

　ステップＳＴ６０で、出力部５８Ｅは、映像生成部５８Ａから同期信号が入力されたか否かを判定する。ステップＳＴ６０において、映像生成部５８Ａから同期信号が入力されていない場合は、判定が否定されて、ステップＳＴ６０の判定が再び行われる。ステップＳＴ６０において、映像生成部５８Ａから同期信号が入力された場合は、判定が肯定されて、音生成処理はステップＳＴ６２へ移行する。

　ステップＳＴ６２で、出力部５８Ｅは、ステップＳＴ５８で生成された総合音情報をＨＭＤ３４に出力し、その後、音生成処理は図２１に示すステップＳＴ７４へ移行する。ステップＳＴ６２の処理が実行されることでＨＭＤ３４に出力された総合音情報により示される総合音は、ＨＭＤ３４において、スピーカ１５８から出力され、視聴者２８によって聞き取られる。

　図２１に示すステップＳＴ６４で、対象被写体位置情報取得部５８Ｂ１は、ＨＭＤ３４から対象被写体位置情報を取得し、その後、音生成処理はステップＳＴ６６へ移行する。

　ステップＳＴ６６で、特定部５８Ｃは、ステップＳＴ５２で生成された収音装置情報と、ステップＳＴ６４で取得された対象被写体位置情報とに基づいて、対象音情報を特定し、その後、音生成処理はステップＳＴ６８へ移行する。

　ステップＳＴ６８で、調節音情報生成部５８Ｄは、ステップＳＴ５０で生成された収音装置情報と、ステップＳＴ６６で特定された対象音情報とに基づいて、対象被写体強調音情報を生成し、その後、音生成処理はステップＳＴ７０へ移行する。

　ステップＳＴ７０で、出力部５８Ｅは、映像生成部５８Ａから同期信号が入力されたか否かを判定する。ステップＳＴ７０において、映像生成部５８Ａから同期信号が入力されていない場合は、判定が否定されて、ステップＳＴ７０の判定が再び行われる。ステップＳＴ７０において、映像生成部５８Ａから同期信号が入力された場合は、判定が肯定されて、音生成処理はステップＳＴ７２へ移行する。

　ステップＳＴ７２で、出力部５８Ｅは、ステップＳＴ６８で生成された対象被写体強調音情報をＨＭＤ３４に出力し、その後、音生成処理はステップＳＴ７４へ移行する。ステップＳＴ７２の処理が実行されることでＨＭＤ３４に出力された対象被写体強調音情報により示される対象被写体強調音は、ＨＭＤ３４において、スピーカ１５８から出力され、視聴者２８によって聞き取られる。

　ステップＳＴ７４で、ＣＰＵ５８は、音生成処理を終了する条件（音生成処理終了条件）を満足したか否かを判定する。音生成処理終了条件の一例としては、受付デバイス５２，７６又は１５２によって、音生成処理を終了する指示が受け付けられた、との条件が挙げられる。ステップＳＴ７４において、音生成処理終了条件を満足していない場合は、判定が否定されて、音生成処理はステップＳＴ５０へ移行する。ステップＳＴ７４において、音生成処理終了条件を満足した場合は、判定が肯定されて、音生成処理が終了する。

　以上説明したように、情報処理装置１２では、対象被写体位置情報取得部５８Ｂ１により、対象被写体位置情報がＨＭＤ３４から取得され、収音装置側情報取得部５８Ｂ２により、音情報及び収音位置特定情報が複数の収音装置１００の各々から取得される。また、特定部５８Ｃにより、収音位置特定情報及び対象被写体位置情報に基づいて複数の音情報から、対象被写体位置に対応する領域の対象音が特定される。そして、仮想視点映像４６が生成される場合に、調節音情報生成部５８Ｄにより、対象被写体強調音情報が生成される。対象被写体強調音情報は、対象被写体強調音を示す情報である。対象被写体強調音は、対象被写体位置情報取得部５８Ｂ１によって取得された対象被写体位置情報により示される対象被写体位置に対応する領域とは異なる領域から発せられた音（周辺音）よりも対象音が強調された強調対象音を含む音である。従って、生成された仮想視点映像４６により示される対象被写体の位置に対応する領域から発せられた音の視聴者２８による聞き取りに寄与することができる。

　また、情報処理装置１２では、調節音情報生成部５８Ｄにより、第１生成処理と第２生成処理とが選択的に実行される。第１生成処理では、対象被写体強調音情報が生成され、第２生成処理では、総合音情報が生成される。従って、対象被写体強調音情報と総合音情報とを選択的に生成することができる。

　また、情報処理装置１２では、画角情報により示される画角が基準画角未満の場合に第１生成処理が実行され、画角情報により示される画角が基準画角以上の場合に第２生成処理が実行される。従って、対象被写体強調音情報と総合音情報とを画角に応じて選択的に生成することができる。

　また、情報処理装置１２では、仮想視点映像４６がＨＭＤ３４のディスプレイ１５６に表示されている状態で仮想視点映像４６を観察している視聴者２８の観察方向がアイトラッカ１６６によって検出される。ここで、ＣＰＵ１６０により、第３位置対応付け情報と、アイトラッカ１６６での検出結果とに基づいて、対象被写体位置情報が生成され、生成された対象被写体位置情報が対象被写体位置情報取得部５８Ｂ１によって取得される。対象被写体位置情報取得部５８Ｂ１によって取得された対象被写体位置情報は、特定部５８Ｃによる対象音情報の特定に使用され、特定部５８Ｃによって特定された対象音情報は、調節音情報生成部５８Ｄによる対象被写体強調音情報の生成に使用される。従って、視聴者２８の観察方向とは無関係な方向の位置から発せられた音を示す情報が対象被写体強調音情報として誤生成されることを抑制することができる。

　また、情報処理装置１２では、撮像素子１６６Ａによって視聴者２８の眼部２９が撮像されることで得られた眼部画像に基づいて、視聴者２８の視線方向がアイトラッカ１６６によって観察方向として検出される。従って、視聴者２８の視線方向とは異なる方向が観察方向として検出される場合に比べ、観察方向を高精度に検出することができる。

　また、情報処理装置１２では、視聴者２８に対してＨＭＤ３４が装着され、ＨＭＤ３４にはアイトラッカ１６６が設けられている。従って、ＨＭＤ３４にアイトラッカ１６６が設けられていない場合に比べ、視聴者２８に対してＨＭＤ３４が装着されている状態での観察方向を高精度に検出することができる。

　また、情報処理装置１２では、対象被写体画像は、仮想視点映像４６内において対象被写体画像の周辺の画像よりもピントが合っている画像である。従って、対象被写体強調音が発せられている位置を仮想視点映像４６内から特定することができる。

　更に、情報処理装置１２では、複数の収音装置１００が撮像領域内において固定されている。従って、複数の収音装置１００が移動する場合に比べ、収音位置特定情報を容易に取得することができる。

　なお、上記実施形態では、対象被写体位置情報取得部５８Ｂ１がアイトラッカ１６６での検出結果に基づいて対象被写体位置情報を取得する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、受付デバイス５２，７６又は１５２によって受け付けられた指示に基づいて対象被写体位置情報が対象被写体位置情報取得部５８Ｂ１によって取得されるようにしてもよい。この場合、先ず、配信映像（ここでは、一例として、仮想視点映像４６）がＨＭＤ３４によって表示されている状態で、配信映像内の対象被写体画像位置を指示する指示情報が受付デバイス５２，７６又は１５２によって受け付けられる。そして、対象被写体位置情報取得部５８Ｂ１は、第３位置対応付け情報と、受付デバイス５２，７６又は１５２によって受け付けられた指示情報とに基づいて、対象被写体位置情報を取得する。すなわち、対象被写体位置情報取得部５８Ｂ１は、指示情報により指示された対象被写体画像位置に対応する撮像領域内位置特定情報を第３位置対応付け情報から対象被写体位置情報として導出することにより、対象被写体位置情報を取得する。

　本構成によれば、撮像領域とは無関係な画像を用いて対象被写体位置が指示される場合に比べ、対象被写体位置として視聴者２８等が意図していない位置から発せられた音を示す音情報が対象被写体強調音情報として誤生成されることを抑制することができる。なお、ここで、受付デバイス５２，７６又は１５２は、本開示の技術に係る「受付デバイス（アクセプタ）」の一例である。

　また、上記実施形態では、画角情報により示される画角が基準画角以上の場合に対象被写体強調音情報が生成されない形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、視聴者２８の観察方向が単位時間あたりに変化する頻度（以下、「観察方向変化頻度」と称する）が既定頻度以上の場合に、対象被写体強調音情報が生成されないようにしてもよい。

　この場合、調節音情報生成部５８Ｄによって観察方向変化頻度に応じて第１生成処理と第２生成処理とが選択的に実行されるようにすればよい。観察方向変化頻度に応じて第１生成処理と第２生成処理とが選択的に実行される場合、一例として図２３に示すように、先ず、ＨＭＤ３４において、ＣＰＵ１６０は、観察方向特定情報に基づいて、観察方向変化頻度（例えば、Ｎ回／秒）を算出する。ＣＰＵ１６０は、算出した頻度を示す観察方向変化頻度情報を調節音情報生成部５８Ｄに出力する。調節音情報生成部５８Ｄは、観察方向変化頻度情報を参照して第１生成処理又は第２生成処理を実行する。すなわち、観察方向変化頻度が既定頻度以上の場合に、第１生成処理を実行せずに、第２生成処理を実行する。また、観察方向変化頻度が既定頻度未満の場合に、第２生成処理を実行せずに、第１生成処理を実行する。

　観察方向が定まっていない状態で対象被写体強調音がスピーカ１５８から出力されると、対象被写体強調音が視聴者２８に対して不快感を与えてしまう虞がある。そこで、ここでは、対象被写体強調音がスピーカ１５８から出力される場合よりも総合音がスピーカ１５８から出力される方が視聴者２８に対して不快感を与えない観察方向変化頻度の下限値として、官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された固定値が、既定頻度として採用されている。

　なお、ここでは、既定頻度として固定値が採用されているが、受付デバイス５２，７６又は１５２によって受け付けられた指示に従って変更可能な可変値を既定頻度として採用してもよい。

　観察方向変化頻度に応じて第１生成処理と第２生成処理とが選択的に実行される場合、一例として図２４に示すように、ＣＰＵ１６０によって実行される音生成処理は、図２１に示す音生成処理に比べ、ステップＳＴ５４に代えてステップＳＴ１００を有する点、及びステップＳＴ５６に代えてステップＳＴ１０２を有する点が異なる。

　ステップＳＴ１００で、調節音情報生成部５８Ｄは、ＨＭＤ３４から観察方向変化頻度情報を取得し、その後、音生成処理はステップＳＴ１０２へ移行する。

　ステップＳＴ１０２で、調節音情報生成部５８Ｄは、ステップＳＴ１００で取得した観察方向変化頻度情報により示される観察方向変化頻度が既定頻度未満か否かを判定する。ステップＳＴ１０２において、ステップＳＴ１００で取得した観察方向変化頻度情報により示される観察方向変化頻度が既定頻度以上の場合は、判定が否定されて、音生成処理は、図２２に示すステップＳＴ５８へ移行する。ステップＳＴ１０２において、ステップＳＴ１００で取得した観察方向変化頻度情報により示される観察方向変化頻度が既定頻度未満の場合は、判定が肯定されて、音生成処理はステップＳＴ６４へ移行する。

　本構成によれば、対象被写体が頻繁に変わることに伴って対象被写体強調音も切り替わる場合に比べ、対象被写体強調音の頻繁な切り替わりに起因して視聴者２８に対して与える不快感を軽減することができる。

　なお、図２４に示す例では、観察方向変化頻度が既定頻度以上の場合に、音生成処理が図２２に示すステップＳＴ５８へ移行するが、本開示の技術はこれに限定されない。例えば、観察方向変化頻度が既定頻度以上であり、かつ、画角情報により示される画角が基準画角以上の場合に、音生成処理が図２２に示すステップＳＴ５８へ移行するようにしてもよい。

　また、図２４に示す例では、観察方向変化頻度が既定頻度未満の場合に、音生成処理がステップＳＴ６４へ移行するが、本開示の技術はこれに限定されない。例えば、観察方向変化頻度が既定頻度未満であり、かつ、画角情報により示される画角が基準画角未満の場合に、音生成処理が図２２に示すステップＳＴ５８へ移行するようにしてもよい。

　なお、ここでは、観察方向変化頻度が既定頻度以上の場合に、対象被写体強調音情報が生成されない形態例を挙げて説明したが、本開示の技術はこれに限らない。例えば、観察方向変化頻度が既定頻度以上の場合に、対象被写体強調音情報が生成され、生成された対象被写体強調音情報が出力部５８Ｅによって出力されないようにしてもよい。この場合も、スピーカ１５８から対象被写体強調音が出力されないので、対象被写体が頻繁に変わることに伴って対象被写体強調音も切り替わる場合に比べ、対象被写体強調音の頻繁な切り替わりに起因して視聴者２８に対して与える不快感を軽減することができる。

　また、上記実施形態では、画角情報により示される画角が基準画角以上の場合に、対象被写体強調音情報が生成されない形態例を挙げて説明したが、本開示の技術はこれに限らない。例えば、画角情報により示される画角が基準画角以上の場合に、対象被写体強調音情報は生成され、生成された対象被写体強調音情報が出力部５８Ｅによって出力されないようにしてもよい。

　また、上記実施形態では、調節音情報生成部５８Ｄによって第２生成処理が実行されることで総合音情報が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、調節音情報生成部５８Ｄは、第２生成処理を実行することで段階的強調音情報を生成するようにしてもよい。段階的強調音情報は、総合音情報、中間音情報、及び対象被写体強調音情報を含む情報である。中間音情報は、対象被写体音が総合音よりも強調され、かつ、対象被写体強調音よりも抑制された中間音を示す情報である。この場合、出力部５８Ｅは、観察方向変化頻度が既定頻度以上の場合に、調節音情報生成部５８Ｄによって生成された総合音情報、中間音情報、及び対象被写体強調音情報を、総合音情報、中間音情報、及び対象被写体強調音情報の順にＨＭＤ３４に出力する。

　この場合、ＣＰＵ５８によって実行される音生成処理（図２６参照）は、図２２に示す音生成処理に比べ、ステップＳＴ５８に代えてステップ１５０を有する点、及びステップＳＴ６２に代えてステップ１５２を有する点が異なる。図２６に示すステップＳＴ１５０では、調節音情報生成部５８Ｄによって段階的強調音情報が生成され、ステップＳＴ１５２では、ステップＳＴ１５０で生成された段階的強調音情報が出力部５８ＥによってＨＭＤ３４に出力される。

　本構成によれば、ＨＭＤ３４にスピーカ１５８から総合音情報、中間音情報、及び対象被写体強調音情報が、総合音、中間音、及び対象被写体強調音の順に出力され、視聴者２８によって聞き取られる。本構成によれば、対象被写体が頻繁に変わることに伴って対象被写体強調音も切り替わる場合に比べ、対象被写体強調音の頻繁な切り替わりに起因して視聴者２８に対して与える不快感を軽減することができる。

　なお、中間音情報は、無段階式又は多段階式に音量が徐々に大きくなるように細分化された複数の音情報を含む情報であってもよい。

　また、上記実施形態では、対象被写体強調音情報として、強調対象音を含む強調音を示す情報が採用されているが、対象被写体強調音情報は、強調対象音を含み、かつ、周辺音を含まない音を示す情報であってもよい。これにより、対象被写体強調音情報が強調対象音の他に、周辺音を含む音を示す情報である場合に比べ、対象音の容易な聞き取りに寄与することができる。

　また、上記実施形態では、ＨＭＤ３４を例示したが、本開示の技術はこれに限定されない。例えば、図２７に示すように、複数のＨＭＤ３４のうちの特定のＨＭＤ３４に設けられているアイトラッカ１６６での検出結果と第３位置対応付け情報とに基づいて対象被写体位置情報取得部５８Ｂ１によって対象被写体位置情報が取得されるようにしてもよい。図２７に示す例では、視聴者２８Ａ～２８Ｚ（以下、これらを区別して説明する必要がない場合、符号を付さずに単に「視聴者」と称する）の各々にＨＭＤ３４が装着されている。対象被写体位置情報取得部５８Ｂ１は、視聴者２８Ａ～２８Ｚの何れかに装着されているＨＭＤ３４に設けられているアイトラッカ１６６での検出結果と第３位置対応付け情報とに基づいて対象被写体位置情報を取得する。本構成によれば、複数のＨＭＤ３４のうちの特定のＨＭＤ３４を装着している視聴者が着目している対象被写体に対応する対象被写体強調音情報を生成することができる。

　また、上記実施形態では、複数の収音装置１００が撮像領域内に固定されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２８に示すように、対象被写体４７Ａに収音装置３００が取り付けられていてもよい。収音装置３００は、コンピュータ３０２、ＧＰＳ受信機３０４、マイクロフォン３０６、通信Ｉ／Ｆ３０８、及びバスライン３１６を備えている。コンピュータ３０２は、ＣＰＵ３１０、ストレージ３１２、及びメモリ３１４を備えている。なお、図２８に示す例では、図示の都合上、バスライン３１６として１本のバスラインが図示されているが、上記実施形態で説明したバスライン６４，９４及び１７０と同様に、バスライン３１６には、データバス、アドレスバス、及びコントロールバス等が含まれている。

　コンピュータ３０２は、図８に示すコンピュータ２００に対応している。マイクロフォン３０６は、図８に示すマイクロフォン２０７に対応している。通信Ｉ／Ｆ３０８は、図８に示す通信Ｉ／Ｆ２１８に対応している。ＣＰＵ３１０は、図８に示すＣＰＵ２１０に対応している。ストレージ３１２は、図８に示すストレージ２１２に対応している。メモリ３１４は、図８に示すメモリ２１４に対応している。

　ＧＰＳ受信機３０４は、ＣＰＵ３１０からの指示に応じて複数のＧＰＳ衛星（図示省略）からの電波を受信し、受信結果を示す受信結果情報をＣＰＵ３１０に出力する。ＣＰＵ３１０は、ＧＰＳ受信機３０４から入力された受信結果情報に基づいて、緯度、経度、及び高度を示すＧＰＳ情報を算出する。ＣＰＵ３１０は、基地局２０を介して情報処理装置１２と無線通信を行うことで、マイクロフォン３０６から得られた音情報を情報処理装置１２に送信し、かつ、ＧＰＳ情報を収音位置特定情報として情報処理装置１２に送信する。これにより、撮像領域内での対象被写体４７Ａの位置、すなわち、対象被写体位置が情報処理装置１２によって特定される。ここでは、ＧＰＳ情報を収音位置特定情報として用いる形態例を挙げて説明しているが、本開示の技術はこれに限らず、撮像領域内での収音装置３００の位置を特定可能な情報であれば如何なる情報であってもよい。また、複数の収音装置３００が対象被写体４７Ａに取り付けられていてもよい。

　本構成によれば、対象被写体４７Ａに収音装置３００が取り付けられていない場合に比べ、対象音を容易に得ることができる。

　なお、ここでは、対象被写体４７Ａの一人のみに収音装置３００が取り付けられている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像領域内に存在する対象被写体になり得る複数の人物（例えば、サッカーフィールド２４内のプレーヤー及び／又は審判員等）の各々に収音装置３００が取り付けられていてもよい。本構成によれば、撮像領域内の複数の人物の各々に収音装置３００が取り付けられていない場合に比べ、複数の人物間で対象被写体が切り替えられたとしても対象音を容易に得ることができる。

　また、上記実施形態では、複数の収音装置３００が撮像領域内に固定されている形態例を挙げて説明したが、複数の収音装置３００と、複数の人物の各々に取り付けられた収音装置３００とが併用されるようにしてもよい。

　また、上記実施形態では、収音装置１００によって得られた音情報が音量を変えずに情報処理装置１２によって使用される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、複数の収音装置１００によって得られた複数の音情報により示される複数の音間で音量を異ならせるようにしてもよい。

　この場合、特定部５８Ｃは、収音装置側情報取得部５８Ｂ２によって取得された収音位置特定情報と、対象被写体位置情報取得部５８Ｂ１によって取得された対象被写体位置情報とを用いることで、対象被写体位置と複数の収音装置１００との位置関係を特定する。そして、調節音情報生成部５８Ｄは、音情報により示される音が、特定部５８Ｃによって特定された位置関係に従って、一例として図２９に示すように、対象被写体位置から離れた位置の音ほど小さく調節された音になるように、音情報を制御する。このようにして制御された音情報は、例えば、調節音情報生成部５８Ｄによって、対象被写体強調音情報及び総合音情報の生成に使用される。本構成によれば、対象音と周辺音とが混在した状態であっても対象音と周辺音との区別可能な聞き取りに寄与することができる。

　なお、図２９に示す例では、対象被写体位置から収音装置１００までの距離に対して、音情報により示される音の音量が線形的に減衰する態様が示されているが、これに限らず、対象被写体位置から収音装置１００までの距離に対して、音情報により示される音の音量が非線型的に減衰するようにしてもよい。また、音情報により示される音の音量が、階段状に減衰するようにしてもよい。音量を階段状に減衰させる場合、同一の音量の時間間隔を徐々に短くしたり、長くしたりするようにしてもよい。

　また、上記実施形態では、画角情報により示される画角が基準画角未満の場合に第１生成処理が実行され、画角情報により示される画角が基準画角以上の場合に第２生成処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３０に示すように、視点位置４２から撮像領域を観察した場合の視野がサッカーフィールド２４内において予め設定された基準領域２４Ｂを取り囲む視野の場合に第２生成処理が実行されるようにしてもよい。

　一方、一例として図３１に示すように、視点位置４２から撮像領域を観察した場合の視野が基準領域２４Ｂ内に収まる視野の場合に第１生成処理が実行されるようにしてもよい。

　なお、視点位置４２から撮像領域を観察した場合の視野が基準領域２４Ｂを取り囲む視野か否かの判定は、映像生成部５８Ａによって生成された仮想視点映像４６に基準領域２４Ｂの全体を示す画像が含まれているか否かがＣＰＵ５８によって判定されることによって行われるようにすればよい。

　また、一例として図３２に示すように、視点位置４２からの視野に基準領域２４Ｂが収まっていない場合は、第１生成処理が実行されずに第２生成処理が実行されるようにしてもよい。なお、図３０～図３２に示す例では、基準領域２４Ｂとして矩形状の領域が採用されているが、基準領域２４Ｂの形状はこれに限定されず、円形状の領域、又は、矩形以外の多角形状の領域等の他の形状の領域であってもよい。

　また、上記実施形態では、情報処理装置１２のＣＰＵ５８によって映像生成処理及び音生成処理（以下、これらを区別して説明する必要がない場合、「情報処理装置側処理」と称する）が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されず、情報処理装置側処理は、端末装置によって実行されるようにしてもよいし、スマートフォン１４及びＨＭＤ３４等の複数の装置によって分散して実行されるようにしてもよい。

　また、ＨＭＤ３４に対して情報処理装置側処理を実行させるようにしてもよい。この場合、一例として図３３に示すように、ＨＭＤ３４のストレージ１６２には、情報処理装置プログラムが格納されている。ＣＰＵ１６０は、映像生成プログラム６０Ａに従って映像生成部５８Ａ及び取得部５８Ｂとして動作することで映像生成処理を実行する。また、ＣＰＵ１６０は、音生成プログラム６０Ｂに従って取得部５８Ｂ、特定部５８Ｃ、調節音情報生成部５８Ｄ、及び出力部５８Ｅとして動作することで音生成処理を実行する。

　また、上記実施形態では、ＨＭＤ３４を例示したが、本開示の技術はこれに限定されず、スマートフォン、タブレット端末、ヘッドアップディスプレイ、又はパーソナル・コンピュータ等の演算装置付きの各種デバイスであっても代替することが可能である。

　また、上記実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の撮像装置及び複数の収音装置１００が設置可能であれば、如何なる場所であってもよい。

　また、上記実施形態では、基地局２０を用いた無線通信方式を例示したが、これはあくまでも一例に過ぎず、ケーブルを用いた有線通信方式であっても本開示の技術は成立する。

　また、上記実施形態では、無人航空機２７を例示したが、本開示の技術はこれに限定されず、ワイヤで吊るされた撮像装置１８（例えば、ワイヤを伝って移動可能な自走式の撮像装置）によって撮像領域が撮像されるようにしてもよい。

　また、上記では、コンピュータ５０，７０，１００，１５０，２００及び３０２を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ５０，７０，１００，１５０，２００及び／又は３０２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５０，７０，１００，１５０，２００及び／又は３０２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　また、上記実施形態では、ストレージ６０に情報処理装置プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図３４に示すように、非一時的記憶媒体であるＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体４００に情報処理装置プログラムが記憶されていてもよい。この場合、記憶媒体４００に記憶されている情報処理装置プログラムがコンピュータ５０にインストールされ、ＣＰＵ５８は、情報処理装置プログラムに従って、情報処理装置側処理を実行する。

　また、通信網（図示省略）を介してコンピュータ５０に接続される他のコンピュータ又はサーバ装置等の記憶部に情報処理装置プログラムを記憶させておき、情報処理装置１２の要求に応じて情報処理装置プログラムが情報処理装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた情報処理装置プログラムに基づく情報処理装置側処理がコンピュータ５０のＣＰＵ５８によって実行される。

　また、上記実施形態では、ＣＰＵ５８を例示したが、本開示の技術はこれに限定されず、ＧＰＵを採用してもよい。また、ＣＰＵ５８に代えて、複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって情報処理装置側処理が実行されるようにしてもよい。また、ＣＰＵ８８，１６０，２１０及び／又は３１０に代えて、ＧＰＵを採用してもよいし、複数のＣＰＵを採用してもよく、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。

　情報処理装置側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理装置側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで情報処理装置側処理を実行する。

　情報処理装置側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、情報処理装置側処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、情報処理装置側処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、情報処理装置側処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、情報処理装置側処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

　また、上述した情報処理装置側処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

　以上の実施形態に関し、更に以下の付記を開示する。

　（付記１）
　プロセッサと、
　上記プロセッサに内蔵又は接続されたメモリと、を含み、
　上記プロセッサは、
　撮像領域内に散在する複数の収音装置の各々によって得られた音を示す複数の音情報、上記撮像領域内での上記複数の収音装置の各々の位置を示す収音装置位置情報、及び上記撮像領域内での対象被写体の位置を示す対象被写体位置情報を取得し、
　取得した上記収音装置位置情報及び上記対象被写体位置情報に基づいて、上記複数の音情報から、上記対象被写体の位置に対応する領域の対象音を特定し、
　上記撮像領域に対する仮想視点の位置を示す視点位置情報、上記撮像領域に対する仮想視線の方向を示す視線方向情報、上記撮像領域に対する画角を示す画角情報、及び上記対象被写体位置情報に基づいて、上記撮像領域が複数の撮像装置によって複数の方向から撮像されることで得られた複数の画像が用いられることによって仮想視点映像が生成される場合に、特定した上記対象音が、取得した上記対象被写体位置情報により示される上記対象被写体の位置に対応する領域とは異なる領域から発せられた音よりも強調された対象被写体強調音を含む音を示す対象被写体強調音情報を生成する
　情報処理装置。

Claims

　プロセッサと、
　上記プロセッサに内蔵又は接続されたメモリと、を備え、
　上記プロセッサは、
　複数の収音装置の各々によって得られた音を示す複数の音情報、前記複数の収音装置の各々の位置を示す収音装置位置情報、及び撮像領域内での対象被写体の位置を示す対象被写体位置情報を取得し、
　取得した前記収音装置位置情報及び前記対象被写体位置情報に基づいて、前記複数の音情報から、前記対象被写体の位置に対応する領域の対象音を特定し、
　前記撮像領域に対する仮想視点の位置を示す視点位置情報、前記撮像領域に対する仮想視線の方向を示す視線方向情報、前記撮像領域に対する画角を示す画角情報、及び前記対象被写体位置情報に基づいて、前記撮像領域が複数の撮像装置によって複数の方向から撮像されることで得られた複数の画像が用いられることによって仮想視点映像が生成される場合に、特定した前記対象音が、取得した前記対象被写体位置情報により示される前記対象被写体の位置に対応する領域とは異なる領域から発せられた音よりも強調された対象被写体強調音を含む音を示す対象被写体強調音情報を生成する
　情報処理装置。
　前記プロセッサは、前記対象被写体強調音情報を生成する第１生成処理と、前記複数の収音装置の各々によって得られた複数の音を総合させた総合音を示す総合音情報を、取得した前記音情報に基づいて生成する第２生成処理と、を選択的に実行する請求項１に記載の情報処理装置。
　前記プロセッサは、前記画角情報により示される画角が基準画角未満の場合に前記第１生成処理を実行し、前記画角情報により示される画角が前記基準画角以上の場合に前記第２生成処理を実行する請求項２に記載の情報処理装置。
　前記撮像領域を示す撮像領域画像が表示装置によって表示されている状態で前記撮像領域画像内の前記対象被写体を示す対象被写体画像の位置を指示する指示情報が受付デバイスによって受け付けられ、
　前記プロセッサは、前記撮像領域内の位置と前記撮像領域を示す撮像領域画像内の位置との対応関係を示す対応関係情報、及び前記受付デバイスによって受け付けられた前記指示情報に基づいて、前記対象被写体位置情報を取得する請求項１から請求項３の何れか一項に記載の情報処理装置。
　前記撮像領域を示す撮像領域画像が表示装置によって表示されている状態で前記撮像領域画像を観察している人物の観察方向がディテクタによって検出され、
　前記プロセッサは、前記撮像領域内の位置と前記撮像領域を示す撮像領域画像内の位置との対応関係を示す対応関係情報、及び前記ディテクタでの検出結果に基づいて、前記対象被写体位置情報を取得する請求項１から請求項３の何れか一項に記載の情報処理装置。
　前記ディテクタは、撮像素子を有し、前記撮像素子によって前記人物の眼部が撮像されることで得られた眼部画像に基づいて前記人物の視線方向を前記観察方向として検出する請求項５に記載の情報処理装置。
　前記表示装置は、前記人物に対して装着されるヘッドマウントディスプレイであり、
　前記ヘッドマウントディスプレイに前記ディテクタが設けられている請求項５又は請求項６に記載の情報処理装置。
　前記ヘッドマウントディスプレイは、複数存在しており、
　前記プロセッサは、複数の前記ヘッドマウントディスプレイのうちの特定のヘッドマウントディスプレイに設けられている前記ディテクタでの検出結果と、前記対応関係情報とに基づいて前記対象被写体位置情報を取得する請求項７に記載の情報処理装置。
　前記プロセッサは、前記観察方向が単位時間あたりに変化する頻度が既定頻度以上の場合に、前記対象被写体強調音情報を生成しない請求項５から請求項８の何れか一項に記載の情報処理装置。
　前記プロセッサは、
　生成した前記対象被写体強調音情報を出力可能であり、
　前記観察方向が単位時間あたりに変化する頻度が既定頻度以上の場合に、生成した前記対象被写体強調音情報を出力しない請求項５から請求項８の何れか一項に記載の情報処理装置。
　前記プロセッサは、
　前記複数の収音装置の各々によって得られた複数の音を総合させた全体音を示す全体音情報と、前記対象音が前記全体音よりも強調され、かつ、前記対象被写体強調音よりも抑制された中間音を示す中間音情報とを生成し、
　前記観察方向が単位時間あたりに変化する頻度が既定頻度以上の場合に、生成した前記全体音情報、前記中間音情報、及び前記対象被写体強調音情報を、前記全体音情報、前記中間音情報、及び前記対象被写体強調音情報の順に出力する請求項５から請求項８の何れか一項に記載の情報処理装置。
　前記対象被写体強調音情報は、前記対象被写体強調音を含み、かつ、前記異なる位置から発せられた音を含まない音を示す情報である請求項１から請求項１１の何れか一項に記載の情報処理装置。
　前記プロセッサは、
　取得した前記収音装置位置情報及び前記対象被写体位置情報を用いることで、前記対象被写体の位置と前記複数の収音装置との位置関係を特定し、
　前記複数の音情報により各々示される音は、前記プロセッサによって特定された前記位置関係に従って、前記対象被写体の位置から離れた位置の音ほど小さく調節された音である請求項１から請求項１２の何れか一項に記載の情報処理装置。
　前記仮想視点映像に含まれる前記対象被写体を示す仮想視点対象被写体画像は、前記仮想視点映像内において前記仮想視点対象被写体画像の周辺の画像よりもピントが合っている画像である請求項１から請求項１３の何れか一項に記載の情報処理装置。
　前記収音装置位置情報は、前記撮像領域内において固定されている前記収音装置の位置を示す情報である請求項１から請求項１４の何れか一項に記載の情報処理装置。
　前記複数の収音装置のうちの少なくとも１つは前記対象被写体に取り付けられている請求項１から請求項１４の何れか一項に記載の情報処理装置。
　前記複数の収音装置の各々は、前記撮像領域内において前記対象被写体を含めた複数の物体に取り付けられている請求項１から請求項１４の何れか一項に記載の情報処理装置。
　複数の収音装置の各々によって得られた音を示す複数の音情報、前記複数の収音装置の各々の位置を示す収音装置位置情報、及び撮像領域内での対象被写体の位置を示す対象被写体位置情報を取得し、
　取得した前記収音装置位置情報及び前記対象被写体位置情報に基づいて、前記複数の音情報から、前記対象被写体の位置に対応する領域の対象音を特定し、
　前記撮像領域に対する仮想視点の位置を示す視点位置情報、前記撮像領域に対する仮想視線の方向を示す視線方向情報、前記撮像領域に対する画角を示す画角情報、及び前記対象被写体位置情報に基づいて、前記撮像領域が複数の撮像装置によって複数の方向から撮像されることで得られた複数の画像が用いられることによって仮想視点映像が生成される場合に、特定した前記対象音が、取得した前記対象被写体位置情報により示される前記対象被写体の位置に対応する領域とは異なる領域から発せられた音よりも強調された対象被写体強調音を含む音を示す対象被写体強調音情報を生成することを含む
　情報処理方法。
　コンピュータに、
　複数の収音装置の各々によって得られた音を示す複数の音情報、前記複数の収音装置の各々の位置を示す収音装置位置情報、及び撮像領域内での対象被写体の位置を示す対象被写体位置情報を取得し、
　取得した前記収音装置位置情報及び前記対象被写体位置情報に基づいて、前記複数の音情報から、前記対象被写体の位置に対応する領域の対象音を特定し、
　前記撮像領域に対する仮想視点の位置を示す視点位置情報、前記撮像領域に対する仮想視線の方向を示す視線方向情報、前記撮像領域に対する画角を示す画角情報、及び前記対象被写体位置情報に基づいて、前記撮像領域が複数の撮像装置によって複数の方向から撮像されることで得られた複数の画像が用いられることによって仮想視点映像が生成される場合に、特定した前記対象音が、取得した前記対象被写体位置情報により示される前記対象被写体の位置に対応する領域とは異なる領域から発せられた音よりも強調された対象被写体強調音を含む音を示す対象被写体強調音情報を生成することを含む処理を実行させるためのプログラム。