WO2023248832A1

WO2023248832A1 - 遠隔視認システム、現地撮像システム

Info

Publication number: WO2023248832A1
Application number: PCT/JP2023/021515
Authority: WO
Inventors: 翔吾久保田; 麻里子西山; 淳弘千葉; 哲男池田; 洋章鳥海; 裕也高山; 真秀林
Original assignee: ソニーグループ株式会社
Priority date: 2022-06-22
Filing date: 2023-06-09
Publication date: 2023-12-28

Abstract

遠隔視認システムは、人の視野範囲より広角の画像の表示を行う表示装置と、表示装置の視認者の頭部の位置及び方向を検出する頭部位置・方向検出装置と、現地撮像システムから受信された遠隔地における撮像画像を表示装置に表示させる処理、及び頭部位置・方向検出装置による視認者の頭部の位置及び方向の情報に基づいて注視方向情報を生成し、注視方向情報を前記現地撮像システムに送信する処理を行う制御装置を備える。現地撮像システムは、人の視野範囲より広角の画像の撮像を行う撮像装置と、方向を示す方向指示装置と、撮像装置の撮像画像を遠隔視認システムに送信する処理、及び受信した注視方向情報に基づいて方向指示装置による指示方向を制御する処理を行う制御装置を備える。

Description

遠隔視認システム、現地撮像システム

　本技術は互いに通信を行う遠隔視認システム、現地撮像システムに関する。

　通信技術の発展に伴い、遠隔旅行というユースケースが提案されている。ユーザは、旅行先に行くことなしに、旅行先の現地側の参加者とコミュニケーションを取りながら、現地側の様子をリアルタイムに伝送される映像・音声を視聴する。これにより、あたかもユーザ自身が旅行に行ったかのような体験を楽しむことができる。

　一方、全周囲ディスプレイと分類できる技術がある。これは、曲面や複数の平面で構成されるひとつづきの画面によって、単独または複数のユーザを取り囲むことができるように配置されたディスプレイを指す。具体的には複数台のプロジェクターによる投影やＬＥＤ（Light Emitting Diode）ボードのようなモジュラー型ディスプレイによって構成される。
　下記特許文献１には全周囲ディスプレイに関する技術が開示されている。

　また撮像装置によって撮像され配信された画像の表示に関し、特に露出制御についての発明が特許文献２に開示されている。

特開２０２０－１５５８４７号公報特開２００６－３１９４７４号公報

　全周囲ディスプレイはユーザに臨場感や没入感のある映像体験を提供するので、上述の遠隔旅行の目的に適っている。
この遠隔旅行などで現地側での参加者と、全周囲ディスプレイ側のユーザが、旅行に一緒に行った感覚を得るためには、両者で現地側の「同じものが同じように見えている」状態が理想である。
ところが「同じものが同じように見えている」という状態は、単に旅行先などの現地の撮像画像を配信して、それを遠隔地のユーザに見てもらうだけでは実現できない。

　そこで本技術は、例えば遠隔旅行などにおいて、現地ユーザと遠隔地でディスプレイ表示を視認するユーザとの間で適切に画像（光景）が共有できるようにすることを目的とする。

　本技術に係る遠隔視認システムは、人の視野範囲より広角の画像の表示を行う表示装置と、前記表示装置の視認者の頭部の位置及び方向を検出する頭部位置・方向検出装置と、現地撮像システムから送信された遠隔地における撮像画像を前記表示装置に表示させる処理、及び前記頭部位置・方向検出装置による視認者の頭部の位置及び方向の情報に基づいて注視方向情報を生成し、前記注視方向情報を前記現地撮像システムに送信する処理を行う制御装置と、を備える。
　遠隔視認システムでは、表示装置によって遠隔地にある現地撮像システムが撮像する光景を視認できる。その場合に視認者の注視方向を現地撮像システムに伝えるようにする。

　本技術に係る現地撮像システムは、人の視野範囲より広角の画像の撮像を行う撮像装置と、方向を示す方向指示装置と、前記撮像装置の撮像画像を遠隔視認システムに送信する処理、及び前記遠隔視認システムにおける表示装置の視認者の注視方向情報に基づいて前記方向指示装置による指示方向を制御する処理を行う制御装置と、を備える。
　現地撮像システム側では、遠隔視認システムの視認者が、現実の光景においてどの方向を注視しているかを示すようにする。

　また本技術に係る現地撮像システムは、人の視野範囲より広角の画像の撮像を行う撮像装置と、前記撮像装置の撮像画像を遠隔視認システムに送信する処理、及び前記遠隔視認システムにおける表示装置の視認者の注視方向情報に基づいて前記撮像装置の制御を行う制御装置と、を備える。
　現地撮像システム側では、遠隔視認システムの視認者が、視認している方向に応じて撮像装置の制御を行うようにする。

本技術の第１の実施の形態のシステム構成のブロック図である。実施の形態で用いる全天球表示装置の説明図である。実施の形態の現地側システムの態様の説明図である。実施の形態の方向指示装置の態様の説明図である。実施の形態の方向指示装置の態様の説明図である。実施の形態の方向指示装置の態様の説明図である。実施の形態の現地側システムの態様の説明図である。実施の形態の現地側システムの態様の説明図である。実施の形態の現地側システムの態様の説明図である。実施の形態の現地側システムの態様の説明図である。実施の形態の情報処理装置のブロック図である。実施の形態のシステム間の通信及び処理のシーケンスの説明図である。実施の形態の注視方向情報の生成の説明図である。第１の実施の形態の遠隔視認システムの処理のフローチャートである。第１の実施の形態の現地撮像システムの処理のフローチャートである。第２の実施の形態のシステム構成のブロック図である。第２の実施の形態の遠隔視認システムの処理のフローチャートである。第３の実施の形態のシステム構成のブロック図である。第３の実施の形態の全天球ディスプレイの表示画像の説明図である。第３の実施の形態のサブディスプレイの表示画像の説明図である。第３の実施の形態の遠隔視認システムの処理のフローチャートである。第３の実施の形態のサブディスプレイの表示画像の説明図である。第４の実施の形態の遠隔視認システムの処理のフローチャートである。第４の実施の形態の現地撮像システムの処理のフローチャートである。第５の実施の形態の全天球ディスプレイの表示画像の説明図である。第５の実施の形態の全天球ディスプレイの表示画像の説明図である。第５の実施の形態の注視方向情報の生成の説明図である。第６の実施の形態の領域毎の圧縮率の説明図である。第６の実施の形態の現地撮像システムの処理のフローチャートである。

　以下、実施の形態を次の順序で説明する。
＜１．第１の実施の形態＞
＜２．第２の実施の形態＞
＜３．第３の実施の形態＞
＜４．第４の実施の形態＞
＜５．第５の実施の形態＞
＜６．第６の実施の形態＞
＜７．複数の遠隔ユーザ５＞
＜８．まとめ及び変形例＞

　なお、本開示では「画像」とは、動画、静止画のいずれをも指す。主に動画を例にして説明するが、撮像されたり表示されたりする画像は動画に限らず静止画や、複数の静止画によるスライドショウのようなものでもよい。特に「画像」と「映像」を区別せず、以下では主に「画像」と表記する。
　また「画像」とは、実際に画面に表示される画像を指すが、画面に表示されるまでの信号処理過程や伝送路における「画像」とは画像データを指す。

＜１．第１の実施の形態＞
　図１は第１の実施の形態のシステム構成を示している。
　実施の形態のシステムは、遠隔視認システム１と現地撮像システム３がネットワーク２により相互に通信可能に構成されている。

即ち遠隔視認システム１と現地撮像システム３は、遠隔視認システム１側の通信装置２１と、現地撮像システム３側の通信装置２２の間のネットワーク通信により、相互に通信可能とされる。

　ネットワーク２は、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）、衛星通信網、電話通信網、その他の各種のネットワークが想定される。なおネットワーク２を介さずに遠隔視認システム１と現地撮像システム３が直接通信接続してもよい。

　遠隔視認システム１は、制御端末１０、全天球表示装置１１、頭部位置・方向検出装置１２を少なくとも備える。加えて図示のようにマイクロフォン１３、スピーカ１４、操作部１９等、ユーザインタフェースのための装置を備えてもよい。

　現地撮像システム３は、制御端末３０、全天球カメラ３１、方向指示装置３２を少なくとも備える。加えて図示のようにマイクロフォン３３、スピーカ３４等、ユーザインタフェースのための装置を備えてもよい。

　この遠隔視認システム１と現地撮像システム３により、例えば遠隔旅行のような体験をユーザに提供する。
　現地撮像システム３は、旅行先などの現地に居るユーザ（以下「現地ユーザ６」とする（図７等参照））が所持するものとされたり、或いは現地ユーザ６とともに行動したりするものとされる。
　遠隔視認システム１は、現地とは離れた場所における施設であって、全天球表示装置１１が配置された場所に構築され、その遠隔地のユーザ（以下「遠隔ユーザ５」とする（図２参照））が、現地の光景を配信される画像により視認できるものとする。

　例えば現地撮像システム３においては周囲の光景を全天球カメラ３１で撮像する。その撮像画像はネットワーク２を介して遠隔視認システム１に送信される。
　遠隔視認システム１では全天球表示装置１１により、現地の光景を表示する。これにより全天球表示装置１１を視認する遠隔ユーザ５は、現地ユーザ６が実際に見ている光景と同等の光景を視認することができる。

　特に全天球表示装置１１は、全周囲ディスプレイなどとして呼ばれる、人の視野範囲より広角の画像の表示を行う表示装置として構成される。
　但し本開示において「全天球」或いは「全周囲」は、必ずしも厳密な意味で用いているのではない。つまり必ずしも３６０度周囲、或いは３次元空間としての周囲全面という意味ではなく、あくまでも、一般的な人の視野範囲より広い範囲で画像を表示できるものとする。

　例えば全天球表示装置１１の例を図２に示す。
・箱状／角柱状
・球状（ドーム又はドームの一部）
・円筒状（円筒の一部）
・トーラス
・平面と曲面の組合せ
　などの形態が想定される。

　望ましくは、図示のように、１又は複数の遠隔ユーザ５の周囲を広く囲むような大型ディスプレイとされ、ディスプレイで囲まれた内部エリアを遠隔ユーザ５が自由に移動できるようなものが想定される。また内部エリアに椅子、ソファー等が設けられ、遠隔ユーザ５が椅子等に座って周囲を視認できるような形態でもよい。

　このような全天球表示装置１１に現地ユーザ６が見ている光景が表示されることで、遠隔ユーザ５は、現地ユーザ６の旅行先の光景を共有する。特に全天球表示装置１１が、遠隔ユーザ５の周囲を広く囲む大型のディスプレイであることで、遠隔ユーザ５は没入感を得やすいものとなる。全天球表示装置１１が、人の視野より広い範囲の表示を行うため、遠隔ユーザ５は内部エリア内で任意の位置で周囲を見渡すことで、実際に現地に居る状態に近い体験ができるためである。

　このような全天球表示装置１１は、例えば次のような構成例により、上述の形状を実現できる。
・ＬＥＤウォールのようなモジュラーディスプレイ
・プロジェクター
・ＦＰＤ（Flat Panel Display）もしくはカーブドディスプレイ

　ＬＥＤウォールのようなモジュラーディスプレイとは、例えばＬＥＤ表示パネルを複数、水平・垂直方向に並べることで、図２のような各種の形状の大型ディスプレイとするものである。
プロジェクターについては、１つのプロジェクターにより魚眼レンズなどを介して全周囲投影をすることが考えられる。或いは複数のプロジェクターを用い、各プロジェクターの画角範囲の境界付近が円滑な画像となるように、エッジブレンディングして投影するようにしてもよい。
ＦＰＤやカーブドディスプレイは、単独で用いてもよいし、複数をタイリングして用いてもよい。

　なお全天球表示装置１１は、ステレオ画像を表示できるようにしてもよい。

さらに全天球表示装置１１は、音声出力部を備え、現地の音声を出力するようにしもよい。
　例えば図１の現地撮像システム３におけるマイクロフォン３３で集音された音声が遠隔視認システム１に送信されるようにする。そして遠隔視認システム１ではスピーカ１４が全天球表示装置１１の内部エリアに対して現地撮像システム３から送信されてきた音声を出力するようにする。
　これにより遠隔ユーザ５は、現地の光景を見るだけでなく、現地の環境音や、現地ユーザ６の声なども聞くことができる。

　また全天球表示装置１１内に居る遠隔ユーザ５の発する声などを集音するマイクロフォン１３が設けられ、現地撮像システム３に送信されるようにするとよい。現地撮像システム３側では、遠隔ユーザ５の声などの音声を受信し、スピーカ３４から出力する。これにより現地ユーザ６は遠隔ユーザ５の声などを聞くことができる。

　このように相互に音声も伝えることで、遠隔ユーザ５は、より実際に現地ユーザ６と一緒に旅行先に居るような体験が可能となる。

　以上のような全天球表示装置１１での表示のために、現地撮像システム３には全天球カメラ３１が設けられる。
　全天球カメラ３１は、たとえば、次のものから選択される。
・画角１８０度から２５０度の魚眼レンズを備えた単独のカメラ
・魚眼レンズを備えたカメラ２台を背中合わせに配置して３６０度を撮影可能にしたもの
・複数台のカメラを略円周上もしくは略球面上に配置して１８０度から３６０度を撮影可能にしたもの

２台以上のカメラを使用する場合、現地撮像システム３側か遠隔視認システム１側で撮像画像のスティッチ処理を行い、シームレスな全周囲画像が表示できるようにする。
また全天球カメラ３１は、さらに、隣接させたカメラでステレオ撮影を行うようにしてもよい。これにより全天球表示装置１１に３次元映像を表示し、遠隔ユーザ５がより強い没入感を得ることが可能になる。

　本実施の形態では、遠隔視認システム１において頭部位置・方向検出装置１２を設けることで、遠隔ユーザ５の注視方向を検出し、これを注視方向情報として現地撮像システム３に通知できるようにする。
　またこれに対応して現地撮像システム３には方向指示装置３２を設け、現地ユーザ６に遠隔ユーザ５が注視している方向を提示できるようにしている。
これは次の理由による。

　現状、遠隔地間での画像共有は、一般的にパーソナルコンピュータやテレビジョンモニタなどの小型の平面ディスプレイで見ることが想定されている。その場合、ユーザはポインティングデバイスやタッチによる操作で表示画面上の領域を指定することができる。例えば全天球画像から一部を切り出して表示させるような場合に、そのような操作が可能であり、ユーザは全天球画像のうちで任意の方向の画像を見ることができる。

　ところが、遠隔旅行のようなユースケースで上述の全天球表示装置１１のような大型のディスプレイを用いる場合、遠隔ユーザ５が自分の注視領域を現地ユーザ６に伝えることは容易ではない。

　なぜなら、全天球表示装置１１のように表示領域が広く、ユーザからディスプレイに対する見込み角が大きいと、一度に見渡すことができず、表示領域の代表点（例えば表示領域の中心）と注視領域が必ずしも一致しないからである。
　また、表示領域が広いため、ポインティングデバイスやタッチによる操作も広い範囲内で行わなければならず、容易な操作とならない。

　本実施の形態のように、全天球表示装置１１に対する遠隔ユーザ５の注視領域をシステムに入力するためには、遠隔ユーザ５の視線方向をセンシングすることが有効であると考えられる。ところが全天球表示装置１１とユーザの位置関係（ユーザの向きも含む）は、平面ディスプレイの場合とは異なり固定でない。平面ディスプレイの場合、ユーザは画面中央に正対すると想定されるが、本実施の形態の場合、上述のように遠隔ユーザ５は全天球表示装置１１の内部エリアを移動できるためである。そのため遠隔ユーザ５については視線方向だけでなく、頭部の位置を測定することが必要となる。

　そのため遠隔視認システム１には頭部位置・方向検出装置１２が設けられ、全天球表示装置１１を視認している遠隔ユーザ５の頭部の位置及び方向を検出する。
　頭部の位置とは、全天球表示装置１１の内部エリアにおける位置であり、遠隔ユーザ５の居る位置と考えてもよい。
　頭部の方向とは顔（目）の向きであり、視線方向に相当する。
　頭部位置・方向検出装置１２が、遠隔ユーザ５の頭部の位置・方向を検出し、それを制御端末１０に通知する。これにより制御端末１０は、遠隔ユーザ５が全天球表示装置１１内のどの方向を視認しているかを判定できるようにしている。判定処理の詳細は後述する。

　この頭部位置・方向検出装置１２は、例えば遠隔ユーザ５が頭部に装着するトラッカーや、遠隔ユーザ５を撮影して姿勢推定を行う撮影・画像解析システムなどとして実現可能である。

　トラッカーとしては、アウトサイドイン方式のものがある。これは同期がとれた光源とディテクタ（トラッカー側）の組み合わせで構成される。
　光源がシート状ビームを、全天球表示装置１１の内部エリアのＸＹ方向にそれぞれ掃引し、ディテクタが検出して座標を計算するものである。ディテクタが３カ所以上あれば方向（３点を含む平面の法線ベクトル）も計算できる。

　またトラッカーとして反射マーカー方式もある。光源一体型カメラを全天球表示装置１１の内部エリアの隅などに設置し、マーカー（再帰反射材）の位置を測定するものである。

　またトラッカーとして磁気式のものもある。これはソースから発生した磁場によりセンサコイルに発生する励磁電流を検出し、位置及び角度を計算するものである。

　姿勢推定については、ＲＧＢ画像及びデプス（距離情報）を得るカメラで人物を撮像し、画像解析を行うシステムを用いることが考えられる。例えば人物の画像について、機械学習ベースの推定で、ボーンデータ（骨格データ）を求めて姿勢を推定し、姿勢から頭部の位置と方向を検出するものである。

　以上のような頭部位置・方向検出装置１２を設け、ユーザの注視方向が計算できるようにする。
　なお、実際には遠隔ユーザ５の頭部の位置及び向きだけでなく、視線方向により注視方向は変化する。但し、眼球運動の範囲が３０度前後であることから、その範囲をカバーするように注視している領域を大まかに判定することで、ユーザの実際の注視領域を含む画像上の領域を判定できることになる。

　現地撮像システム３には、遠隔ユーザ５の注視領域を現地ユーザ６に伝えるための方向指示装置３２が設けられている。方向指示装置３２は、視覚により提示するもの、聴覚により提示するもの、或いはそれらの両方を備えるものが想定される。
　例えば視覚によるものとしては、
・指示針、ロボットの顔、ぬいぐるみの顔、アバター正面を表示したディスプレイ等とそれらを任意方向に向ける回転機構
・アバター上面を表示した平置きされた平面ディスプレイ
・アバターを任意方向から観察可能にした円筒ディスプレイ
　などが想定される。

　また聴覚によるものとしては、
・指向性スピーカアレイまたは回転機構を持つ指向性スピーカ
・ジャイロセンサーやコンパス等を内蔵し、立体音響を再現することのできるヘッドフォンまたはイヤーフォン
　などが想定される。

　方向指示装置３２の具体例とともに現地撮像システム３の態様をいくつか例示する。
　図３は、現地撮像システム３を車椅子型で構成した例である。
　車椅子４０に設けられたテーブルに、全天球カメラ３１や方向指示装置３２が搭載されている。テーブルではなく座面或いはフレームなどに全天球カメラ３１や方向指示装置３２が取り付けられてもよい。

　この場合の方向指示装置３２としては、図４のように円筒形でアバターやキャラクター等が立体表示可能なものがある。或いは図５のように透明な円筒形として、内部にアバター等が立体表示可能としてもよい。さらには図６のように、透明で顔画像などを立体表示可能なものとしてもよい。
　アバター、キャラクター、或いは実際の顔画像などは、遠隔ユーザ５を示すものとする。そしてアバター等の顔の向きにより、遠隔ユーザ５の注視方向が提示されるようにする。

　図７は現地撮像システム３をリュックサック型で構成した例である。
　リュックサック４１に取り付けたアームの先に全天球カメラ３１を取り付ける。方向指示装置３２は、肩乗せ型とした例である。この方向指示装置３２は、ぬいぐるみ、人形、ロボットなどとして、現地ユーザ６の肩などに装着できるようにする。そして頭部が回転したり上下したりするなどの機構を設ける。つまりぬいぐるみ等の顔の方向が実際に変化して、遠隔ユーザ５の注視方向を提示するようにする。

　図８は現地撮像システム３をキャリーケース４２及び自走式ロボット４４で構成した例である。
　キャリーケース４２に取り付けたアームの先に全天球カメラ３１を取り付ける。また方向指示装置３２は、自走式ロボット４４に取り付けたディスプレイパネルとする。自走式ロボット４４は現地ユーザ６とともに移動するものとし、ディスプレイパネルにアバター等を表示する。そしてアバター等の顔の方向により遠隔ユーザ５の注視方向を提示するようにする。

　図９は、車椅子４０に人型の方向指示装置３２を乗せた例である。車椅子４０に乗った人型のロボットとして頭部にディスプレイパネルを設け、ディスプレイパネルに人物の顔などを表示する。そして表示される顔の方向により遠隔ユーザ５の注視方向を提示する。

　図１０は人力車４３を用いる例である。人力車４３に全天球カメラ３１を取り付けるとともに、ぬいぐるみ、人形などの形態の方向指示装置３２を設ける。例えば現地ユーザ６とともにぬいぐるみ等が人力車４３に乗っているようにする。ぬいぐるみ等は頭部が上下左右に動くものとする。現地ユーザ６は、ぬいぐるみ等の頭部の方向により遠隔ユーザ５の注視方向を知ることができるようにする。

　以上は例示に過ぎず、遠隔視認システム１としては多様な組み合わせや形態が考えられる。人形、ぬいぐるみ等は、頭部が任意の方向に動くだけでなく、目が動くようにしてもよい。
　例えば遠隔視認システム１を搭載するものとしては、車椅子４０、リュックサック４１、キャリーケース４２、人力車４３、自走式ロボット４４に限らず、衣服、帽子、自転車、自動車、飛行体、船舶などでもよい。

　方向指示装置３２の形態としては、二次元ディスプレイ、三次元ディスプレイ、ホログラム表示装置、人形、ぬいぐるみ、ロボット、矢印等で方向を示す機構、光や色で方向を示す機構などでもよい。

　さらに方向指示装置３２は、音声で方向を示すものでもよい。図７では現地ユーザ６がイヤーフォン４５を装着しているが、これが図１のスピーカ３４として機能し、方向を音声で伝えるようにしてもよい。
　また車椅子４０、人力車４３、自走式ロボット４４などに搭載するスピーカ３４の出力指向性を制御して、音声の方向により、注視方向がわかるようにしてもよい。

　以上のような例を想定した上で図１に戻って説明する。
　遠隔視認システム１における制御端末１０は、図示のように表示制御部１０ａ、注視情報処理部１０ｂとしての機能を有する。

　表示制御部１０ａは、全天球表示装置１１の表示制御を行う機能である。表示制御部１０ａは、通信装置２１を介して受信した全天球カメラ３１の撮像画像を全天球表示装置１１に表示させる処理を行う。
　現地撮像システム３から画像とともに音声が送信されてくる場合は、表示制御部１０ａは送信されてきた音声信号をスピーカ１４から出力させる処理を行う。

　注視情報処理部１０ｂは、頭部位置・方向検出装置１２が検出した遠隔ユーザ５の頭部の位置・方向の情報に基づいて、全天球カメラ３１の位置を基準とした方向の情報である注視方向情報を生成して、現地撮像システム３に送信する処理を行う。

　なお制御端末１０は、以上の表示制御部１０ａ、注視情報処理部１０ｂの処理以外に、各種の処理を行う。
　例えばマイクロフォン１３による音声を現地撮像システム３に送信する処理、操作部１９による操作情報を現地撮像システム３に送信する処理なども行う。

　現地撮像システム３の制御端末３０は、カメラ制御部３０ａ、方向指示制御部３０ｂとしての機能を有する。

　カメラ制御部３０ａは、全天球カメラ３１の撮像動作を制御する処理や、全天球カメラ３１による撮像画像を遠隔視認システム１に送信する処理を行う。

　カメラ制御部３０ａによる全天球カメラ３１の制御としては、例えば露光補正に関する制御がある。例えば次の制御処理のいずれか、または組合せによって露光補正を行う。
・シャッタースピード調整
・絞り調整
・ＩＳＯ感度（イメージセンサの信号増幅）調整
・ＮＤフィルタ挿入

　またカメラ制御部３０ａは、フォーカス調整制御やホワイトバランス調整制御を行うこともできる。
　フォーカス制御により、遠隔ユーザ５が、現地側の任意の対象物を、その対象物にフォーカスがあった状態で見ることができるにすることができる。
　またホワイトバランス調整制御により、遠隔ユーザ５が、現地側の様子をより忠実な色再現で見ることができるようにすることができる。

　そして特にカメラ制御部３０ａは、以上の露出制御、フォーカス調整制御、ホワイトバランス調整制御などを、遠隔視認システム１からの注視方向情報に基づいて行う。

　露出制御に関しては、注視方向情報に基づくことで、全天球カメラ３１の撮像画像内で、遠隔ユーザ５の注視している領域の露出が適切になるように制御する。例えば注視領域内の代表点の輝度、領域内の輝度の最高値、最低値、平均値、輝度ヒストグラムを参照して、その領域の露出が適切であるか否か判定し、適切でなければ露出制御を行う。

　これにより、全天球表示装置１１の表示画像のうちで、遠隔ユーザ５が注視している方向の画像は適正な露出で撮像された画像となる。
　例えば全天球カメラ３１が日光を含んで撮像している場合に自動露出制御等により露出を下げてしまうと、遠隔ユーザ５が視認している方向の画像が露出不足で暗い画像となってしまうことがある。ところが、遠隔ユーザ５が視認している画像領域で露出が適切であるか否かを判定して露出制御を行うことで、現地での周囲の光景の明暗に関わらず、遠隔ユーザ５の注視領域が適切な明るさで撮像されることになる。

　フォーカス調整制御に関しても、注視方向情報に基づくことで、遠隔ユーザ５が注視している被写体に対して合焦状態とすることができ、遠隔ユーザ５が適切なフォーカス状態で画像を見ることができる。

　ホワイトバランス調整制御に関しては、例えば現地が屋外（太陽光の下）か、屋内（照明下）などに応じて適切に調整することで、適切な色合いの画像を全天球表示装置１１で表示させることができるが、特に注視方向情報に基づくことで、遠隔ユーザ５が注視している方向の被写体に応じた調整を行うことで、現地ユーザ６と同様の色合いの被写体を視認できる。

　カメラ制御部３０ａによる撮像画像の送信処理としては、全天球カメラ３１で撮像された画像、即ち現地で撮像される動画等について、所定の通信フォーマットにして送信する処理を行う。マイクロフォン３３による音声も同時に送信する場合もある。

　制御端末３０における方向指示制御部３０ｂは、方向指示装置３２を制御する機能である。方向指示制御部３０ｂは、遠隔視認システム１から送信されてきた注視方向情報に応じて、遠隔ユーザ５の注視方向を提示するように方向指示装置３２を制御する。
　例えば方向指示制御部３０ｂは、方向指示装置３２における矢印、アバター、その他の表示により、該当の方向を示すようにする処理を行う。或いは方向指示装置３２がぬいぐるみ等である場合、頭部や目を駆動させる制御を行って、方向提示を実行させる。
　また音声で方向提示する場合は、方向指示制御部３０ｂは、方向提示のための音声信号を生成し、スピーカ３４から出力させる処理を行う。

　以上のような機能を備える制御端末１０、３０は、例えば図１１に示すような情報処理装置７０により構成可能である。
　情報処理装置７０は、コンピュータ機器など、情報処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。

　図１１に示す情報処理装置７０のＣＰＵ（Central Processing Unit）７１は、ＲＯＭ（Read Only Memory）７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　画像処理部８５は各種の画像処理を行うプロセッサとして構成される。例えば輝度処理、色処理、画像解析処理、画像の圧縮・伸張処理、画像編集処理、スティッチ処理などのいずれか、或いは複数の処理を行うことができるプロセッサとされる。

　この画像処理部８５は例えば、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現できる。
　なお画像処理部８５はＣＰＵ７１内の機能として設けられてもよい。

　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、画像処理部８５は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、トラックボール、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。この入力部７６例えば図１のマイクロフォン１３、３３として機能することもある。

　また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（electro-luminescence）パネルなどよりなる表示部７７が一体又は別体として接続される。表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　また入出力インタフェース７５には、スピーカユニットなどよりなる音声出力部７８が一体又は別体として接続される。この音声出力部７８が図１のスピーカ１４、３４として機能する場合もある。

　入出力インタフェース７５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部７９や通信部８０が接続される場合もある。

　記憶部７９は、各種のデータやプログラムを記憶することができる。記憶部７９においてＤＢ（Data Base）を構成することもできる。

　通信部８０は、インターネット等の伝送路を介しての通信処理や、外部のＤＢ、編集装置、情報処理装置等の各種機器との有線／無線通信、バス通信などによる通信を行う。
　例えば通信部８０は、図１の通信装置２１，２２とのインタフェースとして機能することができる。

　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは画像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本実施の形態の制御端末１０、或いは制御端末３０の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

　以下、第１の実施の形態としての処理例を説明する。
　まず図１２により、遠隔視認システム１と現地撮像システム３の処理の流れを説明する。

　遠隔視認システム１と現地撮像システム３は、ステップＳＴ０としてセッションを開始する。
　まず遠隔視認システム１はステップＳＴ１０で基準合わせを行い、現地撮像システム３もステップＳＴ２０で基準合わせを行う。

　基準合わせとは現地側の全天球カメラ３１の撮像方向の基準方向と、遠隔ユーザ５の視認方向としての基準方向を合わせる処理である。
　図１３Ａには、全天球カメラ３１が原点位置にある状態を示している。点線で示す円の中心が原点とする。全天球カメラ３１は、例えば正面方向である位置ＢＰ１の方向を基準方向とする。例えば全天球カメラ３１の撮像画像の面内の中央（水平方向の中央）が位置ＢＰ１で示す方向であるとする。

　図１３Ｂには、全天球表示装置１１の内部エリアにいる遠隔ユーザ５が原点位置にいる状態を示している。実線で示す円は、全天球表示装置１１の画像表示面と考える。円の中心が原点とする。遠隔ユーザ５は、全天球表示装置１１の位置ＢＰ２で示す方向を見ている状態であるが、これを注視方向についての基準方向とする。

　この図１３Ａ、図１３Ｂの状態を基準位置状態として遠隔視認システム１と現地撮像システム３で一致させる。例えば全天球表示装置１１の位置ＢＰ２に、全天球カメラ３１の撮像画像の中央（位置ＢＰ１の被写体）が表示されるようにする。
　これにより、遠隔ユーザ５が原点位置で正面を見ているときに、方向指示装置３２が正面方向を示すようにする。
　図１３Ａには、方向指示装置３２を模式的に示し、矢印が提示している方向であるとする。図１３Ｂの全天球表示装置１１の内部エリアの原点位置に遠隔ユーザ５が居て、位置ＢＰを視認している状態を、図１３Ａのように方向指示装置３２が正面方向を示す状態に一致させるものである。

　なお図１３Ａ、図１３Ｂは水平方向（遠隔ユーザ５にとっての水平方向（ヨー方向））についての位置で示しているが、同様に垂直方向（遠隔ユーザ５にとっての垂直方向（ピッチ方向））についても同様に位置合わせをする。

　基準合わせを行ったら、遠隔視認システム１と現地撮像システム３は、図１２のステップＳＴ１としてセッションを継続している間、以降の処理をループ処理として繰り返し実行する。
　セッション継続中は、現地撮像システム３での撮像画像が遠隔視認システム１に送信され、全天球表示装置１１において表示されている。

　遠隔視認システム１はステップＳＴ１１で遠隔ユーザ５の頭部の位置・方向を検出する。図１３Ｄに、遠隔ユーザ５が全天球表示装置１１の内部エリアの或る位置にいて或る方向を見ている状態を示している。

　遠隔ユーザ５の頭部の位置の座標を（ｘ，ｙ，ｚ）とする。ｘ、ｙは水平方向の二次元の座標、ｚは垂直方向の座標とする。
　座標（ｘ，ｙ，ｚ）は、頭部位置・方向検出装置１２により検出される。
　また頭部方向（ψ，θ）を求める。ψは水平方向でみた頭部方向、θは垂直方向でみた頭部方向とする。
　なお図１３Ｄは水平面のみの表現であるため、座標（ｘ，ｙ）と頭部方向ψを示している。垂直方向に見れば、座標ｚ及び頭部方向θが現れる。

　以上のように頭部位置として座標（ｘ，ｙ，ｚ）と、頭部方向（ψ，θ）を求める。また加えて頭部方向φとして、ロール方向での頭部の向きを検出してもよい。ロール方向とは、遠隔ユーザ５が首をかしげるときの動きの方向である。

　続いてステップＳＴ１２で遠隔視認システム１は、注視方向情報（α，β）を求める。これは、図１３Ａのように全天球カメラ３１の基準方向からみた方向の情報であり、αは水平方向の基準方向からの変位量、βは垂直方向の基準方向からの変位量である。
　なお、注視方向情報（α，β，γ）を求めてもよい。γはロール方向の頭部方向φを、全天球カメラ３１の通常の姿勢状態からの変位量として示すものである。

　図１３Ｄのように、遠隔ユーザ５の頭部位置の座標（ｘ，ｙ，ｚ）を始点とする頭部の方向ψのラインＬ１と、ディスプレイ面との交点Ｍを求め、位置ＢＰ２からの交点Ｍの方位差として注視方向情報αを算出する。
　そして原点からの交点Ｍに向かうラインＬ２は、図１３Ｃのように全天球カメラ３１から見て交点Ｍに向かう方向を示すものとなり、これが、全天球カメラ３１の撮像画像内で、遠隔ユーザ５が注視している方向を示すことになる。方向指示装置３２は、ラインＬ２と平行な方向を示すことになる。
　従って注視方向情報αは、遠隔ユーザ５の位置の座標（ｘ，ｙ，ｚ）に関わらず、全天球カメラ３１の位置を基準として遠隔ユーザ５の注視方向を示す情報となる。

　なお図１３Ｃでは、水平方向の表現のため、注視方向情報αのみを示しているが、垂直方向で考えれば注視方向情報βも同様に算出される。
　即ち遠隔ユーザ５の頭部位置の座標（ｘ，ｙ，ｚ）を始点とする頭部の方向θのラインと、ディスプレイ面との交点を求め、位置ＢＰ２からの方位差として注視方向情報βを求める。
　また注視方向情報γを生成する場合は、頭部の通常姿勢と全天球カメラ３１の通常姿勢を基準として、ロール方向の頭部方向φに応じた変位量を示す注視方向情報γを求めればよい。

　ステップＳＴ１３で遠隔視認システム１は、このように求めた注視方向情報（α，β）或いは注視方向情報（α，β，γ）を現地撮像システム３に送信する。

　ステップＳＴ２１で現地撮像システム３は、注視方向情報（α，β，γ）を方向指示装置３２において反映させるようにする。即ち、方向指示装置３２におけるアバターやぬいぐるみ等が、注視方向情報（α，β）で示された方向を向くようにしたり、当該方向が音声で伝えられたりする処理を行う。

　また方向指示装置３２が方向だけを提示するのであれば、ロール方向の頭部方向φ及び注視方向情報γは必要ないが、ロール方向を方向指示装置３２で提示することもできる。例えば注視方向情報γに応じて、アバターやぬいぐるみなどが首をかしげるような表現を行うことが可能である。

　以上のステップＳＴ１１，ＳＴ１２，ＳＴ１３，ＳＴ２１の処理が、継続的に行われることで、現地ユーザ６は、方向指示装置３２により、遠隔ユーザ５が注視している方向を認識できることになる。

　またセッション継続中は、オプションｏｐｔ１，ｏｐｔ２として示す処理も行われる。
　オプションｏｐｔ１は、遠隔ユーザ５の指示に応じた処理である。
　遠隔ユーザ５が操作等を行って露出補正のリクエストをすることで、遠隔視認システム１はステップＳＴ１４で露出補正指示を現地撮像システム３に送信する。
　これに応じて現地撮像システム３では、全天球カメラ３１の露出補正を行う。

　オプションｏｐｔ２は、自動的な判定に基づく遠隔ユーザ５の指示に応じた処理である。ステップＳＴ１５として、遠隔視認システム１は、遠隔ユーザ５が注視している領域についての露出状態を判定する。遠隔視認システム１は遠隔ユーザ５の注視方向が検出できるため、その領域の画像について露出が適切であるか否かを判定できる。
　露出が適切でなければ、遠隔視認システム１はステップＳＴ１６として露出補正指示を送信する。

　或いはステップＳＴ２３として、現地撮像システム３側で遠隔ユーザ５が注視している領域についての露出状態を判定してもよい。現地撮像システム３は注視方向情報を受信していることで、遠隔ユーザ５の注視方向が検出できるため、その領域の撮像画像について露出が適切であるか否かを判定できる。

　遠隔視認システム１側又は現地撮像システム３側のいずれかで、現在、遠隔ユーザ５が注視している方向の領域の露出が適切でないと判定した場合、現地撮像システム３ではステップＳＴ２４で全天球カメラ３１の露出補正を行う。これにより、遠隔ユーザ５が注視している画像を適切な露出の状態で全天球表示装置１１において表示させるようにする。

　以上の図１２のように、遠隔視認システム１と現地撮像システム３の間で処理が行われることで、遠隔ユーザ５は、現地ユーザ６と同様の光景を視認できる。また現地ユーザ６は、遠隔ユーザ５が注視している方向を方向指示装置３２により認識できる。
　また遠隔ユーザ５が注視している方向の被写体が、適切な露光状態で全天球表示装置１１において表示されることになる。

　このような動作を実現するための、制御端末１０、３０のそれぞれの処理例を図１４，図１５に示す。

　図１４は制御端末１０の処理例を示している。
　セッション開始により制御端末１０は図１４の処理を開始する。

　なおセッション開始により、現地撮像システム３からの撮像映像の送信が開始され、制御端末１０は表示制御部１０ａの機能により。全天球表示装置１１において受信した画像の表示が行われるようにするが、この処理はセッション終了まで継続されるものであり、フローチャートでの図示を省略している。図１４では主に注視情報処理部１０ｂの機能による処理及びユーザ操作に対応する処理を示している。

セッション開始後、まず制御端末１０はステップＳ１０１で上述した基準合わせを行う。

　セッション継続中は、制御端末１０は例えばステップＳ１０２で待機時間Δｔを経過する毎に、ステップＳ１０３以降の処理を行う。
　ステップＳ１０３で制御端末１０は、頭部の位置・方向を検出する。即ち制御端末１０は頭部位置・方向検出装置１２からの検出情報を取得する。
　ステップＳ１０４で制御端末１０は、取得した検出情報を用いて、注視方向情報（α，β）又は注視方向情報（α，β，γ）を算出し、算出した注視方向情報を送信する処理を行う。
　以上は図１２のステップＳＴ１１，ＳＴ１２，ＳＴ１３で説明した処理である。

　図１４のステップＳ１０５で制御端末１０は、遠隔ユーザ５による露出補正リクエストの有無を判定する。例えば遠隔ユーザ５が操作部１９を操作して露出補正リクエストを行ったか否かを判定する。
　露出補正リクエストがあった場合は、制御端末１０はステップＳ１０６で、露出補正指示を現地撮像システム３に送信する。
　これは図１２のオプションｏｐｔ１に対応する処理である。

　制御端末１０は、図１４のステップＳ１０２からステップＳ１０６を、ステップＳ１０７でセッション終了となるまで、繰り返し実行する。

　なお制御端末１０は図１２のオプションｏｐｔ２としての露出判定や露出補正指示を、行ってもよいし、行わなくてもよい。図１４，図１５では、露出判定は現地撮像システム３側で行う例としているため、図１４には示していないが、例えば制御端末１０はステップＳ１０７でセッション終了となるまで、くりかえし露出判定を行い、必要に応じて露出補正指示を行うようにしてもよい。

図１５は制御端末３０の処理例を示している。
セッション開始により制御端末３０は図１５の処理を開始する。

　なおセッション開始により、制御端末３０は全天球カメラ３１の撮像を開始させ、撮像画像を遠隔視認システム１に送信する処理を開始する。この処理はセッション終了まで継続されるものであり、フローチャートでの図示を省略している。
　図１５では主にカメラ制御部３０ａによる露出制御処理と、方向指示制御部３０ｂによる制御処理を示している。

セッション開始後、まず制御端末３０はステップＳ２０１で上述した基準合わせを行う。

　セッション継続中は、制御端末１０は例えばステップＳ２０２からステップＳ２０６の処理を繰り返し実行する。

　ステップＳ２０２で制御端末３０は、注視方向情報（α，β）又は注視方向情報（α，β，γ）を受信する。

　ステップＳ２０３で制御端末３０は、注視方向情報を方向指示装置３２に反映させる制御を行う。つまり制御端末３０は、注視方向情報（α，β）に応じた方向を提示するように方向指示装置３２を制御する。注視方向情報γが含まれていれば、方向指示装置３２において注視方向情報γの変位量で首をかしげるような様子を提示させる制御を行う。
　これは図１２のステップＳＴ２１の処理となる。

　図１５のステップＳ２０４で制御端末３０は、制御端末１０からの露出補正指示があったか否かを判定する。
　例えば制御端末１０が図１４のステップＳ１０６の処理で露出補正指示を送信してきた場合、制御端末３０は露出補正指示があったとしてステップＳ２０６に進む。

　また露出補正指示がない場合は、制御端末３０はステップＳ２０５に進み、露出判定を行う。即ち注視方向情報で示される被写体の方向の領域について、適切な露光状態であるか否かを判定する。
　制御端末３０は、撮像画像内で、注視方向情報（α，β）で示される方向を含むある程度の面内範囲の画像領域を設定し、その画像領域内の代表点の輝度、領域内の輝度の最高値、最低値、平均値、輝度ヒストグラムを参照して、その領域の露出が適切であるか否か判定する。

　判定の結果、露出が適切でなければ制御端末３０はステップＳ２０６に進む。露出が適切であれば、ステップＳ２０６を経ずにステップＳ２０７に進む。

　ステップＳ２０４又はステップＳ２０５からステップＳ２０６に進んだ場合、制御端末３０は、注視領域の撮像画像が適切な露出になるように露出補正を行う。即ち全天球カメラ３１についてシャッタースピード調整、絞り調整、ＩＳＯ感度調整、ＮＤフィルタ挿入などのいずれか又は複合制御で、露出を適切な状態とする調整制御を行う。
　以上のステップＳ２０４からステップＳ２０６は図１２のステップＳＴ２２，ＳＴ２３，ＳＴ２４に相当する処理となる。

　制御端末３０は、図１５のステップＳ２０７でセッション終了となるまで、ステップＳ２０２以降の処理を繰り返し実行する。

　なお、この例ではステップＳ２０５で露出判定を行うようにしたが、図１２で説明したように、露出判定を遠隔視認システム１（制御端末１０）側で行う場合は、ステップＳ２０５の処理は行わないようにしてもよい。
　但し、露出判定を遠隔視認システム１（制御端末１０）側で行う場合であっても、制御端末３０側でもステップＳ２０５の処理を行うこととしてもよい。

以上の図１４，図１５の処理を制御端末１０、制御端末３０が行うことで、図１２のようなシステム間の連係動作が実現される。

　なお、制御端末３０が、図１５のステップＳ２０５の段階で、注視方向情報で示される注視領域についてのフォーカス判定やホワイトバランス判定を行うようにしてもよい。
　その場合、注視領域でデフォーカスを検出したときは、例えばステップＳ２０６でフォーカス調整制御を行って、遠隔ユーザ５が注視している被写体を合焦状態とする。
　またホワイトバランスが適切でないことを検出した場合は、ホワイトバランス制御を行い、遠隔ユーザ５が視認している画像の色合いを、現地ユーザ６が見ている景色の色合いとなるべく同等とするようにする。

　なお画像の注視領域のフォーカス判定は、制御端末１０側で行って、判定に応じて制御端末３０に対してフォーカス調整指示を送信するようにしてもよい。

　また遠隔ユーザ５が操作部１９によりフォーカスやホワイトバランスの操作を行うことができるようにし、図１４のステップＳ１０５において、そのような操作を検知することに応じて、ステップＳ１０６で制御端末１０が制御端末３０にフォーカス調整指示やホワイトバランス調整指示を送信するようにしてもよい。その場合、制御端末３０は指示に応じてフォーカス調整制御やホワイトバランス調整制御を行うようにする。

　＜２．第２の実施の形態＞
　第２の実施の形態を説明する。図１６に構成例を示す。この例では、遠隔視認システム１においてアイトラッキング装置１５が設けられるようにする。

　アイトラッキング装置１５は、頭部位置・方向検出装置１２と組み合わせて、全天球表示装置１１の表示画面上に対する遠隔ユーザ５の注視位置を検出するために設ける。
　アイトラッキング装置１５としては、据え置き型やウェアラブル型などがある。
　アイトラッキング装置１５は、例えば単眼もしくはステレオカメラで、赤外線照明を当てた瞳を撮影し、瞳孔位置や角膜反射による虚像（プルキンエ像）位置から視線方向を検出する。瞳孔位置は、暗瞳孔法／明瞳孔法で検出する。

　アイトラッキング装置１５により検出した遠隔ユーザ５の視線方向は、次の２通りのように注視方向情報に反映させることが考えられる。

　１つは、頭部位置・方向検出装置１２で得られた頭部の方向を、アイトラッキング装置１５で得られた視線方向で補正する手法である。
このようにすると、例えば方向指示装置３２でぬいぐるみやアバターの目線が正面に固定されるものであっても頭の向きで視線方向を提示するような表示ができる。特に頭部の方向を視線方向で補正することで、注視方向情報（α、β）をより正確に遠隔ユーザ５の注視方向を示すものとすることができる。

　もう１つは、頭部位置・方向検出装置１２で得られた頭部の方向と、アイトラッキング装置１５で得られた視線方向を別々の情報として現地撮像システム３に送信する手法である。
　方向指示装置３２においてぬいぐるみやアバター等が、頭部移動とともに眼球移動もできるものであれば、頭部の方向をアバター等の頭部移動に反映させ、視線方向を眼球移動に反映させるといったことが可能となる。これにより遠隔ユーザ５の様子をより忠実に現地ユーザ６に伝えることができる。

　図１７に制御端末１０の処理例を示す。
　なお以降の各フローチャートにおいて、既述の処理については同一のステップ番号を付し、重複説明を避ける。

　図１７の処理例では、制御端末１０はステップＳ１０３で頭部位置・方向検出装置１２からの検出値を取得し、またステップＳ１１０でアイトラッキング装置１５による視線方向の検出情報を取得する。
　そしてステップＳ１０４Ａでは、注視方向情報を生成し、現地撮像システム３に送信する。この場合の注視方向情報は、上記のようにアイトラッキング装置１５からの情報を反映させたものとする。

＜３．第３の実施の形態＞
　第３の実施の形態の構成例を図１８に示す。この例では、遠隔視認システム１においてサブディスプレイ１６が設けられる。
　サブディスプレイ１６は、例えばタブレット端末やスマートフォン、或いは小型のノートＰＣなどとして、遠隔ユーザ５が携帯できるものを想定する。

　図１９は現地撮像システム３の全天球カメラ３１で撮像された全天球画像の説明のために正距円筒図法で表現した画像である。
　このような画像に対して、遠隔ユーザ５が図中の枠５０で示すあたりを注視していたとする。制御端末１０は、頭部位置・方向検出装置１２による検出結果から、遠隔ユーザ５が注視している方向を判定できる。そこで制御端末１０は、現地撮像システム３から送信されてくる映像において、遠隔ユーザ５が注視している領域を切り抜いたレクティリニア画像を生成し、サブディスプレイ１６に表示させる。例えば図２０のような画像である。

　遠隔ユーザ５は、手元のサブディスプレイ１６で、この図２０のような画像を見ながら、タッチ操作等で、さらに細かい注視点を指定することができる。
　なお、遠隔ユーザ５がサブディスプレイ１６を見るときは、手元のサブディスプレイ１６側を注視するために頭部を動かす。このため、制御端末１０は一時的に頭部位置・方向検出装置１２による検出をオフにすることが適切である。

　制御端末１０の処理例を図２１に示す。
　ステップＳ１０３で頭部位置・方向検出装置１２による検出結果を取得したら、制御端末１０はステップＳ１２０でサブディスプレイ１６の表示制御を行う。
　つまり制御端末１０は、頭部の位置の座標（ｘ，ｙ，ｚ）と、頭部方向（ψ，θ）又は（ψ，θ，φ）を取得したら、それにより遠隔ユーザ５の注視方向を判定し、注視方向に応じたレクティリニア画像を生成してサブディスプレイ１６に表示させる。

　ステップＳ１２１で制御端末１０は、遠隔ユーザ５がサブディスプレイ１６に対する操作入力を行ったか否かを判定する。
　遠隔ユーザ５がサブディスプレイ１６の操作を行っていないときは、制御端末１０はステップＳ１２２に進み、先のステップＳ１０３の頭部位置・方向検出に基づき、注視方向情報（α，β）又は（α，β，γ）を生成し、現地撮像システム３に送信する。

　遠隔ユーザ５がサブディスプレイ１６の操作を行った場合は、制御端末１０はステップＳ１２１からステップＳ１２２に進み、サブディスプレイ１６上の操作で指定された位置に応じて注視方向情報（α，β）又は（α，β，γ）を生成し、現地撮像システム３に送信する。なおこの場合も、注視方向情報γについては、ロール方向の頭部方向φに基づく。

　他の処理は図１４と同様である。
　この図２１の処理により、遠隔ユーザ５が手元のサブディスプレイ１６で操作を行った場合は、注視方向情報をより正確な情報（遠隔ユーザ５が指定した方向を示す情報）として現地撮像システム３に伝えることができる。

　なお、上述のように、遠隔ユーザ５がサブディスプレイ１６を見るときは、頭部をサブディスプレイ１６に向けるため、そのときの頭部位置・方向検出装置１２による検出結果は、全天球表示装置１１に対する注視方向を示すものではない。そのため、例えば頭部の動きがサブディスプレイ１６を見ていると判定できる場合は、ステップＳ１２２において頭部位置・方向検出装置１２による検出結果を、注視方向情報の生成に用いないようにすることが適切である。

　ところで、制御端末１０は、サブディスプレイ１６に、切り抜きのレクティリニア画像の代わりに、注視領域が中央に来るようにスクロールさせた正距円筒図法を表示させるようにしてもよい。図２２はサブディスプレイ１６に表示される画像例である。これは遠隔ユーザ５が図１９の枠５０のあたりを注視したときに、その領域が中央となるようにスクロールさせた状態の正距円筒図法の画像である。

＜４．第４の実施の形態＞
　第４の実施の形態は、遠隔ユーザ５の情動（感情や挙動）を現地撮像システム３において表現できるようにするものである。

　図２３は制御端末１０の処理例である。制御端末１０はステップＳ１０２，Ｓ１０３の処理に続いて、ステップＳ１３０で情動判定を行う。
　情動判定は、遠隔ユーザ５の感情や挙動を判定する処理である。

　遠隔ユーザ５の全天球表示装置１１に対する挙動の判定としては、次のような判定手法の例がある。
・全天球表示装置１１の内部エリアにカメラを設け、遠隔ユーザ５の撮像画像を解析し、ボーンデータによる姿勢検出を行い、姿勢から挙動を判定する。
・頭部位置・方向検出装置１２による位置検出の遷移による動きの判定を行う。

　遠隔ユーザ５の感情の判定としては、次のような判定手法の例がある。
・マイクロフォン１３で検出される音声の大小、抑揚、高低、言語認識などにより感情を推定する。
・全天球表示装置１１の内部エリアにカメラを設け、遠隔ユーザ５の顔画像を解析し、表情判定、感情推定を行う。
・操作部１９により遠隔ユーザ５が感情選択の操作をできるようにし、遠隔ユーザ５が自分の感情を入力する。
・上記の挙動の判定を感情推定に用いる。

　例えばこれらのような手法で制御端末１０は遠隔ユーザ５の情動を判定し、情動データを生成する。情動データは笑う、喜ぶ、悲しむ、怒る、といった感情や、手を上げる、手を広げる、指を指す、腕を組む、首を左右に振る、うなずく等のしぐさや、ジャンプする、走り回るというような挙動を示す情報であるとする。

　ステップＳ１３１で制御端末１０は、ステップＳ１０３の検出に基づいて注視方向情報を生成する。そして制御端末１０は、注視方向情報と情動データを、現地撮像システム３に送信する処理を行う。
　他は図１４と同様である。

　図２４は制御端末３０の処理例である。
　制御端末３０はステップＳ２３０で、制御端末３０は、注視方向情報と情動データを受信する。

　そして制御端末３０はステップＳ２３１で、注視方向情報を方向指示装置３２に反映させる制御を行うとともに、情動データも方向指示装置３２に反映させる制御を行う。
　まず制御端末３０は、注視方向情報に応じた方向の提示や首をかしげるような提示を行うように方向指示装置３２を制御する。
　加えて制御端末３０は方向指示装置３２において情動データで示された感情や挙動を表現するように制御する。
　例えばアバターやぬいぐるみ等の表情を、笑う、喜ぶ、悲しむ、怒る等の感情に応じて変化させる。また、しぐさや動作をアバターやぬいぐるみ等に実行させるようにする。
　もちろんスピーカ３４から情動に応じた音声出力を行うようにしてもよい。

　図２４の他の処理は図１５と同様である。
　制御端末１０，３０が図２３，図２４の処理を行うことで、遠隔ユーザ５の情動が方向指示装置３２において表現さえ、現地ユーザ６に伝わることになる。これにより現地ユーザ６は遠隔ユーザ５の感情を理解しながら現地での行動を行うことができる。

＜５．第５の実施の形態＞
　第５の実施の形態は、遠隔ユーザ５が全天球表示装置１１の表示を操作できるようにする例である。
　例えば操作部１９として、３Ｄマウス、ジョイスティックなどを設け、遠隔ユーザ５が全天球表示装置１１の画面をヨー・ピッチ方向に回転（スクロール）させることができるようにする。画像のスクロールに応じて音声の定位も変化させることが好適である。

　図２５は操作前の画像の例であり、図２６は操作によりヨー方向に回転された状態を示している。ライン５１は例えば撮像画像の正面方向を示している。図２６ではライン５１で示す正面方向を右側に変位させた状態である。
　このように操作可能とすることで、遠隔ユーザ５は自分の好きな姿勢で見たい方向の映像を見ることができる。例えば全天球表示装置１１の内部エリアで椅子に座っている場合、或いは車椅子に乗っているような場合でも、望みの箇所を容易に注視できる。

　ただし、このように全天球表示装置１１の表示を回転させる場合、現地撮像システム３へ送信する注視方向情報については回転の操作量及び方向に応じた補正が必要になる。
　例えば、遠隔ユーザ５は、図２５の星マーク５２で示すあたりを注視していたとする。そして遠隔ユーザ５が操作により全天球表示装置１１の表示画像をヨー方向に－９０度回転させたとする。
　この場合、図２７の遠隔視認システム１側として示すように、基準位置ＢＰ２はヨー方向に－９０度回転した位置とする。そして遠隔ユーザ５の頭部位置の座標（ｘ，ｙ，ｚ）を始点とする頭部の方向（ψ，θ）のラインＬ１と、ディスプレイ面との交点Ｍを求める。星マーク５２の位置である。そして原点からの交点Ｍに向かうラインＬ２により全天球カメラ３１を基準とする注視方向情報を算出する。これがヨー方向の注視方向情報αとなる。

　同図に現地撮像システム３側として示すように、注視方向情報αは、全天球カメラ３１から見て交点Ｍに向かう方向を示すものとなり、これが、全天球カメラ３１の撮像画像内で、遠隔ユーザ５が注視している方向を示すことになる。方向指示装置３２は、ラインＬ２と平行な方向を示すことになる。

　以上はヨー方向のみで説明したが、ピッチ方向についても同様である。
　即ち、遠隔ユーザ５が任意に画像を回転させる場合、制御端末１０はその回転を加味して注視方向情報を生成することで、現地撮像システム３側で正しく遠隔ユーザ５の注視方向を提示できる。

＜６．第６の実施の形態＞
　第６の実施の形態は、全天球カメラ３１による撮像画像の送信データ量を削減できるようにした例である。

　遠隔ユーザ５は、全天球表示装置１１の画像のうちで、注視方向情報で示される注視方向の画像を視認している。換言すれば、他の方向の画像は見えていない。すると遠隔ユーザ５が見えていない領域の画像は、さほど高精細な画像とする必要はないといえる。

　そこで、全天球カメラ３１の撮像画像について領域毎に圧縮率を異なるものとして圧縮して伝送する。
　図２８に例を示す。図２８は全天球カメラ３１の撮像画像を示しているが、注視方向情報から判定される注視方向を中心とする３０度×３０度の範囲をエリア６１、エリア６１の周囲の２５０度×９０度の範囲をエリア６２、エリア６２の周囲の３６０度×１８０度の範囲をエリア６３とする。

　エリア６１は高解像度の領域として圧縮率を最も低くする。
　エリア６２は中解像度の領域として圧縮率を中程度とする。
　エリア６１は低解像度の領域として圧縮率を最も高くする。

　制御端末３０は、このように注視方向情報に基づいて撮像画像の面内のエリア６１，６２，６３を設定するとともに、圧縮率をエリア６１，６２，６３毎に設定して圧縮エンコードを行って、遠隔視認システム１に送信する。
　これにより送信する動画のビットレートを下げることができる。

　制御端末３０の処理例を図２９に示す。これは図１５の処理にステップＳ２４０を加えたものである。
　制御端末３０は、ステップＳ２４０において、ステップＳ２０２で受信した注視方向情報に基づいて複数のエリア６１，６２，６３を設定し、エリア毎の圧縮率を設定する。
　この設定に応じて、送信する動画のフレーム毎に、面内のエリア毎で異なる圧縮率の圧縮処理が行われて送信される。

　なお、複数のエリアは注視方向情報に基づいて設定されるため、エリア設定はフレーム毎、或いは所定フレーム数毎などに更新される。つまり遠隔ユーザ５の注視方向が変化すれば、エリア設定も変化することになる。
　また、圧縮率を異なるようにする複数のエリアは図２８のエリア６１，６２，６３のように３つのエリアに限定されず、２つのエリアでもよいし、４以上のエリアに分けられても良い。

＜７．複数の遠隔ユーザ５＞
　ところで、第１から第６の実施の形態の処理は、遠隔ユーザ５が一人であっても複数であっても良いが、ここまでの説明では、一人の遠隔ユーザ５の注視方向情報を現地撮像システム３に送信するものとして説明してきた。
　遠隔視認システム１において複数の遠隔ユーザ５が全天球表示装置１１を視認している場合については、各実施の形態の処理は、以下のように適用できる。

　例えば現地撮像システム３に複数の方向指示装置３２を設け、現地ユーザ６と方向指示装置３２を１：１で対応付けするようにすることが考えられる。この場合、遠隔視認システム１では、各現地ユーザ６の頭部位置・方向検出を行って各現地ユーザ６に対応する複数の注視方向情報を生成して送信する。
　現地撮像システム３側では、各注視方向情報に応じて、それぞれ対応する方向指示装置３２を制御する。
　これにより、複数の遠隔ユーザ５のそれぞれの注視方向や情動などを現地ユーザ６は知ることができる。

　方向指示装置３２が１つであって、一人のみに対応する場合は、複数の遠隔ユーザ５のうちで、一人を選択することが考えられる。
　予め決定した特定の現地ユーザ６を対象として実施の形態の処理を行っても良い。
　また例えば全天球表示装置１１の内部エリアの中央位置に近い人を選択し、その人を処理対象の遠隔ユーザ５として実施の形態の処理を行ってもよい。
　その他、何らかの条件により、遠隔ユーザ５として処理対象とする人を、固定的、或いは動的に変化させながら選択することが考えられる。

＜８．まとめ及び変形例＞
　以上の実施の形態では次のような効果が得られる。

　第１から第６の実施の形態では、遠隔視認システム１は、人の視野範囲より広角の画像の表示を行う全天球表示装置１１と、全天球表示装置１１の視認者（遠隔ユーザ５）の頭部の位置及び方向を検出する頭部位置・方向検出装置１２と、制御装置としての制御端末１０を備える。制御端末１０は、現地撮像システム３から送信された遠隔地における撮像画像を全天球表示装置１１に表示させる処理を行う。また制御端末１０は、頭部位置・方向検出装置１２による視認者の頭部の位置及び方向の情報に基づいて注視方向情報を生成し、注視方向情報を現地撮像システム３に送信する処理を行う。
　現地撮像システム３は、人の視野範囲より広角の画像の撮像を行う撮像装置としての全天球カメラ３１と、方向を示す方向指示装置３２と、制御装置としての制御端末３０を備える。制御端末３０は、全天球カメラ３１の撮像画像を遠隔視認システム１に送信する処理を行う。また制御端末３０は、遠隔視認システム１における全天球表示装置１１の視認者の注視方向情報に基づいて方向指示装置３２による指示方向を制御する処理を行う。

　このため、遠隔視認システム１を使用する遠隔ユーザ５は、遠隔地である現地の光景を視認することができる。現地撮像システム３を使用する現地ユーザ６は、遠隔視認システム１における遠隔ユーザ５が、現地の光景に対してどの方向を注視しているかを知ることができる。
　従って現地ユーザ６と遠隔ユーザ５の間で旅行やイベントなどで注視方向を共有でき、同じものを見るような状況をつくることができるため、遠隔ユーザ５が現地ユーザ６と一緒に旅行をしているような体験を得ることができる。
　また現地の空間を擬似的に共有することは、現地ユーザ６と遠隔ユーザ５の良好なコミュニケーションにも資することとなる。
　例えば自宅に居る人、病院に居る人などが、知人と一緒に旅行をしているような体験が可能となる。

　第１から第６の実施の形態では、注視方向情報は、頭部の位置及び方向で求められる遠隔ユーザ５の注視方向を、現地撮像システム３の全天球カメラ３１の位置を基準とする方向で表す情報であるとした（図１３参照）。
　これにより現地撮像システム３側では、遠隔視認システム１側で全天球表示装置１１を視認している遠隔ユーザ５が画像のどの領域を注視しているかを、全天球カメラ３１からの方向として判定できることになる。従って制御端末３０は、全天球カメラ３１の撮像画像内で、遠隔ユーザ５の注視領域を正しく判定できる。

　第１から第６の実施の形態では、全天球表示装置１１は、１又は複数の視認者が位置を任意に移動して表示画像を視認できる表示装置である例を挙げた（図２参照）。
　遠隔視認システム１側において大型の画像表示面を有する全天球表示装置１１に対して、１又は複数の遠隔ユーザ５は任意の位置で、或いは移動しながら、現地からの画像を視認できる。これにより、より現地の空間を擬似的に体感しやすいものとなる。

　第１から第６の実施の形態では、制御端末３０は、遠隔視認システム１から受信した注視方向情報に基づいて全天球カメラ３１の制御を行うものとした。
　現地撮像システム３は、カメラ制御部３０ａによって注視方向情報に基づいて注視領域での露出やフォーカス状態、色合いなどを適正化する。現地撮像システム３が方向指示装置３２を備えないような場合でも、このような制御を行うことで、遠隔ユーザ５が現地ユーザ６と同じ光景を視認するという点で好適となる。

　実施の形態において、制御端末３０は、注視方向情報に基づいて、全天球カメラ３１の露出制御を行う例を挙げた（図１５等参照）。
　遠隔ユーザ５の注視方向情報に基づいて、全天球カメラ３１における撮像画像の該当領域（遠隔ユーザ５が注視している領域）を判定し、その領域について、適切な露出状態となるように露出制御を行う。これにより遠隔視認システム１の遠隔ユーザ５は、適正露出の画像を視認できるようになる。特に全天球表示装置１１の画像は、遠隔ユーザ５が視認していない領域があり、また画角の広さにより輝度の差が大きい場合もある。遠隔ユーザ５が注視している領域が適切な露出状態となるようにすることで、画角の広さや輝度差に関わらず、遠隔ユーザ５に高品質な画像を提供できる。注視領域での露出が適正でないと、遠隔ユーザ５は、現地への没入感が低下してしまう。従ってこれも遠隔ユーザ５が現地ユーザ６と同じ光景を視認し、同じものを同じように見えているようにするという点で極めて好適となる。これにより空間の共有、例えば擬似的に一緒に居る感覚を強めることが期待できる。

　また実施の形態において、制御端末３０は、注視方向情報に基づいて、全天球カメラ３１のフォーカス制御、ホワイトバランス制御を行う例を挙げた。
　遠隔ユーザ５の注視方向情報に基づいて、全天球カメラ３１における撮像画像の該当領域（遠隔ユーザ５が注視している領域）を判定し、その領域について、適切なフォーカス状態となるようにフォーカス制御を行う。或いは当該領域に合わせてホワイトバランス制御を行う。これにより遠隔視認システム１の遠隔ユーザ５は、フォーカスの合った画像や、より忠実な色再現の画像として視認できるようになる。

　第２の実施の形態では、遠隔視認システム１は視認者の視線方向を検出するアイトラッキング装置１５（視線検出装置）を備え、制御端末１０は、アイトラッキング装置１５の検出結果を用いて注視方向情報を生成する例を述べた（図１６，図１７参照）。
　アイトラッキング装置１５の検出も加味して注視方向情報を生成することで、遠隔ユーザ５の注視方向をより正確に判定できる。特にアイトラッキング装置１５が検出した視線方向で、頭部位置・方向検出装置１２の検出に基づく注視方向情報（α、β）を補正することで、注視方向の正確性が向上する。
　またアイトラッキング装置１５が検出した視線方向を、注視方向情報（α、β）に加えて送信することで、方向指示装置３２においてアバター等の頭部制御と眼球制御などを行うことができ、より遠隔ユーザ５の様子を現地ユーザ６に正確に伝えることができるようになる。

　なお、頭部位置・方向検出装置１２による検出結果はあくまで頭部の位置と方向の情報であり、視線方向は含まれないが、人の視野では全体を見ることができない大きな画面を備える全天球表示装置１１を用いる場合は、視線方向の違いをカバーする範囲として注視領域を判定できる。このため、必ずしもアイトラッキング装置１５の利用は必須ではない。但し、アイトラッキング装置１５の情報を用いて正確な注視領域を判定することは、全天球カメラ３１の制御や、それによる視認性向上範囲がより適切化されるという点で意味がある。

　第３の実施の形態では、遠隔視認システム１は、視認者が操作入力可能なサブディスプレイ１６（副表示装置）を備える例を挙げた。そして制御端末１０は、頭部位置・方向検出装置１２による視認者の頭部の位置及び方向の情報に基づいてサブディスプレイ１６の表示画像を制御し、サブディスプレイ１６の表示画像内を指定する操作に応じて、注視方向情報を生成するものとした（図１８から図２２参照）。
　遠隔ユーザ５はサブディスプレイ１６を用いることで、全天球表示装置１１内で注視している領域の画像を手元で確認できる。そしてタッチ操作などで、画像内の位置を指定できる。これにより、遠隔ユーザ５の注視位置をより正確に判定でき、適切な注視方向情報を生成できる。

　第４の実施の形態では、遠隔視認システム１の制御端末１０は、視認者の情動データを生成し、現地撮像システム３に送信する処理を行うものとした。
　また現地撮像システム３の制御端末３０は、遠隔視認システム１からの情動データに基づいて、方向指示装置３２で情動提示を実行させる処理を行うものとした（図２３，図２４参照）。
　これにより、現地ユーザ６は、擬似的に現地空間を共有する遠隔ユーザ５の気持ちやしぐさなどを知ることができる。これにより円滑なコミュニケーションを促進できる。

　第５の実施の形態では、遠隔視認システム１の制御端末１０は、視認者の回転操作に応じて全天球表示装置１１に表示されている画像の回転制御を行うとともに、回転操作の操作量及び回転方向を、注視方向情報に反映させる例を挙げた（図２５から図２７参照）。
　遠隔ユーザ５は、操作により全天球表示装置１１の画像を回転させることができ、遠隔ユーザ５の都合により見やすい状態を得ることができる。この場合に、注視方向情報にも回転操作の量及び方向を反映させることで、現地撮像システム３に送信する注視方向情報は、全天球カメラ３１からの方向として正しい情報とすることができる。

　第６の実施の形態では、現地撮像システム３の制御端末３０は、遠隔視認システム１における全天球表示装置１１の視認者の注視方向情報に基づいて、遠隔視認システム１に送信する撮像画像の圧縮率を画像領域毎に制御する例を挙げた（図２８，図２９参照）。
　これにより、遠隔ユーザ５が注視している領域については高精細な画像を表示させつつ、遠隔ユーザ５が見ていない領域は圧縮率の高い画像として送信することで、遠隔ユーザ５の体験の質を損なうことなく送信データ量を削減でき通信帯域の節約ができる。

　実施の形態における方向指示装置３２は、頭部を実体物又は画像で表現するとともに、頭部の向きにより方向を指示するものであるとした（図３から図１０参照）。
　方向指示装置３２は、人間、動物、空想の生物、二次元キャラクター、ロボットなどの頭部を表現するものとし、その頭部の向きで、遠隔ユーザ５が注視している方向を表現する。これにより、現地ユーザ６は、遠隔ユーザ５が注視している方向が、一緒に現地にいる場合と同様に把握できる。

　実施の形態は、主に遠隔旅行というケースを例にして説明してきたが、実施の形態の技術は遠隔旅行に限らず多様なケースに有用である。例えば現地がイベント会場である場合、テーマパーク等である場合、さらにはスポーツ会場、音楽ライブ会場、演劇場、キャンプ場、美術館、博物館等である場合も、現地と遠隔地で体験を共有できる。また現地とは定点カメラとしての全天球カメラ３１等を設置した場所でもよい。

　また第１から第６の実施の形態で説明した技術は、任意に組み合わせて適用することができる。

　実施の形態のプログラムは、上述の図１４，図１７，図２１，図２２のような制御端末１０の処理、或いは図１５，図２４，図２９のような制御端末３０の処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。

　即ち実施の形態のプログラムは、現地撮像システム３から送信された遠隔地における撮像画像を人の視野範囲より広角の画像の表示を行う表示装置（全天球表示装置１１）に表示させる処理、及び頭部位置・方向検出装置１２による視認者の頭部の位置及び方向の情報に基づいて注視方向情報を生成し、注視方向情報を現地撮像システム３に送信する処理を制御装置に実行させるプログラムである。

　また実施の形態のプログラムは、人の視野範囲より広角の画像の撮像を行う撮像装置（全天球カメラ３１）の撮像画像を遠隔視認システム１に送信する処理、及び遠隔視認システム１における表示装置の視認者の注視方向情報に基づいて方向指示装置３２による指示方向を制御する処理を制御装置に実行させるプログラムである。

　また実施の形態のプログラムは、人の視野範囲より広角の画像の撮像を行う撮像装置（全天球カメラ３１）の撮像画像を遠隔視認システム１に送信する処理、及び遠隔視認システム１における表示装置の視認者の注視方向情報に基づく撮像装置の制御を制御装置に実行させるプログラムである。

　こられのようなプログラムにより、上述した遠隔視認システム１や現地撮像システム３において制御端末１０、３０として用いることのできる情報処理装置７０を、各種のコンピュータ装置により実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の情報処理装置７０の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置７０（制御端末１０、３０）として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　人の視野範囲より広角の画像の表示を行う表示装置と、
　前記表示装置の視認者の頭部の位置及び方向を検出する頭部位置・方向検出装置と、
　現地撮像システムから送信された遠隔地における撮像画像を前記表示装置に表示させる処理、及び前記頭部位置・方向検出装置による視認者の頭部の位置及び方向の情報に基づいて注視方向情報を生成し、前記注視方向情報を前記現地撮像システムに送信する処理を行う制御装置と、を備える
　遠隔視認システム。
　（２）
　前記注視方向情報は、頭部の位置及び方向で求められる前記視認者の注視方向を、前記現地撮像システムの撮像装置の位置を基準とする方向で表す情報としたものである
　上記（１）に記載の遠隔視認システム。
　（３）
　前記表示装置は、１又は複数の視認者が位置を任意に移動して表示画像を視認できる全天球表示装置である
　上記（１）又は（２）に記載の遠隔視認システム。
　（４）
　前記視認者の視線方向を検出する視線検出装置を備え、
　前記制御装置は、前記視線検出装置の検出結果を用いて前記注視方向情報を生成する
　上記（１）から（３）のいずれかに記載の遠隔視認システム。
　（５）
　前記視認者が操作入力可能な副表示装置を備え、
　前記制御装置は、前記頭部位置・方向検出装置による前記視認者の頭部の位置及び方向の情報に基づいて前記副表示装置の表示画像を制御し、前記副表示装置の表示画像内を指定する操作に応じて、前記注視方向情報を生成する
　上記（１）から（４）のいずれかに記載の遠隔視認システム。
　（６）
　前記制御装置は、前記視認者の情動データを生成し、前記現地撮像システムに送信する処理を行う
　上記（１）から（５）のいずれかに記載の遠隔視認システム。
　（７）
　前記制御装置は、前記視認者の回転操作に応じて、前記表示装置に表示されている画像の回転制御を行うとともに、
　回転操作の操作量及び回転方向を、前記注視方向情報に反映させる
　上記（１）から（６）のいずれかに記載の遠隔視認システム。
　（８）
　人の視野範囲より広角の画像の撮像を行う撮像装置と、
　方向を示す方向指示装置と、
　前記撮像装置の撮像画像を遠隔視認システムに送信する処理、及び前記遠隔視認システムにおける表示装置の視認者の注視方向情報に基づいて前記方向指示装置による指示方向を制御する処理を行う制御装置と、を備える
　現地撮像システム。
　（９）
　前記制御装置は、前記注視方向情報に基づいて、前記撮像装置の露出制御を行う
　上記（８）に記載の現地撮像システム。
　（１０）
　前記制御装置は、前記注視方向情報に基づいて、前記撮像装置のフォーカス制御、ホワイトバランス制御のいずれかを行う
　上記（８）又は（９）に記載の現地撮像システム。
　（１１）
　前記制御装置は、前記遠隔視認システムにおける表示装置の視認者についての情動データに基づいて、前記方向指示装置で情動提示を実行させる処理を行う
　上記（８）から（１０）のいずれかに記載の現地撮像システム。
　（１２）
　前記制御装置は、前記遠隔視認システムにおける表示装置の視認者の注視方向情報に基づいて、前記遠隔視認システムに送信する撮像画像の圧縮率を画像領域毎に制御する
　上記（８）から（１１）のいずれかに記載の現地撮像システム。
　（１３）
　前記方向指示装置は、頭部を実体物又は画像で表現するとともに、前記頭部の向きにより方向を指示するものである
　上記（８）から（１２）のいずれかに記載の現地撮像システム。
　（１４）
　人の視野範囲より広角の画像の撮像を行う撮像装置と、
　前記撮像装置の撮像画像を遠隔視認システムに送信する処理、及び前記遠隔視認システムにおける表示装置の視認者の注視方向情報に基づいて前記撮像装置の制御を行う制御装置と、を備える
　現地撮像システム。
　（１５）
　前記制御装置は、前記注視方向情報に基づいて、前記撮像装置の露出制御を行う
　上記（１４）に記載の現地撮像システム。
　（１６）
　前記制御装置は、前記注視方向情報に基づいて、前記撮像装置のフォーカス制御、ホワイトバランス制御のいずれかを行う
　上記（１４）又は（１５）に記載の現地撮像システム。

１　遠隔視認システム
２　ネットワーク
３　現地撮像システム
５　遠隔ユーザ（視認者）
６　現地ユーザ
１０　制御端末
１０ａ　表示制御部
１０ｂ　注視情報処理部
１１　全天球表示装置
１２　頭部位置・方向検出装置
１５　アイトラッキング装置
１６　サブディスプレイ
１９　操作部
３０　制御端末
３０ａ　カメラ制御部
３０ｂ　方向指示制御部
３１　全天球カメラ
３２　方向指示装置

Claims

　人の視野範囲より広角の画像の表示を行う表示装置と、
　前記表示装置の視認者の頭部の位置及び方向を検出する頭部位置・方向検出装置と、
　現地撮像システムから送信された遠隔地における撮像画像を前記表示装置に表示させる処理、及び前記頭部位置・方向検出装置による視認者の頭部の位置及び方向の情報に基づいて注視方向情報を生成し、前記注視方向情報を前記現地撮像システムに送信する処理を行う制御装置と、を備える
　遠隔視認システム。
　前記注視方向情報は、頭部の位置及び方向で求められる前記視認者の注視方向を、前記現地撮像システムの撮像装置の位置を基準とする方向で表す情報としたものである
　請求項１に記載の遠隔視認システム。
　前記表示装置は、１又は複数の視認者が位置を任意に移動して表示画像を視認できる全天球表示装置である
　請求項１に記載の遠隔視認システム。
　前記視認者の視線方向を検出する視線検出装置を備え、
　前記制御装置は、前記視線検出装置の検出結果を用いて前記注視方向情報を生成する
　請求項１に記載の遠隔視認システム。
　前記視認者が操作入力可能な副表示装置を備え、
　前記制御装置は、前記頭部位置・方向検出装置による前記視認者の頭部の位置及び方向の情報に基づいて前記副表示装置の表示画像を制御し、前記副表示装置の表示画像内を指定する操作に応じて、前記注視方向情報を生成する
　請求項１に記載の遠隔視認システム。
　前記制御装置は、前記視認者の情動データを生成し、前記現地撮像システムに送信する処理を行う
　請求項１に記載の遠隔視認システム。
　前記制御装置は、前記視認者の回転操作に応じて、前記表示装置に表示されている画像の回転制御を行うとともに、
　回転操作の操作量及び回転方向を、前記注視方向情報に反映させる
　請求項１に記載の遠隔視認システム。
　人の視野範囲より広角の画像の撮像を行う撮像装置と、
　方向を示す方向指示装置と、
　前記撮像装置の撮像画像を遠隔視認システムに送信する処理、及び前記遠隔視認システムにおける表示装置の視認者の注視方向情報に基づいて前記方向指示装置による指示方向を制御する処理を行う制御装置と、を備える
　現地撮像システム。
　前記制御装置は、前記注視方向情報に基づいて、前記撮像装置の露出制御を行う
　請求項８に記載の現地撮像システム。
　前記制御装置は、前記注視方向情報に基づいて、前記撮像装置のフォーカス制御、ホワイトバランス制御のいずれかを行う
　請求項８に記載の現地撮像システム。
　前記制御装置は、前記遠隔視認システムにおける表示装置の視認者についての情動データに基づいて、前記方向指示装置で情動提示を実行させる処理を行う
　請求項８に記載の現地撮像システム。
　前記制御装置は、前記遠隔視認システムにおける表示装置の視認者の注視方向情報に基づいて、前記遠隔視認システムに送信する撮像画像の圧縮率を画像領域毎に制御する
　請求項８に記載の現地撮像システム。
　前記方向指示装置は、頭部を実体物又は画像で表現するとともに、前記頭部の向きにより方向を指示するものである
　請求項８に記載の現地撮像システム。
　人の視野範囲より広角の画像の撮像を行う撮像装置と、
　前記撮像装置の撮像画像を遠隔視認システムに送信する処理、及び前記遠隔視認システムにおける表示装置の視認者の注視方向情報に基づいて前記撮像装置の制御を行う制御装置と、を備える
　現地撮像システム。
　前記制御装置は、前記注視方向情報に基づいて、前記撮像装置の露出制御を行う
　請求項１４に記載の現地撮像システム。
　前記制御装置は、前記注視方向情報に基づいて、前記撮像装置のフォーカス制御、ホワイトバランス制御のいずれかを行う
　請求項１４に記載の現地撮像システム。