JP6262890B1 - 視聴装置、水中空間視聴システム及び水中空間視聴方法 - Google Patents

Abstract

【課題】水中空間を自分の意思で探検するような景観の映像を視聴者に提供することができる水中空間視聴システムを提供する。【解決手段】移動ブイ１１０内の制御装置を、防水ケーブルホルダ１２０に収容された通信ケーブルで、海中のカメラボックス１３０内の全天球カメラと接続する。移動ブイ１１０内の制御装置は、全天球映像を陸上の管理装置に無線で伝える。管理装置は、全天球映像から視聴装置の姿勢に応じて抽出した部分映像を当該視聴装置へ出力するとともに、視聴装置の動きに応じて全天球カメラの位置又は撮像倍率を変更させる。【選択図】図１１

Description

本発明は、水中の映像を視聴者に提供する水中空間視聴システム及び水中空間視聴方法に関する。

海や池の中は、通常はその上からしか見ることができない。近年は、ダイバーが海や水族館の水槽の中に水上の無線装置と接続された水中カメラを持ちこみ、視聴者の意図に従って水中の光景を撮影して陸上のモニタに映し出すサービスも行われている。また、特許文献１には、水族館の水槽内にそれぞれ異なる方向を撮影する水中カメラを設置し、水槽の外部あるいは遠隔地にいる視聴者が、自分が見ている方向に存在する生物の名前を自動的に知ることができる水族館リアルタイム図鑑画像表示システムが開示されている。このシステムでは、水中カメラで撮影した水槽画像に映っている生物を特定し、その生物の名前をデータベースから読み出して水槽画像に合成して、水槽画像をリアルタイム図鑑画像へと変換する。このシステムにおいて、水中カメラで撮影する方向は、リアルタイム図鑑画像を視聴中の者（視聴者）が操作する携帯端末を通じて任意に指定することができる。

また、最近は、特許文献２の特許権者が提供する、スマートフォンやファブレット等を装着することによりヘッドマウンドディプレイを簡易に実現するアタッチメントも市場に登場している。３次元姿勢センサなどを搭載したスマートフォンなどをこのようなアタッチメントを使用し、特許文献２に開示された技術を適用することにより、視聴者が視たい範囲外の視界を遮りながら、３次元画像への没入感を与えることができる。

特開２０１１−６０１３０号公報 特許第５９６１８９２号公報

特許文献１に開示されたシステムでは、水中カメラの位置が固定されている。そのため、水中カメラの数を増やしたり、各水中カメラの撮影方向や撮影倍率を変えても、撮影できる範囲は限られてしまう。池、海、水族館の水槽などでは、例えば岩陰に隠れる習性の生物は出てきてくれないこともある。見たい生物もそれが近づいてこないと大きくは見えない。小さい生物は間近で観察することが非常に難しく、その存在に気づかない場合もある。そのため、特許文献１に開示されたシステムでは、視聴者の意思で探検するような景観の映像を提供することは困難である。特に、水中カメラと視聴する側の表示装置とが１対１に対応するものでないにもかかわらず、視聴する側の表示装置が多数になる場合は、各表示装置に映る映像を個別的に変更できるものとすることができないという課題が残る。
また、特許文献２に開示された技術を用いて３次元画像の視聴装置を実現しようとすると、視る側の目の動きが特殊となるため、小さい子供にとって好ましくない影響を与えるおそれがある。

本発明の目的は、これらの問題を解消し、あたかも水中空間を自分の意思で探検するような景観の映像を視聴者に提供することができる水中空間視聴システム及び水中空間視聴方法を提供することにある。

本発明の視聴装置は、視聴者が頭部に装着可能なゴーグルと、表示画面を有する携帯端末とを含み、前記ゴーグルは、前記視聴者が外光を遮断した状態で前記表示画面を視聴可能な位置に前記携帯端末を離脱自在に収容する端末収容部と、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板とを交換自在に収容するレンズ収容部と、前記レンズ収容部に前記双眼レンズ板を収容したときに前記表示画面の視聴空間を二つに分割する仕切板を離脱自在に収容する仕切板収容部とを備えており、前記携帯端末は、前記表示画面における特定部位である注目点、前記携帯端末の３次元姿勢及び該３次元姿勢の変化状態を検出する検出手段と、水中空間を撮像した全天球映像から前記注目点を包含する部分の映像である部分映像を抽出するとともに前記３次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更させる所定の管理装置に対して、前記検出手段の検出結果を送信し、該管理装置から前記部分映像を取得する通信手段と、前記取得した部分映像を前記表示画面に表示させる表示制御手段と、を備えて成る。
「全天球映像」とは、３６０度の全方位を撮像した映像をいう。
また、本発明の水中空間視聴システムは、水中空間を撮像した全天球映像を取得する取得手段と、視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置と、前記視聴装置から前記表示画面における特定部位である注目点、前記視聴装置の３次元姿勢及び該３次元姿勢の変化状態を検出する検出手段と、前記取得手段で取得した前記全天球映像から前記検出手段で検出した前記注目点を包含する部分の映像である部分映像を抽出し、抽出した前記部分映像を前記表示画面へ表示させるとともに前記検出手段で検出した前記３次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更する制御手段と、を有し、前記視聴装置は、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板とを交換自在に収容するレンズ収容部と、前記レンズ収容部に前記双眼レンズ板を収容したときに前記表示画面の視聴空間を二つに分割する仕切板を離脱自在に収容する仕切板収容部と、を備えて成る。

本発明の水中空間視聴方法は、水中空間を撮像した全天球映像を、視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置を用いて視聴する方法であって、前記視聴装置の所定部位に、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板のいずれか一方を選択的に収容し、前記双眼レンズ板が収容されたときは前記表示画面の視聴空間を二つに分割する仕切板をさらに収容する収容工程と、前記視聴装置が、前記表示画面における特定部位である注目点、前記視聴装置の３次元姿勢及び該３次元姿勢の変化状態を検出する検出工程と、前記視聴装置が、前記全天球映像から前記注目点を包含する部分の映像である部分映像を抽出するとともに前記３次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更させる所定の管理装置に対して、前記検出工程の検出結果を送信し、該管理装置から前記部分映像を取得する取得工程と、前記視聴装置が、前記取得した部分映像を前記表示画面に表示する表示工程と、を有することを特徴とする。

本発明によれば、あたかも水中空間を自分の意思で探検するような景観の映像を視聴者に提供することができる。

本実施形態に係る水中空間視聴システムの全体構成図。 水中撮像装置の構成例を示す模式図。 全天球カメラ及びその周辺部品のハードウエア構成図。 管理装置のハードウエア構成図。 管理装置の機能構成図。 （ａ）はゴーグルの上面図、（ｂ）は正面図、（ｃ）は背面図。 ゴーグルの使用状態を示す模式図。 （ａ），（ｂ）は使用時のゴーグルの状態を示す模式図。 視聴装置に収容されるスマートフォンの機能構成図。 水中撮像装置、視聴装置及び管理装置のシーケンス図。 水中撮像装置の水中における状態説明図。

以下、図面を参照して本発明の実施形態例を説明する。ここでは、海中で生息する生物及びその生息環境を、陸上に存在する視聴者が、水中空間のうち視たい部位を自らの意思でコントロールして視聴できるようにする水中空間視聴システムに適用した場合の例を説明する。水中空間とは、水中を空気に例えた場合の３次元領域をいう。

［第１実施形態］
図１は、第１実施形態に係る水中空間視聴システムの全体構成図である。この水中空間視聴システムは、それぞれ複数台の水中撮像装置１０と、それぞれ視聴者が着用する複数台の視聴装置２０と、管理装置３０とを備えて構成される。水中撮像装置１０と視聴装置２０は、管理装置３０を介して無線通信により接続される。以下、各装置の構成例を説明する。

＜水中撮像装置＞
図２は、水中撮像装置１０の構成例を示す模式図である。水中撮像装置１０は、移動ブイ１１０、防水ケーブルホルダ１２０及び全天球カメラ１３３を収容したカメラボックス１３０を含んで構成される。全天球カメラ１３３は、３６０度の全方位を撮像できるカメラであり、全方位カメラとも呼ばれる。移動ブイ１１０は、水面を移動しながらカメラボックス１３０（全天球カメラ１３３）を深さ方向に変位自在に吊持するものである。移動ブイ１１０は、水に浮かぶ電波透過性の硬質樹脂製であり、空洞を有する。空洞内には、アンテナを有する通信装置１１０１、推進機構１１０２、ケーブル巻取機構１１０３及び制御装置１１０４が設置されている。なお、図示を省略したが、移動ブイ１１０の所定部位には、大容量の充電式のリチウムイオン電池が、通信装置１１０１、推進機構１１０２、制御装置１１０４の電源として配置されている。

通信装置１１０１は、管理装置３０と制御装置１１０４との間の双方向通信を可能にする。また、ＧＰＳ受信機を備え、移動ブイ１１０の緯度・経度・時刻情報などを受信して制御装置１１０４へ伝える。方位検出機能を備えるようにしてもよい。緯度・経度・時刻情報は、撮像時の移動ブイ１１０の位置及び姿勢、すなわち静かな水面をＸ座標系とそれに水平面上で直交するＹ座標系で定義し，水平面に直交するＺ座標系で定義したときに、移動ブイ１１０の３次元座標系（Ｘ，Ｙ，Ｚ座標で特定される座標空間）を特定するために用いられる。

制御装置１１０４は、通信装置１１０１を介して接続された管理装置３０の指示に基づき、移動ブイ１１０の水平方向及び全天球カメラ１３３の深さ方向の変位制御を行うとともに、カメラボックス１３０内の全天球カメラ１３３からの全天球映像及び音データを、移動ブイ１１０の緯度・経度・時刻情報及び移動ブイ１１０からカメラボックス１３０までの距離と関連付けて管理装置３０へ伝達する。
移動ブイ１１０の水平方向の変位制御は、通信装置１１０１で受信した緯度・経度と、管理装置３０からの変位指示に基づいて推進機構１１０２を制御することにより行う。全天球カメラ１３３の深さ方向の変位制御は、通信装置１１０１で受信した管理装置３０からの変位指示に基づいてケーブル巻取機構１１０３を制御することにより行う。深さ方向の変位制御に際しては、変位量を通信ケーブル１２１の巻取量に換算する。すなわち、予め通信ケーブル１２１の外径とケーブル巻取機構１１０３のリール径に基づき、実際にカメラボックス１３０を昇降させたときの移動ブイ１１０からカメラボックス１３０までの距離を計測し、計測結果を記録しておく。
上記処理手順は概ねルーチン化が可能なので、ワンチップコンピュータあるいはＦＰＧＡ（Field-Programmable Gate Array）などで構成することができる。

推進機構１１０２は、移動ブイ１１０を水面における２次元の任意の方向へ変位させるものであり、スクリュー、モータ及び操舵部を含んで構成される。移動ブイ１１０の変位方向及び変位量は、制御装置１１０４が、スクリューを回転させるモータ及び操作部を制御することにより決定される。ケーブル巻取機構１１０３は、制御装置１１０４と同軸線路である通信ケーブル１２１の基端部芯線との電気的な接続を可能にするとともに、通信ケーブル１２１の巻取量を変える機構である。

カメラボックス１３０は、少なくとも一部が透明ガラスとなる防水性のハウジング部１３１と、このハウジング部１３１に水密に固定されるジョイント部材１３２と、ハウジング部１３１の所定部位に収納される全天球カメラ１３３とを備えて構成される。ハウジング部１３１は、海底方向に容易に沈むように十分な重量を持つ材質で構成される。
全天球カメラ１３３は、水中空間の全天球映像を撮像するカメラであり、光学系部品、録音系部品、各種センサ、ストレージのほかこれらの部品の動作を制御する制御ユニットを備えて構成される。光学系部品は、ハウジング部１３１の透明ガラス付近に設置される。制御ユニットの詳細構成については、後述する。

防水ケーブルホルダ１２０は、両端部のうち一方端が移動ブイ１１０の下面に水密に固定される第１コネクタ部１２１と、他方端がカメラボックス１３０のジョイント部材１３２に水密に固定される第２コネクタ部１２２と、第１コネクタ部１２１及び第２コネクタ部１２２をつなぐ耐蝕性の蛇腹部１２３とを含んで構成される。
防水ケーブルホルダ１２０は、長さ方向の軸部が中空であり、この軸部に通信ケーブル１２１が変位自在に収容される。上記のとおり、通信ケーブル１２１は同軸線路であり、その基端部芯線は移動ブイ１１０に設置される制御装置１１０４と電気的に接続される。先端部芯線は、全天球カメラ１３３の制御ユニットと電気的に接続される。通信ケーブル１２１は、その先端部がジョイント部材１３２に固定されるが、基端部以外の部分は第１コネクタ部１２１を貫通し、移動ブイ１１０のケーブル巻取機構１１０３に巻き取られ、あるいは、巻き戻される。巻き取られると蛇腹部１２３が短くなり、カメラボックス１３０が水面方向に引き上げられる。巻き戻されると蛇腹部１２３が長くなり、カメラボックス１３０が水中に引き下げられる。

防水ケーブルホルダ１２０は海水に晒される。そのため、防錆ないし海水の浸入防止対策が不可欠となる。特に、海水は溶存酸素を含むほぼ中性の水溶液であり、塩化物などの塩類を多量に含む。そのため、第１コネクタ部１２１及び第２コネクタ部１２２は、その表面にフッ素樹脂加工あるいは少なくともその表面に防錆処理（絶縁化）が施されたニッケル材あるいは硬質ダイカスト材などで作成されたものが望ましい。超高分子量ポリエチレン（ＵＨＭＷ−ＰＥ）を成型したものを用いてもよい。また、蛇腹部１２３は、耐食性の高いベリリウム−銅合金、工業用ゴムあるいは樹脂などで作成されたものが望ましい。

ここで、全天球カメラ１３３の構成例、特に制御ユニットとその周辺デバイスの構成例について説明する。図３は、その構成例を示す図である。制御ユニットは、バスＢ１を介して接続されたＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、ＲＯＭ（Read Only Memory）３０３を主要部品とするコンピュータを有する。バスＢ１には、さらに、外部記憶装置３０４、入力Ｉ／Ｆ（Ｉ／Ｆはインタフェースの略、以下同じ）３０５、画像処理ブロック３０６、動画圧縮ブロック３０７、音処理ブロック３０８、出力Ｉ／Ｆ３０９が接続されている。なお、図示を省略したが、全天球カメラ１３３には、充電式のバッテリーが設けられている。

ＣＰＵ３０１は、上記各ブロックの動作及び全体動作を制御する。ＲＡＭ３０２は、ＣＰＵ３０１のワークエリアとして使用される。ＲＯＭ３０３は、ＣＰＵ３０１が解読可能なコードで記述された各種パラメータを格納する。外部記憶装置３０４は画像データや音データ等を記憶するものであるが、ＣＰＵ３０１が読み取って実行可能なカメラ制御用プログラムも記憶される。

入力Ｉ／Ｆ３０５には、それぞれ表面方向に１８０度の撮像範囲を持つ２つの撮像素子３１１，３１２から出力される画像信号がマウント３１３を介して入力される。入力Ｉ／Ｆ３０５には、また、姿勢センサ３１５及び音センサ３１７の検知信号が入力される。姿勢センサは、３軸の加速度センサ、３軸のジャイロセンサ、地磁気センサまたはこれらの組み合わせで構成され、全天球カメラ１３３の姿勢変化を検出するために用いられる。すなわち、移動ブイ１１０の位置及び全天球カメラ１３３の撮像時のＸ，Ｙ，Ｚ方向の３次元座標を特定するために用いられる。姿勢センサ３１５から得られる情報は、管理装置３０において、全天球映像から視聴者が注目する部分（後述する注目点）を包含する部分映像を抽出する際に用いられる。音センサ３１７は、音源からの距離が近いほど強く、遠いほど弱くなる音量の音を集音する。音源は全天球映像の３次元座標と関連付けられる。

画像処理ブロック３０６は、ＩＳＰ（Image Signal Processor）などを含んで構成され、画像信号に対して、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などの画像処理を行う。画像処理ブロック３０６は、さらに、上記処理を経て取得された複数の画像信号を合成し、これにより、全天球映像を生成する処理を行う。

動画圧縮ブロック３０７は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画圧縮及び伸張を行うコーデック・ブロックである。動画圧縮ブロック３０７は、生成された全天球映像を保存し、または、保存された全天球映像を再生出力するブロックである。
音処理ブロック３０８は、音センサで集音されたデータを管理装置３０側で認識可能なデジタルの音データに変換し、ＣＰＵ３０１へ伝えるとともに、ＲＡＭ３０２及び外部記憶装置３０４へ記録させる。

出力Ｉ／Ｆ３０９は、外部記憶装置３０４への記録前、記録中、記録された全天球映像及び音データを、通信ケーブル１２１、制御装置１１０４、管理装置３０を経て視聴装置２０に向けて出力する。記録前、記録中の全天球映像及び音データにより、リアルタイム通信が可能な状態で接続された視聴装置２０に対して、いわゆるライブビュー及びライブサウンドを提供することができる。

＜管理装置＞
次に、管理装置３０について説明する。管理装置３０は、水中撮像装置１０及び視聴装置２０の動作を監視制御する装置であり、無線通信機能を備えたコンピュータ及び管理用プログラムにより実現される。図４は、管理装置３０のハードウエア構成図である。管理装置３０は、バスＢ２を介して接続されたＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３を有する。バスＢ２には、さらに、大容量ストレージ４０４、画像処理ブロック４０５、動画圧縮ブロック４０６、音処理ブロック４０７、通信Ｉ／Ｆ４０８が接続されている。なお、図示を省略したが、管理装置３０は、電源回路又はバッテリーが設けられている。

ＣＰＵ４０１は、上記管理用プログラムを読み込んで実行することにより、上記各ブロックの動作を制御する。ＲＡＭ４０２は、ＣＰＵ４０１のワークエリアとして使用される。ＲＯＭ４０３は、ＣＰＵ４０１が解読可能なコードで記述された各種パラメータを格納する。大容量ストレージ４０４は、上記管理プログラムを記録するためのプログラムブロック、映像及び音を記録するためのデータブロックを有するとともに、後述するデータベース（ＤＢ）を構築するための記録媒体である。

画像処理ブロック４０５は、上述した画像処理ブロック３０６と基本動作は同じであるが、本実施形態では、該画像処理ブロック３０６の処理により得られた全天球映像から部分映像を抽出する。また、部分映像を徐々に変更したり、抽出した各部分映像の注目点における部分映像の表示倍率を変更したりする。さらに、抽出する部分映像を解析して振動の有無、振動の大きさ、振動周波数などの振動情報を検出し、これを音に変換できるようにする。

動画圧縮ブロック４０６は、動画圧縮ブロック３０７と同様、動画圧縮及び伸張を行うコーデック・ブロックである。本実施形態では、部分映像に対して動画圧縮及び伸張を行う。画像処理ブロック３０６の処理により得られた全天球映像、及び／又は、抽出された部分映像、表示倍率、振動情報は、ＲＡＭ４０２及び大容量ストレージ４０４のデータブロックに保存され、適宜、再生出力される。

音処理ブロック４０７は、視聴装置２０から入力される音データ（音声）及び水中撮像装置１０から入力される音データ（水中からの集音）をＣＰＵ４０１へ伝えるとともに、ＲＡＭ４０２及び大容量ストレージ４０４のデータブロックへ記録させる。画像処理ブロック４０５が被写体の振動情報を解析して音に変換できる場合は、変換後の音を表すデータあをデータブロックに記録しておく。
通信Ｉ／Ｆ４０８は、水中撮像装置１０及び視聴装置２０との間で無線通信を行うためのインタフェースである。

次に、管理装置３０が有する機能について説明する。図５はＣＰＵ４０１が管理用プログラムを実行することにより形成される管理装置３０の機能構成図である。管理装置３０は、全体動作を制御する主制御部５０１と、水中撮像装置１０及び視聴装置２０との間の通信を制御する通信制御部５０２とを有する。また、大容量ストレージ４０４に構築された視聴装置管理ＤＢ５０３及び撮像装置管理ＤＢ５０４を備えている。

管理装置３０は、また、さまざまなデータを取得して主制御部５０１へ伝達する取得手段を有する。すなわち、カメラＩＤ取得部５１１は、全天球カメラ１３３の電源オンを契機に識別情報（ＩＤ）を取得する。このとき、当該全天球カメラ１３３の位置情報（カメラボックス１３０、移動ブイ１１０の位置情報を含む）も併せて取得する。画像データ取得部５１２は、電源オン後の全天球カメラ１３３で撮像した全天球映像を取得する。音データ取得部５１３は電源オン後の全天球カメラ１３３で集音した音データを取得する。装置ＩＤ取得部５１４は視聴装置２０の電源オンを契機にそのＩＤを取得する。装置姿勢取得部５１５は電源オン後の視聴装置２０の姿勢及び変化を表すデータを取得する。音声データ取得部５１６は、電源オン後の視聴装置２０からの視聴者の音声などを取得する。

操作内容取得部５１７は、視聴装置２０に対する視聴者の操作内容を取得する。操作内容は、ＲＡＭ４０２に展開された操作内容テーブルに対応するスイッチないしボタンに対する操作と、ＲＡＭ４０２に展開されたパターン辞書より特定される視聴装置２０の注目点の姿勢ないし姿勢の変化パターン（例えば上下左右方向への所定速度での姿勢変化、姿勢変化後の停止、停止から姿勢変化開始など）である。

取得したこれらのデータは、視聴装置ＤＢ５０３及び撮像装置管理ＤＢ５０４へ格納され、適宜、読み出される。また、全天球映像及び音データは、直接あるいは必要な処理がなされた後、通信制御部５０２を通じて視聴装置２０に向けて送信される。なお、姿勢内容取得部５０７で取得した操作内容を表すデータは、ＲＡＭ４０２への記録にとどめるようにしてもよい。

視聴装置管理ＤＢ５０３には、個々の視聴装置２０の属性情報が格納される。すなわち、視聴装置２０毎に、そのＩＤ、電源オン／オフの情報、当該視聴装置２０が実行可能な画像処理の性能（３次元映像の出力可否など）などが、属性情報として視聴装置管理ＤＢ５０３に格納される。また、関連する他の視聴装置（例えば同じグループのメンバーが着用する視聴装置２０）のＩＤなどが関連付けられ、属性情報に含めて格納される。

撮像装置ＤＢ５０４には、水中撮像装置１０の属性情報が格納される。すなわち水中撮像装置１０毎に、全天球カメラ１３３の識別情報（ＩＤ）、全天球カメラ１３３の電源オン／オフの情報、電源オン時の全天球カメラ１３３の現在位置、時刻、姿勢の情報などが、属性情報として撮像装置ＤＢ５０４に格納される。全天球カメラ１３３の現在位置は、移動ブイ１１０の緯度・経度と、カメラボックス１３０の移動ブイ１１０からの距離とに基づいて算出することができる。

管理装置３０は、また、認証処理部５２１、リンク設定部５２２、指示内容認識部５２３、注目点検出部５２４、音声認識部５２５、画像編集部５２６及び音データ補正部５２７の機能ブロックを有する。
認証処理部５２１は、視聴装置２０のログイン時に当該視聴装置２０の認証処理を行う。認証処理は、当該視聴装置２０のＩＤ等が予め登録されたものかどうかを確認する処理である。リンク設定部５２１は、水中撮像装置１０と視聴装置２０とをそれらのＩＤをもとにリンクさせる。水中撮像装置１０と視聴装置２０とを１対１でリンクさせる場合、つまり一台の視聴装置２０において特定の一台の水中撮像装置１０からの全天球映像及び音データを視聴できるようにする場合は、視聴装置２０からの指示に基づいてペアリンクを設定する。また、１対Ｎ（Ｎは２以上の自然数）でリンクさせる場合は、一台の水中撮像装置１０からの全天球映像及び音データをＮ台の視聴装置２０で視聴できるようにリンクを設定する。

指示内容認識部５２３は、装置姿勢取得部５１５で取得したデータ及び操作内容取得部５１７で取得したデータに基づいて視聴者の指示内容を認識する。例えば装置姿勢取得部５１５で取得したデータが表す視聴装置２０の姿勢が基準位置から鉛直上下方向又は水平左右方向へ姿勢を所定速度で変化し、そのまま所望の時間だけ姿勢を維持した後に基準位置に戻ったとする。指示内容認識部５２３は、ＲＡＭ４０２に展開された認識辞書との比較により、このような姿勢変化のパターンが変位指示であると認識する。あるいは、視聴装置２０の姿勢が、鉛直上下方向、左右方向、斜め方向へ徐々に変化した場合、指示内容認識部５２３は、このような姿勢変化のパターンが注目点変位指示であると認識する。また、徐々に変化した後に停止し、かつ、停止状態が所定時間を超えて継続した場合、指示内容認識部５２３は、視聴者が注目点の映像を直視ないし凝視していると認識する。操作内容取得部５１７から取得した操作が、上述したボタン操作以外のタッチ操作である場合は、そのタッチ操作に応じた視聴態様を認識する。

注目点検出部５２４は、視聴装置２０の注目点及びその３次元姿勢の変化状態を検出する。「注目点」は、全天球映像の視聴者が注目していることが推定される全天球映像の特定部位（３次元座標により特定される特定点）をいう。本実施形態では、視聴装置２０の表示画面の略中央部分を注目点とする。また、操作内容取得部５１７で取得した操作内容が注目点を指定するものであった場合（ポインティング指示）、あるいは、後述する音声認識部５２５で認識された音声が視点移動の指示であった場合は、当該指定された部位を注目点として検出する。注目点の３次元姿勢及びその変化状態は、装置姿勢取得部５１５で取得した姿勢及び変化を表すデータに基づいて検出する。変化状態には、停止から変化開始、変化維持、変化後の停止、停止が継続している状態などがある。

音声認識部５２５は、視聴装置２０より取得した音声データの内容を認識する。認識結果が予め定めた定型文であった場合は、主制御部５０１において所定の処理を実行できるようにする。所定の処理は、例えば、上下左右方向の全天球映像における注目点変更などの処理を行う。また、設定により、ある視聴装置２０からの音声データを他の視聴装置２０へ伝達するように構成することもできる。

画像編集部５２６は、取得した全天球映像の３次元座標系における注目点の３次元座標系（Ｘ，Ｙ，Ｚ座標で表される座標空間）の相対位置を演算により求め、この演算結果に基づいて、注目点を中心とする一定範囲の座標空間を全天球映像から切り出す処理を行う。また、当該一定範囲の映像を部分映像として全天球映像から抽出する処理を行う。相対位置を求める演算は、全天球映像の３次元座標を注目点に応じた傾きで３次元回転変換するものであり、全天球映像全体に対する画像処理を行う場合よりも処理負荷を小さくすることができる。そのため、視聴者にとって違和感のない（つまり、再生が途中で止まることのない）部分映像を視聴装置２０に向けて出力することができる。画像編集部５２６は、また、注目点における停止状態が一定時間継続する場合に、部分映像の表示倍率を拡大する処理を行う。

音データ補正部５２７は、部分映像における相対的な位置に対応した音量の音データに補正する。すなわち、全天球カメラ１３３より取得した全天球映像の３次元座標と集音した音データとに基づき、当該音データから復元される音の音量の補正を行う。例えば、集音した音の音源の位置が注目点から離れていると判定される場合は、離れた距離に応じて音量を小さくする。なお、水中の雑音については、バンドパスフィルタなどでフィルタリングすることにより消去することができる。

＜視聴装置＞
次に、視聴装置２０について説明する。視聴装置２０は、視聴者が着用する装置であり、視聴者の意図に即して全天球カメラ１３３で撮像した全天球映像のうち注目点を包含する部分映像と、その全天球カメラ１３３で集音した音とを管理装置３０から取得して視聴者に視聴させる装置である。部分映像については、それ以外の視界を遮る態様で視聴者に視聴させるように構成される。本実施形態では、所定のアプリケーションプログラム（以下、「ＡＰ」と略す）が予めインストールされたスマートフォンと、交換レンズ板と、これらを離脱自在に収容するゴーグルとで視聴装置２０を構成する場合の例を説明する。

スマートフォンは、表示画面のほか、ジャイロセンサあるいは加速度センサのような姿勢センサ、無線通信機能、マイクロフォンからの入力機構、スピーカないしイヤホンへの出力機構を有するものである。また、姿勢センサで筐体の姿勢ないしその変化状態を検出し、検出結果を自己のＩＤと共に管理装置３０へ送信できるものである。また、視聴者が発した音声を管理装置３０へ送信するとともに管理装置３０からの音データないし音声を出力できるものである。また、管理装置３０との間で、自己のＩＤを用いたログイン／ログオフ機能を有するものである。

まず、図６〜図８を参照して視聴装置２０のゴーグルについて説明する。図６（ａ）はゴーグルの上面図、同（ｂ）は正面図、同（ｃ）は背面図である。図７はゴーグルの使用状態を示す模式図である。図８（ａ），（ｂ）は使用時のゴーグルの状態を示す模式図である。これらの図に示されるように、ゴーグルは、それぞれ樹脂材を成型して成る端末収容部２１とレンズ収容部２２とを有する。端末収容部２１とレンズ収容部２２は、その一部に設けられた係合機構、例えば蝶番を軸として開閉自在に構成される。レンズ収容部２２の外表面には、ゴーグルを視聴者の頭部に装着するためのベルト部材２３，２４，２５をそれぞれ３点で固定するためのバックルが設けられている。

端末収容部２１には、スマートフォンを挿入できる狭い幅広Ｕ字溝状の隙間、すなわち上底面の部分だけが開口した端末収容機構２１１と、仕切板２７３を挿入するための仕切板収容機構２１２とが形成されている。端末収容部２１の前面パネル２１５は、レンズ収容部２２との接合部位までの筐体とレンズ収容部２２の筐体と協働して外光を遮断する。この前面パネル２１５の背面側には、スマートフォンを弾性保持する軟質樹脂が貼り付けられている。仕切板２７３は、スマートフォンの表示画面２８０に対して垂直方向に延びる樹脂板であり、表示画面２８０を視聴する視聴空間を二つに分割する役目をもつ。一方、レンズ収容部２２は、交換レンズ板を交換自在に挿入できる狭い幅広Ｕ字溝状の隙間、すなわち上底面の部分だけが開口したレンズ板収容機構２１３と、視聴者の顔の鼻を当てる部分２２１から両目周辺を覆う柔らかい弾性素材で縁取るように形成された接顔部２２２とを有している。

レンズ板収容機構２１３に収容された交換レンズ板は、レンズ面が、スマートフォンの表示画面２８０と重なるように位置決めされる。なお、本実施形態では、交換レンズ板として、スマートフォンの表示画面２８０を、図８（ａ）に示されるようにそのまま、あるいは所定の倍率に拡大して視聴する際に装着する単眼レンズ板２７１と、表示画面２８０に表示される映像がステレオ映像である場合に、図８（ｂ）に示されるように、そのステレオ映像を視聴する際に装着する双眼レンズ板２７２とを用いる。例えば前者は大人用、後者は子供用として使用することができる。各レンズは、１枚又は２枚のレンズを枠体で抑えたものである。いずれのレンズも平凸レンズ、平凹レンズ、両凸レンズ、両凹レンズなどである。フレネルレンズを用いることもできる。必要に応じて、視力矯正レンズを用いることもできる。

以上のように構成されるゴーグルを視聴者が頭部に装着し、接顔部２２２を接顔すると、外界の光が遮断され、目に見える光はスマートフォンの表示画面２８０の照明だけとなる。これにより視聴者の両目は表示画面２８０の映像だけに焦点を合わせ、集中することができる。そのため、表示画面２８０に表示される映像への没入感を高めることができる。スマートフォンから出力される音は、イヤホンなどを通じて聴くことができる。
また、視聴者が小さい子供の場合は単眼レンズ板２７１を装着し、大人の場合は双眼レンズ板２７２に切り替えて装着できることから、子供用にも大人用にも対応できる視聴装置２０を実現することができる。

＜スマートフォンの機能＞
図９は、視聴装置２０に収容されるスマートフォンの機能構成図である。これらの機能は、ＡＰを読み込んで実行するスマートフォンのＣＰＵにより実現される。スマートフォンは、姿勢検出部２３１を有する。姿勢検出部２３１は姿勢センサの検出結果を通信制御部２３２を介してリアルタイムに管理装置３０へ送信する。すなわち、管理装置３０において、スマートフォンが向いている方位・方向・変化状態に対応した注目点を特定する際に必要なデータが取得され、送信される。

管理装置３０からは、方位・方向・変化状態に対応する全天球映像のうち注目点を包含する部分映像を表示するための画像データと、全天球カメラ１３３で集音した音データが、それぞれ画像データ入力部２４１及び音データ入出力部２５１を通じて入力される。画像データは、画像処理部２４２でスマートフォンの表示画面２８０に表示可能な解像度及び表示サイズの映像に復元され、表示制御部２４３に入力される。表示制御部２４３は、スマートフォンに単眼映像の表示が設定されている場合は単眼表示用画像２８１、スマートフォンに３次元ステレオ映像の表示が設定されている場合はステレオ映像表示用画像２８２に切り換え、表示画面２８０への表示制御を行う。

管理装置３０から入力された音データは、音処理部２５２でスマートフォンで再生可能な音に復元され、スピーカないしイヤホンから出力される。一方、マイクロフォンから入力された音声データは、音声入力部２５３を経て音処理部２５２に入力され、音データ入出力部２５１及び通信制御部２３２を管理装置３０へ送信される。

［運用形態例］
次に、上記のように構成される水中撮像装置１０、視聴装置２０及び管理装置３０の運用形態例について説明する。図１０は、各装置のシーケンス図であり、図１１は水中撮像装置１０の水中における状態説明図である。
図１０を参照し、管理装置３０には、複数の水中撮像装置１０からそれぞれ全天球映像のうち所定方向の所定部位を注目点とする、つまり全天球カメラ１３３にデフォルトで設定された方向・部位の部分映像と、当該全天球カメラ１３３で集音された音データとが入力されている（ＳＴ００）。

視聴者は、図６〜図８に示される構造の視聴装置２０を頭部に装着する前に、スマートフォンの表示画面２８０に表示されるログイン画面を通じて管理装置３０にアクセスし、ログインする（ＳＴ０１）。管理装置３０は、視聴装置２０からのログインを契機に認証を行う（ＳＴ０２）。認証に成功すると、視聴装置２０に対して、現在動作している全天球カメラ１３３からの部分映像を、通常表示時よりも解像度の低いサムネイル映像として提示する（ＳＴ０３）。視聴装置２０は、表示画面２８０にサムネイル映像を表示して視聴者による全天球カメラ１３３の選択を待つ。視聴者が所望の部位を撮像している全天球カメラ１３３を選択すると（ＳＴ０４）、管理装置３０は、当該全天球カメラ１３３を収容した水中撮像装置１０及び視聴装置２０とのリンクを開始する（ＳＴ０５）。

リンクに成功すると、視聴装置２０は、全天球カメラ１３３を特定する（ＳＴ０６）。一方、水中撮像装置１０（制御装置１１０４）は、リンクの対象となる視聴装置２０を特定し（ＳＴ０７）、特定した視聴装置２０用に、全天球映像を撮像するとともに音データの集音を行う。また、撮像した全天球映像のうちデフォルトの方向・部位の部分映像を出力する（ＳＴ０８）。視聴者は、視聴装置２０を頭部に装着し、スマートフォンに接続されたイヤホンを耳へ装着する。

部分映像を視聴中の視聴者は、全天球カメラ１３３を水中で視聴したい方向へ移動させたり、部分映像を変更させるために、視聴装置２０の姿勢を変化させる。すると、スマートフォンの姿勢センサが姿勢変化を検出し、管理装置３０へ伝える（ＳＴ０９）。管理装置３０は、姿勢変化の検出結果が所定の第１条件を満たす場合は全天球カメラ１３３の変位制御を行う（ＳＴ１０）。姿勢変化の検出結果が所定の第２条件を満たす場合は部分映像の抽出部位を連続的に変化させるための注目点変更制御（ＳＴ１１）を行う。

＜第１条件の例＞
例えば視聴者が視聴装置２０を装着し、表示画面２８０の部分映像を視聴している状態で、頭部を鉛直下方向へ所定速度で変化させ、そのまま所望の時間だけ姿勢を維持した後に水平に戻したとする。所定速度は、例えば表示画面２８０への映像が途切れる速度である。管理装置３０は、視聴装置２０のこのような姿勢変化を深さ方向の変位制御指示と認識し、全天球カメラ１３３の変位制御を行う（ＳＴ１０）。具体的には、水中撮像装置１０の制御装置１１０４に、ケーブル巻取機構１１０３に通信ケーブル１２１の巻き戻しをさせる。巻き戻し量は、視聴者が鉛直下方向の姿勢を維持した時間が長くなるにつれて多くなる。これにより、全天球カメラ１３３の位置が当該時点から深さ方向へ変位する。全天球カメラ１３３は、変位した位置で全天球映像の撮像及び集音を行い（ＳＴ１２）、その結果得られたデータをリアルタイムに管理装置３０へ送信する。
管理装置３０は受信したデータに対して画像編集及び音処理を行い、その結果データを視聴装置２０へ送信する（ＳＴ１３）。視聴装置２０は、管理装置３０から受信した結果データに基づいて部分映像の出力及び音出力を行う（ＳＴ１４）。

全天球カメラ１３３を上昇させる場合も同様に、視聴者は、視聴装置２０を装着したまま、頭部を鉛直上方向へ姿勢を所定速度で変化させ、そのまま所望の時間だけ姿勢を維持した後に水平に戻す。スマートフォンの姿勢センサがこの姿勢変化を検出し、管理装置３０へ伝える（ＳＴ０９）。管理装置３０は、全天球カメラ１３３の変位制御（ＳＴ１０）を行う。すなわち、管理装置３０は、水中撮像装置１０の制御装置１１０４に、ケーブル巻取機構１１０３に通信ケーブル１２１の巻き取りをさせる（ＳＴ１１）。巻き取り量は、視聴者が鉛直上方向の姿勢を維持した時間が長くなるにつれて多くなる。これにより、全天球カメラ１３３の位置が当該時点から水面方向へ変位する。全天球カメラ１３３は、変位した位置で全天球映像の撮像及び集音を行い（ＳＴ１２）、これにより得られたデータをリアルタイムに管理装置３０へ送信する。
管理装置３０は、受信したデータに対して画像編集及び音処理を行い、その結果データを視聴装置２０へ送信する（ＳＴ１３）。視聴装置２０は、管理装置３０から受信した結果データに基づいて部分映像の出力及び音出力を行う（ＳＴ１４）。

同様に、全天球カメラ１３３を水平左方向へ移動させたい場合、視聴者は、視聴装置２０を装着したまま、頭部を水平左方向へ所定速度で変化させ、そのまま所望の時間だけ姿勢を維持する。スマートフォンの姿勢センサが姿勢変化を検出し、管理装置３０へ伝える（ＳＴ０９）。管理装置３０は、全天球カメラ１３３の変位制御（ＳＴ１０）を行う。すなわち、管理装置３０は水平方向の変位制御指示と認識し、水中撮像装置１０の操舵機構を制御して、スクリュー、モータ及び操舵部を駆動させ、移動ブイ１１０を当該時点から水平左方向へ移動させる（ＳＴ１１）。全天球カメラ１３３を水平右方向へ移動させたい場合も同様に、視聴者は、視聴装置２０を装着したまま、頭部を水平右方向へ所定速度で変化させ、そのまま所望の時間だけ姿勢を維持する。その後の管理装置３０及び全天球カメラ１３３の動作は上下方向への変位について説明した上記と同様の処理となる。なお、全天球カメラ１３３は、水平方向では任意の方角への移動が可能である。この場合、視聴者は、視聴装置２０を装着したまま、頭部を所望の方角へ所定速度で変化させ、そのまま所望の時間だけ姿勢を維持した後に水平に戻すことになる。

＜第２条件の例＞
一方、視聴者が視聴装置２０を装着し、表示画面２８０の部分映像の表示が途切れない速度で、頭部を鉛直上下方向、左右方向、斜め方向へ徐々に変化させたとする。また、このような変化が継続された後に停止し、かつ、停止状態が所定時間を超えて継続したとする。スマートフォンの姿勢センサは、このような姿勢変化（変化後の停止状態を含む）を検出し、管理装置３０へ伝える（ＳＴ０９）。管理装置３０は、姿勢の変化が継続している状態を視聴装置２０からの注目点変更指示と認識し、注目点変更（ＳＴ１１）を行う。この場合、管理装置３０は、変化した注目点を包含する部分映像の画像編集を行うとともに、音処理を行い、その結果データを視聴装置２０へ送信する（ＳＴ１３）。管理装置３０は、また、視聴装置２０の姿勢の停止状態が所定時間を超えて継続された場合、当該部分映像の撮像倍率を拡大させるための画像編集を行う。そして、管理装置３０は、これらの処理の結果データを視聴装置２０に向けて出力する。視聴装置２０は、管理装置３０から受信した結果データに基づいて部分映像の出力及び音出力を行う（ＳＴ１４）。

視聴装置２０は、視聴者がログオフするまで、ＳＴ０９以降の動作を繰り返す（ＳＴ１５：Ｎ）。視聴者がログオフした場合（ＳＴ１５：Ｙ）、管理装置３０は、その視聴装置２０と水中撮像装置１０とのリンクを解消する（ＳＴ１６）。これにより、水中撮像装置１０は待機モードに移る（ＳＴ１７）。

［第１実施形態による効果］
このように、本実施形態の水中空間撮像システムでは、視聴者による視聴態様（姿勢変化など）を視聴装置２０が管理装置３０へ伝え、管理装置３０が、その視聴態様に応じて全天球カメラ１３３の変位制御や注目点変更の処理を行う。また、全天球映像から部分映像を抽出し、視聴者の視聴態様に応じて部分映像の画像編集を行う。例えば注目点が変化後に停止した状態が一定時間以上維持される場合、注目点を中心として部分映像の表示倍率を大きくする。
これにより、例えば図１１に示すように、海の岩礁の窪み部分の近くまで全天球カメラ１３３を変位させ、当該部位の部分映像及び当該部位で集音した音を視聴することができる。そのため、例えば岩陰に隠れる習性の生物を視聴することが容易になる。また、見たい生物が近づいてこなくとも、あるいは、生物が小さい場合であっても、それらを注目点として部分映像の中心位置にとらえた状態で一定時間以上停止させることにより、撮像倍率が拡大するため、あたかも、それらの生物を間近で視聴しているような体験が可能となる。このように、本実施形態によれば、水中空間を視聴者が自分の意思で探検するような景観の映像を提供することができる。

なお、親子連れで水中空間視聴システムを利用する場合、親の視聴装置２０には、ゴーグルの端末収容部２１に双眼レンズ板２７２を収容することで３次元ステレオ映像を表示させ、子供の視聴装置２０には、ゴーグルの端末収容部２１に単眼レンズ板２７１を収容することで単眼映像を表示させることができる。また、各視聴装置２０でそれぞれ独立に水中撮像装置１０を制御することができるので、親子でそれぞれ視たい映像を視聴することができる。視聴装置２０間で相互通話できる構成の場合は、視聴装置２０を装着した状態で、視たい方向や部位に併せることもできる。

また、管理装置３０において、部分映像に映った被写体の振動を検知する機能を持ち、視聴装置２０に、検知した振動をそれぞれ当該部分映像を映した視聴装置２０の視聴者に伝える振動伝達媒体を備える構成にすれば、陸上からは観察することができない振動を視聴者に与えることができる。なお、振動を音に変換する場合は、当該振動を音として聴くことができる。

［第２実施形態］
本発明は、以下の工程を有する水中空間視聴方法としての実施が可能である。
（１）水中撮像装置１０を水中に配置して水中空間の全天球映像を撮像する撮像工程。
（２）水中撮像装置１０が撮像した全天球映像をリアルタイムに取得し、取得した全天球映像から所定の注目点を包含する部分映像を抽出するとともに、抽出した部分映像を、視聴者が外光を遮断した状態で視聴可能な視聴装置２０に表示させる表示工程。
（３）視聴装置２０の３次元姿勢の変化状態に応じて注目点を連続的に変更し、これにより視聴装置２０に表示される部分画像を変更させる変更工程。
バーチャルリアリティ技術ではなく、実際に水中を撮像した全天球映像から注目点を包含する部分映像を視聴装置２０に表示させるので、この実施形態によっても、水中空間を視聴者が自分の意思で探検するような景観の映像を提供することができる。この場合、水中撮像装置１０は、第１実施形態のように水平方向及び深さ方向へ移動可能としてもよいが、景観のよい特定部位に据え付けるようにしてもよい。

［変形例１］
第１実施形態及び第２実施形態では、移動ブイ１１０の推進機構１１０２やケーブル巻取機構１１０３を視聴装置２０の姿勢の変化に応じて制御することにより水中撮像装置１０の撮像位置や撮像方向、及び全天球映像から部分映像を抽出するための注目点を変位させる場合の例について説明したが、本発明は、このような制御態様に限定されるものではない。例えば、視聴装置２０の表示画面がタッチパネルで構成され、あるいは表示画面にポインティングデバイスが接続されている場合、視聴装置２０の姿勢はそのままで、タッチ操作やポインティングデバイスの操作によって注目点等を変位させるようにしてもよい。あるいは、視聴装置２０の姿勢や表示画面の操作のほかに、移動部位１１０の推進機構１０２、ケーブル巻取機構１１０３、制御装置１１０４を独自に制御するコントローラを設け、このコントローラによって注目点等を変位させるようにしてもよい。

［変形例２］
第１実施形態では、水中撮像装置１０及び視聴装置２０をそれぞれ複数台備えた場合の例を説明したが、１台ずつで水中空間視聴システムを構成してもよい。また、第１実施形態では、水中撮像装置１０と視聴装置２０との間に管理装置３０が介在する場合の例を説明したが、図４に示したハードウエア部品及び図５に示した管理装置３０の機能ブロックを水中撮像装置１０の制御装置１１０４又は視聴装置２０のスマートフォンの機能として設けることで、管理装置３０を省略してもよい。

［変形例３］
第１実施形態では、陸上において視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置２０として、ゴーグルにスマートフォンを挿入した場合の例を説明したが、タブレット端末の表示画面やパーソナルコンピュータに接続された液晶ディスプレイを所定の筐体ないし膜で囲う構造にしてもよい。この場合、上記のＡＰはタブレット端末やパーソナルコンピュータにインストールすることになる。

［変形例４］
第１実施形態の水中空間視聴システムにおいて、部分映像に映った物体の振動を検知する１つ又は複数の検知手段を各水中撮像装置１０に設けるとともに、各視聴装置２０に振動伝達媒体を設け、水中撮像装置１０で検知した振動をそれぞれ当該部分映像を映した視聴装置２０の視聴者に振動伝達媒体を通じて伝える構成にしてもよい。このような構成にすることで、視覚及び聴覚のみならず、触覚を通じて水中空間の様子を視聴者に伝達することができる。

［変形例５］
第１実施形態では、視聴装置２０同士が通話する場合に管理装置３０を介在させる例について説明したが、少なくとも二つの視聴装置２０に、相互に通話可能な通信手段を備えるようにしてもよい。このような構成にすることで、親子やカップル同士で、視聴装置２０を装着した状態で会話しながら、同一の部分映像の視聴を楽しむことができる。

［変形例６］
なお、第１実施形態では、海中で生息する生物及びその生息環境を視聴する場合の例について説明したが、本発明は、湖、ダムあるいは水族館の大型水槽などの水中空間の視聴においても適用が可能なものである。また、全天球映像及び部分映像は、動画像のみならず静止画像をも含むものである。

Claims (10)

1. 視聴者が頭部に装着可能なゴーグルと、表示画面を有する携帯端末とを含み、
   前記ゴーグルは、前記視聴者が外光を遮断した状態で前記表示画面を視聴可能な位置に前記携帯端末を離脱自在に収容する端末収容部と、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板とを交換自在に収容するレンズ収容部と、前記レンズ収容部に前記双眼レンズ板を収容したときに前記表示画面の視聴空間を二つに分割する仕切板を離脱自在に収容する仕切板収容部とを備えており、
   前記携帯端末は、前記表示画面における特定部位である注目点、前記携帯端末の３次元姿勢及び該３次元姿勢の変化状態を検出する検出手段と、
   水中空間を撮像した全天球映像から前記注目点を包含する部分の映像である部分映像を抽出するとともに前記３次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更させる所定の管理装置に対して、前記検出手段の検出結果を送信し、該管理装置から前記部分映像を取得する通信手段と、
   前記取得した部分映像を前記表示画面に表示させる表示制御手段と、を備えている、
   視聴装置。
2. 前記ゴーグルは、前記端末収容部と前記レンズ収容部とが開閉自在に構成されていることを特徴とする、
   請求項１に記載の視聴装置。
3. 水中空間を撮像した全天球映像を取得する取得手段と、
   視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置と、
   前記視聴装置から前記表示画面における特定部位である注目点、前記視聴装置の３次元姿勢及び該３次元姿勢の変化状態を検出する検出手段と、
   前記取得手段で取得した前記全天球映像から前記検出手段で検出した前記注目点を包含する部分の映像である部分映像を抽出し、抽出した前記部分映像を前記表示画面へ表示させるとともに前記検出手段で検出した前記３次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更する制御手段と、を有し、
   前記視聴装置は、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板とを交換自在に収容するレンズ収容部と、前記レンズ収容部に前記双眼レンズ板を収容したときに前記表示画面の視聴空間を二つに分割する仕切板を離脱自在に収容する仕切板収容部と、を備えている、
   水中空間視聴システム。
4. 前記制御手段は、前記全天球映像の３次元座標系における前記注目点の３次元座標系の相対位置を演算により求め、この演算結果に基づいて前記全天球映像から前記部分映像を抽出する、
   請求項３に記載の水中空間視聴システム。
5. 前記検出手段は、前記視聴装置の３次元姿勢の変化状態をも検出するものであり、
   前記制御手段は、前記変化状態が第１条件を満たす場合は前記部分映像の抽出部位を連続的に変化させるための注目点変更制御を行う、
   請求項３に記載の水中空間視聴システム。
6. 前記制御手段は、前記視聴装置の３次元姿勢が変化した後に停止した状態が所定時間を超えて維持される場合、当該注目点の表示倍率を拡大させる、
   請求項５に記載の水中空間視聴システム。
7. 前記部分映像に映った被写体の振動を検知する振動検知手段と、
   検知した振動をそれぞれ当該部分映像を映した前記視聴装置の視聴者に伝える振動伝達媒体と、をさらに備えて成る、
   請求項３ないし６のいずれか一項に記載の水中空間視聴システム。
8. 前記視聴装置は、音データに基づいて音を出力する音出力手段を備えており、
   前記取得手段は、前記全天球映像と共に前記全天球映像の撮像と同期して集音された水中の音を取得し、
   前記制御手段は、前記取得した音を、前記全天球映像に対する当該部分映像における相対的な位置に対応した音量の音データに補正し、補正した音データを前記部分映像と共に前記視聴装置へ出力する、
   請求項３ないし７のいずれか一項に記載の水中空間視聴システム。
9. 前記視聴装置をそれぞれ複数台備えており、
   前記視聴装置の３次元姿勢に応じた部分映像が前記表示画面に表示される、
   請求項３ないし８のいずれか一項に記載の水中空間視聴システム。
10. 水中空間を撮像した全天球映像を、視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置を用いて視聴する方法であって、
    前記視聴装置の所定部位に、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板のいずれか一方を選択的に収容し、前記双眼レンズ板が収容されたときは前記表示画面の視聴空間を二つに分割する仕切板をさらに収容する収容工程と、
    前記視聴装置が、前記表示画面における特定部位である注目点、前記視聴装置の３次元姿勢及び該３次元姿勢の変化状態を検出する検出工程と、
    前記視聴装置が、前記全天球映像から前記注目点を包含する部分の映像である部分映像を抽出するとともに前記３次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更させる所定の管理装置に対して、前記検出工程の検出結果を送信し、該管理装置から前記部分映像を取得する取得工程と、
    前記視聴装置が、前記取得した部分映像を前記表示画面に表示する表示工程と、
    を有することを特徴とする、水中空間視聴方法。

Images