JP6678313B2 - 映像表示システム、映像表示装置及び映像表示方法 - Google Patents

Description

本発明は、撮像された全天球方向の映像データを表示する映像表示システム、映像表示装置及び映像表示方法に関する。

近年、全天球方向（つまり、３６０度の範囲）の映像を撮像可能なカメラ（以下、全天球カメラという）が登場し始めている。全天球カメラは広範な範囲の映像を撮像可能であるため、使用想定上、例えば屋外で撮像されることが多いが、屋外では３６０度の範囲の映像に太陽光の順光方向の映像と太陽光の逆光方向の映像とが混じって撮像されてしまい、撮像された映像の明るさが方位に関係なく一律とはならない。このため、太陽光の逆光方向の映像（つまり、明るさが低い映像）を撮像するカメラのダイナミックレンジを上げるというアプローチが考えられる。

ここで、画像の撮像時のカメラのダイナミックレンジを有効利用するために、カメラにより撮影された画像を別体の表示装置（例えば頭部装着型ディスプレイ）において表示する先行技術として、例えば特許文献１が知られている。

特許文献１に示す表示装置では、通常時には複数の表示部のＬＣＤ（Liquid Crystal Display）はメインバックライトにより照射される。撮影時の画像信号とともに測光情報信号が表示装置の制御部に入力され、その測光情報に基づいて制御部により各駆動回路が制御されて、複数の補助バックライト、複数の補助フラッシュ、複数の補助灯が発光駆動され、複数のＬＣＤが補助的に照射される。これにより、撮影時における被写体の明るさの変化によって生じる臨場感を損なうことがなくなる。

特開平７−２９４８７６号公報

しかし、上記した全天球カメラにより撮像された映像をユーザが頭部装着型ディスプレイ（例えばＨＭＤ：Head Mount Display）において見ようとする場合、特許文献１の構成では、バックライトによってＬＣＤが補助的に照明されるだけである。このため、太陽光の逆光方向の映像のように元々の映像が暗いと、映像が表示された画面をバックライトで明るくしても映像が鮮明に表示される訳では無いため、映像の視認性が劣化した状態が維持されてしまうという課題があった。

例えば全天球カメラにより撮像された映像を、ヘッドマウントディスプレイを装着したユーザが見ようとする場合、ヘッドマウントディスプレイはユーザの動きに合わせて全天球方向の色々な方向を短い時間で切り替えて表示する。このため、ユーザが見る方向によって映像の明るさが異なると、一律に同じ明るさで映像を照明しても映像の視認性は向上しない。

本発明は、上述した従来の課題を解決するために、全天球カメラにより撮像された映像をヘッドマウントディスプレイにおいて見る際に、ユーザの視線方向に合わせて動的に映像の明るさを調整し、撮像時のダイナミックレンジを疑似的に上げ、映像の視認性を向上する映像表示システム、映像表示装置及び映像表示方法を提供することを目的とする。

本発明は、複数のカメラにより撮像された複数の映像データを保持する映像処理装置とユーザが装着可能な映像表示装置とが接続された映像表示システムであって、前記映像処理装置は、前記複数の映像データを用いて、前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データを生成する映像生成部と、前記映像生成部により生成された前記全天球映像データを前記映像表示装置に送信する映像送信部と、を有し、前記映像表示装置は、前記ユーザの視線方向を検出するセンサと、前記映像送信部から送信された前記全天球映像データを受信する映像受信部と、前記全天球映像データから、前記センサの検出結果による前記ユーザの視線方向を中心とした前記全天球映像データよりも小さい所定範囲の映像データを切り出し、前記切り出された前記所定範囲の映像データにおける明るさの平均値を、切り出し範囲平均明るさとして算出する映像抽出部と、前記映像抽出部により抽出された前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが既定の第１の閾値と既定の第２の閾値との間の一定範囲の明るさとなるように調整する明るさ調整部と、前記明るさ調整部により調整された前記所定範囲の映像データを表示する映像表示部と、を有する、映像表示システムを提供する。

また、本発明は、ユーザが装着可能であって、複数のカメラにより撮像された複数の映像データを保持する映像処理装置と接続する映像表示装置であって、前記ユーザの視線方向を検出するセンサと、前記映像処理装置により生成された、前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データを受信する映像受信部と、前記全天球映像データから、前記センサの検出結果による前記ユーザの視線方向を中心とした前記全天球映像データよりも小さい所定範囲の映像データを切り出し、前記切り出された前記所定範囲の映像データにおける明るさの平均値を、切り出し範囲平均明るさとして算出する映像抽出部と、前記映像抽出部により抽出された前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが既定の第１の閾値と既定の第２の閾値との間の一定範囲の明るさとなるように調整する明るさ調整部と、前記明るさ調整部により調整された前記所定範囲の映像データを表示する映像表示部と、を備える、映像表示装置を提供する。

また、本発明は、ユーザが装着可能であって、複数のカメラにより撮像された複数の映像データを保持する映像処理装置と接続する映像表示装置における映像表示方法であって、前記ユーザの視線方向を検出し、前記映像処理装置により生成された、前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データを受信し、前記全天球映像データから、検出された前記ユーザの視線方向を中心とした前記全天球映像データよりも小さい所定範囲の映像データを切り出し、前記切り出された前記所定範囲の映像データにおける明るさの平均値を、切り出し範囲平均明るさとして算出し、抽出された前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが既定の第１の閾値と既定の第２の閾値との間の一定範囲の明るさとなるように調整し、調整された前記所定範囲の映像データを表示する、映像表示方法を提供する。

本発明によれば、全天球カメラにより撮像された映像をヘッドマウントディスプレイにおいて見る際に、ユーザの視線方向に合わせて動的に映像の明るさを調整するので、撮像時のダイナミックレンジを疑似的に上げることができ、映像の視認性を向上することができる。

本実施形態の全天球カメラシステムのシステム構成の一例を示す図 図１に示す全てのカメラの撮像画像のスティッチング処理により得られた全天球映像データの一例を示す図 本実施形態の映像処理装置の内部構成の第１例を示すブロック図 本実施形態のヘッドマウントディスプレイの内部構成の第１例を示すブロック図 本実施形態の映像処理装置の内部構成の第２例を示すブロック図 本実施形態のヘッドマウントディスプレイの内部構成の第２例を示すブロック図 （Ａ）本実施形態の全天球カメラと被写体との位置関係の一例を示す説明図、（Ｂ）（Ａ）に示す全天球カメラにより撮像された映像データのうち、ユーザが向いた視線方向の映像が切り出されてヘッドマウントディスプレイに表示された例を示す説明図 （Ａ）全天球カメラの原点、水平方向基準線、ユーザの視線方向を示す水平角θの説明図、（Ｂ）ユーザの視線方向を示す水平角θと明るさ（例えば輝度値）との関係の一例を示すグラフ 本実施形態の映像処理装置の動作手順の一例を説明するフローチャート 本実施形態のヘッドマウントディスプレイの動作手順の一例を説明するフローチャート

以下、適宜図面を参照しながら、本発明に係る映像表示システム、映像表示装置及び映像表示方法を具体的に開示した実施形態（以下、本実施形態という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

本実施形態の映像表示システムの一例としての全天球カメラシステム１は、例えば屋内又は屋外に設置された複数のカメラＣＡＭ１…ＣＡＭ７により撮像された映像の映像データを用いて、複数のカメラＣＡＭ１…ＣＡＭ７の設置エリアの周囲の３６０度の範囲を有する映像データを生成し、ユーザが装着したヘッドマウントディスプレイ４においてユーザの視線方向の映像データを切り出して表示する。

図１は、本実施形態の全天球カメラシステム１のシステム構成の一例を示す図である。図２は、図１に示す全てのカメラＣＡＭ１…ＣＡＭ７の撮像画像のスティッチング処理により得られた全天球映像データＡＳＰの一例を示す図である。図１に示すように、全天球カメラシステム１は、スティッチング処理用の撮像画像（例えば動画）のデータを生成するカメラＣＡＭ１…ＣＡＭ７を有するカメラユニットである全天球カメラ２と、それぞれの撮像画像のデータのスティッチング処理を行うことにより、全天球映像データＡＳＰを順次生成する映像処理装置３と、映像処理装置３から送信された全天球映像データＡＳＰのうち所定範囲の映像データを切り出して表示するヘッドマウントディスプレイ４とを含む構成である。

カメラＣＡＭ１…ＣＡＭ７は、広角な画角（例えば１２０度）を有するレンズ及びイメージセンサにより構成可能な撮像部を有し、撮像部から得られたデータ（つまり、画像の電気信号）を用いて、人が認識可能なＲＧＢ（Red Green Blue）形式の画像データ又はＹＵＶ（輝度、色差）形式の画像データを生成して記憶する。カメラＣＡＭ１…ＣＡＭ７は公知技術により構成可能であり、詳細な内部構成の説明は省略する。

図１では全天球カメラは７台のカメラＣＡＭ１…ＣＡＭ７により構成されているが、７台に限定されない。カメラＣＡＭ１…ＣＡＭ６は、光軸が略水平方向の放射状となるように周方向に等間隔をおいて配置される。カメラＣＡＭ７は、天頂方向を撮像するために光軸が略垂直方向上向きとなるように配置されている。カメラＣＡＭ１…ＣＡＭ７は、隣り合う２つのカメラＣＡＭ１…ＣＡＭ７同士で撮像エリアが一部重複するように配置されている。なお、全天球カメラシステム１においてスティッチング処理用の撮像画像のデータを生成するカメラの配置は、図１に示す配置に限らず種々の変更が可能である。例えばカメラＣＡＭ７は省略されてもよい。

映像処理装置３は、コネクタＣＮを介してカメラＣＡＭ１…ＣＡＭ７との間が有線によって接続されたＰＣ（Personal Computer）を用いて構成される。但し、映像処理装置３とカメラＣＡＭ１…ＣＡＭ７との間は、有線接続に限定されず、無線接続されてもよい。映像処理装置３は、詳細な構成は図３や図５を参照して後述するが、所定の制御プログラムに基づき各種の制御処理を統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、スピーカ、入力デバイス、及びＨＤＤ（Hard Disk Drive）などを含むハードウェア構成を有している。

また、映像処理装置３において実行される各種機能（後に詳述するスティッチング処理、方位別平均明るさ情報重畳処理等）の少なくとも一部については、ＣＰＵが専用の制御プログラム（スティッチング処理用プログラム、方位別平均明るさ情報重畳処理用プログラム等）を実行することによって実現可能である。なお、映像処理装置３としては、ＰＣに限らず、同様の機能を果たす他の情報処理装置（例えばサーバ、スマートフォン、タブレット端末等）を用いることもできる。また、映像処理装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

映像処理装置３では、図２に示すように、カメラＣＡＭ１…ＣＡＭ７により撮像された撮像画像（ここでは、７つの映像）を合成処理して１つのパノラマ合成画像である全天球映像データＡＳＰを生成する処理（つまり、スティッチング処理）がフレームごとに行われる。図２に示すように、撮像画像のデータである映像データＰ１…Ｐ７は、それぞれカメラＣＡＭ１…ＣＡＭ７により撮像されたデータである。図２に示す全天球映像データＡＳＰは、屋外（例えばグラウンド）に設置された全天球カメラ２の撮像により得られたデータである。カメラＣＡＭ７は天頂方向を撮像しているので、全天球映像データＡＳＰにおいて、空の様子が示されている。他のカメラＣＡＭ１…ＣＡＭ６は水平方向を撮像しているので、グラウンドの水平方向の様子が示されている。全天球映像データＡＳＰにより、全天球カメラ２が設置された場所（図２に示す例ではグラウンド）の周囲の３６０度の範囲の様子が鮮明に判別可能となる。

映像処理装置３は、フレームごとの全天球映像データＡＳＰを、ネットワークＮＷを介してヘッドマウントディスプレイ４に送信する。ネットワークＮＷは、有線通信を用いたネットワークでもよいし、無線通信を用いたネットワーク（例えば無線ＬＡＮ（Local Area Network）でもよい。

ヘッドマウントディスプレイ４は、例えば眼鏡のように左右一対に延伸した筐体フレームの一部がユーザの耳元付近にかけられた状態で装着されて使用される。言い換えると、ヘッドマウントディスプレイ４は、ユーザに装着された状態で使用される。ヘッドマウントディスプレイ４は、ネットワークＮＷを介して、映像処理装置３と接続されている。ヘッドマウントディスプレイ４は、詳細な構成は図４や図６を参照して後述するが、映像処理装置３から送信された全天球映像データＡＳＰを受信し、ユーザの視線方向（つまり、ヘッドマウントディスプレイ４の筐体フレームにおける映像データの表示面がユーザに対向する方向）を中心方向として含む所定範囲の映像データを切り出してリアルタイムに表示する。なお、映像処理装置３は、ヘッドマウントディスプレイ４に映像データを表示させる代わりに、或いは、それと同時に、ＨＤＤ等の公知の記憶装置（不図示）にスティッチング処理後の全天球映像データＡＳＰを順次記憶してもよい。

図３は、本実施形態の映像処理装置の内部構成の第１例を示すブロック図である。図３に示す映像処理装置３は、映像入力部３１と、映像信号処理部３３と、映像出力部３５とを少なくとも含む構成である。図３では、カメラＣＡＭ１…ＣＡＭ７と映像入力部３１との間にコネクタＣＮ（図１参照）の図示が省略されている。

映像入力部３１は、カメラＣＡＭ１…ＣＡＭ７との間の入出力インターフェースとしての機能を有し、コネクタＣＮを介してそれぞれのカメラＣＡＭ１…ＣＡＭ７から出力された映像データを入力して取得する。映像入力部３１は、それぞれのカメラＣＡＭ１…ＣＡＭ７からの映像データを映像信号処理部３３に出力する。

映像生成部の一例としての映像信号処理部３３は、例えばＣＰＵ、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサを用いて構成され、映像入力部３１から出力されたカメラＣＡＭ１…ＣＡＭ７の撮像画像データである映像データを用いて、映像データの１フレームごとにスティッチング処理を行うことで、図２に示すパノラマ映像データである全天球映像データＡＳＰを生成する。全天球映像データＡＳＰには、全天球映像データＡＳＰを構成する画素ごとに、映像データのフレームの方位別の明るさのデータが含まれており、以下同様である。明るさのデータは、例えば映像データがＹＵＶ形式のデータである場合には画素ごとの輝度値であり、映像データがＲＧＢ形式のデータである場合には画素値である。

映像信号処理部３３は、全天球映像データＡＳＰを不図示のメモリ（例えばフラッシュメモリ又はＨＤＤ）に記憶する。映像信号処理部３３は、全天球映像データＡＳＰを映像出力部３５に出力する。

映像送信部の一例としての映像出力部３５は、ヘッドマウントディスプレイ４との間の通信インターフェースとしての機能を有し、映像信号処理部３３から出力された全天球映像データＡＳＰを、ネットワークＮＷを介してヘッドマウントディスプレイ４に送信する。なお、映像出力部３５は、ヘッドマウントディスプレイ４とは異なるディスプレイ装置（不図示）に全天球映像データを表示してもよい。

図４は、本実施形態のヘッドマウントディスプレイの内部構成の第１例を示すブロック図である。図４に示すヘッドマウントディスプレイ４は、ジャイロセンサＪＳと、通信部４１と、映像入力部４２と、表示範囲決定部４３と、映像切り出し変形部４４と、表示映像明るさ調整部４５と、映像表示部４６とを少なくとも含む構成である。

センサの一例としてのジャイロセンサＪＳは、ヘッドマウントディスプレイ４を装着したユーザの視線方向（つまり、ヘッドマウントディスプレイ４の筐体フレームにおける映像データの表示面がユーザに対向する方向）の角度を検出する。ジャイロセンサＪＳは、検出結果（つまり、ロール、ピッチ、ヨーの３軸に対応する検出値）を表示範囲決定部４３に出力する。

映像受信部の一例としての通信部４１は、映像処理装置３との間の通信インターフェースとしての機能を有し、映像処理装置３から送信された全天球映像データＡＳＰを受信して映像入力部４２に出力する。

映像入力部４２は、通信部４１との間の入出力インターフェースとしての機能を有し、通信部４１により受信された全天球映像データＡＳＰを入力して取得する。映像入力部４２は、全天球映像データＡＳＰを映像切り出し変形部４４に出力する。

表示範囲決定部４３は、例えばＣＰＵ、ＭＰＵ又はＤＳＰ等のプロセッサを用いて構成され、ジャイロセンサＪＳの出力（つまり、ロール、ピッチ、ヨーの３軸に対応する検出値）を基に、ユーザの視線方向を中心として含む所定範囲（つまり、映像データの切り出し範囲）を決定する。表示範囲決定部４３は、決定結果である切り出し範囲情報を映像切り出し変形部４４に出力する。

映像抽出部の一例としての映像切り出し変形部４４は、例えばＣＰＵ、ＭＰＵ又はＤＳＰ等のプロセッサを用いて構成され、映像入力部４２から出力された全天球映像データＡＳＰから、表示範囲決定部４３から出力された切り出し範囲情報に対応する映像データを切り出した表示用切り出し映像データを生成する。映像切り出し変形部４４は、表示用切り出し映像データを表示映像明るさ調整部４５に出力する。

また、映像切り出し変形部４４は、全天球映像データＡＳＰに含まれている全天球映像データＡＳＰの画素ごとの明るさのデータを用いて、表示用切り出し映像データに対応する映像範囲（つまり、表示範囲決定部４３から出力された切り出し範囲情報に対応する切り出し範囲）における表示用映像データの明るさの平均値を算出する。映像切り出し変形部４４は、算出値である切り出し範囲平均明るさ情報を表示映像明るさ調整部４５に出力する。

明るさ調整部の一例としての表示映像明るさ調整部４５は、例えばＣＰＵ、ＭＰＵ又はＤＳＰ等のプロセッサを用いて構成され、映像切り出し変形部４４から出力された表示用切り出し映像データと切り出し範囲平均明るさ情報とを用いて、表示用切り出し映像データの切り出し範囲平均明るさ情報が一定範囲の明るさとなるように、切り出し範囲平均明るさ情報を調整する。表示映像明るさ調整部４５における切り出し範囲平均明るさ情報の調整処理については、図７（Ｂ）及び図８（Ｂ）を参照して後述する。表示映像明るさ調整部４５は、一定範囲の明るさとなるように調整された後の補正済み表示用切り出し映像データを映像表示部４６に出力する。

映像表示部４６は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、表示映像明るさ調整部４５により明るさが調整された後の切り出し映像データを表示する。

図５は、本実施形態の映像処理装置の内部構成の第２例を示すブロック図である。図５に示す映像処理装置３Ａは、映像入力部３１と、映像信号処理部３３と、映像出力部３５Ａと、方位別平均明るさ情報重畳部３７とを含む構成である。図５においても、カメラＣＡＭ１…ＣＡＭ７と映像入力部３１との間にコネクタＣＮ（図１参照）の図示が省略されている。図５に示す映像処理装置３Ａの各部の説明では、図３に示す映像処理装置３の各部と同一の構成及び動作をするものについては同一の符号を付与して説明を省略する。

映像信号処理部３３は、全天球映像データＡＳＰを方位別平均明るさ情報重畳部３７に出力する。

明るさ付与部の一例としての方位別平均明るさ情報重畳部３７は、映像信号処理部３３から出力された全天球映像データＡＳＰに含まれている全天球映像データＡＳＰの画素ごとの明るさのデータを用いて、映像データの明るさの平均値を方位別に算出する。方位別平均明るさ情報重畳部３７は、映像データの明るさの平均値の方位別の算出値を全天球映像データＡＳＰに重畳する。方位別平均明るさ情報重畳部３７は、重畳の一例として、映像データの明るさの平均値の方位別の算出値を、全天球映像データＡＳＰのヘッダ領域（不図示）又はペイロードのオプション領域に格納することで重畳（付与）する。方位別平均明るさ情報重畳部３７は、映像データの明るさの平均値の方位別の算出値を重畳した全天球映像データＡＳＰを映像出力部３５Ａに出力する。

映像出力部３５Ａは、映像信号処理部３３の出力（つまり、映像データの明るさの平均値の方位別の算出値を重畳した全天球映像データＡＳＰ）を、ネットワークＮＷを介してヘッドマウントディスプレイ４Ａに送信する。

ここで、全天球カメラ２と全天球カメラ２により撮像される被写体との位置関係について、図７（Ａ）を参照して説明する。図７（Ａ）は、本実施形態の全天球カメラ２と被写体ＴＧ１，ＴＧ２との位置関係の一例を示す説明図である。図７（Ａ）に示す例では、全天球カメラ２は太陽光が降り注ぐ屋外において、地面ＦＬＤに載置された支持台（例えばスタンド）上に支持されるように設置されている。全天球カメラ２の周囲には、女性の被写体ＴＧ１と男性の被写体ＴＧ２とが立っている。全天球カメラ２の中心（図８（Ａ）に示す原点Ｏ）から見て、被写体ＴＧ１は太陽光の順光方向（つまり、映像データの明るさの平均値が相対的に高い方向）に立っており、一方、被写体ＴＧ２は太陽光の逆光方向（つまり、映像データの明るさの平均値が相対的に低い方向）に立っている。

この場合、被写体ＴＧ１が画角に含まれるカメラにより撮像された映像データの明るさは相対的に高いので、映像データの明るさが高くなり過ぎて白みがかったり見えにくかったりする等、映像データの視認性がよくないことがある。また、被写体ＴＧ２が画角に含まれるカメラにより撮像された映像データの明るさは相対的に低いので、映像データが暗くなり過ぎる等、映像データの視認性がよくないことがある。

図８（Ａ）は、全天球カメラの原点Ｏ、水平方向基準線ＢＤ、ユーザの視線方向を示す水平角θの説明図である。図８（Ｂ）は、ユーザの視線方向を示す水平角θと明るさ（例えば輝度値）との関係の一例を示すグラフである。図８（Ａ）において、ユーザの視線方向を示す水平角θは、予め映像処理装置３及びヘッドマウントディスプレイ４の間で規定された水平方向基準線ＢＤからの水平方向の回転角を示す。

方位別平均明るさ情報重畳部３７は、全天球映像データＡＳＰを構成するそれぞれのカメラＣＡＭ１…ＣＡＭ７の方位角に関するデータを保持しており、この方位角に関するデータを用いて、全天球映像データＡＳＰのフレームごとに、方位別の明るさを算出する（図８（Ｂ）参照）。図８（Ｂ）の横軸は水平角θを示し、同図の縦軸は明るさ（例えば輝度値）を示す。図８（Ｂ）において、閾値Ｔｈ１は方位別の明るさが低すぎる（言い換えると、暗すぎる）か否かを定める閾値であり、方位別の明るさが閾値Ｔｈ１未満であれば映像データは暗すぎるということになる。一方、閾値Ｔｈ２は方位別の明るさが高すぎる（言い換えると、明るすぎる）か否かを定める閾値であり、方位別の明るさが閾値Ｔｈ２より大きいと映像データは明るすぎるということになる。

図８（Ｂ）に示すように、例えば水平角θが約９０度（約π／２）の場合には映像データが明るすぎて明るさが閾値Ｔｈ２を超えている。これは、図７（Ａ）に示すように女性の被写体ＴＧ１が太陽光の順光方向に立っている場合に撮像により得られた映像データの明るさが高くなったことに基づく。一方、例えば水平角θが約２７０度（約３π／２）の場合には映像データが暗すぎて明るさが閾値Ｔｈ１未満である。これは、図７（Ａ）に示すように男性の被写体ＴＧ２が太陽光の逆光方向に立っている場合に撮像により得られた映像データの明るさが低くなったことに基づく。

ヘッドマウントディスプレイ４，４Ａの表示映像明るさ調整部４５，表示映像明るさ調整部４５Ａは、表示用切り出し映像データの明るさを一定範囲（例えば図８（Ｂ）に示す閾値Ｔｈ１から閾値Ｔｈ２までの間の所定範囲）となるように、表示用切り出し映像データの明るさを調整する。図７（Ｂ）は、図７（Ａ）に示す全天球カメラ２により撮像された映像データのうち、ユーザが向いた視線方向の映像が切り出されてヘッドマウントディスプレイ４に表示された例を示す説明図である。ユーザがヘッドマウントディスプレイ４，４Ａを装着した状態で、ヘッドマウントディスプレイ４，４Ａは、女性の被写体ＴＧ１が立っている方向の映像データ（表示用切り出し映像データ）の明るさを一定範囲の明るさとなるように暗く調整した補正済み表示用切り出し映像データＰＣ１を表示する。また、ヘッドマウントディスプレイ４，４Ａは、男性の被写体ＴＧ２が立っている方向の映像データ（表示用切り出し映像データ）の明るさを一定範囲の明るさとなるように明るく調整した補正済み表示用切り出し映像データＰＣ２を表示する。

また、ヘッドマウントディスプレイ４，４Ａの表示映像明るさ調整部４５，表示映像明るさ調整部４５Ａは、表示用切り出し映像データの明るさを一定範囲の明るさとなるように調整する以外に、表示用切り出し映像データの明るさを所定割合ほど増減することで調整してもよく、以下同様である。所定割合は例えば＋２０％、−２０％であるが、これらの値に限定はされない。

図６は、本実施形態のヘッドマウントディスプレイの内部構成の第２例を示すブロック図である。図６に示すヘッドマウントディスプレイ４Ａは、ジャイロセンサＪＳと、通信部４１と、映像入力部４２と、表示範囲決定部４３と、映像切り出し変形部４４Ａと、表示映像明るさ調整部４５Ａと、映像表示部４６と、映像重畳情報分離部４７とを含む構成である。図６に示すヘッドマウントディスプレイ４Ａの各部の説明では、図４に示すヘッドマウントディスプレイ４の各部と同一の構成及び動作をするものについては同一の符号を付与して説明を省略する。ヘッドマウントディスプレイ４Ａは、映像データの明るさの平均値の方位別の算出値が重畳された全天球映像データＡＳＰを受信する。

映像入力部４２は、映像データの明るさの平均値の方位別の算出値が重畳された全天球映像データＡＳＰを映像重畳情報分離部４７に出力する。

映像重畳情報分離部４７は、映像データの明るさの平均値の方位別の算出値が重畳された全天球映像データＡＳＰから、映像データの明るさの平均値の方位別の算出値（言い換えれば、方位別平均明るさ情報）を分離して表示映像明るさ調整部４５Ａに出力する。映像重畳情報分離部４７は、映像データの明るさの平均値の方位別の算出値が分離された全天球映像データＡＳＰを映像切り出し変形部４４Ａに出力する。

映像抽出部の一例としての映像切り出し変形部４４Ａは、例えばＣＰＵ、ＭＰＵ又はＤＳＰ等のプロセッサを用いて構成され、映像重畳情報分離部４７から出力された全天球映像データＡＳＰから、表示範囲決定部４３から出力された切り出し範囲情報に対応する映像データを切り出した表示用切り出し映像データを生成する。映像切り出し変形部４４Ａは、表示用切り出し映像データを表示映像明るさ調整部４５Ａに出力する。

明るさ調整部の一例としての表示映像明るさ調整部４５Ａは、例えばＣＰＵ、ＭＰＵ又はＤＳＰ等のプロセッサを用いて構成され、映像切り出し変形部４４Ａから出力された表示用切り出し映像データと映像重畳情報分離部４７から出力された方位別平均明るさ情報とを用いて、表示用切り出し映像データの平均明るさ情報が一定範囲の明るさとなるように、切り出し範囲の平均明るさ情報を調整する。表示映像明るさ調整部４５Ａは、一定範囲の明るさとなるように調整された後の補正済み表示用切り出し映像データを映像表示部４６に出力する。

次に、本実施形態の映像処理装置３Ａの動作手順について、図９を参照して説明する。図９は、本実施形態の映像処理装置３Ａの動作手順の一例を説明するフローチャートである。

図９において、映像入力部３１は、全天球方向の映像を撮像するように配置されたＮ個（例えば本実施形態ではＮ＝７）のカメラＣＡＭ１…ＣＡＭ７から出力された映像データを入力して取得する（Ｓ１）。映像入力部３１は、それぞれのカメラＣＡＭ１…ＣＡＭ７からの映像データを映像信号処理部３３に出力する。

映像信号処理部３３は、映像入力部３１から出力されたカメラＣＡＭ１…ＣＡＭ７の撮像画像データである映像データを用いて、映像データの１フレームごとにスティッチング処理を行うことで、図２に示す全天球映像データＡＳＰを生成する（Ｓ２）。映像信号処理部３３は、全天球映像データＡＳＰを方位別平均明るさ情報重畳部３７に出力する。方位別平均明るさ情報重畳部３７は、全天球映像データＡＳＰの領域を水平方向にＸ個に分割処理する（Ｓ３）。Ｘの値は例えば３２又は６４とするが、これらの値に限定はされない。

方位別平均明るさ情報重畳部３７は、Ｘ個に分割された個々の領域のうち、未だ明るさの平均値を算出していない領域を選択し、選択された領域における映像データの明るさの平均値を算出し、算出値（つまり、平均値）をバッファ（不図示）に一時的に記憶する（Ｓ４）。

方位別平均明るさ情報重畳部３７は、Ｘ個の全ての領域に対して映像データの明るさの平均値の算出を終えてバッファに一時的に記憶したか否かを判定する（Ｓ５）。Ｘ個の全ての領域に対して映像データの明るさの平均値の算出値がバッファに記憶されていない場合には（Ｓ５、ＮＯ）、映像処理装置３Ａの処理はステップＳ４に戻り、Ｘ個の全ての領域に対して映像データの明るさの平均値の算出値がバッファに記憶されるまでステップＳ４の処理が繰り返される。

一方、方位別平均明るさ情報重畳部３７は、Ｘ個の全ての領域に対して映像データの明るさの平均値の算出値をバッファに記憶した場合には（Ｓ５、ＹＥＳ）、バッファに記憶したＸ個の全ての領域に対して映像データの明るさの平均値の算出値を全天球映像データＡＳＰに重畳する（Ｓ６）。方位別平均明るさ情報重畳部３７は、映像データの明るさの平均値の方位別の算出値を重畳した全天球映像データＡＳＰのフレームを映像出力部３５Ａに出力する（Ｓ７）。映像出力部３５Ａは、映像信号処理部３３の出力（つまり、映像データの明るさの平均値の方位別の算出値を重畳した全天球映像データＡＳＰ）を、ネットワークＮＷを介してヘッドマウントディスプレイ４Ａに送信する。ステップＳ７の後、映像処理装置３Ａの動作が終了していなければ（Ｓ８、ＮＯ）、映像処理装置３Ａの処理はステップＳ１に戻る。一方、映像処理装置３Ａの動作が終了すれば（Ｓ８、ＹＥＳ）、図９に示す映像処理装置３Ａの処理は終了する。

次に、本実施形態のヘッドマウントディスプレイ４Ａの動作手順について、図１０を参照して説明する。図１０は、本実施形態のヘッドマウントディスプレイ４Ａの動作手順の一例を説明するフローチャートである。図１０の説明の前提として、映像処理装置３Ａから、映像データの明るさの平均値の方位別の算出値を重畳した全天球映像データＡＳＰが送信されたとする。

図１０において、通信部４１は、映像処理装置３Ａから送信された全天球映像データＡＳＰ（つまり、映像データの明るさの平均値の方位別の算出値を重畳した全天球映像データＡＳＰ）を受信して映像入力部４２に出力する。映像入力部４２は、通信部４１により受信された全天球映像データＡＳＰを入力して取得する。映像入力部４２は、映像データの明るさの平均値の方位別の算出値が重畳された全天球映像データＡＳＰを映像重畳情報分離部４７に出力する（Ｓ１１）。

映像重畳情報分離部４７は、映像データの明るさの平均値の方位別の算出値が重畳された全天球映像データＡＳＰから、映像データの明るさの平均値の方位別の算出値（言い換えれば、方位別平均明るさ情報）を分離して表示映像明るさ調整部４５Ａに出力する（Ｓ１２）。映像重畳情報分離部４７は、映像データの明るさの平均値の方位別の算出値が分離された全天球映像データＡＳＰを映像切り出し変形部４４Ａに出力する。

表示範囲決定部４３は、ジャイロセンサＪＳの出力（つまり、ロール、ピッチ、ヨーの３軸に対応する検出値）を基に、ユーザの視線方向を中心として含む所定範囲（つまり、映像データの切り出し範囲）を決定する（Ｓ１３）。表示範囲決定部４３は、決定結果である切り出し範囲情報を映像切り出し変形部４４Ａに出力する。

映像切り出し変形部４４Ａは、映像重畳情報分離部４７から出力された全天球映像データＡＳＰから、表示範囲決定部４３から出力された切り出し範囲情報に対応する映像データを切り出した表示用切り出し映像データを生成する（Ｓ１４）。映像切り出し変形部４４Ａは、表示用切り出し映像データを表示映像明るさ調整部４５Ａに出力する。

表示映像明るさ調整部４５Ａは、ステップＳ１３において決定された映像データの切り出し範囲の映像データの明るさが明るすぎるか否かを判定する（Ｓ１５）。表示映像明るさ調整部４５Ａは、映像データの切り出し範囲の映像データの明るさが明るすぎると判定した場合（例えば、映像データの切り出し範囲の映像データの明るさが閾値Ｔｈ２を超える場合）には（Ｓ１５、ＹＥＳ）、表示用切り出し映像データの平均明るさ情報が一定範囲の明るさとなるように、切り出し範囲の平均明るさ情報を低くなるように調整する（Ｓ１６）。表示映像明るさ調整部４５Ａは、一定範囲の明るさとなるように調整された後の補正済み表示用切り出し映像データを映像表示部４６に出力する。ステップＳ１６の後、ヘッドマウントディスプレイ４Ａの処理はステップＳ１９に進む。

一方、ステップＳ１３において決定された映像データの切り出し範囲の映像データの明るさが明るすぎると判定されなかった場合には（Ｓ１５、ＮＯ）、表示映像明るさ調整部４５Ａは、ステップＳ１３において決定された映像データの切り出し範囲の映像データの明るさが暗すぎるか否かを判定する（Ｓ１７）。表示映像明るさ調整部４５Ａは、映像データの切り出し範囲の映像データの明るさが暗すぎると判定した場合（例えば、映像データの切り出し範囲の映像データの明るさが閾値Ｔｈ１未満である場合）には（Ｓ１７、ＹＥＳ）、表示用切り出し映像データの平均明るさ情報が一定範囲の明るさとなるように、切り出し範囲の平均明るさ情報を明るくなるように調整する（Ｓ１８）。表示映像明るさ調整部４５Ａは、一定範囲の明るさとなるように調整された後の補正済み表示用切り出し映像データを映像表示部４６に出力する。ステップＳ１８の後、ヘッドマウントディスプレイ４Ａの処理はステップＳ１９に進む。

ステップＳ１６，Ｓ１８の処理の後、又は映像データの切り出し範囲の映像データの明るさが暗すぎると判定されなかった場合には（Ｓ１７、ＮＯ）、映像表示部４６は、表示映像明るさ調整部４５Ａにより明るさが調整された後の切り出し映像データを表示する（Ｓ１９）。ステップＳ１９の後、ヘッドマウントディスプレイ４Ａの動作が終了していなければ（Ｓ２０、ＮＯ）、ヘッドマウントディスプレイ４Ａの処理はステップＳ１１に戻る。一方、ヘッドマウントディスプレイ４Ａの動作が終了すれば（Ｓ２０、ＹＥＳ）、図１０に示すヘッドマウントディスプレイ４Ａの処理は終了する。

以上により、本実施形態の全天球カメラシステム１では、映像処理装置３は、複数のカメラＣＡＭ１…ＣＡＭ７により撮像された複数の映像データを用いて、複数のカメラＣＡＭ１…ＣＡＭ７の設置エリアの周囲の３６０度の範囲を有する全天球映像データを生成し、全天球映像データを、ユーザが装着したヘッドマウントディスプレイ４に送信する。ヘッドマウントディスプレイ４は、ユーザの視線方向をジャイロセンサＪＳにおいて検出し、受信により得られた全天球映像データから、ジャイロセンサＪＳの検出結果を含む所定範囲の映像データを切り出し、切り出された所定範囲の映像データの明るさを一定範囲の明るさに調整する。また、ヘッドマウントディスプレイ４は、調整後の所定範囲の映像データを表示する。

これにより、ユーザがヘッドマウントディスプレイ４を装着した状態で全天球映像データを見ようとする際に、ヘッドマウントディスプレイ４は、ユーザの視線方向（つまり、ヘッドマウントディスプレイ４における映像の表示面の向き）に合わせて、全天球映像データからユーザの視線方向に合う映像データを切り出し、かつ切り出し後の映像データの明るさを動的に調整する。従って、ヘッドマウントディスプレイ４は、特許文献１のように補助的なバックライトによって映像データを照明する必要が無く、カメラＣＡＭ１…ＣＡＭ７のうち少なくとも１つの撮像時のダイナミックレンジを疑似的に上げることができるので、ユーザに対する視線方向の映像の視認性を向上することができる。

また、ヘッドマウントディスプレイ４は、ユーザの視線方向に合うように切り出した後の所定範囲の映像データの明るさ（例えば輝度値）の平均値を算出し、算出後の明るさの平均値を一定範囲の明るさに調整する。これにより、ヘッドマウントディスプレイ４は、映像処理装置３から送信された全天球映像データの全領域（つまり、３６０度の範囲）にわたって映像データの明るさの平均値を算出する必要が無く、ユーザの視線方向に合う所定範囲の映像データに限って明るさの平均値を算出すればよいので、平均値の算出処理の負荷を軽減することができる。

また、映像処理装置３は、全天球映像データの方位別の明るさの平均値のデータを算出して全天球映像データに付与し、方位別の明るさの平均値のデータが付与された全天球映像データをヘッドマウントディスプレイ４に送信する。ヘッドマウントディスプレイ４は、受信後の全天球映像データから、ユーザの視線方向に合う所定範囲の映像データの明るさの平均値を取得し、取得後の明るさの平均値を一定範囲の明るさに調整する。これにより、ヘッドマウントディスプレイ４は、３６０度の範囲にわたる方位別の明るさの平均値のデータが得られているので、例えばユーザの視線方向に合う所定範囲を任意の範囲に変更して映像データを表示する際に、変更後の任意の範囲の映像データの明るさの平均値に対応して表示対象の映像データの明るさを適切に調整することができる。

また、ヘッドマウントディスプレイ４は、例えばユーザが首を回転することによりユーザの視線方向が切り替わる度に、ジャイロセンサＪＳの検出結果に応じて切り出された所定範囲の映像データの明るさを一定範囲の明るさに調整し、調整後の所定範囲の映像データを表示する。これにより、ヘッドマウントディスプレイ４は、ユーザが見る方向が切り替わっても、ヘッドマウントディスプレイ４の向き（つまり、ユーザの視線方向）に対応した所定範囲の映像データの明るさを一定範囲になるように追従して表示される映像データの視認性の劣化を抑制することができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、全天球カメラにより撮像された映像をヘッドマウントディスプレイにおいて見る際に、ユーザの視線方向に合わせて動的に映像の明るさを調整し、撮像時のダイナミックレンジを疑似的に上げ、映像の視認性を向上する映像表示システム、映像表示装置及び映像表示方法として有用である。

１ 全天球カメラシステム
２ 全天球カメラ
３、３Ａ 映像処理装置
４、４Ａ ヘッドマウントディスプレイ
３１、４２ 映像入力部
３３ 映像信号処理部
３５、３５Ａ 映像出力部
３７ 方位別平均明るさ情報重畳部
４１ 通信部
４３ 表示範囲決定部
４４、４４Ａ 映像切り出し変形部
４５、４５Ａ 表示映像明るさ調整部
４６ 映像表示部
４７ 映像重畳情報分離部
ＡＳＰ 全天球映像データ
ＢＤ 水平方向基準線
ＣＡＭ１、ＣＡＭ２、ＣＡＭ３、ＣＡＭ４、ＣＡＭ５、ＣＡＭ６、ＣＡＭ７ カメラ
ＣＮ コネクタ
ＪＳ ジャイロセンサ
ＮＷ ネットワーク
ＰＣ１、ＰＣ２ 切り出し映像データ
ＴＧ１、ＴＧ２ 被写体

Claims (10)

1. 複数のカメラにより撮像された複数の映像データを保持する映像処理装置とユーザが装着可能な映像表示装置とが接続された映像表示システムであって、
   前記映像処理装置は、
   前記複数の映像データを用いて、前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データを生成する映像生成部と、
   前記映像生成部により生成された前記全天球映像データを前記映像表示装置に送信する映像送信部と、を有し、
   前記映像表示装置は、
   前記ユーザの視線方向を検出するセンサと、
   前記映像送信部から送信された前記全天球映像データを受信する映像受信部と、
   前記全天球映像データから、前記センサの検出結果による前記ユーザの視線方向を中心とした前記全天球映像データよりも小さい所定範囲の映像データを切り出し、前記切り出された前記所定範囲の映像データにおける明るさの平均値を、切り出し範囲平均明るさとして算出する映像抽出部と、
   前記映像抽出部により抽出された前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが既定の第１の閾値と既定の第２の閾値との間の一定範囲の明るさとなるように調整する明るさ調整部と、
   前記明るさ調整部により調整された前記所定範囲の映像データを表示する映像表示部と、を有する、
   映像表示システム。
2. 請求項１に記載の映像表示システムであって、
   前記明るさ調整部は、前記一定範囲の明るさに対して、前記切り出し範囲平均明るさが高い又は低い場合に、前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが前記一定範囲となるように調整する、
   映像表示システム。
3. 請求項１又は２に記載の映像表示システムであって、
   前記映像処理装置は、前記全天球映像データの生成及び前記全天球映像データの前記映像表示装置に対する送信を繰り返し行う、
   映像表示システム。
4. 請求項１〜３のいずれか一項に記載の映像表示システムであって、
   前記映像表示装置は、前記ユーザの視線方向が切り替わる度に、前記センサの検出結果に応じて切り出された前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが前記一定範囲の明るさとなるように調整し、調整された前記所定範囲の映像データを表示する、
   映像表示システム。
5. ユーザが装着可能であって、複数のカメラにより撮像された複数の映像データを保持する映像処理装置と接続する映像表示装置であって、
   前記ユーザの視線方向を検出するセンサと、
   前記映像処理装置により生成された、前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データを受信する映像受信部と、
   前記全天球映像データから、前記センサの検出結果による前記ユーザの視線方向を中心とした前記全天球映像データよりも小さい所定範囲の映像データを切り出し、前記切り出された前記所定範囲の映像データにおける明るさの平均値を、切り出し範囲平均明るさとして算出する映像抽出部と、
   前記映像抽出部により抽出された前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが既定の第１の閾値と既定の第２の閾値との間の一定範囲の明るさとなるように調整する明るさ調整部と、
   前記明るさ調整部により調整された前記所定範囲の映像データを表示する映像表示部と、を備える、
   映像表示装置。
6. 請求項５に記載の映像表示装置であって、
   前記明るさ調整部は、前記一定範囲の明るさに対して、前記切り出し範囲平均明るさが高い又は低い場合に、前記所定範囲の映像データの明るさを前記一定範囲となるように調整する、
   映像表示装置。
7. ユーザが装着可能であって、複数のカメラにより撮像された複数の映像データを保持する映像処理装置と接続する映像表示装置における映像表示方法であって、
   前記ユーザの視線方向を検出し、
   前記映像処理装置により生成された、前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データを受信し、
   前記全天球映像データから、検出された前記ユーザの視線方向を中心とした前記全天球映像データよりも小さい所定範囲の映像データを切り出し、前記切り出された前記所定範囲の映像データにおける明るさの平均値を、切り出し範囲平均明るさとして算出し、
   抽出された前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが既定の第１の閾値と既定の第２の閾値との間の一定範囲の明るさとなるように調整し、
   調整された前記所定範囲の映像データを表示する、
   映像表示方法。
8. 請求項７に記載の映像表示方法であって、
   前記一定範囲の明るさに対して、前記切り出し範囲平均明るさが高い又は低い場合に、前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが前記一定範囲となるように調整する、
   映像表示方法。
9. 請求項７又は８に記載の映像表示方法であって、
   前記全天球映像データの生成及び前記全天球映像データの前記映像表示装置への送信を繰り返し行う、
   映像表示方法。
10. 請求項７〜９のいずれか一項に記載の映像表示方法であって、
    前記ユーザの視線方向が切り替わる度に、前記視線方向の検出結果に応じて切り出された前記所定範囲の映像データの明るさを、前記切り出し範囲平均明るさが前記一定範囲の明るさとなるように調整し、調整された前記所定範囲の映像データを表示する、
    映像表示方法。