WO2021049473A1 - 映像表示システム、及び映像表示方法 - Google Patents

Abstract

本開示に係る映像表示システムは、所定の重要画像を含む全体画像から重要画像が切り出され、重要画像の領域がマスクされた背景画像を全体画像の領域に投写する第１の表示装置と、投写された背景画像における重要画像の領域に、切り出された重要画像を投写する第２の表示装置と、重要画像の領域に切り出された重要画像を投写するように、重要画像のアスペクト比に応じて、投写する重要画像に対する、第２の表示装置の光軸周りの回転角を制御する制御部を備える。

Description

映像表示システム、及び映像表示方法

　本開示は、映像表示システム及び映像表示方法に関し、より詳細には、投写型映像表示装置を含む複数の映像表示装置を用いた映像表示システム及び映像表示方法に関する。

　特許文献１は、投影画像の特性を局所的に変化させることができるようにする情報処理装置を開示する。特許文献１に係る情報処理装置は、第１の投影部を制御して、第１の画像を画像投影面に投影させ、第２の投影部を制御して、画像投影面に対して第１の投影部により投影された第１の画像内の所定の部分領域である注目画像領域（重要画像領域）に、第２の画像を投影させる。

国際公開第２０１６／０９８６００号

　しかしながら、特許文献１の方法では、重要画像領域が垂直方向に長い場合、当該重要画像領域を複数のプロジェクタで投写した場合には、１台当たりの表示面積が小さくなるため、１台あたりの拡大率が大きくなり意図したような解像度感が得られないとともに、複数のプロジェクタの映像が重なる領域ではコントラスト感が低下するという課題がある。

　本開示は、重要画像領域が垂直方向に長い場合であっても、解像度感及びコントラスト感の低下を軽減しながら映像を表示することが可能な映像表示システム及び映像表示方法を提供する。

　本開示に係る映像表示システムは、所定の重要画像を含む全体画像から重要画像が切り出され、重要画像の領域がマスクされた背景画像を全体画像の領域に投写する第１の表示装置と、投写された背景画像における重要画像の領域に、切り出された重要画像を投写する第２の表示装置と、重要画像の領域に切り出された重要画像を投写するように、重要画像のアスペクトに応じて、投写する重要画像に対する、第２の表示装置の光軸周りの回転角を制御する制御部と、を備える。

　本開示の映像表示システム等によれば、重要画像領域が垂直方向に長い場合であっても、解像度感及びコントラスト感の低下を軽減しながら映像を投影可能となる。

図１は、実施の形態１に係る映像表示システムの構成例を示すブロック図である。 図２は、図１の映像表示システムの外観例を示す斜視図である。 図３は、図１の重要画像表示装置の詳細構成例を示す斜視図である。 図４は、図１の映像表示システムの重要画像表示装置１及び背景画像表示装置の動作例を示すシーケンス図である。 図５は、図４の重要画像表示処理の詳細動作例を示すフローチャートである。 図６は、図４の重要画像表示処理における重要画像領域の最小外接矩形を求める手順を説明するための平面図である。 図７は、図４の重要画像表示処理における重要画像領域と最小外接矩形とを示す平面図である。 図８は、図１の重要画像表示装置の表示方向とスクリーン上の重要画像との関係を示す斜視図である。 図９は、図４の背景画像表示装置の詳細動作例を示すフローチャートである。 図１０は、図９の背景画像を示す正面図である。 図１１は、実施の形態２に係る映像表示システムの構成例を示すブロック図である。 図１２は、実施の形態３に係る映像表示システムの構成例を示すブロック図である。 図１３は、図１２の映像表示システムの外観例を示す斜視図である。 図１４は、実施の形態４に係る映像表示システムの構成例を示すブロック図である。 図１５は、変形例に係る映像表示システムの背景画像と重要画像との重ね合わせを説明するための図である。 図１６は、変形例に係る映像表示システムにおいて、重要画像領域の移動速度が追従限界を超える場合の動作を説明するための図である。 図１７は、変形例に係る映像表示システムにおいて、重要画像領域の移動速度が追従限界内の場合の動作を説明するための図である。

　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

　なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

　また、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。

　また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

　（実施の形態１）
　以下、図１～図１０を用いて、実施の形態１を説明する。

　図１は、実施の形態１に係る映像表示システム８００の構成例を示すブロック図である。図１において、映像表示システム８００は、重要画像表示装置１（第２の表示装置）と、背景画像表示装置２Ａ，２Ｂ，２Ｃ（第１の表示装置）と、スクリーン３Ａ，３Ｂ，３Ｃと、映像出力装置６と、ネットワーク８を含む。

　図１において、ネットワーク８は、例えばローカルエリアネットワーク（ＬＡＮ）等のネットワークである。重要画像表示装置１、背景画像表示装置２Ａ，２Ｂ，２Ｃ、並びに映像出力装置６は、ネットワーク８を介して互いに通信可能に接続される。

　重要画像表示装置１は、制御部１１と、通信部１２と、記憶部１３と、表示部１４とを備える。通信部１２はネットワーク８との通信を行い、映像出力装置６並びに背景画像表示装置２Ａ，２Ｂ，２Ｃとの間で各種の信号及び画像データ等を送受信する。制御部１１は、通信部１２を介して映像出力装置６から受信した信号及び画像データに従って、通信部１２，記憶部１３及び表示部１４に各種命令及び画像データを出力して制御する。記憶部１３は、制御部１１の処理に必要なプログラム並びに制御部１１からの画像データを格納し、必要に応じてそれらのデータを制御部１１に出力する。表示部１４は、制御部１１により制御されて、スクリーン３Ｂに映像光を投射して画像を表示する。

　背景画像表示装置２Ａは、制御部２１Ａと、通信部２２Ａと、記憶部２３Ａと、表示部２４Ａとを備える。背景画像表示装置２Ａは、背景画像表示装置２Ａの表示可能領域がスクリーン３Ａの全体領域と実質的に一致するように配置される。通信部２２Ａは、ネットワーク８との通信を行い、映像出力装置６並びに重要画像表示装置１との間で各種の信号及び画像データ等を送受信する。制御部２１Ａは、通信部２２Ａを介して映像出力装置６から受信した信号及び画像データに従って、通信部２２Ａ，記憶部２３Ａ及び表示部２４Ａに各種命令及び画像データを出力して制御する。記憶部２３Ａは、制御部２１Ａの処理に必要なプログラム並びに制御部２１Ａからの画像データを格納し、必要に応じてそれらのデータを制御部２１Ａに出力する。表示部２４Ａは、制御部２１Ａにより制御されて、スクリーン３Ａに映像光を投射して画像を表示する。

　背景画像表示装置２Ｂ，２Ｃの構成は、背景画像表示装置２Ａと同様であり、その詳細な説明は省略する。ただし、背景画像表示装置２Ｂはスクリーン３Ｂに画像を表示し、背景画像表示装置２Ｃはスクリーン３Ｃに画像を表示するという点が異なる。なお、スクリーン３Ｂには、重要画像表示装置１及び背景画像表示装置２Ｂの両方からの画像が重畳して表示される。スクリーン３Ａ，３Ｂ，３Ｃは、例えば白色スクリーン等の映像投影面であり、重要画像表示装置１及び背景画像表示装置２Ａ，２Ｂ，２Ｃからの映像光を受けて画像を表示する。

　図２は、図１の映像表示システム８００の外観例を示す斜視図である。図２に示すように、重要画像表示装置１は、スクリーン３Ｂに重要画像４１を投影表示する。また、背景画像表示装置２Ａ，２Ｂ，２Ｃは、スクリーン３Ａ，３Ｂ，３Ｃに背景画像４２Ａ，４２Ｂ，４２Ｃをそれぞれ投影表示する。

　図３は、図１の重要画像表示装置１の詳細構成例を示す斜視図である。図３において、重要画像表示装置１は、表示装置部１４０と、３軸駆動機構部１４１とを備える。表示装置部１４０は、例えばプロジェクタ等であって、デジタルミラーデバイス及びレンズ等を用い、入力された映像信号に従って光源光を映像光に変換する。３軸駆動機構部１４１は、チルト駆動部１４１Ｔと、ロール駆動部１４１Ｒと、パン駆動部１４１Ｐとを備える。チルト駆動部１４１Ｔは、制御部１１により駆動制御されて回転し、表示装置部１４０の光軸の仰角であるチルト角γを変化させる。同様に、ロール駆動部１４１Ｒは、表示装置部１４０の光軸周りの回転角であるロール角αを変化させ、パン駆動部１４１Ｐは、表示装置部１４０の光軸の方位角であるパン角βを変化させる。ただし、表示装置部１４０は、パン角β及びチルト角γがともに０度の場合に、光軸がスクリーン３Ｂの面の中心の方向に向くように配置される。なお、チルト駆動部１４１Ｔは、制御部１１により駆動制御されると記載したがこれに限らない。チルト駆動部１４１Ｔは、重要画像表示装置１が有する制御部１１ではなく、映像表示システム８００が備える別の制御部によって駆動制御されてもよい。ロール駆動部１４１Ｒ、パン駆動部１４１Ｐについても同様である。

　以上のように構成された映像表示システム８００について、その詳細な動作を以下説明する。

　図４は、図１の映像表示システム８００の重要画像表示装置１及び背景画像表示装置２Ａ，２Ｂ，２Ｃの動作例を示すシーケンス図である。図４において、ステップＳ１０３の処理とステップＳ２０３の処理とは同時に行われ、ステップＳ１０４の処理とステップＳ２０５の処理とは同時に行われる。

　図４において、ステップＳ１０１では、重要画像表示装置１がネットワーク８に接続するための設定値が入力され、ネットワーク８への接続が設定される。すなわち、重要画像表示装置１は、ネットワーク８に接続してＩＰアドレスを取得し、ネットワーク８に接続された背景画像表示装置２Ａ，２Ｂ，２Ｃ及び映像出力装置６のＩＰアドレス等の情報を得る。同様に、ステップＳ２０１において、背景画像表示装置２Ａ，２Ｂ，２Ｃもネットワーク８に接続するための設定値が入力され、ネットワーク８への接続が設定され、ネットワーク８に接続される。これにより、重要画像表示装置１と、背景画像表示装置２Ａ，２Ｂ，２Ｃと、映像出力装置６とは、互いにネットワーク８を通じて通信可能に接続される。

　ステップＳ１０２では、重要画像表示装置１は、重要画像表示装置１自身を時刻マスタ装置として設定され起動される。ステップＳ２０２では、背景画像表示装置２Ａ，２Ｂ，２Ｃは、背景画像表示装置２Ａ，２Ｂ，２Ｃ自身を時刻スレーブ装置として設定され起動される。これらのステップＳ１０２，Ｓ２０２は、それぞれ次のステップＳ１０３，Ｓ２０３の処理のための準備ステップであり、詳細な動作を以下説明する。

　ステップＳ１０３及びステップＳ２０３において、重要画像表示装置１及び背景画像表示装置２Ａ，２Ｂ，２Ｃは、互いに時刻同期を行う。すなわち、ステップＳ１０２において時刻マスタ装置として設定して起動された重要画像表示装置１は、自身のクロックのタイミングを示す時刻同期信号を背景画像表示装置２Ａ，２Ｂ，２Ｃに送信する。背景画像表示装置２Ａ，２Ｂ，２Ｃは、時刻同期信号を受信して、重要画像表示装置１のクロックのタイミングと同じになるように、自身のクロックのタイミングを調整する。

　ステップＳ２０４Ａにおいて、背景画像表示装置２Ａは、自身の投射先スクリーンをスクリーン３Ａに設定される。例えば、映像出力装置６から背景画像表示装置２Ａに送信される信号に投射先スクリーンを示す情報を含め、当該情報に従って設定されてもよいし、又は使用者が入力してもよい。ステップＳ１０４は、重要画像表示処理であり、ステップＳ２０５は、背景画像表示処理である。これらの詳細については後述する。

　図５は、図４の重要画像表示処理Ｓ１０４の詳細動作例を示すフローチャートである。図５において、重要画像表示処理Ｓ１０４は、ステップＳ３０１～Ｓ３１０を含む。ステップＳ３０１では、重要画像表示装置１には、映像出力装置６から入力画像データが入力される。入力画像データは、時間連続する映像信号のうちの、例えば１フレーム分の画像データである。

　ステップＳ３０２では、重要画像表示装置１は、入力された入力画像データの画像６０のうちの、重要画像領域６１を検出する。重要画像領域６１は、入力画像データの画像６０の画像領域の部分領域であり、画像６０の画像領域のうちの注目されるべき領域を指す。重要画像領域６１の映像は例えば、表示すべき映像がサッカーの試合映像であれば、サッカー選手及びサッカーボールを含む領域等の映像である。重要画像領域６１は、入力される入力画像データの中に重要画像領域６１の位置を示す情報が含まれて、重要画像表示装置１が当該情報に従って設定してもよいし、重要画像表示装置１が入力された映像のジャンル（上の例では「サッカーの試合」等）に基づいて自動的に検出してもよい。

　ステップＳ３０３では、重要画像表示装置１は、重要画像領域６１の最小外接矩形６１１の、入力画像データにおける座標（画素座標）を求める（詳細後述）。ここで画素座標とは、入力画像データのうちスクリーン３Ｂに表示される領域において、左下端を原点（０，０）として、右方向をＸ軸の正の向き、上方向をＹ軸の正の向きとしたときの座標を指す。また、最小外接矩形６１１の画素座標は、最小外接矩形６１１の４頂点の画素座標の組を指す。その後、重要画像表示装置１は、最小外接矩形６１１の長辺がスクリーン３Ｂの水平方向となす角（傾斜角）α０を求める。その後、重要画像表示装置１は、入力画像データのうちの重要画像領域６１に対応する部分を重要画像データとして抽出する。

　ステップＳ３０４では、重要画像表示装置１は、スクリーン３Ｂの寸法と、最小外接矩形６１１の画素座標とに基づいて、重要画像表示装置１が表示する重要画像の表示サイズ及び表示方向を算出する。ここで、重要画像の表示サイズは、重要画像がスクリーン３Ｂに表示されたときのスクリーン３Ｂ上の寸法を指す。また、重要画像の表示方向は、表示装置部１４０の光軸をスクリーン３Ｂ上における最小外接矩形６１１の中心に向けるときの、３軸駆動機構部１４１のパン角β０及びチルト角γ０の組を指す。

　ステップＳ３０５では、重要画像表示装置１は、表示方向及び傾斜角α０に従って、３軸駆動機構部１４１を駆動制御する。具体的には、ロール駆動部１４１Ｒのロール角αが算出された傾斜角α０となり、パン駆動部１４１Ｐのパン角βが角度β０となり、チルト駆動部１４１Ｔのチルト角γが角度γ０となるように、３軸駆動機構部１４１を駆動制御する。

　ステップＳ３０６では、重要画像表示装置１は、算出された重要画像の表示サイズ及び表示方向に基づいて、最小外接矩形６１１の４隅点の、スクリーン３Ｂ上における座標（スクリーン座標）を算出する。

　ステップＳ３０７では、重要画像表示装置１は、ロール角α、パン角β及びチルト角γをすべて０度（表示方向が正面）とした場合の最小外接矩形６１１のスクリーン座標と、パン角β及びチルト角γをステップＳ３０４で算出された表示方向とした場合の最小外接矩形６１１のスクリーン座標とに基づいて、射影変換行列Ｈを算出する（詳細後述）。ステップＳ３０８では、重要画像表示装置１は、射影変換行列Ｈを用いて、重要画像データを補正重要画像の画像データに変換する（詳細後述）。補正重要画像は、表示装置部１４０の表示方向が正面から外れることによる歪みを補正した画像である。ステップＳ３０９では、表示装置部１４０を介して、補正重要画像をスクリーン３Ｂに投射する。

　ステップＳ３１０では、映像出力装置６からの画像データの入力が終了したか否かを判断し、終了したならば（ＹＥＳ）重要画像表示処理Ｓ１０４を終了し、終了しなかったならば（ＮＯ）ステップＳ３０１に戻り、重要画像表示処理Ｓ１０４を再び繰り返す。

　ステップＳ３０３で最小外接矩形６１１及び傾斜角α０を求めるための手順を、図６及び図７を用いて以下説明する。

　図６は、図４の重要画像表示処理Ｓ１０４における重要画像領域６１の最小外接矩形６１１を求める手順を説明するための平面図である。ステップＳ３０３において、重要画像領域６１の最小外接矩形６１１を求めるために、重要画像表示装置１はまず、重要画像領域６１に外接するような多角形（包絡多角形）を求める。これは、以下のように漸進的に求めることができる。説明のため、入力画像の画像データのうち、左下端の原点Ｏを画素座標（０，０）とし、右方向をＸａ軸、上方向をＹａ軸とする。（ステップＳＳ１）Ｙａ座標が最も大きい点を点Ｐ１とし、パラメータｉ＝１とする。また、点Ｐ１を通りＸａ軸と平行な直線を直線Ｌ１とする。（ステップＳＳ２）重要画像領域６１の輪郭（重要画像領域６１に含まれない画素と隣接する画素集合）のうち、点Ｐｉと隣接する画素を点Ｐとし、直線ＰｉＰが直線Ｌｉとなす角の角度θ（ｉ）を求める。（ステップＳＳ３）点Ｐを、重要画像領域６１のうちの点Ｐと隣接する点に動かし、再度角度θを求め、直前の角度θと比較する。ここで、角度θが直前の角度θより大きくなるまでステップＳＳ３の処理を繰り返す。（ステップＳＳ４）角度θが直前の角度θよりも大きくなったとき、直前の（角度が極小値となる）点Ｐを点Ｐ（ｉ＋１）とする。（ステップＳＳ５）この点Ｐ（ｉ＋１）が点Ｐ１と一致するまで、パラメータｉを１増やしてステップＳＳ２からステップＳＳ４を繰り返す。ここで点Ｐ（ｉ＋１）が点Ｐ１と一致したときのパラメータｉをｎとすると、点Ｐ１，Ｐ２，…，Ｐｎが包絡線の頂点となる。

　ただし、重要画像領域が連続しておらず、重要画像領域の輪郭が複数に分かれて存在する場合、すべての輪郭に対して同様の処理を行い、複数の包絡線を得る。

　図６の例では、点Ｐ１～Ｐ８と、包絡線によって閉じられた多角形Ｐ１－Ｐ２－…－Ｐ８が得られる。以上のようにして求めた包絡線の頂点Ｐ１～Ｐ８に関して、Ｘａ座標が最大の頂点Ｐ６を通りＹａ軸に平行な直線を直線Ｌｒとし、Ｘａ座標が最小の頂点Ｐ２を通りＹａ軸に平行な直線を直線Ｌｌとし、Ｙａ座標が最大の頂点Ｐ１を通りＸａ軸に平行な直線を直線Ｌｕとし、Ｙａ座標が最小の頂点Ｐ６を通りＸａ軸に平行な直線を直線Ｌｄとする。これらの４本の直線Ｌｒ，Ｌｌ，Ｌｕ，Ｌｄによって囲まれた矩形（長方形）は、重要画像領域６１の外接矩形Ｒｅｃ（０）となる。

　ここで、Ｘａ軸及びＹａ軸を角度φだけ回転させたＸｂ－Ｙｂ座標系において、同様の外接矩形を考える。Ｘｂ座標が最大の頂点Ｐ６を通りＹｂ軸に平行な直線を直線Ｌｒｂとし、Ｘｂ座標が最小の頂点Ｐ２を通りＹｂ軸に平行な直線を直線Ｌｌｂとし、Ｙｂ座標が最大の頂点Ｐ１を通りＸｂ軸に平行な直線を直線Ｌｕｂとし、Ｙｂ座標が最小の頂点Ｐ５を通りＸｂ軸に平行な直線を直線Ｌｄｂとする。これらの４本の直線Ｌｒｂ，Ｌｌｂ，Ｌｕｂ，Ｌｄｂによって囲まれた矩形も、重要画像領域６１の外接矩形Ｒｅｃ（φ）となる。

　このように、Ｘａ－Ｙａ座標系を傾斜角φだけ回転させて外接矩形Ｒｅｃ（φ）を求める手順を、φ＝０°からφ＝１８０°まで、例えば１°間隔で繰り返す。さらに、外接矩形Ｒｅｃ（φ）の面積が最も小さくなるような傾斜角φを傾斜角α０とし、この時の外接矩形Ｒｅｃ（α０）を最小外接矩形６１１とする。そして、最小外接矩形６１１に基づくアスペクト比を求める。

　図７は、図４の重要画像表示処理Ｓ１０４における重要画像領域６１と最小外接矩形６１１とを示す平面図である。以上のような手順により、図７に示すように最小外接矩形６１１と傾斜角α０が得られる。

　次に、ステップＳ３０７において射影変換行列Ｈを算出するための手順を、図８を用いて以下説明する。

　図８は、図１の重要画像表示装置１の表示方向とスクリーン上の重要画像との関係を示す斜視図である。図８において、平面Ｓｃは、スクリーン３Ｂのある平面を示す。また、原点Ｏは表示装置部１４０の出射点を示し、Ｚ軸はパン角β及びチルト角γがともに０の場合の表示装置部１４０の光軸を示す。また、Ｘ軸はＺ軸に垂直な水平線、Ｙ軸はＺ軸に垂直な鉛直線である。Ｚ軸座標をｚとし、平面Ｓｃの原点Ｏからの距離をＬとすると、平面Ｓｃは式ｚ＝Ｌで表される。

　図８において、矩形Ｐ１ａ－Ｐ２ａ－Ｐ３ａ－Ｐ４ａで示される領域は、重要画像表示装置１の表示方向がＺ軸方向であり、ロール角αが０の場合の、重要画像表示装置１の表示可能領域を示す。また、点Ｐ０ａはＺ軸と平面Ｓｃとの交点である。ここで、パン角βを増加させることを考える。すなわち、Ｙ軸まわりの右方向に角度βだけ、Ｘ軸及びＺ軸を回転させる。回転後のＸ軸及びＺ軸をそれぞれＸｃ軸及びＺｃ軸で示す。また、Ｚｃ軸と平面Ｓｃとの交点をＰ０ｂで示す。

　このとき、図８に示すように、原点Ｏから点Ｐ０ｂまでの距離が長くなるため、重要画像表示装置１の表示可能領域は回転前よりも大きくなる。また、表示装置部１４０の画角は一定であるため、図のＸ軸の正方向に投射する光ほど平面Ｓｃまでの距離が長くなって大きく拡散する。従って、回転後の表示可能領域は、図８の四角形Ｐ１ｂ－Ｐ２ｂ－Ｐ３ｂ－Ｐ４ｂで示される台形のように歪む。この四角形Ｐ１ｂ－Ｐ２ｂ－Ｐ３ｂ－Ｐ４ｂで表される重要画像表示装置１の表示可能領域を、光軸を四角形Ｐ１ｂ－Ｐ２ｂ－Ｐ３ｂ－Ｐ４ｂと共有しかつ、矩形Ｐ１ａ－Ｐ２ａ－Ｐ３ａ－Ｐ４ａと同じ形状の、矩形Ｐ１ｃ－Ｐ２ｃ－Ｐ３ｃ－Ｐ４ｃに補正する。

　この歪みの補正を一般化する。一般に、射影変換によりＸ－Ｙ平面上の１点（ｘ，ｙ）が別の点（ｕ，ｖ）に射影される場合、この射影変換は３×３の射影変換行列Ｈを用いて、次式で表せる。

　射影変換により射影される前後の点の組が４組与えられたとき、それらの関係を満たす射影変換行列Ｈは一意に定まる。すなわち、Ｘ－Ｙ平面上のある４点が射影変換行列Ｈで表される射影変換により４点に移されることがわかっている時、射影変換行列Ｈは一意に定まる。従って、図８において四角形Ｐ１ｂ－Ｐ２ｂ－Ｐ３ｂ－Ｐ４ｂを矩形Ｐ１ｃ－Ｐ２ｃ－Ｐ３ｃ－Ｐ４ｃに射影する射影変換は、一意な射影変換行列Ｈで表せる。

　以上のような射影変換行列Ｈを求め、ステップＳ３０８において重要画像データを補正重要画像の画像データに射影変換する。このように、全体画像における重要画像の位置の移動量に基づいて、移動前の重要画像をそのまま光軸を移動させたときの重要画像を、移動後における最小外接矩形６１１の重要画像へと射影する射影変換行列Ｈを計算することで、射影変換行列Ｈを用いて重要画像を補正重要画像に変換することができる。つまり、全体画像における重要画像の位置の移動量に基づいて、四角形Ｐ１ｂ－Ｐ２ｂ－Ｐ３ｂ－Ｐ４ｂを矩形Ｐ１ｃ－Ｐ２ｃ－Ｐ３ｃ－Ｐ４ｃへと射影する射影変換行列Ｈを計算することで、重要画像を補正重要画像に変換することができる。

　図９は、図４の背景画像表示装置２Ａ，２Ｂ，２Ｃの詳細動作例を示すフローチャートである。図９において、背景画像表示処理Ｓ２０５は、ステップＳ４０１～Ｓ４０６を含む。

　図９において、ステップＳ４０１では、背景画像表示装置２Ａ，２Ｂ，２Ｃには、映像出力装置６から入力画像データが入力される。このステップＳ４０１の動作は、図５の重要画像表示処理Ｓ１０４におけるステップＳ３０１と同様である。

　ステップＳ４０２では、背景画像表示装置２Ａ，２Ｂ，２Ｃは、入力画像データの画像６０のうちの重要画像領域６１を検出する。このステップＳ４０２の動作は、図５の重要画像表示処理Ｓ１０４におけるステップＳ３０２と同様である。

　ステップＳ４０３では、背景画像表示装置２Ａ，２Ｂ，２Ｃは、入力画像データから、ステップＳ２０４Ａ，Ｓ２０４Ｂ，Ｓ２０４Ｃにおいて事前に設定されたスクリーン３Ａ，３Ｂ，３Ｃに対応する領域の画像データを抽出する。例えば、背景画像表示装置２Ｂは、入力画像データから、スクリーン３Ｂに表示させる領域の画像データを抽出する。

　ステップＳ４０４では、抽出された画像データのうち、ステップＳ４０２で検出した重要画像領域６１の画像をマスキングした背景画像４２Ａ，４２Ｂ，４２Ｃを示す背景画像データを作成する。ステップＳ４０５では、背景画像表示装置２Ａ，２Ｂ，２Ｃは、対応する背景画像４２Ａ，４２Ｂ，４２Ｃを、対応するスクリーン３Ａ，３Ｂ，３Ｃに投射する。ステップＳ４０６では、背景画像表示装置２Ａ，２Ｂ，２Ｃは、映像出力装置６からの画像データの入力が終了したか否かを判断し、終了したならば（ＹＥＳ）背景画像表示処理Ｓ２０５を終了し、終了しなかったならば（ＮＯ）ステップＳ３０１に戻って背景画像表示処理Ｓ２０５を繰り返す。

　図１０は、図９の背景画像４２Ｂを示す正面図である。図１０に示すように、図９のステップＳ４０４では、背景画像表示装置２Ｂは、スクリーン３Ｂに表示させる領域の画像データのうち、重要画像領域６１の画像を全て黒にマスキングして、背景画像４２Ｂとする。なお、ここでは重要画像領域６１の画像を全て黒にマスキングしているが、これに限らない。マスキングした箇所に重要画像を投写する際、投写された重要画像の見え方に影響を与えなければ他の色であってもよい。

　以上のように、実施の形態１に係る映像表示システム８００において、背景画像表示装置２Ａ，２Ｂ，２Ｃは、所定の重要画像を含む全体画像から重要画像が切り出されてマスクされた背景画像４２Ａ，４２Ｂ，４２Ｃを、スクリーン３Ａ，３Ｂ，３Ｃに投写して表示する。重要画像表示装置１は、スクリーン３Ｂの背景画像４２Ｂにおける重要画像領域６１に補正重要画像を表示する。この時、切り出された重要画像が重要画像の領域に投写されるように、重要画像のアスペクト比に応じて、重要画像表示装置１の光軸周りの回転角（ロール角）αが制御される。ここでいう重要画像のアスペクト比は、重要画像が複数の包絡線により閉じられた多角形に内接するように、重要画像を多角形の形式で切り出し、当該多角形に外接する矩形の面積が最小となるような最小外接矩形を計算し、計算された最小外接矩形６１１に基づくアスペクト比である。

　以上のように、重要画像表示装置１の光軸回りの回転角αを制御することで、重要画像は面積が最小となる最小外接矩形６１１で切り出される。そのため、例えば重要画像を光学ズームしても最小限ですみ、重要画像の画素間隔は広がらず、密となる。これに対し、光軸周りの回転角αを制御しない場合は、重要画像を最小外接矩形６１１で切り出すことが難しい。そのため、例えば重要画像を光学ズームする際、重要画像の画素間隔が広がり、疎になる。以上の通り、本開示に係る映像表示システム８００によれば、重要画像表示装置１の解像度を可能な限り高くしながら重要画像４１を表示することができる。また、重要画像表示装置１の表示可能領域が横に長い形状である一方で重要画像領域６１が縦に長い形状であっても、例えば重要画像表示装置１のロール角αが、４５°以上でかつ１３５°以下の値に設定すれば、重要画像表示装置１の表示可能領域が実質的に縦に長い形状となるため、重要画像表示装置１の表示可能領域を最大限利用することができる。

　さらに、重要画像表示装置１として、表示される映像の最大輝度（コントラスト）、色調又は解像度等の特性が背景画像表示装置２Ａ，２Ｂ，２Ｃと異なる表示装置を用いることにより、表示される映像のうちの重要画像領域の特性を局所的に、より注目されやすく画像的に目立たせるように変化させることができる。さらにまた、重要画像表示装置１として、立体映像を表示することが可能な表示装置を用いることにより、表示される映像のうちの重要画像領域を局所的に立体映像とすることもできる。

　（実施の形態２）
　図１１は、実施の形態２に係る映像表示システム８００Ａの構成例を示すブロック図である。図１１において、映像表示システム８００Ａは、図１の映像表示システム８００と比較して以下の点で異なる。

　（１）映像表示システム８００の制御部１１，２１Ａ，２１Ｂ，２１Ｃに代えて、制御装置７を備える。（２）制御装置７は、ネットワーク８に接続され、通信部１２，２２Ａ，２２Ｂ，２２Ｃを介して重要画像表示装置１ｖ及び背景画像表示装置２Ａｖ，２Ｂｖ，２Ｃｖの動作を制御する。

　図１１において、制御装置７はネットワーク８及び通信部１２，２２Ａ，２２Ｂ，２２Ｃを介して記憶部１３，２３Ａ，２３Ｂ，２３Ｃ及び表示部１４，２４Ａ，２４Ｂ，２４Ｃを制御して、制御部１１，１１Ａ，１１Ｂ，１１Ｃと同様の各種の機能を実現する。これにより、実施の形態１における重要画像表示装置１及び背景画像表示装置２Ａ，２Ｂ，２Ｃの構成を、実施の形態１と比較して小型化することができ、当該映像表示システム８００を統合的に制御することが可能となる。

　（実施の形態３）
　図１２は、実施の形態３に係る映像表示システム８００Ｂの構成例を示すブロック図である。図１２において、映像表示システム８００Ｂは、映像表示システム８００と比較して以下の点で異なる。

　（１）スクリーン３Ａに対応する重要画像表示装置１Ａと、スクリーン３Ｃに対応する重要画像表示装置１Ｃをさらに備える。重要画像表示装置１Ａ，１Ｃの構成は、重要画像表示装置１と同様である。

　図１３は、図１２の映像表示システム８００Ｂの外観例を示す斜視図である。図１３に示すように、実施の形態３では、入力画像のうち、複数のスクリーン３Ａ，３Ｂ，３Ｃに対応する領域に、重要画像４１Ａ，４１Ｂ，４１Ｃがそれぞれ存在する。これらの重要画像４１Ａ，４１Ｂ，４１Ｃをそれぞれ表示することにより、それぞれの重要画像領域において表示される映像の上記特性を局所的に変化させることができる。

　（実施の形態４）
　図１４は、実施の形態４に係る映像表示システム８００Ｃの構成例を示すブロック図である。映像表示システム８００は、図１１の映像表示システム８００Ａと比較して、以下の点で異なる。

　（１）スクリーン３Ａに対応する重要画像表示装置１Ａｖと、スクリーン３Ｃに対応する重要画像表示装置１Ｃｖをさらに備える。

　このように、実施の形態２及び３に係る映像表示システム８００Ａ，８００Ｂの特徴を互いに組み合わせることにより、複合した効果を得ることができる。

　（変形例）
　以上、実施の形態に係る映像表示システム８００、８００Ａ、８００Ｂについて説明したが、本開示は上記実施の形態に限定されない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものも、本開示の範囲内に含まれる。

　（１）本実施の形態では、背景画像表示装置２Ａ、２Ｂ、２Ｃ、２Ａｖ、２Ａｂ、２Ａｃは、入力画像データの画像６０のサイズを変更せずに重要画像領域６１を抽出したが、画像６０のサイズを変更して重要画像領域６１を抽出してもよい。

　図１５は、変形例に係る映像表示システムにおいて、背景画像と重要画像との重ね合わせを説明するための図である。

　図１５に示すように、背景画像表示装置は、入力画像データからスクリーンに表示させる領域の画像データを抽出し、抽出した画像データを拡大したのち、重要画像領域をマスキングした背景画像データを作成し、スクリーンに背景画像を表示する。ここでは、例として画像データを１０５％に拡大している。一方、重要画像表示装置からは、実施の形態と同様、つまり、画像データを変更せずに重要画像が表示される。

　上記処理により、スクリーン上には重要画像と背景画像の境界がぼやけた全体画像が表示される。これにより、スクリーン上に表示させる際、重要画像の位置と、背景画像のマスキングされた位置が完全に一致していなくても違和感なく表示させることができる。また、重要画像と背景画像の境界がぼやけているため、より自然な全体画像が表示される。

　（２）本実施の形態では、重要画像領域の映像を重要画像表示装置１で表示させたが、重要画像領域の映像の移動速度が重要画像表示装置１の追従限界を超える場合はこれに限らない。

　図１６は、変形例に係る映像表示システムにおいて、重要画像領域の移動速度が追従限界を超える場合の動作を説明するための図である。図１７は、変形例に係る映像表示システムにおいて、重要画像領域の移動速度が追従限界内の場合の動作を説明するための図である。

　図１６に示すように、重要画像領域の移動速度が重要画像表示装置１の追従限界を超える場合、重要画像表示装置１からは重要画像を表示させず、背景画像表示装置２Ａ，２Ｂ，２Ｃから重要画像と背景画像を表示させる。重要画像表示装置１から重要画像を表示させない方法としては、重要画像表示装置１のシャッターを閉じる、出力をオフにする、などの方法がある。また、背景画像表示装置２Ａ，２Ｂ，２Ｃには重要画像データと背景画像データを含む画像データが入力されている。したがって、背景画像表示装置２Ａ，２Ｂ，２Ｃは、画像データから重要画像領域をマスキングする処理を省略することで、重要画像と背景画像とをスクリーン上に表示させることができる。

　そして、図１７に示すように、重要画像領域の移動速度が重要画像表示装置の追従限界内に入った場合は、本実施の形態に記載のように、重要画像表示装置１と背景画像表示装置２Ａ，２Ｂ，２Ｃを動作させればよい。

　本開示は、例えばプロジェクタ等の投写型映像表示装置を複数含む映像表示システムに適用可能である。

１，１Ａ，１Ｂ，１Ｃ，１ｖ，１Ａｖ，１Ｂｖ，１Ｃｖ　重要画像表示装置
２Ａ，２Ｂ，２Ｃ，２Ａｖ，２Ｂｖ，２Ｃｖ　背景画像表示装置
３Ａ，３Ｂ，３Ｃ　スクリーン
６　映像出力装置
７　制御装置
８　ネットワーク
１１，１１Ａ，１１Ｂ，１１Ｃ　制御部
１２，１２Ａ，１２Ｂ，１２Ｃ　通信部
１３，１３Ａ，１３Ｂ，１３Ｃ　記憶部
１４，１４Ａ，１４Ｂ，１４Ｃ　表示部
１４０　表示装置部
１４１　３軸駆動機構部
１４１Ｐ　パン駆動部
１４１Ｒ　ロール駆動部
１４１Ｔ　チルト駆動部
２１Ａ，２１Ｂ，２１Ｃ　制御部
２２Ａ，２２Ｂ，２２Ｃ　通信部
２３Ａ，２３Ｂ，２３Ｃ　記憶部
２４Ａ，２４Ｂ，２４Ｃ　表示部
８００，８００Ａ，８００Ｂ，８００Ｃ　映像表示システム

Claims (8)

1. 　所定の重要画像を含む全体画像から前記重要画像が切り出され、前記重要画像の領域がマスクされた背景画像を全体画像の領域に投写する第１の表示装置と、
   　前記投写された前記背景画像における前記重要画像の領域に、前記切り出された前記重要画像を投写する第２の表示装置と、
   　前記重要画像の領域に前記切り出された前記重要画像を投写するように、前記重要画像のアスペクト比に応じて、前記投写する重要画像に対する、前記第２の表示装置の光軸周りの回転角を制御する制御部と、
   を備える映像表示システム。
2. 　前記重要画像のアスペクト比は、前記重要画像が複数の包絡線により閉じられた多角形に内接するように前記重要画像を前記多角形の形式で切り出し、前記多角形に外接する矩形の面積が最小となるような最小外接矩形を計算し、前記計算された前記最小外接矩形に基づくアスペクト比であり、
   　前記制御部は、前記計算された前記最小外接矩形に基づく前記アスペクト比に応じて、前記投写する重要画像に対する、前記第２の表示装置の光軸周りの回転角を制御する、
   請求項１記載の映像表示システム。
3. 　前記制御部は、前記全体画像における前記切り出された重要画像の位置の変化に応じて、前記重要画像の領域に前記切り出された重要画像を投写するように、前記第２の表示装置の光軸の位置を制御する、
   請求項１又は２記載の映像表示システム。
4. 　前記制御部は、前記全体画像における前記切り出された重要画像の位置の移動量に基づいて、移動前の重要画像をそのまま前記第２の表示装置の光軸を移動させたときの重要画像を、移動後における最小外接矩形の重要画像へ射影する射影変換行列を計算することにより、前記射影変換行列を用いて移動前の重要画像を移動後の重要画像に変換して、前記重要画像の領域に前記切り出した重要画像を投写する、
   請求項３記載の映像表示システム。
5. 　前記制御部は、前記第１の表示装置及び前記第２の表示装置に設けられる、請求項１～４のうちのいずれか１つに記載の映像表示システム。
6. 　前記制御部は、前記第１の表示装置及び前記第２の表示装置以外の制御装置に設けられる、
   請求項１～４のうちのいずれか１つに記載の映像表示システム。
7. 　所定の重要画像を含む全体画像から前記重要画像が切り出され、前記重要画像の領域がマスクされた前記重要画像を全体画像の領域に投写する第１の表示装置と、
   　前記投写された前記全体画像における前記重要画像の領域に、前記切り出された前記重要画像を投写する第２の表示装置とを備える映像表示システムの映像表示方法であって、
   　前記重要画像の領域に前記切り出された重要画像を投写するように、前記重要画像のアスペクト比に応じて、前記投写する重要画像に対する、前記第２の表示装置の光軸周りの回転角を制御する映像表示方法。
8. 　前記重要画像が、複数の包絡線により閉じられた多角形に内接するように前記重要画像を前記多角形の形式で切り出し、
   　前記多角形に外接する矩形の面積が最小となるような最小外接矩形を計算し、前記計算された最小外接矩形に基づくアスペクトに応じて、前記投写する重要画像に対する、前記第２の表示装置の光軸周りの回転角を制御する
   請求項７記載の映像表示方法。

Images