JP4162398B2

JP4162398B2 - 映像表示システムおよびその方法

Info

Publication number: JP4162398B2
Application number: JP2001353785A
Authority: JP
Inventors: 仁生井; 俊夫守屋; 剛皆川; 晴夫武田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-11-19
Filing date: 2001-11-19
Publication date: 2008-10-08
Anticipated expiration: 2021-11-19
Also published as: JP2003153263A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元計測および画像処理の分野に関し、特に表示用映像データの画像解像度、色分解能、時間分解能、および圧縮方法を自動的に決定するための技術に関する。
【０００２】
【従来の技術】
従来より、バーチャルリアリティ（仮想現実または人工現実）と呼ばれるテクノロジーが知られている。これは、コンピュータの中に仮想的な世界を構築し、被験者に対し音や映像などにより仮想的な世界を体験させる技術である。バーチャルリアリティを体験させる映像表示システムとして、プロジェクタを複数用いて高解像度の映像データを表示するシステムが知られている。図１に、そのような映像表示システムの例を示す。スクリーン１０１を複数の小領域に分割し、それぞれの小領域をプロジェクタ１０２で投影する。各小領域を一つのプロジェクタで投影するため、全体として高解像度な映像を得ることができる。
【０００３】
【発明が解決しようとする課題】
上述の映像表示システムでは、スクリーンに表示する映像データが高解像であると、この映像データをネットワーク経由で伝送する場合、非常に膨大なデータ量になるという問題点がある。
【０００４】
本発明は、上述の従来技術における問題点に鑑み、映像データを伝送して表示する映像表示システムで、表示領域を複数の領域に分割して各領域ごとに映像表示するものにおいて、映像データのデータ量を抑えることを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明は、１画面を複数の表示領域に分割して各表示領域ごとに映像表示するもので、その映像データを伝送する場合に、被験者の視点位置や視線方向を取得し、それに基づいて各表示領域に表示する映像データを加工してデータ量の少ない伝送映像データを生成し、これを伝送して各表示領域に表示することを特徴とする。
【０００６】
具体的には、被験者の視点位置から各表示領域までの距離を取得し、それらの距離に応じて各表示領域に表示する映像データの画像解像度、色分解能、時間分解能、および／またはデータ圧縮方法を決定し、決定した画像解像度、色分解能、時間分解能、および／またはデータ圧縮方法で映像データを処理して元の映像データよりもデータ量の少ない伝送映像データを作成し、該伝送映像データを伝送して被験者側にある複数の表示領域に表示する方式がある。
【０００７】
また、視点位置と視線方向に応じて、視線方向の映像データの画像解像度、色分解能、時間分解能、および／または圧縮方法を決定し、次にその視線方向の映像データの画像解像度、色分解能、時間分解能、および／または圧縮方法を基準として、視線ベクトルと視点位置から前記各表示領域へ向かうベクトルとのなす角度に応じて、各表示領域に表示する映像データの画像解像度、色分解能、時間分解能、および／または圧縮方法を決定し、決定した画像解像度、色分解能、時間分解能、および／またはデータ圧縮方法で映像データを処理して元の映像データよりもデータ量の少ない伝送映像データを作成し、該伝送映像データを伝送して被験者側にある複数の表示領域に表示する方式がある。
【０００８】
伝送映像データの作成は、時間方向、空間方向、および／または色方向のリサンプリング処理や、所定の圧縮方法での圧縮処理により行う。
【０００９】
表示する側では、圧縮されている伝送映像データを伸長処理し、さらに表示用の解像度でリサンプリング処理を行うことにより、表示用データを生成する。
【００１０】
【発明の実施の形態】
以下、図面を用いて本発明の映像表示システムの一実施形態を詳細に説明する。
【００１１】
本実施形態のシステムが前提とするのは、図１に示したようなスクリーン１０１を複数の小領域に分割し、各小領域にそれぞれプロジェクタ１０２で伝送映像データを表示するシステムである。被験者は１人とし、この被験者はスクリーン１０１の前の所定範囲内を自由に移動して表示された映像を見ることができる。このようなシステムは、バーチャルリアリティを体験する目的のものであれば各種の場面で利用できる。例えば、教育目的、アトラクションなどの娯楽目的などに利用できる。
【００１２】
図２は本実施形態のシステム構成図、図３は本実施形態のシステム動作を示すブロック図である。
【００１３】
図２において、装置２０１，２０２，２０７，２０８はプロジェクタ１０２側に配置され、装置２０３〜２０６は映像データ２０５側に配置される。プロジェクタ１０２側の装置２０１、２０２、２０７、２０８はそれぞれ別体の装置として構成してもよいし、いくつかを組み合わせて一体的に構成してもよい。例えば、１台のコンピュータで装置２０１，２０２，２０７，２０８を構成することもできる。映像データ２０５側の装置２０３〜２０６も同様である。ネットワーク２０９は、インターネット、イントラネット、ＬＡＮなどどのようなネットワークでもよい。映像データ２０５側とプロジェクタ１０２側とをネットワークを用いて接続する場合であれば、本発明は適用可能である。また、図２では１か所の映像データ配置拠点から１か所の表示拠点のプロジェクタ１０２に表示するように構成しているが、１か所の映像データ配置拠点から複数か所の表示拠点に映像データを伝送するように構成してもよい。これは、１か所に映像データを配置し、そこから複数の表示拠点に映像データを送ってそれぞれの拠点でバーチャルリアリティを体験させるような場合である。
【００１４】
図２および図３において、２０１は、被験者の視点位置および視線方向を測定する視線ベクトル情報取得装置であり、ジャイロや超音波センサのような３次元計測機により測定するものである。２０２は、視線ベクトル情報取得装置２０１で測定した視線ベクトル情報を、映像データが存在する遠隔地に、ネットワーク２０９経由で送信する視線ベクトル情報送信装置である。
【００１５】
２０３は、視線ベクトル情報送信装置２０２からネットワーク２０９経由で送信された視線ベクトル情報を受信する視線ベクトル情報受信装置である。２０５は、遠隔地に蓄積された高解像度の映像データである。２０４は、視線ベクトル情報受信装置２０３を通して受信した視線ベクトル情報に基づいて、元の映像データよりもデータ量が少ない伝送映像データを生成する伝送映像データ生成装置である。伝送映像データ生成装置２０４は、伝送映像データの画像解像度、色分解能、時間分解能、およびデータ圧縮方法を各プロジェクタ１０２の表示領域毎に決定する伝送映像パラメータ決定手段と、各表示領域毎に決定した画像解像度、色分解能、時間分解能、およびデータ圧縮方法で、該当する映像データから伝送映像データを作成する伝送映像データ作成手段とを備える。２０６は、伝送映像データ生成装置２０４で生成された伝送映像データを被験者側にネットワーク２０９経由で送信する伝送映像データ送信装置である。
【００１６】
２０７は、伝送映像データ送信装置２０６からネットワーク２０９経由で送信された伝送映像データを受信する伝送映像データ受信装置である。２０８は、伝送映像データ受信装置２０７を通して受信した伝送映像データから各プロジェクタ１０２に表示するための表示データを作成する表示データ作成装置である。表示データ作成装置２０８は、圧縮された伝送映像データを伸長する伝送映像データ伸長手段と、各プロジェクタ１０２に表示するための画像解像度で伝送映像データをリサンプリングする伝送映像データリサンプリング手段とを備える。
【００１７】
なお、ここではプロジェクタ１０２を用いてスクリーン１０１に投影するものを例として説明するが、表示手段としてはどのようなものでもよい。複数の小領域ごとに表示を行なえるものであればよい。
【００１８】
以下、本実施形態のシステムの動作について説明する。
【００１９】
まず、図４を用いて、視線ベクトル情報について説明する。図４(a)はスクリーン１０１の上方から見た図である。
【００２０】
スクリーン１０１の形状と、そこに表示する映像データから理想視点を計算し、そこを原点とする。例えば、スクリーン１０１の形状が平面で、表示する映像データの画角が90°の場合、理想視点はスクリーン１０１の中心からスクリーン１０１の法線方向に、スクリーン幅の半分の長さだけ離れた地点となる。
【００２１】
図４(a)の４０１が理想視点である原点である。また、この図に示すようにｘ、ｙ、ｚをとる右手系の座標系を考える。また、この座標系のｘ軸方向、ｙ軸方向、およびｚ軸方向の単位ベクトルをそれぞれex、ey、ezとする。
【００２２】
被験者４０５の頭部、例えば頭の天辺や額の中心などに３次元計測センサーを取り付け、そこを視点４０２とする。また、この３次元計測センサーの位置から被験者４０５に対し正面方向を視線方向とする。視線方向は、３次元計測センサーが向いている方向である。実際には、視点は眼球のある２つの位置を指し、視線方向はその二つの目の中心と見ている対象とを結ぶ方向を指すため、上記位置および方向は厳密には視点および視線方向ではないが、ここでは、視点および視線方向とみなして以後処理する。
【００２３】
視点位置Vp、視線方向θ、φ、および視点位置からスクリーンまでの視線方向の距離ｄを求める。これらが視線ベクトル情報である。視線ベクトルVをｘｚ平面に射影したベクトルをV'とすると、図４(a)に示すように、θは単位ベクトルezとベクトルV'とのなす角度である。一方、図４（a）を切断面４０３で切断した断面図である図４(b)に示すように、φは視線ベクトルVとベクトルV'とのなす角度である。つまり理想視点の視線ベクトルezをy軸の周りにθ、ｘ軸の周りにφ回転させたものが、視線ベクトルVとなる。
【００２４】
上記視線ベクトル情報を、視線ベクトル情報送信装置２０１を用いて映像データの蓄積されている遠隔地へ送信する。
【００２５】
次に、伝送映像データ生成装置２０４について説明する。伝送映像データ生成装置２０４は、図５に示すように、伝送映像パラメータ決定手段５０１および伝送映像データ作成手段５０２から構成される。
【００２６】
伝送映像パラメータ決定手段５０１は、受け取った視線ベクトル情報から、各プロジェクタ１０２の表示領域毎に映像データの画像解像度、色分解能、時間分解能、および圧縮方法を決定する。伝送映像データ生成装置２０４は、解像度テーブル、評価関数、および解像度レベルの対応表を保持している。図６に、解像度テーブルの例を示す。この解像度テーブルは、画像解像度、色分解能、時間分解能、および圧縮方法の組み合わせを、それぞれ画像解像度、色分解能、時間分解能、および画像復元率の低い圧縮方法の順に並べたものである。評価関数は、視線ベクトル情報を入力として評価値を求める関数である。図７に解像度レベルの対応表の例を示す。この対応表は、評価関数の評価値に対する解像度レベルを表すものである。今後、各画像解像度、色分解能、時間分解能、および圧縮方法に対するレベルを解像度レベルと呼ぶことにする。解像度レベルが高いほど、画像解像度、色分解能、時間分解能、および伸長による画像復元率が高くなる。
【００２７】
伝送映像パラメータ決定手段５０１は、まず、受け取った視線ベクトル情報から評価値を求める。ここでは、評価関数として、視点位置Vpから各プロジェクタ１０２が表示する表示領域の中心までの距離を用いる。次に、各プロジェクタ１０２毎に求めた評価値を、評価値に対する解像度レベルの対応表（図７）と照合し、対応する解像度レベルをそれぞれ求める。最後に、求めた解像度レベルをそれぞれ解像度テーブル（図６）と照合し、各プロジェクタ１０２の画像解像度、色分解能、時間分解能、および圧縮方法を求める。上記処理を全てのプロジェクタに対して行い、伝送映像パラメータとして保持する。
【００２８】
各画像解像度、色分解能、時間分解能、および圧縮方法に対する解像度レベルのレベル付けは、プロジェクタの性能と、映像データの画像解像度、色分解能、および時間分解能により異なる。また、評価値に対する解像度レベルの割り当ては、視点の移動範囲により異なる。
【００２９】
伝送映像データ作成手段５０２は、各プロジェクタ１０２の表示領域に該当する映像データを、伝送映像パラメータ決定手段５０１で決定された各プロジェクタが表示する表示領域の解像度レベルに従ってリサンプリングする。
【００３０】
図８に、伝送映像データ作成手段５０２のフローチャートを示す。
【００３１】
ステップ８０１で、時間方向リサンプリング処理を行う。この処理は、映像データが動画の場合に、先の伝送映像パラメータ決定処理５０１で決定したフレームレート（時間分解能）になるように間引き処理を行うものである。静止画の場合、この処理は行われない。
【００３２】
ステップ８０２で、空間方向リサンプリング処理を行う。これは、先の伝送映像パラメータ決定処理５０１で決定した画像解像度で空間方向のリサンプリングを行う処理である。空間方向のリサンプリング手法として、Cubic Convolution 法、 Bi-Linear 法、 Nearest Neighbor 法がよく知られている（例えば、高木、下田：画像解析ハンドブック、東海大学出版会、1991）。ここではBi-Linear 法でリサンプリングするものとする。
【００３３】
ステップ８０３で、色方向リサンプリング処理を行う。これは、先の伝送映像パラメータ決定処理５０１で決定した色数になるように減色処理を行い、画像の輝度値をリサンプリングする処理である。色数の減少により無くなった色は類似色で近似する。
【００３４】
ステップ８０４で、映像データ圧縮処理を行う。これは、映像データを圧縮する処理である。ここでは、離散コサイン変換（DCT）における係数の処理を解像度レベルに応じて変える。離散コサイン変換に関する詳細については、例えば、越智宏、黒田英夫：図解で分かる画像圧縮技術、日本実業出版社、1999、pp.195-198.などに記載されている。
【００３５】
図９に、DCT係数の処理の例を示す。簡単のため４×４の画像を用いている。９０１は原画像データであり、各格子内の数字は画素値（その画素の値）である。９０２は原画像データをDCTすることにより求めたDCT係数である。解像度レベルに応じて、このDCT係数を変更する。
【００３６】
解像度レベルが高い場合は、原画像データをDCTしたDCT係数をそのまま用いる（図９(a)）。このDCT係数を逆DCTすることにより原画像データを得ることができる。解像度レベルが中程度の場合は、原画像データをDCTしたDCT係数を概略数で近似する（図９(b)）。この概略数で近似したDCT係数を逆DCTすることにより原画像データに近い画像データを得ることができる。解像度レベルが低い場合は、原画像データをDCTしたDCT係数の高周波成分をカットする（図９(c)）。DCT係数は、右にいくほど、また下に行くほど高周波となる。解像度レベルが非常に低い場合は、原画像データをDCTしたDCT係数を概略数で近似し、さらに高周波成分をカットする（図９(d)）。
【００３７】
図８のステップ８０１〜８０４の処理により、得られる伝送映像データのデータ量は、本来の映像データのデータ量より減少する。例えば、空間方向リサンプリング処理により、図１０に示すような縦２面、横６面の１２台構成で、1024×768の画像解像度での表示領域が２面、800×600の画像解像度での表示領域が６面、640×480の画像解像度での表示領域が４面の場合（図１０(b)）、1024×768の画像解像度で１２面を表示する場合（図１０(a)）に比べ、約４０パーセントのデータ量を削減することができる。時間方向分解能リサンプリング処理によりフレームレートを減らしたり、色方向分解能リサンプリング処理により色数を減らしたり、伝送映像データを近似したDCT係数で表現することで、さらにデータ量を減らすことができる。
【００３８】
次に、上記実施形態の変形例を説明する。上記実施形態の伝送映像データ生成装置２０４の伝送映像パラメータ決定手段５０１では、視点位置Vpから各プロジェクタ１０２が表示する表示領域の中心までの距離に応じて各プロジェクタ１０２の表示領域の画像解像度、色分解能、時間分解能、および圧縮方法を決定していた。以下に説明する変形例では、視線ベクトルの位置および視線方向に応じて各プロジェクタ１０２の画像解像度、色分解能、時間分解能、および圧縮方法を決定する。
【００３９】
以下に、その方法を示す。まず、視線ベクトル情報から視線方向の画像解像度、色分解能、時間分解能、および圧縮方法を求め、次に視線ベクトルと視点位置から各プロジェクタの表示領域の中心を結んだベクトルとのなす角度から、各プロジェクタの表示領域毎に画像解像度、色分解能、時間分解能、および圧縮方法を決定する。
【００４０】
視線方向の画像解像度、色分解能、時間分解能、および圧縮方法を決定するための評価式を次式に示す。
【００４１】
【数１】

【００４２】
ここで、ｄは視点からスクリーンまでの視線方向の距離、ｄmaxは視点からスクリーンまでの視線方向の最大距離（被験者が移動可能な範囲内で移動したときにとる最大距離である）、θはスクリーン面の法線ベクトルと視線ベクトルを水平面に射影したベクトルとのなす角度、φは視線ベクトルと視線ベクトルを水平面に射影したベクトルとのなす角度である。この評価式の値に応じて、視線方向の画像解像度、色分解能、時間分解能、および圧縮方法を決定する。各画像解像度、色分解能、時間分解能、および圧縮方法に対する解像度レベルのレベル付けの例は、図６に示した通りである。また、図１１に、評価値に対する解像度レベルの割り当ての例を示す。各画像解像度、色分解能、時間分解能、および圧縮方法に対するレベル付けは、プロジェクタの性能と、映像データの画像解像度、色分解能、時間分解能により異なる。また、評価値に対する解像度レベルの割り当ては、視点の移動範囲により異なる。
【００４３】
次に、視線方向の解像度レベルを基準にして、各プロジェクタ１０２の表示領域毎に映像データの解像度レベルを決定する。各プロジェクタ１０２の表示領域に対し、視点位置から各プロジェクタ１０２の表示領域の中心を結んだ方向ベクトルと、視線ベクトルとのなす角度ωをそれぞれ求める。
【００４４】
人間は、視軸から遠ざかるに従い、文字から記号、色彩へと認識できるレベルが低下していく。そこで、図１２に示すように、視軸からの角度に応じて高解像度範囲、中解像度範囲、低解像度範囲、および超低解像度範囲を設け、範囲毎に解像度レベルを変える。
【００４５】
図１３に、視野角と解像度レベルの対応例を示す。縦軸は解像度レベルを、横軸は視野角を表す。図に示した解像度レベルの最高レベルは、先に求めた視線方向の解像度レベルに一致する。先に求めた角度ωから、高解像度範囲内にプロジェクタの表示領域の中心がある領域は、視線方向の解像度レベルと同じ解像度レベルに設定する。次に、中解像度範囲内にプロジェクタの表示領域の中心がある領域は、視線方向の解像度レベルより一段階低い解像度レベル（中解像度）に設定する。低解像度範囲内にプロジェクタの表示領域の中心がある領域は、視線方向の解像度レベルより二段階低い解像度レベル（低解像度）に設定する。超低解像度範囲内にプロジェクタの表示領域の中心がある領域は、視線方向の解像度レベルより三段階低い解像度レベル（超低解像度）に設定する。
【００４６】
高解像度範囲、中解像度範囲、または低解像度範囲の解像度レベルが１になった場合、その範囲より視軸から遠ざかる範囲内の解像度レベルはすべて１とする。
【００４７】
図１４および図１５に、上記第１の実施形態による各プロジェクタ表示領域の解像度レベルの決定例を示す。この実施形態では、視点位置から各プロジェクタの表示領域中心までの距離に応じて、各プロジェクタの解像度レベルを決定する。左から３番目、上から２番目のプロジェクタの表示領域に着目すると、図１４の被験者の位置において、上記表示領域には中解像度の映像データが表示されている。一方、被験者が移動して図１５に示すように被験者の視点位置から上記プロジェクタの表示領域中心までの距離が図１４に比べて短くなったとすると、それに伴い上記プロジェクタの表示領域には高解像度の映像データが表示される。ほかのプロジェクタの表示領域に対しても同様である。このとき、解像度レベルの設定を調整することにより、スクリーン全体の映像データのデータ量を視点位置にかかわらずほぼ一定にすることもできる。
【００４８】
図１６および図１７に、上記変形例による各プロジェクタ表示領域の解像度レベルの決定例を示す。この変形例の場合、距離のほかに視線方向を考慮しているため、常に被験者の注目している部分の映像データの解像度レベルを高くすることができる。例えば、図１６のように被験者の視線方向１６０１がスクリーン１０１の左から２番目、上から２番目の表示領域を向いている場合、その領域は高解像度レベルになっている。被験者が視線の向きを変更すると、図１７に示すように、各プロジェクタ表示領域の解像度レベルもそれに合わせて変化する。
【００４９】
伝送映像データは、伝送映像データ送信装置２０６からネットワーク２０９を経由して被験者側に送信される。被験者側に送信された伝送映像データは、伝送映像データ受信装置２０７で受信され、表示データ作成装置２０８に送られる。
【００５０】
表示データ作成装置２０８は、図１８のフローチャートに示すように、伝送映像データ伸長処理１８０１による伸長の処理と伝送映像データリサンプリング処理１８０２によるリサンプリングの処理を行う。
【００５１】
まず伝送映像データ伸長処理１８０１では、映像データ圧縮処理で圧縮されている伝送映像データを伸長して、元の画像に復元または近い画像を生成する。ここでは、逆DCT処理を行う。次に、伝送映像データリサンプリング処理１８０２では、各プロジェクタの表示領域毎に異なる解像度レベルでリサンプリングされた伝送映像データを表示用の画像解像度でリサンプリングする。また、伝送映像データの画像解像度と表示用の画像解像度が同じ場合は、送信映像データをそのまま表示データとする。ここでは、解像度レベルの高い範囲ほど高度なリサンプリング手法を用いる。例えば、高解像度範囲内の伝送映像データはCubic Convolution 法、中解像度範囲内の伝送映像データはBi-Linear 法、低解像度範囲内および超低解像度範囲内の伝送映像データはNearest Neighbor 法でリサンプリングする。
【００５２】
以上のようにして表示データ作成装置２０８で作成された表示データを、各プロジェクタに表示する。
【００５３】
【発明の効果】
以上詳述したように、本発明によれば、別の場所に配置された高解像度の映像データを、被験者の視点位置および視線方向に応じて各プロジェクタの表示領域毎に映像データをリサンプリングして伝送することで、従来より伝送する映像データの情報量を削減することができる。バーチャルリアリティが提供する映像空間は一般に高視野角および高臨場感であることから、表示する映像データ量は膨大なものとなる。そのため、これらの映像データを例えば遠隔地に設置された映像サーバからそのまま受信することは現実的でない。しかし、本発明によれば、データ量（伝送容量）を削減することができるとともに、バーチャルリアリティを体験する被験者を一人に限定し、その人間の視野を考慮し、着目している部分は高解像度で、それ以外の部分は低解像度で映像を表示するので、被験者に対しては高臨場感で高品質の仮想現実空間を提供できる。
【図面の簡単な説明】
【図１】映像表示システムの概略図。
【図２】実施形態のシステムの構成図。
【図３】実施形態のシステム動作を示すブロック図。
【図４】視線ベクトル情報を示す図。
【図５】映像データ生成装置のデータフロー図。
【図６】各解像度に対するレベル付けの例を示す図。
【図７】距離に応じた解像度レベルの割り当て例を示す図。
【図８】伝送映像データ作成手段のフローチャートを示す図。
【図９】 DCT係数の処理例を示す図。
【図１０】解像度レベルの違いによるデータ量の削減例を示す図。
【図１１】視野角に対する各プロジェクタの表示領域の解像度レベルの割り当て例を示す図。
【図１２】人間の視野角に応じた解像度範囲の例を示す図。
【図１３】視野角に応じた解像度レベルの割り当て例を示す図。
【図１４】実施形態の各プロジェクタの表示領域の解像度の割り当て例（その１）を示す図。
【図１５】実施形態の各プロジェクタの表示領域の解像度の割り当て例（その２）を示す図。
【図１６】変形例の各プロジェクタの表示領域の解像度の割り当て例（その１）を示す図。
【図１７】変形例の各プロジェクタの表示領域の解像度の割り当て例（その２）を示す図。
【図１８】表示データ作成装置のフローチャートを示す図。
【符号の説明】
１０１…スクリーン
１０２…プロジェクタ
２０１…視線ベクトル情報取得装置
２０２…視線ベクトル情報送信装置
２０３…視線ベクトル情報受信装置
２０４…伝送映像データ生成装置
２０５…映像データ
２０６…伝送映像データ送信装置
２０７…伝送映像データ受信装置
２０８…表示データ作成装置
２０９…ネットワーク
４０１…理想視点位置
４０２…視点位置
４０３…切断面
４０４…視線ベクトル
４０５…被験者
５０１…伝送映像パラメータ決定手段
５０２…伝送映像データ作成手段
８０１…時間方向リサンプリング処理
８０２…空間方向リサンプリング処理
８０３…色方向リサンプリング処理
８０４…伝送映像データ圧縮処理
９０１…原画像
９０２…DCT係数
１２０１…高解像度範囲
１２０２…中解像度範囲
１２０３…低解像度範囲
１２０４…超低解像度範囲
１４０１…プロジェクタの表示領域中心
１４０２…視点位置からプロジェクタの表示領域中心までの距離
１６０１…視線方向
１８０１…伝送映像データ伸張処理
１８０２…伝送映像データリサンプリング処理

Claims

視線情報を取得する視線情報取得手段と、
前記視線情報取得手段によって取得された前記視線情報を送信する視線情報送信手段と、
前記視線情報送信手段によって送信された前記視線情報を受信する視線情報受信手段と、
前記視線情報受信手段によって受信された視線情報に基づいて、映像データを生成する伝送映像データ生成手段と、
前記伝送映像データ生成手段によって生成された映像データを送信する伝送映像データ送信手段と、
前記伝送映像データ送信手段によって送信された映像データを受信する伝送映像データ受信手段と、
前記伝送映像データ受信手段によって受信された映像データから、表示物体に表示する表示データを作成する表示データ作成手段と、
前記表示データ作成手段によって作成された表示データを前記表示物体に表示する複数の表示手段と
を備え、
前記視線情報は、被験者の移動に応じて変化する該被験者の位置を有する情報であり、
前記伝送映像データ生成手段は、前記視線情報に含まれる前記被験者の位置の情報に基づいて算出した前記被験者の位置から前記複数の表示手段の各々の表示領域までの距離が長いほど解像度が低くなるように、かつ、前記表示手段の表示領域単位で同一の解像度になるように映像データを生成する、映像表示システム。
前記伝送映像データ生成手段は、
前記視線情報を入力として、該視線情報に基づいて算出した前記複数の表示手段の各々の表示領域までの距離が長いほど評価値が低くなるように、前記複数の表示手段の表示領域の重要度を評価する評価手段と、
前記評価手段によって評価された評価値に対して、段階的に解像度のレベルを示した解像度レベル対応表と、
前記解像度レベル対応表の解像度レベルに対して、画像解像度、時間分解能、色分解能及び圧縮方法のうち少なくとも一つを示した解像度テーブルと
を備える、請求項１記載の映像表示システム。
前記伝送映像データ生成手段は、
前記被験者の位置から前記表示物体までの距離に対して、段階的に解像度のレベルを示した解像度レベル対応表と、
前記解像度レベル対応表の解像度レベルに対して、画像解像度、時間分解能、色分解能及び圧縮方法のうち少なくとも一つを示した解像度テーブルと
を備える、請求項１記載の映像表示システム。
前記伝送映像データ生成手段は、
前記解像度テーブルによって示された方法に従って、時間方向リサンプリング処理、空間方向リサンプリング処理、色方向リサンプリング処理及び圧縮のうち少なくとも一つを行う、請求項２又は３記載の映像表示システム。
前記表示データ作成手段は、
前記受信した映像データを伸長する伸長手段と、
前記伸長手段によって伸長された映像データを、表示用の画像解像度でリサンプリングする伝送映像データリサンプリング手段と
を備える、請求項４記載の映像表示システム。
視線情報を取得する視線情報取得手段と、
前記視線情報取得手段によって取得された前記視線情報を送信する視線情報送信手段と、
前記視線情報送信手段によって送信された前記視線情報を受信する視線情報受信手段と、
前記視線情報受信手段によって受信された視線情報に基づいて、映像データを生成する伝送映像データ生成手段と、
前記伝送映像データ生成手段によって生成された映像データを送信する伝送映像データ送信手段と、
前記伝送映像データ送信手段によって送信された映像データを受信する伝送映像データ受信手段と、
前記伝送映像データ受信手段によって受信された映像データから、表示物体に表示する表示データを作成する表示データ作成手段と、
前記表示データ作成手段によって作成された表示データを前記表示物体に表示する複数の表示手段と
を備え、
前記視線情報は、被験者の移動に応じて変化する該被験者の位置を有する情報であり、
前記伝送映像データ生成手段は、
前記視線情報を入力として、該視線情報に基づいて算出した前記複数の表示手段の各々の表示領域までの距離が長いほど評価値が低くなるように、前記複数の表示手段の表示領域の重要度を評価する評価手段と、
前記評価手段によって評価された評価値に対して、段階的に解像度のレベルを示した解像度レベル対応表と、
前記解像度レベル対応表の解像度レベルに対して、画像解像度、時間分解能、色分解能及び圧縮方法のうち少なくとも一つを示した解像度テーブルと
を備え、前記視線情報に含まれる前記被験者の位置の情報に基づいて算出した前記被験者の位置から前記複数の表示手段の各々の表示領域までの距離が長いほど解像度が低くなるように、かつ、前記表示手段の表示領域単位で同一の解像度になるように映像データを生成する、映像表示システム。
前記伝送映像データ生成手段は、
前記解像度テーブルによって示された方法に従って、時間方向リサンプリング処理、空間方向リサンプリング処理、色方向リサンプリング処理及び圧縮のうち少なくとも一つを行う、請求項６記載の映像表示システム。
前記表示データ作成手段は、
前記受信した映像データを伸長する伸長手段と、
前記伸長手段によって伸長された映像データを、表示用の画像解像度でリサンプリングする伝送映像データリサンプリング手段と
を備える、請求項７記載の映像表示システム。