JP4162398B2 - 映像表示システムおよびその方法 - Google Patents
映像表示システムおよびその方法 Download PDFInfo
- Publication number
- JP4162398B2 JP4162398B2 JP2001353785A JP2001353785A JP4162398B2 JP 4162398 B2 JP4162398 B2 JP 4162398B2 JP 2001353785 A JP2001353785 A JP 2001353785A JP 2001353785 A JP2001353785 A JP 2001353785A JP 4162398 B2 JP4162398 B2 JP 4162398B2
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- video data
- display
- line
- transmission video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000005540 biological transmission Effects 0.000 claims description 93
- 238000012545 processing Methods 0.000 claims description 36
- 238000012952 Resampling Methods 0.000 claims description 32
- 238000007906 compression Methods 0.000 claims description 26
- 230000006835 compression Effects 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 22
- 230000002123 temporal effect Effects 0.000 claims description 11
- 230000006837 decompression Effects 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 39
- 238000010586 diagram Methods 0.000 description 19
- 238000013144 data compression Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Landscapes
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
【発明の属する技術分野】
本発明は、3次元計測および画像処理の分野に関し、特に表示用映像データの画像解像度、色分解能、時間分解能、および圧縮方法を自動的に決定するための技術に関する。
【0002】
【従来の技術】
従来より、バーチャルリアリティ(仮想現実または人工現実)と呼ばれるテクノロジーが知られている。これは、コンピュータの中に仮想的な世界を構築し、被験者に対し音や映像などにより仮想的な世界を体験させる技術である。バーチャルリアリティを体験させる映像表示システムとして、プロジェクタを複数用いて高解像度の映像データを表示するシステムが知られている。図1に、そのような映像表示システムの例を示す。スクリーン101を複数の小領域に分割し、それぞれの小領域をプロジェクタ102で投影する。各小領域を一つのプロジェクタで投影するため、全体として高解像度な映像を得ることができる。
【0003】
【発明が解決しようとする課題】
上述の映像表示システムでは、スクリーンに表示する映像データが高解像であると、この映像データをネットワーク経由で伝送する場合、非常に膨大なデータ量になるという問題点がある。
【0004】
本発明は、上述の従来技術における問題点に鑑み、映像データを伝送して表示する映像表示システムで、表示領域を複数の領域に分割して各領域ごとに映像表示するものにおいて、映像データのデータ量を抑えることを目的とする。
【0005】
【課題を解決するための手段】
上記目的を達成するため、本発明は、1画面を複数の表示領域に分割して各表示領域ごとに映像表示するもので、その映像データを伝送する場合に、被験者の視点位置や視線方向を取得し、それに基づいて各表示領域に表示する映像データを加工してデータ量の少ない伝送映像データを生成し、これを伝送して各表示領域に表示することを特徴とする。
【0006】
具体的には、被験者の視点位置から各表示領域までの距離を取得し、それらの距離に応じて各表示領域に表示する映像データの画像解像度、色分解能、時間分解能、および/またはデータ圧縮方法を決定し、決定した画像解像度、色分解能、時間分解能、および/またはデータ圧縮方法で映像データを処理して元の映像データよりもデータ量の少ない伝送映像データを作成し、該伝送映像データを伝送して被験者側にある複数の表示領域に表示する方式がある。
【0007】
また、視点位置と視線方向に応じて、視線方向の映像データの画像解像度、色分解能、時間分解能、および/または圧縮方法を決定し、次にその視線方向の映像データの画像解像度、色分解能、時間分解能、および/または圧縮方法を基準として、視線ベクトルと視点位置から前記各表示領域へ向かうベクトルとのなす角度に応じて、各表示領域に表示する映像データの画像解像度、色分解能、時間分解能、および/または圧縮方法を決定し、決定した画像解像度、色分解能、時間分解能、および/またはデータ圧縮方法で映像データを処理して元の映像データよりもデータ量の少ない伝送映像データを作成し、該伝送映像データを伝送して被験者側にある複数の表示領域に表示する方式がある。
【0008】
伝送映像データの作成は、時間方向、空間方向、および/または色方向のリサンプリング処理や、所定の圧縮方法での圧縮処理により行う。
【0009】
表示する側では、圧縮されている伝送映像データを伸長処理し、さらに表示用の解像度でリサンプリング処理を行うことにより、表示用データを生成する。
【0010】
【発明の実施の形態】
以下、図面を用いて本発明の映像表示システムの一実施形態を詳細に説明する。
【0011】
本実施形態のシステムが前提とするのは、図1に示したようなスクリーン101を複数の小領域に分割し、各小領域にそれぞれプロジェクタ102で伝送映像データを表示するシステムである。被験者は1人とし、この被験者はスクリーン101の前の所定範囲内を自由に移動して表示された映像を見ることができる。このようなシステムは、バーチャルリアリティを体験する目的のものであれば各種の場面で利用できる。例えば、教育目的、アトラクションなどの娯楽目的などに利用できる。
【0012】
図2は本実施形態のシステム構成図、図3は本実施形態のシステム動作を示すブロック図である。
【0013】
図2において、装置201,202,207,208はプロジェクタ102側に配置され、装置203〜206は映像データ205側に配置される。プロジェクタ102側の装置201、202、207、208はそれぞれ別体の装置として構成してもよいし、いくつかを組み合わせて一体的に構成してもよい。例えば、1台のコンピュータで装置201,202,207,208を構成することもできる。映像データ205側の装置203〜206も同様である。ネットワーク209は、インターネット、イントラネット、LANなどどのようなネットワークでもよい。映像データ205側とプロジェクタ102側とをネットワークを用いて接続する場合であれば、本発明は適用可能である。また、図2では1か所の映像データ配置拠点から1か所の表示拠点のプロジェクタ102に表示するように構成しているが、1か所の映像データ配置拠点から複数か所の表示拠点に映像データを伝送するように構成してもよい。これは、1か所に映像データを配置し、そこから複数の表示拠点に映像データを送ってそれぞれの拠点でバーチャルリアリティを体験させるような場合である。
【0014】
図2および図3において、201は、被験者の視点位置および視線方向を測定する視線ベクトル情報取得装置であり、ジャイロや超音波センサのような3次元計測機により測定するものである。202は、視線ベクトル情報取得装置201で測定した視線ベクトル情報を、映像データが存在する遠隔地に、ネットワーク209経由で送信する視線ベクトル情報送信装置である。
【0015】
203は、視線ベクトル情報送信装置202からネットワーク209経由で送信された視線ベクトル情報を受信する視線ベクトル情報受信装置である。205は、遠隔地に蓄積された高解像度の映像データである。204は、視線ベクトル情報受信装置203を通して受信した視線ベクトル情報に基づいて、元の映像データよりもデータ量が少ない伝送映像データを生成する伝送映像データ生成装置である。伝送映像データ生成装置204は、伝送映像データの画像解像度、色分解能、時間分解能、およびデータ圧縮方法を各プロジェクタ102の表示領域毎に決定する伝送映像パラメータ決定手段と、各表示領域毎に決定した画像解像度、色分解能、時間分解能、およびデータ圧縮方法で、該当する映像データから伝送映像データを作成する伝送映像データ作成手段とを備える。206は、伝送映像データ生成装置204で生成された伝送映像データを被験者側にネットワーク209経由で送信する伝送映像データ送信装置である。
【0016】
207は、伝送映像データ送信装置206からネットワーク209経由で送信された伝送映像データを受信する伝送映像データ受信装置である。208は、伝送映像データ受信装置207を通して受信した伝送映像データから各プロジェクタ102に表示するための表示データを作成する表示データ作成装置である。表示データ作成装置208は、圧縮された伝送映像データを伸長する伝送映像データ伸長手段と、各プロジェクタ102に表示するための画像解像度で伝送映像データをリサンプリングする伝送映像データリサンプリング手段とを備える。
【0017】
なお、ここではプロジェクタ102を用いてスクリーン101に投影するものを例として説明するが、表示手段としてはどのようなものでもよい。複数の小領域ごとに表示を行なえるものであればよい。
【0018】
以下、本実施形態のシステムの動作について説明する。
【0019】
まず、図4を用いて、視線ベクトル情報について説明する。図4(a)はスクリーン101の上方から見た図である。
【0020】
スクリーン101の形状と、そこに表示する映像データから理想視点を計算し、そこを原点とする。例えば、スクリーン101の形状が平面で、表示する映像データの画角が90°の場合、理想視点はスクリーン101の中心からスクリーン101の法線方向に、スクリーン幅の半分の長さだけ離れた地点となる。
【0021】
図4(a)の401が理想視点である原点である。また、この図に示すようにx、y、zをとる右手系の座標系を考える。また、この座標系のx軸方向、y軸方向、およびz軸方向の単位ベクトルをそれぞれex、ey、ezとする。
【0022】
被験者405の頭部、例えば頭の天辺や額の中心などに3次元計測センサーを取り付け、そこを視点402とする。また、この3次元計測センサーの位置から被験者405に対し正面方向を視線方向とする。視線方向は、3次元計測センサーが向いている方向である。実際には、視点は眼球のある2つの位置を指し、視線方向はその二つの目の中心と見ている対象とを結ぶ方向を指すため、上記位置および方向は厳密には視点および視線方向ではないが、ここでは、視点および視線方向とみなして以後処理する。
【0023】
視点位置Vp、視線方向θ、φ、および視点位置からスクリーンまでの視線方向の距離dを求める。これらが視線ベクトル情報である。視線ベクトルVをxz平面に射影したベクトルをV'とすると、図4(a)に示すように、θは単位ベクトルezとベクトルV'とのなす角度である。一方、図4(a)を切断面403で切断した断面図である図4(b)に示すように、φは視線ベクトルVとベクトルV'とのなす角度である。つまり理想視点の視線ベクトルezをy軸の周りにθ、x軸の周りにφ回転させたものが、視線ベクトルVとなる。
【0024】
上記視線ベクトル情報を、視線ベクトル情報送信装置201を用いて映像データの蓄積されている遠隔地へ送信する。
【0025】
次に、伝送映像データ生成装置204について説明する。伝送映像データ生成装置204は、図5に示すように、伝送映像パラメータ決定手段501および伝送映像データ作成手段502から構成される。
【0026】
伝送映像パラメータ決定手段501は、受け取った視線ベクトル情報から、各プロジェクタ102の表示領域毎に映像データの画像解像度、色分解能、時間分解能、および圧縮方法を決定する。伝送映像データ生成装置204は、解像度テーブル、評価関数、および解像度レベルの対応表を保持している。図6に、解像度テーブルの例を示す。この解像度テーブルは、画像解像度、色分解能、時間分解能、および圧縮方法の組み合わせを、それぞれ画像解像度、色分解能、時間分解能、および画像復元率の低い圧縮方法の順に並べたものである。評価関数は、視線ベクトル情報を入力として評価値を求める関数である。図7に解像度レベルの対応表の例を示す。この対応表は、評価関数の評価値に対する解像度レベルを表すものである。今後、各画像解像度、色分解能、時間分解能、および圧縮方法に対するレベルを解像度レベルと呼ぶことにする。解像度レベルが高いほど、画像解像度、色分解能、時間分解能、および伸長による画像復元率が高くなる。
【0027】
伝送映像パラメータ決定手段501は、まず、受け取った視線ベクトル情報から評価値を求める。ここでは、評価関数として、視点位置Vpから各プロジェクタ102が表示する表示領域の中心までの距離を用いる。次に、各プロジェクタ102毎に求めた評価値を、評価値に対する解像度レベルの対応表(図7)と照合し、対応する解像度レベルをそれぞれ求める。最後に、求めた解像度レベルをそれぞれ解像度テーブル(図6)と照合し、各プロジェクタ102の画像解像度、色分解能、時間分解能、および圧縮方法を求める。上記処理を全てのプロジェクタに対して行い、伝送映像パラメータとして保持する。
【0028】
各画像解像度、色分解能、時間分解能、および圧縮方法に対する解像度レベルのレベル付けは、プロジェクタの性能と、映像データの画像解像度、色分解能、および時間分解能により異なる。また、評価値に対する解像度レベルの割り当ては、視点の移動範囲により異なる。
【0029】
伝送映像データ作成手段502は、各プロジェクタ102の表示領域に該当する映像データを、伝送映像パラメータ決定手段501で決定された各プロジェクタが表示する表示領域の解像度レベルに従ってリサンプリングする。
【0030】
図8に、伝送映像データ作成手段502のフローチャートを示す。
【0031】
ステップ801で、時間方向リサンプリング処理を行う。この処理は、映像データが動画の場合に、先の伝送映像パラメータ決定処理501で決定したフレームレート(時間分解能)になるように間引き処理を行うものである。静止画の場合、この処理は行われない。
【0032】
ステップ802で、空間方向リサンプリング処理を行う。これは、先の伝送映像パラメータ決定処理501で決定した画像解像度で空間方向のリサンプリングを行う処理である。空間方向のリサンプリング手法として、Cubic Convolution 法、 Bi-Linear 法、 Nearest Neighbor 法がよく知られている(例えば、高木、下田:画像解析ハンドブック、東海大学出版会、1991)。ここではBi-Linear 法でリサンプリングするものとする。
【0033】
ステップ803で、色方向リサンプリング処理を行う。これは、先の伝送映像パラメータ決定処理501で決定した色数になるように減色処理を行い、画像の輝度値をリサンプリングする処理である。色数の減少により無くなった色は類似色で近似する。
【0034】
ステップ804で、映像データ圧縮処理を行う。これは、映像データを圧縮する処理である。ここでは、離散コサイン変換(DCT)における係数の処理を解像度レベルに応じて変える。離散コサイン変換に関する詳細については、例えば、越智宏、黒田英夫:図解で分かる画像圧縮技術、日本実業出版社、1999、pp.195-198.などに記載されている。
【0035】
図9に、DCT係数の処理の例を示す。簡単のため4×4の画像を用いている。901は原画像データであり、各格子内の数字は画素値(その画素の値)である。902は原画像データをDCTすることにより求めたDCT係数である。解像度レベルに応じて、このDCT係数を変更する。
【0036】
解像度レベルが高い場合は、原画像データをDCTしたDCT係数をそのまま用いる(図9(a))。このDCT係数を逆DCTすることにより原画像データを得ることができる。解像度レベルが中程度の場合は、原画像データをDCTしたDCT係数を概略数で近似する(図9(b))。この概略数で近似したDCT係数を逆DCTすることにより原画像データに近い画像データを得ることができる。解像度レベルが低い場合は、原画像データをDCTしたDCT係数の高周波成分をカットする(図9(c))。DCT係数は、右にいくほど、また下に行くほど高周波となる。解像度レベルが非常に低い場合は、原画像データをDCTしたDCT係数を概略数で近似し、さらに高周波成分をカットする(図9(d))。
【0037】
図8のステップ801〜804の処理により、得られる伝送映像データのデータ量は、本来の映像データのデータ量より減少する。例えば、空間方向リサンプリング処理により、図10に示すような縦2面、横6面の12台構成で、1024×768の画像解像度での表示領域が2面、800×600の画像解像度での表示領域が6面、640×480の画像解像度での表示領域が4面の場合(図10(b))、1024×768の画像解像度で12面を表示する場合(図10(a))に比べ、約40パーセントのデータ量を削減することができる。時間方向分解能リサンプリング処理によりフレームレートを減らしたり、色方向分解能リサンプリング処理により色数を減らしたり、伝送映像データを近似したDCT係数で表現することで、さらにデータ量を減らすことができる。
【0038】
次に、上記実施形態の変形例を説明する。上記実施形態の伝送映像データ生成装置204の伝送映像パラメータ決定手段501では、視点位置Vpから各プロジェクタ102が表示する表示領域の中心までの距離に応じて各プロジェクタ102の表示領域の画像解像度、色分解能、時間分解能、および圧縮方法を決定していた。以下に説明する変形例では、視線ベクトルの位置および視線方向に応じて各プロジェクタ102の画像解像度、色分解能、時間分解能、および圧縮方法を決定する。
【0039】
以下に、その方法を示す。まず、視線ベクトル情報から視線方向の画像解像度、色分解能、時間分解能、および圧縮方法を求め、次に視線ベクトルと視点位置から各プロジェクタの表示領域の中心を結んだベクトルとのなす角度から、各プロジェクタの表示領域毎に画像解像度、色分解能、時間分解能、および圧縮方法を決定する。
【0040】
視線方向の画像解像度、色分解能、時間分解能、および圧縮方法を決定するための評価式を次式に示す。
【0041】
【数1】
【0042】
ここで、dは視点からスクリーンまでの視線方向の距離、dmaxは視点からスクリーンまでの視線方向の最大距離(被験者が移動可能な範囲内で移動したときにとる最大距離である)、θはスクリーン面の法線ベクトルと視線ベクトルを水平面に射影したベクトルとのなす角度、φは視線ベクトルと視線ベクトルを水平面に射影したベクトルとのなす角度である。この評価式の値に応じて、視線方向の画像解像度、色分解能、時間分解能、および圧縮方法を決定する。各画像解像度、色分解能、時間分解能、および圧縮方法に対する解像度レベルのレベル付けの例は、図6に示した通りである。また、図11に、評価値に対する解像度レベルの割り当ての例を示す。各画像解像度、色分解能、時間分解能、および圧縮方法に対するレベル付けは、プロジェクタの性能と、映像データの画像解像度、色分解能、時間分解能により異なる。また、評価値に対する解像度レベルの割り当ては、視点の移動範囲により異なる。
【0043】
次に、視線方向の解像度レベルを基準にして、各プロジェクタ102の表示領域毎に映像データの解像度レベルを決定する。各プロジェクタ102の表示領域に対し、視点位置から各プロジェクタ102の表示領域の中心を結んだ方向ベクトルと、視線ベクトルとのなす角度ωをそれぞれ求める。
【0044】
人間は、視軸から遠ざかるに従い、文字から記号、色彩へと認識できるレベルが低下していく。そこで、図12に示すように、視軸からの角度に応じて高解像度範囲、中解像度範囲、低解像度範囲、および超低解像度範囲を設け、範囲毎に解像度レベルを変える。
【0045】
図13に、視野角と解像度レベルの対応例を示す。縦軸は解像度レベルを、横軸は視野角を表す。図に示した解像度レベルの最高レベルは、先に求めた視線方向の解像度レベルに一致する。先に求めた角度ωから、高解像度範囲内にプロジェクタの表示領域の中心がある領域は、視線方向の解像度レベルと同じ解像度レベルに設定する。次に、中解像度範囲内にプロジェクタの表示領域の中心がある領域は、視線方向の解像度レベルより一段階低い解像度レベル(中解像度)に設定する。低解像度範囲内にプロジェクタの表示領域の中心がある領域は、視線方向の解像度レベルより二段階低い解像度レベル(低解像度)に設定する。超低解像度範囲内にプロジェクタの表示領域の中心がある領域は、視線方向の解像度レベルより三段階低い解像度レベル(超低解像度)に設定する。
【0046】
高解像度範囲、中解像度範囲、または低解像度範囲の解像度レベルが1になった場合、その範囲より視軸から遠ざかる範囲内の解像度レベルはすべて1とする。
【0047】
図14および図15に、上記第1の実施形態による各プロジェクタ表示領域の解像度レベルの決定例を示す。この実施形態では、視点位置から各プロジェクタの表示領域中心までの距離に応じて、各プロジェクタの解像度レベルを決定する。左から3番目、上から2番目のプロジェクタの表示領域に着目すると、図14の被験者の位置において、上記表示領域には中解像度の映像データが表示されている。一方、被験者が移動して図15に示すように被験者の視点位置から上記プロジェクタの表示領域中心までの距離が図14に比べて短くなったとすると、それに伴い上記プロジェクタの表示領域には高解像度の映像データが表示される。ほかのプロジェクタの表示領域に対しても同様である。このとき、解像度レベルの設定を調整することにより、スクリーン全体の映像データのデータ量を視点位置にかかわらずほぼ一定にすることもできる。
【0048】
図16および図17に、上記変形例による各プロジェクタ表示領域の解像度レベルの決定例を示す。この変形例の場合、距離のほかに視線方向を考慮しているため、常に被験者の注目している部分の映像データの解像度レベルを高くすることができる。例えば、図16のように被験者の視線方向1601がスクリーン101の左から2番目、上から2番目の表示領域を向いている場合、その領域は高解像度レベルになっている。被験者が視線の向きを変更すると、図17に示すように、各プロジェクタ表示領域の解像度レベルもそれに合わせて変化する。
【0049】
伝送映像データは、伝送映像データ送信装置206からネットワーク209を経由して被験者側に送信される。被験者側に送信された伝送映像データは、伝送映像データ受信装置207で受信され、表示データ作成装置208に送られる。
【0050】
表示データ作成装置208は、図18のフローチャートに示すように、伝送映像データ伸長処理1801による伸長の処理と伝送映像データリサンプリング処理1802によるリサンプリングの処理を行う。
【0051】
まず伝送映像データ伸長処理1801では、映像データ圧縮処理で圧縮されている伝送映像データを伸長して、元の画像に復元または近い画像を生成する。ここでは、逆DCT処理を行う。次に、伝送映像データリサンプリング処理1802では、各プロジェクタの表示領域毎に異なる解像度レベルでリサンプリングされた伝送映像データを表示用の画像解像度でリサンプリングする。また、伝送映像データの画像解像度と表示用の画像解像度が同じ場合は、送信映像データをそのまま表示データとする。ここでは、解像度レベルの高い範囲ほど高度なリサンプリング手法を用いる。例えば、高解像度範囲内の伝送映像データはCubic Convolution 法、中解像度範囲内の伝送映像データはBi-Linear 法、低解像度範囲内および超低解像度範囲内の伝送映像データはNearest Neighbor 法でリサンプリングする。
【0052】
以上のようにして表示データ作成装置208で作成された表示データを、各プロジェクタに表示する。
【0053】
【発明の効果】
以上詳述したように、本発明によれば、別の場所に配置された高解像度の映像データを、被験者の視点位置および視線方向に応じて各プロジェクタの表示領域毎に映像データをリサンプリングして伝送することで、従来より伝送する映像データの情報量を削減することができる。バーチャルリアリティが提供する映像空間は一般に高視野角および高臨場感であることから、表示する映像データ量は膨大なものとなる。そのため、これらの映像データを例えば遠隔地に設置された映像サーバからそのまま受信することは現実的でない。しかし、本発明によれば、データ量(伝送容量)を削減することができるとともに、バーチャルリアリティを体験する被験者を一人に限定し、その人間の視野を考慮し、着目している部分は高解像度で、それ以外の部分は低解像度で映像を表示するので、被験者に対しては高臨場感で高品質の仮想現実空間を提供できる。
【図面の簡単な説明】
【図1】映像表示システムの概略図。
【図2】実施形態のシステムの構成図。
【図3】実施形態のシステム動作を示すブロック図。
【図4】視線ベクトル情報を示す図。
【図5】映像データ生成装置のデータフロー図。
【図6】各解像度に対するレベル付けの例を示す図。
【図7】距離に応じた解像度レベルの割り当て例を示す図。
【図8】伝送映像データ作成手段のフローチャートを示す図。
【図9】 DCT係数の処理例を示す図。
【図10】解像度レベルの違いによるデータ量の削減例を示す図。
【図11】視野角に対する各プロジェクタの表示領域の解像度レベルの割り当て例を示す図。
【図12】人間の視野角に応じた解像度範囲の例を示す図。
【図13】視野角に応じた解像度レベルの割り当て例を示す図。
【図14】実施形態の各プロジェクタの表示領域の解像度の割り当て例(その1)を示す図。
【図15】実施形態の各プロジェクタの表示領域の解像度の割り当て例(その2)を示す図。
【図16】変形例の各プロジェクタの表示領域の解像度の割り当て例(その1)を示す図。
【図17】変形例の各プロジェクタの表示領域の解像度の割り当て例(その2)を示す図。
【図18】表示データ作成装置のフローチャートを示す図。
【符号の説明】
101…スクリーン
102…プロジェクタ
201…視線ベクトル情報取得装置
202…視線ベクトル情報送信装置
203…視線ベクトル情報受信装置
204…伝送映像データ生成装置
205…映像データ
206…伝送映像データ送信装置
207…伝送映像データ受信装置
208…表示データ作成装置
209…ネットワーク
401…理想視点位置
402…視点位置
403…切断面
404…視線ベクトル
405…被験者
501…伝送映像パラメータ決定手段
502…伝送映像データ作成手段
801…時間方向リサンプリング処理
802…空間方向リサンプリング処理
803…色方向リサンプリング処理
804…伝送映像データ圧縮処理
901…原画像
902…DCT係数
1201…高解像度範囲
1202…中解像度範囲
1203…低解像度範囲
1204…超低解像度範囲
1401…プロジェクタの表示領域中心
1402…視点位置からプロジェクタの表示領域中心までの距離
1601…視線方向
1801…伝送映像データ伸張処理
1802…伝送映像データリサンプリング処理
Claims (8)
- 視線情報を取得する視線情報取得手段と、
前記視線情報取得手段によって取得された前記視線情報を送信する視線情報送信手段と、
前記視線情報送信手段によって送信された前記視線情報を受信する視線情報受信手段と、
前記視線情報受信手段によって受信された視線情報に基づいて、映像データを生成する伝送映像データ生成手段と、
前記伝送映像データ生成手段によって生成された映像データを送信する伝送映像データ送信手段と、
前記伝送映像データ送信手段によって送信された映像データを受信する伝送映像データ受信手段と、
前記伝送映像データ受信手段によって受信された映像データから、表示物体に表示する表示データを作成する表示データ作成手段と、
前記表示データ作成手段によって作成された表示データを前記表示物体に表示する複数の表示手段と
を備え、
前記視線情報は、被験者の移動に応じて変化する該被験者の位置を有する情報であり、
前記伝送映像データ生成手段は、前記視線情報に含まれる前記被験者の位置の情報に基づいて算出した前記被験者の位置から前記複数の表示手段の各々の表示領域までの距離が長いほど解像度が低くなるように、かつ、前記表示手段の表示領域単位で同一の解像度になるように映像データを生成する、映像表示システム。 - 前記伝送映像データ生成手段は、
前記視線情報を入力として、該視線情報に基づいて算出した前記複数の表示手段の各々の表示領域までの距離が長いほど評価値が低くなるように、前記複数の表示手段の表示領域の重要度を評価する評価手段と、
前記評価手段によって評価された評価値に対して、段階的に解像度のレベルを示した解像度レベル対応表と、
前記解像度レベル対応表の解像度レベルに対して、画像解像度、時間分解能、色分解能及び圧縮方法のうち少なくとも一つを示した解像度テーブルと
を備える、請求項1記載の映像表示システム。 - 前記伝送映像データ生成手段は、
前記被験者の位置から前記表示物体までの距離に対して、段階的に解像度のレベルを示した解像度レベル対応表と、
前記解像度レベル対応表の解像度レベルに対して、画像解像度、時間分解能、色分解能及び圧縮方法のうち少なくとも一つを示した解像度テーブルと
を備える、請求項1記載の映像表示システム。 - 前記伝送映像データ生成手段は、
前記解像度テーブルによって示された方法に従って、時間方向リサンプリング処理、空間方向リサンプリング処理、色方向リサンプリング処理及び圧縮のうち少なくとも一つを行う、請求項2又は3記載の映像表示システム。 - 前記表示データ作成手段は、
前記受信した映像データを伸長する伸長手段と、
前記伸長手段によって伸長された映像データを、表示用の画像解像度でリサンプリングする伝送映像データリサンプリング手段と
を備える、請求項4記載の映像表示システム。 - 視線情報を取得する視線情報取得手段と、
前記視線情報取得手段によって取得された前記視線情報を送信する視線情報送信手段と、
前記視線情報送信手段によって送信された前記視線情報を受信する視線情報受信手段と、
前記視線情報受信手段によって受信された視線情報に基づいて、映像データを生成する伝送映像データ生成手段と、
前記伝送映像データ生成手段によって生成された映像データを送信する伝送映像データ送信手段と、
前記伝送映像データ送信手段によって送信された映像データを受信する伝送映像データ受信手段と、
前記伝送映像データ受信手段によって受信された映像データから、表示物体に表示する表示データを作成する表示データ作成手段と、
前記表示データ作成手段によって作成された表示データを前記表示物体に表示する複数の表示手段と
を備え、
前記視線情報は、被験者の移動に応じて変化する該被験者の位置を有する情報であり、
前記伝送映像データ生成手段は、
前記視線情報を入力として、該視線情報に基づいて算出した前記複数の表示手段の各々の表示領域までの距離が長いほど評価値が低くなるように、前記複数の表示手段の表示領域の重要度を評価する評価手段と、
前記評価手段によって評価された評価値に対して、段階的に解像度のレベルを示した解像度レベル対応表と、
前記解像度レベル対応表の解像度レベルに対して、画像解像度、時間分解能、色分解能及び圧縮方法のうち少なくとも一つを示した解像度テーブルと
を備え、前記視線情報に含まれる前記被験者の位置の情報に基づいて算出した前記被験者の位置から前記複数の表示手段の各々の表示領域までの距離が長いほど解像度が低くなるように、かつ、前記表示手段の表示領域単位で同一の解像度になるように映像データを生成する、映像表示システム。 - 前記伝送映像データ生成手段は、
前記解像度テーブルによって示された方法に従って、時間方向リサンプリング処理、空間方向リサンプリング処理、色方向リサンプリング処理及び圧縮のうち少なくとも一つを行う、請求項6記載の映像表示システム。 - 前記表示データ作成手段は、
前記受信した映像データを伸長する伸長手段と、
前記伸長手段によって伸長された映像データを、表示用の画像解像度でリサンプリングする伝送映像データリサンプリング手段と
を備える、請求項7記載の映像表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001353785A JP4162398B2 (ja) | 2001-11-19 | 2001-11-19 | 映像表示システムおよびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001353785A JP4162398B2 (ja) | 2001-11-19 | 2001-11-19 | 映像表示システムおよびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003153263A JP2003153263A (ja) | 2003-05-23 |
JP4162398B2 true JP4162398B2 (ja) | 2008-10-08 |
Family
ID=19165739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001353785A Expired - Fee Related JP4162398B2 (ja) | 2001-11-19 | 2001-11-19 | 映像表示システムおよびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4162398B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9261958B2 (en) | 2009-07-29 | 2016-02-16 | Samsung Electronics Co., Ltd. | Apparatus and method for navigation in digital object using gaze information of user |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4899334B2 (ja) * | 2005-03-11 | 2012-03-21 | ブラザー工業株式会社 | 情報出力装置 |
JP2010177777A (ja) * | 2009-01-27 | 2010-08-12 | Oki Electric Ind Co Ltd | 画像通信システム、並びに、画像処理制御装置及び方法 |
US8640020B2 (en) * | 2010-06-02 | 2014-01-28 | Microsoft Corporation | Adjustable and progressive mobile device street view |
US20130096820A1 (en) * | 2011-10-14 | 2013-04-18 | Continental Automotive Systems, Inc. | Virtual display system for a vehicle |
JP2015222470A (ja) * | 2014-05-22 | 2015-12-10 | ソニー株式会社 | 映像表示装置、情報処理装置、及び映像表示システム |
JP2016149651A (ja) * | 2015-02-12 | 2016-08-18 | 株式会社デンソー | 表示制御装置及び表示システム |
EP3326048B1 (en) * | 2015-07-17 | 2022-03-23 | Magic Leap, Inc. | Virtual/augmented reality system having dynamic region resolution |
JP6597041B2 (ja) * | 2015-08-18 | 2019-10-30 | 富士ゼロックス株式会社 | サーバー装置及び情報処理システム |
EP3432590A4 (en) * | 2016-03-14 | 2019-02-27 | Sony Corporation | DISPLAY DEVICE AND TERMINAL INFORMATION PROCESSING DEVICE |
US10121337B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Gaze controlled bit rate |
US10521013B2 (en) * | 2018-03-01 | 2019-12-31 | Samsung Electronics Co., Ltd. | High-speed staggered binocular eye tracking systems |
JP6647433B1 (ja) | 2019-02-19 | 2020-02-14 | 株式会社メディア工房 | 点群データ通信システム、点群データ送信装置および点群データ送信方法 |
JP7326774B2 (ja) * | 2019-03-06 | 2023-08-16 | 株式会社リコー | 画像処理システム、撮像装置、情報処理装置、画像処理方法及びプログラム |
EP4325866A1 (en) | 2021-06-22 | 2024-02-21 | Qingdao Pico Technology Co., Ltd. | Method and system for vr image compression and transmission |
CN113542799A (zh) * | 2021-06-22 | 2021-10-22 | 青岛小鸟看看科技有限公司 | Vr图像的压缩传输方法、系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02100488A (ja) * | 1988-10-06 | 1990-04-12 | Fuji Xerox Co Ltd | 画像伝送装置 |
JPH04293375A (ja) * | 1991-03-22 | 1992-10-16 | A T R Shichiyoukaku Kiko Kenkyusho:Kk | 映像表示システム |
JPH07288806A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 動画像通信システム |
JP3263278B2 (ja) * | 1995-06-19 | 2002-03-04 | 株式会社東芝 | 画像圧縮通信装置 |
JPH09186991A (ja) * | 1995-12-28 | 1997-07-15 | Canon Inc | 画像伝送方法及びシステム並びに画像端末装置 |
JP2000078514A (ja) * | 1998-08-31 | 2000-03-14 | Mitsubishi Electric Corp | 画像高速表示装置及び画像高速表示方法 |
JP4126835B2 (ja) * | 1999-12-24 | 2008-07-30 | 株式会社日立製作所 | 画像合成装置 |
-
2001
- 2001-11-19 JP JP2001353785A patent/JP4162398B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9261958B2 (en) | 2009-07-29 | 2016-02-16 | Samsung Electronics Co., Ltd. | Apparatus and method for navigation in digital object using gaze information of user |
Also Published As
Publication number | Publication date |
---|---|
JP2003153263A (ja) | 2003-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4162398B2 (ja) | 映像表示システムおよびその方法 | |
JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
KR20170134513A (ko) | 오브젝트를 표시하는 방법 | |
TW201342306A (zh) | 影像處理裝置、影像處理方法、影像處理裝置用程式產品、記錄媒體、及影像顯示裝置 | |
US11960086B2 (en) | Image generation device, head-mounted display, and image generation method | |
JP6310898B2 (ja) | 画像処理装置、情報処理装置、および画像処理方法 | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
Dumic et al. | Subjective evaluation and objective measures for point clouds—State of the art | |
US20210368152A1 (en) | Information processing apparatus, information processing method, and program | |
US12026903B2 (en) | Processing of depth maps for images | |
US11893705B2 (en) | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method | |
JP2004510271A (ja) | スクリーンに表示される画像を提供する方法及び装置 | |
US11210853B2 (en) | Image generation apparatus and image generation method | |
JP2020173529A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Alexiou et al. | Towards modelling of visual saliency in point clouds for immersive applications | |
WO2020184174A1 (ja) | 画像処理装置および画像処理方法 | |
WO2021182153A1 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
JP2001103517A (ja) | 画像表示装置および画像表示方法 | |
WO2020121406A1 (ja) | 3次元計測装置、移動ロボット、手押し車型移動装置および3次元計測処理方法 | |
US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
US6633291B1 (en) | Method and apparatus for displaying an image | |
WO2019193698A1 (ja) | 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法 | |
JP2003256804A (ja) | 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071017 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080722 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |