JP4455609B2

JP4455609B2 - 画像表示装置および画像表示方法

Info

Publication number: JP4455609B2
Application number: JP2007082015A
Authority: JP
Inventors: あいら堀田; 隆佐々木; 治彦奥村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2010-04-21
Anticipated expiration: 2027-03-27
Also published as: JP2008242048A; US20080240509A1; US8155388B2

Description

本発明は，画像表示装置および画像表示方法に関する。

場所によって異なる拡大率で，画像を処理する技術が提案されている（非特許文献１参照）。この技術では，画像の中心領域では拡大率を小さく，画像の周辺領域では拡大率を大きくする。この結果，情報量を増大することなく，視野角を大きくして，臨場感溢れる画像の表示が可能となる。
T. Sasaki, A. Hotta and H. Okumura, "Development of Hyper-realistic Peripheral-visual-field Image Processing Using Distortion Perception Limit of Peripheral Vision", IDW'06, pp1901-1904 (2006)

ここで，発明者らの研究により，画像の全体的動きによって，観察者の臨場感が異なることが判った。例えば，画像の撮影時の撮影装置のズーム操作，パン操作によって，画像が全体的に拡大したり，左右に移動したりする。このような画像の全体的動きが観察者の臨場感に影響を与える。
上記に鑑み，本発明は，画像の全体的動きに対応して処理された画像を表示する画像表示装置および画像表示方法を提供することを目的とする。

本発明の一態様に係る画像表示装置は，表示領域上での位置と画像の拡大率の関係を表わす複数の拡大率特性それぞれに対応する複数の変換テーブルを記憶する記憶部と，画像の全体的動きを判定する判定部と，前記判定の結果に基づいて，前記複数の変換テーブルの何れかを選択する選択部と，前記選択される変換テーブルに基づいて，前記画像を変換する変換部と，を具備することを特徴とする。

本発明の一態様に係る画像表示方法は，画像の全体的動きを判定するステップと，前記判定の結果に基づいて，表示領域上での位置と画像の拡大率の関係を表わす複数の拡大率特性それぞれに対応する複数の変換テーブルの何れかを選択するステップと，前記選択される変換テーブルに基づいて，前記画像を変換するステップと，を具備することを特徴とする。

本発明によれば，画像の全体的動きに対応して処理された画像を表示する画像表示装置および画像表示方法を提供できる。

以下，図面を参照して，本発明の実施の形態を詳細に説明する。
（第１の実施の形態）
図１は，本発明の第１実施形態に係る画像表示装置１００を表すブロック図である。
画像表示装置１００は，画像蓄積部１１，広角変換処理部１２，画像メモリ１３，１４，表示部１５，切り替えスイッチ１６ａ，１６ｂ，切替制御部１７，基礎情報記憶部１８，広角変換テーブル作成部１９，画像運動判定部２１を備える。

画像蓄積部１１は，例えば，ハードディスク，半導体メモリ等の記憶装置であり，画像（例えば，動画）情報を蓄積，出力する。

広角変換処理部１２は，広角変換テーブルＴ１〜Ｔ４を保持し，これらの広角変換テーブルＴ１〜Ｔ４を切り替えて，画像蓄積部１１から出力される画像に広角変換を施す。

広角変換処理部１２は，表示領域上での位置と画像の拡大率の関係を表わす複数の拡大率特性それぞれに対応する複数の変換テーブルを記憶する記憶部として機能する。広角変換処理部１２は，画像の全体的動きの判定結果に基づいて，複数の変換テーブルの何れかを選択する選択部として機能する。広角変換処理部１２は，選択される変換テーブルに基づいて，画像を変換する変換部として機能する。

広角変換テーブルＴ１〜Ｔ４には，後述の式（９）のように，変換前の画素の座標Ｐ０（ｘ０，ｙ０）と，変換後の座標Ｐ１（ｘ１，ｙ１）とが対応して表される。
広角変換テーブルＴ１〜Ｔ４はそれぞれ，後述の拡大率特性曲線Ｄ１〜Ｄ４に対応する。画像運動判定部２１での判定結果に基づき，広角変換テーブルＴ１〜Ｔ４が切り替えられ，画像メモリ１３，１４の記憶内容が書き替えられることで，広角変換がなされる。

広角変換処理部１２は，式（９）に基づき，画像メモリ１３，１４上で画像を構成する画素の位置を変更することで，画像を広角変換する。広角変換処理部１２は，画像メモリ１３，１４からデータを読み出し，書き込む。読み出し時のアドレスと，書き込み時のアドレスを制御することで，広角変換が実行される。画像メモリ１３，１４上でのアドレスは，画素の位置に対応するからである。このように，広角変換は，一種のアドレス変換であり，比較的高速（例えば，リアルタイム）に実行できる。

変換前後の画素の対応関係は必ずしも１対１とは限らない。
画像が拡大される場合には，変換前の単一画素を変換後の複数画素に対応させることが可能となる。画像を拡大するときに，変換前後の画素が１対１だと，変換後の画素間に変換前の画素と対応しない画素が存在することになる。即ち，表示領域Ａｄ上に変換後の画素が点状に配置され（見かけ上，画素の欠落が生じ），観察上好ましくない。

画像が縮小される場合には，変換前の複数画素が変換後の単一画素に対応する可能性がある。表示領域Ａｄの解像度の関係で，画像の縮小に伴い，画素数が減少することが考えられる。但し，変換後の画素数が減少することは画像の解像度が低下することになり好ましくない。後述のように，表示領域Ａｄ上で表示可能な画素の密度（精細度）を充分大きくすることで，解像度の低下を防止できる。

画像メモリ１３，１４は，画像を記憶するための記憶装置，例えば，半導体メモリであり，変換される画像データを記憶する複数の記憶部として機能する。画像メモリ１３，１４に記憶される画像が表示部１５で表示されることから，画像メモリ１３，１４の記憶内容を広角変換処理部１２が書き替えることで，画像の広角変換がなされる。画像メモリ１３，１４は，切り替えスイッチ１６ａ，１６ｂで切り替えられ広角変換用，表示用として交互に用いられる。このため，画像メモリ１３，１４には，現在の画像と１フレーム前の画像が交互に入力される。

表示部１５は，画像を表示する表示装置である。表示部１５には，直視型の表示装置（例えば，ＣＲＴ，液晶表示装置，プラズマディスプレイ），投影型の表示装置（例えば，プロジェクタ）の何れでも利用できる。表示部１５は，画像メモリ１３，１４に記憶された広角変換画像を表示する表示領域Ａｄを有する。なお，投影型の表示装置の場合，表示領域Ａｄはいわゆるスクリーンである。

図２は，表示部１５の表示領域Ａｄと観察者の視点Ｐｅとの関係を表す模式図である。
表示領域Ａｄは，縦横のサイズがそれぞれＹＹ，ＸＸ（＝２＊Ｌ０）の比較的大面積で略矩形状の平面領域であり，視線中心Ｃｅ（Ｃｘ，Ｃｙ）が配置される。
観察者の視点Ｐｅは，観察者の両目の中間に位置し，観察者の視野の基準となる点であり，表示領域Ａｄから距離Ｄ，高さＨの位置に配置される。

このとき，表示領域Ａｄに対する観察者の視野角θtotは次の式（１）で表される。
θtot＝２＊ｔａｎ^−１（Ｌ０／Ｄ）
＝２＊ｔａｎ^−１（ＸＸ／（２＊Ｄ）） ……式（１）
ここでは，表示領域Ａｄの左右方向での視野角が表示領域Ａｄの上下方向での視野角より大きいとして，表示領域Ａｄの横方向での大きさＸＸから視野角θtotを算出している。

表示領域Ａｄの上下方向での視野角が表示領域Ａｄの左右方向での視野角より大きい場合，表示領域Ａｄに対する観察者の視野角θtotは次の式（２）で表される。
θtot＝２＊ｔａｎ^−１（ＹＹ／（２＊Ｄ）） ……式（２）

視線中心Ｃｅは，表示領域Ａｄ上での観察者の視線の位置（視野の中心）である。視線中心Ｃｅは，表示領域Ａｄと観察者の位置関係によって定まり，観察者の視点Ｐｅの正面に配置される。この例では，視線中心Ｃｅを表示領域Ａｄの左右の中心に配置している。表示領域Ａｄの左下隅を原点Ｏ（０，０）とすると，次の式（３）の関係が成立する。
Ｃｘ＝Ｌ０＝ＸＸ／２
Ｃｙ＝Ｈ ……式（３）

ここで，画像の拡大率Ｄは表示領域Ａｄ上での位置によって異なる。具体的には，視線中心Ｃｅからの距離Ｌ，あるいは角度θにより，画像の拡大率Ｄが変化する。表示領域Ａｄ上での拡大率Ｄの相違は，広角変換処理部１２での広角変換の結果である。
図３は，広角変換処理部１２での広角変換処理前後の画像Ｇ０，Ｇ１を対応して表す模式図である。
画像の中央部分（視線中心Ｃｅ近傍）の領域Ａ００，Ａ０１では拡大率が低い（例えば，拡大率が１以下）。一方，画像の周辺部分Ａ１０，Ａ１１では拡大率が高い（例えば，拡大率が１より大きい）。即ち，中央部分では画像の解像度が高く，周辺部では画像が引き伸ばされている。

このように，画像の拡大率が場所によって異なるのは，次の理由に基づく。
人間の視覚の解像度（歪の検知限）は，中心視野では高いが，周辺視野では低い。これを利用することで，簡単な画像処理で，臨場感を高めることができる。即ち，人間の視覚上重要な箇所（視野の中央部）に表示する情報を集中させる（情報の密度，即ち，解像度を高くする）ことで，高い臨場感と効率的な情報の利用とを両立できる。

以上のように画像の中央部分は縮小して表示される。このことが，表示領域Ａｄの中央部分での解像度の劣化の原因となり得る。即ち，表示領域Ａｄでの精細度の限界により，縮小された画像が鮮明に表示されない畏れがある。
ここで，表示部１５の表示領域Ａｄの中央部分での精細度の精細度を高くすることで，中央部分での解像度を良好とすることができる。

但し，表示部１５の表示領域Ａｄのハードウェア上の解像度そのものは，中央部分と周辺部分とで同一で差し支えない。例えば，画像蓄積部１１から出力される画像がＮＴＳＣ画像であり，表示部１５の表示領域Ａｄの解像度がＨＤＴＶ対応の場合，表示画像自体の解像度よりも表示領域Ａｄでの解像度が水平，垂直ともに約２倍高い。このため，中央部分を１／２に縮小しても（画素の密度を２倍にしても），表示領域Ａｄに２倍の密度の画素を表示可能である。

このように，表示画面の解像度より表示領域Ａｄの解像度が高ければ，表示領域Ａｄの中央部分を縮小すると共に，解像度を高めることができる。この場合，表示領域Ａｄが，視線中心Ｃｅを囲み第１の解像度の第１の領域と，第１の領域を囲み，この第１の解像度より低い第２の解像度の第２の領域に区分できる。

切り替えスイッチ１６ａ，１６ｂは，画像メモリ１３，１４を広角変換用，表示用として切り替えるためのものである。切り替えスイッチ１６ａは，画像メモリ１３，１４の何れを広角変換処理に用いるかを選択するスイッチである。切り替えスイッチ１６ａによって広角変換処理部１２に接続された画像メモリ１３，１４が広角変換処理の対象となる。切り替えスイッチ１６ｂによって表示部１５に接続された画像メモリ１３，１４が画像表示の対象となる。切り替えスイッチ１６ａ，１６ｂが動作することで，広角変換用および表示用の画像メモリ１３，１４が切り替えられる。

切替制御部１７は，表示（フレーム）切替のタイミングを制御する。切替制御部１７は，所定の周期（フレームタイミング）で切り替えスイッチ１６ａ，１６ｂを制御する。なお，この切替の間に，画像メモリ１３，１４それぞれでの広角変換処理が実行される。

基礎情報記憶部１８は，表示領域Ａｄの大きさ（ＹＹ，ＸＸ），表示領域Ａｄに対する観察者の位置（距離Ｄ，高さＨ）等の広角変換処理の基礎となる情報を記憶する。
広角変換テーブル作成部１９は，後述の拡大率特性曲線Ｄ１〜Ｄ４に基づき，広角変換処理部１２での広角変換処理に用いられる広角変換テーブルＴ１〜Ｔ４を作成する。なお，この詳細は後述する。

画像運動判定部２１は，画像の動きベクトルを用いて，画像の全体的動きを判定するものであり，画像の全体的動きを判定する判定部として機能する。なお，この判定の詳細は後述する。

画像の全体的動きは，画像の縮小・拡大と画像の移動に区分できる。
画像の拡大，縮小は，撮影対象を撮影装置（カメラ）で光学的に拡大，縮小するズーム（ズームイン，ズームアウト）操作，撮影対象の前後に撮影装置を移動させるドリー操作によって生じる。これらの操作を広義のズーム操作と称することとする。

画像の移動は，カメラの角度を左右に変化させるパン操作，カメラの角度を上下に変化させるチルト操作，カメラを左右に移動させるトラック操作，カメラを上下に移動させるブーム操作，およびこれらの組み合わせによって，生じうる。これらの操作を広義のパン操作と称することとする。

尚，画像の全体的動きは，撮影装置での操作（カメラワーク）によってのみ生じる訳ではなく，撮影後での画像処理等によっても生じうる。

（画像表示装置１００の動作）
画像表示装置１００の動作を説明する。
図４は，画像表示装置１００の動作手順の一例を表すフロー図である。本図のステップＳ１１〜Ｓ１４，Ｓ１５〜Ｓ１６，およびＳ１７はそれぞれ，画像運動判定部２１，広角変換処理部１２，切替制御部１７によって実行される。

（１）動きベクトルの抽出（ステップＳ１１）
画像運動判定部２１が，画像蓄積部１１から出力される画像信号から，動きベクトルを抽出する。
動きベクトルとは，画像が動画の場合に，基準となるフレーム(動画のある瞬間に相当する画像)からの動きを表すベクトルである。
フレームを比較することで，動きベクトルが抽出される。具体的には、フレームをブロックに区分し、前のフレームとの差分が最も小さくなるブロック間の相対的位置が動きベクトルとなる。
また，多くの画像信号（例えば，ＭＰＥＧ２）は，画像圧縮の関係で，動きベクトルの情報を含むことから，動きベクトルを容易に抽出できる。

（２）画像の全体的動きの検出（ステップＳ１２）
画像運動判定部２１が，画像の全体的動きを検出する。画像の動きには，撮影装置での操作（カメラワーク）等に起因する画像の全体的な動きと，画像中の対象物の移動等に起因する画像の部分的な動きの２通りがある。この両者は，フレーム内での動きベクトルのスカラー量が０以外（閾値以上）となっている割合に基づいて区分できる。画像の全体的な動きがあれば動きベクトルのスカラー量が０以外となっている割合が多くなる。このため，動きベクトルが所定の閾値以上となっている動きベクトルの割合を算出し，この割合が基準値より大きければ，画像の全体的な動きがあると判断できる。

（３）画像の全体的動きの区分（ステップＳ１３，Ｓ１４）
ステップＳ１３で画像の全体的な動きの有無が判断され，この判断結果がＹｅｓであれば，画像の全体的動きを区分する。例えば，フレーム内での動きベクトルの平均値を算出する。この平均値が基準値より小さければ画像が全体的に縮小あるいは拡大していると判断する。一方，平均値が基準値以上であれば，画像が全体的に移動していると判断する。

画像が全体的に拡大，縮小している場合，動きベクトルの向きが比較的均一に分布することから，この平均値は０に近くなる。一方，画像が全体的に移動している場合，動きベクトルの向きが揃っていることから，この平均値は移動速度に対応する値となる。

（４）広角変換テーブルの選択（ステップＳ１５）
画像の全体的動きの区分に基づいて，広角変換テーブルＴ１〜Ｔ４が選択される。具体的には次のように広角変換テーブルが選択される。
１）画像の全体的動きが無い場合
広角変換テーブルＴ１が選択される。広角変換テーブルＴ１は，拡大率特性曲線Ｄ１〜Ｄ４中で，拡大率Ｄの相対距離Ｌｒ依存性が最も小さい拡大率特性曲線Ｄ１に対応する。この拡大率特性曲線Ｄ１は，通常の状態で観察者が気にならない拡大率の限界である許容倍率Ｅに相当する。

２）画像が全体的に拡大，縮小している場合
広角変換テーブルＴ２〜Ｔ４の何れかが選択される。広角変換テーブルＴ２〜Ｔ４は，拡大率Ｄの相対距離Ｌｒ依存性が比較的大きい拡大率特性曲線Ｄ２〜Ｄ４に対応する。なお，画像の拡大，縮小の速さに対応して，拡大率Ｄの相対距離Ｌｒ依存性がより大きい拡大率特性曲線の広角変換テーブルを選択することが考えられる。

３）画像が全体的に移動している場合
この場合，観察者の視野角θtotが基準値（例えば，７０°）より大きいか否かに応じて広角変換テーブルＴ１，Ｔ２が選択される。視野角θtotが基準値より小さい場合，広角変換テーブルＴ１が選択される。一方，視野角θtotが基準値以上の場合，広角変換テーブルＴ２が選択される。

（５）広角変換処理（ステップＳ１６）
選択された広角変換テーブルＴに基づき，広角変換処理がなされる。
画像蓄積部１１から出力される画像データが広角変換処理部１２，画像メモリ１３，１４に入力される。画像メモリ１３，１４の一方に最新の画像データが記憶され，他方に１フレーム前の画像データが記憶される。広角変換処理部１２は画像メモリ１３，１４の一方に記憶された最新の画像データを広角変換する。なお，画像メモリ１３，１４の他方に記憶された１フレーム前の画像データは広角変換済みであり，表示部１５で表示される。

（６）表示の切り替え（ステップＳ１７）
切替制御部１７が切り替えスイッチ１６ａ，１６ｂを制御することで，画像メモリ１３，１４での広角変換，表示が切り替えられる。この切り替えは，画像蓄積部１１からの新たな画像の出力と対応する。即ち，画像のフレームの更新と広角変換／表示の切り替えが連動することで，画像の連続的な広角変換および表示がなされる。

（広角変換処理の詳細）
以下，広角変換処理の詳細を説明する。
図５は，広角変換処理テーブルの作成手順の一例を表すフロー図である。
（１）変換前の相対的表示位置（相対距離）と拡大率の関係の決定（ステップＳ２１）
図６は，表示領域Ａｄ上での位置（ここでは，視線中心Ｃｅからの相対距離Ｌｒ）と拡大率Ｄ１〜Ｄ４の関係（拡大率特性曲線Ｄ１（Ｌｒ）〜Ｄ４（Ｌｒ））を表すグラフである。また，図７〜図１０は，これら拡大率特性曲線Ｄ１（Ｌｒ）〜Ｄ４（Ｌｒ）それぞれに対応する広角変換テーブルＴ１〜Ｔ４での広角変換の結果を表す模式図である。具体的には，図７〜図１０は，拡大率特性曲線Ｄ１〜Ｄ４それぞれによって，格子パターンを画像処理した結果を表す。

次の式（４）に示すように，この相対距離Ｌｒは，表示領域Ａｄの左右の１／２（Ｌ０）を基準に，視線中心Ｃｅからの距離Ｌが規格化されたものである。
Ｌｒ＝Ｌ／Ｌ０ ……式（４）
即ち，相対距離Ｌｒ＝０，１それぞれが視線中心Ｃｅ，表示領域Ａｄの境界（端）に対応する。

図６のグラフ（拡大率特性曲線Ｄ１（Ｌｒ）〜Ｄ４（Ｌｒ））は，例えば，次の式（５）で表される。
Ｄ１（Ｌｒ）＝０．８Ｌｒ^２ −０．３Ｌｒ＋１
Ｄ２（Ｌｒ）＝２０．８Ｌｒ^４−３０．８Ｌｒ^３＋１６．０Ｌｒ^２−２．２Ｌｒ
＋１．０
Ｄ３（Ｌｒ）＝３９．０Ｌｒ^５−５７．３Ｌｒ^４＋２３．４Ｌｒ^３＋２．３Ｌｒ^２
−１．０Ｌｒ＋１．０
Ｄ４（Ｌｒ）＝１０．４Ｌｒ^４−２．１Ｌｒ^３＋２．１Ｌｒ^２＋０．６Ｌｒ＋１．０
……式（５）

相対距離Ｌｒの増大に伴って，拡大率Ｄｉ（Ｌｒ）が徐々に増大する（添え字ｉ：整数，ｉ＝１〜４）。また，添え字ｉが増大すると，相対距離Ｌｒに対する拡大率Ｄｉの依存性が大きくなる。この結果，例えば，拡大率特性曲線Ｄ１，Ｄ２はそれぞれ，所定の相対距離に対する第１の拡大率を有する第１の拡大率特性，前記所定の相対距離に対する，前記第１の拡大率より大きい第２の拡大率を有する第２の拡大率特性として位置付けられる。

拡大率特性曲線Ｄ１（Ｌｒ）はＬｒ＝０〜１の全領域で拡大率Ｄが１．５より小さい。一方，拡大率特性曲線Ｄ２（Ｌｒ）では，相対距離Ｌｒが０．６程度の点で，拡大率Ｄが１．５より小さい範囲，大きい範囲が区分される。

ここで，画像の全体的動きによって，周辺拡大率（拡大率特性曲線Ｄ（Ｌｒ））が観察者の臨場感に与える影響が異なることが，発明者らの研究により判明した。即ち，画像の全体的動きに応じて，拡大率特性曲線Ｄ（Ｌｒ）を切り替えることで，観察者の臨場感をより向上することが可能である。

図１１は，拡大率特性曲線Ｄ１〜Ｄ４および視野角θtotと，臨場感の評価値との関係を表すグラフである。
ここでは，画像が全体的に拡大される場合（画像が前方向に動く前進運動画像）と，全体的に横に移動する場合（横方向に画像が回転するパン画像）それぞれについて被験者が評価した結果を表している。これら前進運動画像と，パン画像において，画像の拡大率を変えた画像を被験者に提示して，臨場感の変化を評価した。グラフＣ１〜Ｃ４がそれぞれ，前進運動画像での拡大率特性曲線Ｄ１〜Ｄ４に対応する。グラフＳ１〜Ｓ３がそれぞれ，パン画像での拡大率特性曲線Ｄ１〜Ｄ３に対応する。

図１１に示すように，前進運動画像では，拡大率特性曲線Ｄ１〜Ｄ４の順に臨場感が向上し（グラフＣ１〜Ｃ４），視野角θtotが３０°でも拡大率Ｄの大きな拡大率特性曲線Ｄで処理された画像の臨場感が高くなっている。一方，パン画像では視野角θtotが基準値（７０°程度）において臨場感が大きな拡大率特性曲線が入れ替わる（グラフＳ１〜Ｓ３）。視野角θtotが基準値より小さければ，拡大率特性曲線Ｄ１で臨場感が大きい。視野角θtotが基準値より大きければ，拡大率特性曲線Ｄ２で臨場感が大きい。

この結果から，臨場感の高い画像を提供するには，次のように拡大率特性曲線Ｄ１〜Ｄ４，ひいては広角変換テーブルＴ１〜Ｔ４を切り替えることが好ましいことが判る。
前進運動では，視野角θtotが小さい場合でも，拡大率特性曲線Ｄ２〜Ｄ４を用いて画像を処理する。パン画像では，視野角θtotが基準値より小さければ拡大率特性曲線Ｄ１で，視野角θtotが基準値より大きければ拡大率特性曲線Ｄ２〜Ｄ４を用いる。

以上の結果は，画像の拡大，および横への移動に対応する。次の理由から，この結果は他の場合に適用することができる。画像が全体的に縮小する場合（画像が後方向に動く後退運動画像）でも，画像が拡大する場合と同様に，画像の周辺領域の動きの大きさに応じて，臨場感が高くなると考えられる。また，画像が上下方向，斜め方向に動く場合も画像の左右方向での動きと同様に考えることができる。

（２）変換前後での距離関係の算出（ステップＳ２２）
拡大率が場所によって異なるので，広角変換後での視線中心Ｃｅからの距離Ｌactは，相対距離ＬｒでＥ（Ｌｒ）を積分することで算出される。
Ｌact（Ｌｒ）＝∫_Ｌｒ＝０ ^Ｌｒ＝１［Ｄｉ（Ｌｒ）］ｄＬｒ
……式（６）
この式（６）は，変換前後での画像の相対距離Ｌｒ間の関係を表す。

（３）基礎情報（広角変換基礎情報）の入手（ステップＳ２３）
広角変換処理基礎情報を入手する。広角変換処理基礎情報を以下に示す。
・表示領域Ａｄと観察者との距離Ｄ
距離Ｄの情報は，キーボード等の入力装置により入力することができる。また，距離Ｄを検知器により検知しても良い。超音波や赤外線を出射してから，観察者に反射されて戻る時間に基づいて，距離Ｄを検出することができる。
この結果，式（１）〜式（３）により，視線中心Ｃｅ（ｃｘ，Ｃｙ）および視野角θtotが算出される。

（４）変換前後の画素の対応関係の算出（ステップＳ２４）
変換前後の画素の対応関係を算出する。即ち，水平，垂直方向での広角変換テーブルを生成する。
変換前の画素の座標Ｐ０（Ｘ０，Ｙ０）と変換後の画素の座標Ｐ１（Ｘ１，Ｙ１）の関係は以下の式（７）で表される。
Ｐ１−Ｃｅ
＝Ｌ０＊Ｌact（｜Ｐ０−Ｃｅ｜／Ｌ０）＊（Ｐ０−Ｃｅ）／｜Ｐ０−Ｃｅ｜
｜Ｐ０−Ｃｅ｜
＝（（Ｘ０−Ｃｘ）^２＋（Ｙ０−Ｃｙ）^２）^１／２ ……式（７）

この式（７）をＸ座標，Ｙ座標それぞれで分解すると次の式（８）になる。
Ｘ１−Ｃｘ
＝Ｌ０＊Ｌact（｜Ｐ０−Ｃｅ｜／Ｌ０）＊（Ｘ０−Ｃｘ）／｜Ｐ０−Ｃｅ｜
Ｙ１−Ｃｙ
＝Ｌ０＊Ｌact（｜Ｐ０−Ｃｅ｜／Ｌ０）＊（Ｙ０−Ｃｙ）／｜Ｐ０−Ｃｅ｜
……式（８）

この式（８）は，次のように式（９）で表現できる（ｉ＝１〜４）。
Ｘ１＝Ｆｘｉ（Ｘ０，Ｙ０）
Ｙ１＝Ｆｙｉ（Ｘ０，Ｙ０） ……式（９）

この式（９）が広角変換処理テーブルＴ１〜Ｔ４の実体的内容を表す。この広角変換テーブルＴ１〜Ｔ４を切り替えて，画素の座標Ｐ０（Ｘ０，Ｙ０）を変換することで，変換後の画素の座標Ｐ１（Ｘ１，Ｙ１）が求められる。広角変換処理テーブルは，式そのもの，式の構成要素間の対応関係を表す表の何れでも良い。

（第２の実施の形態）
図１２は，本発明の第２実施形態に係る画像表示装置２００を表すブロック図である。
画像蓄積部２１１は，例えば，ハードディスク，半導体メモリ等の記憶装置であり，画像（例えば，動画）情報を蓄積，出力する。画像蓄積部２１１に蓄積される画像情報に，撮影情報が含まれる。この撮影情報は，ズーム操作，パン操作等，画像を撮影する撮影装置での操作を表す。
画像運動判定部２２１は，この撮影情報を用いて，画像の全体的動きを判定する。
その他の点では，画像表示装置２００は画像表示装置１００と本質的に変わるものではないので，詳細な説明を省略する。

（第３の実施の形態）
図１３は，本発明の第２実施形態に係る画像表示装置３００を表すブロック図である。
画像表示装置３００は，表示装置本体３１０，プロジェクタ３２０，湾曲スクリーン３３０，保持部３４０で構成される。

表示装置本体３１０は，第１の実施形態での画像蓄積部１１，広角変換処理部１２，画像メモリ１３，１４，切り替えスイッチ１６ａ，１６ｂ，切替制御部１７，基礎情報記憶部１８，広角変換テーブル作成部１９，画像運動判定部２１と同様の構成要素を含む。即ち，画像表示装置３００は，第１の実施形態での画像表示装置１００の表示部１５に替えて，プロジェクタ３２０，湾曲スクリーン３３０，保持部３４０を採用したものと考えることができる。

プロジェクタ３２０は，光源３２１，コリメータレンズ３２２，表示素子３２３，および投影レンズ３２４を有し，湾曲スクリーン３３０に画像を投影する。
光源３２１は，表示素子３２３上の画像を湾曲スクリーン３３０上に投影する投影光を生成する。
コリメータレンズ３２２は，光源３２１から出射する光を平行光に変換する。
表示素子３２３は，湾曲スクリーン３３０上に投影する画像を生成する素子，例えば，液晶表示素子である。表示素子３２３は，画像を表示する画像表示部として機能する。
投影レンズ３２４は，表示素子３２３上の画像を湾曲スクリーン３３０上に投影するための光学素子である。投影レンズ３２４は，表示された画像を投影する画像投影部として機能する。投影レンズ３２４として，投影距離が短距離でも広角に投影できるレンズ（例えば，魚眼レンズ）を利用できる。

湾曲スクリーン３３０は，プロジェクタ３２０から投影された画像を広い視野角で投影するためのものである。湾曲スクリーン３３０の表面は正反射方向に散乱光ピークを有する反射特性を持つ散乱面で構成されている。湾曲スクリーン３３０上に表示領域Ａｄが配置される。

保持部３４０は，ヘッドギア３４１，接続部３４２を有する。ヘッドギア３４１は，頭部に装着する固定用の部材である。接続部３４２は，ヘッドギア３４１とプロジェクタ３２０とを接続する部材である。図示を省略しているが，湾曲スクリーン３３０も接続部３４２によってヘッドギア３４１に接続されている。即ち，保持部３４０は，スクリーンおよび画像投影部を利用者に固定する固定部として機能する。

プロジェクタ３２０から投影光が投影され，湾曲スクリーン３３０上に画像を形成する。この画像を利用者が視点Ｐｅで目視する。

湾曲スクリーン３３０は，点Ａ，Ｂ，視線中心Ｃｅを通る曲面形状を有する。
点Ａ，Ｂはそれぞれ，湾曲スクリーン３３０の上端（最上点），下端（最下点）である。

画像表示装置３００では，プロジェクタ３２０を観察者の頭部に搭載し，視距離（視点Ｐｅと視線中心Ｃｅの距離）は明視距離（例えば，２５ｃｍ）に近い。湾曲スクリーン３３０が観察者に固定されるため，視距離が固定であり，視距離を入力，検出する必要がない。

（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張，変更可能であり，拡張，変更した実施形態も本発明の技術的範囲に含まれる。
例えば，広角変換テーブルＴの個数は，４つに限られない，２つ，３つ，あるいは５つ以上とすることができる。

また，広角変換テーブルを段階的に切り替えても良い。例えば，広角変換テーブルＴ１が選択されていた状態から，広角変換テーブルＴ３が選択された状態に移行するとき，広角変換テーブルＴ２を経て，広角変換テーブルＴ３が選択される。このようにすることで，画像の拡大率の急激な変動を防止し，より自然な画像の提供が可能となる。

この場合，現在選択されている広角変換テーブルを記憶しておき，新たに選択すべき広角変換テーブルと比較する。この比較の結果，新旧の広角変換テーブルが隣接する特性を有すれば，新たに選択すべき広角変換テーブルがそのまま選択される。一方，新旧の広角変換テーブル間の特性の広角変換テーブルが存在すれば，その中間的な特性の広角変換テーブルが選択される。

第１実施形態に係る画像表示装置を表すブロック図である。表示部の表示領域と観察者の視点との関係を表す模式図である。広角変換処理部での広角変換処理前後の画像を対応して表す模式図である。画像表示装置の動作手順の一例を表すフロー図である。広角変換処理テーブルの作成手順の一例を表すフロー図である。視線中心Ｃｅからの相対距離Ｌｒと拡大率Ｄ１〜Ｄ４の関係を表すグラフである。拡大率特性曲線Ｄ１に対応する広角変換テーブルＴ１での広角変換の結果を表す模式図である。拡大率特性曲線Ｄ２に対応する広角変換テーブルＴ２での広角変換の結果を表す模式図である。拡大率特性曲線Ｄ３に対応する広角変換テーブルＴ３での広角変換の結果を表す模式図である。拡大率特性曲線Ｄ４に対応する広角変換テーブルＴ４での広角変換の結果を表す模式図である。拡大率特性曲線Ｄ１〜Ｄ４および視野角θtotと，臨場感の評価値との関係を表すグラフである。第２実施形態に係る画像表示装置を表すブロック図である。第３実施形態に係る画像表示装置を表すブロック図である。

符号の説明

１００…画像表示装置，１１…画像蓄積部，１２…広角変換処理部，１３，１４…画像メモリ，１５…表示部，１６ａ，１６ｂ…切り替えスイッチ，１７…切替制御部，１８…基礎情報記憶部，１９…広角変換テーブル作成部，２１…画像運動判定部

Claims

表示領域上での位置と画像の拡大率の関係を表わす複数の拡大率特性それぞれに対応する複数の変換テーブルを記憶する記憶部と，
画像の全体的動きを判定する判定部と，
前記判定の結果に基づいて，前記複数の変換テーブルの何れかを選択する選択部と，
前記選択される変換テーブルに基づいて，前記画像を変換する変換部と，
を具備することを特徴とする画像表示装置。
前記画像の動きベクトルに基づいて，前記判定部が前記画像の全体的動きを判定する
ことを特徴とする請求項１記載の画像表示装置。
前記画像の撮影情報に基づいて，前記判定部が前記画像の全体的の動きを判定する
ことを特徴とする請求項１記載の画像表示装置。
前記表示領域に対する観察者の視野角が３０°以上である
ことを特徴とする請求項１記載の画像表示装置。
前記表示領域が，前記観察者の視線中心を囲み第１の解像度の第１の領域と，前記第１の領域を囲み，この第１の解像度より低い第２の解像度の第２の領域と，を有する
ことを特徴とする請求項１記載の画像表示装置。
前記表示領域が非平面である
ことを特徴とする請求項１記載の画像表示装置。
画像の全体的動きを判定するステップと，
前記判定の結果に基づいて，表示領域上での位置と画像の拡大率の関係を表わす複数の拡大率特性それぞれに対応する複数の変換テーブルの何れかを選択するステップと，
前記選択される変換テーブルに基づいて，前記画像を変換するステップと，
を具備することを特徴とする画像表示方法。