JPH1166357A - 画像表示システム及び画像表示処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 現実とのギャップがなく、どのようなシーン
を見ても不快感を感じない映像を出力することができる
を映像表示システム及び映像表示処理方法を提供する。 【解決手段】 入力操作装置１からの操作入力に応じ
て、グラフィック描画装置３により生成される出力すべ
き映像に対し、視線の変更度合いに基づく視認性レベル
を視認性レベル算出装７置により判定し、その判定結果
に応じて出力すべき映像に視認性変更処理を視認性変更
処理装置８により施し、上記視線の変更度合いに応じた
視認性変更処理を施してインタラクティブに映像を出力
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、操作入力に応じて
インタラクティブに映像を出力する画像表示システム及
び画像表示処理方法に関する。

【０００２】

【従来の技術】コンピュータ制御によるゲーム機やフラ
イトシュミレータ、仮想現実システムなどでは、例えば
図６に示すように、入力操作装置１０１、制御入力処理
装置１０２、グラフィックス描画装置１０３、表示用フ
レームバッファ１０４、画像表示制御装置１０５や画像
モニタ装置１０６にて構成される画像表示システムによ
り、ユーザの操作に応じてインタラクティブに映像を出
力することが行われている。

【０００３】この画像表示システムにおいて、入力操作
装置１０１は、制御情報を入力するためにユーザが実際
に操作するマウスやジョイスティックなどからなる。

【０００４】そして、制御入力処理装置１０２は、上記
入力操作装置１０１から入力される制御情報として得え
られる視点座標や角度データに応じてポリゴンの核頂点
座標変換（回転や平行移動の計算）や２次元平面への投
影計算、各ポリゴン毎の色計算などを行う。また、グラ
フィックス描画装置１０３は、前段の制御入力処理装置
１０２で幾何変換されたデータをポリゴン表現するため
に、ピクセル（画素）単位のデータとして座標補正や色
計算を行い、ポリゴンを構成する全ての画素の色とＺ値
を考慮して、画素データを表示用フレームバッファ１０
４に書き込むレンダリング処理を行う。なお、上記Ｚ値
は、視点からの奥行き方向の距離を示す情報である。こ
の際に、オブジェクトをより実際に近く表現するするた
めに、テクスチャマッピング、ミップマッピングやＺバ
ッファと呼ばれる各種手法が採用されている。

【０００５】ここで、テクスチャマッピングとは、テク
スチャソース画像として別に用意された２次元画像（絵
柄）すなわちテクスチャパターンを物体を構成するポリ
ゴンの表面に張り付ける技術である。また、ミップマッ
ピングは、３次元モデルに近づいたり、それから遠ざか
った場合に、ポリゴンの張り付ける絵柄が不自然になら
ないように画素データを補間するようにしたテクスチャ
マッピングの手法の１つである。さらに、Ｚバッファ
は、隠面処理アルゴリズムの１種であって、視点からの
奥行き方向の距離を表すＺ値を画素毎に格納するメモリ
領域を用意して、ポリゴンを２次元座標に投影変換する
ときに、画素毎にＺ値を計算し、最も手前に相当するＺ
値を持つ画素のデータをグラフィックメモリに書き込ん
で、画面に表示する手法である。

【０００６】そして、画像表示制御装置１０５は、上記
表示用フレームバッファ１０４に書き込まれたデータを
ユーザが実際に見ている画像モニタ装置１０６に映像と
して出力する。この画像表示制御装置１０５は、映像の
同期信号等の発生及びユーザ定義の絵やカーソルパター
ン等を発生させる機能を有している。

【０００７】

【発明が解決しようとする課題】ところで、上述の如き
構成の従来の画像表示システムでは、身体運動と映像の
不一致に起因する次のような問題点があった。

【０００８】(1) 視線角度の変化が激しい場合、本来は
大きな身体運動の変化があって、それに同期して目から
入ってくる映像が変化する。ところが、大掛かりな機械
装置を持たないフライトシュミレータやコンピュータ処
理による仮想現実システム等においては、人体は何も運
動を起こしていないのに、映像が次々と変化するといた
状況となる。また、加速度の変化がないのに、あたかも
自分の運動方向が変化するように見えるといった状況も
発生する。その場合、人体への刺激が通常とは大幅に異
なるために、不快感を感じることになる。

【０００９】(2) 本来高速で動くものすなわち視線角度
変化の大きいものに対する視力は、制止したものを見る
場合の視力よりも著しく低下する。また、遠くを見てい
る場合等では、近くの物の焦点が外れ、近くで激しく動
く物はぼけた映像としてとらえられるのが本来である
が、コンピュータグラフィックスの場合は表示画面上す
なわち単一平面上に全てが表現されるため、全てのピク
セル（画素）に焦点が合った状態となる。したがって、
現実のギャップが生じ、不快感につながる。

【００１０】そこで、本発明の目的は、身体運動と映像
の不一致に起因する上述の如き問題点を解決し、ユーザ
に不快感を与えることなくがインタラクティブに画像表
示を行うことができるようにした画像表示システム及び
画像表示処理方法を提供することにある。

【００１１】

【課題を解決するための手段】本発明は、入力装置から
の操作入力に応じてグラフィック描画装置によりインタ
ラクティブに映像を生成して出力する画像表示システム
であって、上記入力装置からの操作入力に応じて出力す
べき映像に対する視線の変更度合いに基づく視認性レベ
ルを判定する視認性レベル判定手段と、この視認性レベ
ル判定手段による判定結果に応じて出力すべき映像に視
認性変更処理を施す視認性変更処理手段とを備え、上記
視認性変更処理手段により上記入力装置からの操作入力
に応じて視認性変更処理を施してインタラクティブに映
像を出力することを特徴とする。

【００１２】本発明に係る画像表示システムにおいて、
上記視認性レベル判定手段は、例えば、入力装置からの
操作入力に応じた視線角度情報に基づいて視認性レベル
を判定する。

【００１３】また、本発明に係る画像表示システムにお
いて、上記視認性レベル判定手段は、例えば、入力装置
からの操作入力に応じた視線角度情報とＺバッファの情
報に基づいて視認性レベルを判定する。

【００１４】また、本発明に係る画像表示システムにお
いて、上記視認性変更処理手段は、例えば、αブレンデ
ィング処理により映像の輝度変化量を変化させる。

【００１５】さらに、本発明に係る画像表示システムに
おいて、上記視認性変更処理手段は、例えば、ローパス
フィルタ処理により映像の解像度を変化させる。

【００１６】本発明は、操作入力に応じてインタラクテ
ィブに映像を出力する画像表示処理方法であって、出力
すべき映像に対する視線の変更度合いに基づく視認性レ
ベルを判定し、その判定結果に応じて出力すべき映像に
視認性変更処理を施し、上記視線の変更度合いに応じた
視認性変更処理を施してインタラクティブに映像を出力
することを特徴とする。

【００１７】本発明に係る画像表示処理方法では、例え
ば、操作入力に応じた視線角度情報に基づいて視認性レ
ベルを判定する。

【００１８】また、本発明に係る画像表示方法では、例
えば、操作入力に応じた視線角度情報とＺバッファの情
報に基づいて視認性レベルを判定する。

【００１９】また、本発明に係る画像表示方法では、例
えば、上記視認性変更処理により映像の輝度変化量を変
化させる。

【００２０】さらに、本発明に係る画像表示方法では、
例えば、上記視認性変更処理により映像の解像度を変化
させる。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００２２】本発明に係る画像表示システムは、例えば
図１に示すように、入力操作装置１、制御入力処理装置
２、グラフィックス描画装置３、表示用フレームバッフ
ァ４、画像表示制御装置５、画像モニタ装置６、視認性
レベル算出装置７及び視認性変更処理装置８にて構成さ
れる。

【００２３】この画像表示システムにおいて、入力操作
装置１は、制御情報を入力するためにユーザが実際に操
作するマウス、ジョイスティックやトラックボールなど
のマンマシンインターフェースからなる。そして、制御
入力処理装置２は、上記入力操作装置１から入力される
制御情報として得えられる視点座標や角度データに応じ
てポリゴンの核頂点座標変換（回転や平行移動の計算）
や２次元平面への投影計算、各ポリゴン毎の色計算など
を行う。

【００２４】また、グラフィックス描画装置３は、前段
の制御入力処理装置２で幾何変換されたデータをポリゴ
ン表現するために、ピクセル（画素）単位のデータとし
て座標補正や色計算を行い、ポリゴンを構成する全ての
画素の色とＺ値を考慮して、画素データを表示用フレー
ムバッファ４に書き込むレンダリング処理を行う。

【００２５】また、視認性レベル算出装置７は、上記制
御入力処理装置２から視線角度情報を受け取って、その
角度情報により対象となる映像全体に視認性変更処理を
施すか否かを判断する演算を行い、その結果を視認性変
更処理装置８に渡す。そして、上記視認性変更処理装置
８は、上記グラフィックス描画装置３により表示用フレ
ームバッファ４に書き込まれた画像データに、上記視認
性レベル算出装置７の演算結果に応じて視認性の変更処
理を施す。

【００２６】さらに、画像表示制御装置５は、上記表示
用フレームバッファ４に書き込まれたデータをユーザが
実際に見ている画像モニタ装置６のウインドウ画面に映
像として出力する。この画像表示制御装置５は、映像の
同期信号等の発生及びユーザ定義の絵やカーソルパター
ン等を発生させる機能を有している。

【００２７】ここで、フライトシュミレータやコンピュ
ータ処理による仮想現実システム等においては、マンマ
シンインターフェースとして、マウス、ジョイスティッ
クやトラックボール等の入力機器により、様々な入力操
作が行われる。そして、この入力操作に応じて、例えば
フライトシュミレータであれば飛行機の状態を変化さ
せ、シュミレーションにより実際に発生する動きを計算
し、それを映像に反映させている。すなわち、このよう
なアプリケーションにおいては、視野角度の情報が処理
されている。したがって、上記視認性レベル算出装置７
は、アプリケーションプログラムを実行する上記制御入
力処理装置２から視線角度情報を受け取ることができ
る。

【００２８】そして、上記視認性変更処理装置８におけ
る視認性の変更処理として、例えば、対象となる映像全
体に中間色［Ｒ（０．５）：Ｇ（０．５）：Ｂ（０．
５）］等とのα−ブレンディング処理を施すことによ
り、映像の輝度変化が小さくなり、視認性が低下して不
快感を与える映像を除去することができる。また、視認
性の変更処理として、例えば、対象となる映像全体にロ
ーパスフィルタ（ＬＰＦ）処理を施すことにより、映像
の解像度が下がり、視認性が低下して不快感を与える映
像を除去することができる。さらに、奥行き情報として
Ｚバッファの情報を参照して、αブレンディングの割合
やＬＰＦの係数の調整を行うこともできる。

【００２９】視認性の変更処理としてαブレンディング
処理を行う視認性変更処理装置８は、例えば図２に示す
ように、アクセスポインタ８１Ａ、レジスタ８２Ａ及び
演算処理部８３Ａにより構成される。

【００３０】この図２に示す視認性変更処理装置８にお
いて、アクセスポインタ８１Ａは、視認性レベル算出装
置７より視線角度情報に基づいて、αブレンディング処
理の対象となる画像データが格納されている表示用フレ
ームバッファ４のアドレスを与える。また、レジスタ８
２Ａは、固定カラー値Ｃを読み込んで演算処理部８３Ａ
に与える。さらに、演算処理部８３Ａは、上記アクセス
ポインタ８１Ａにより指定されるアドレスの画像データ
についてαブレンディング演算を行うものである。

【００３１】そして、この視認性変更処理装置８は、視
認性レベル算出装置７より視線角度情報を受け取り、視
線角速度がある決められた値（ブレンド角速度）より大
きく、かつＺ値として決められた値（ブレンドＺ）より
手前に見えるピクセルに関して、図３のフローチャート
に示す手順に従ってαブレンディング処理を行う。

【００３２】すなわち、この視認性変更処理装置８で
は、ステップＳ１において、視認性レベル算出装置７よ
り視線角度情報に基づくαブレンディング開始信号を受
け取り、アクセスポインタ８１Ａを初期化する。この初
期化処理では、対象となる映像の表示用フレームバッフ
ァ４のアドレスの初期値を算出する。

【００３３】次のステップＳ２では、上記アクセスポイ
ンタ８１Ａによりアドレス指定された位置の画像データ
Ａを表示用フレームバッファ４から演算処理部８３Ａに
取り込む。

【００３４】次のステップＳ３では、上記演算処理部８
３Ａにおいて、取り込んだ画像データＡとレジスタ８２
Ａにより与えられる固定カラー値Ｃとのαブレンディン
グ演算を次の式にしたがって、 Ｙ＝α×Ｃ（１−α）×Ａ 行う。

【００３５】ここで、αブレンディング処理に用いるα
値は、アプリケーションからの視線角速度と予め決めた
ブレンド角速度を用いて次のように決めることができ
る。

【００３６】すなわち、例えば、視線角速度が予め決め
たブレンド角速度よりも小さい場合には、α＝１で、視
線角速度がブレンド角速度よりも大きい場合には、α＝
ブレンド角速度／視線角速度とする。さらに、Ｚバッフ
ァの内容も反映させるようにする場合には、視線角速度
が予め決めたブレンド角速度よりも小さい場合、あるい
は、Ｚ値が予め決めたブレンドＺより遠くの値を示して
いる場合には、α＝１で、視線角速度がブレンド角速度
よりも大きく、かつ、Ｚ値が予め決めたブレンドＺより
も近くの値を示している場合には、α＝ブレンド角速度
／視線角速度とする。

【００３７】次のステップＳ４では、上記演算処理部８
３Ａにより演算されたブレンディングデータＹを上記ア
クセスポインタ８１Ａによりアドレス指定されている表
示用フレームバッファ４の位置に書き込む。これによ
り、１ピクセルの画像データについてのαブレンディン
グ処理が完了する。

【００３８】そして、次のステップＳ５では、上記アク
セスポインタ８１によりアドレス指定する位置を水平ラ
インの右方向へ１ピクセル移動する。

【００３９】次のステップＳ６では、水平ラインの終了
か否かを判定する。このステップＳ６における判定結果
が「ＮＯ」すなわち水平ラインの終了でなければ上記ス
テップＳ２に戻って、次のピクセルの画像データについ
てαブレンディングを行う。上記ステップＳ２からステ
ップＳ６の処理を繰り返し行うことにより、１水平ライ
ンの各ピクセルの画像データについてのαブレンディン
グ処理を行う。そして、このステップＳ６における判定
結果が「ＹＥＳ」すなわち１水平ラインのαブレンディ
ング処理を完了すると、次のステップＳ７に移る。

【００４０】このステップＳ７では、上記アクセスポイ
ンタ８１によりアドレス指定する位置を次の水平ライン
の左端に移動する。

【００４１】次のステップＳ８では、全画面の終了か否
かを判定する。このステップＳ８における判定結果が
「ＮＯ」すなわち未処理の水平ラインがあれば上記ステ
ップＳ２に戻って、次の水平ラインの各ピクセルの画像
データについてαブレンディングを行う。上記ステップ
Ｓ２からステップＳ８の処理を繰り返し行うことによ
り、全画面の各ピクセルの画像データについてのαブレ
ンディング処理を行う。そして、このステップＳ８にお
ける判定結果が「ＹＥＳ」すなわち全画面の処理を行っ
たら、αブレンディング処理を終了する。

【００４２】また、視認性変更処理装置８における視認
性の変更処理としてローパスフィルタ処理を行う場合、
ローパスフィルタ（ＬＰＦ）のカットオフ周波数につい
ては、予めＬＰＦ係数の変化点とＬＰＦ野種類及び係数
のテーブルを用意しておくことにより、次のように決め
ることができる。

【００４３】すなわち、変化点テーブルとカットオフテ
ーブルを用意して、視線角速度によるカットオフ値を選
択するようになし、変化点テーブル［０］≦視線角速度
＜変化点テーブル［１］の場合にカットオフテーブル
［０］をカットオフ値とし、変化点テーブル［ｎ］≦視
線角速度＜変化点テーブル［ｎ＋１］の場合にカットオ
フテーブル［ｎ］をカットオフ値とする。

【００４４】この場合に映像にかけるＬＰＦとしては、
例えばｓｉｎｃ関数とのコンボリューション、ｇａｕｓ
ｓ関数とのコンボリューション、ｓｉｎｃ² 関数とのコ
ンボリューション、三角関数とのコンボリューション
や、５ピクセル近傍における重み付け平均等がある。

【００４５】ここで、上述の視認性の変更処理として５
ピクセル近傍における重み付け平均によるローパスフィ
ルタ処理を行う視認性変更処理装置８は、例えば図４に
示すように、アクセスポインタ８１Ｂ、レジスタ８２Ｂ
及び演算処理部８３Ｂにより構成される。

【００４６】この場合、アクセスポインタ８１Ｂは、視
認性レベル算出装置７より視線角度情報を受け取り、視
線角速度がある決められた値（ブレンド角速度）より大
きく、かつＺ値として決められた値（ブレンドＺ）より
手前に見えるピクセルに関して、対象となる映像の表示
用フレームバッファ４のアドレスの初期値及び上下左右
に位置するピクセルアドレスを与える。また、レジスタ
８２Ｂは、固定カラー値Ａを演算処理部８３Ｂに与え
る。

【００４７】そして、演算処理部８３Ｂは、処理の対象
となるピクセルの画像データＡに対して、上記処理の対
象となるピクセルを中心として上下左右に右回りに位置
するピクセルの画像データＢ，Ｃ，Ｄ，Ｅを用いて、 ＡＡ＝ｊ０×Ａ＋ｊ１×Ｂ＋ｊ１×Ｃ＋ｊ１×Ｄ＋ｊ１
×Ｅ なる演算により、ローパスフィルタ処理を施し、その演
算結果として得られるローパスフィルタ処理済みの画像
データを上記処理対象のピクセルの画像データとして表
示用フレームバッファ４に書き込む。

【００４８】この処理により視線角速度が大きくなるほ
どフィルタリングの周波数領域も大きくなる。また、Ｚ
値として決められた値よりも手前に見えるピクセルに関
してもＬＰＦ処理を施す。

【００４９】なお、上述の画像表示システムでは、上記
表示用フレームバッファ４に書き込まれた画像データを
画像表示制御装置５によりユーザが実際に見ている画像
モニタ装置６のウインドウ画面に映像として出力するよ
うにしたが、ウインドウ画面に表示しないのであれば、
図５に示しように、画像表示制御装置５と画像モニタ装
置６の間に視認性変更処理装置８を設けて、視認性変更
処理装置８により視認性の変更処理を施した画像データ
をそのまま画像モニタ装置６に映像として出力すること
ができる。

【００５０】

【発明の効果】以上説明したように、本発明に係る画像
表示システム及び画像表示処理方法では、入力装置から
の操作入力に応じて出力すべき映像に対する視線の変更
度合いに基づく視認性レベルを視認性レベル判定手段に
より判定し、その判定結果に応じて出力すべき映像に視
認性変更処理を視認性変更処理手段により施し、上記視
線の変更度合いに応じた視認性変更処理を施してインタ
ラクティブに映像を出力するので、現実とのギャップが
なくなり、どのようなシーンを見ても不快感を感じない
映像を出力することができる。

【００５１】例えば、入力装置からの操作入力に応じた
視線角度情報に基づいて視認性レベルを判定し、視線の
変更度合いに応じた視認性変更処理を施して、高速で動
くものすなわち視線角度変化の激しい映像の視認性を低
下させることにより、現実に即した映像をインタラクテ
ィブに出力することができる。

【００５２】また、例えば、入力装置からの操作入力に
応じた視線角度情報とＺバッファの情報に基づいて視認
性レベルを判定し、視線の変更度合いに応じた視認性変
更処理を施して、遠くを見ている場合で近くにある激し
く動く物体の映像の視認性を低下させることにより、遠
くを見ている場合に、近くの物の焦点が外れないで、近
くにあるにもかかわらず激しく動く物が見えてしまうこ
とを効率的に防ぐことができ、より現実に即した映像を
インタラクティブに出力することができる。

【００５３】上記視認性変更処理手段では、例えば映像
の輝度変化を小さくさせる処理を行うことにより、視認
性を低下させることができる。

【００５４】また、上記視認性変更処理手段による視認
性変更処理では、例えば映像の解像度を小さくさせる処
理を行うことにより、視認性を低下させることができ
る。

【図面の簡単な説明】

【図１】本発明に係る画像表示システムの構成例を示す
ブロック図である。

【図２】上記画像表示システムにおいてαブレンディン
グ処理を行う視認性変更処理装置の構成を示すブロック
図である。

【図３】上記視認性変更処理装置におけるブレンディン
グ処理の手順を示すフローチャートである。

【図４】上記画像表示システムにおいてローパスフィル
タ処理を行う視認性変更処理装置の構成を示すブロック
図である。

【図５】本発明に係る画像表示システムの他の構成例を
示すブロック図である。

【図６】操作入力に応じてインタラクティブに映像を出
力する従来の画像表示システムの構成を示すブロック図
である。

【符号の説明】

１ 入力操作装置、２ 制御入力処理装置、３ グラフ
ィックス描画装置、４表示用フレームバッファ、５ 画
像表示制御装置、６ 画像モニタ装置、７視認性レベル
算出装置、８ 視認性変更処理装置

フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０９Ｇ 5/36 ５１０ Ｇ０６Ｆ 15/62 ３６０

Claims (10)

【特許請求の範囲】
1. 【請求項１】 入力装置からの操作入力に応じてグラフ
   ィック描画装置によりインタラクティブに映像を生成し
   て出力する画像表示システムであって、 上記入力装置からの操作入力に応じて出力すべき映像に
   対する視線の変更度合いに基づく視認性レベルを判定す
   る視認性レベル判定手段と、 この視認性レベル判定手段による判定結果に応じて出力
   すべき映像に視認性変更処理を施す視認性変更処理手段
   とを備え、 上記視認性変更処理手段により上記入力装置からの操作
   入力に応じて視認性変更処理を施してインタラクティブ
   に映像を出力することを特徴とする画像表示システム。
2. 【請求項２】 上記視認性レベル判定手段は、入力装置
   からの操作入力に応じた視線角度情報に基づいて視認性
   レベルを判定することを特徴とする請求項１記載の画像
   表示システム。
3. 【請求項３】 上記視認性レベル判定手段は、入力装置
   からの操作入力に応じた視線角度情報とＺバッファの情
   報に基づいて視認性レベルを判定することを特徴とする
   請求項１記載の画像表示システム。
4. 【請求項４】 上記視認性変更処理手段は、αブレンデ
   ィング処理により映像の輝度変化量を変化させることを
   特徴とする請求項１記載の画像表示システム。
5. 【請求項５】 上記視認性変更処理手段は、ローパスフ
   ィルタ処理により映像の解像度を変化させることを特徴
   とする請求項１記載の画像表示システム。
6. 【請求項６】 操作入力に応じてインタラクティブに映
   像を出力する画像表示処理方法であって、 出力すべき映像に対する視線の変更度合いに基づく視認
   性レベルを判定し、 その判定結果に応じて出力すべき映像に視認性変更処理
   を施し、 上記視線の変更度合いに応じた視認性変更処理を施して
   インタラクティブに映像を出力することを特徴とする画
   像表示処理方法。
7. 【請求項７】 操作入力に応じた視線角度情報に基づい
   て視認性レベルを判定することを特徴とする請求項６記
   載の画像表示処理方法。
8. 【請求項８】 操作入力に応じた視線角度情報とＺバッ
   ファの情報に基づいて視認性レベルを判定することを特
   徴とする請求項６記載の画像表示処理方法。
9. 【請求項９】 上記視認性変更処理により映像の輝度変
   化量を変化させることを特徴とする請求項６記載の画像
   表示処理方法。
10. 【請求項１０】 上記視認性変更処理により映像の解像
    度を変化させることを特徴とする請求項６記載の画像表
    示処理方法。