JP3143558B2 - 画像表示方法および装置 - Google Patents

画像表示方法および装置

Info

Publication number
JP3143558B2
JP3143558B2 JP06011025A JP1102594A JP3143558B2 JP 3143558 B2 JP3143558 B2 JP 3143558B2 JP 06011025 A JP06011025 A JP 06011025A JP 1102594 A JP1102594 A JP 1102594A JP 3143558 B2 JP3143558 B2 JP 3143558B2
Authority
JP
Japan
Prior art keywords
image
visual
operator
visual field
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP06011025A
Other languages
English (en)
Other versions
JPH07220114A (ja
Inventor
登志一 大島
裕之 山本
晋二 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP06011025A priority Critical patent/JP3143558B2/ja
Priority to EP95300626A priority patent/EP0666547B1/en
Priority to DE69521155T priority patent/DE69521155T2/de
Priority to US08/384,530 priority patent/US5715384A/en
Publication of JPH07220114A publication Critical patent/JPH07220114A/ja
Application granted granted Critical
Publication of JP3143558B2 publication Critical patent/JP3143558B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像表示方法及び装置
に関し、特に、コンピュータによってフォント・平面図
形・立体形状などの幾何図形データとその色や模様など
の属性データおよび照明に関するデータ・投影に関する
データなどの情景記述データを解釈して、毎秒数フレー
ム以上の短い時間間隔で新しい画像を計算・生成し、表
示画面を逐次更新する実時間型の画像表示方法及び装置
に関するものである。
【0002】
【従来の技術】従来、動画等を表示する実時間型の画像
生成表示は、操作者が表示画面上の何処を注視している
かに関わらず、画面上に表示される画像全域を同一の画
像生成アルゴリズムによって生成していた。
【0003】実時間型の画像生成表示においては、表示
する画像の質よりも実時間性の方が一般的に優先度が高
く、実時間性を確保するために、画像生成アルゴリズム
の簡略化などを行なって計算負荷を軽減する必要があ
る。
【0004】
【発明が解決しようとしている課題】このとき、上述の
ような従来の方式では、画像生成アルゴリズムを簡略化
すると画像全域にわたって一様に画質が低下するため、
操作者が画像の質の低下を明確に知覚する欠点があっ
た。
【0005】従来の方式のこのような欠点により、実時
間性を維持しつつ良好な画質を確保するためには、高価
な画像生成専用の高速計算機を使用しなければならなか
ったり、あるいはそれでも十分な画質を得られない場合
も多かった。
【0006】人間の視覚は、注視点における分解能が最
も高く、注視点を離れるにしたがって著しく分解能が低
下することが知られている。例えば、注視方向から30
度離れた方向の分解能は注視点における分解能のおよそ
1/5程度である(樋渡:生体情報工学、コロナ社、1
971による)。そのため操作者にとっては、表示画像
の中で特に注視点付近の領域、すなわち「中心視領域」
の画像が知覚される視覚情報の主要な部分を占める。一
方、中心視領域周辺の領域、すなわち「周辺視領域」は
その補助的な役割を果たすにすぎない。
【0007】本発明によれば、中心視領域と周辺視領域
とで異なる画像生成アルゴリズムを用いて画像を生成す
ることができるので、上述のような人間の視覚特性を利
用し、中心視領域の画像を高度なアルゴリズムで生成
し、周辺視領域の画像を相対的に負荷の軽いアルゴリズ
ムで生成することによって、画像全体の計算負荷を軽減
し実時間性を維持したまま、より良好な画像を操作者に
提示することを目的とする。
【0008】また、本発明は、上記の欠点を解決すべく
なされたものであり、実時間性を維持しつつより良好な
画質の画像を生成する実時間型の画像表示方法および装
置を提供する。
【0009】
【課題を解決するための手段および作用】上記課題を解
決するために、本願発明の画像表示方法は、表示画面上
に表示する画像の各部分が操作者の視野に映ずる視野部
位を同定する第1の工程と、前記第1の工程により同定
した視野部位における視覚分解能を決定する第2の工程
と、前記第2の工程により決定した視覚分解能に基づい
て、画像の各部分を生成する手段およびそのパラメータ
を各視野部分毎に決定する第3の工程と、前記第3の工
程で決定されたそれぞれの手段とパラメータとに基づい
て各視野部位の画像を生成する第4の工程と、前記第4
の工程で生成された画像を表示画面上に表示する第5の
工程とを備え、前記第1の工程は、操作者の利き目に基
づいて、操作者の視線方向を第1の方向として操作者の
視線方向及び視点位置を計測し、操作者の視点位置から
表示画面上の点への方向である第2の方向と前記第1の
方向とがなす視野水平方向の角度及び視野垂直方向の角
度を、表示画面上の各部分について求め、求めた2つの
角度の値によって、画像の各部分が映ずる視野部位を同
定する。
【0010】また、本願発明の画像表示装置は、表示画
面を基準とした操作者の視点位置および視線方向を計測
する視線計測手段と、前記視線計測手段により求めた視
線方向と、視点から描画データへ向かう方向とがなす角
度の時間変化を算出する相対角速度算出手段と、前記相
対角速度算出手段により求めた相対角速度によって、操
作者が描画データを知覚するときの動体視力を決定する
動体視力決定手段と、前記動体視力決定手段により決定
した動体視力に基づいて、それぞれの画像を生成する手
法およびそのパラメータを描画データ毎に決定する描画
手法選択手段と、前記描画手法選択手段で決定されたそ
れぞれの手法とパラメータによって各描画データの画像
を生成する画像生成手段と、前記画像生成手段により生
成された画像を表示する画像表示手段とを備え、前記動
体視力決定手段は、操作者の利き目に基づいて、相対角
速度が0のときの視力を最大として定めた基準値で正規
化したときの値を動体視力の代表値として使用する。
【0011】さらに、本願発明の画像表示装置は、表示
画面上に表示する画像の各部分が操作者の視野に映ずる
視野部位を同定する第1の手段と、前記第1の手段によ
り同定した視野部位における視覚分解能を決定する第2
の手段と、前記第2の手段により決定した視覚分解能に
基づいて、画像の各部分を生成する手段およびそのパラ
メータを各部分毎に決定する第3の手段と、前記第3の
手段で決定されたそれぞれの手段とパラメータとに基づ
いて各視野部位の画像を生成する第4の手段と、前記第
4の手段で生成された画像を表示画面上に表示する第5
の手段とを備え、前記第1の手段は、操作者の利き目に
基づいて、操作者の視線方向を第1の方向として操作者
の視線方向及び視点位置を計測し、操作者の視点位置か
ら表示画面上の点への方向である第2の方向と前記第1
の方向とがなす視野水平方向の角度及び視野垂直方向の
角度を、表示画面上の各部分について求め、求めた2つ
の角度の値によって、画像の各部分が映ずる視野部位を
同定する。
【0012】上述の構成により本願発明の画像表示方法
及び装置は、操作者の利き目に基づいて、中心視領域と
周辺視領域とに表示される画像ごとに、各画像を生成す
る手法とパラメータを決定し、画像毎にそれぞれの手法
とパラメータとを用いて画像を生成することができる。
【0013】
【0014】
【実施例】以下、図面に基づいて、本発明の一実施例
を、詳細を説明する。
【0015】(実施例1)本実施例1の実時間型の画像
表示装置においては、操作者が頭部に装着した位置姿勢
検出装置と眼球運動検出装置とによって、頭部の位置と
姿勢、および視線の方向を計測し入力する。そして、こ
れらの情報を元に、表示装置の画面を基準にした視点位
置と視線方向とを算出する。
【0016】次に視点位置から画面上の各図形単位への
方向と視線方向とがなす角度によって、各図形単位が操
作者の網膜上に映ずる部位を同定する。
【0017】そして網膜上の部位における視覚分解能の
高低によって、その部位に映ずる図形単位の画像を生成
するアルゴリズムとその制御パラメータを各図形単位ご
とに選択する。画像生成アルゴリズムの選択と制御パラ
メータの決定にあたっては、視覚分解能が高い部位に映
ずる画像の画質を高く、視覚分解能が低い部位に映ずる
画像の計算負荷を低く抑えるように選択する。これによ
り、操作者が知覚する画像の質を高く維持したまま、画
像全体として計算負荷を大きく軽減することができる。
【0018】そして、各図形単位をそれぞれについて決
定した画像生成アルゴリズムとパラメータによって生成
し、その画像を表示する。
【0019】以下に、本実施例1の画像表示装置の動作
について、詳細に説明する。
【0020】図1は、本実施例1にかかる実時間型の画
像表示装置の基本構成を表すブロック図である。
【0021】図において、101は、画像を操作者に提
示するための画像表示装置であり、CRT表示装置、L
CD表示装置等で構成される。
【0022】102はフレームバッファであり、画像表
示装置101に表示する画像データを記憶する。
【0023】103は演算装置であり、記憶装置104
に記憶された処理手順にしたがって処理を実行し、画像
データを生成すると共に、各装置の制御を司る。演算装
置103により生成された画像データは、フレームバッ
ファ102に記憶される。
【0024】104は、演算装置103の処理手順およ
び処理に必要な情報を記憶するための記憶装置であり、
演算装置103のワークエリアとしても使用される。
【0025】記憶装置104には、図3にて後述するフ
ローチャートで表される制御プログラムと描画する図形
に関するデータおよび処理に要するデータが格納され
る。
【0026】105は、頭部位置計測装置であり、位置
姿勢検出装置107からの信号を解析し、基準信号発生
装置106を基準にした操作者の頭部の位置および姿勢
の情報を演算装置103に出力する。
【0027】106は、位置姿勢検出装置107の基準
となる信号を発生するための基準信号発生装置である。
【0028】107は、頭部の位置および姿勢を検出す
るための位置姿勢検出装置である。
【0029】108は、視線方向計測装置であり、眼球
運動検出装置109からの信号を解析し、操作者の頭部
を基準にした視線方向の情報を演算装置103に入力す
る。
【0030】109は、操作者の眼球がどの方向を向い
ているのかを検出する眼球運動検出装置である。
【0031】図2は、本実施例1にかかる実時間型の画
像表示装置を構成する検出装置類の概略配置について示
す図である。
【0032】図において、基準信号発生装置106は、
画像表示装置101の上部に固定される。また、位置姿
勢検出装置107と眼球運動検出装置109は、操作者
の頭部に固定される。眼球運動検出装置109は、操作
者の眼球の前面に装着される。その他の装置は、任意の
場所に配置されるものとする。
【0033】図3は、本実施例1における画像表示処理
の流れを表すフローチャートである。各ステップにおけ
る処理の詳細を順を追って説明する。
【0034】まず、ステップ301において、位置姿勢
検出装置107からの検出信号が入力される頭部位置計
測装置105および眼球運動検出装置109からの信号
が入力される視線方向計測装置108とから入力された
情報により、図4に示すように操作者の視点位置402
と視線方向405とを画像表示装置101の表示画面を
基準とした座標系の下で算出する。
【0035】ステップ302において、最初に描画する
図形単位のデータを、図5のような形式で記憶装置10
4に格納されている図形データリストの先頭から選択す
る。データリストの各図形データの項目は、図形データ
の識別番号、図形の種類、図形データ本体などからな
る。
【0036】ステップ303において、図4に示す視点
位置402から図形単位が画面上に描画される位置40
4へ向かう方向403と、ステップ301で求めた視線
方向405とがなす角度θ407を計算する。
【0037】ステップ304において、視線方向405
から角度θをなす視野部位における視覚分解能αを求め
る。視覚分解能αの値は、図6に示すように、中心窩
(網膜の中心部分)から数度以内では最高値であり、数
度を離れると指数関数的に低下するとして定義する。0
度すなわち中心窩における視覚分解能を最高値とし、こ
の時の値を基準として正規化した値を使用する。本実施
例では、最高値を1とする。角度θに関する関数あるい
はデータテーブルとして定義する。
【0038】ステップ305において、視覚分解能の値
によって画像生成アルゴリズムとそのパラメータを選択
する。この選択にあたっては、中心窩にあたる部分の画
像を精密に生成し、中心窩を離れるにしたがって相対的
に計算負荷を軽くするように配慮する。本実施例では、
画像生成アルゴリズムとして、図7に示すように、視覚
分解能が予め設定した閾値以下では、スキャンライン法
を採用し、閾値以上ではレイトレーシング法を採用す
る。また、本実施例では、パラメータとして、図8に示
すように、図形データの詳細度を視覚分解能によって変
更する。
【0039】レイトレーシング法は、計算負荷が重いが
精密な表現が可能であるため、中心視部分の描画に適す
る。また、スキャンライン法は、表現能力がレイトレー
シング法よりも制限されるが、計算負荷が軽いため、周
辺視部分の描画に適する。
【0040】本実施例で、視覚分解能により変更するパ
ラメータである図形データの詳細度とは、描画する図形
データの疎密を制御するパラメータである。この詳細度
によって、後述する画像生成ステップにおいて、図形を
構成するポリゴンパッチや線分などの図形要素の数を段
階的に切り替える働きをする。
【0041】ステップ306において、ステップ305
で決定したアルゴリズムとパラメータによって図形単位
の画像を生成し、フレームバッファ102に蓄積する。
本実施例では、制御パラメータである図形データの詳細
度により、図9に示すような項目を制御する。
【0042】図9において、描画ポリゴン数は、描画さ
れる図形を構成するポリゴンパッチの数であり、詳細度
が高い時には、図形をより多くのポリゴンパッチによっ
て描画することにより、図形をより忠実(細かく)に表
現する。
【0043】図10の形状1002は、球体を多くのポ
リゴンによってより忠実に近似した例である。逆に、詳
細度が低い時には、少ないポリゴンパッチによって描画
することにより、描画にかかる計算負荷を軽減する。図
10の形状1001は、球体を少ないポリゴンによって
簡略表現した例である。予め段階的に用意したポリゴン
データを描画時に適宜切り替える場合と、自由曲面など
非ポリゴン系の形式で定義された面を描画時にポリゴン
に分割するときにその分割する大きさを変更する場合と
が考えられる。
【0044】図9のテクスチャ解像度は、図形の模様を
表現する画像データの画素密度であり、詳細度が高い時
には、画素数をより多くすることによって模様を精密に
表現する。
【0045】図11のテクスチャ1102は、1024
画素×1024画素の解像度の高いテクスチャデータの
例を示す。逆に、詳細度が低い時には、画素数を低減
し、描画に係る計算負荷を軽減する。図11のテクスチ
ャ1101は、16画素×16画素の解像度の低いテク
スチャデータの例を示す。
【0046】ステップ307において、描画すべき図形
単位全てについて画像を生成したか否かを判断し、もし
描画すべき図形単位がデータリストに残っているなら
ば、ステップ308においてデータリストから次に描画
する図形単位を選択し、ステップ303からの処理を同
様に繰り返す。また、ステップ307の判断において、
全ての図形単位について画像生成処理を完了したなら
ば、ステップ309の画像表示処理において、フレーム
バッファに蓄積された画像を画像表示装置に提示する。
【0047】ステップ310において、画像生成表示処
理を終了せよという操作者の指示があるか否かを判断
し、終了指示がなければ、ステップ310からの処理を
繰り返す。また、終了指示があった場合には、処理を終
了する。
【0048】(他の実施例)以下、他の実施例について
説明する。
【0049】(実施例2)実施例2について説明する。
【0050】本実施例の基本構成は、実施例1と同様に
図1によって表される。
【0051】本実施例の検出装置類の配置は、実施例1
と同様に図2によって表される。
【0052】本実施例における画像生成表示処理の流れ
を表すフローチャートは、実施例1と同様に図3によっ
て表され、ステップ305を除く全てのステップにおけ
る処理の詳細は、実施例1において説明した処理と同様
である。
【0053】本実施例におけるステップ305の処理
は、その概要としては、実施例1と同様であるが、その
詳細が異なる。
【0054】ステップ305において、視覚分解能が予
め設定した閾値以下では、ワイヤフレーム表現方式を選
択し、閾値以上では、サーフェス表現方式を選択する。
【0055】ワイヤフレーム表現方式は、ポリゴン形状
をその輪郭によって描画するため表現能力は劣るが計算
負荷が非常に低いため、周辺視部分の表現に適する。ま
た、サーフェス表現方式は、ワイヤフレーム表現に比較
すると計算負荷が大きいが、ポリゴン形状を忠実に表現
するので、中心視部分の描画に適する。
【0056】また、閾値を任意に変更するように構成し
てもよい。
【0057】このように、視覚分解能の閾値に基づいて
表現方式を変更するので、処理が簡単になる。また、閾
値を任意に変更できる構成とすることにより、表示図形
を細かくしたり、大まかにすることができ、用途に応じ
た表示ができる。
【0058】(実施例3)実施例3について説明する。
【0059】本実施例の基本構成は、実施例1と同様に
図1によって表される。
【0060】本実施例の検出装置類の配置は、実施例1
と同様に図2によって表される。
【0061】本実施例における画像生成表示処理の流れ
を表すフローチャートは、実施例1と同様に図3によっ
て表され、ステップ305を除く全てのステップにおけ
る処理の詳細は、実施例1において説明した処理と同様
である。
【0062】本実施例におけるステップ305の処理
は、その概要としては、実施例1と同様であるが、その
詳細が異なる。
【0063】ステップ305において、視覚分解能が予
め設定した閾値以下では、テクスチャマッピングを省略
することにし、閾値以上では、テクスチャマッピングを
実行するように描画方式を選択する。
【0064】テクスチャマッピングは、画像生成に要す
る計算負荷が大きいが、画像の質を向上するため、中心
視部分の表現に適している。また、周辺視部分において
テクスチャマッピングを省略することによって、全体と
しての計算負荷を大幅に軽減することができる。
【0065】(実施例4)実施例4について説明する。
【0066】本実施例の基本構成は、実施例1と同様に
図1によって表される。
【0067】本実施例の検出装置類の配置は、実施例1
と同様に図2によって表される。
【0068】本実施例における画像生成表示処理の流れ
を表すフローチャートは、実施例1と同様に図3によっ
て表され、ステップ305を除く全てのステップにおけ
る処理の詳細は、実施例1において説明した処理と同様
である。
【0069】本実施例におけるステップ305の処理
は、その概要としては、実施例1と同様であるが、その
詳細が異なる。
【0070】ステップ305において、描画時に採用す
るスムーズシェーディング方式を切り替える。スムーズ
シェーディングは、ポリゴン近似した曲面形状を描画す
るとき、ポリゴンの隣接部分を滑らかに見せるための方
式である。図12に示すように、視覚分解能が予め設定
した第1の閾値以下ではフラットシェーディング方式を
選択し、第1の閾値と第2の閾値との間ではグローシェ
ーディング方式を選択し、第2の閾値以上ではフォンシ
ェーディング方式を選択する。
【0071】フォンシェーディング方式は、計算負荷が
比較的大きいが、ポリゴンによる曲面近似表現をより効
果的に行なうことができ、視覚分解能が高い部分での描
画に適する。一方、フラットシェーディング方式は、ス
ムーズシェーディングを行なわない方式である。これに
よると、ポリゴン近似した曲面は角ばって表現され視覚
的には劣るが、計算負荷が小さいので視覚分解能が低い
部分での描画に適している。また、グローシェーディン
グ方式は、計算負荷および生成画像の質の点で、前述の
フォンシェーディング方式とフラットシェーディング方
式との間に位置付けられるので、視覚分解能が中くらい
の部分での描画に適する。
【0072】(実施例5)実施例5について説明する。
【0073】本実施例の基本構成は、実施例1と同様に
図1によって表される。
【0074】本実施例の検出装置類の配置は、実施例1
と同様に図2によって表される。
【0075】本実施例における画像生成表示処理の流れ
を表すフローチャートは、実施例1と同様に図3によっ
て表され、ステップ305を除く全てのステップにおけ
る処理の詳細は、実施例1において説明した処理と同様
である。
【0076】本実施例におけるステップ305の処理
は、その概要としては、実施例1と同様であるが、その
詳細が異なる。
【0077】ステップ305のパラメータの選択におい
て、レイトレーシング計算を行なう場合の光線の最大反
射回数を、視覚分解能が高い時には十分に大きく、視覚
分解能が低い時には小さく選択する。
【0078】レイトレーシングによって画像を生成する
とき、光線の反射回数を大きくとることによってより画
質の高い画像を得ることができ、中心視部分の描画に適
する。一方、周辺視部分では反射回数を減らすことによ
り計算負荷を軽減する。
【0079】(実施例6)実施例6について説明する。
【0080】本実施例の基本構成は、実施例1と同様に
図1によって表される。
【0081】本実施例の検出装置類の配置は、実施例1
と同様に図2によって表される。
【0082】本実施例における画像生成表示処理の流れ
を表すフローチャートは、実施例1と同様に図3によっ
て表され、ステップ305を除く全てのステップにおけ
る処理の詳細は、実施例1において説明した処理と同様
である。
【0083】本実施例におけるステップ305の処理
は、その概要としては、実施例1と同様であるが、その
詳細が異なる。
【0084】ステップ305において、視覚分解能が予
め設定した閾値以上では、描画する図形を半透明で描画
するモードを選択し、一方閾値以下では、不透明なもの
は不透明として描画するモードを選択する。
【0085】複雑な内部構造を持つ物体形状を半透明に
描画すると、その内部構造を把握することが容易になる
が、計算負荷が増加する。中心視領域のみ半透明表示を
行ない、周辺部分では通常の描画を行なうことで、計算
負荷を軽減することができる。
【0086】(実施例7)実施例7について説明する。
【0087】本実施例における基本構成は、実施例1と
同様に図1によって表される。
【0088】本実施例における画像生成表示処理の流れ
を表すフローチャートは、実施例1と同様に図3によっ
て表される。
【0089】また、本実施例の全てのステップにおける
処理の詳細は、実施例1あるいは、実施例2〜6におい
て説明した処理のいずれかと同様である。
【0090】本実施例は、検出装置類の配置において実
施例1と異なる。
【0091】実施例1では、図2に示すように、検出装
置類固定支持具203は頭部に装着する方式のものであ
る。一方、本実施例では、図13に示すように、検出装
置類固定支持具が眼鏡フレームのような形状をしてお
り、このフレームに位置姿勢検出装置と、フレームの利
き目側に眼球運動検出装置が固定される。
【0092】なお、利き目については、予め操作者がど
ちらが利き目であるかを既知の方法で認識し、フレーム
の利き目側に眼球運動検出装置を固定する。
【0093】(実施例8)実施例8について説明する。
【0094】本実施例における基本構成を図14に示
す。本実施例の基本構成は、実施例1の基本構成に対話
操作入力装置1401を追加している。対話操作入力装
置1401は、操作者の行動を画像生成の処理内容に反
映させるための装置で、マウス、キーボード、ダイアル
ボックス、三次元位置センサー、視線入力装置などがあ
る。
【0095】本実施例における装置類の配置を図15に
示す。本実施例の装置類の配置は、実施例1の装置配置
に対話操作入力装置1401を追加している。検出装置
類固定支持具に関しては、実施例7と同様であってもよ
い。
【0096】本実施例における画像生成表示処理の流れ
を表すフローチャートを図16に示す。本実施例のフロ
ーチャートでは、実施例1のフローチャートにステップ
1601を追加している。本実施例における処理の詳細
は、追加したステップ1601以外は、実施例1あるい
は、実施例2〜6において説明した処理のいずれかと同
様である。
【0097】ステップ1601の処理の詳細について説
明する。
【0098】ステップ1601では、前段のステップ3
04で決定した視覚分解能の値を、操作者の視覚特性を
左右する他の要因を考慮して調整する。考慮する他の要
因としては、まず第一に、視線方向と視点−図形方向と
の相対的な角度が変化する場合がある。このような場合
に生じる視力の低下は、一般に「動体視力」として知ら
れている。この状況は、図形の移動、図形の回転、視線
方向の変化で起こる。
【0099】ステップ1601では、この動体視力によ
る視力の低下を反映させるために、視覚分解能の値に0
以上1以下の係数を掛けて調整し、画像生成の簡略化に
よる計算負荷の軽減を図る。
【0100】これにより、本実施例では、操作者が知覚
する画質を高く維持したまま、さらに実時間性を向上さ
せることができる。
【0101】さらに、動体視力の他に考慮すべき状況と
して、操作者が入力装置1401によって対話操作を行
なっている間は、画質よりも対話操作の応答性が要求さ
れる場合がある。この場合、ステップ1601におい
て、動体視力を考慮する他に、対話操作中には視覚分解
能の値をさらに低く調整することにより、画像生成の簡
略化による応答性の向上を図ることができる。
【0102】
【発明の効果】以上説明したように本発明によれば、操
作者の利き目に基づいて、中心視領域と周辺視領域とに
表示される画像毎に、各画像を生成する手法とパラメー
タを決定し、画像毎にそれぞれの手法とパラメータとを
用いて画像を生成することにより、人間の利き目及び視
覚特性を利用し、中心視領域の画像を高度なアルゴリズ
ムで生成し、周辺視領域の画像を相対的に負荷の軽いア
ルゴリズムで生成することによって、画像全体の計算負
荷を軽減し実時間性を維持したまま、より良好な画像を
提示することができる。
【図面の簡単な説明】
【図1】本発明の実施例1の基本構成を示すブロック図
【図2】本発明の実施例1の検出装置類の概略配置を示
す図
【図3】本発明の実施例1の処理の流れを表すフローチ
ャート
【図4】本発明の実施例1における、操作者の視点およ
び視線と画像表示面との位置関係を説明する図
【図5】本発明の実施例1における図形データの表の例
を示す図
【図6】本発明の実施例1における視覚分解能曲線の例
を示す図
【図7】本発明の実施例1における画像生成アルゴリズ
ムの選択内容を説明する図
【図8】本発明の実施例1における画像生成パラメータ
の選択について説明する図
【図9】図形データの詳細度による描画図形データの選
択について説明する図
【図10】図形データの詳細度による描画ポリゴン数の
制御について説明する図
【図11】図形データの詳細度によるテクスチャ解像度
の制御について説明する図
【図12】本発明の実施例3における画像生成アルゴリ
ズムの選択について説明する図
【図13】版発明の実施例7における検出装置類固定支
持具を示す図
【図14】本発明の実施例8における構成を示すブロッ
ク図
【図15】本発明の実施例8における検出装置類の概略
配置について説明する図
【図16】実施例8の処理の流れを示すフローチャート
【符号の説明】
101 画像表示装置 102 フレームバッファ 103 演算装置 104 記憶装置 105 頭部位置計測装置 106 基準信号発生装置 107 位置姿勢検出装置 108 視線方向計測装置 109 視線方向検出装置 103 検出装置類固定支持具 1301 眼鏡フレーム型検出装置類固定支持具 1401 対話操作入力装置
フロントページの続き (56)参考文献 特開 平4−15772(JP,A) 特開 平5−250445(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 15/00 - 17/50

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】 表示画面上に表示する画像の各部分が操
    作者の視野に映ずる視野部位を同定する第1の工程と、 前記第1の工程により同定した視野部位における視覚分
    解能を決定する第2の工程と、 前記第2の工程により決定した視覚分解能に基づいて、
    画像の各部分を生成する手段およびそのパラメータを各
    視野部分毎に決定する第3の工程と、 前記第3の工程で決定されたそれぞれの手段とパラメー
    タとに基づいて各視野部位の画像を生成する第4の工程
    と、 前記第4の工程で生成された画像を表示画面上に表示す
    る第5の工程とを備え 前記第1の工程は、操作者の利き目に基づいて、操作者
    の視線方向を第1の方向として操作者の視線方向及び視
    点位置を計測し、 操作者の視点位置から表示画面上の点への方向である第
    2の方向と前記第1の方向とがなす視野水平方向の角度
    及び視野垂直方向の角度を、表示画面上の各部分につい
    て求め、 求めた2つの角度の値によって、画像の各部分が映ずる
    視野部位を同定す ることを特徴とする実時間型の画像表
    示方法。
  2. 【請求項2】 前記第2の工程において、視野の中心か
    ら角度が略等しい部位では、視覚分解能は等しいと仮定
    し、視覚特性の近似を行うことを特徴とする請求項
    記載の実時間型の画像表示方法。
  3. 【請求項3】 前記第2の工程は、網膜上の中心窩にお
    ける視覚分解能を最大として定める基準値で正規化した
    ときの値を視覚分解能の代表値として使用することを特
    徴とする請求項1に記載の実時間型の画像表示方法。
  4. 【請求項4】 表示画面を基準とした操作者の視点位置
    および視線方向を計測する視線計測手段と、 前記視線計測手段により求めた視線方向と、視点から描
    画データへ向かう方向とがなす角度の時間変化を算出す
    る相対角速度算出手段と、 前記相対角速度算出手段により求めた相対角速度によっ
    て、操作者が描画データを知覚するときの動体視力を決
    定する動体視力決定手段と、 前記動体視力決定手段により決定した動体視力に基づい
    て、それぞれの画像を生成する手法およびそのパラメー
    タを描画データ毎に決定する描画手法選択手段と、 前記描画手法選択手段で決定されたそれぞれの手法とパ
    ラメータによって各描画データの画像を生成する画像生
    成手段と、 前記画像生成手段により生成された画像を表示する画像
    表示手段とを備え 前記動体視力決定手段は、操作者の利き目に基づいて、
    相対角速度が0のときの視力を最大として定めた基準値
    で正規化したときの値を動体視力の代表値として使用す
    ることを特徴とする実時間型の画像表示装置。
  5. 【請求項5】 表示画面上に表示する画像の各部分が操
    作者の視野に映ずる視野部位を同定する第1の手段と、 前記第1の手段により同定した視野部位における視覚分
    解能を決定する第2の手段と、 前記第2の手段により決定した視覚分解能に基づいて、
    画像の各部分を生成する手段およびそのパラメータを各
    部分毎に決定する第3の手段と、 前記第3の手段で決定されたそれぞれの手段とパラメー
    タとに基づいて各視野部位の画像を生成する第4の手段
    と、 前記第4の手段で生成された画像を表示画面上に表示す
    る第5の手段とを備え、 前記第1の手段は、操作者の利き目に基づいて、操作者
    の視線方向を第1の方向として操作者の視線方向及び視
    点位置を計測し、 操作者の視点位置から表示画面上の点への方向である第
    2の方向と前記第1の方向とがなす視野水平方向の角度
    及び視野垂直方向の角度を、表示画面上の各部分につい
    て求め、 求めた2つの角度の値によって、画像の各部分が映ずる
    視野部位を同定す ることを特徴とする実時間型の画像表
    示装置。
  6. 【請求項6】 前記第2の手段において、視野の中心か
    ら角度が略等しい部位では、視覚分解能は等しいと仮定
    し、視覚特性の近似を行うことを特徴とする請求項
    記載の実時間型の画像表示装置。
  7. 【請求項7】 前記第2の手段は、網膜上の中心窩にお
    ける視覚分解能を最大として定める基準値で正規化した
    ときの値を視覚分解能の代表値として使用することを特
    徴とする請求項に記載の実時間型の画像表示装置。
JP06011025A 1994-02-02 1994-02-02 画像表示方法および装置 Expired - Fee Related JP3143558B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP06011025A JP3143558B2 (ja) 1994-02-02 1994-02-02 画像表示方法および装置
EP95300626A EP0666547B1 (en) 1994-02-02 1995-02-01 Image display method and apparatus therefor
DE69521155T DE69521155T2 (de) 1994-02-02 1995-02-01 Bildanzeigeverfahren und -gerät
US08/384,530 US5715384A (en) 1994-02-02 1995-02-01 Real-time image display method and apparatus displaying two different visual resolutions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06011025A JP3143558B2 (ja) 1994-02-02 1994-02-02 画像表示方法および装置

Publications (2)

Publication Number Publication Date
JPH07220114A JPH07220114A (ja) 1995-08-18
JP3143558B2 true JP3143558B2 (ja) 2001-03-07

Family

ID=11766566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06011025A Expired - Fee Related JP3143558B2 (ja) 1994-02-02 1994-02-02 画像表示方法および装置

Country Status (4)

Country Link
US (1) US5715384A (ja)
EP (1) EP0666547B1 (ja)
JP (1) JP3143558B2 (ja)
DE (1) DE69521155T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188149B2 (en) 2018-02-09 2021-11-30 University Of Fukui Image display device using retinal scanning display unit and method thereof

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6268862B1 (en) 1996-03-08 2001-07-31 Canon Kabushiki Kaisha Three dimensional virtual space generation by fusing images
US6804726B1 (en) 1996-05-22 2004-10-12 Geovector Corporation Method and apparatus for controlling electrical devices in response to sensed conditions
US5991827A (en) * 1996-05-22 1999-11-23 Geovector Corporation Apparatus for controlling electrical devices in response to sensed conditions
US5861936A (en) * 1996-07-26 1999-01-19 Gillan Holdings Limited Regulating focus in accordance with relationship of features of a person's eyes
US5859642A (en) * 1996-09-26 1999-01-12 Sandia Corporation Virtual button interface
US6191793B1 (en) 1998-04-01 2001-02-20 Real 3D, Inc. Method and apparatus for texture level of detail dithering
US6421051B1 (en) * 1998-06-18 2002-07-16 Spatial Corporation Multi-resolution geometry
US6532311B1 (en) 1999-02-26 2003-03-11 Lockheed Martin Corporation Image browser
JP4632531B2 (ja) * 2000-12-18 2011-02-16 株式会社バンダイナムコゲームス ゲームシステム、情報記憶媒体及びゲームシステムの制御方法
US6953249B1 (en) 2001-01-29 2005-10-11 Maguire Jr Francis J Method and devices for displaying images for viewing with varying accommodation
JP2003016375A (ja) * 2001-06-29 2003-01-17 Matsushita Electric Works Ltd 対話型シミュレーションシステム、そのプログラム、シミュレーション支援方法
JP2004005452A (ja) * 2002-04-16 2004-01-08 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、半導体デバイス、コンピュータプログラム、記録媒体
ITTO20030662A1 (it) 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
US7173619B2 (en) * 2004-07-08 2007-02-06 Microsoft Corporation Matching digital information flow to a human perception system
EP1720357A1 (de) * 2005-05-04 2006-11-08 Swisscom Mobile AG Verfahren und Vorrichtung zur Übermittlung von Videodaten mit Komprimierung basierend auf Blickrichtung nach Augenverfolgungsverfahren
KR100818286B1 (ko) * 2006-11-23 2008-04-01 삼성전자주식회사 안개 효과를 고려하여 3차원 그래픽스 데이터를 렌더링하는방법 및 장치
JP5003252B2 (ja) * 2007-04-04 2012-08-15 凸版印刷株式会社 画像表示装置及び画像表示方法
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
TW201634974A (zh) * 2015-03-26 2016-10-01 Chipone Technology Beijing Co Ltd 頭戴式顯示系統及影像低頻寬傳輸方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0499874A3 (en) * 1986-09-11 1992-10-28 Hughes Aircraft Company Digital visual and sensor simulation system for generating realistic scenes
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
US5293187A (en) * 1992-02-05 1994-03-08 Biocontrol Systems, Inc. Method and apparatus for eye tracking for convergence and strabismus measurement
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JP3318680B2 (ja) * 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
US5394483A (en) * 1992-06-30 1995-02-28 Eastman Kodak Co Method and apparatus for determining visually perceptible differences between images
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5345281A (en) * 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5400177A (en) * 1993-11-23 1995-03-21 Petitto; Tony Technique for depth of field viewing of images with improved clarity and contrast

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188149B2 (en) 2018-02-09 2021-11-30 University Of Fukui Image display device using retinal scanning display unit and method thereof

Also Published As

Publication number Publication date
EP0666547A2 (en) 1995-08-09
US5715384A (en) 1998-02-03
JPH07220114A (ja) 1995-08-18
DE69521155T2 (de) 2001-10-31
EP0666547B1 (en) 2001-06-06
EP0666547A3 (en) 1996-01-31
DE69521155D1 (de) 2001-07-12

Similar Documents

Publication Publication Date Title
JP3143558B2 (ja) 画像表示方法および装置
US10775886B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US11314325B2 (en) Eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10720128B2 (en) Real-time user adaptive foveated rendering
US10169846B2 (en) Selective peripheral vision filtering in a foveated rendering system
US6414681B1 (en) Method and apparatus for stereo image display
JP3124999B1 (ja) レンダリング方法及び装置、ゲーム装置、並びに仮想空間内のオブジェクトの陰影に関するデータを計算するためのプログラムを格納するコンピュータ読み取り可能な記録媒体
JPH07146952A (ja) 3次元画像処理装置
CN114026603B (zh) 渲染计算机生成现实文本
CN115713783A (zh) 图像渲染方法、装置、头戴显示设备和可读存储介质
JP6849826B2 (ja) 画像処理装置および表示画像生成方法
JP4125251B2 (ja) 情報処理方法および装置
JP4204713B2 (ja) 三次元モデルの表示方法と、これを実現するプログラムが記憶されたコンピュータにより読み取り可能な記憶媒体
JP2677233B2 (ja) コンピュータグラフィックス表示方法
CN115914603A (zh) 图像渲染方法、头戴显示设备和可读存储介质
EP3467637B1 (en) Method, apparatus and system for displaying image
JP3586253B2 (ja) テクスチャマッピングプログラム
JP3061704B2 (ja) 情報処理装置
JPH09305156A (ja) 映像表示方法及び装置
JPH05342368A (ja) 3次元画像生成方法及び装置
JPH0981771A (ja) 画像表示装置
JPH06259573A (ja) 3次元グラフィックスデータ生成装置
JPH08266464A (ja) 眼光学系のシミュレーション装置
CN115761089A (zh) 图像渲染方法、装置、头戴显示设备和可读存储介质
JP4216901B1 (ja) 静的視野計

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20000711

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20001121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees