JP3478606B2 - 立体画像表示方法および装置 - Google Patents

立体画像表示方法および装置

Info

Publication number
JP3478606B2
JP3478606B2 JP24625494A JP24625494A JP3478606B2 JP 3478606 B2 JP3478606 B2 JP 3478606B2 JP 24625494 A JP24625494 A JP 24625494A JP 24625494 A JP24625494 A JP 24625494A JP 3478606 B2 JP3478606 B2 JP 3478606B2
Authority
JP
Japan
Prior art keywords
image
viewpoint
operator
eye
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24625494A
Other languages
English (en)
Other versions
JPH08111877A (ja
Inventor
登志一 大島
裕之 山本
晋二 内山
秀行 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP24625494A priority Critical patent/JP3478606B2/ja
Priority to US08/529,460 priority patent/US6414681B1/en
Publication of JPH08111877A publication Critical patent/JPH08111877A/ja
Application granted granted Critical
Publication of JP3478606B2 publication Critical patent/JP3478606B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、立体画像表示方法およ
び装置に関し、特に、コンピュータによってフォント・
平面図形・立体形状などの幾何図形データとその色や模
様などの属性データ、および照明に関するデータ・投影
に関するデータなどの情景記述データを解釈して、毎秒
数フレーム以上の短い時間間隔で新しい立体画像を計算
・生成し、表示画面を逐次更新する実時間型の立体画像
表示方法および装置に関するものである。
【0002】
【従来の技術】従来、動画等を表示する実時間型の立体
画像生成表示は、操作者が表示画面上の何処を注視して
いるかに関わらず、画面上に表示される画像全域を同一
の画像生成アルゴリズムによって生成していた。
【0003】ところで、実時間型の立体画像生成表示に
おいては、立体表示する画像の質よりも実時間性の方が
一般的に優先度が高く、実時間性を確保するために、画
像生成アルゴリズムの簡略化などを行って計算負荷を軽
減する必要がある。
【0004】
【発明が解決しようとする課題】このとき、前述のよう
な従来の方式では、画像生成アルゴリズムを簡略化する
と画像全域にわたって一様に画質が低下するため、画像
の質の低下を操作者に明確に知覚させてしまう欠点があ
った。
【0005】従来方式のこのような欠点により、実時間
性を維持しつつ良好な画質を確保するためには、高価な
画像生成専用の高速計算機を使用しなければならなかっ
た。また、それでも十分な画質を得られない場合も多か
った。
【0006】ところで、左右の二眼で物体を観察する
時、図23に示す物体Aのように、注視しようとする物
体の右眼像と左眼像の対応点が一致するように、「輻輳
運動」と呼ばれる眼球運動が働く。これによって、注視
する物体は、単一の立体像として知覚される。
【0007】一方、図23に示す物体Bのように、注視
点の前後にずれて位置する物体の左右の像は、注視点と
異なる視差を持つため対応点がずれて、実体感の乏しい
あいまいな二重像として知覚される。
【0008】これは、意識しなくとも日常的に体験して
いる現象である。幾何学的には、図24に示すように、
両眼位置と注視点を通過する円周(Vieth−Mul
lerの理論的ホロプター円という)上にある点は、注
視点と等しい視差となり、左右の像が融合して単一像に
見える。なお、実際には、ある程度のずれを許容する領
域があり、これを「Penumの融像領域」(畑田豊
彦:立体映像の視覚心理、映像情報、Vol.20,N
o.1,pp.27−38,1988.による)とい
う。
【0009】本発明は前述の問題点にかんがみ、画像全
体の計算負荷を軽減して実時間性を維持したまま、より
良好な立体画像を操作者に提示できるようにすることを
目的とする。
【0010】
【0011】
【0012】
【0013】
【課題を解決するための手段】本発明の画像表示方法
は、立体表示画面を観察している操作者の左右の眼の視
点位置を、表示しようとする図形の幾何情報を定義して
いる3次元空間の座標系に基いて求める第1の手順と、
前記操作者の左右の眼の注視方向がなす角度である輻輳
角を求める第2の手順と、前記表示しようとする図形の
3次元位置から前記第1の手順で求めた操作者の左右の
眼の位置へ向かう二つの半直線がなす角度を求める第3
の手順と、前記第2の手順で求めた輻輳角と前記第3の
手順で求めた角度との差の絶対値を求める第4の手順
と、前記第4の手順で求めた角度差に基いて、前記図形
に対する融像領域及び視覚分解能を決定する第5の手順
と、前記第5の手順により決定した融像領域及び視覚分
解能に基いて、前記融像領域については高精細画像を生
成し、前記融像領域外の画像については、異なる画像生
成アルゴリズムを用いて視覚分解能に応じた画像を生成
するとともに、そのパラメータを図形ごとに決定する第
6の手順と、前記第6の手順で決定した手順とパラメー
タとによって、各図形について右視点位置を投影中心と
する右視点画像と左視点位置を投影中心とする左視点画
像とを生成する第7の手順と、前記第7の手順により生
成した左右2枚の画像対を立体表示する第8の手順とを
備えることを特徴としている。
【0014】また、本発明の画像表示方法のその他の特
徴とするところは、前記第1の手順は、前記操作者の頭
部に任意の基準座標系を設定して固定する第1のステッ
プと、前記基準座標系での左右の眼の視点位置を測定し
て記録しておく第2のステップと、前記表示装置の位置
および方向を基準として、前記操作者の頭部の基準座標
系原点の位置および姿勢を計測する第3のステップと、
前記計測基準点を原点とした左右の眼の位置座標を基準
点の位置座標に加算することによって、表示装置を基準
とした左右の眼の視点位置を決定する第4のステップ
と、前記表示装置の座標系と表示する図形データの定義
座標系との間の相対的な座標変換を、先に求めた視点位
置に適用することによって、図形の定義空間における左
右の眼の視点位置を求める第5のステップとを具備して
いる。
【0015】また、本発明の画像表示方法のその他の特
徴とするところは、前記第2の手順は、操作者の左右の
眼の視線方向を計測し、左右の眼の2つの視線方向がな
す角度によって輻輳角を決定することを特徴としてい
る。
【0016】また、本発明の画像表示方法のその他の特
徴とするところは、前記第2の手順は、前記表示装置を
基準として操作者の利き目側の視線方向を計測する第1
の処理と、前記第1の手順で求めた利き目側の視点位置
を始点とする利き目側の視線方向と、表示されている図
形との交点の図形が定義されている空間における3次元
位置を求める第2の処理と、前記交点の位置から操作者
の両眼位置へ向かう2つの半直線がなす角度を輻輳角と
して決定する第3の処理とを行うことを特徴としてい
る。
【0017】また、本発明の画像表示方法のその他の特
徴とするところは、立体画像表示画面の左眼の注視点位
置である、左視点画像上の左眼視線方向と立体画像表示
画面とが交差する点の位置と、立体画像表示画面の右眼
の注視点位置である、右視点画像上の右眼視線方向と画
像表示画面とが交差する点の位置に、注視点を示すマー
クとして、左右の画像で同じ形状と色を持つ十字型・点
・文字の図形あるいは記号を重畳表示することを特徴と
している。
【0018】また、本発明の画像表示方法のその他の特
徴とするところは、前記第5の手順は、前記第4の手順
により求めた角度差が0のときにおける視覚分解能を最
大として定める基準値で正規化した時の値を視覚分解能
の代表値として使用することを特徴としている。
【0019】また、本発明の立体画像表示装置は、立体
表示画面を観察している操作者の左右の眼の視点位置
を、表示しようとする図形の幾何情報を定義している3
次元空間の座標系に基いて求める第1の手段と、前記操
作者の左右の眼の注視方向がなす角度である輻輳角を求
める第2の手段と、前記表示しようとする図形の3次元
位置から前記第1の手段で求めた操作者の左右の眼の位
置へ向かう二つの半直線がなす角度を求める第3の手段
と、前記第2の手段で求めた輻輳角と前記第3の手段で
求めた角度との差の絶対値を求める第4の手段と、前記
第4の手段で求めた角度差に基いて、前記図形に対する
融像領域及び視覚分解能を決定する第5の手段と、前記
第5の手段により決定した融像領域及び視覚分解能に基
いて、該融像領域については高精細画像を生成し、前記
融像領域外の画像については、異なる画像生成アルゴリ
ズムを用いて視覚分解能に応じた画像を生成するととも
に、そのパラメータを図形ごとに決定する第6の手段
と、前記第6の手段で決定した手順とパラメータとによ
って、各図形について右視点位置を投影中心とする右視
点画像と左視点位置を投影中心とする左視点画像とを生
成する第7の手段と、前記第7の手段により生成した左
右2枚の画像対を立体表示する第8の手段とを備えるこ
とを特徴としている。
【0020】また、本発明の画像表示装置の他の特徴と
するところは、前記第1の手段は、前記操作者の頭部に
任意の基準座標系を設定して固定する第1のステップ
と、前記基準座標系での左右の眼の視点位置を測定して
記録しておく第2のステップと、前記表示装置の位置お
よび方向を基準として、前記操作者の頭部の基準座標系
原点の位置および姿勢を計測する第3のステップと、前
記計測基準点を原点とした左右の眼の位置座標を基準点
の位置座標に加算することによって、表示装置を基準と
した左右の眼の視点位置を決定する第4のステップと、
前記表示装置の座標系と表示する図形データの定義座標
系との間の相対的な座標変換を、先に求めた視点位置に
適用することによって、図形の定義空間における左右の
眼の視点位置を求める第5のステップとを具備してい
る。
【0021】また、本発明の画像表示装置のその他の特
徴とするところは、前記第2の手段は、操作者の左右の
眼の視線方向を計測し、左右の眼の2つの視線方向がな
す角度によって輻輳角を決定することを特徴としてい
る。
【0022】また、本発明の画像表示装置のその他の特
徴とするところは、前記第2の手段は、前記表示装置を
基準として操作者の利き目側の視線方向を計測する第1
の処理と、前記第1の手段で求めた利き目側の視点位置
を始点とする利き目側の視線方向と、表示されている図
形との交点の図形が定義されている空間における3次元
位置を求める第2の処理と、前記交点の位置から操作者
の両眼位置へ向かう2つの半直線がなす角度を輻輳角と
して決定する第3の処理とを行うことを特徴としてい
る。
【0023】また、本発明の画像表示装置のその他の特
徴とするところは、立体画像表示画面の左眼の注視点位
置である、左視点画像上の左眼視線方向と立体画像表示
画面とが交差する点の位置と、立体画像表示画面の右眼
の注視点位置である、右視点画像上の右眼視線方向と画
像表示画面とが交差する点の位置に、注視点を示すマー
クとして、左右の画像で同じ形状と色を持つ十字型・点
・文字の図形あるいは記号を重畳表示することを特徴と
している。
【0024】また、本発明の画像表示装置のその他の特
徴とするところは、前記第5の手段は、前記第4の手段
により求めた角度差が0のときにおける視覚分解能を最
大として定める基準値で正規化した時の値を視覚分解能
の代表値として使用することを特徴としている。
【0025】
【作用】本発明は前記技術手段よりなるので、融像領域
と、前記融像領域から外れた領域とで異なる画像生成ア
ルゴリズムおよびパラメータを用いることができるよう
になり、前記融像領域からの離れ具合に応じて画像を生
成することができる。したがって、人間の視覚特性を利
用し、融像領域の画像を高度なアルゴリズムで生成する
ようにするとともに、前記融像領域から外れた領域の画
像を、相対的に負荷の軽いアルゴリズムで生成すること
が可能となり、これにより、画像全体の計算負荷を軽減
して実時間性を維持したまま、より良好な立体画像を操
作者に提示することができるようになる。
【0026】
【実施例】以下、本発明の画像表示方法および装置の第
1の実施例を図面を参照しながら説明する。
【0027】この第1の実施例の実時間型の立体画像表
示装置においては、操作者が頭部に装着した位置姿勢検
出装置と、左右両眼付近に装着した二つの眼球運動検出
装置とによって、頭部の位置と姿勢、および左右両眼の
視線方向を計測し、計測した情報を入力するようにして
いる。
【0028】そして、これらの情報を基に、立体表示装
置の画面を基準にした左右両眼の視点位置と視線方向と
を算出する。さらに、この視点位置の幾何情報を、表示
する図形を定義している3次元空間の座標系を基準とし
た表現に座標変換する。
【0029】次に、左右両眼の視線方向がなす角度を計
算し、これを輻輳角として決定するようにしている。さ
らに、表示する図形単位の代表点の3次元位置から両眼
位置へ向かう二つの半直線がなす角度を求め、この角度
と輻輳角との差の絶対値を計算する。
【0030】そして、この角度差が大きくなるにしたが
って減衰する視覚分解能を図形ごとに決定し、視覚分解
能の高低によって、図形単位の画像を生成するアルゴリ
ズムとその制御パラメータを各図形単位ごとに選択す
る。
【0031】なお、画像生成アルゴリズムの選択と制御
パラメータの決定にあたっては、視覚分解能が高い図形
単位の画像の画質を高く、視覚分解能が低い図形単位の
画像の計算負荷を低く抑えるように選択する。これによ
り、操作者が知覚する画像の質を高く維持したまま、画
像全体として計算負荷を大きく軽減することができるよ
うにしている。
【0032】各図形単位の左右視点の画像を、それぞれ
について決定した画像生成アルゴリズムとパラメータに
よって生成し、左右の視点について画面上の注視点位置
に十字カーソルを重ねて描画し、その画像対を立体表示
する。
【0033】以下に、第1の実施例の立体画像表示装置
の動作について具体的に説明する。図1は、第1の実施
例にかかる実時間型の立体画像表示装置の基本構成を表
すブロック図である。
【0034】図1において、101は、画像を操作者に
提示するための立体画像表示装置であり、立体表示機構
を備えたCRT表示装置、LCD表示装置等で構成され
る。立体表示機構としては、レンチキュラ方式、円偏光
による時分割方式、液晶シャッタによる時分割方式等の
いずれでもよい。
【0035】102は、フレームバッファであり、立体
画像表示装置101に表示する画像データを記憶する。
103は、演算装置であり、記憶装置104に記憶され
た処理手順に従って処理を実行し、画像データを生成す
るとともに、各装置の制御を行う。この演算装置103
により生成された画像データは、フレームバッファ10
2に記憶される。
【0036】104は、演算装置103の処理手順およ
び処理に必要な情報を記憶するための記憶装置であり、
演算装置103の処理に要する計算作業用の記憶領域も
提供する。記憶装置104には、図4にて後述するフロ
ーチャートで表される制御プログラムと、描画する図形
に関するデータおよび処理に要するデータとが格納され
る。
【0037】105は、頭部位置計測装置であり、位置
姿勢検出装置107からの信号を解析し、基準信号発生
装置106を基準にした操作者の頭部の位置および姿勢
の情報を演算装置103に入力する。
【0038】106は、位置姿勢検出装置107の基準
となる信号を発生するための基準信号発生装置であり、
107は、頭部の位置および姿勢を検出するための位置
姿勢検出装置である。
【0039】108は、左眼用視線方向計測装置であ
り、左眼用眼球運動検出装置109からの信号を解析
し、頭部を基準にした左眼視線方向の情報を演算装置1
03に入力する。左眼用眼球運動検出装置109は、操
作者の左眼球がどの方向を向いているのかを検出するた
めのものである。
【0040】110は、右眼用視線方向計測装置であ
り、右眼用眼球運動検出装置111からの信号を解析
し、頭部を基準にした左眼視線方向の情報を演算装置1
03に入力する。左眼用眼球運動検出装置111は、操
作者の左眼球がどの方向を向いているのかを検出するた
めのものである。
【0041】図2は、第1の実施例に関わる実時間型の
立体画像生成表示装置を構成する検出装置類の概略配置
について示す図である。図2において、基準信号発生装
置106は、立体画像表示装置101の上部に固定され
る。205は立体画像表示装置101の表示面である。
【0042】立体画像表示装置101に対して、相対的
に位置を固定する他の方法によって基準信号発生装置1
06を配置してもよい。例えば、立体画像表示装置10
1を固定する台の上に基準信号発生装置106を固定す
ることができる。
【0043】また、位置姿勢検出装置107と左右の眼
球運動検出装置109および111は、眼鏡フレーム状
の支持具によって操作者の頭部201に固定される。左
右の眼球運動検出装置109および111は、それぞれ
操作者の左右の眼球の前面に装着される。その他の装置
は、任意の適当な場所に配置されるものとする。
【0044】図3は、検出装置類固定支持具204につ
いて示す図である。検出装置類固定支持具204は、円
偏光フィルタまたは液晶シャッタ機構など、立体画像表
示装置101を立体観察するために必要な左右画像分離
機構を含んでもよい。
【0045】図4は、第1の実施例における立体画像表
示処理の流れを表すフローチャートである。以下に、各
ステップにおける処理の詳細の順を追って説明する。ま
ず、ステップ401において、頭部位置計測装置105
によって、基準信号発生装置106の位置と姿勢とを基
準にした、位置姿勢検出装置107の位置および姿勢を
計測する。
【0046】さらに、位置姿勢検出装置107の位置座
標と姿勢情報とを、表示する図形データを定義している
座標系における表現に座標変換し、これを操作者頭部の
位置座標および姿勢情報とする。
【0047】ステップ402において、操作者の左眼視
点位置202と右眼視点位置203とを、図形データを
定義する座標系を基準として算出する。右眼視点位置2
02および左眼視点位置203について、それぞれ位置
姿勢検出装置107の位置と姿勢とを基準とした相対的
な座標値をオフセットとして予め記憶しておく。
【0048】そして、ステップ401において求めた位
置姿勢検出装置107の位置座標にこれらのオフセット
を加算することによって、左眼視点位置202および右
眼視点位置203を決定する。
【0049】ステップ403において、左眼用眼球運動
検出装置109および右眼眼球運動検出装置111から
の信号をそれぞれ左眼用視線方向計測装置108および
右眼眼用視線方向計測装置110によって解析したベク
トル情報と、ステップ401で求めた操作者頭部の姿勢
情報とによって、図形データを定義する座標系を基準と
した左眼視線方向501および右眼視線方向502とを
算出する。図5に操作者の視線方向と画像表示面および
図形等の位置関係を示す。
【0050】ステップ404において、左眼視線方向5
01と右眼眼視線方向502とがなす角度504を求
め、これを輻輳角θとする。ステップ405において、
最初に描画する図形単位のデータを、図6のような形式
で格納してある図形データリストの先頭から選択する。
データリストの各図形データの項目は、図形データの識
別番号、図形の種類、図形の幾何データ本体などからな
る。
【0051】ステップ406において、左視点位置(左
眼)202から図形定義位置505へ向かう方向506
と、右視点位置(右目)203から図形定義位置505
へ向かう方向507とがなす角度φ508を計算する。
【0052】ステップ407において、輻輳角θと角度
φとの差の絶対値Δθを求める。次に、ステップ408
において、角度差Δθの図形位置505における視覚分
解能αを求める。
【0053】視覚分解能αの値は、図7に示すように、
角度差Δθが数度以内の場合には、図形位置505が融
像領域内にあると判断して、最高値をとるとする。Δθ
の値が増加するに伴い、図形位置505が融像領域を離
れると判断し、視覚分解能αの値を低下させる。本実施
例では、指数関数的に低下すると定義する。
【0054】角度差Δθが0度、すなわち融像領域の中
心における視覚分解能を最高値とし、この時の値を基準
として正規化した値を使用する。また、本実施例では、
最高値を1とする。角度Δθに関する算術関数あるいは
データテーブルとして定義する。
【0055】ステップ409において、視覚分解能の値
によって画像生成アルゴリズムとそのパラメータを選択
する。この選択にあたっては、融像領域に存在する図形
の画像を精密に生成し、融像領域を離れるに従って相対
的に計算負荷を軽くするように配慮する。
【0056】本実施例では、画像生成アルゴリズムとし
て、図8に示すように、視覚分解能が予め設定したしき
い値以下では、スキャンライン法を採用し、設定したし
きい値以上ではレイトレーシング法を採用する。また、
本実施例では、図9に示すようにパラメータとして、図
形データの詳細度を視覚分解能によって変更する。
【0057】レイトレーシング法は、計算負荷は重いが
精密な表現が可能であるため、融像領域付近の描画に適
している。また、スキャンライン法は、表現能力がレイ
トレーシング法よりも制限されるが、計算負荷が軽いた
め、融像領域以外の描画に適している。
【0058】また、しきい値を任意に変更するように構
成してもよい。特に、使用する演算装置103の性能が
比較的低く、レイトレーシング法を高速に実行すること
が困難な場合には、しきい値を非常に大きく設定するよ
うにすればよい。極端な場合としては、視覚分解能がし
きい値を越えないようにしきい値を設定し、スキャンラ
イン法だけを選択するようしても良い。
【0059】本実施例で、視覚分解能により変更するパ
ラメータである図形データの詳細度とは、描画する図形
データの精密さを制御するパラメータである。この詳細
度によって、後述する画像生成ステップにおいて、図形
を構成するポリゴンパッチや線分などの図形要素の数を
段階的に切り替える働きをする。
【0060】ステップ410において、ステップ409
で決定した画像生成アルゴリズムとその制御パラメータ
によって、各図形について左視点位置202を投影中心
とする左視点画像と右視点位置203を投影中心とする
左視点画像とを生成し、フレームバッファ102に蓄積
する。本実施例では、制御パラメータである図形データ
の詳細度により、図10に示すような項目を制御する。
【0061】図10において、描画ポリゴン数は、描画
される図形を構成するポリゴンパッチの数であり、詳細
度が高い時には、図形をより多くのポリゴンパッチによ
って描画することにより、図形をより精密に表現する。
図11の形状1102は、球体を多くのポリゴンによっ
てより精密に近似した例である。
【0062】逆に、詳細度が低い時には、少ないポリゴ
ンパッチによって描画することにより、描画にかかる計
算負荷を軽減する。図11の形状1101は、球体を少
ないポリゴンによって簡略的に表現した例である。
【0063】なお、予め段階的に用意したポリゴンデー
タを描画時に適宜切り替える場合と、自由曲面など非ポ
リゴン系の形式で定義された面を描画時にポリゴンに分
割するときにその分割する大きさを変更する場合とが考
えられる。
【0064】図10のテクスチャ解像度とは、図形の模
様を表現する画像データの画素密度であり、詳細度が高
い時には、画素数をより多くすることによって模様を精
密に表現する。
【0065】図12のテクスチャ1202は、1024
画素X1024画素の解像度の低いテクスチャデータの
例を示す。逆に、詳細度が低い時には、画素数を低減
し、描画に係わる作業用記憶領域を削減し計算負荷を軽
減する。図12のテクスチャ1201は、16画素X1
6画素の解像度の低いテクスチャデータの例を示す。
【0066】ステップ411において、描画すべき図形
全てについて立体画像を生成したか否かを判断し、もし
描画すべき図形がデータリストに残っているならば、ス
テップ412において、データリストから次に描画する
図形単位を選択し、ステップ406からの処理を同様に
繰り返す。
【0067】あるいは、ステップ411の判断におい
て、全ての図形単位について立体画像生成処理を完了し
たならば、ステップ413の注視カーソル描画処理にお
いて、フレームバッファ102に蓄積している左視点画
像の左注視カーソル位置509と、右視点画像の右注視
カーソル位置510に、注視点を示す注視カーソルを重
畳描画する。背景と識別しやすい色および形状で小型
の、左右の画像で同じ属性を持つ図形や文字であるもの
を選択するように配慮する。本実施例では、十字型の黄
色い注視カーソルを採用する。
【0068】そして、次に、ステップ414の立体画像
表示処理において、フレームバッファ102に蓄積され
た右視点画像と左視点画像とを立体画像表示装置101
に提示する。ステップ415において、画像生成表示処
理を終了せよという操作者の指示があるか否かを判断
し、終了指示がなければ、ステップ401からの処理を
繰り返す。また、終了指示があった場合には、処理を終
了する。
【0069】このように、視覚分解能のしきい値に基い
て表現方式を変更することにより、処理が簡潔になる。
また、しきい値を任意に変更できる構成とすることによ
り、表示図形を精密にしたり、大まかにしたりすること
ができ、用途に応じた表示を行うことができる。
【0070】以下、本発明の画像表示方法および装置の
第2の実施例について説明する。第2の実施例の基本構
成は、前述した第1の実施例と同様に図1によって表さ
れる。第2の実施例の検出装置類の配置は、第1の実施
例と同様に図2によって表される。
【0071】第2の実施例における画像生成表示処理の
流れを表すフローチャートは、第1の実施例と同様に図
4によって表され、ステップ409を除く全てのステッ
プにおける処理の詳細は、第1の実施例において説明し
た処理と同様である。
【0072】第2の実施例におけるステップ409の処
理は、その概要としては、第1の実施例と同様である
が、その詳細が異なる。すなわち、ステップ409にお
いて、視覚分解能が予め設定したしきい値以下では、ワ
イヤフレーム表現方式を選択し、しきい値以上では、サ
ーフェス表現方式を選択する。
【0073】ワイヤフレーム表現方式は、ポリゴン形状
をその輪郭によって描画するため表現能力は劣るが計算
負荷が非常に低いため、融像領域以外の部分の表現に適
している。また、サーフェス表現方式は、ワイヤフレー
ム表現に比較すると計算負荷が大きいが、ポリゴン形状
を忠実に表現するので、融像領域部分の描画に適してい
る。また、第1の実施例と同様に、しきい値を任意に変
更するように構成してもよい。
【0074】次に、本発明の第3の実施例について説明
する。第3の実施例の基本構成は、第1の実施例と同様
に図1によって表される。また、第3の実施例の検出装
置の配置は、第1の実施例と同様に、図2によって表さ
れる。
【0075】また、第3の実施例における画像生成表示
処理の流れを表すフローチャートは、第1の実施例と同
様に図4によって表される。なお、図4のフローチャー
トにおいて、ステップ409を除く全てのステップにお
ける処理の詳細は、第1の実施例において説明した処理
と同様である。
【0076】第3の実施例におけるステップ409の処
理は、その概要としては、第1の実施例と同様である
が、その詳細が異なる。すなわち、ステップ409にお
いて、視覚分解能が予め設定したしきい値以下では、テ
クスチャマッピングを省略することにし、しきい値以上
では、テクスチャマッピングを実行するように描画方式
を選択する。
【0077】テクスチャマッピングは、画像生成に要す
る計算負荷が大きいが、画像の質を向上するため、融像
領域部分の表現に適している。また、融像領域外の部分
においてテクスチャマッピングを省略することによっ
て、全体としての計算負荷を大幅に軽減することができ
る。
【0078】次に、本発明の第4の実施例について説明
する。第4の実施例の基本構成は、第1の実施例と同様
に図1によって表される。また、第2の実施例の検出装
置類の配置は、第1の実施例と同様に図2によって表さ
れる。
【0079】第4の実施例における画像生成表示処理の
流れを表すフローチャートは、第1の実施例と同様に図
4によって表される。なお、図4のフローチャートにお
いて、ステップ409を除く全てのステップにおける処
理の詳細は、第1の実施例において説明した処理と同様
である。
【0080】第4の実施例におけるステップ409の処
理は、その概要としては、第1の実施例と同様である
が、その詳細が異なる。すなわち、ステップ409にお
いて、描画時に採用するスムーズシェーディング方式を
切り替える。スムーズシェーディングとは、ポリゴン近
似した曲面形状を描画するとき、ポリゴンの隣接部分を
滑らかに見せるための方式である。
【0081】図13に示すように、視覚分解能が予め設
定した第1のしきい値以下ではフラットシェーディング
方式を選択し、第1のしきい値と第2のしきい値との間
ではグローシェーディング方式を選択し、第2のしきい
値以上ではフォンシェーディング方式を選択する。
【0082】フォンシェーディング方式は、計算負荷が
比較的大きいが、ポリゴンによる曲面近似表現をより効
果的に行うことができ、視覚分解能が高い部分での描画
に適している。一方、フラットシェーディング方式と
は、スムーズシェーディングを行わない方式である。こ
れによると、ポリゴン近似した曲面は角ばって表現され
視覚的には劣るが、計算負荷が小さいので視覚分解能が
低い部分での描画に適している。
【0083】また、グーローシェーディング方式は、計
算負荷および生成画像の質の点で、前述のフォンシェー
ディング方式とフラットシェーディング方式との間に位
置付けられるので、視覚分解能が中くらいの部分での描
画に適している。
【0084】次に、本発明の第5の実施例について説明
する。第5の実施例の基本構成は、第1の実施例と同様
に図1によって表される。また、第5の実施例の検出装
置類の配置は、第1の実施例と同様に図2によって表さ
れる。
【0085】第5の実施例における画像生成表示処理の
流れを表すフローチャートは、第1の実施例と同様に図
4によって表される。なお、図4において、ステップ4
09を除く全てのステップにおける処理の詳細は、第1
の実施例において説明した処理と同様である。
【0086】第5の実施例におけるステップ409の処
理は、その概要としては、第1の実施例と同様である
が、その詳細が異なる。すなわち、ステップ409のパ
ラメータの選択において、レイトレーシング計算を行う
場合の光線の最大反射回数を、視覚分解能が高い時には
十分に大きく、視覚分解能が低い時には小さく選択す
る。
【0087】レイトレーシング方式によって画像を生成
するとき、光線の反射回数を大きくとることによって画
質の高い画像を得ることができ、視覚分解能が高い部分
の描画に適している。一方、視覚分解能が低い部分では
反射回数を減らすことにより計算負荷を軽減する。
【0088】次に、本発明の第6の実施例について説明
する。第6の実施例の基本構成は、第1の実施例と同様
に図1によって表される。また、第6の実施例の検出装
置類の配置は、第1の実施例と同様に図2によって表さ
れる。
【0089】第6の実施例における画像生成表示処理の
流れを表すフローチャートは、第1の実施例と同様に図
4によって表される。図4において、ステップ409を
除く全てのステップにおける処理の詳細は、第1の実施
例において説明した処理と同様である。
【0090】第6の実施例におけるステップ409の処
理は、その概要としては、第1の実施例と同様である
が、その詳細が異なる。すなわち、ステップ409にお
いて、視覚分解能が予め設定したしきい値以上では、描
画する図形を半透明で描画するモードを選択し、一方し
きい値以下では、不透明なものは不透明として描画する
モードを選択する。
【0091】この場合、複雑な内部構造を持つ物体形状
を半透明に描画すると、その内部構造を把握することが
容易になるが、計算負荷が増加する。融像領域でのみ半
透明表示を行い、融像領域外の部分では通常の描画を行
うことで、計算負荷を軽減することができる。
【0092】次に、本発明の第7の実施例について説明
する。第7の実施例における基本構成を図14に示す。
実施例の基本構成は、第1の実施例の基本構成から、片
眼分の眼球運動検出装置と視線方向計測装置とを一組省
略したものである。
【0093】第7の実施例における装置類の概略配置を
図15に示す。実施例の検出装置類の概略配置は、第1
の実施例の配置から、操作者の利き目ではない側の眼に
関する眼球運動検出装置と視線方向計測装置とを排除し
た配置である。
【0094】なお、利き目については、予め操作者がど
ちらが利き目であるかを既知の方法で認識し、図16に
示すように、眼鏡フレームの利き目側に眼球運動検出装
置109を固定する。
【0095】第7の実施例における画像生成表示処理の
流れを表すフローチャートは、第1の実施例と同様に図
4によって表され、ステップ403を除く全てのステッ
プにおける処理の詳細は、第1の実施例あるいは、第2
の実施例〜第6の実施例において説明した処理のいずれ
かと同様である。
【0096】実施例では、実際に視線方向を計測するの
は利き目側のみであるため、ステップ403では、足り
ないパラメータを仮定によって補い、もう一方の眼の視
線方向も決定する。
【0097】次に、ステップ403の処理の詳細につい
て説明する。ステップ403においては、利き目202
(または203)の反対側の視線方向502(または5
01)は、常に、利き目が注視している点503を向い
ていると仮定する。
【0098】この仮定により、利き目202(または2
03)の視線方向501(または502)と注視点50
3が定まれば、利き目の反対側の視線方向502(また
は501)も決定することができる。
【0099】まず、利き目側の視線方向は、利き目側に
装着した眼球運動検出装置109からの信号を左眼用視
線方向計測装置108によって解析したベクトル情報
と、ステップ401で求めた操作者頭部の姿勢情報とに
よって図形データを定義する座標系を基準とした利き目
側視線方向501(または502)を算出する。
【0100】次に、利き目視点位置202(または20
3)を始点とした利き目側視線501(または502)
と全ての図形データとの交点のうち、最も利き目視点位
置に近い点を算出し、この点を注視位置503とする。
【0101】そして、利き目と反対側の眼の始点位置2
03(または202)を始点として注視位置503へ向
かうベクトルを、利き目の反対側の視線方向502(ま
たは501)として決定する。このようにして、ステッ
プ403において、左右両眼の視線方向501および5
02を決定する。
【0102】次に、本発明の第8の実施例について説明
する。第8の実施例における基本構成を図17に示す。
実施例の基本構成は、第1の実施例の基本構成から、両
眼の眼球運動検出装置109と111、および左右の視
線方向計測装置108と110とを全て省略したもので
ある。
【0103】第8の実施例における装置類の概略配置を
図18に示す。図18に示したように、この第8の実施
例の検出装置類の配置は、図19に示すように、第1の
実施例の検出装置類固定支持具204から眼球運動検出
装置109と111を取り外し、視線方向計測装置10
8と111を排除した配置と同様である。
【0104】第8の実施例における画像生成表示処理の
流れを表すフローチャートは、第1の実施例と同様に図
4によって表され、ステップ403を除く全てのステッ
プにおける処理の詳細は、第1の実施例において説明し
た処理と同様である。
【0105】しかし、第8の実施例では、両眼共に、実
際の視線方向を計測しないため、ステップ403では、
足りないパラメータを仮定によって補う形で、両眼の視
線方向を決定するようにしている。
【0106】次に、第8の実施例において行われるステ
ップ403の処理の詳細について説明する。ステップ4
03においては、利き目202(または203)の視線
方向501(または502)は、常に、操作者頭部20
1の正面方向を向いていると仮定する。
【0107】この仮定により、操作者頭部の姿勢情報が
定まれば、利き目の視線方向も定まる。また、利き目の
反対側の眼の視線方向については、前述した第7の実施
例で説明したステップ403の処理によって、利き目側
視線方向を基に算出することができる。
【0108】次に、本発明の第9の実施例について説明
する。先ず、第9の実施例における基本構成を、図20
に示す。この第9の実施例の基本構成は、第1の実施例
の基本構成に対話操作入力装置2001を追加したもの
である。
【0109】対話操作入力装置2001は、操作者の行
動を画像生成の処理内容に反映させるための装置で、マ
ウス、キーボード、ダイアルボックス、3次元位置セン
サ、視線入力装置、音声入力装置などがある。
【0110】次に、第9の実施例における装置類の配置
を図21に示す。第9の実施例の装置類の配置は、第1
の実施例の装置配置に対話操作入力装置2001を追加
したものである。
【0111】次に、第9の実施例における画像生成表示
処理の流れを表すフローチャートを図22に示す。第9
の実施例のフローチャートでは、第1の実施例のフロー
チャートにステップ2201を追加している。第9の実
施例における処理の詳細は、追加したステップ2201
以外は、第1の実施例と同様であるので、ステップ22
01の処理を詳細に説明する。
【0112】ステップ2201では、前段のステップ4
08で決定した視覚分解能の値αを、操作者の視覚特性
を左右する他の要因を考慮して調整する。考慮する他の
要因としては、まず第一に、人間の視覚には、視野の中
心部では視力が高く、視野の周辺部では視力が低下する
という現象を挙げることができる。
【0113】これを導入するには、視線方向と視点−図
形方向との角度が大きくなるに従い、視覚分解能の値を
小さくするように調整する。第二に、視線方向と視点−
図形方向との相対的な角度が変化する場合に、視力が低
下する現象があり、一般に「動体視力」として知られて
いる。
【0114】この状況は、図形の移動、図形の回転、視
線方向の変化で起こる。これを導入するには、視線方向
と視点−図形方向との相対的な角度の時間変化が大きく
なるに従い、視覚分解能αの値を小さくするように調整
する。
【0115】ステップ2201では、このような視力の
変化を反映させるために、視覚分解能αの値に0以上1
以下の係数を掛けて調整し、画像生成の簡略化による計
算負荷の軽減を図る。これにより、実施例では、操作者
が知覚する画質を高く維持したまま、さらに実時間性を
向上させることができる。
【0116】さらに、その他に考慮すべき状況として、
操作者が入力装置2001によって対話操作を行ってい
る間は、画質よりも対話操作の応答性が要求される場合
がある。この場合、ステップ2201において、対話操
作中には視覚分解能の値をさらに低く調整することによ
り、画像生成の簡略化による応答性の向上を図ることが
できる。
【0117】また、第7の実施例あるいは第8の実施例
に対話操作入力装置2001を追加し、実施例のステッ
プ2201を追加することによって、第7の実施例ある
いは第8の実施例においても本実施例と同様の効果を得
ることができる。
【0118】
【0119】
【0120】
【0121】
【発明の効果】本発明の請求項1,2,3に記載の発明
によれば、三次元空間の座標系において、操作者の視点
を求めることによって図形に対する視覚分解能を決定
し、その視覚分解能に基づいて左右の画像を生成するパ
ラメータを決定するようにしたので、視覚分解能の高い
図形に対しては、高精細な単一の立体像として明確に知
覚できるように画像生成を行い、一方、視覚分解能の低
い領域については、生成画像の精細度を低くして計算負
荷を軽減するとともに、高速処理の実時間処理を実現す
ることができる。すなわち、知覚分解能に基づいて画像
生成の精密さを適応的に可変することができる。
【0122】 また、本発明の請求項4に記載の発明に
よれば、操作者の利き目側視線方向と表示図形との三次
元における位置を検出して左右視線位置を演算している
ので、視線検出演算および装置の簡略化を図ることがで
き、高速の実時間処理にも効果がある。
【0123】 また、本発明の請求項5に記載の発明に
よれば、注視点をマーク表示したので、操作者の認識が
容易となり、また、それによって画像生成状態を正確に
知ることができる。
【0124】 また、本発明の請求項6に記載の発明に
よれば、知覚分解能の情報を正規化して用いているの
で、視線の角度差や、環境の影響を受けない正確な知的
分解能の代表値を求めることができる。
【0125】 また、本発明の請求項7,8,9に記載
の発明によれば、三次元空間の座標系において、操作者
の視点を求めることによって図形に対する知覚分解能を
決定し、その知覚分解能に基づいて画像を生成するパラ
メータを決定するとともに、左右の視点位置に対し、そ
れぞれその投影中心として視点画像を生成することによ
り得た左右の画像対から立体画像を表示するようにした
ので、図形の精細度,詳細度が高い場合には、高精細の
画像を生成してより精密な画像を表現することができ
る。そして、図形の精細度,詳細度が低い場合には、描
画に要する作業領域を削減し、計算負荷を軽減すること
ができ、実時間処理にも大きな効果がある。
【0126】 また、本発明の請求項10に記載の発明
によれば、操作者の利き目側の視線方向と表示図形との
三次元座標における位置を検出して左右視線位置を演算
しているので、視線検出演算および装置の簡略化を図る
ことができ、高速の実時間処理にも効果がある。
【0127】 また、本発明の請求項11に記載の発明
によれば、注視点をマーク表示したので、操作者の認識
が容易となり、また、それによって画像生成状態を正確
に知ることができる。
【0128】 また、本発明の請求項12に記載の発明
によれば、知覚分解能の情報を正規化して用いているの
で、視線の角度差や、環境の影響を受けない正確な視覚
分解能の代表値を求めることが可能となる。
【0129】以上述べたように、本発明の各請求項に記
載された発明によれば、操作者の視点を検出するととも
に、人間の視覚特性を有効に利用して、視点位置に近い
精細度を要する領域については立体画像の生成を高精細
に行い、その反対に、視線位置から離れた精細度をあま
り必要としない部分については画像生成のための計算負
荷を軽減するようにし、装置全体として高速の実時間処
理の可能な立体画像表示を行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例の基本構成を示すブロッ
ク図である。
【図2】第1の実施例における検出装置類の概略配置を
示す図である。
【図3】第1の実施例における検出装置類の固定支持具
を示す図である。
【図4】第1の実施例の処理の流れを表すフローチャー
トである。
【図5】第1の実施例における操作者の視点、および視
線と画像表示面との位置関係を説明する図である。
【図6】第1の実施例における図形データのテーブルの
例を示す図である。
【図7】第1の実施例における視覚分解能曲線の例を示
す特性図である。
【図8】第1の実施例における画像生成アルゴリズムの
選択内容を説明するための図である。
【図9】第1の実施例における画像生成パラメータの選
択について説明するための図である。
【図10】図形データの詳細度による描画図形データの
選択について説明するための図である。
【図11】図形データの詳細度による描画ポリゴン数の
制御について説明するための図である。
【図12】図形データの詳細度によるテクスチャ解像度
の制御について説明するための図である。
【図13】第4の実施例における画像生成アルゴリズム
の選択について説明するための図である。
【図14】第7の実施例の基本構成を示すブロック図で
ある。
【図15】第7の実施例における装置類の配置について
説明する図である。
【図16】第7の実施例における検出装置の装着につい
て説明する図である。
【図17】第8の実施例の基本構成を示すブロック図で
ある。
【図18】第8の実施例における装置類の配置について
説明する図である。
【図19】第8の実施例における検出装置の装着につい
て説明する図である。
【図20】第9の実施例の基本構成を示すブロック図で
ある。
【図21】第9の実施例における装置類の配置について
説明する図である。
【図22】第9の実施例における画像生成処理の流れを
示すフローチャートである。
【図23】融像領域と立体像の融合について説明する図
である。
【図24】ホロプター円について説明する図である。
【符号の説明】
101 立体画像表示装置 102 フレームバッファ 103 演算装置 104 記憶装置 105 頭部位置計測装置 106 基準信号発生装置 107 位置姿勢検出装置 108 左眼用視線方向計測装置 109 左眼用眼球運動検出装置 110 右眼用視線方向計測装置 111 右眼用眼球運動検出装置 204 検出装置類固定支持具 2001 対話操作入力装置
フロントページの続き (72)発明者 田村 秀行 東京都大田区下丸子3丁目30番2号 キ ヤノン株式会社内 (56)参考文献 特開 平4−15772(JP,A) 特開 平4−302381(JP,A) 特開 平6−215092(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 15/00 - 17/50

Claims (12)

    (57)【特許請求の範囲】
  1. 【請求項1】 立体表示画面を観察している操作者の左
    右の眼の視点位置を、表示しようとする図形の幾何情報
    を定義している3次元空間の座標系に基いて求める第1
    の手順と、 前記操作者の左右の眼の注視方向がなす角度である輻輳
    角を求める第2の手順と、 前記表示しようとする図形の3次元位置から前記第1の
    手順で求めた操作者の左右の眼の位置へ向かう二つの半
    直線がなす角度を求める第3の手順と、 前記第2の手順で求めた輻輳角と前記第3の手順で求め
    た角度との差の絶対値を求める第4の手順と、 前記第4の手順で求めた角度差に基いて、前記図形に対
    する融像領域及び視覚分解能を決定する第5の手順と、 前記第5の手順により決定した融像領域及び視覚分解能
    に基いて、前記融像領域については高精細画像を生成
    し、前記融像領域外の画像については、異なる画像生成
    アルゴリズムを用いて視覚分解能に応じた画像を生成す
    るとともに、そのパラメータを図形ごとに決定する第6
    の手順と、 前記第6の手順で決定した手順とパラメータとによっ
    て、各図形について右視点位置を投影中心とする右視点
    画像と左視点位置を投影中心とする左視点画像とを生成
    する第7の手順と、 前記第7の手順により生成した左右2枚の画像対を立体
    表示する第8の手順とを備えることを特徴とする立体画
    像表示方法。
  2. 【請求項2】 前記第1の手順は、前記操作者の頭部に
    任意の基準座標系を設定して固定する第1のステップ
    と、 前記基準座標系での左右の眼の視点位置を測定して記録
    しておく第2のステップと、 前記表示装置の位置および方向を基準として、前記操作
    者の頭部の基準座標系原点の位置および姿勢を計測する
    第3のステップと、 前記計測基準点を原点とした左右の眼の位置座標を基準
    点の位置座標に加算することによって、表示装置を基準
    とした左右の眼の視点位置を決定する第4のステップ
    と、 前記表示装置の座標系と表示する図形データの定義座標
    系との間の相対的な座標変換を、先に求めた視点位置に
    適用することによって、図形の定義空間における左右の
    眼の視点位置を求める第5のステップとを具備すること
    を特徴とする請求項1に記載の立体画像表示方法。
  3. 【請求項3】 前記第2の手順は、操作者の左右の眼の
    視線方向を計測し、左右の眼の2つの視線方向がなす角
    度によって輻輳角を決定することを特徴とする請求項1
    に記載の立体画像表示方法。
  4. 【請求項4】 前記第2の手順は、前記表示装置を基準
    として操作者の利き目側の視線方向を計測する第1の処
    理と、 前記第1の手順で求めた利き目側の視点位置を始点とす
    る利き目側の視線方向と、表示されている図形との交点
    の図形が定義されている空間における3次元位置を求め
    る第2の処理と、 前記交点の位置から操作者の両眼位置へ向かう2つの半
    直線がなす角度を輻輳角として決定する第3の処理とを
    行うことを特徴とする請求項1に記載の立体画像表示方
    法。
  5. 【請求項5】 前記立体表示画面の左眼の注視点位置で
    ある、左視点画像上の左眼視線方向と前記立体表示画面
    とが交差する点の位置と、前記立体表示画面の右眼の注
    視点位置である、右視点画像上の右眼視線方向と前記立
    体表示画面とが交差する点の位置に、注視点を示すマー
    クとして、左右の画像で同じ形状と色を持つ十字型・点
    ・文字の図形あるいは記号を重畳表示することを特徴と
    する請求項1に記載の立体画像表示方法。
  6. 【請求項6】 前記第5の手順は、前記第4の手順によ
    り求めた角度差が0のときにおける視覚分解能を最大と
    して定める基準値で正規化した時の値を視覚分解能の代
    表値として使用することを特徴とする請求項1に記載の
    立体画像表示方法。
  7. 【請求項7】 立体表示画面を観察している操作者の左
    右の眼の視点位置を、表示しようとする図形の幾何情報
    を定義している3次元空間の座標系に基いて求める第1
    の手段と、 前記操作者の左右の眼の注視方向がなす角度である輻輳
    角を求める第2の手段と、 前記表示しようとする図形の3次元位置から前記第1の
    手段で求めた操作者の左右の眼の位置へ向かう二つの半
    直線がなす角度を求める第3の手段と、 前記第2の手段で求めた輻輳角と前記第3の手段で求め
    た角度との差の絶対値を求める第4の手段と、 前記第4の手段で求めた角度差に基いて、前記図形に対
    する融像領域及び視覚分解能を決定する第5の手段と、 前記第5の手段により決定した融像領域及び視覚分解能
    に基いて、前記融像領域については高精細画像を生成
    し、前記融像領域外の画像については、異なる画像生成
    アルゴリズムを用いて視覚分解能に応じた画像を生成す
    るとともに、そのパラメータを図形ごとに決定する第6
    の手段と、 前記第6の手段で決定した手順とパラメータとによっ
    て、各図形について右視点位置を投影中心とする右視点
    画像と左視点位置を投影中心とする左視点画像とを生成
    する第7の手段と、 前記第7の手段により生成した左右2枚の画像対を立体
    表示する第8の手段とを備えることを特徴とする立体画
    像表示装置。
  8. 【請求項8】 前記第1の手段は、前記操作者の頭部に
    任意の基準座標系を設定して固定する第1のステップ
    と、 前記基準座標系での左右の眼の視点位置を測定して記録
    しておく第2のステップと、 前記表示装置の位置および方向を基準として、前記操作
    者の頭部の基準座標系原点の位置および姿勢を計測する
    第3のステップと、 前記計測基準点を原点とした左右の眼の位置座標を基準
    点の位置座標に加算することによって、表示装置を基準
    とした左右の眼の視点位置を決定する第4のステップ
    と、 前記表示装置の座標系と表示する図形データの定義座標
    系との間の相対的な座標変換を、先に求めた視点位置に
    適用することによって、図形の定義空間における左右の
    眼の視点位置を求める第5のステップとを具備すること
    を特徴とする請求項7に記載の立体画像表示装置。
  9. 【請求項9】 前記第2の手段は、操作者の左右の眼の
    視線方向を計測し、左右の眼の2つの視線方向がなす角
    度によって輻輳角を決定することを特徴とする請求項7
    に記載の立体画像表示装置。
  10. 【請求項10】 前記第2の手段は、前記表示装置を基
    準として操作者の利き目側の視線方向を計測する第1の
    処理と、 前記第1の手段で求めた利き目側の視点位置を始点とす
    る利き目側の視線方向と、表示されている図形との交点
    の図形が定義されている空間における3次元位置を求め
    る第2の処理と、 前記交点の位置から操作者の両眼位置へ向かう2つの半
    直線がなす角度を輻輳角として決定する第3の処理とを
    行うことを特徴とする請求項7に記載の立体画像表示装
    置。
  11. 【請求項11】 前記立体表示画面の左眼の注視点位置
    である、左視点画像上の左眼視線方向と前記立体表示画
    面とが交差する点の位置と、前記立体表示画面の右眼の
    注視点位置である、右視点画像上の右眼視線方向と前記
    立体表示画面とが交差する点の位置に、注視点を示すマ
    ークとして、左右の画像で同じ形状と色を持つ十字型・
    点・文字の図形あるいは記号を重畳表示することを特徴
    とする請求項7に記載の立体画像表示装置。
  12. 【請求項12】 前記第5の手段は、前記第4の手段に
    より求めた角度差が0のときにおける視覚分解能を最大
    として定める基準値で正規化した時の値を視覚分解能の
    代表値として使用することを特徴とする請求項7に記載
    の立体画像表示装置。
JP24625494A 1994-10-12 1994-10-12 立体画像表示方法および装置 Expired - Fee Related JP3478606B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP24625494A JP3478606B2 (ja) 1994-10-12 1994-10-12 立体画像表示方法および装置
US08/529,460 US6414681B1 (en) 1994-10-12 1995-09-18 Method and apparatus for stereo image display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24625494A JP3478606B2 (ja) 1994-10-12 1994-10-12 立体画像表示方法および装置

Publications (2)

Publication Number Publication Date
JPH08111877A JPH08111877A (ja) 1996-04-30
JP3478606B2 true JP3478606B2 (ja) 2003-12-15

Family

ID=17145794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24625494A Expired - Fee Related JP3478606B2 (ja) 1994-10-12 1994-10-12 立体画像表示方法および装置

Country Status (2)

Country Link
US (1) US6414681B1 (ja)
JP (1) JP3478606B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257127A (ja) * 2007-04-09 2008-10-23 Toppan Printing Co Ltd 画像表示装置及び画像表示方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6762794B1 (en) * 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
GB2363273A (en) * 2000-06-09 2001-12-12 Secr Defence Computation time reduction for three dimensional displays
FI112279B (fi) * 2001-11-21 2003-11-14 Mapvision Oy Ltd Menetelmä vastinpisteiden määrittämiseksi
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
US7086735B1 (en) * 2005-05-27 2006-08-08 Anthony Italo Provitola Enhancement of visual perception
US7073908B1 (en) * 2005-01-11 2006-07-11 Anthony Italo Provitola Enhancement of depth perception
CA2593243A1 (en) * 2005-01-11 2006-07-20 Anthony I. Provitola Enhancement of visual perception
US7697751B2 (en) * 2005-12-29 2010-04-13 Graphics Properties Holdings, Inc. Use of ray tracing for generating images for auto-stereo displays
US7612795B2 (en) 2006-05-12 2009-11-03 Anthony Italo Provitola Enhancement of visual perception III
US7545405B2 (en) * 2006-05-12 2009-06-09 Anthony Italo Provitola Enhancement of visual perception II
US8531507B2 (en) * 2007-10-16 2013-09-10 Anthony Italo Provitola Enhancement of visual perception IV
DE102007057208A1 (de) * 2007-11-15 2009-05-28 Spatial View Gmbh Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
TWI406694B (zh) * 2010-02-01 2013-09-01 Pixart Imaging Inc 應用於3d互動系統之互動模組及其方法
JP2011165068A (ja) * 2010-02-12 2011-08-25 Nec System Technologies Ltd 画像生成装置、画像表示システム、画像生成方法、及びプログラム
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US8953242B2 (en) 2011-03-31 2015-02-10 Honeywell International Inc. Varible focus stereoscopic display system and method
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US9800864B2 (en) * 2011-07-29 2017-10-24 Sony Mobile Communications Inc. Gaze controlled focusing of stereoscopic content
JP5839907B2 (ja) * 2011-09-15 2016-01-06 キヤノン株式会社 画像処理装置および画像処理方法
JP5920911B2 (ja) * 2011-11-10 2016-05-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN104094197B (zh) * 2012-02-06 2018-05-11 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
JP5873982B2 (ja) * 2012-10-09 2016-03-01 パナソニックIpマネジメント株式会社 3次元表示装置、3次元画像処理装置および3次元表示方法
US10129538B2 (en) * 2013-02-19 2018-11-13 Reald Inc. Method and apparatus for displaying and varying binocular image content
US10543414B2 (en) * 2014-08-28 2020-01-28 Sony Corporation Image processing device and image processing system
US9572488B2 (en) 2014-09-23 2017-02-21 Gn Otometrics A/S Head mountable device for measuring eye movement
DK201470584A1 (en) * 2014-09-23 2016-04-04 Gn Otometrics As Head mountable device for measuring eye movement
US10032299B2 (en) * 2016-04-04 2018-07-24 Samsung Electronics Co., Ltd. Portable image device for generating application images
JP6808357B2 (ja) * 2016-05-25 2021-01-06 キヤノン株式会社 情報処理装置、制御方法、及び、プログラム
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
WO2019150668A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4418993A (en) 1981-05-07 1983-12-06 Stereographics Corp. Stereoscopic zoom lens system for three-dimensional motion pictures and television
JP3318680B2 (ja) * 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
US5383013A (en) 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
US5459605A (en) 1992-12-17 1995-10-17 Paul S. Kempf 3-D endoscope apparatus
US5510831A (en) 1994-02-10 1996-04-23 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using suit scanning of parallax images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257127A (ja) * 2007-04-09 2008-10-23 Toppan Printing Co Ltd 画像表示装置及び画像表示方法

Also Published As

Publication number Publication date
US6414681B1 (en) 2002-07-02
JPH08111877A (ja) 1996-04-30

Similar Documents

Publication Publication Date Title
JP3478606B2 (ja) 立体画像表示方法および装置
JP3619063B2 (ja) 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US5446834A (en) Method and apparatus for high resolution virtual reality systems using head tracked display
EP0607000B1 (en) Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
EP0451875B1 (en) Image displaying system
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
JP3143558B2 (ja) 画像表示方法および装置
US10546429B2 (en) Augmented reality mirror system
CN107516335A (zh) 虚拟现实的图形渲染方法和装置
US20180292971A1 (en) Zero Parallax Drawing within a Three Dimensional Display
CN106959759A (zh) 一种数据处理方法及装置
CN115668100B (zh) 使用眼睛跟踪对激光束扫描显示器进行扭曲
CN111275801A (zh) 一种三维画面渲染方法及装置
KR100381817B1 (ko) 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
JPH06131442A (ja) 3次元虚像造形装置
US20220300120A1 (en) Information processing apparatus, and control method
JPH07200870A (ja) 立体視用3次元画像生成装置
WO2016035724A1 (ja) プログラム、情報処理装置、制御方法及び記録媒体
US6590582B1 (en) Clipping processing method
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
JP2005025563A (ja) 仮想現実感生成方法
JPH0628452A (ja) 3次元画像処理装置
JP5003252B2 (ja) 画像表示装置及び画像表示方法
JP3325323B2 (ja) 表示装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081003

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091003

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091003

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101003

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101003

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees