JP4270347B2 - 距離演算装置 - Google Patents

Description

本発明は、例えばコンピューターグラフィックス等の技術により、３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを配置し、これらのオブジェクトを適宜の画像表示手段を用いて観察することができるようにするための立体画像生成装置に関し、特にそれら複数のオブジェクトのうち特定のものについて適切な視差により違和感や疲労感なく観察することができるようにした立体画像生成装置に適用可能な距離演算装置に関するものである。

近年、ＣＧ（コンピューターグラフィックス）等の技術を用い、３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを生成してそれぞれ静的に或いは動的に配置し、これらのオブジェクトを適宜の画像表示手段を用いて観察することができるようにするための立体画像生成装置の開発が進んでおり、種々のものが提案され、また製造されるに至っている。
このような立体画像生成装置では左眼用画像および右眼用画像の視差がない単なるステレオ表示画像を得るだけの装置に比し、両眼視差を持った２種類の画像をそれぞれ生成する必要があることから、画像生成のための演算過程が複雑となり、所要の画像データを得るまでに多大な時間を要するか、或いは、能力の高いコンピュータが必要とされるのが一般的傾向である。

特開平０７−２３０５５７号公報には、左眼用画像および右眼用画像を生成して観察者の左眼および右眼でそれぞれ観察できるようにして立体視の効果を得るようにした装置において、左眼用画像および右眼用画像を構成するＣＧ画像をフィールド単位でレンダリング（コンピュータ内に入力された３次元のモデリングに対してディスプレイ上に可視化する作業：テレビジョン学会編、オーム社発行「３次元ＣＧ」等参照）することによってレンダリングに掛かる時間を短縮するようにしたＣＧ立体視アニメーションの生成法が提案されている。

一方、立体画像生成装置では、左眼用画像および右眼用画像の視差に対応した輻輳（見ようとする対象に両眼の視線を自然に集中すること：小柳修爾著、オプトロニクス社発行「光学技術用語辞典」等参照）と両画像を観察するための表示装置による画像（光学系によって作られる虚像）から観察者の両眼までの距離、従って眼のピント（調節）との関係に矛盾が生じると、観察者は違和感を感じ且つ疲労が生じる場合もある。また、注目した画像乃至画像の部分について視差が頻繁に変化すると、これもまた観察者の疲労を呼ぶことになる。

特開平０７−１６７６３３号公報には、２台のカメラで２方向から被写体を撮影して記録し、この記録画像を再生して観察するに際しては、注目する被写体の像乃至像部分について、視差が一定となるように表示態様が制御された表示を得るようにした立体画像撮像および表示装置が開示されている。
特開平０７−２３０５５７号公報 特開平０７−１６７６３３号公報

上述した特開平０７−２３０５５７号公報に開示されたＣＧ立体視アニメーションの生成法では、仮想空間内に立体モデリングされたオブジェクトを観察する場合における違和感や疲労感の低減といった視点からの配慮は全く示唆されていない。
また、左眼用画像および右眼用画像を構成するＣＧ画像をフィールド単位でレンダリングするという方法がこの限りで提起されているだけであり、具体的な構成についての開示は無い。

特開平０７−１６７６３３号公報に開示された装置は、画像の両眼視差から観察者が最も広い範囲で被写体の奥行き世界を知覚可能である最適注視点を計算し、この最適注視点が画像表示装置の表示面位置から所定の奥行き方向距離の位置に再現されるように制御するように構成されたものである。このような制御を行うために、左眼用画像および右眼用画像から相関マッチング法を用いて視差地図を演算により求め、更に、当該画像の平均値または画面中央に重みをかけた加重平均値を演算して求める。そして、このようにして求めた視差の平均値を用いて視差制御手段により左眼用画像および右眼用画像に相応するデータの水平位置に係る読み出しのタイミングを制御することにより両画像の水平方向での映出位置を制御している。
しかしながら、この方式ではフレーム毎に画面全体の視差地図を計算するために演算が複雑となり特段高性能のコンピュータを用いてシステムを構成できることができる場合などはともかく、通常は演算結果を得るまでに比較的長い時間を要することになる。

本発明は叙上のような事情に鑑みてなされたものであり、通常のパーソナルコンピュータ等を用いてシステムを構成したとしても演算時間が比較的短く、従って遅滞のない視差の制御或いは輻輳距離の制御が行われ得るこの種の装置を提供できることを目的とする。

上記課題を解決するため、一つの本願発明は：
・画像表示装置に映出された画像を観察する観察者の視線方向を検出するための視線方向検出手段と、
上記視線方向検出手段の検出出力に基づいて視線方向に係る複数の方向角を求める複数方向角決定手段と、
上記複数方向角決定手段により求められた複数の方向角に沿う各直線上にある対象物を決定する対象物決定手段と、
上記対象物決定手段により決定された対象物の奥行き距離を決定する奥行き距離決定手段と、
を備えてなり、
上記複数方向角決定手段は、上記視線方向検出手段が視線方向検出動作を所定時間内に複数回繰り返すことによって得た異なる時刻での複数の検出出力に基づいて該異なる時刻に各対応する複数の視線方向角を決定するように構成され、
上記対象物決定手段は、上記決定された異なる時刻に各対応する複数の視線方向角に沿う各直線上にある対象物を決定するように構成され、
上記奥行き距離決定手段は、上記対象物決定手段により決定された複数の対象物の奥行き距離をそれぞれ求め、次いで、該求められた各距離の逆数をそれぞれ求め、更に、該求められた各逆数の平均値を求めるように構成された演算手段を含んでなる
ことを特徴とする距離演算装置である……〔１〕

上記〔１〕の発明では、上記複数の方向角に沿う各直線上にある対象物を決定し該決定された対象物の奥行き距離を決定するため、ヒトの眼球について通常生じている固視微動のような視線のふらつきによる対象物の決定に係る誤認が回避される。また、上記〔１〕の発明では、複数の対象物の中に無限遠の奥行き距離に該当するようなものが存在していても複数の対象物の平均的な奥行き距離を正確に求めることができる。

また、更に他の一つの本願発明は：
・画像表示装置に映出された画像を観察する観察者の視線方向を検出するための視線方向検出手段と、
上記視線方向検出手段の検出出力に基づいて視線方向に係る複数の方向角を求める複数方向角決定手段と、
上記複数方向角決定手段により求められた複数の方向角に沿う各直線上にある対象物を決定する対象物決定手段と、
上記対象物決定手段により決定された対象物の奥行き距離を決定する奥行き距離決定手段と、
を備えてなり、
上記複数方向角決定手段は、上記視線方向検出手段が視線方向検出動作を所定時間内に複数回繰り返すことによって得た異なる時刻での複数の検出出力に基づいて該異なる時刻に各対応する複数の視線方向角を決定するように構成され、
上記対象物決定手段は、上記決定された異なる時刻に各対応する複数の視線方向角に沿う各直線上にある対象物を決定するように構成され、
上記奥行き距離決定手段は、上記対象物決定手段により決定された複数の対象物の奥行き距離をそれぞれ求め、次いで、該求められた各距離の逆数をそれぞれ求め、更に、該求められた各逆数の平均値をそれぞれ求め、次いで、該各平均値の逆数をそれぞれ求めるように構成された演算手段を含んでなる
ことを特徴とする距離演算装置である……〔２〕

上記〔２〕の発明では、上記複数の方向角に沿う各直線上にある対象物を決定し該決定された対象物の奥行き距離を決定するため、ヒトの眼球について通常生じている固視微動のような視線のふらつきによる対象物の決定に係る誤認が回避される。また、上記〔２〕の発明では、複数の対象物の中に無限遠の奥行き距離に該当するようなものが存在していても複数の対象物の平均的な奥行き距離を正確に求めることができる。

本願発明によれば、通常のパーソナルコンピュータ等を用いてシステムを構成したとしても演算時間が比較的短く対象物の決定の誤認が回避され、従って遅滞のない視差の制御或いは輻輳距離の制御が行われ得るこの種の装置の実現に寄与できる。さらに、複数の対象物の中に無限遠の奥行き距離に該当するようなものが存在しても複数の対象物の平均的な奥行き距離を正確に求めることができる。

以下に、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の基本概念を表したブロック図である。

立体画像生成装置本体（ゲーム機）１は画像表示装置としての頭部装着型画像表示装置（Head Mounted Doialay: ＨＭＤと略記）２とケーブルによって接続されており、ＨＭＤ２側から視線方向検知手段による視線方向信号を受けるように構成されている。
立体画像生成装置本体（ゲーム機）１は、上記視線方向信号に基づいて注目画像である特定オブジェクトとしてのターゲットオブジェクトを決定し、決定した当該ターゲットオブジェクトについて後述する演算によりその距離Ｌobj を算出する。

次に、本発明の実施の形態における一つの方式として、このターゲットオブジェクトの距離Ｌobj に対応した条件下でレンダリング（仮想３次元空間内に配された当該オブジェクトについて、これを立体視するための２つの各２次元投影面上への投影を行なうに相応したデータを求めることにより、同オブジェクトを両眼で立体視できるようにするための処理）を行なうため２次元投影面の位置や向き等についてのレンダリング条件の制御を行った上、同レンダリングを実行して立体表示様のデータを得る。……………………………（Ａ方式）

また、他の一つの方式として、このターゲットオブジェクトの距離Ｌobj に対応してレンダリング条件としては別段の制御を行なうことなくレンダリングを実行し、レンダリングの結果得られたデータについて、後述する画像変換処理を施して立体表示様のデータを得る。………………………（Ｂ方式）

上述したＡ方式またはＢ方式によって得たオブジェクトの像を表わすデータについて、それらオブジェクトの背景画像データを添える処理（後に詳述する「背景貼り込み処理」）を実行した後、この処理によって得たデータをＨＭＤ２側に供給する。

ＨＭＤ２側では上述のようにして供給されたオブジェクトとその背景画像のデータに基づいて立体画像表示部による画像の表示（左右画像の表示素子の表示面に画像を映出する）を行なう。

本発明では、このようにして映出されるターゲットオブジェクトについて既述の視距離と輻輳距離とが等しくなるように左右両画像の表示位置等についてオフセットが付加されるように構成されている。

図２は、３次元画像表示装置としてＨＭＤ２を適用してなる本発明の実施の形態としての立体画像表示装置のシステムを示す図である。

マイクロコンピュータを主要な要素として構成され、アプリケーションプログラムを格納したカードメモリ等のプログラム記録媒体３を装填し、このプログラム記録媒体３に格納されたデータを用いて、図３について後述するように、３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを配置し、これらオブジェクトを立体視するための２つの２次元画像データを生成するための処理を実行するようになされた立体画像生成装置本体４（ゲーム機１）とがＨＭＤ２とケーブル５によって接続されており、データおよび電源の授受を行なうように構成されている。

即ち、ケーブル５を通して、立体画像生成装置本体４側からＨＭＤ２側に、左画像データ、右画像データ、左音声データ、右音声データ、液晶シャッタ駆動信号、動作電源等が供給される。

これら左画像データ、右画像データに基づいてＨＭＤ２の左および右の液晶表示素子の表示面に各該当する画像が映出され、左音声データ、右音声データに基づいてＨＭＤ２の左および右のスピーカ６Ｌ、６Ｒからステレオ音声が発音される。

液晶シャッタ駆動信号は、ＨＭＤ２の左および右の液晶シャッタ機能を不透過状態にして液晶表示素子を画像表示用に機能させる画像表示モードと、液晶シャッタを透過状態にして前方視野を見通すことができるシースルーモードとのいずれかに選択切り換えするための駆動信号である。

一方、ＨＭＤ２側から立体画像生成装置本体４側には、後述する視線方向検知手段からの視線方向信号やＨＭＤ２の装着者の頭部の動き（姿勢）を検出するヘッドモーションセンサ７からのヘッドモーション信号等が供給される。

また、立体画像生成装置本体４には、ゲームコントローラ８がケーブル９によって接続され、このゲームコントローラ８から種々の操作信号が立体画像生成装置本体４側に供給される。

図３は、３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを配置し、これらオブジェクトを立体視するための２つの２次元画像データを生成するための処理を概念的に説明するための模式図である。

図において、上記３次元空間座標（図示省略）が設定された仮想空間（図示の全域）内には、立体モデリングされた複数のオブジェクトとしての三角錐１０と球１１とが配置されている。当該立体画像生成装置内のコンピュータを主とする該当機能部によって、３次元空間座標位置が互いに異なる第１の視点および第２の視点としての左視点１２および右視点１３から各所定の第１の投影面と第２の投影面としての左投影面１４および右投影面１５に上記オブジェクトをそれぞれ投影するに相応した投影演算が実行されて該投影による第１の２次元画像および第２の２次元画像を各表わす第１の２次元画像データおよび第２の２次元画像データがそれぞれ生成される。

３次元ＣＧ画像と呼ばれているものは、一つの視点から見たときの投影図を表示するようにしたものであるが、本発明に該当するものは図３について上述したように２つの視点に各対応した両２次元画像データによって表されるものである。

図４は、立体画像を得るための左画像および右画像について、仮想３次元空間内を表示対象となる２つのオブジェクト（三角錐と球）がそれらの奥行き方向の相対移動する場合、左右両画面内での表示位置が移動する様子を、一般的な立体画像生成法を採った場合について示す図である。

図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐１０と他の一つである球１１とが奥行き方向の相対位置が或る一定の位置に在る場合の左画像および右画像を表している。
同図の（ｂ）部は球１１のみが左視点１２および右視点１３に近づくよう移動した場合の左画像および右画像を表している。
同図の（ｃ）部は球１１のみが左視点１２および右視点１３に更に近づくよう移動した場合の左画像および右画像を表している。

図４の（ａ）部乃至（ｃ）部より理解される通り、球１１のみが左視点１２および右視点１３に近づくよう移動するとき、三角錐１０の像は左右両画面内で移動せず、これに対して球１１の像は左右両画面の中間位置に向けて次第に寄ってくるように移動し且つ大きさも次第に大きくなってゆく。

図５は、図４について説明した左右画像それぞれを左および右表示素子１８、１９の画面に映出し、左および右接眼光学系（レンズ）１６、１７で拡大したときに生成される３次元空間像を示す模式図である。
図より明らかなとおり、左接眼光学系１６および左表示素子１８が左眼球２０に対応し、右接眼光学系１７および右表示素子１９が右眼球２１に対応するように配置されている。

三角錐の像に対して球の像は次第に大きくなって矢線図示のように手前側に飛び出してくるように見えるが、このとき球の像を見る左右両眼の各視線方向の直線が交差する角度である輻輳角も球の像の接近と共に次第に大きくなる。

換言すれば、左右両眼を横に結ぶ直線から左右両眼の視線方向の直線が交差する点までの距離である輻輳距離が次第に短くなる。このようなことが起こると、左右両眼を結ぶ直線から虚像面までの距離である視距離は（左右の表示画面とそれらの各接眼光学系との関係が一定である限り）変化しないにも拘らず輻輳距離だけが変化することとなるため、観察者は視距離と輻輳距離との違いに起因する違和感を感じたり、或いは長時間の観察においては疲労感を覚えたりすることになってしまう。

このような違和感や疲労感を極力抑制するために、移動に伴って像が手前側に飛び出してくる飛び出し量を小さく制限してしまうことも考えられるが、このようにしてしまうと３次元画像としてのインパクトが減殺されてしまう。

次に、輻輳距離の変化量の許容値、すなわち視差量の変化の許容値に係る文献のデータを例示する。
図６は、輻輳と調節（眼の焦点調節の状態如何）との対応関係を示す図である。同図には輻輳−調節と視差量の変化の許容範囲が示されている（文献名「オー プラス イー」（ 0 Plus E ）1985年12月 PP.103 生理光学15）。この図の横軸は輻輳（輻輳角：ＭＷ）で縦軸は調節（視度）（Ｄ：ディオプター）を示す。この図から分かるように輻輳が４ディオプター内の変化量であれば短時間提示で輻輳できる。

図７は、本発明の装置において、３次元画像表示（立体ディスプレイ）を得るための左画像および右画像について、表示対象となる２つのオブジェクト（三角錐と球）がそれらの奥行き方向の相対移動に伴って左右両画面内での表示位置が移動する様子を示す図である。

図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球とが奥行き方向の相対位置が或る一定の位置に在る場合の左画像および右画像を表している。
同図の（ｂ）部は球のみが左視点および右視点に近づくよう移動した場合の左画像および右画像を表している。
同図の（ｃ）部は球のみが左視点および右視点に更に近づくよう移動した場合の左画像および右画像を表している。

図の（ａ）部乃至（ｃ）部より理解される通り、本発明の場合は、球のみが左視点および右視点に近づくよう移動するとき、三角錐の像の方が左右両画面内で両画面の中間位置からの間隔が開いてゆくように移動し、これに対して球の像は左右両画面中でその中心位置を変えないままで大きさが次第に大きくなってゆくように変化する。

図８は、図７について説明した左右画像それぞれを左および右表示素子の画面に映出し、左および右接眼光学系（レンズ）で拡大したときに生成される３次元空間像を示す模式図である。この図８において、既述の図５との対応部には同一の符号を付してある。

通常、左右両眼用の各表示素子を備えた立体画像表示装置では、両眼に係る視差の無い像（オブジェクトの像）については、奥行き距離が無限大に見えることになるが、この実施の形態では、表示装置に視差の無い像を表わす画像データが供給されたときに、同装置の左右両眼用の各表示素子の画面に映出される画像の虚像の位置が、左右両眼を横に結ぶ直線から左右両眼の視線方向の直線が交差する点までの距離（輻輳距離）だけ離隔した位置に等しくなるように、両表示素子（両表示面）とこれに対応する両接眼光学系との位置関係が、前者の中心間の間隔が後者の中心間の間隔より左右とも相互に接近する方向に位置がずらされて（位置に関するオフセットが付加されて）配置されている。（後述の図１３、１４、１５を参考）

図７の（ａ）部から（ｃ）部へと状態が推移すると、球の像が次第に大きくなり、かつ三角錐の像は図８に矢線図示のように球の像に対して相対的に奥行き方向に遠ざかるので結果として観察者には球が手前側に飛び出してくるように見える。しかしながら、球に対する輻輳角は変化しない。

換言すれば、左右両眼を横に結ぶ直線から左右両眼の視線方向の直線が交差する点までの距離である輻輳距離は球の飛び出しに対応して変化するということがない。

従って、この場合での注目すべきオブジェクトである球については、左右両眼を結ぶ直線から虚像面までの距離である視距離と上述の輻輳距離とが一致したまま変化せず、観察者は視距離と輻輳距離との違いに起因する違和感や疲労感が大幅に軽減される。

また、このような違和感や疲労感を極力抑制するために、移動に伴って像が手前側に飛び出してくる飛び出し量を小さく制限することを要しないため、３次元画像としてのインパクトが減殺されてしまう虞れもない。

図９は、本発明の実施の形態としての装置において、ＨＭＤに設けられた後述する視線方向検知手段により視線方向を検出し、この視線方向の情報によって注目画像である特定オブジェクトとしてのターゲットオブジェクトを決定する過程を説明するための模式図である。

図９の（Ａ）部は、ＨＭＤに設けられた視線方向検知手段により視線方向を検出し、この視線方向の情報から規格化された視線方向角のデータを得る過程について説明するための、ＨＭＤ光学系によりオブジェクトの虚像を観察する状況を示す模式図である。

本例でのＨＭＤ２（図２参照）は、左右両眼に対応して各接眼光学系（レンズ）１６、１７が配され、これら左眼用レンズ１６および右眼用レンズ１７によって、各対応する左眼用表示素子および右眼用表示素子としての各ＬＣＤ１８、１９に映出された画像の虚像が観察されるようになされている。
別途説明のように、本例の装置では、視線軸は観察者の両眼のうち左眼について検出されるように構成されている。

左眼用レンズ１６の主点から左表示素子としてのＬＣＤ１８の左右端を見込む画角の１／２の角度、即ち左眼用レンズ１６の主点を頂角としてＬＣＤ１８の右端に向けて引いた直線Ｌr と同ＬＣＤ１８の表示面の中心に向けて引いた直線である左光学視軸Ｌa との開き角度（半画角）がθ、同左光学視軸Ｌa と左視線軸Ｌs との開き角度がψであるとき、規格化された視線方向角ψ／θがＨＭＤ２側における該当する演算手段によって求められ、このψ／θのデータが接続ケーブル５（図２参照）を通して画像表示装置本体４（図２参照）に供給されるように構成される。

尚、以上は説明を簡単にするためにｘ方向（本紙面の面内方向）の視線方向角についてのみ言及したが、ｙ方向（本紙面に直交する面内の方向）の視線方向角についても上記と全く同様に規格化された視線方向角が算出され、このデータが画像表示装置本体４に供給されるように構成される。以下においても、説明を簡単にする便宜上、ｘ方向（本紙面の面内方向）の視線方向角に係る状況についてのみ詳述するが、ｙ方向（本紙面に直交する面内の方向）の視線方向角についても上記と全く同様にして説明され得るものであり、それについての説明は省略する。

上述のように規格化された視線方向角のデータを用いるのは、仮想空間内に設定される一方の視点（左視点）１２からの視野の半画角Θは必ずしもＨＭＤ２側のθとはその絶対値が等しいとは限らないため、その半画角Θの絶対値の如何に拠らず上述のＨＭＤ２側の規格化された視線方向角ψ／θの値に対して仮想空間内での上記半画角Θを乗ずることで、ターゲットオブジェクトの方向、従ってターゲットオブジェクト自体を決定することができるようにするためである。

図９の（Ｂ）部は、３次元空間座標（図示省略）が設定された仮想空間内に立体モデリングされた複数のオブジェクトとしての三角錐と球とが配置されており、図９の（Ａ）部について説明したＨＭＤ２側の規格化された視線方向角ψ／θのデータに基づいてターゲットオブジェクトを識別する過程を説明するための模式図である。

上記仮想空間での左および右視点１２、１３のうち、左視点１２から左投影面１４を見込む画角（左視点からの視野角）の１／２の角度、即ち左視点１２を頂角として左投影面１４の中心に向けて引いた直線と左投影面１４の右端に向けて引いた直線との開き角度（半画角）がΘである。

このとき、ＨＭＤ２側から上述の規格化された視線方向角ψ／θのデータが接続ケーブルを通して立体画像生成装置本体４に供給され、この規格化された視線方向角ψ／θに上記半画角Θを乗ずることで、ターゲットオブジェクトの方向角Ψ（左視点１２を頂角として左投影面１４の中心に向けて引いた直線とターゲットオブジェクトの方向に向けて引いた直線との開き角度）が得られる。

このターゲットオブジェクトの方向角Ψが判ると、立体画像生成装置本体４では自己の保有する各オブジェクトを表わすデータのうち何れのものがこの方向角Ψに該当するものかを認識できることとなる。即ち、ターゲットオブジェクトを決定することができる。

本例では、ターゲットオブジェクトは球であって、この球の左視点１２から見た奥行き方向の位置（距離）がターゲットオブジェクトの距離Ｌobj である。
以上が本発明の実施形態の全体の共通構成についての説明である。

以下、本発明を適用した第１の立体画像表示装置の構成例について説明する。
図１０は、本発明の実施の形態としての装置において、特定の注目オブジェクトに対する視差が一定となるような投影演算を行って左右の各２次元画像データをそれぞれ生成する原理を示す模式図であり、前述の図１のＡ方式の例である。

即ち、仮想空間（図示の全域）内に、立体モデリングされた複数のオブジェクトとしての三角錐１０と球１１とが配置されている場合において、特定の注目オブジェクトであるターゲットオブジェクトを球１１とし、第１の視点および第２の視点としての左視点１２および右視点１３から各対応する第１の投影面と第２の投影面としての左投影面１４および右投影面１５に上記三角錐１０と球１１のオブジェクトをそれぞれ投影するに相応した投影演算を実行するが、このとき、ターゲットオブジェクトである球については、該投影演算による第１の２次元画像および第２の２次元画像に係る視差が、球のオブジェクトの奥行き方向の距離に拠らず一定となるようにされた第１の２次元画像データおよび第２の２次元画像データたる左右の像のデータがそれぞれ生成される。

このような左右の像のデータを生成するために、図示のように、左視点１２および右視点１３と各対応する左投影面１４および右投影面１５のそれぞれの中心点を通る直線である左および右の視軸（この場合、両視軸は各対応する左投影面１４および右投影面１５にそれぞれ垂直である）の交点である視軸交点Ｐisが、左視点１２および右視点１３を結ぶ線分の中点で同線分に立てた垂線上に位置するように、且つ、左視点１２および右視点１３を結ぶ直線から球のオブジェクト（より厳密には、そのうちの注目点であって、この図では球の中心のように想定されている）までの距離であるオブジェクト距離Ｌobj
だけ離隔した位置（図示の直線Ｌd 上）にあるといった状態が維持されるように、左投影面１４および右投影面１５が各対応する左視点１２および右視点１３との距離を一定に保持しつつこれら両視点の回りに旋回させたに相応する演算が実行される。

また、上述の状態において、左視点１２および右視点１３を結ぶ直線から視軸交点Ｐisまでの距離である視軸交点の距離Ｐisd が、常に、上記のオブジェクト距離Ｌobj に等しい。

以上の条件下で、図示のように左投影面１４における右端から球の投影点までの距離ａは、右投影面１５における右端から球の投影点までの距離ａ′に、常に等しくなる。即ち、ターゲットオブジェクト（球乃至そのうちの注目点）に係る投影演算による第１の２次元画像（左画像）および第２の２次元画像（右画像）に係る視差が、球のオブジェクトの奥行き方向の距離に拠らず０となる。

図１１は、図１０を用いて説明したような投影演算を実行して左右の像のデータをそれぞれ生成するまでの情報処理過程を説明するフローチャートである。

この情報処理過程がスタートすると、先ず、仮想空間内に、立体モデリングされた複数のオブジェクト（三角錐と球）が配置されている場合を想定したプログラムがロードされ（ステップＳ１）、次いで、このプログラムが実行される（ステップＳ２）。

当該情報処理機能部に対して、本例の立体画像表示システムに適用される画像表示装置（ＨＭＤ）から、図９について既述の、規格化された視線方向角ψ／θのデータが供給され、このデータに依拠して視線方向変換処理が実行され、ターゲットオブジェクトの方向角Ψが算出され（ステップＳ３）、次いで、この方向角Ψに基づいて特定の注目オブジェクトであるターゲットオブジェクト（球）が決定される（ステップＳ４）。

このようにしてターゲットオブジェクトが決定されると、このターゲットオブジェクトから視点までの距離（左右の視点を結ぶ直線までの距離）Ｌobj が、ステップＳ１でロードされている複数の各オブジェクトを表わすデータの中から該当するデータを検索して演算する如くして求められる（ステップＳ５）。

次に、ターゲットオブジェクトの状態に適合するようにして、図１０を用いて説明したような条件を満たすものとして左右の投影面が決定される（ステップＳ６）。

このようにして左右の投影面が決定されると、この投影面に対して左右の画像の投影演算（レンダリング）が実行される（ステップＳ７）。投影演算の結果得られたデータ（信号）が出力されて、上記画像表示装置（ＨＭＤ）に供給される（ステップＳ８）。

上述のステップＳ８の後、再度ステップＳ３の処理に戻り、その時点での規格化された視線方向角ψ／θのデータに対応してステップＳ３〜ステップＳ８の処理が繰り返し実行される。

図１２は、図９を用いて説明したような本例の立体画像表示システムに適用される画像表示装置（ＨＭＤ）に備えられ、既述の規格化された視線方向角ψ／θのデータを得るように構成された視線方向検出手段２２の構成例を示す模式図である。

本構成例では、視線方向検出手段は観察者の左眼（左眼球２０）に対応して設けられている。図１２の左表示素子としてのＬＣＤ１８は供給された左眼用画像を映出するためのものである。左眼用接眼光学系１６Ｌは自己の底部内面の凹面ミラー１６Ｌａと内部中央に略々対角線状に設けられたハーフミラー１６Ｌｂとを有するプリズムで成る。

視線方向検出手段２２の光源２３は赤外線を投射する各赤外線投射用ＬＥＤを含んで成り、この光源２３からの投射光は上記プリズム（左眼用接眼光学系）１６Ｌのハーフミラー１６Ｌｂで反射されて左眼２０に平行に投射され、その角膜２４からの反射光がハーフミラー１６Ｌｂを透過してレンズ２５を通して光電変換素子２６の光電変換面２６Ｓに入射する。

光電変換面２６Ｓへの入射光の位置に応じた信号の値が視線方向角ψ、即ち、図９について上述の視線軸Ｌs と左光軸Ｌa との開き角度（半画角）に対応するものとなるように構成されている。このψのデータは次段の規格化演算器２７で処理されて、図９について上述の半画角をθとしたときの規格化された視線方向角ψ／θが算出され、このψ／θのデータが接続ケーブルを通して立体画像生成装置本体４（図２）に供給されるように構成される。

図１３は、本発明の実施の形態としてのシステムに適用される頭部装着型画像表示装置（ＨＭＤ）の光学系の構成例を示す模式図である。
図１３において、既述の図８との対応部には同一の符号を付してある。

本構成例では、両接眼光学系（接眼レンズ）１６、１７の主点を通る光軸と表示素子の表示面の中心点との相対位置を特定の関係に置くようにしたものである。即ち、左右両眼２０、２１に各対応する両表示素子１８、１９の表示面の夫々の中心点位置が各対応する接眼光学系（接眼レンズ）１６、１７の主点を通る光軸位置よりも内側に（双方が接近する方向に）等量だけずらされて位置する（図示のように位置的オフセットＳ0 が加えられた）ように構成され、且つ、このオフセット量は上記各接眼光学系（接眼レンズ）１６、１７の主点とこれに各対応する両表示素子１８、１９の表示面の中心を通る両光学視軸の交点が該両光学系による虚像面内の位置となるように選択されている。

このように構成された画像表示装置（ＨＭＤ）に、上記両表示面に表示されるべき画像を表わすデータとして当該立体画像生成装置本体の視差制御手段により、ターゲットオブジェクトについての左右の２次元画像に係る視差が０となるように制御された画像データが供給された場合、このターゲットオブジェクトについて左右両眼を結ぶ直線から虚像面Ｖp までの距離である視距離と輻輳距離とが一致したまま変化せず、観察者は視距離と輻輳距離との違いに起因する違和感や疲労感が大幅に軽減される。

図１４は、本発明の実施の形態としてのシステムに適用される画像表示装置（ＨＭＤ）の光学系の他の構成例を示す模式図である。
図１４においても、既述の図８との対応部には同一の符号を付してある。

既述の図１３のものでは両表示素子の表示面の夫々の中心点位置について位置的オフセットＳ0 が加えられた構成を採ったのに対し、この図１４のものでは両表示素子１８、１９の表示面の各裏面側が相互に向き合う方向に等量だけ適宜に傾けて、各接眼光学系（接眼レンズ）１６、１７の主点とこれに各対応する表示面の中心を通る両光学視軸の交点が該両光学系による虚像面Ｖp
内の位置となるように選択されている。

このように構成された画像表示装置（ＨＭＤ）に、上記両表示面に表示されるべき画像を表わすデータとして当該立体画像生成装置本体の視差制御手段により、ターゲットオブジェクトについての左右の２次元画像に係る視差が０となるように制御された画像データが供給された場合、このターゲットオブジェクトについて左右両眼を結ぶ直線から虚像面Ｖp までの距離である視距離と輻輳距離とが一致したまま変化せず、図１３の形態と同様の作用効果が得られる。

図１５は、本発明の他の実施の形態としてのシステムに適用される画像表示装置（ＨＭＤ）の光学系と画像の表示との関係を示す模式図である。

既述の図１３のものでは両表示素子の表示面の夫々の中心点位置について位置的オフセットＳ0 が加えられた構成を採ったのに対し、この図１５のものでは光学系自体にはこのうようなオフセットが付加されていない。

即ち、この構成例では、左右両表示素子１８、１９の表示面の中心点が両接眼光学系（接眼レンズ）１６、１７の主点を通る光軸上に位置するように構成され、且つ、このような左右両表示素子１８、１９によって映出されるべき画像信号として、その画像信号による画像の中心位置について、図１３で説明したオフセットＳ0 と同様の位置的オフセットが生じるよう予め所定量だけ電気的にシフティングしている。

この図１５の構成例でも、結果的にターゲットオブジェクトについての左右の２次元画像に係る視差が０となるように制御された画像データが供給された場合、このターゲットオブジェクトについて左右両眼を結ぶ直線から虚像面Ｖp までの距離である視距離と輻輳距離とが一致したまま変化せず、図１３の形態と同様の作用効果が得られる。

図１６は、立体画像生成装置が生成する仮想３次元空間内を２つのオブジェクト（三角錐とターゲットオブジェクトである球）がそれらの左右の視点位置を基準にして表したときの奥行き方向の相対移動の様子を示す模式図である。

図１７は、図１６について説明した表示対象となる２つのオブジェクトに対し投影演算を行った後の左画像および右画像について、それらオブジェクトの奥行き方向の相対移動に伴って左右両画面内での表示位置が移動する様子を示す図である。

図において（ア）部は、上記２つのオブジェクト（三角錐と球）について、図１６について説明したようにそれらが奥行き方向に相対移動したとき左右画面内での表示位置が移動する様子を一般的な立体画像生成装置を用いた場合について示す図であり、（イ）部は、上記オブジェクトの同様の相対移動に伴なう左右両画面内での表示位置の移動を、本発明の実施の形態の立体画像生成装置を用いた場合について示す図である。

図の（ア）部について、その（ａ）部は表示対象となるオブジェクトの一つである三角錐とターゲットオブジェクトである球とが奥行き方向の相対位置が或る一定の位置に在る場合の左画像および右画像を表している。

同図（ア）の（ｂ）部は球の方が相対的に手前側に、且つ、三角錐方が相対的に奥側に移動した場合の左画像および右画像を表している。
同図（ア）の（ｃ）部は球の方が相対的に更に手前側に、且つ、三角錐方が相対的に更に奥側に移動した場合の左画像および右画像を表している。

図の（ア）の（ａ）部乃至（ｃ）部より理解される通り、球の方が三角錐に対して相対的に手前側に移動するとき、三角錐の像は左右両画面内で各画面の中央位置に向けて次第に相対的に離れるように移動し、これに対して球の像は左右両画面の中間位置に向けて次第に寄ってくるように移動し且つ大きさも次第に大きくなってゆく。

即ち、ターゲットオブジェクトとして想定された球についても、その奥行き方向の移動に伴って左右の画像の視差が変化している。これは、ターゲットオブジェクトの奥行き方向の移動に伴って、観察者の両眼を結ぶ直線の位置から左右両画像を観察する光学系による虚像面までの位置である視距離と輻輳距離との乖離が大きくなってしまうことを意味している。

一方、図の（イ）部についても（ア）部におけると同様に、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つである球とが奥行き方向の相対位置が或る一定の位置に在る場合の左画像および右画像を表している。

同図（イ）の（ｂ）部は球の方が相対的に手前側に、且つ、三角錐方が相対的に奥側に移動した場合の左画像および右画像を表している。
同図（イ）の（ｃ）部は球の方が相対的に更に手前側に、且つ、三角錐方が相対的に更に奥側に移動した場合の左画像および右画像を表している。

図の（イ）の（ａ）部乃至（ｃ）部より理解される通り、球の方が三角錐に対して相対的に手前側に移動するとき、三角錐の像は左右両画面内で次第に相対的に離れるように移動し、これに対して球の像は左右両画面とも略々その中央位置から大きく移動することがないまま大きさだけが次第に大きくなってゆく。

即ち、ターゲットオブジェクトとして想定された球については、その奥行き方向の移動に伴って左右の画像の視差が変化しない。これは、ターゲットオブジェクトの奥行き方向の移動に伴って、観察者の両眼を結ぶ直線の位置から左右両画像を観察する光学系による虚像面までの位置である視距離と輻輳距離との乖離が極小に抑制され得ることを意味している。

従って、表示面と光学系との位置関係を図１３或いは図１４について説明したように構成することにより、ターゲットオブジェクトの奥行き方向の移動に拠らず、視距離と輻輳距離が略々等しい状態を維持できることになる。

左右の表示面内でのターゲットオブジェクトの位置が画面の略々中央にあって移動しなければ左右両画像の視差は常に０であるため、両画像をそのまま観察したのでは、ターゲットオブジェクトである球については輻輳距離が常に無限遠である場合と同じ状態となってしまう。これに対し、本実施の形態では、表示面と光学系との位置関係を図１３或いは図１４或いは図５について説明したように構成することにより、ターゲットオブジェクトは奥行き位置が有限の適宜の距離にあるように観察され得ることになる。

図１８は、立体画像生成装置が生成する仮想３次元空間内を２つのオブジェクト（三角錐とターゲットオブジェクトである球）がそれらの左右の視点位置を基準にして表したときの奥行き方向の相対移動の様子を示す模式図である。

この図の場合、ターゲットオブジェクトである球は左視点に対応する位置より更に左側の奥手位置から斜め右手前に向かって右視点に対応する位置のところまで移動するように想定されている。

図１９は、図１８について説明した表示対象となる２つのオブジェクトに対し投影演算を行った後の左画像および右画像について、ターゲットオブジェクトの既述のような移動に伴って左右両画面内での表示位置が移動する様子を示す図である。

図１９において（ア）部は、上記２つのオブジェクト（三角錐と球）について、ターゲットオブジェクトである球が図１８について説明したように移動するに伴って左右画面内での表示位置が移動する様子を一般的な立体画像生成装置を適用した場合について示す図であり、（イ）部は、上記オブジェクトの同様の移動に伴なう左右両画面内での表示位置の移動を、本発明の実施の形態の立体画像生成装置を適用した場合について示す図である。

図１９の（ア）部について、（ａ）部は表示対象となるオブジェクトの一つである三角錐とターゲットオブジェクトである球とが奥行き方向の相対位置が略々等しい或る一定の位置（移動前の位置）に在る場合の左画像および右画像を表している。

同図（ア）の（ｂ）部は球の方が斜め右手前側に移動し、且つ、三角錐は元の位置から移動しない場合の左画像および右画像を表している。
同図（ア）の（ｃ）部は球の方が相対的に更に斜め右手前側に移動し、且つ、三角錐は元の位置から移動しない場合の左画像および右画像を表している。

図の（ア）の（ａ）部乃至（ｃ）部より理解される通り、球の方が三角錐に対して相対的に斜め右手前側に移動するとき、三角錐の像は左右両画面内で元の位置を維持し、これに対して球の像は左右両画面でいずれも次第に右側に移動し且つ大きさも次第に大きくなってゆく。そして左画面内における球の像の位置と右画面内における球の像の位置とのずれは大きくなっていく。

即ち、図１７について説明したと同様、ターゲットオブジェクトとして想定された球について、その奥行き方向の移動に伴って左右の画像の視差が変化している。これは、ターゲットオブジェクトの奥行き方向の移動に伴って、観察者の両眼を結ぶ直線の位置から左右両画像を観察する光学系による虚像面までの位置である視距離と輻輳距離との乖離が大きくなってしまうことを意味している。

一方、図の（イ）部についても（ア）部におけると同様に、（ａ）部は表示対象となるオブジェクトの一つである三角錐とターゲットオブジェクトである球とが奥行き方向の相対位置が略々等しい或る一定の位置（移動前の位置）に在る場合の左画像および右画像を表している。

同図（ア）の（ｂ）部は球の方が斜め右手前側に移動し、且つ、三角錐は元の位置から移動しない場合の左画像および右画像を表している。
同図（ア）の（ｃ）部は球の方が相対的に更に斜め右手前側に移動し、且つ、三角錐は元の位置から移動しない場合の左画像および右画像を表している。

図の（イ）の（ａ）部乃至（ｃ）部より理解される通り、球の方が三角錐に対して相対的に右斜め手前側に移動するとき、左画面内における三角錐の像は次第に左手に移動し、右画面内における三角錐の像は次第に右手に移動する。これに対して球の像は左右両画面間で各画面の中央位置と球の中心位置とのずれ量を略々等しく保ちつつ、右側に移動してゆき、且つ、大きさが次第に大きくなってゆく。

即ち、ターゲットオブジェクトとして想定された球については、その奥行き方向の移動に伴って左右の画像の視差が変化しない。これは、ターゲットオブジェクトの奥行き方向の移動に伴って、観察者の両眼を結ぶ直線の位置から左右両画像を観察する光学系による虚像面までの位置である視距離と輻輳距離との乖離が極小に抑制され得ることを意味している。

従って、この場合も、表示面と光学系との位置関係を図１３或いは図１４或いは図１５について説明したように構成することにより、ターゲットオブジェクトの奥行き方向の移動に拠らず、視距離と輻輳距離が略々等しい状態を維持できることになる。

左表示面内でのターゲットオブジェクトの位置と右の表示面内でのターゲットオブジェクトの位置とが常に等しければ、左右両画像の視差は常に０であるため、両画像をそのまま観察したのでは、ターゲットオブジェクトである球については輻輳距離が常に無限遠である場合と同じ状態となってしまう。これに対し、本実施の形態では、表示面と光学系との位置関係を図１３或いは図１４或いは図１５について説明したように構成することにより、ターゲットオブジェクトは奥行き位置が有限の適宜の距離にあるように観察され得ることになる。

図２０は、一般的な表示装置を適用して、図１９の（ア）部について説明した左右画像それぞれを左および右表示素子１８、１９の画面に映出し、左および右接眼光学系（レンズ）１６、１７で拡大したときに生成される３次元空間像を示す模式図である。

図１９の（ア）部の（ａ）部から（ｃ）部へと状態が推移すると、球の像は矢線図示のように次第に大きくなって右斜め手前側に飛び出してくるように見え、一方、三角錐の像は大きさ位置共変化しない。

図２１は、本発明を適用した表示装置を適用して、図１９の（イ）部について説明した左右画像それぞれを左および右表示素子１８、１９の画面に映出し、左および右接眼光学系（レンズ）１６、１７で拡大したときに生成される３次元空間像を示す模式図である。

図１９の（イ）部の（ａ）部から（ｃ）部へと状態が推移すると、球の像は矢線図示のように次第に大きくなって右側に移動し、同時に、三角錐の像は大きさは変わらないまま奥行き方向に次第に遠のくため、双方の像を同時に観察する者にとっては、結果的に球の像は次第に大きくなって右斜め手前側に飛び出してくるように知覚される。

この図２１の場合は、図１３について説明した、左右両眼に各対応する両表示素子の表示面の夫々の中心点位置が各対応する接眼光学系（接眼レンズ）の主点を通る光軸位置よりも内側に（双方が接近する方向に）等量だけずらされて位置した構成の（位置的オフセットＳ0 が加えられた）表示装置を適用している。ここに、上記オフセットの量は上記各接眼光学系（接眼レンズ）の主点とこれに各対応する表示面の中心を通る両光学視軸の交点が該両光学系による虚像面内の位置となるように選択されている。

本発明を適用した装置では、左右両眼を横に結ぶ直線から左右両眼の視線方向の直線が交差する点までの距離である輻輳距離は球の飛び出しに対応して変化するということがない。従って、この場合での注目すべきオブジェクトである球については、左右両眼を結ぶ直線から虚像面までの距離である視距離と輻輳距離とが一致したまま変化せず、観察者は視距離と輻輳距離との違いに起因する違和感や疲労感が大幅に軽減される。

また、このような違和感や疲労感を極力抑制するために、移動に伴って像が手前側に飛び出してくる飛び出し量を小さく制限することを要しないため、３次元画像としてのインパクトが減殺されてしまう虞れもない。

次に、本発明を適用した第２の立体画像表示装置の構成例について説明する。
図２２は、ターゲットオブジェクトに関する左右両画像間の視差が０となるような画像（データ）を生成する第２の実施形態の原理を示す概念図である。第１の実施形態と同様にＡ方式（レンダリング制御＋レンダリング）の例であるが、第１の実施形態とはレンダリング制御方法が異なる。

この場合のターゲットオブジェクトである球の像は、左投影面１４上では、その中心が同左投影面１４の左端から距離ｂの点に位置するように投影される。一方、右投影面１５上でも、その中心が同右投影面１５の左端から上述の距離ｂに等しい距離ｂ′の点に位置するように投影されるよう、左右の投影面１４、１５を投影面内方向にシフトする。

換言すれば、左および右の投影面の位置を定めるについて距離ｂ＝距離ｂ′となるように両投影面１４、１５の面内方向の相対位置がシフトされる。

このような左右の像のデータを生成するために、図示のように、左視点１２および右視点１３と各対応する左投影面１４および右投影面１５のそれぞれの中心点を通る直線である左および右の視軸の交点である視軸交点Ｐisが、左視点１２および右視点１３を結ぶ線分の中点で同線分に立てた垂線上に位置するように、且つ、左視点１２および右視点１３を結ぶ直線から球のオブジェクト（より厳密には、そのうちの注目点であって、この図では球の中心のように想定されている）までの距離であるオブジェクト距離Ｌobj
だけ離隔した位置（破線図示の直線Ｌd 上）にあるといった状態が維持されるように、左投影面１４および右投影面１５が各対応する左視点１２および右視点１３との距離を一定に保持しつつこれら両投影面の面内方向にシフトしたに相応する演算が実行される。

また、上述の状態において、左視点１２および右視点１３を結ぶ直線から前述の視軸交点Ｐisまでの距離である視軸交点の距離Ｐisd が、常に、上記のオブジェクト距離Ｌobj に等しい。

以上の条件下で、ターゲットオブジェクト（球乃至そのうちの注目点）に係る投影演算による第１の２次元画像（左画像）および第２の２次元画像（右画像）に係る視差が、球のオブジェクトの奥行き方向の距離に拠らず一定となる。即ち、図示のように、常に、距離ｂ＝距離ｂ′となる。

上記において、左投影面１４上で、左視点１２を通る左投影面１４の垂線が同左投影面１４と交差する点と、左視点と上記視軸交点Ｐisとを結ぶ直線が左投影面１４と交差する点との距離をＳ、上記左視点１２および右視点１３を結ぶ線分の中点からいずれかの視点つでの距離をＤ（両視点間の半距離）、いずれかの視点（例えば左視点１２）から対応する投影面（左投影面１４）を見込む角の半分の角度（半画角）をΘとすると、上記Ｓは、次のように投影面の大きさに対する割合による無次元の量として扱うことができる：

（１）

また、上記Ｓを当該表示面における画素数で表すと、上記（１）式の右辺第２項の分子１には同表示面の水平方向の画素数Ｐh の１／２であるＰh-halfが対応するため次のように表される：

（２）
結果として得られる左右画像は第１の構成例と同様であり、同一の効果を有する。

以下、本発明を適用した第３の立体画像表示装置の構成例について説明する。第３の実施形態は前述の図１のＢ３式に対応している。結果として得られる左右画像は第１の実施形態と同様であり、図２３は、本発明の装置において、立体画像を得るための左画像および右画像について、表示対象となる２つのオブジェクト（三角錐と球）のうちターゲットオブジェクトに関する視差を両画面内での表示状態を変化させることによって最適化する様子を示す図である。

図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球についてレンダリングによる画像を別段の手段を講じることなく映出した段階での左画像および右画像を表している。

同図の（ｂ）部は各画面の左右にそれぞれ黒枠を映出させた状態での左画像および右画像を表している。ここで、黒枠を映出させているのは、後述の（Ｃ）で画像をシフトしたときに、表示画像の面積が変化してしまうのを防ぐ為である。同図の（ｃ）部はターゲットオブジェクトである球に関する左右両画像間の視差が０となるように黒枠も含めた画像全体の幅を図示のようにＳだけシフトした場合の左画像および右画像を表している。

図２４は、本発明を適用した装置において、特定の注目オブジェクトに対する視差が一定となるように画像のシフトを行なう場合の条件式を導出する原理を示す模式図である。

図中、Ｄは左視点１２および右視点１３から、各それらを結ぶ線分の中点Ｏまでの距離（即ち、両視点１２および１３間の距離の１／２の距離）、Θは各視点（左視点１２、右視点１３）から夫々対応する投影面（左投影面１４、右投影面１５）を見込む角の半分の角度（半画角）、Ｘ1 はターゲットオブジェクトの像の左投影面１４上での投影位置の中心を同左投影面１４の中央位置を基準に表したもの、Ｘ2 はターゲットオブジェクトの像の右投影面１５上での投影位置の中心を同右投影面１５の中央位置を基準に表したもの、Ｌobj
は左視点１２および右視点１４を結ぶ直線から当該ターゲットオブジェクト（より厳密には、そのうちの注目点であって、例えば球の中心のように想定される）までの距離であるオブジェクト距離である。また、−Ｈは上記中点Ｏで両視点を結ぶ線分に立てた垂線の位置を基準にしたときの上記ターゲットオブジェクト（の中心）の位置（距離）である。

図２５は、図２４について説明した左右の投影面の画像に対応する左右の表示面である各ＬＣＤ表示面上で見た左右画像の視差｜Ｘ1 −Ｘ2 ｜を表わす図である。この図の表現では、各ＬＣＤ表示面の水平方向の長さを２として規格化した表現となっている。原理を示す模式図である。
以上、図２４および図２５を用いて説明した各部の値に基づいて、上記左右画像の視差｜Ｘ1 −Ｘ2 ｜を表わすと次の（２）式のようになる：

（３）

上記（２）式は、ターゲットオブジェクト（の中心）の位置（既述の図２５では、左視点１２および右視点１３を結ぶ線分の中点Ｏで同線分に立てた垂線の位置を基準にしたときの上記ターゲットオブジェクトの中心の位置−Ｈ）に関わらず、上記Ｌobj が求まれば視差｜Ｘ1 −Ｘ2 ｜が算出されること、即ち、視差を最適な状態にするための各部の値が割り出せることを意味している。
そして、ここで求めた視差｜Ｘ1 −Ｘ2 ｜が常に０となる為の既述の図１５或いは図２３における画像乃至黒枠の所要シフト量Ｓ0 求める。図２２について説明したように当該表示面における画素数で表すと、上述した（１）式の右辺第２項の分子１には同表示面の水平方向の画素数Ｐh
の１／２であるＰh-halfが対応するため、眼幅の１／２（半眼幅）をｄ、両眼から光学系による虚像面までの視距離をＬBaseとするとき、次のように表される：

（４）

図２６は、図２４を用いて説明したような投影演算を実行して左右の像のデータをそれぞれ生成するまでの情報処理過程を説明するフローチャートである。

この情報処理過程がスタートすると、先ず、仮想空間内に、立体モデリングされた複数のオブジェクト（三角錐と球）が配置されている場合を想定したプログラムがロードされ（ステップＳ１）、次いで、このプログラムが実行される（ステップＳ２）。

この実施の形態では、プログラムの実行後直ちに、上記複数のオブジェクト（三角錐と球）について左右画像のレンダリングを実行する（ステップＳ３）。

次いでレンダリングの結果としての画像データを記憶する（ステップＳ４）。当該情報処理機能部に対して、本例の立体画像表示システムに適用される画像表示装置（ＨＭＤ）から、図９について既述の、規格化された視線方向角ψ／θのデータが供給され、このデータに依拠して視線方向変換処理が実行され、ターゲットオブジェクトの方向角Θが算出され（ステップＳ５）、次いで、この方向角Θに対して前回のシフト分相応の視線方向の補正が行われる。

これは、前回観察者の見たオブジェクトについては既にシフトが加えられているため、このシフト相応分の影響を除去して、シフトの影響を被っていない視線方向を割り出す必要があるためである。このようにして補正された視線方向に基づいて特定の注目オブジェクトであるターゲットオブジェクト（この場合は球）が決定される（ステップＳ７）。

このようにしてターゲットオブジェクトが決定されると、このターゲットオブジェクトから視点までの距離（左右の視点を結ぶ直線までの距離）Ｌobj が、ステップＳ１でロードされている複数の各オブジェクトを表わすデータの中から該当するデータを検索して演算する如くして求められる（ステップＳ９）。

次に、ターゲットオブジェクトの状態に適合するようにして、図２５を用いて説明したような条件を満たすように左右の画像データおよび黒枠のシフト量が演算により割り出される（ステップＳ１０）。演算の結果得られたデータ（シフト量）に応じて、上記画像表示装置（ＨＭＤ）に供給されるデータが制御され、画像データも黒枠もシフトされる（ステップＳ１１）。

これ以降、ステップＳ３の処理に戻り、その時点での規格化された視線方向角ψ／θのデータに対応してステップＳ３〜ステップＳ１１の処理が繰り返し実行される。

次に、本発明を適用した第４の立体画像表示装置の構成例について説明する。この第４の構成例も前述の図１のＢ方式に対応しているが、第３の実施形態とは画像変換方法が異なる。
図２７は、本発明の装置において、立体画像を得るための左画像および右画像について、表示対象となる２つのオブジェクト（三角錐と球）のうちターゲットオブジェクトに関する視差を両画面内での表示状態を変化させることによって最適化する様子を示す図である。

この図２７の構成例は図２３について説明した構成例の変形例ともいうべきものであり、現実にターゲットオブジェクトの画面内での表示位置をシフトさせるに替えて、元となる水平方向の寸法の大きい画面内でのターゲットオブジェクトの位置は変化させないまま、該元となる大きい画面からターゲットオブジェクトを含んで部分的に切り出すようにして抽出してくる画面の切り出し位置を変化させることにより、実効的にターゲットオブジェクトの表示位置をシフトさせる効果を得るようにしたものである。

図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球についてレンダリングによる画像を別段の手段を講じることなく元となる水平方向の寸法の大きい画面内に映出した段階での左画像および右画像を表している。

同図の（ｂ）部は左右各画面について、元となる大きい画面からターゲットオブジェクトを含んで画面を部分的に切り出すときの切り出し位置を可変設定する様子を表している。

同図の（ｃ）部はターゲットオブジェクトである球を含んで切り出し（抽出）処理された後の左画像および右画像を表している。

次に、本発明の第１の実施の形態について説明する。
図２８は、本発明の距離演算装置において、ターゲットオブジェクトを識別し、その距離（既述のＬobj ）を算出する過程を説明するための模式図である。

この図２８では、オブジェクトＡ（球）とオブジェクトＢ（三角錐）とが或る平面投影状態では部分的に重なり合って位置している場合が示されている。一般に、ヒトの視点移動は比較的短時間に微動しながら逐次移動する傾向があり、この現象は固視微動として良く知られている。従って、或る一つの時点のみで視線方向をサンプリングしても、この固視微動があるため、正確に注目オブジェクトを特定することは困難である。

そこで、所定時間内に複数の視線方向（注視点）をサンプリングして、これらの情報を総合的に判断の根拠として用いれば、比較的正確に注目オブジェクトを特定することができ、従って、その距離を正確に割り出すことが可能となる。

図示の例では、５００msecの間に７ポイントの注視点を検出するようにしている。

図２９は、図２８において説明した７ポイントの注視点の情報に基づいて注目オブジェクトを決定し、その距離を割り出す方法について説明するための概念図である。

この方法では、注視点１から注視点７までの各ポイントについて、その注視点毎にそれがオブジェクトＡに属するカウント数（度数）Ｎ（Ａ）とオブジェクトＢに属するカウント数（度数）Ｎ（Ｂ）とを求める。

次いで、このＮ（Ａ）とＮ（Ｂ）とを比較して、度数の高いものに係るオブジェクト（例えばオブジェクトＡである球）を注目オブジェクトとして決定し、予めその注目オブジェクトに関して保有している画像データに基づいて距離（ＬＡ１を算出して、この距離を既述のＬobj として出力する。

図３０は、図２８において説明した７ポイントの注視点の情報に基づいて各ポイントに対応したオブジェクトが何であるかを弁別して該当するオブジェクトの距離を求め、最も近い距離を注目オブジェクトの距離として割り出す方法について説明するための概念図である。

この方法では、注視点１から注視点７までの各ポイントについて、各対応するオブジェクトが何であるかを先ず弁別する。この例では、それらオブジェクトはＡまたはＢであることが弁別される。次いでこれら該当するオブジェクトの距離をそれぞれ予め保有している画像データに基づいて算出する。

これら算出された各距離（ＬA 、ＬB ）について相互に比較し、それらの内最も近い距離を注目オブジェクトの距離として決定し、出力するようにしている。これは、通常の観察者は近距離にあるオブジェクトに注目するであろうとの仮定に立脚した方法である。

図３１は、図２８において説明した７ポイントの注視点の情報に基づいて各ポイントに対応したオブジェクトの距離を算出し、一旦これらの距離の逆数を求めてから、平均値をとってその値を注目オブジェクトの距離として割り出す方法について説明するための概念図である。

この方法では、注視点１から注視点７までの各ポイントについて、先ず、各ポイントに対応したオブジェクトの距離を算出する。次いで、これら各距離の逆数を算出する。このようにして求めた逆数に基づいて図示のような演算によって距離の平均値を算出する。この平均値を注目オブジェクトの距離Ｌobj とし出力する。
上述の方法では、各距離の逆数を一旦求め、これによって距離の平均値を算出するため、一部のオブジェクトの距離が無限遠であったような場合でも平均値を算出するについて適切な有限の値を得ることができる。

図３２は、本発明の距離演算装置において、ターゲットオブジェクトを識別し、その距離（既述のＬobj ）を算出するための他の過程を説明するための模式図である。

この図３２では、オブジェクトＡ（球）とオブジェクトＢ（三角錐）とが或る平面投影状態では部分的に重なり合って位置している場合が示されている。この方法では、予め、×で示された注目点を中心として一定の角度ずつの広がり持った領域内に所定数（この例では９ポイント）のサンプリング点（○）を設定して、これら各サンプリング点からの情報を用いて距離を割り出す。

図３３は、図３２において説明した９ポイントの注視点の情報に基づいて注目オブジェクトを決定し、その距離を割り出す方法について説明するための概念図である。

この方法では、図３２において各○で示されたサンプリング点１からサンプリング点９までの各ポイントについて、そのサンプリングポイント毎にそれがオブジェクトＡに属するかオブジェクトＢに属するか、或いは該当するオブジェクトがないかを検出する。

次いでオブジェクトＡに属するカウント数（度数）Ｎ（Ａ）とオブジェクトＢに属するカウント数（度数）Ｎ（Ｂ）とを求める。

この後、このＮ（Ａ）とＮ（Ｂ）とを比較して、度数の高いものに係るオブジェクト（例えばオブジェクトＡである球）を注目オブジェクトとして決定し、予めその注目オブジェクトに関して保有している画像データに基づいて距離（ＬＡ）を算出して、この距離を既述のＬobj として出力する。

図３４は、図３２において説明した９ポイントのサンプリング点の情報に基づいて各ポイントに対応したオブジェクトが何であるかを弁別して該当するオブジェクトの距離を求め、最も近い距離を注目オブジェクトの距離として割り出す方法について説明するための概念図である。

この方法では、サンプリング点１からサンプリング点９までの各ポイントについて、各対応するオブジェクトが何であるかを先ず弁別する。この例では、それらオブジェクトはＡまたはＢであることが弁別される。

次いでこれら該当するオブジェクトの距離をそれぞれ予め保有している画像データに基づいて算出する。これら算出された各距離（ＬA 、ＬB ）について相互に比較し、それらの内最も近い距離を注目オブジェクトの距離として決定し、出力するようにしている。これは、通常の観察者は近距離にあるオブジェクトに注目するであろうとの仮定に立脚した方法である。

図３５は、図３２において説明した９ポイントの注視点の情報に基づいて各ポイントに対応したオブジェクトの距離を算出し、一旦これらの距離の逆数を求めてから、平均値をとってその値を注目オブジェクトの距離として割り出す方法について説明するための概念図である。

この方法では、サンプリング点１からサンプリング点９までの各サンプリングポイントに対応してそのポイントがオブジェクトＡに属するかオブジェクトＢに属するか、或いは該当するオブジェクトがないかを検出する。

次いで各該当するオブジェクトの距離を算出する。この後、これら各距離の逆数を算出する。このようにして求めた逆数に基づいて図示のような演算によって距離の平均値を算出する。

この平均値を注目オブジェクトの距離Ｌobj とし出力する。この方法では、各距離の逆数を一旦求め、これによって距離の平均値を算出するため、一部のオブジェクトの距離が無限遠であったような場合でも平均値を算出するについて適切な有限の値を得ることができる。

本発明を適用した第５の立体画像表示装置の構成例について説明する。
図３６は、本発明の装置において、立体画像を得るための左画像および右画像について、主たる表示対象となる２つのオブジェクト（三角錐と球）のうち特にターゲットオブジェクトに関する視差は既述の第１、２の実施形態のようにして両画面内での表示状態を変化させることによって最適化する一方、背景画像については適宜の固定的視差を持つようにした画像を上記左右画像に合成して（貼り込んで）しまう様子を示す図である。

この図３６における背景画像の貼り込み処理が、図１において「オブジェクトの背景画像データを添える処理」として既述のものである。

図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球についてのみレンダリングによる画像を画面内に映出した段階での左画像および右画像を表している。

同図の（ｂ）部は左右各画面について、元となる水平方向の幅の広い同一の画像から切り出し（抽出）位置をずらした関係で各部分的に切り出した画像（テクスチャ）を左画像及び右画像用の背景として設定した様子を表している。

同図の（ｃ）部は（ａ）部の２つのオブジェクトに対して背景となる画像を貼り込んで合成処理された後の左画像および右画像を表している。

図３７は、図３６における（ｂ）部について説明した背景となる画像（テクスチャ）を、元となる水平方向の幅の広い同一の画像（テクスチャＴＸ）から切り出し（抽出）位置をずらした関係で各部分的に切り出し、実線図示の枠（左テクスチャ領域）のように切り出した部分を左画像用の背景画像とし、一点鎖線図示の枠（右テクスチャ領域）のように切り出した部分を右画像用の背景画像とするときの、切り出し処理する様子を表している。双方の切り出し領域は、図２３について説明したＳの２倍だけ水平方向にずれた位置となるように選択されている。

図３８は、本発明の装置において、立体画像を得るための左画像および右画像について、主たる表示対象となる２つのオブジェクト（三角錐と球）のうち特にターゲットオブジェクトに関する視差は既述の第３、４の実施形態のようにして両画面内での表示状態を変化させることによって最適化する一方、背景画像については適宜の固定的視差を持つようにした画像を上記２つのオブジェクトの像に合成して（貼り込んで）しまう他の例を示す図である。

この図３８における背景画像の貼り込み処理も、図１について「オブジェクトの背景画像データを添える処理」として既述のものである。

図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球についてのみレンダリングによる画像を画面内に映出した段階での左画像および右画像を表している。

同図の（ｂ）部は左右各画面について、元となる水平方向の幅の広い同一の画像から同一部分を各切り出した画像（テクスチャ）を左画像及び右画像用の背景として設定した様子を表している。

同図の（ｃ）部は（ａ）部の２つのオブジェクトに対して背景となる画像を貼り込んで合成処理された後の左画像および右画像を表している。

同図の（ｄ）部は各画面の左右にそれぞれ黒枠を映出させた状態での左画像および右画像を表している。

同図の（ｅ）部はオブジェクトおよび背景も共に左右画像が離隔する方向にシフトしたと実効的に等価な効果を得るように黒枠も含めた画像全体をＳだけシフトした場合の左画像および右画像を表している。

本発明の基本概念を表したブロック図である。 ３次元画像表示装置としてＨＭＤを適用してなる本発明の実施の形態としての立体画像表示装置のシステムを示す図である。 ３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを配置し、これらオブジェクトを立体視するための２つの２次元画像データを生成するための処理を概念的に説明するための模式図である。 立体画像を得るための左画像および右画像について、仮想３次元空間内を表示対象となる２つのオブジェクト（三角錐と球）がそれらの奥行き方向の相対移動する場合、左右両画面内での表示位置が移動する様子を、一般的な立体画像生成法を採った場合について示す図である。 図４について説明した２つのオブジェクト（三角錐と球）を左および右接眼光学系を通して左および右表示素子の画面に映出された像の虚像として観察するときの見え方を示す模式図である。 図６は、輻輳と調節（眼の焦点調節の状態如何）との対応関係を示す図である。 本発明の装置において、３次元画像表示を得るための左画像および右画像について、表示対象となる２つのオブジェクト（三角錐と球）がそれらの奥行き方向の相対移動に伴って左右両画面内での表示位置が移動する様子を示す図である。 図７について説明した左右両眼用の各表示素子の画面にそれぞれ表示される２つのオブジェクト（三角錐と球）を左右の接眼光学系（レンズ）を通して画面に映出された像の虚像として観察するときの見え方を示す模式図である。 本発明の実施の形態としての装置において、視線方向の情報によって注目画像である特定オブジェクトとしてのターゲットオブジェクトを決定する過程を説明するための模式図である。 本発明の実施の形態としての装置において、特定の注目オブジェクトに対する視差が一定となるような投影演算を行って左右の各２次元画像データをそれぞれ生成する原理を示す模式図である。 図１０を用いて説明したような投影演算を実行して左右の像のデータをそれぞれ生成するまでの情報処理過程を説明するフローチャートである。 図９を用いて説明したような本例の立体画像表示システムに適用されるＨＭＤに備えられ、規格化された視線方向角のデータを得るように構成された視線方向検出手段の構成例を示す模式図である。 本発明の実施の形態としてのシステムに適用される頭部装着型画像表示装置（ＨＭＤ）の光学系の構成例を示す模式図である。 本発明の実施の形態としてのシステムに適用されるＨＭＤの光学系の他の構成例を示す模式図である。 本発明の他の実施の形態としてのシステムに適用されるＨＭＤの光学系と画像の表示との関係を示す模式図である。 ２つのオブジェクト（三角錐とターゲットオブジェクトである球）がそれらの左右の視点位置を基準にして表したときの奥行き方向の相対移動の様子を示す模式図である。 図１６について説明した表示対象となる２つのオブジェクトが当該立体表示装置において、３次元画像表示を得るための左画像および右画像について、それらオブジェクトの奥行き方向の相対移動に伴って左右両画面内での表示位置が移動する様子を示す図である。 ２つのオブジェクト（三角錐とターゲットオブジェクトである球）がそれらの左右の視点位置を基準にして表したときの奥行き方向の相対移動の様子を示す模式図である。 図１８について説明した表示対象となる２つのオブジェクトが当該立体表示装置において、３次元画像表示を得るための左画像および右画像について、ターゲットオブジェクトの既述のような移動に伴って左右両画面内での表示位置が移動する様子を示す図である。 図１９の（ア）部のうちターゲットオブジェクトである球が斜め右手前側に移動する様子を、一般的な表示装置を適用して、その左右の接眼光学系を通して画面に映出された像の虚像として観察するときの見え方を示す模式図である。 図１９の（イ）部のうちターゲットオブジェクトである球が斜め右手前側に移動する様子を、本発明の表示装置を適用して、その左右の接眼光学系を通して画面に映出された像の虚像として観察するときの見え方を示す模式図である。 ターゲットオブジェクトに関する左右両画像間の視差が０となるような画像（データ）を生成するための原理を示す概念図である。 本発明の装置において、３次元画像表示を得るための左画像および右画像について、ターゲットオブジェクトに関する視差を両画面内での表示状態を変化させることによって最適化する様子を示す図である。 本発明の実施の形態としての装置において、特定の注目オブジェクトに対する視差が一定となるように画像のシフトを行なう場合の条件式を導出する原理を示す模式図である。 図２４について説明した左右の投影面の画像に対応する左右の表示面上で見た左右画像の視差を表わす図である。 図２４を用いて説明したような投影演算を実行して左右の像のデータをそれぞれ生成するまでの情報処理過程を説明するフローチャートである。 本発明の装置において、３次元画像表示を得るための左画像および右画像について、ターゲットオブジェクトに関する視差を両画面内での表示状態を変化させることによって最適化する様子を示す図である。 本発明の距離演算装置において、ターゲットオブジェクトを識別し、その距離を算出する過程を説明するための模式図である。 図２８における注視点の情報に基づいて注目オブジェクトを決定し、その距離を割り出す方法について説明するための概念図である。 図２８において説明した注視点の情報に基づいて各ポイントに対応したオブジェクトを弁別してそれらオブジェクトの距離を求め、最小距離を注目オブジェクトの距離として割り出す方法について説明するための概念図である。 図２８において説明した注視点の情報に基づいて各ポイントに対応したオブジェクトの距離を算出し、一旦これらの距離の逆数を求めてから、平均値をとってその値を注目オブジェクトの距離として割り出す方法について説明するための概念図である。 本発明の距離演算装置において、ターゲットオブジェクトを識別し、その距離）を算出するための他の過程を説明するための模式図である。 図３２において説明した注視点の情報に基づいて注目オブジェクトを決定し、その距離を割り出す方法について説明するための概念図である。 図３２において説明したサンプリング点の情報に基づいて各ポイントに対応したオブジェクトの距離を求め、最小距離を注目オブジェクトの距離として割り出す方法について説明するための概念図である。 図３２において説明した注視点の情報に基づいて各ポイントに対応したオブジェクトの距離を算出し、一旦これらの距離の逆数を求めてから、平均値をとってその値を注目オブジェクトの距離として割り出す方法について説明するための概念図である。 本発明の装置において、３次元画像表示を得るための左画像および右画像について、背景画像については適宜の固定的視差を持つようにした画像をオブジェクトの像に合成する様子を示す図である。 図３６における背景となる画像を、元となる画像から切り出すときの、切り出し処理する様子を表している。 本発明の装置において、３次元画像表示を得るための左画像および右画像について、背景画像については適宜の固定的視差を持つようにした画像をオブジェクトの像に合成する他の例を示す図である。

符号の説明

１ ゲーム機
２ 頭部装着型画像表示装置（ＨＭＤ）
３ プログラム記録媒体
４ 立体画像生成装置本体
５ ケーブル
６Ｌ 左スピーカ
６Ｒ 右スピーカ
７ ヘッドモーションセンサ
８ ゲームコントローラ
９ ケーブル
１０ 三角錐（のオブジェクト）
１１ 球（のオブジェクト）
１２ 左視点
１３ 右視点
１４ 左投影面
１５ 右投影面
１６ 左接眼光学系
１７ 右接眼光学系
１８ 左表示素子
１９ 右表示素子
２０ 左眼球
２１ 右眼球
２２ 視線方向検出手段
２３ 光源
２４ 角膜
２５ レンズ
２６ 光電変換
２７ 規格化演算器

Claims (2)

1. 画像表示装置に映出された画像を観察する観察者の視線方向を検出するための視線方向検出手段と、
   上記視線方向検出手段の検出出力に基づいて視線方向に係る複数の方向角を求める複数方向角決定手段と、
   上記複数方向角決定手段により求められた複数の方向角に沿う各直線上にある対象物を決定する対象物決定手段と、
   上記対象物決定手段により決定された対象物の奥行き距離を決定する奥行き距離決定手段と、
   を備えてなり、
   上記複数方向角決定手段は、上記視線方向検出手段が視線方向検出動作を所定時間内に複数回繰り返すことによって得た異なる時刻での複数の検出出力に基づいて該異なる時刻に各対応する複数の視線方向角を決定するように構成され、
   上記対象物決定手段は、上記決定された異なる時刻に各対応する複数の視線方向角に沿う各直線上にある対象物を決定するように構成され、
   上記奥行き距離決定手段は、上記対象物決定手段により決定された複数の対象物の奥行き距離をそれぞれ求め、次いで、該求められた各距離の逆数をそれぞれ求め、更に、該求められた各逆数の平均値を求めるように構成された演算手段を含んでなる
   ことを特徴とする距離演算装置。
2. 画像表示装置に映出された画像を観察する観察者の視線方向を検出するための視線方向検出手段と、
   上記視線方向検出手段の検出出力に基づいて視線方向に係る複数の方向角を求める複数方向角決定手段と、
   上記複数方向角決定手段により求められた複数の方向角に沿う各直線上にある対象物を決定する対象物決定手段と、
   上記対象物決定手段により決定された対象物の奥行き距離を決定する奥行き距離決定手段と、
   を備えてなり、
   上記複数方向角決定手段は、上記視線方向検出手段が視線方向検出動作を所定時間内に複数回繰り返すことによって得た異なる時刻での複数の検出出力に基づいて該異なる時刻に各対応する複数の視線方向角を決定するように構成され、
   上記対象物決定手段は、上記決定された異なる時刻に各対応する複数の視線方向角に沿う各直線上にある対象物を決定するように構成され、
   上記奥行き距離決定手段は、上記対象物決定手段により決定された複数の対象物の奥行き距離をそれぞれ求め、次いで、該求められた各距離の逆数をそれぞれ求め、更に、該求められた各逆数の平均値をそれぞれ求め、次いで、該各平均値の逆数をそれぞれ求めるように構成された演算手段を含んでなる
   ことを特徴とする距離演算装置。

Images