JP4839598B2

JP4839598B2 - 画像表示装置

Info

Publication number: JP4839598B2
Application number: JP2004315171A
Authority: JP
Inventors: 康文間瀬
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2003-10-30
Filing date: 2004-10-29
Publication date: 2011-12-21
Anticipated expiration: 2024-10-29
Also published as: JP2005157329A

Description

本発明は、画像を立体的に表示する画像表示装置に関するものである。

特許文献１に開示されているように、人間の網膜上に画像を直接的に表示する網膜走査型ディスプレイが既に知られている。図１７に示すように、例えば、網膜走査型ディスプレイ４００は、光を画像情報に応じて変調し、その変調された被変調光Ｈを投影めがね４０２に入射させて走査することにより、その投影めがね４０２のうちの光反射部４０４からの反射光により光学的に画像を表示するように構成されている。

図１７に示すように、観察者が投影めがね４０２を装着すると、被変調光Ｈが投影めがね４０２で反射され、観察者の眼Ｍの虹彩Ｍ１で囲まれた瞳孔Ｍ２を通って水晶体Ｍ３に集光される。その集光された光が網膜Ｍ４上において走査されることにより、観察者の網膜Ｍ４上に画像が表示される。

この種の網膜走査型ディスプレイによれば、特許文献２に開示されているように、被変調光Ｈの拡散の角度を図１７において、破線、二点鎖線および一点鎖線で示す各角度に変えることができる。このように被変調光Ｈの拡散の角度を変えることにより、拡散の角度の変更に応じて、観察者は、虚像（画像）がＰ１，Ｐ２およびＰ３の各位置にそれぞれ存在するように認識する。したがって、この種の網膜走査型ディスプレイによれば、このように被変調光Ｈの拡散の角度を変えることにより、画像を立体的に表示することができる。
特開平１１−２７１６６６号公報特許第２８７４２０８号公報

しかし、上述の網膜走査型ディスプレイによれば、画像を立体的に表示することができるが、この場合、観察者が遠方の物体に眼の焦点を合わせて遠方の物体を観察すれば近景には眼の焦点が合っていないために、近景はぼやけて認識される。一方、近景の物体に眼の焦点を合わせた場合には、遠方には眼の焦点が合っていないために、遠方の物体はぼやけて認識される。

例えば、水族館の水槽内を観察する場合、手前に泳ぐ鯛を観察すると、当然に遠方の物体には焦点が合わずに、ぼやけて見える。一方、遠方に泳ぐ鯛を観察すると、手前に泳ぐ鯛はぼやけて認識される。この現象は、上述の網膜走査型ディスプレイにおける上述の現象と同様である。

以上説明した事情に鑑み、本発明は、オブジェクトを有する画像を立体的に表示することができる画像表示装置であって、オブジェクトの奥行き位置にかかわらず、観察者による画像の鮮明な目視を可能にするものを提供することを課題としてなされたものである。

本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると解釈すべきではない。すなわち、下記の態様には記載されていないが本明細書には記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用することは妨げられないと解釈すべきなのである。

さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げることを意味するわけではなく、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能であると解釈すべきである。

（１）画像を表示する画像表示装置であって、表示されるべき画像は、一斉に表示されるべき複数のオブジェクトを含み、それら複数のオブジェクトは、各オブジェクトの奥行き位置を特定する奥行き位置情報と、各オブジェクトの奥行き位置における平面上の各オブジェクトの位置を特定する平面位置情報とを有する複数の画像情報によって立体的に表示されるものであって、
前記複数のオブジェクトのうちのいずれかを特定オブジェクトとして選択する選択部と、
その選択部により選択された特定オブジェクトに対応する前記奥行き位置情報に基づいて、前記画像の表示態様を変更する画像処理を施す画像処理部と
を含む画像表示装置。

この画像表示装置によれば、表示すべき画像の表示態様を特定オブジェクトの奥行き位置に基づいて変更することができるため、表示すべき画像を特定オブジェクトの奥行き位置に基づいて種々の表示態様で表示することができる。したがって、例えば、観察者による画像の鮮明な目視が可能となる。

本項における「画像」と「オブジェクト」との各用語の定義を説明するに、それら画像とオブジェクトとの間には、オブジェクトが画像に帰属するという関係が存在する。しかし、オブジェクトは画像の一部でもあることから、オブジェクトを単に画像と称することが可能であり、または、オブジェクトを画像のコンテンツと称することが可能である。

（２）前記画像処理部は、前記選択部によって選択された特定オブジェクトと、その特定オブジェクト以外の非特定オブジェクトとを互いに異なる表示態様で表示する画像処理を施す（１）項に記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトを非特定オブジェクトとは異なる表示態様で表示することができるため、特定オブジェクトの表示態様の自由度が向上する。

（３）前記選択部は、前記複数のオブジェクトのうち観察者が着目している着目オブジェクトを前記特定オブジェクトとして検出する特定オブジェクト検出部を含む（１）または（２）項に記載の画像表示装置。

この画像表示装置によれば、観察者が着目している特定オブジェクトを検出することができ、その検出された特定オブジェクトの奥行き位置に基づく画像処理を施すことができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。

（４）前記特定オブジェクト検出部は、
観察者の視線方向を検出する視線方向検出部と、
その視線方向検出部の検出結果に基づき、前記複数の画像情報の内から前記検出された視線方向に対応する画像情報を検索し、その検索された画像情報に基づいて前記特定オブジェクトを決定する決定部と
を含む（３）項に記載の画像表示装置。

この画像表示装置によれば、観察者の視線方向を検出することにより、観察者が着目している特定オブジェクトを検出することができる。

（５）前記特定オブジェクト検出部は、
観察者の左眼および右眼の両視線方向をそれぞれ検出する視線方向検出部と、
その視線方向検出部によって検出された左眼および右眼の視線方向および左眼と右眼との間の距離に基づいて観察者の注視点の位置を演算し、その演算結果に基づいて前記特定オブジェクトを検出する演算部と
を含む（３）項に記載の画像表示装置。

この画像表示装置によれば、観察者の視線方向に加えて両眼の間隔を考慮することにより、観察者が着目している特定オブジェクトをより正確に検出することができる。

（６）さらに、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検出する奥行き位置検出部を含み、前記画像処理部は、前記特定オブジェクトとその特定オブジェクトの奥行き位置と同一の奥行き位置に表示される別のオブジェクトとのうちの少なくとも特定オブジェクトと、その特定オブジェクトの奥行き位置とは異なる奥行き位置に表示される非特定オブジェクトとを互いに異なる表示態様で表示する画像処理を施す（１）ないし（５）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトの奥行き位置とは異なる奥行き位置に表示される非特定オブジェクトを、特定オブジェクトとは異なる態様で表示することができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。

（７）前記画像処理部は、前記特定オブジェクトの輝度を変化させる手段を含む（１）ないし（６）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトの奥行き位置に基づいて特定オブジェクトの輝度を変化させることができるため、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。

（８）前記画像処理部は、前記特定オブジェクトの輪郭を明瞭にする手段を含む（１）ないし（７）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトの奥行き位置に基づいて特定オブジェクトの輪郭の鮮明度を変化させることができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。

（９）前記画像処理部は、前記特定オブジェクトの外形に沿って輪郭線を付す手段を含む（１）ないし（８）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトの外形に沿って輪郭線を付すことができるため、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。

（１０）前記画像処理部は、前記奥行き位置検出部の検出結果に基づき、前記複数のオブジェクトのうち前記特定オブジェクトより手前に位置する非特定オブジェクトを透明または半透明に表示する手段を含む（６）ないし（９）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトより手前に位置する非特定オブジェクトが透明または半透明に表示されるため、観察者は、特定オブジェクトを手前の非特定オブジェクトに邪魔されることなく、明瞭に目視することができる。

（１１）前記画像処理部は、前記複数のオブジェクトのうち、前記特定オブジェクトと所定の視角をなす範囲内にある非特定オブジェクトの表示態様を変更する手段を含む（３）ないし（９）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトと所定の視角を成す範囲内にある非特定オブジェクトの表示態様を変更することができるため、その範囲内の非特定オブジェクトを非表示にするなどの処理が可能となる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。

（１）前記画像処理部は、前記特定オブジェクトと、前記複数のオブジェクトのうち前記特定オブジェクト以外の非特定オブジェクトとの少なくとも一方の奥行き位置を変更して表示する表示オブジェクト位置変更部を含む画像表示装置。

この画像表示装置によれば、特定オブジェクトと非特定オブジェクトとの間の相対的な奥行き位置を任意に変更して表示することができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。

（１２）画像表示装置は、
前記平面位置情報に応じた光束を出力する光束出力部と、
前記奥行き位置情報に応じて、前記光束出力部より出力された光束の波面曲率を変調する波面曲率変調部と
を含み、前記表示オブジェクト位置変更部は、前記波面曲率変調部を制御する（１）項に記載の画像表示装置。

この画像表示装置によれば、波面曲率変調部を制御することにより、任意のオブジェクトを任意の奥行き位置に表示することができる。したがって、例えば、観察者による特定オブジェクトの鮮明な目視が可能となる。

（１３）画像表示装置は、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検出する奥行き位置検出部を含み、前記表示オブジェクト位置変更部は、前記奥行き位置検出部の検出結果に基づき、前記特定オブジェクトの奥行き位置より遠方の奥行き位置に位置する前記非特定オブジェクトを、前記特定オブジェクトの近傍に接近させて表示する手段を含む（１）または（１２）項に記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトより遠方の非特定オブジェクト（例えば、背景画像）を特定オブジェクトに接近させて表示することができる。したがって、観察者は、特定オブジェクトと非特定オブジェクトとを同一の視度（ピント）状態でピンボケすることなしに目視することができる。

（１４）画像表示装置は、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検出する奥行き位置検出部を含み、前記表示オブジェクト位置変更部は、前記奥行き位置検出部の検出結果に基づき、前記特定オブジェクトの奥行き位置より遠方の奥行き位置に位置する前記非特定オブジェクトを、更に遠ざけて表示する手段を含む（１）または（１２）項に記載の画像表示装置。

この画像表示装置によれば、特定オブジェクトより遠方の非特定オブジェクトを更に遠方に遠ざけて表示することができるため、観察者は、より遠近感が強調された状態で、特定オブジェクトを明瞭に目視することができる。

（１５）画像表示装置は、
一つの画素を一つの光束によって表示する光束出力部と、
前記複数のオブジェクトのうち、前記特定オブジェクトの手前の位置にその特定オブジェクトに重ねて表示されるべき非特定オブジェクトを検出する重なりオブジェクト検出部と、
その重なりオブジェクト検出部が前記非特定オブジェクトを検出した場合に、その非特定オブジェクトのうち少なくとも前記特定オブジェクトと重ねて表示されるべき部分を、前記特定オブジェクトが前記非特定オブジェクトに隠れることがないように表示する重なりオブジェクト表示部と
を含む（１）項に記載の画像表示装置。

この画像表示装置によれば、本来であれば特定オブジェクトがそれより手前の非特定オブジェクトに重ねて表示されるべき場合であっても、観察者は、特定オブジェクトを、非特定オブジェクトに完全には隠れることなく、認識することができる。

（１６）前記重なりオブジェクト表示部は、前記非特定オブジェクトのうち少なくとも前記特定オブジェクトと重ねて表示されるべき部分を透明に表示する第１表示部を含む（１５）項に記載の画像表示装置。

この画像表示装置によれば、本来であれば特定オブジェクトがそれより手前の非特定オブジェクトの裏側に重ねて表示されるべき場合に、その非特定オブジェクトのうち少なくとも特定オブジェクトと重ねて表示されるべき部分が透明に表示される。したがって、観察者は、非特定オブジェクトとの重なり部分を完全に透過して、特定オブジェクトを認識することができる。

（１７）前記重なりオブジェクト表示部は、前記非特定オブジェクトのうち少なくとも前記特定オブジェクトと重ねて表示されるべき部分を半透明に表示する第２表示部を含む（１５）項に記載の画像表示装置。

この画像表示装置によれば、本来であれば特定オブジェクトがそれより手前の非特定オブジェクトの裏側に重ねて表示されるべき場合に、その非特定オブジェクトのうち少なくとも特定オブジェクトと重ねて表示されるべき部分が半透明に表示される。したがって、観察者は、非特定オブジェクトとの重なり部分を部分的に透過して、特定オブジェクトを認識することができる。

（１８）前記第２表示部は、前記非特定オブジェクトのうち前記特定オブジェクトと重ねて表示されるべき部分を、前記非特定オブジェクトと同じ色彩と前記特定オブジェクトと同じ色彩とをある割合で混合した混合色彩で表示し、その混合色彩における各色彩の割合を変更する混合割合変更部を含む（１７）項に記載の画像表示装置。

この画像表示装置によれば、本来であれば特定オブジェクトがそれより手前の非特定オブジェクトの裏側に重ねて表示されるべき場合に、特定オブジェクトの色彩と、非特定オブジェクトの色彩とを混合した混合色彩を特定オブジェクトに付すことができる。

（１９）画像表示装置は、前記複数の画像情報に応じて光束を網膜上において走査する走査部を含む（１）ないし（１８）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、光束を網膜上において走査することにより、画像を網膜上に直接表示することができる。

（２０）画像表示装置は、前記画像処理部の作動を選択的に無効にするために操作される操作部を含む（１）ないし（１９）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、例えば、ユーザの好みに応じて、画像処理部の作動を選択的に無効にすることができる。したがって、画像表示装置の使い勝手が向上する。

以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説明する。

図１には、本発明の第１実施形態に従う網膜走査型ディスプレイ（以下、単に「ＲＳＤ」と略称する。）２００の構成がブロック図で概念的に表されるとともに、このＲＳＤ２００から出射した光が観察者の眼Ｍに到達するまでの光路が光路図で示されている。このＲＳＤ２００は、画像表示装置の一例であって、表示すべき画像を表す画像光を観察者の眼Ｍの網膜Ｍ４上において走査することにより、画像を直接に網膜Ｍ４上に投影するものである。

ＲＳＤ２００は、同じ表示画像上に複数のオブジェクトを一斉に表示することが可能である。それら複数のオブジェクトがそれぞれ表示されるべき奥行き位置が互いに異なる場合には、奥行き位置の違いが観察者によって知覚されるようにそれら複数のオブジェクトの各奥行き位置、すなわち、それらオブジェクトを表示するための各画像光の波面曲率が制御される。

本実施形態においては、表示される複数のオブジェクトのうちの観察者が着目（注視）しているものが特定オブジェクトとして選択される。この場合、その選択された特定オブジェクトが観察者によって鮮明に目視されるように、それら複数のオブジェクトを含む画像の表示態様を変更する画像処理が施される。この画像処理は、具体的には、その選択された特定オブジェクトと、複数のオブジェクトのうちその特定オブジェクト以外の非特定オブジェクトとを互いに異なる表示態様で表示するために実行される。

さらに具体的には、本実施形態においては、特定オブジェクトの輝度が通常値より増加させられ、それにより、観察者による特定オブジェクトの鮮明な目視が可能となっている。

図１に示すように、ＲＳＤ２００は、画像情報Ｇに応じて変調された被変調光Ｈを眼Ｍの網膜Ｍ４上において直接に走査して網膜Ｍ４上に画像を直接に投影する光学機器である。

このＲＳＤ２００は、外部メモリ２０２と、被変調光出力部２０４と、走査部２０６と、波面曲率変調部２０８と、視線方向検出部２１０と、制御部２１２とを備えている。

外部メモリ２０２は、表示されるべき画像を表示するのに必要な画像情報Ｇを予め記憶する電子部品である。観察者がＲＳＤ２００の作動スイッチ２１３を操作してＲＳＤ２００を起動すると、ＲＳＤ２００は、外部メモリ２０２に予め記憶されている画像情報Ｇに基づき画像を表示する。

画像情報Ｇは、（ａ）表示されるべき画像の２次元上の位置を特定する平面位置情報と、表示されるべき画像の奥行き位置を特定する奥行き位置情報とを有する複数の幾何学情報と、（ｂ）表示されるべき画像の色彩を特定する色彩情報と、（ｃ）表示されるべき画像の輝度を特定する輝度情報とを含んでいる。

制御部２１２は、色彩情報および輝度情報に基づき被変調光出力部２０４を制御し、同期信号に基づき走査部２０６を制御し、奥行き位置情報に基づき波面曲率変調部２０８をそれぞれ制御する。

被変調光出力部２０４は、前述の色彩情報と輝度情報に基づき光を変調して被変調光Ｈとして出力する光学機器である。この被変調光出力部２０４から出力された被変調光Ｈは、波面曲率変調部２０８による波面曲率変調、走査部２０６における偏向および光反射部２１４における反射を経て、観察者の眼Ｍの虹彩Ｍ１で囲まれた瞳孔Ｍ２に入射する。その入射した被変調光Ｈは、水晶体Ｍ３において結像された後、網膜Ｍ４に到達する。

走査部２０６は、前述の同期信号に基づき、被変調光Ｈを網膜Ｍ４上において走査することによって網膜Ｍ４上に画像を投影する光学機器である。

波面曲率変調部２０８は、被変調光Ｈが光反射部２１４において反射した反射光であって眼Ｍに入射するものの拡散の角度、すなわち、被変調光Ｈの波面曲率を変化させることにより、観察者が画像を知覚する奥行き位置を変化させる光学機器である。この波面曲率変調部２０８の作動は、前述の奥行き位置情報に基づき、制御部２１２によって制御される。

具体的には、波面曲率変調部２０８は、図１において一点鎖線で示すように、観察者が画像を観察者に接近した位置Ｐ１において知覚するように、画像を表示することが可能である。それに代えて、波面曲率変調部２０８は、同図において二点鎖線で示すように、観察者が画像を観察者から離間した位置Ｐ２において知覚するように画像を表示することも可能である。それに代えて、波面曲率変調部２０８は、同図において破線で示すように、観察者が画像を遠方の位置Ｐ３にあるように画像を表示することも可能である。

視線方向検出部２１０は、観察者の視線方向を検出する装置である。その視線方向検出部２１０によって検出された観察者の視線方向を用いることにより、表示画像のうち観察者が着目している部分すなわち特定画像と、観察者が着目していない部分画像すなわち非特定画像とを互いに区別することができる。今回の表示画像は複数のオブジェクトを含んでいるため、特定画像は特定オブジェクト、非特定画像は非特定オブジェクトとそれぞれ称することとする。

視線方向検出部２１０は、既に知られている原理に従って観察者の両眼の視線方向を検出する。この視線方向検出部２１０は、例えば、特開平７−１６７６１８号公報や特公昭６１−５９１３２号公報に開示されているように、赤外線カメラと両眼との距離が既知である状態において、その赤外線カメラによって両眼の眼球を撮影し、その撮影された眼球の角膜反射像と瞳孔中心との相対位置関係に基づいて視線方向を検出するように設計することが可能である。視線方向を検出する他の従来例が、特開２００４−２５５０７４号公報および特開平５−１９９９９６号公報に開示されている。

本実施形態に従うＲＳＤ２００においては、表示画像が複数のオブジェクトを有し、かつ、それらオブジェクトが、奥行き位置に関して互いに異なるオブジェクトを含む場合に、それらオブジェクトの表示態様を制御するための画像処理が行われる。

本実施形態においては、同じ表示画像上に複数のオブジェクトを一斉に表示するために、前述のように、各オブジェクトに関連付けて、各オブジェクトが表示されるべき奥行き位置を特定する奥行き位置情報と、その奥行き位置における平面上において各オブジェクトが表示されるべき位置を特定する平面位置情報とを含む複数の画像情報が外部メモリ２０２に格納される。

本実施形態においては、オブジェクトは、例えば特定の物体を表現する画像を意味し、その画像が表示される領域がオブジェクト領域として定義される。そのオブジェクト領域内に存在する画素（着目画素）については、その画素に対応する平面位置情報（後述のＸ座標値およびＹ座標値）と奥行き位置情報（後述のＺ座標値）とが特定されれば、その画素が属するオブジェクトを特定することが可能である。

例えば、オブジェクト領域内のすべての画素について、平面位置情報および奥行き位置情報を特定のオブジェクトに対応付けて予め記憶させておけば、各画素の平面位置および奥行き位置からオブジェクトを特定することが可能である。ただし、特定のオブジェクトの全体が同一の奥行き位置に表示される場合には、その奥行き位置情報さえ特定のオブジェクトに対応付けて予め記憶させておけば、各画素の奥行き位置のみからオブジェクトを特定することが可能である。また、オブジェクトの形状如何では、そのオブジェクトに属する複数の画素のうちの少なくとも一部について、平面位置情報を特定のオブジェクトに対応付けて予め記憶させることを省略することが可能である。

それら奥行き位置情報および平面位置情報をさらに具体的に説明するに、表示画面上の各画素は、例えば図６に示すように、ＸＹＺ直交座標系によって定義される。表示画面上の各画素の奥行き位置はＺ座標値によって定義される一方、各画素の、その奥行き方向と直交する平面上における位置はＸ座標値とＹ座標値とによって定義される。

したがって、奥行き位置情報は、各画素ごとにＺ座標値を表す情報を含んでいる。一方、各画素の奥行き位置は、同じオブジェクトに属する複数の画素については共通するかまたは互いに近接する。よって、奥行き位置情報は、各オブジェクトごとにＺ座標値を表す情報を含むことが可能である。

これに対し、平面位置情報は、各画素ごとにＸ座標値とＹ座標値との組合せを表す情報を含んでいる。さらに、平面位置情報は、各オブジェクトにつき、各オブジェクトと同じ奥行き位置を有する平面上においてオブジェクトが存在する領域と存在しない領域とを互いに区別するための情報も含んでいる。

各オブジェクトが、対応する奥行き位置に表示されるようにするために、図１における波面曲率変調部２０８が上述の奥行き位置情報に基づいて作動させられる。この波面曲率変調部２０８によって波面曲率が変調される原理については、後に図４を参照して具体的に説明する。

ところで、奥行き位置が互いに異なる複数のオブジェクトが一斉に観察者に知覚されるようにすることは、それらオブジェクトが同じ視線方向において重なり合うことがないという前提においては、波面曲率変調部２０８が、波面曲率を変調する変調素子を１個のみ含み、その変調素子によって波面曲率を高速で変調することにより、実現することが可能である。

これに対し、それらオブジェクトが同じ視線方向において重なり合うことが許容される前提においては、例えば、波面曲率変調部２０８が、互いに独立して波面曲率を変調可能な複数の変調素子を含み、それら変調素子を一斉に作動させて各オブジェクトごとに異なる波面曲率を実現することが必要である。

ただし、一画面を構成する複数本の走査線のすべてを同じオブジェクトに割り当てるのではなく、それら走査線を複数のグループに分けて各グループごとに各オブジェクトに割り当てるようにすれば、波面曲率変調部２０８が１個の変調素子しか用いなくても、眼の残像現象と相俟って、観察者から見て重なり合う複数のオブジェクトが一斉に観察者によって知覚されるようにすることが可能である。

図１に示すように、制御部２１２は、コンピュータ２２０を主体として構成されている。コンピュータ２２０は、よく知られているように、ＣＰＵ２２２とＲＯＭ２２４とＲＡＭ２２６とを含むように構成される。制御部２１２は、ＲＯＭ２２４に予め格納されている各種プログラムがＣＰＵ２２２によって実行されることにより、所定の動作を実行する。

制御部２１２は、前述のように、色彩情報および輝度情報に基づき被変調光出力部２０４を制御し、同期信号に基づき走査部２０６を制御し、奥行き位置情報に基づき波面曲率変調部２０８をそれぞれ制御する。この制御部２１２は、ＲＳＤ２００本来の機能である通常の画像表示機能を実現するのみならず、観察者による特定オブジェクトの鮮明な目視を可能にすることを目的として、特定オブジェクトの輝度を変更する画像処理を実行する。

具体的には、この制御部２１２は、各オブジェクトが表示されるべき奥行き位置に基づいて、各オブジェクトに対応する輝度情報を変更する画像処理を実行する。この画像処理を実行するために、この制御部２１２は、外部メモリ２０２に予め記憶されている画像情報Ｇに対して、実行すべき画像処理の内容に応じた変更を加え、その変更された画像情報ＧをＲＡＭ２２６に記憶させる。このように、制御部２１２は、ＲＡＭ２２６に記憶されている輝度情報、平面位置情報および奥行き位置情報に基づき、被変調光出力部２０４、走査部２０６および波面曲率変調部２０８をそれぞれ制御する。

次に、外部メモリ２０２、被変調光出力部２０４、波面曲率変調部２０８および走査部２０６の各構成をさらに具体的に説明する。

図２に示すように、被変調光出力部２０４は、画像信号処理回路２３０を備え、さらに、光源として、赤色光源２３２、緑色光源２３４および青色光源２３６を備えている。この被変調光出力部２０４は、さらに、光源ドライバとして、赤色光源ドライバ２４０、緑色光源ドライバ２４２および青色光源ドライバ２４４を備えている。

この被変調光出力部２０４は、さらに、コリメータレンズ２４６，２４８，２５０と、波長選択性ミラー２５２，２５４，２５６と、フォーカスレンズ２５８とを備えている。

画像信号処理回路２３０は、前述の制御部２１２から出力される色彩情報および輝度情報に基づき、赤色光源２３２、緑色光源２３４および青色光源２３６をそれぞれ駆動する赤色光源ドライバ２４０、緑色光源ドライバ２４２および青色光源ドライバ２４４に対して、それぞれの色に対応する強度変調信号を出力する。

この画像信号処理回路２３０は、色彩情報および輝度情報に対して前述の画像処理が施されていない場合には、もともとの色彩情報および輝度情報に基づき赤色光源ドライバ２４０、緑色光源ドライバ２４２および青色光源ドライバ２４４に対して強度変調信号を出力する。

一方、色彩情報に変更が加えれれば、この画像信号処理回路２３０は、その変更された色彩情報に応じて強度変調信号を変更する。その結果、表示される画像の色彩を任意に変更することも、色彩を出力しないことにより画像を透明に表示することもできる。

また、輝度情報に変更が加えられれば、この画像信号処理回路２３０は、その変更された輝度情報に応じて強度変調信号を変更して赤色光源ドライバ２４０、緑色光源ドライバ２４２および青色光源ドライバ２４４を制御する。その結果、赤色光源２３２、緑色光源２３４および青色光源２３６のうちの該当するものの発光度（強度）を強めたり弱めたりして、画像の輝度を任意に変更することができる。

次に、図３および図４を参照することにより、前述の波面曲率変調部２０８の構成を具体的に説明する。

図３に示すように、この波面曲率変調部２０８は、凸レンズ２６０と、位置可変ミラー２６２と、ミラー駆動部２６４と、ハーフミラー２６６とを備えている。図２および図３に示すように、前述の被変調光出力部２０４から出射した被変調光Ｈは、光ファイバ２７０を介してハーフミラー２６６に伝送される。そのハーフミラー２６６は、波面曲率変調部２０８への被変調光Ｈの入口である。

図４に示すように、位置可変ミラー２６２は、凸レンズ２６０の光軸上に設けられている。この位置可変ミラー２６２は、凸レンズ２６０の焦点位置ｆと、この焦点位置ｆから凸レンズ２６０に接近した位置ａとの間を移動可能に設けられている。図４において位置ｂは、位置ａと焦点位置ｆとの中間の位置である。図４には、位置可変ミラー２６２が、それの反射面が位置ａに位置する状態で示されている。

図４に示すように、位置可変ミラー２６２が凸レンズ２６０の焦点位置ｆより凸レンズ２６０側にある位置ａに位置する場合には、図３において一点鎖線で示すように、観察者は画像を観察者の近傍の位置Ｐ１において知覚する。その理由は次の通りである。

図４に示す例においては、位置可変ミラー２６２が、凸レンズ２６０の焦点ｆの内側に位置している。そのため、図４において一点鎖線で示すように、凸レンズ２６０側から位置可変ミラー２６２に向けて平行光として出射した被変調光Ｈは、その位置可変ミラー２６２において反射されて拡散光に変換される。このように拡散光に変換された被変調光Ｈが観察者の眼Ｍに入射すると、観察者は画像を図３における位置Ｐ１において知覚する。

これに対し、位置可変ミラー２６２が凸レンズ２６０の焦点位置ｆに位置する場合には、その位置可変ミラー２６２から反射した被変調光Ｈは平行光として観察者の眼Ｍに入射する。その結果、観察者は、図３において破線で示すように、画像を遠方の位置Ｐ３において知覚する。

さらに、位置可変ミラー２６２が凸レンズ２６０の焦点位置ｆと前述の位置ａとの間の位置ｂに位置する場合には、観察者は、図３において二点鎖線で示すように、画像を位置Ｐ２において知覚する。

図４に示すミラー駆動部２６４は、例えば圧電素子を用いて形成される。ミラー駆動部２６４を圧電素子を用いて形成する場合には、例えば、圧電素子の複数の面のうち電界印加方向と交差する面に前述の位置可変ミラー２６２を取り付けることが可能である。

この例においては、その圧電素子に印加する電圧すなわち電界を変化させれば、その圧電素子の厚さが変化する。その圧電素子の厚さが変化すれば、位置可変ミラー２６２を凸レンズ２６０から離間させたり凸レンズ２６０に接近させることができ、その結果、位置可変ミラー２６２を前述の位置ａ、位置ｂおよび焦点位置ｆのうちの任意のものに移動させることができる。

位置可変ミラー２６２の位置は、奥行き位置情報に基づいて制御される。したがって、奥行き位置情報を変更することにより、表示されるべき画像の奥行き位置を、例えば、図３に示す位置Ｐ１と位置Ｐ３との間における任意の位置に変化させることができる。

次に、図３を参照して前述の走査部２０６の構成を具体的に説明する。

図３に示すように、走査部２０６は、水平走査ミラー２８０と、リレーレンズ（例えば、凸レンズ）２８２，２８４と、垂直走査ミラー２８６と、リレーレンズ（例えば、凸レンズ）２８８，２９０とを備えている。

図３に示すように、水平走査ミラー２８０は、回転軸Ｌ１まわりに回転可能に設けられている。この水平走査ミラー２８０は、前記ハーフミラー２６６から出射した被変調光Ｈを、この水平走査ミラー２８０の回転位置に応じた方向へ反射する。この水平走査ミラー２８０の回転は、前述の同期信号に基づいて制御される。

垂直走査ミラー２８６は、回転軸Ｌ２まわりに揺動可能に設けられている。この垂直走査ミラー２８６の回転は、前述の同期信号に基づいて制御される。

リレーレンズ２８２，２８４は、水平走査ミラー２８０から反射した被変調光Ｈを垂直走査ミラー２８６に伝送する。リレーレンズ２８８，２９０は、垂直走査ミラー２８６から反射した被変調光Ｈを、瞳孔Ｍ２および水晶体Ｍ３を順次経由して、網膜Ｍ４に伝送する。

観察者による特定オブジェクトの鮮明な目視を目的とした前述の画像処理を行うために、コンピュータ２２０のＲＯＭ２２４に画像処理プログラムが予め記憶されている。図５には、その画像処理プログラムがフローチャートで概念的に表されている。

この画像処理プログラムはコンピュータ２２０によって繰返し実行される。各回の実行時には、まず、図５のＳ１０１において、視線方向検出部２１０により、観察者の視線方向が検出される。

次に、Ｓ１０２において、その検出された視線方向と、今回の表示画像における複数のオブジェクトをそれぞれ表示するために外部メモリ２０２に格納されている複数の画像情報によって表される各オブジェクトの幾何学情報との関係から、それら複数のオブジェクトのうち観察者が現在着目（注視）しているものが特定オブジェクトとして選択される。

このＳ１０２においては、例えば、各オブジェクトごとに、各オブジェクトと同じ奥行き位置を有する平面と、前記検出された視線方向との交点が求められ、その求められた交点が、そのオブジェクトの領域内に存在するか否かが判定される。そのオブジェクトの領域内に存在すれば、そのオブジェクトが、観察者が現在注目しているオブジェクトであると判定される。

続いて、Ｓ１０３において、前記複数の画像情報のうち、その選択された特定オブジェクトに対応する奥行き位置情報に基づき、その特定オブジェクトの奥行き位置、すなわち、観察者から前方に延びるように観察者に設定されたＺ軸上における座標値が取得される。

その後、Ｓ１０４において、その取得されたＺ軸座標値と予め定められた基準値との比較結果に基づき、前記選択された特定オブジェクトが観察者に接近しているか否かが判定される。その特定オブジェクトが観察者に接近している場合には、このＳ１０４において、その特定オブジェクトが表示されるべき輝度が通常値より増加するように、その特定オブジェクトに対応する輝度情報が変更される。輝度情報は、各オブジェクトに関連付けて外部メモリ２０２に格納されている。

続いて、Ｓ１０５において、その変更された輝度情報に基づき、特定オブジェクトの表示に関連して、赤色光源ドライバ２４０、緑色光源ドライバ２４２および青色光源ドライバ２４４のうち該当するものが制御される。それにより、特定オブジェクトの表示に関連して、赤色光源２３２、緑色光源２３４および青色光源２３６のうち該当するものの発光度（強度）が通常値より増加させられ、その結果、特定オブジェクトの輝度が通常値より増加させられる。本実施形態においては、特定オブジェクト全体の輝度が通常値より増加させられる。

以上で、この画像処理プログラムの一回の実行が終了する。

次に、図６に示す画像を例により、この画像処理プログラムの実行によって実行される画像処理をさらに具体的に説明する。

図６に示す例においては、水槽内にエイＡ、鯛Ｂおよび珊瑚Ｃが観察者に近い側から順に位置する様子が画像として立体的に表示される。この例においては、それらエイＡの画像、鯛Ｂの画像および珊瑚Ｃの画像が、一斉に表示されるべき複数のオブジェクトの一例である。それらオブジェクトが一斉に表示された状態において、観察者は、鯛Ｂの画像に着目したと仮定する。

この状態において前記画像処理プログラムがコンピュータ２２０によって実行されると、まず、Ｓ１０１において、視線方向検出部２１０によって観察者の視線方向が検出される。次に、Ｓ１０２において、複数のオブジェクトのうちその検出された視線方向に位置するもの、すなわち、今回は鯛Ｂの画像が、観察者が着目している特定オブジェクトとして選択される。

続いて、Ｓ１０３において、外部メモリ２０２に予め記憶されている画像情報Ｇのうちの奥行き位置情報に基づき、鯛Ｂの画像の奥行き位置、すなわち、図６において鯛Ｂの画像が位置するＺ軸上の座標値が取得される。

その後、Ｓ１０４において、鯛Ｂの画像のＺ軸上における位置が観察者に接近しているか否かが判定され、接近している場合には、このＳ１０４において、鯛Ｂの画像の輝度が増加するように、鯛Ｂの画像に関する輝度情報に対して変更が加えられる。

続いて、Ｓ１０５において、鯛Ｂの画像に関する輝度情報に対して変更が施された画像情報が被変調光出力部２０４に入力される。それにより、鯛Ｂの画像の表示に同期して、赤色光源ドライバ２４０、緑色光源ドライバ２４２および青色光源ドライバ２４４を介して、赤色光源２３２、緑色光源２３４および青色光源２３６の各発光度が増加させられる。その結果、鯛Ｂの画像全体の輝度が増加させられる。

以上の説明から明らかなように、本実施形態においては、観察者が着目している特定オブジェクトが観察者に接近している場合には、その特定オブジェジェクトの輝度が増加させられることにより、その特定オブジェクトより遠方に位置する他のオブジェクトより、その特定オブジェクトが強調されて表示される。

本実施形態によれば、観察者が特定の動作を行えば、それを契機にして表示画像の出現およびその出現後の移動が自動的に行われる。さらに、本実施形態によれば、複数のオブジェクトが一斉に表示される場合に、それらオブジェクトのうち観察者が注目しているものが特定オブジェクトとして自動的に選択され、その選択された特定オブジェクトが相対的に鮮明に表示されるための画像処理が自動的に開始される。

このように、本実施形態によれば、観察者がいちいち操作を行うことなく、観察者の意思が自動的に画像表示処理に反映され、その結果、使い勝手が改善された画像表示装置が提供される。

なお付言するに、本実施形態においては、特定オブジェクトの輝度が、その特定オブジェクトが観察者に接近している場合と接近していない場合とで２段階に切り換えられる。これに対し、それより多段階で特定オブジェクトの輝度が変化させられる態様で本発明を実施することが可能である。また、特定オブジェクトが観察者に接近するにつれて連続的にその特定オブジェクトの輝度が変化させられる態様で本発明を実施することも可能である。

さらに付言するに、特定オブジェクトの輝度が、その特定オブジェクトが観察者から遠ざかるにつれて増加する態様で本発明を実施することが可能である。この態様を採用する場合には、観察者は、特定オブジェクトが遠方に位置するにもかかわらず、その特定オブジェクトを鮮明に目視することができる。

以上の説明から明らかなように、本実施形態においては、コンピュータ２２０のうち図５のＳ１０１およびＳ１０２を実行する部分と視線方向検出部２１０とが互いに共同して、前記（１）項における「選択部」の一例と、前記（３）項における「特定オブジェクト検出部」の一例とを構成し、コンピュータ２２０のうち同図のＳ１０３およびＳ１０４を実行する部分が、前記（１）項における「画像処理部」の一例と、前記（２）項における「画像処理部」の一例とを構成しているのである。

さらに、本実施形態においては、コンピュータ２２０のうち図９のＳ１０１を実行する部分と視線方向検出部２１０とが互いに共同して、前記（４）項における「視線方向検出部」の一例を構成し、コンピュータ２２０のうち同図のＳ１０２を実行する部分が、同項における「決定部」の一例を構成しているのである。

さらに、本実施形態においては、コンピュータ２２０のうち図９のＳ１０４およびＳ１０５が前記（７）項における「画像処理部」の一例を構成しているのである。

次に、本発明の第２実施形態を説明する。ただし、本実施形態は、第１実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画像処理に関する要素について異なるのみで、他の要素については共通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第１実施形態においては、特定オブジェクトの輝度が増加させられることにより、特定オブジェクトの強調表示が行われる。これに対し、本実施形態においては、特定オブジェクトの輪郭が通常より明瞭に、すなわち、本実施形態においては明るく表示されることにより、特定オブジェクトの強調表示が行われる。

この画像処理を実行するために、ＲＯＭ２２４に、図７にフローチャートで概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プログラムを説明するが、図５に示す画像処理プログラムと共通するステップについては、対応するステップの番号を引用することにより、詳細な説明を省略する。

図７に示す画像処理プログラムの各回の実行時には、まず、Ｓ２０１において、Ｓ１０１と同様にして、観察者の視線方向が検出される。次に、Ｓ２０２において、Ｓ１０２と同様にして、その検出された視線方向に基づき、一斉に表示されている複数のオブジェクトのうち観察者が着目しているものが特定オブジェクトとして選択される。

続いて、Ｓ２０３において、Ｓ１０３と同様にして、その選択された特定オブジェクトの奥行き位置が求められる。その後、Ｓ２０４において、特定オブジェクトを構成する複数の画素のうち、その特定オブジェクトの輪郭を形成するものの輝度が通常値より増加するように、対応する輝度情報が変更される。

続いて、Ｓ２０５において、Ｓ１０５と同様にして、その変更された輝度情報に基づいて被変調光出力部２０４が制御される。その結果、特定オブジェクトの輪郭の輝度が局部的に通常値より増加させられ、その輪郭が強調されて表示される。

さらに具体的に説明するに、図６に示す例についてこの画像処理プログラムが実行されると、特定オブジェクトである鯛Ｂの画像の輪郭の輝度のみが増加するように、外部メモリ２０２に予め記憶されている輝度情報に変更が加えられる。被変調光出力部２０４は、その変更された輝度情報に基づき、鯛Ｂの画像の輪郭を形成する複数の画素の輝度を高める。

以上の説明から明らかなように、本実施形態においては、コンピュータ２２０のうち図７のＳ２０４およびＳ２０５を実行する部分が前記（８）項における「画像処理部」の一例を構成しているのである。

次に、本発明の第３実施形態を説明する。ただし、本実施形態は、第１実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画像処理に関する要素について異なるのみで、他の要素については共通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第１実施形態においては、特定オブジェクトの輝度が増加させられることにより、特定オブジェクトの強調表示が行われる。これに対し、本実施形態においては、特定オブジェクトの輪郭の外側においてその輪郭に沿って位置している複数の周辺画素が通常より明瞭に、すなわち、本実施形態においては明るく表示されることにより、特定オブジェクトの強調表示が行われる。

この画像処理を実行するために、ＲＯＭ２２４に、図８にフローチャートで概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プログラムを説明するが、図５に示す画像処理プログラムと共通するステップについては、対応するステップの番号を引用することにより、詳細な説明を省略する。

図８に示す画像処理プログラムの各回の実行時には、まず、Ｓ３０１において、Ｓ１０１と同様にして、観察者の視線方向が検出される。次に、Ｓ３０２において、Ｓ１０２と同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目しているものが特定オブジェクトとして選択される。

続いて、Ｓ３０３において、Ｓ１０３と同様にして、その選択された特定オブジェクトの奥行き位置が求められる。その後、Ｓ３０４において、特定オブジェクトと同一の奥行き位置を有する平面上に仮想的に位置する複数の画素のうち、その特定オブジェクトの輪郭の外側に、その輪郭から設定距離離れて位置する複数の画素が複数の周辺画素として選択される。このＳ３０４においては、さらに、その選択された複数の周辺画素の輝度が通常値より増加するように、対応する輝度情報が変更される。

続いて、Ｓ３０５において、Ｓ１０５と同様にして、その変更された輝度情報に基づいて被変調光出力部２０４が制御される。その結果、特定オブジェクトの輪郭の周辺画素の輝度が通常値より増加させられ、その周辺画素が強調されて表示される。

さらに具体的に説明するに、図６に示す例についてこの画像処理プログラムが実行されると、特定オブジェクトである鯛Ｂの画像の輪郭外側の周辺画素の輝度のみが増加するように、外部メモリ２０２に予め記憶されている輝度情報に変更が加えられる。被変調光出力部２０４は、その変更された輝度情報に基づき、鯛Ｂの画像の輪郭外側の周辺画素の輝度を高める。

以上の説明から明らかなように、本実施形態においては、コンピュータ２２０のうち図８のＳ３０４およびＳ３０５を実行する部分が前記（９）項における「画像処理部」の一例を構成しているのである。

次に、本発明の第４実施形態を説明する。ただし、本実施形態は、第１実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画像処理に関する要素について異なるのみで、他の要素については共通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第１実施形態においては、特定オブジェクトの輝度が増加させられることにより、特定オブジェクトの強調表示が行われる。これに対し、本実施形態においては、一斉に表示されるべき複数のオブジェクトのうち特定オブジェクトより手前に表示されるべき非特定オブジェクトが存在する場合に、その非特定オブジェクトが透明に表示される。これにより、本来であれば特定オブジェクトの手前に非特定オブジェクトが存在するにもかからず、観察者は、その非特定オブジェクトによって邪魔されることなく、特定オブジェクトを明瞭に目視することができる。

以上説明した画像処理を実行するために、ＲＯＭ２２４に、図９にフローチャートで概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プログラムを説明するが、図５に示す画像処理プログラムと共通するステップについては、対応するステップの番号を引用することにより、詳細な説明を省略する。

図９に示す画像処理プログラムの各回の実行時には、まず、Ｓ４０１において、Ｓ１０１と同様にして、観察者の視線方向が検出される。次に、Ｓ４０２において、Ｓ１０２と同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目しているものが特定オブジェクトとして選択される。

続いて、Ｓ４０３において、Ｓ１０３と同様にして、その選択された特定オブジェクトの奥行き位置を表すＺ座標値が求められる。その後、Ｓ４０４において、特定オブジェクトと一緒に表示されている他の非特定オブジェクトの各々につき、表示されるべき奥行き位置を表すＺ座標値が求められる。

その後、Ｓ４０５において、各非特定オブジェクトごとに、それのＺ座標値と特定オブジェクトのＺ座標値との比較結果に基づき、本来であれば各非特定オブジェクトが特定オブジェクトの手前に表示されるべきであるか否かが判定される。

今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきであると仮定すれば、Ｓ４０５の判定がＹＥＳとなり、Ｓ４０６において、特定オブジェクトの手前に表示されるべき非特定オブジェクトが透明に表示されるように、その非特定オブジェクトに対応する色彩情報が変更される。以上で、この画像処理プログラムの一回の実行が終了する。

これに対し、今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきではないと仮定すれば、Ｓ４０５の判定がＮＯとなり、Ｓ４０７において、特定オブジェクトより遠方に表示されるべき非特定オブジェクトが色彩の変更なしで表示されるように、その非特定オブジェクトに対応する色彩情報に対する変更が行われない。以上で、この画像処理プログラムの一回の実行が終了する。

さらに具体的に説明するに、図６に示す例についてこの画像処理プログラムが実行されると、Ｓ４０２において、鯛Ｂの画像が特定オブジェクトとして選択される。続いて、Ｓ４０３において、鯛Ｂの画像に対応する奥行き位置情報に基づき、鯛Ｂの画像が表示されるべき奥行き位置を表すＺ座標値が求められる。

その後、Ｓ４０４において、非特定オブジェクトであるエイＡの画像が表示されるべき奥行き位置を表すＺ座標値と、非特定オブジェクトである珊瑚Ｃの画像が表示されるべき奥行き位置を表すＺ座標値とが求められる。続いて、Ｓ４０５において、それらエイＡの画像と珊瑚Ｃの画像とのそれぞれにつき、対応するＺ座標値と特定オブジェクトである鯛Ｂの画像のＺ座標値との比較により、鯛Ｂの画像より手前に表示されるべき非特定オブジェクトであるか否かが判定される。

エイＡの画像については、鯛Ｂの画像より手前に表示されるべき非特定オブジェクトであるため、Ｓ４０５の判定結果がＹＥＳとなり、Ｓ４０６において、エイＡの画像が透明に表示されるように、対応する色彩情報が変更される。これに対し、珊瑚Ｃの画像については、鯛Ｂの画像より奥に表示されるべき非特定オブジェクトであるため、Ｓ４０５の判定結果がＮＯとなり、Ｓ４０７において、珊瑚Ｃの画像は、色彩の変更なしで表示される。

以上の説明から明らかなように、本実施形態においては、コンピュータ２２０のうち図７のＳ４０４ないしＳ４０６を実行する部分が前記（１０）項における「画像処理部」の一例を構成しているのである。

なお付言するに、他のオブジェクトより手前に表示されるべき手前オブジェクト（図６に示す例においては、エイＡの画像）が透明に表示されるのではなく、半透明に表示される態様で本発明を実施することが可能である。

この態様を実施する場合には、例えば、手前オブジェクトに関連付けて外部メモリ２０２に予め記憶されている本来の色彩情報によって表される色彩と、その手前オブジェクトより奥に表示されるべき奥オブジェクトに関連付けて外部メモリ２０２に予め記憶されている本来の色彩情報によって表される色彩とを所定の混合の割合で混合した混合色彩を、手前オブジェクトの輪郭線の内側に付すことが可能である。その所定の割合は、例えば、手前オブジェクトの本来の色彩と奥オブジェクトの本来の色彩との比率が９対１となるように設定することが可能である。

次に、本発明の第５実施形態を説明する。ただし、本実施形態は、第４実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画像処理に関する要素について異なるのみで、他の要素については共通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第４実施形態においては、特定オブジェクトより手前に表示されるべき非特定オブジェクトが透明に表示される一方、奥に表示されるべき非特定オブジェクトが色彩の変更なしで表示される。これに対し、本実施形態においては、特定オブジェクトより手前に表示されるべき非特定オブジェクトが奥行き位置の変更なしで表示される一方、奥に表示されるべき非特定オブジェクトが、もとの奥行き位置より特定オブジェクトに接近した位置において表示される。

以上説明した画像処理を実行するために、ＲＯＭ２２４に、図１０にフローチャートで概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プログラムを説明するが、図９に示す画像処理プログラムと共通するステップについては、対応するステップの番号を引用することにより、詳細な説明を省略する。

図１０に示す画像処理プログラムの各回の実行時には、まず、Ｓ５０１において、Ｓ４０１と同様にして、観察者の視線方向が検出される。次に、Ｓ５０２において、Ｓ４０２と同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目しているものが特定オブジェクトとして選択される。

続いて、Ｓ５０３において、Ｓ４０３と同様にして、その選択された特定オブジェクトの奥行き位置を表すＺ座標値が求められる。その後、Ｓ５０４において、Ｓ４０４と同様にして、特定オブジェクトと一緒に表示されている他の非特定オブジェクトの各々につき、表示されるべき奥行き位置を表すＺ座標値が求められる。

その後、Ｓ５０５において、Ｓ４０５と同様にして、各非特定オブジェクトごとに、それのＺ座標値と特定オブジェクトのＺ座標値との比較結果に基づき、各非特定オブジェクトが、本来であれば特定オブジェクトの手前に表示されるべきであるか否かが判定される。

今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきであると仮定すれば、Ｓ５０５の判定がＹＥＳとなり、Ｓ５０６において、特定オブジェクトの手前に表示されるべき非特定オブジェクトが、奥行き位置の変更なしで表示されるように、その非特定オブジェクトに対応する奥行き位置情報が変更されない。以上で、この画像処理プログラムの一回の実行が終了する。

これに対し、今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきではないと仮定すれば、Ｓ５０５の判定がＮＯとなり、Ｓ５０７において、特定オブジェクトより遠方に表示されるべき非特定オブジェクトが、もとの奥行き位置より特定オブジェクトに接近した位置に表示されるように、その非特定オブジェクトに対応する奥行き位置情報に対する変更が行われる。以上で、この画像処理プログラムの一回の実行が終了する。

さらに具体的に説明するに、図６に示す例についてこの画像処理プログラムが実行されると、Ｓ５０２において、鯛Ｂの画像が特定オブジェクトとして選択される。続いて、Ｓ５０３において、鯛Ｂの画像に対応する奥行き位置情報に基づき、鯛Ｂの画像が表示されるべき奥行き位置を表すＺ座標値が求められる。

その後、Ｓ５０４において、非特定オブジェクトであるエイＡの画像が表示されるべき奥行き位置を表すＺ座標値と、非特定オブジェクトである珊瑚Ｃの画像が表示されるべき奥行き位置を表すＺ座標値とが求められる。続いて、Ｓ５０５において、それらエイＡの画像と珊瑚Ｃの画像とのそれぞれにつき、対応するＺ座標値と特定オブジェクトである鯛Ｂの画像のＺ座標値との比較により、鯛Ｂの画像より手前に表示されるべき非特定オブジェクトであるか否かが判定される。

エイＡの画像については、鯛Ｂの画像より手前に表示されるべき非特定オブジェクトであるため、Ｓ５０５の判定結果がＹＥＳとなり、Ｓ５０６において、エイＡの画像が、奥行き位置の変更なしで、すなわち、もとの奥行き位置に表示される。これに対し、珊瑚Ｃの画像については、鯛Ｂの画像より奥に表示されるべき非特定オブジェクトであるため、Ｓ５０５の判定結果がＮＯとなり、Ｓ５０７に移行する。

このＳ５０７においては、珊瑚Ｃの画像を鯛Ｂの画像に近づけて表示するために、珊瑚Ｃの画像に対応する奥行き位置情報に変更が加えられる。波面曲率変調部２０８は、その変更された奥行き位置情報に基づき、珊瑚Ｃの画像を表示するための画像光の波面曲率を変調する。その結果、珊瑚Ｃの画像は、もとの奥行き位置より鯛Ｂの画像に接近した奥行き位置に表示される。

以上の説明から明らかなように、本実施形態においては、コンピュータ２２０のうち図１０のＳ５０４ないしＳ５０７を実行する部分が、前記（１）項における「表示オブジェクト位置変更部」の一例と、前記（１２）項における「表示オブジェクト位置変更部」の一例とを構成し、被変調光出力部２０４が前記（１２）項における「光束出力部」の一例を構成し、波面曲率変調部２０８が同項における「波面曲率変調部」の一例を構成しているのである。

さらに、本実施形態においては、コンピュータ２２０のうち図１０のＳ５０３およびＳ５０４を実行する部分が前記（１３）項における「奥行き位置検出部」の一例を構成し、コンピュータ２２０のうち同図のＳ５０５およびＳ５０７を実行する部分が同項における「表示オブジェクト位置変更部」の一例を構成しているのである。

次に、本発明の第６実施形態を説明する。ただし、本実施形態は、第５実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画像処理に関する要素について異なるのみで、他の要素については共通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第５実施形態においては、特定オブジェクトより遠方に表示されるべき非特定オブジェクトが、もとの奥行き位置より特定オブジェクトに接近した奥行き位置に表示される。これに対し、本実施形態においては、特定オブジェクトより遠方に表示されるべき非特定オブジェクトが、もとの奥行き位置より特定オブジェクトから遠ざけられた奥行き位置に表示される。

以上説明した画像処理を実行するために、ＲＯＭ２２４に、図１１にフローチャートで概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プログラムを説明するが、図１０に示す画像処理プログラムと共通するステップについては、対応するステップの番号を引用することにより、詳細な説明を省略する。

図１１に示す画像処理プログラムの各回の実行時には、まず、Ｓ６０１において、Ｓ５０１と同様にして、観察者の視線方向が検出される。次に、Ｓ６０２において、Ｓ５０２と同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目しているものが特定オブジェクトとして選択される。

続いて、Ｓ６０３において、Ｓ５０３と同様にして、その選択された特定オブジェクトの奥行き位置を表すＺ座標値が求められる。その後、Ｓ６０４において、Ｓ５０４と同様にして、特定オブジェクトと一緒に表示されている他の非特定オブジェクトの各々につき、表示されるべき奥行き位置を表すＺ座標値が求められる。

その後、Ｓ６０５において、Ｓ５０５と同様にして、各非特定オブジェクトごとに、それのＺ座標値と特定オブジェクトのＺ座標値との比較結果に基づき、各非特定オブジェクトが、本来であれば特定オブジェクトの手前に表示されるべきであるか否かが判定される。

今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきであると仮定すれば、Ｓ６０５の判定がＹＥＳとなり、Ｓ６０６において、特定オブジェクトの手前に表示されるべき非特定オブジェクトが、奥行き位置の変更なしで表示されるように、その非特定オブジェクトに対応する奥行き位置情報が変更されない。以上で、この画像処理プログラムの一回の実行が終了する。

これに対し、今回の非特定オブジェクトは、特定オブジェクトの手前に表示されるべきではない、すなわち、特定オブジェクトより遠方に表示されるべきであると仮定すれば、Ｓ６０５の判定がＮＯとなり、Ｓ６０７において、特定オブジェクトより遠方に表示されるべき非特定オブジェクトが、もとの奥行き位置より特定オブジェクトから遠ざけられた奥行き位置に表示されるように、その非特定オブジェクトに対応する奥行き位置情報に対する変更が行われる。以上で、この画像処理プログラムの一回の実行が終了する。

さらに具体的に説明するに、図６に示す例についてこの画像処理プログラムが実行されると、Ｓ６０２において、鯛Ｂの画像が特定オブジェクトとして選択される。続いて、Ｓ６０３において、鯛Ｂの画像に対応する奥行き位置情報に基づき、鯛Ｂの画像が表示されるべき奥行き位置を表すＺ座標値が求められる。

その後、Ｓ６０４において、非特定オブジェクトであるエイＡの画像が表示されるべき奥行き位置を表すＺ座標値と、非特定オブジェクトである珊瑚Ｃの画像が表示されるべき奥行き位置を表すＺ座標値とが求められる。続いて、Ｓ６０５において、それらエイＡの画像と珊瑚Ｃの画像とのそれぞれにつき、鯛Ｂの画像より手前に表示されるべき非特定オブジェクトであるか否かが判定される。

エイＡの画像については、鯛Ｂの画像より手前に表示されるべき非特定オブジェクトであるため、Ｓ６０５の判定結果がＹＥＳとなり、Ｓ６０６において、エイＡの画像が、奥行き位置の変更なしで、すなわち、もとの奥行き位置に表示される。これに対し、珊瑚Ｃの画像については、鯛Ｂの画像より奥に表示されるべき非特定オブジェクトであるため、Ｓ６０５の判定結果がＮＯとなり、Ｓ６０７に移行する。

このＳ６０７においては、珊瑚Ｃの画像を鯛Ｂの画像から遠ざけて表示するために、珊瑚Ｃの画像に対応する奥行き位置情報に変更が加えられる。波面曲率変調部２０８は、その変更された奥行き位置情報に基づき、珊瑚Ｃの画像を表示するための画像光の波面曲率を変調する。その結果、珊瑚Ｃの画像は、もとの奥行き位置より鯛Ｂから遠ざけられた奥行き位置に表示される。

以上の説明から明らかなように、本実施形態においては、コンピュータ２２０のうち図１１のＳ６０４ないしＳ６０７を実行する部分が、前記（１）項における「表示オブジェクト位置変更部」の一例と、前記（１２）項における「表示オブジェクト位置変更部」の一例とを構成しているのである。

さらに、本実施形態においては、コンピュータ２２０のうち図１１のＳ６０３およびＳ６０４を実行する部分が前記（１４）項における「奥行き位置検出部」の一例を構成し、コンピュータ２２０のうち同図のＳ６０５およびＳ６０７を実行する部分が同項における「表示オブジェクト位置変更部」の一例を構成しているのである。

次に、本発明の第７実施形態を説明する。ただし、本実施形態は、第１実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画像処理に関する要素について異なるのみで、他の要素については共通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第１実施形態においては、特定オブジェクトが、それの手前に位置する非特定オブジェクトと重なって表示されるべき部分を有するか否かの判定が行われるようにはなっていないが、本実施形態においては、その判定が行われる。さらに、本実施形態においては、特定オブジェクトのうち、非特定オブジェクトと重なって表示されるべき部分が半透明に表示される。

具体的には、本実施形態においては、特定オブジェクトのうち、非特定オブジェクトと重なって表示されるべき部分の色彩が、もとの色彩から、特定オブジェクトのもとの色彩と非特定オブジェクトのもとの色彩とが所定の割合で混合された混合色彩に変更される。

以上説明した画像処理を実行するために、ＲＯＭ２２４に、図１２にフローチャートで概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プログラムを説明するが、図５に示す画像処理プログラムと共通するステップについては、対応するステップの番号を引用することにより、詳細な説明を省略する。

図１２に示す画像処理プログラムの各回の実行時には、まず、Ｓ７０１において、Ｓ１０１と同様にして、観察者の視線方向が検出される。次に、Ｓ７０２において、一斉に表示されている複数のオブジェクトのうち観察者が着目しているものが特定オブジェクトとして選択される。

このＳ７０２においては、図１３に示すように、まず、観察者の両眼の注視点の位置（少なくとも左右方向位置と奥行き位置）が、両眼Ｍ，Ｍの各視線方向α１，α２をそれぞれ表す角度β１，β２と、両眼間の距離Ｗとに基づき、三角測量の原理に従って測定される。図１３において「Ｋ」は、両眼Ｍ，Ｍを互いに結ぶ基線を表しており、その基線Ｋと各視線方向α１，α２との成す角度として角度β１，β２がそれぞれ定義されている。距離Ｗは、固定値として予めＲＯＭ２２４（またはＲＡＭ２２６）に記憶させておくことが可能である。

このＳ７０２においては、さらに、複数のオブジェクトに対応する前述の幾何学情報に基づき、前記測定された注視点が位置するオブジェクトが特定オブジェクトとして選択される。

図１３には、図６に示す例に関連して、エイＡの画像および鯛Ｂの画像が平面視で示されている。図１４には、それらエイＡの画像および鯛Ｂの画像が正面視で示されている。図１４に示すように、エイＡの画像の一部が鯛Ｂの画像と観察者の視線方向において重なっており、このことが図１３に平面視で示されている。図１３には、さらに、観察者の注視点がエイＡの画像にではなく鯛Ｂの画像に存在することも示されている。この例においては、鯛Ｂの画像が特定オブジェクトとして選択される。

なお付言するに、このＳ７０２においては、特定オブジェクトが三角測量によって自動的に選択されるが、例えば、観察者が特定オブジェクトを選択するための操作（例えば、特定オブジェクトを表示する別の画面（例えば、モニタ画面）上において観察者がその特定オブジェクトにおいてマウスをクリックする操作）に応じて特定オブジェクトが手動で選択される態様で本発明を実施することが可能である。

続いて、図１２のＳ７０３において、その選択された特定オブジェクトに対応する奥行き位置情報および平面位置情報によって表される特定オブジェクトの幾何学量と、非特定オブジェクトに対応する奥行き位置情報および平面位置情報によって表される非特定オブジェクトの幾何学量と、前記検出された視線方向とに基づき、特定オブジェクトのうち、それより手前に位置する非特定オブジェクトとの重なり部分が幾何学的に検出される。

その後、Ｓ７０４において、特定オブジェクトのうち非特定オブジェクトと重なって表示されるべき部分ではない部分が、色彩の変更なしで、すなわち、もとの色彩が付された状態で表示される。

続いて、Ｓ７０５において、特定オブジェクトの色彩と、その特定オブジェクトより手前においてその特定オブジェクトに重なって表示されるべき非特定オブジェクトの色彩とが所定の割合で混合された混合色彩が決定される。

このＳ７０５においては、さらに、特定オブジェクトのうち非特定オブジェクトと重なって表示されるべき部分に対応する色彩情報が、上記決定された混合色彩を表すように変更される。その結果、特定オブジェクトのうち非特定オブジェクトと重なって表示されるべき部分が、それの色彩がもとの色彩から上記混合色彩に変更された状態で、表示される。

さらに具体的に説明するに、図１３および図１４に示す例についてこの画像処理プログラムが実行されると、Ｓ７０２において、鯛Ｂの画像が特定オブジェクトとして選択される。続いて、Ｓ７０３において、鯛Ｂの画像の一部が、それより手前の非特定オブジェクトであるエイＡの画像と重なっていることが検出される。

その後、Ｓ７０４において、制御部２１２が波面曲率変調部２０８を制御することにより、鯛Ｂの画像が、外部メモリ２０２に予め記憶されている本来の奥行き位置に存在するように表示される。

このＳ７０４においては、さらに、鯛Ｂの画像のうちエイＡの画像と重なっていない部分につき、外部メモリ２０２に予め記憶されている本来の色彩がその部分に付されるように、外部メモリ２０２に予め記憶されている色彩情報が変更されない。

続いて、Ｓ７０５において、鯛Ｂの画像のうちエイＡの画像と重なっている部分につき、外部メモリ２０２に予め記憶されている鯛Ｂの画像に付されるべき本来の色彩と、エイＡの画像に付されるべき本来の色彩とが所定の割合で混合された混合色彩が付されて表示されるように、外部メモリ２０２に予め記憶されている色彩情報が変更される。

このように、本実施形態においては、鯛Ｂの画像のうち、エイＡの画像と重なる部分が、鯛Ｂの画像の本来の色彩と、エイＡの画像の本来の色彩とが混合された混合色彩を付された状態で表示され、その結果、観察者は、鯛Ｂの画像の手前にエイＡの画像が存在するにもかかわらず、エイＡの画像によって邪魔されることなく鯛Ｂの画像を明瞭に目視することができる。

なお付言するに、このＳ７０５においては、前述の混合割合を任意に設定することが可能である。例えば、特定オブジェクトの本来の色彩と、その手前に位置する非特定オブジェクトの本来の色彩との混合比率が９対１で表される割合に設定することが可能である。

さらに付言するに、このＳ７０５においては、特定オブジェクトの手前においてそれと重なる非特定オブジェクトがそもそも半透明に表示される場合には、前述の混合割合を、もとの混合割合から変更しなくてもよい。

さらに付言するに、図１３に示すように、特定オブジェクト（鯛Ｂの画像であって実線で示す。）の手前に非特定オブジェクト（エイＡの画像であって、一点鎖線で示す。）が重なっている場合には、観察者の視線方向のみが判明しても、それら特定オブジェクトと非特定オブジェクトのうち観察者によって注目されているものを正確に検出することはできない。

これに対し、本実施形態においては、観察者の視線方向のみならずその観察者の注視点の奥行き位置も検出されるため、互いに重なり合う特定オブジェクトと非特定オブジェクトとのうち観察者が注目しているものを正確に特定することが可能である。

以上の説明から明らかなように、本実施形態においては、被変調光出力部２０４が前記（１５）項における「光束出力部」の一例を構成し、視線方向検出部２１０とコンピュータ２２０のうち図１２のＳ７０１およびＳ７０３を実行する部分とが互いに共同して、同項における「重なりオブジェクト検出部」の一例を構成し、コンピュータ２２０のうち図１２のＳ７０５を実行する部分が、同項における「重なりオブジェクト表示部」の一例と、前記（１７）項における「第２表示部」の一例と、前記（１８）項における「混合割合変更部」の一例とを構成しているのである。

次に、本発明の第８実施形態を説明する。ただし、本実施形態は、第１実施形態に対し、特定オブジェクトを非特定オブジェクトより相対的に強調して表示するための画像処理に関する要素について異なるのみで、他の要素については共通するため、異なる要素についてのみ詳細に説明し、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第１実施形態においては、所定の視角をなす範囲内に特定オブジェクトと非特定オブジェクトとが共存する場合に、その非特定オブジェクトが透明に表示されるようにはなっていないが、本実施形態においては、その非特定オブジェクトが透明に表示される。

以上説明した画像処理を実行するために、ＲＯＭ２２４に、図１５にフローチャートで概念的に表されている画像処理プログラムが記憶されている。以下、この画像処理プログラムを説明するが、図５に示す画像処理プログラムと共通するステップについては、対応するステップの番号を引用することにより、詳細な説明を省略する。

図１５に示す画像処理プログラムの各回の実行時には、まず、Ｓ８０１において、Ｓ１０１と同様にして、観察者の視線方向が検出される。次に、Ｓ８０２において、Ｓ７０２と同様にして、一斉に表示されている複数のオブジェクトのうち観察者が着目しているものが特定オブジェクトとして選択される。

続いて、Ｓ８０３において、複数のオブジェクトのうち特定オブジェクトを除くものの中に、前記検出された視線方向に対して所定角度αを成す視角範囲内に存在する非特定オブジェクトが選択される。

その後、Ｓ８０４において、その選択された非特定オブジェクトに対応する色彩情報がＲＡＭ２２６において消去される。その結果、特定オブジェクトの周辺に位置して表示されるはずであった非特定オブジェクトが透明に表示され、このことは、その非特定オブジェクトが表示画面上において消去されたことを意味する。したがって、観察者は、周辺の非特定オブジェクトに邪魔されることなく、特定オブジェクトを明瞭に目視することが可能である。

前述の所定角度αは、例えば、観察者が特定オブジェクトの全体を観察するのに必要な画角を基準に設定することが可能であり、例えば、その必要な画角の整数倍に設定することが可能である。また、所定角度αは、観察者による指定に応じて任意の値に設定することも可能である。

図１６に示すように、図６に示す例に対して上記画像処理プログラムが実行されると、Ｓ８０２において、鯛Ｂの画像が特定オブジェクトとして選択される。

続いて、Ｓ８０３において、前記視角範囲内に存在する非特定オブジェクトが選択される。その視角範囲は、観察者の視線方向Ｐに対して所定角度αを成す範囲として定義される。その所定範囲αは、例えば、鯛Ｂの画像の全体を観察するのに必要な画角（例えば、５度）を整数倍した値（例えば、１０度）に設定される。図１６に示す例においては、エイＡの画像がその視角範囲内に存在する非特定オブジェクトとして選択される。

その後、Ｓ８０４において、鯛Ｂの画像とおよび珊瑚Ｃの画像は表示されるが、エイＡの画像は表示されない。

以上の説明から明らかなように、本実施形態においては、コンピュータ２２０のうち図１５のＳ８０３およびＳ８０４を実行する部分が前記（１１）項における「画像処理部」の一例を構成しているのである。

以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の開示］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

本発明の第１実施形態に従う網膜走査型ディスプレイ２００の構成および作動を説明するためのブロック図および光路図である。図１における被変調光出力部２０４の構成を説明するための図である。図１における走査部２０６および波面曲率変調部２０８の構成を説明するための図である。図３における波面曲率変調部２０８が波面曲率を変調する原理を説明するための図である。図１におけるコンピュータ２２０によって実行される画像処理プログラムを概念的に表すフローチャートである。図５に示す画像処理プログラムを具体的に説明するために用いる表示画像の一例を示す斜視図である。本発明の第２実施形態に従う網膜走査型ディスプレイ２００におけるコンピュータ２２０によって実行される画像処理プログラムを概念的に表すフローチャートである。本発明の第３実施形態に従う網膜走査型ディスプレイ２００におけるコンピュータ２２０によって実行される画像処理プログラムを概念的に表すフローチャートである。本発明の第４実施形態に従う網膜走査型ディスプレイ２００におけるコンピュータ２２０によって実行される画像処理プログラムを概念的に表すフローチャートである。本発明の第５実施形態に従う網膜走査型ディスプレイ２００におけるコンピュータ２２０によって実行される画像処理プログラムを概念的に表すフローチャートである。本発明の第６実施形態に従う網膜走査型ディスプレイ２００におけるコンピュータ２２０によって実行される画像処理プログラムを概念的に表すフローチャートである。本発明の第７実施形態に従う網膜走査型ディスプレイ２００におけるコンピュータ２２０によって実行される画像処理プログラムを概念的に表すフローチャートである。図１２におけるＳ７０２の実行内容を説明するための平面図である。図１２に示す画像処理プログラムを具体的に説明するために用いる表示画像の一例を示す正面図である。本発明の第８実施形態に従う網膜走査型ディスプレイ２００におけるコンピュータ２２０によって実行される画像処理プログラムを概念的に表すフローチャートである。図１５に示す画像処理プログラムを具体的に説明するために用いる表示画像の一例を示す正面図である。網膜走査型ディスプレイの一従来例を説明するための斜視図である。

符号の説明

２００網膜走査型ディスプレイ
２０２外部メモリ
２０４被変調光出力部
２０６走査部
２０８波面曲率変調部
２１０視線方向検出部
２２０コンピュータ

Claims

画像を表示する画像表示装置であって、表示されるべき画像は、一斉に表示されるべき複数のオブジェクトを含み、それら複数のオブジェクトは、各オブジェクトの奥行き位置を特定する奥行き位置情報と、各オブジェクトの奥行き位置における平面上の各オブジェクトの位置を特定する平面位置情報とを有する複数の画像情報によって立体的に表示されるものであって、
前記複数のオブジェクトのうちのいずれかを特定オブジェクトとして選択する選択部と、
その選択部により選択された特定オブジェクトに対応する前記奥行き位置情報に基づいて、前記画像の少なくとも輝度及び色彩のいずれか（以後、「画像の表示態様」という。）を変更する画像処理を施す画像処理部と、
前記画像処理部は、前記特定オブジェクトと、前記複数のオブジェクトのうち前記特定オブジェクト以外の非特定オブジェクトとの少なくとも一方の奥行き位置を変更して表示する表示オブジェクト位置変更部と
を含む画像表示装置。
前記画像処理部は、前記選択部によって選択された特定オブジェクトと、その特定オブジェクト以外の非特定オブジェクトとを互いに異なる表示態様で表示する画像処理を施す請求項１に記載の画像表示装置。
前記選択部は、前記複数のオブジェクトのうち観察者が着目している着目オブジェクトを前記特定オブジェクトとして検出する特定オブジェクト検出部を含む請求項１または２に記載の画像表示装置。
前記特定オブジェクト検出部は、
観察者の視線方向を検出する視線方向検出部と、
その視線方向検出部の検出結果に基づき、前記複数の画像情報の内から前記検出された視線方向に対応する画像情報を検索し、その検索された画像情報に基づいて前記特定オブジェクトを決定する決定部と
を含む請求項３に記載の画像表示装置。
前記特定オブジェクト検出部は、
観察者の左眼および右眼の両視線方向をそれぞれ検出する視線方向検出部と、
その視線方向検出部によって検出された左眼および右眼の視線方向および左眼と右眼との間の距離に基づいて観察者の注視点の位置を演算し、その演算結果に基づいて前記特定オブジェクトを検出する演算部と
を含む請求項３に記載の画像表示装置。
前記画像表示装置は、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検出する奥行き位置検出部を含み、
前記画像処理部は、前記特定オブジェクトとその特定オブジェクトの奥行き位置と同一の奥行き位置に表示される別のオブジェクトとのうちの少なくとも特定オブジェクトと、その特定オブジェクトの奥行き位置とは異なる奥行き位置に表示される非特定オブジェクトとを互いに異なる表示態様で表示する画像処理を施す請求項１ないし５のいずれかに記載の画像表示装置。
前記画像処理部は、前記特定オブジェクトの輝度を変化させる手段を含む請求項１ないし６のいずれかに記載の画像表示装置。
前記画像処理部は、前記特定オブジェクトの輪郭を明瞭にする手段を含む請求項１ないし７のいずれかに記載の画像表示装置。
前記画像処理部は、前記特定オブジェクトの外形に沿って輪郭線を付す手段を含む請求項１ないし８のいずれかに記載の画像表示装置。
前記画像処理部は、前記奥行き位置検出部の検出結果に基づき、前記複数のオブジェクトのうち前記特定オブジェクトより手前に位置する非特定オブジェクトを透明または半透明に表示する手段を含む請求項６ないし９のいずれかに記載の画像表示装置。
前記画像処理部は、前記複数のオブジェクトのうち、前記特定オブジェクトと所定の視角をなす範囲内にある非特定オブジェクトの表示態様を変更する手段を含む請求項３ないし９のいずれかに記載の画像表示装置。
前記画像表示装置は、
前記平面位置情報に応じた光束を出力する光束出力部と、
前記奥行き位置情報に応じて、前記光束出力部より出力された光束の波面曲率を変調する波面曲率変調部とを含み、
前記表示オブジェクト位置変更部は、前記波面曲率変調部を制御する請求項１に記載の画像表示装置。
前記画像表示装置は、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検出する奥行き位置検出部を含み、
前記表示オブジェクト位置変更部は、前記奥行き位置検出部の検出結果に基づき、前記特定オブジェクトの奥行き位置より遠方の奥行き位置に位置する前記非特定オブジェクトを、前記特定オブジェクトの近傍に接近させて表示する手段を含む請求項１または１２に記載の画像表示装置。
前記画像表示装置は、前記奥行き位置情報に基づき、前記各オブジェクトの奥行き位置を検出する奥行き位置検出部を含み、
前記表示オブジェクト位置変更部は、前記奥行き位置検出部の検出結果に基づき、前記特定オブジェクトの奥行き位置より遠方の奥行き位置に位置する前記非特定オブジェクトを、更に遠ざけて表示する手段を含む請求項１または１２に記載の画像表示装置。
前記画像表示装置は、
一つの画素を一つの光束によって表示する光束出力部と、
前記複数のオブジェクトのうち、前記特定オブジェクトの手前の位置にその特定オブジェクトに重ねて表示されるべき非特定オブジェクトを検出する重なりオブジェクト検出部と、
その重なりオブジェクト検出部が前記非特定オブジェクトを検出した場合に、その非特定オブジェクトのうち少なくとも前記特定オブジェクトと重ねて表示されるべき部分を、前記特定オブジェクトが前記非特定オブジェクトに隠れることがないように表示する重なりオブジェクト表示部と
を含む請求項１に記載の画像表示装置。
前記重なりオブジェクト表示部は、前記非特定オブジェクトのうち少なくとも前記特定オブジェクトと重ねて表示されるべき部分を透明に表示する第１表示部を含む請求項１５に記載の画像表示装置。
前記重なりオブジェクト表示部は、前記非特定オブジェクトのうち少なくとも前記特定オブジェクトと重ねて表示されるべき部分を半透明に表示する第２表示部を含む請求項１５に記載の画像表示装置。
前記第２表示部は、前記非特定オブジェクトのうち前記特定オブジェクトと重ねて表示されるべき部分を、前記非特定オブジェクトと同じ色彩と前記特定オブジェクトと同じ色彩とをある割合で混合した混合色彩で表示し、その混合色彩における各色彩の割合を変更する混合割合変更部を含む請求項１７に記載の画像表示装置。
前記画像表示装置は、前記複数の画像情報に応じて光束を網膜上において走査する走査部を含む請求項１ないし１８のいずれかに記載の画像表示装置。
前記画像表示装置は、前記画像処理部の作動を選択的に無効にするために操作される操作部を含む請求項１ないし１９のいずれかに記載の画像表示装置。