JP4504160B2 - 合成表示装置 - Google Patents

Description

本発明は、表示装置に関し、特に、使用者が観察しようとする対象物の光学的像をこの使用者の視点（眼球）に導く光学系を有し、この光学的像に所定の画像を合成重畳する合成表示装置に関する。

現実強調は、仮想現実と違い、実画像または使用者の視野内の像に対して情報重畳表示を行う。

例えば、ビデオシースルー（以下、ＶＳＴと略記する）の場合、ビデオカメラで撮影された画像上に情報重畳表示を行う事で使用者に情報提示を行うものである。

これに対し、例えば特許文献１や特許文献２に開示されるようなオプティカルシースルー（以下、ＯＳＴと略記する）の場合、図１４に示すように、使用者の視線上にハーフミラー２等を配置し、表示素子１により使用者の視界内に所定の表示を行うことで情報提示を行うものである。

この表示される情報が３ＤＣＧ（３次元コンピュータグラフィックス）の場合、実画像（光学的像）との表示関係の整合を取る、即ち、光学系を介して観察する対象物の光学的像とそれに重畳合成するＣＧの位置を合わせて使用者に呈示するためには、３ＤＣＧを表示するパラメータと実画像（光学的像）を取得する際のパラメータとを一致させる必要がある。この場合のパラメータとは、視点位置、姿勢、画角等である。

ＶＳＴの場合は、例えば特許文献３の中で説明されているように、使用するビデオカメラのパラメータを獲得（キャリブレーション）し、それと同じパラメータで３ＤＣＧを重畳表示すれば良く、一度キャリブレーションを行えば、カメラの取り付け、カメラの交換などカメラのパラメータが変化しない限り、基本的に再度のキャリブレーションは不要である。

一方、ＯＳＴの場合は、ＶＳＴにおけるカメラの代わりに使用者の視覚が利用されるため、使用者の視点位置、視線方向、視野角などについて個体差や装置の装着毎の差異も考慮する必要があるため、上記ＶＳＴのキャリブレーション手法で獲得したパラメータに加えて、これらに関する情報を使用者が替わる度、または一旦使用を完了し再度使用を開始する度に取得する必要がある。このため、ＯＳＴの場合は、それぞれの位置が既知の複数の点が視界の何処に投影されているかを入力することで、３Ｄ情報をどのように表示すれば良いかパラメータを算出するという工数が必要である。言い換えれば、ＯＳＴにおいては、使用者の眼と情報重畳面からくるパラメータを獲得（キャリブレーション）することが必要であり、それと同じパラメータで３ＤＣＧを重畳表示すれば整合された表示ができることになる。
特開平５−３２３２２９号公報 特開平５−３０３０５４号公報 特開２０００−３５０２３９号公報

上述したように、ＶＳＴと違いＯＳＴの場合には、各使用者の視覚に関する情報（視点位置、視線、視野角など）を必要とする。即ち、使用者Ａが行ったキャリブレーション結果で使用者Ｂがシステムを使用すると、顔の大きさの違い等から視点位置、姿勢がキャリブレーション情報獲得時とは違ったものになってしまう。また、キャリブレーションを行った使用者Ａでさえ、システムを再装着した場合には、キャリブレーション情報取得時と視点位置、姿勢がずれてしまうことがある。

例えば、図１５（Ａ）に記載されたような光学的構成の装置を仮定する。対象物３からの光線を半透過性の画像表示面４を介して所定の視点（使用者の眼５）から観察しているとき、図示されていない投影部から「Ｔａｒｇｅｔ」という文字情報の画像６Ａとその引き出し線の画像６Ｂとが上記画像表示面４上に投影され、対象物の像（実像）３’と文字情報の画像６Ａがうまく重畳されている。このとき、図１５（Ａ）に示す使用者の眼５（視点）の位置から図１５（Ｂ）に示す位置に使用者の眼５（視点）の位置が移動したとすれば、対象物の像（実像）３’に対する情報重畳表示（重畳された「Ｔａｒｇｅｔ」という文字情報の画像６Ａとその引き出し線の画像６Ｂ）がずれて行われてしまう。

このため、このようなＯＳＴ型の合成表示装置においては、使用者が替わったときや、同一使用者であってもその使用者が使用を完了した後に再び当該装置を使用し始めるときに、再度のキャリブレーションを行わなければならず、複雑な作業を使用者（複数の使用者）に対して要求することになり、面倒であり、装置の利便性、簡便な使用感を提供できないという問題がある。

本発明は、上記の点に鑑みてなされたもので、予め複雑なキャリブレーション作業を行った使用者Ａのキャリブレーション時における当該合成表示装置に対する眼の位置姿勢（視点位置及び視線方向）に、その後（現在）の使用者Ｂ（使用者Ａと同一人でも良い）の眼の位置姿勢を合わせ込むことを容易に行うことの可能な合成表示装置を提供することを目的とする。

本発明の合成表示装置の一態様は、
所定の画角内にある対象物の光学的像を使用者の視点に導く光学系と、
所定の画像を生成する画像生成手段と、
上記光学系の光路中に設けられ、上記光学系が導く上記光学的像と上記画像生成手段が生成する上記所定の画像とを合成して合成画像を得る合成手段と、
上記使用者が上記光学系を利用して上記対象物を観察しているときに、上記対象物を観察中の使用者の視点が、予め設定された上記合成手段に対する視点位置にあるかどうか、または当該視点位置からずれているどうかを告知する告知手段と、
を具備し、
上記告知手段は、上記使用者の視点の上記合成手段に対する位置が上記予め設定された範囲にあるときに当該使用者が見ることができるように構成されたホログラムであることを特徴とする。

本発明によれば、予め複雑なキャリブレーション作業を行った使用者Ａのキャリブレーション時における当該合成表示装置に対する眼の位置姿勢と、その後の使用者Ｂの眼の位置姿勢とのずれを使用者Ｂに告知することで、使用者Ｂの眼の位置姿勢をキャリブレーションされた正しい位置姿勢に合わせ込むことを容易にし、これによって、当該合成表示装置からの対象物に合成重畳される情報を正しく対応付けられた状態での観察を可能とする合成表示装置を提供することができる。また、ホログラムが視点位置の適否についての告知手段として機能し、予め設定されたハーフミラー（合成部）に対する相対位置と、現在の使用者の視点位置のずれ（または一致）を当該使用者が認識できるで、簡単な装置構成でありながら、正しい位置に使用者の視点を合わせ込むことが容易にできる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１（Ａ）は、本発明の第１実施形態に係る合成表示装置の構成を示す図である。

この合成表示装置１０は、所定の画角内にある対象物の光学的像を、所定の範囲内の位置に存在する使用者の視点（眼２０の位置）に導く光学系１０１と、所定の画像を生成する画像生成部１０２と、上記光学系１０１の光路中に設けられ、上記光学系１０１が導く上記光学的像と上記画像生成部１０２が生成する上記所定の画像とを合成して合成画像を得る合成部１０３とを有する。

ここで、この合成表示装置１０は、図２（Ａ）に示すように、使用者の手により眼２０の近傍に固定されるものである。上記光学系１０１は、ハーフミラー１０１Ａを含み、該光学系１０１を使用者が覗いたとき、上記ハーフミラー１０１Ａの透過機能により、当該光学系１０１の視野内に対象物の光学的像が観察できる。また、画像生成部１０２は、投影部である小型の画像投影装置１０２Ａによって構成され、上記ハーフミラー１０１Ａの反射面として構成される合成部１０３に所定の画像を投影する。即ち、この画像投影装置１０２Ａから出た所定の画像の光は上記ハーフミラー１０１Ａの反射面で反射され、対象物からの光と合成、重畳されて使用者の眼（眼球）２０に導かれる構成となっている。これにより、上記ハーフミラーの透過機能によって観察される対象物の光学的像に上記投影された所定の画像が重畳表示されることができる。よって、上記所定の画像として、上記対象物に関する情報を重畳表示することで、そのような関連情報を使用者に呈示することが可能となる。

また、本実施形態に係る合成表示装置１０は、上記構成に加えて、上記使用者が上記光学系１０１を利用して上記対象物を観察しているときに、上記対象物を観察中の使用者の視点が、予め設定された「上記ハーフミラー１０１Ａの反射面として構成される合成部１０３に対する視点位置（範囲）」にあるかどうか、または当該視点位置（範囲）からずれているどうかを告知する告知部１０４を備えている。この告知部１０４は、例えば本実施形態では、上記ハーフミラー１０１Ａの反射面に、正しい視点位置方向である所定の方向にホログラム像を呈示するホログラムを配置することで構成している。（ホログラムは、ハーフミラー１０１Ａ上、言い換えれば、合成像を作る合成部１０３から距離０ということが既知である部分に設けられた光学的特徴部である。）
このような構成の合成表示装置１０の使用者は、図２（Ａ）や図２（Ｂ）に示されるように、該合成表示装置１０を自分の眼（眼球）２０に対して動かし、図１（Ｂ）に示されるような、ホログラム像が見られる位置に調整する。即ち、ホログラム像の見える位置にハーフミラー１０１Ａ（合成部）と視点位置を合わせ込むように所定の相対的位置関係を調整することができるので、ホログラム像の観察できる方向を適宜設計しておけば、対象物と投影像が正しい位置で合成される視点位置に使用者の眼（眼球）２０を持ってゆくことが可能となる。

これにより、ホログラムが視点位置の適否についての告知部１０４として機能し、予め設定されたハーフミラー１０１Ａ（合成部）に対する相対位置と、現在の使用者の視点位置のずれ（または一致）を当該使用者が認識できるで、簡単な装置構成でありながら、正しい位置に使用者の視点を合わせ込むことが容易にできる。

［第２実施形態］
（構成）
基本的な光学的構成は、図２（Ａ）に示したような上記第１実施形態と同様であるが、本第２実施形態は、ハーフミラー１０１Ａが、図３に示すように凹面である点、及び、上記第１実施形態でハーフミラー１０１Ａ上に設けられたホログラム素子に代えて、所定の第１マーク１０４Ａ（十字パターン）が上記凹面ハーフミラー面上に形成されている点が光学的な構成で異なる。即ち、合成部としての機能を有するハーフミラー１０１Ａに対して距離がゼロであり、ハーフミラー１０１Ａに対して特定されている位置に第１マーク１０４Ａが配置されている。

機能ブロックとしては、図４に示すように、上述の第１実施形態に対して告知部１０４の構成が異なっている。即ち、本実施形態における告知部１０４は、ホログラムに代えて、ハーフミラー１０１Ａ上に設けられた光学的特徴部としての第１マーク１０４Ａと、第２マークが投影されるべき位置を計算する計算部１０４Ｂと、該計算部１０４Ｂの計算結果に基づいてその結果に対応する位置に第２マークを画像生成部１０２に投影させる画像生成制御部１０４Ｃとから構成されている。

より詳細には、使用者が実像を観測できる位置に第１マーク１０４Ａが形成され、予めキャリブレーションを行ったときの視点位置に視点があるときに、上記第１マーク１０４Ａと画像生成部１０２から投影される第２マークとが重なって見えるように調整し、これをキャリブレーションデータとして保存する。その後、このキャリブレーションデータ及び他の既知情報（第１マーク１０４Ａの位置情報）などを利用して、先のキャリブレーション時と同じ視点位置からハーフミラー１０１Ａを観察したときに、上記第１マーク１０４Ａと第２マークが重なるように、計算部１０４Ｂと画像生成制御部１０４Ｃが画像生成部１０２に第２マークを投影させる。

即ち、あるべき視点位置である先のキャリブレーション時の使用者の視点位置と現在の使用者の視点位置との間のずれまたは一致を、上記第１マーク１０４Ａと第２マークのずれまたは一致具合で使用者に告知するように構成されたものである。

（位置合わせの原理）
次に、視点位置のずれを使用者に告知する原理となる、第１マーク１０４Ａと第２マークのずれの発生原理を、図３を使用して詳細に説明する。

図３は、図面手前方向から操作者の眼（視点）２０、凹面ハーフミラー１０１Ａ、該凹面ハーフミラー１０１Ａに投影された第２マークの虚像１０２Ｂ’が形成される虚像面１０５、観察する対象物１０６の順で、図面手前方向から奥側に並んでいる状態を示す、本実施形態に係る合成表示装置１０の光学的概略図である。

あるべき位置である点Ｏに眼（視点）２０があるときに、第１マーク１０４Ａの中心点、ハーフミラー１０１Ａに投影された第２マークの虚像１０２Ｂ’の中心（虚像面１０５）及び対象物１０６上の点Ｒが一直線上に存在し、使用者から見るとこれらが全て重なって見えるようになる。その後、正しくない点Ｏ’に視点が移動すると、実像である対象物１０６及び第１マーク１０４Ａと第２マークの虚像１０２Ｂ’との位置関係が変化し、これらが一つの直線上から外れる。一方、投影部である画像生成部１０２がハーフミラー１０１Ａに対して投影する方向が元のままであり、観察される第２マークの虚像１０２Ｂ’は実質的に元の位置に対してほとんど動かないため、結果として、使用者が見る第１マーク１０４Ａ、第２マーク及び対象物１０６との間でずれが発生する。このように、正しい視点においては、点Ｏと第１マーク１０４Ａ及び虚像面１０５上の第２マークが直線上に並び、そこからずれた視点から観察するとこれらがずれることになる。したがって、第１マーク１０４Ａと第２マークのずれをなくし、観察画像内において、第１マーク１０４Ａと第２マークが重なるように視点位置を移動させれば、視点位置が元のあるべき視点位置の点Ｏに位置することとなり、正しく付加情報を重畳させることが可能となる。

このように、凹面ハーフミラー上の第１マーク１０４Ａの実像と、投影された第２マークの虚像１０２Ｂ’とのずれを観察させるようにすることによって、所定の位置に使用者の眼（視点）２０が配置されたかどうかを使用者に認識させ、告知を行うことが可能となる。

本実施形態においては、この現象を応用し、正しく画像の合成が重畳される視点位置として予め設定された位置で第１マーク１０４Ａと第２マークが重なるように視点位置に関するキャリブレーションデータを決定しておき、このキャリブレーションデータに基づいて第２マークの投影が行われるようにすれば、使用者が自己の視点を正しい位置に調整再配置することができ、その後においては正しい画像合成が行われるようにするものである。

（処理手順）
次に、具体的な処理の手順を説明する。

まず、使用者の視点位置に関するキャリブレーションデータを含め、種々のキャリブレーションデータ（視野角等の必要なデータ）を取得するキャリブレーションを行う。これにより、所定の位置に視点があるとき、凹面ハーフミラー１０１Ａ上の第１マーク１０４Ａと投影部である画像生成部１０２から投影された第２マークが重なって見えるように、第２マークが凹面ハーフミラー１０１Ａに投影されるようにする。

そして、使用者が姿勢を変更したり、他の使用者に当該合成表示装置１０を使用させた場合、視点位置が変動してしまう可能性が高い。そこで、次に、該合成表示装置１０を使用する使用者は、その使用を開始する前に先の使用者が設定した視点位置に関するキャリブレーションデータを使用して、第２マークを画像生成部１０２から投影させる。その際、図５に示すように、第１マーク１０４Ａと第２マークのずれを観察しながら、前述したように、これらが重なる位置に自らの視点位置を移動させ、視点を所定の位置に配置する。これによって、好ましい位置に視点を配置できているかどうかについて、使用者に告知され、正しい位置に視点を配置する作業を容易に完了させることができる。

（変形例）
なお、本第２実施形態の各構成は、当然、各種の変形、変更が可能である。

例えば、本実施形態においては、ハーフミラー１０１Ａ上に第１マーク１０４Ａを配置したが、合成部１０３としてのハーフミラー１０１Ａに対する相対的位置が明らかで（特定可能で）あるならば、それに対応するように計算部１０４Ｂで計算された結果に基づいて画像生成制御部１０４Ｃが画像生成部１０２に、使用者が第１マーク１０４Ａの実像を観察できる範囲に第２マークを表示させることは可能である。例えば、図３において、ハーフミラー１０１Ａと虚像面１０５の間の所定の位置にある光学系の一部に、第１マークを設けても同様の効果が期待できる。

また、第２マークは、画像生成部１０２によって表示させるのではなく、画像生成部１０２を構成する投影装置１０２Ａ表面に印刷等により設けた固定的な物でも良い。

さらに、第１マーク１０４Ａ、第２マークの形状については特に制限されない。

また、第１マーク１０４Ａをハーフミラー１０１Ａ上に描くのではなく、ハーフミラー１０１Ａの第１マーク１０４Ａの部分だけ、反射率を落とし、透過率を上げることにより、第１マーク１０４Ａと第２マークが重なった時は何も見えず、ずれている時だけ第２マークが使用者の眼に投影されるという形でずれを使用者に告知しても良い。

また、図６に示すように、使用者が外界を観察しながら第１マーク１０４Ａに焦点を合わせられるように、第１マーク１０４Ａの周りだけ光学特性を変更しても良い。

また、第１マーク１０４Ａ周辺に関して、周波数帯によって反射率が変わる部材を用いることによって、第１マーク１０４Ａと第２マークが重なった場合、第２マークの色が変化するようにしても良い。

また、図示しない入力装置からの入力によって画像生成部１０２を制御することで、第２マークの表示／非表示を切り替えても良い。

［第３実施形態］
前述の第２実施形態においては、第１マーク１０４Ａの位置情報は、合成部１０３としてのハーフミラー１０１Ａに対する位置が既知情報として与えられた場合であったが、本実施形態においては、視野内に存在する対象物に設けられた位置が未知のマーカ（但し、マーカの光学的特徴は既知）の実像を第１マーク１０４Ａとして活用するものである。このために、マーカに対するハーフミラー１０１Ａとの位置姿勢を、ハーフミラー１０１Ａに対する位置が固定されているカメラで撮影したマーカの画像を利用して算出するものである。言い換えれば、上記第２実施形態で合成部１０３に対して固定であった第１マーク１０４Ａの存在範囲に関する自由度を、装置光学系１０１内から観察対象物が存在する範囲にまで広げるものである。

（構成）
上記第２実施形態に対して本実施形態は、光学的構成としては、図７（Ａ）及び（Ｂ）に示すように、合成部１０３としてのハーフミラー１０１Ａに対して直接または間接に位置を固定されたカメラ１０７が追加され、ハーフミラー上の第１マーク１０４Ａが削除されている。その他については同様である。

また、機能的ブロックとしては、図８に示すように、告知部１０４の構成が上記第２実施形態と異なっている。具体的には、告知部１０４は、前述の計算部１０４Ｂ及び画像生成制御部１０４Ｃと、上記カメラ１０７である画像取得部１０４Ｄで構成されている。このような構成において、カメラ１０７は、対象物上に設けられた既知の光学的特徴を有するマーカを撮影する。計算部１０４Ｂは、当該カメラ１０７が撮影した画像及びマーカの既知の光学的特徴に関する情報とを利用してマーカの位置姿勢を計算し、あるべき位置に視点が配置されたときに対象物上のマーカの実像（第１マーク１０４Ａ）と重なる位置に第２マークの虚像１０２Ｂ’を生成するためのデータを計算する。また、画像生成制御部１０４Ｃは、当該計算部１０４Ｂの計算結果に基づいて所定の位置に第２マークの虚像１０２Ｂ’を画像生成部１０２に生成させるものである。

なお、ここで、既知光学的特徴を有するマーカに対する当該マーカを撮影するカメラ１０７（画像取得部１０４Ｄ）の位置推定方法としては、特開２００２−９０１１８号公報等に開示されている方法が利用される。ここで採用されているマーカは、互いに相対的配置が既知である光学的特徴を少なくとも３個、好ましくは４個含むものであれば、一枚の画像からその画像を撮影した位置を推定することが可能となるものである。

（処理手順）
使用者は、図７（Ａ）で示す姿勢で第１のキャリブレーションを行う。即ち、まず、使用者の視点位置に関するキャリブレーションデータを含め、種々のキャリブレーションデータ（視角等の必要なデータ）を取得するキャリブレーションを行う。この際に、図９に示すように、形状が既知であり３つ以上の特徴点を有する第１マーク１０４Ａ（文字「Ｍ」を四角形の黒枠で囲んだもの）を観察し、それの位置姿勢を上述のカメラ１０７で撮影した画像を利用して推定するとともに、それに対応する第２マークの虚像１０２Ｂ’が重なるように調整する。そして、このキャリブレーションを行ったときの使用者の視点位置に対応するキャリブレーションデータを記憶する。

その後、使用者が他の使用者に変更されたり、一度、該合成表示装置の使用を中止した後に再度使用を開始する場合、使用者の視点位置がキャリブレーションを行った位置から変動する可能性が高い。そこで、視点位置合わせのためのキャリブレーション（先のキャリブレーションで予め設定された視点位置に現在の視点を合わせること）が必要となる。このために、カメラ１０７によって所定の光学的特徴を有する図９に示されたようなマーカを撮影し、計算部１０４Ｂがその撮影した画像からマーカに対するカメラ１０７の位置姿勢（距離）、最終的には合成部１０３としてのハーフミラー１０１Ａとの位置姿勢を算出する。さらに、その結果（マーカまでの測距結果）及び上記先のキャリブレーション時のキャリブレーションデータに基づいて、第２マークの虚像１０２Ｂ’を表示する位置を算出し、その算出結果により画像生成制御部１０４Ｃが所定の位置に第２マークの虚像１０２Ｂ’を表示させるように画像生成部１０２を制御する。

その結果、図９の左側に示すように、第１マーク１０４Ａとしてのマーカの実像１０４Ａ’と、投影されている第２マークの虚像１０２Ｂ’とが重なって見えない場合は、同図の右側に示すように、操作者が自分の視点位置を調節する。そして、同図の右側に示すようになったとき、当初のキャリブレーションを行った際の使用者の視点と一致したことになり、情報の重畳が正しい位置に行われることになる。実際の画像としては、図１０のような対象物を含む実像に対して、図１１（Ａ）及び図１１（Ｂ）に示されるように、実像と第２マークとして投影された枠の像が合成される。

なお、この画像のずれの発生原理は、図１２に示すように、基本的に上述の第２実施形態と同じであるから、詳細については省略する。

（変形例）
なお、本実施形態の各構成は、当然、各種の変形、変更が可能である。

例えば、マーカや第２マークの形状について特に制限されず、第２マークは、図１０（Ｂ）及び（Ｃ）に示すようなマーカの外周部を囲う線ではなく、図１３（Ａ）及び（Ｂ）に示すように、第１マーク１０４Ａを被う面状のものでも良い。

また、マーカの光学的特徴部分の互いの位置、姿勢、形状が既知であれば良く、平面である必要はなく、立体物上に三次元的に配置されていても良い。さらに、互いの相対的位置が既知であれば、対象物の角や線分等の自然特徴点をマーカとして利用するようにしても良い。

さらに、第２マークによって囲う又は被う対象は、マーカと位置関係が固定されていれば良く、マーカそのものである必要はない。

また、図示しない入力装置からの入力によって画像生成部１０２を制御することで、第２マークの表示／非表示を切り替えることも可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 所定の画角内にある対象物の光学的像を（所定の範囲内の位置に存在する）使用者の視点（眼球）に導く光学系（例えば、ハーフミラーの透過機能）と、
所定の画像を生成する画像生成手段（投影部）と、
上記光学系の光路中に設けられ、上記光学系が導く上記光学的像と上記画像生成手段が生成する上記所定の画像とを合成して合成画像を得る合成手段（例えば、ハーフミラーの反射機能）と、
上記使用者が上記光学系を利用して上記対象物を観察しているときに、上記対象物を観察中の使用者の視点が、予め設定された「上記合成手段に対する視点位置（範囲）」にあるかどうか、または当該視点位置（範囲）からずれているどうかを告知する告知手段と、
を具備することを特徴とする合成表示装置。

（対応する実施形態）
この（１）に記載の合成表示装置に関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（１）に記載の合成表示装置によれば、予め複雑なキャリブレーション作業を行った使用者Ａのキャリブレーション時における当該合成表示装置に対する眼の位置姿勢と、その後の使用者Ｂの眼の位置姿勢とのずれを使用者Ｂに告知することで、使用者Ｂは現在自分が見ている状態が間違っていることを容易に知ることができる。よって、使用者Ｂの眼の位置姿勢をキャリブレーションされた正しい位置姿勢に合わせ込むことを容易にすることができ、当該合成表示装置からの対象物に合成重畳される情報を正しく対応付けられた状態での観察が可能となる。

（２） 上記告知手段は、上記使用者の視点の上記合成手段に対する位置が上記予め設定された範囲にあるときに当該使用者が見ることができるように構成されたホログラムであることを特徴とする（１）に記載の合成表示装置。

（対応する実施形態）
この（２）に記載の合成表示装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（２）に記載の合成表示装置によれば、ホログラムが視点位置の適否についての告知手段として機能し、予め設定されたハーフミラー（合成部）に対する相対位置と、現在の使用者の視点位置のずれ（または一致）を当該使用者が認識できるで、簡単な装置構成でありながら、正しい位置に使用者の視点を合わせ込むことが容易にできる。

（３） 上記告知手段は、
予め実行されたキャリブレーションの結果として設定された「上記合成手段に対する上記使用者の視点位置に基づくキャリブレーションデータ（補正値）」に基づいて、上記合成手段に対する位置が特定されている光学的特徴部（例えば、「ハーフミラー上の十文字マーク」または「対象物上の位置姿勢特定マーカ（第１マーク）」）に対応する上記合成画像上の対応位置を計算する計算手段と、
上記使用者が上記光学系を利用して上記光学的特徴部を観察しているときに、上記計算手段で計算された上記合成画像上の上記対応位置に、所定のマーク（例えば、第２マーク）を表示するように上記画像生成手段に画像を生成させる制御手段と、
を含むことを特徴とする（１）に記載の合成表示装置。

（対応する実施形態）
この（３）に記載の合成表示装置に関する実施形態は、第２及び第３実施形態が対応する。

（作用効果）
この（３）に記載の合成表示装置によれば、あるべき視点位置である先のキャリブレーション時の使用者の視点位置と現在の使用者の視点位置との間のずれまたは一致を、光学的特徴部と所定のマークのずれまたは一致具合で使用者に告知できる。

（４） 上記合成手段に対する位置が特定されている光学的特徴部は、上記合成手段に設けられていることを特徴とする（３）に記載の合成表示装置。

（対応する実施形態）
この（４）に記載の合成表示装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（４）に記載の合成表示装置によれば、光学的特徴部を容易に形成できる。

（５） 上記光学的特徴部は、上記合成手段において合成画像が形成される面上に設けられており、当該面上のうち上記光学的特徴部の設けられている部分は他の部分と光学的特性が異なることを特徴とする（４）に記載の合成表示装置。

（対応する実施形態）
この（５）に記載の合成表示装置に関する実施形態は、第２実施形態の変形例が対応する。

（作用効果）
この（５）に記載の合成表示装置によれば、使用者が外界を観察しながら光学的特徴部に焦点を合わせられるようになる。

（６） 上記光学的特徴部上に上記所定のマークが重なった場合、上記所定のマークの色が変わる、または表示されなくなることを特徴とする（４）に記載の合成表示装置。

（対応する実施形態）
この（６）に記載の合成表示装置に関する実施形態は、第２実施形態の変形例が対応する。

（作用効果）
この（６）に記載の合成表示装置によれば、使用者の視点が、予め設定された合成手段に対する視点位置（範囲）にあるかどうか、または当該視点位置（範囲）からずれているどうかを、所定のマークの表示状態の変化で確実に判別できる。

（７） 上記合成手段に対して位置が特定された位置にある光学手的特徴部は、上記光学系に設けられていることを特徴とする（３）に記載の合成表示装置。

（対応する実施形態）
この（７）に記載の合成表示装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（７）に記載の合成表示装置によれば、光学的特徴部を容易に形成できる。

（８） 上記光学的特徴部は、一つ若しくは複数の光学的特徴点、または複数の光学的特徴点の集合で構成されたシンボル（例えば、ハーフミラー上の十文字マーク）であることを特徴とする（３）に記載の合成表示装置。

（対応する実施形態）
この（８）に記載の合成表示装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（８）に記載の合成表示装置によれば、光学的特徴部を容易に識別できるようになる。

（９） 上記光学的特徴部は、互いの位置が既知である少なくとも３つの光学的特徴点を含むものであることを特徴とする（３）に記載の合成表示装置。

（対応する実施形態）
この（９）に記載の合成表示装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（９）に記載の合成表示装置によれば、互いに相対的配置が既知である少なくとも３個の光学的特徴点を含む一枚の画像からその画像を撮影した位置を推定することが可能となるので、視野内に存在する対象物に設けられた位置が未知の光学的特徴部を利用できるようになる。

（１０） 互いの相対的位置が既知である上記光学的特徴点は、上記光学系の画角内に存在する上記対象物の自然特徴点に含まれるものであることを特徴とする（９）に記載の合成表示装置。

（対応する実施形態）
この（１０）に記載の合成表示装置に関する実施形態は、第３実施形態の変形例が対応する。

（作用効果）
この（１０）に記載の合成表示装置によれば、光学的特徴部を対象物に特別に設ける必要が無くなる。

（１１） 互いの相対的位置が既知である上記光学的特徴点は、上記光学系の画角内に存在する上記対象物上に設けられたマーカに含まれるものであることを特徴とする（９）に記載の合成表示装置。

（対応する実施形態）
この（１１）に記載の合成表示装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１１）に記載の合成表示装置によれば、光学的特徴部の存在範囲に関する自由度を、観察対象物が存在する範囲にまで広げることができる。

（１２） 上記合成手段との相対的位置姿勢が規定されており、上記光学的特徴の画像を取得する画像取得手段と、
上記光学的特徴部を構成する上記光学的特徴点の互いの相対的位置を特定できる既知の情報と、上記画像取得手段が取得した画像と、に基づいて、上記合成手段に対する上記光学的特徴の位置姿勢を算出する位置姿勢算出手段と、
をさらに具備することを特徴とする（９）に記載の合成画像装置。

（対応する実施形態）
この（１２）に記載の合成表示装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１２）に記載の合成表示装置によれば、画像取得手段が取得した画像から、合成手段に対する光学的特徴の位置姿勢を容易に求めることができる。

（１３） 上記位置姿勢算出手段が算出した上記位置姿勢を利用して、上記合成手段に対する上記光学特徴部の位置を特定し、これに基づいて上記計算制御手段が、上記所定のマークを表示させるのに加え、上記合成手段が合成した合成画像上の上記光学的特徴部に対応する位置に、上記所定のマークを表示させることを特徴とする（１２）に記載の合成表示装置。

（対応する実施形態）
この（１３）に記載の合成表示装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１３）に記載の合成表示装置によれば、合成手段に対する光学的特徴の位置姿勢に応じた所定のマークを表示させることが可能となる。

図１（Ａ）は、本発明の第１実施形態に係る合成表示装置の構成を説明するための機能ブロック図であり、図１（Ｂ）は、対象物を観察中の使用者の視点が予めキャリブレーションされた合成部に対する視点位置（範囲）と一致しているときと一致していないときのホログラム像の見え方を説明するための図である。 図２（Ａ）は、第１実施形態に係る合成表示装置の光学的構成を示す図であり、図２（Ｂ）は、図２（Ａ）の状態から合成表示装置を自分の眼（眼球）に対して動かした状態を示す図である。 図３は、本発明の第２実施形態に係る合成表示装置における画像のずれの発生原理を説明するための図である。 図４は、第２実施形態に係る合成表示装置の構成を説明するための機能ブロック図である。 図５は、対象物を観察中の使用者の視点が予めキャリブレーションされた合成部に対する視点位置（範囲）と一致しているときと一致していないときの第１及び第２マークの見え方を説明するための図である。 図６は、第２実施形態の変形例を説明するための図である。 図７（Ａ）は、本発明の第３実施形態に係る合成表示装置の光学的構成を示す図であり、図７（Ｂ）は、図７（Ａ）の状態から合成表示装置を自分の眼（眼球）に対して動かした状態を示す図である。 図８は、第３実施形態に係る合成表示装置の構成を説明するための機能ブロック図である。 図９は、対象物を観察中の使用者の視点が予めキャリブレーションされた合成部に対する視点位置（範囲）と一致しているときと一致していないときの第１及び第２マークの見え方を説明するための図である。 図１０は、対象物を含む実像の例を示す図である。 図１１（Ａ）は、図１０の例において対象物を観察中の使用者の視点が予めキャリブレーションされた合成部に対する視点位置（範囲）と一致していないときの第１及び第２マークの見え方を示す図であり、図１１（Ｂ）は、同じく一致しているときの第１及び第２マークの見え方を示す図である。 図１２は、第３実施形態に係る合成表示装置における画像のずれの発生原理を説明するための図である。 図１３（Ａ）は、第３実施形態の変形例を説明するために、図１０の例において対象物を観察中の使用者の視点が予めキャリブレーションされた合成部に対する視点位置（範囲）と一致していないときの第１及び第２マークの見え方を示す図であり、図１３（Ｂ）は、同じく一致しているときの第１及び第２マークの見え方を示す図である。 図１４は、従来のオプティカルシースルー型の合成表示装置の構成を示す図である。 図１５は、使用者が替わったときや、同一使用者であってもその使用者が使用を完了した後に再び当該装置を使用し始めるときにおける、キャリブレーション情報取得時との視点位置、姿勢のずれを説明するための図である。

符号の説明

１０…合成表示装置、 ２０…眼、 １０１…光学系、 １０１Ａ…ハーフミラー
１０２…画像生成部、 １０２Ａ…投影装置、 １０２Ｂ’…第２マークの虚像、 １０３…合成部、 １０４…告知部、 １０４Ａ…第１マークマーク、 １０４Ａ’…マーカの実像、 １０４Ｂ…計算部、 １０４Ｃ…画像生成制御部、 １０４Ｄ…画像取得部、 １０５…虚像面、 １０６…対象物、 １０７…カメラ。

Claims (1)

1. 所定の画角内にある対象物の光学的像を使用者の視点に導く光学系と、
   所定の画像を生成する画像生成手段と、
   上記光学系の光路中に設けられ、上記光学系が導く上記光学的像と上記画像生成手段が生成する上記所定の画像とを合成して合成画像を得る合成手段と、
   上記使用者が上記光学系を利用して上記対象物を観察しているときに、上記対象物を観察中の使用者の視点が、予め設定された上記合成手段に対する視点位置にあるかどうか、または当該視点位置からずれているどうかを告知する告知手段と、
   を具備し、
   上記告知手段は、上記使用者の視点の上記合成手段に対する位置が上記予め設定された範囲にあるときに当該使用者が見ることができるように構成されたホログラムであることを特徴とする合成表示装置。

Images