JP4281139B2 - 位置認識装置、位置認識方法及び仮想画像立体合成装置 - Google Patents
位置認識装置、位置認識方法及び仮想画像立体合成装置 Download PDFInfo
- Publication number
- JP4281139B2 JP4281139B2 JP03191899A JP3191899A JP4281139B2 JP 4281139 B2 JP4281139 B2 JP 4281139B2 JP 03191899 A JP03191899 A JP 03191899A JP 3191899 A JP3191899 A JP 3191899A JP 4281139 B2 JP4281139 B2 JP 4281139B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- image
- observer
- virtual
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、仮想空間上の基準面などに複数の仮想体を出現させ、しかも、その仮想体の１つに目標を設定してその仮想体内に踏み込んだときに、その仮想体の内部の構造などが表示されるような画像処理システムに適用して好適な位置認識装置、位置認識方法及び仮想画像立体合成装置に関するものである。
【０００２】
【従来の技術】
近年、バーチャル・リアリティ（仮想現実感）に基づく表示技術の向上に伴い、複数の画像表示面に跨って仮想現実感を観察者に提供するための仮想画像立体合成装置が出現している。
【０００３】
この種の立体表示装置は、特開平９−２３７３５３号の技術文献に見られる。この技術文献によれば、縦横数ｍ程度の大きさの映写空間が設けられ、各々の面に表示装置が配置され、各々の表示装置から恐竜、怪獣や武器などの仮想体の画像が立体表示される。そして、観察者は液晶シャッター付きの眼鏡をかけ、その映写空間に立つと、あたかも、各々の表示装置で表示された仮想体と同じ場所に居るようなされる。
【０００４】
また、観察者が仮想空間上で手にする武器がカメラによって撮像され、その武器の動きによって仮想体が反応するように画像処理されている。これにより、観察者は数千年前の原始時代にタイムスリップして、恐竜退治などをゲーム感覚で行うことができる。
【０００５】
【発明が解決しようとする課題】
ところで、従来方式の立体表示装置によれば、映写空間が立体形状であることを前提にして、その立体形状の重心が求められ、その重心から映写空間の相対座標が求められる。そして、その相対座標に基づいてカメラと、仮想体の位置関係とを求め、仮想空間上に恐竜などの仮想体を合成表示している。
【０００６】
例えば、映写空間上のある基準面に恐竜などの仮想体を立たせようとしたときに、その仮想体と外接する矩形領域が画像処理によって抽出され、その矩形領域の四隅の画像上の位置が相対座標から求められ、透視投影変換法などから得られたパラメータを用いてカメラと、その仮想体の矩形領域の位置関係とが求められる。
【０００７】
従って、観察者の属する実空間の実際の壁面（以下静止物体ともいう）には実物の絵画などが存在しないのに、その仮想空間の壁面及びその壁面から離れた位置に複数の絵画を出現させ、しかも、その絵画の１つに目標を設定してその目標に撮像系を近づけたときに、その絵画の下位階層の映像を表示されるような仮想画像立体合成装置を構成しようとしたときに、従来方式の装置をそのまま適用すると、画像処理システムが大がかりとなったり、静止物体の基準面の認識のための画像処理が複雑になったり、その時の計算量が多くなったりして、仮想画像立体合成装置などのコストアップにつながるという問題がある。
【０００８】
そこで、本発明は上記の課題に鑑み創作されたものであり、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などにおいて認識できるようにした位置認識装置、位置認識方法及び仮想画像立体合成装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題は、任意の静止物体の特定位置を認識する装置であって、少なくとも、静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する３点以上の光源を有した複数の光源ブロックと、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、この撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを備え、演算手段は、撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるようになされたことを特徴とする位置認識装置によって解決される。
【００１０】
本発明に係る位置認識装置によれば、演算手段は、流し撮り用の撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める。更に演算手段は、流し撮り用の撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるようになされる。
【００１１】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置を十分に応用することができる。
【００１２】
本発明に係る位置認識方法は、任意の静止物体の特定位置を認識する方法であって、少なくとも、静止物体の所望位置に予め点滅パターンが異なるように点滅する３点以上の光源を設けた光源ブロックを作成し、その後、光源ブロックを静止物体の所望位置に３点以上を取付けて当該光源ブロックの位置情報を求める際に、第１段階で静止物体に取付けられた光源ブロックを撮像して被注視領域を画定し、第２段階で光源ブロックの任意の一つに目標を設定して撮像系を近づけたときに、被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像し、光源の点滅パターンの輝度信号を画像処理して光源の３点の位置を求め、その後、３点の光源の位置を結んで基準面を求めることを特徴とするものである。
【００１３】
本発明に係る位置認識方法によれば、３点の光源の位置を結んで求めた基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理などに当該位置認識方法を十分に応用することができる。
【００１４】
本発明に係る仮想画像立体合成装置は、観察者の属する外界像に仮想体の画像を立体的に合成する装置であって、観察者の属する実空間上の任意の静止物体の特定位置及び該特定位置から任意に離れた位置で基準面を認識する位置認識手段と、この位置認識手段により認識された仮想空間の基準面上で仮想体の画像を合成する合成手段とを備え、位置認識手段は、少なくとも、静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する３点以上の光源を有した複数の光源ブロックと、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、この撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを有し、演算手段は、撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるようになされたことを特徴とするものである。
【００１５】
本発明の仮想画像立体合成装置によれば、上述の位置認識装置及び位置認識方法が応用されるので、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【００１６】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定することができるので、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。例えば、予め静止物体の特定位置から任意に離れた位置に第１の基準面が設定されると共に、その静止物体の特定位置に第２の基準面が設定されると、観察者が第１の基準面よりも遠くの位置で被認識マークを注視するときは、予め準備された仮想体の画像が合成手段によって第１の基準面上で合成され、観察者が第１の基準面内に踏み込んだときは、仮想体の画像の下位階層の画像が合成手段によって第２の基準面上で合成される。
【００１７】
これにより、実際の静止物体には実物の絵画などが存在しない場合であっても、仮想空間の静止物体には複数の絵画が出現し、しかも、その絵画の１つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを構築することができる。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施形態としての位置認識装置、位置認識方法及び仮想画像立体合成装置について説明をする。
（１）実施形態としての位置認識装置及び位置認識方法
図１は、本発明に係る実施形態としての位置認識装置１０の構成例を示す斜視図である。
この実施形態では、静止物体の所望位置に被認識マークを取り付け、その被認識マークによる輝度信号を画像処理してその被認識マークの位置情報を求める演算手段を設け、その被認識マークの任意の一つに目標を設定して撮像系を近づけた場合に、その目標とされた被認識マークの位置情報と他の被認識マークの配置情報とに基づいて目標とされた被認識マークと撮像系との間の距離情報を求め、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、精度良く画像処理系などにおいて認識できるようにしたものである。
【００１９】
この発明の位置認識装置１０は任意の静止物体の特定位置を認識する装置である。図１に示す位置認識装置１０では、少なくとも、予め壁面１などの静止物体の所望位置に複数の被認識マークＭｉ（ｉ＝１、２、３、ｊ〜ｎ）が取付けられることを前提とする。この被認識マークＭｉに関しては、予め点滅パターンが異なるように点滅する３点以上の光源を有した複数の光源ブロック、又は、白地に黒で形成されたｎ行×ｎ列の白黒マトリクスを有した二次元マトリクスコードが準備される。
【００２０】
この位置認識装置１０には撮像手段６が設けられ、静止物体の被認識マークＭｉが撮像される。この被認識マークＭｉに関して光源ブロックを適用する場合には、撮像手段６として流し撮り用の撮像装置が使用され、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像される。ここで、流し撮りとは流し撮り撮像装置において、同一フィールド期間中に複数回、光電変換素子（フォトダイオードなど）から信号電荷を読み出す撮影モードをいう。被認識マークＭｉに関して二次元バーコードを適用する場合には、通常のＣＣＤ撮像装置が使用される。
【００２１】
この撮像手段６には演算手段７が接続され、この撮像手段６により撮像された被認識マークＭｉによる輝度信号が画像処理されてその被認識マークＭｉの位置情報が求められる。演算手段７には中央演算装置（ＣＰＵ）などが使用される。この例では、演算手段７には記憶手段８が接続され、被認識マークＭｉの配置情報が記憶される。記憶手段８にはＲＡＭなどが使用される。この配置情報には、被認識マークＭｉの固体番号を識別するためのブロック識別情報及び被認識マークＭｉ間の配置距離情報が含まれている。
【００２２】
そして、この例では被認識マークＭ１〜Ｍｎの任意の一つの被認識マークＭｊに目標を設定して撮像手段６を近づけたときに、演算手段７では、その目標とされた被認識マークＭｊの位置情報と他の被認識マークＭｉの配置情報とに基づいて目標とされた被認識マークＭｉと撮像手段６との間の距離情報Ｓｘを求めるようになされる。その際に、演算手段７によって記憶手段８から他の被認識マークＭｉの配置情報が読み出され、三角法などによって被認識マークＭｊと撮像手段６との間の距離情報Ｓｘが求られる。更に、被認識マークＭｉに関して光源ブロックが適用される場合には、流し撮り用の撮像手段６により撮像された光源の点滅パターンに基づく輝度信号が演算手段７によって画像処理され、その光源の３点の位置が求められる。
【００２３】
続いて、本発明に係る位置認識方法について位置認識装置１０の処理例について説明する。図２は、位置認識装置１０による処理例を示すフローチャートである。この例では、壁面１などの任意の静止物体の特定位置を画像処理系などに認識させることを前提とし、その特定位置から任意に離れた位置に第１の基準面を設定し、その特定位置に第２の基準面を設定する場合を想定する。
【００２４】
これを前提として、まず、図２に示すフローチャートのステップＡ１で、少なくとも、静止物体の所望位置に複数の被認識マークＭｉを取り付ける。例えば、被認識マークＭｉに関して、予め点滅パターンが異なるように点滅する３点以上の光源を設けた光源ブロックを作成する。そして、光源ブロックを静止物体の所望位置に３点以上を取付ける。もちろん、白地に黒で形成されたｎ行×ｎ列の白黒マトリクスを有した二次元マトリクスコードを作成し、その二次元バーコードを静止物体の所望位置に３点以上を取付けてもよい。
【００２５】
その後、ステップＡ２（第１段階）で静止物体の被認識マークＭｉを撮像系によって撮像する。ステップＡ２では静止物体に取付けられた全ての光源ブロックを撮像する位置に撮像系を固定して被注視領域を画定する。そして、ステップＡ３で被認識マークＭｉによる輝度信号を画像処理してその被認識マークＭｉの全ての位置情報を取得する。この被注視領域内の被認識マークＭｉの位置情報からステップＡ４で第１の基準面が画像処理系で認識される。第１の基準面は静止物体の特定位置から任意に離れた位置に設定される。
【００２６】
その後、ステップＡ５で被認識マークＭｉの任意の一つに目標を設定する。そして、ステップＡ６（第２段階）でその被認識マークＭｉに撮像系を徐々に近づけて行き、その撮像系がその目標を認識できたかを判断する。その際の判断はその被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像したときに、その光源ブロック内の光源の点滅パターンが認識できたか否かを検出することにより行う。
【００２７】
上述のステップＡ６で撮像系が目標とする被認識マークＭｊに近づいていない場合には、ステップＡ７に移行して撮像系を被認識マークＭｊに近づけて行く。ステップＡ６で撮像系が目標とする被認識マークＭｊに近づいた場合には、目標とされた光源ブロック内の光源の点滅パターンが認識できることから、ステップＡ８では演算手段７によってその光源ブロック内の光源の点滅パターンの輝度信号を画像処理して光源の３点の位置が求められ、その後、３点の光源の位置を結んで第２の基準面が求められる。
【００２８】
この撮像系が被認識マークＭｊに近づいて行く間中、ステップＡ９でその目標とされた被認識マークＭｊの位置情報と他の被認識マークＭｉの配置情報とに基づいて目標とされた被認識マークＭｊと撮像系との間の距離情報Ｓｘが演算手段７によって求められる。従って、この目標とされた光源ブロック内の光源の点滅パターンが認識できた場合には仮想空間の第２の基準面上で仮想体の画像を合成するような処理を行うことができ、その光源の点滅パターンを認識できない場合には第１の基準面上で仮想体の画像を合成するような処理を行うことができる。
【００２９】
このように、本実施形態に係る位置認識装置及び位置認識方法によれば、静止物体の所望位置に取付けられた被認識マークＭｉの任意の一つに目標を設定して撮像手段６が近づけられたときに、その撮像手段６により撮像された被認識マークＭｉによる輝度信号が演算手段７によって画像処理され、目標とされた被認識マークＭｉの位置情報と他の被認識マークＭｉの配置情報とに基づいて目標とされた被認識マークＭｉと撮像手段６との間の距離情報Ｓｘが求められる。
【００３０】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置から離れた任意の位置に第１の基準面を設定し、その特定位置に第２の基準面を設定して、その第１又は第２の基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置１０を十分に応用することができる。
【００３１】
（２）実施形態としての仮想画像立体合成装置
図３は本発明に係る位置認識装置及び位置認識方法を応用した第１の実施形態としての仮想画像立体合成装置１００の構成例を示す斜視図である。
この実施形態では、上述した位置認識装置及び位置認識方法を応用して、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させ、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成できるようにしたものである。
【００３２】
図３に示す仮想画像立体合成装置１００は、観察者の属する外界像に、人物や風景などの静止画像（２Ｄ）又はＴＶ番組のキャラクタ画像（３Ｄ）などの仮想体画像を立体的に合成表示する装置である。
【００３３】
この仮想画像立体合成装置１００は観察者の属する実空間上の任意の静止物体、例えば、壁面１の所望位置に取付けられた複数の被認識マークＭｉとして基準面設定用の８個の光源ブロックＢＬｉ（ｉ＝１〜８）と、観察者の頭部に装着される合成手段としての特殊グラストロン２と、この特殊グラストロン２における撮像画像及び表示画像の入出力を制御する画像処理装置３を備えて成るものである。
【００３４】
この特殊グラストロン２の本体部２１にはベルト２２が設けられ、眼鏡をかけるように本体部２１が観察者の顔面に装着されると共に、その観察者の頭部外周部に沿ってベルト２２が固定される。この例で特殊グラストロン２は、表示手段２４と、流し撮り用の撮像手段としての流し撮りＣＣＤ装置２３及び領域抽出用の通常のＣＣＤ撮像装置２５とを有しており、その通常のＣＣＤ撮像装置２５により認識される第１の基準面（仮想壁面１’）上で仮想体の画像を合成し、及び、流し撮りＣＣＤ装置２３により流し撮り（認識）された特定位置の第２の基準面（壁面１）上で仮想体の画像を表示手段２４によって合成表示するようになされる。
【００３５】
この例では、仮想空間の第１の基準面を構成する仮想壁面１’で、例えば、光源ブロックＢＬ１を中心に仮想体として肖像画Ｐ１１が、光源ブロックＢＬ２を中心に船の絵画（図示せず）Ｐ２１が、光源ブロックＢＬ３を中心に山の絵画（図示せず）Ｐ３１などがあたかも存在するようになされる。更に、実空間の第２の基準面を構成する壁面１上で、例えば、光源ブロックＢＬ１を中心に肖像画Ｐ１１の下位階層として人体内部構造の画像Ｐ１２が、光源ブロックＢＬ２を中心に船の絵画（図示せず）Ｐ２１の下位階層として操舵室の画像Ｐ２２が、光源ブロックＢＬ３を中心に山の絵画（図示せず）Ｐ３１の下位階層の画像としてその山の地底構造の画像などがあたかも存在するようになされる。第２の基準面を認識する際には、光源ブロックＢＬｉ内の複数の光源が流し撮りＣＣＤ装置２３によって所定の撮像方向に流すように流し撮りされる。
【００３６】
また、上述の壁面１に取付けられた８個の光源ブロックＢＬ１〜ＢＬ８と、流し撮りＣＣＤ装置２３及び通常のＣＣＤ撮像装置２５とにより位置認識手段５が構成され、壁面１の特定位置から任意に離れた位置（離隔距離Ｓ０）で第１の基準面が認識され、その特定位置で第２の基準面を認識するようになされる。この位置認識手段５には本発明に係る位置認識装置１０及び位置認識方法が応用される。
【００３７】
この例では壁面１に取付けられた８個の光源ブロックＢＬ１〜ＢＬ８が通常のＣＣＤ撮像装置２５によって撮像されて被注視領域が画定されると共に、観察者によって８個の光源ブロックＢＬ１〜ＢＬ８の内の任意の１つに目標が設定されてその目標に撮像系を近づけていったときに、流し撮りＣＣＤ装置２３によって被注視領域内で目標とされた光源ブロックＢＬｉが流し撮りされる。
【００３８】
この流し撮りＣＣＤ装置２３として垂直転送部を有するインターライン転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から垂直転送部に信号電荷が読み出される。また、流し撮りＣＣＤ装置２３として電荷蓄積部を有するフレーム転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から電荷蓄積部に信号電荷が読み出される。
【００３９】
この特殊グラストロン２には演算手段として画像処理装置３が接続され、流し撮りＣＣＤ装置２３及び通常のＣＣＤ撮像装置２５により撮像された光源ブロックＢＬｉによる輝度信号が画像処理され、その光源ブロックＢＬｉの位置情報が求められ、その位置情報に基づいて光源ブロックＢＬｉにおける第１及び第２の基準面などが設定される。
【００４０】
例えば、光源ブロックＢＬｉの任意の一つに目標を設定して撮像系を近づけたときに、画像処理装置３は、目標とされた光源ブロックＢＬｊの位置情報と他の光源ブロックＢＬｉの配置情報とに基づいて目標とされた光源ブロックＢＬｉと撮像系との間の距離情報Ｓｘを求めるようになされる。この配置情報には、光源ブロックＢＬｉの固体番号を識別するためのブロック識別情報及び光源ブロックＢＬｉ間の配置距離情報が含まれている。配置情報については図６で説明する。
【００４１】
この例で、図４に示す基準面設定用の光源ブロックＢＬ１〜ＢＬ８は静止物体として比較的に平坦な壁面１に取付けられる。例えば、観察者の属する実空間の間口（幅）が４ｍ×高さが２．５ｍ程度の大きさの壁面１に、８個の光源ブロックＢＬ１〜ＢＬ８が予め定められた間隔で図４に示す位置に格子状に配されている。光源ブロックＢＬｉの水平方向の間隔（ピッチ：Ｐｈ）は１ｍ程度であり、その垂直方向の間隔（ピッチ：Ｐｖ）は１．５ｍ程度である。この８個の光源ブロックＢＬ１〜ＢＬ８の各々の仮想壁面１’上で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの画像が合成表示される。仮想壁面１’は第１の基準面を成すものであり、実空間の壁面１の特定位置から任意に離れた位置（この例では距離Ｓ０）に仮想的に存在するものである。
【００４２】
これらの下位階層の人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像が８個の光源ブロックＢＬ１〜ＢＬ８の各々の壁面（第２の基準面）１上で合成される。これらの肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・、及び、人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像等の映像情報は画像処理系のメモリなどに予め格納されているものを使用する。
【００４３】
各々の光源ブロックＢＬｉは図５に示す正方形状のプレート部１１を有している。プレート部１１は第２の基準面を成すものであり、凹凸の無い平坦状に形成される。プレート部１１の大きさは例えば、その一辺の長さは５ｃｍ程度である。プレート部１１の表面四隅には、３点以上の光源としてそれぞれ発光ダイオード（ＬＥＤ１〜ＬＥＤ４）が取付けられ、人体内部画像、操舵室の画像Ｐ２２及び地底構造の画像Ｐ３２などの仮想映像を飛び出せようとする基準面の４つの点ｐ１〜ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとする第２の基準面に相当する）。
【００４４】
この光源ブロックＢＬｉ内には点滅制御回路１３が設けられ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４がそのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、少なくとも、点滅パターンが異なるように点滅制御される。この点滅制御回路１３については、図７で説明する。この発光ダイオードＬＥＤ１〜ＬＥＤ４の点滅パターンは特殊グラストロン２内の流し撮りＣＣＤ装置２３により、所定の流し撮像方向に流すように撮像される。この流し撮りは４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置から第２の基準面を特定するためである。この第２の基準面の特定については図１８、図１９で説明をする。
【００４５】
この例では、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４は正方形内に位置し、発光ダイオードＬＥＤ１とＬＥＤ３の間（ｘ方向）の距離Ｌｘが（ｘ３−ｘ１）であり、発光ダイオードＬＥＤ２とＬＥＤ４の間の距離もＬｘで、その距離Ｌｘが（ｘ４−ｘ２）である。また、発光ダイオードＬＥＤ１とＬＥＤ２の間（ｙ方向）の距離Ｌｙが（ｙ２−ｙ１）であり、発光ダイオードＬＥＤ２とＬＥＤ４の間の距離もＬｙで、その距離Ｌｘが（ｙ４−ｙ３）である。
【００４６】
ここで、ブロック識別情報について説明する。この例では光源ブロックＢＬｉを識別するために図６に示す所定のデータフォーマットが準備されている。このデータフォーマットは３つの領域に分かれている。第１のデータ領域には各光源ブロックＢＬｉを識別するために、各々の光源ブロックＢＬｉ毎に割り当てられたブロックＮｏ識別コード１Ｘ、２Ｘ・・・８Ｘなどが書き込まれ、第２のデータ領域には各光源ブロックＢＬｉ内の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報が書き込まれ、第３のデータ領域には発光ダイオードＬＥＤｉ、ＬＥＤｊ間の距離情報Ｌｘ、Ｌｙが書き込まれる。このブロックＮｏ識別コード、発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ、Ｌｙを総称してブロック識別情報という。
【００４７】
このデータフォーマットに基づいた８個の光源ブロックＢＬｉのブロック識別情報を画像処理装置３内のＲＡＭに格納するようになされる。光源ブロックＢＬ１を例にとってそのブロック識別情報を説明すると、ブロックＮｏ識別コード１Ｘには４ビットのデータが割り当てられ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が全て「００００」、「００００」、「００００」及び「００００」である。
【００４８】
また、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報には２ビットが割り当てられ、発光ダイオードＬＥＤ１が「００」、ＬＥＤ２が「０１」、ＬＥＤ３が「１０」、及び、ＬＥＤ４が「１１」である。発光ダイオードＬＥＤｉ、ＬＥＤｊ間の距離情報Ｌｘ、Ｌｙについては、Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）及び、Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が書き込まれる。図６では「ＸＸ」で示している。
【００４９】
更に、光源ブロックＢＬｉ間の配置距離情報は光源ブロックＢＬｉの水平方向の間隔（ピッチ：Ｐｈ）及びその垂直方向の間隔（ピッチ：Ｐｖ）から容易に得られる。例えば、光源ブロックＢＬ１の配置位置を原点（Ｘ，Ｙ）＝（０，０）としたときに、光源ブロックＢＬ２の位置座標として（０，−Ｐｖ）、光源ブロックＢＬ３＝（Ｐｈ，０）、光源ブロックＢＬ４＝（Ｐｈ，−Ｐｖ）、光源ブロックＢＬ５＝（２Ｐｈ，０）、光源ブロックＢＬ６＝（２Ｐｈ，−Ｐｖ）、光源ブロックＢＬ７＝（３Ｐｈ，０）、光源ブロックＢＬ８＝（３Ｐｈ，−Ｐｖ）で与えられる。
【００５０】
上述したブロック識別情報及び光源ブロックＢＬｉ間の配置距離情報によって配置情報が構成される。これらの配置情報は壁面１の認識及び第１及び第２の基準面の設定の際に使用するために、予め画像処理装置３内のＲＡＭ（情報が随時書き込み読み出し可能なメモリ）などに登録される。
【００５１】
この例では、図７に示す点滅制御回路１３がＩＣチップ化され、このＩＣチップがプレート部１１内に組込まれ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４に所定の電圧が印加されて点滅制御される。この点滅制御回路１３は例えばクロック発生部６１を有している。クロック発生部６１には例えば、１／２分周回路６２、１／３分周回路６３、１／４分周回路６４が接続されており、所定周波数のクロック信号ＣＬＫ１と、このクロック信号ＣＬＫ１を１／２分周回路６２で１／２分周したクロック信号ＣＬＫ２と、１／３分周回路６３で１／３分周したクロック信号ＣＬＫ３と、１／４分周回路６４で１／４分周したクロック信号ＣＬＫ４とが出力される。
【００５２】
各々のクロック信号ＣＬＫ１〜ＣＬＫ４は安定化用の抵抗Ｒを通して各々の発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４に供給されている。このクロック発生部６１には電源スイッチＳＷを介在して直流電源Ｅが接続され、この電源Ｅには小型の乾電池やボタン電池などが使用される。もちろん、８個の光源ブロックＢＬ１〜ＢＬの点滅制御回路１３を並列に接続して、ＡＣ−ＤＣアダプタから直流電圧を供給するようにしてもよい。
【００５３】
図８は光源ブロックＢＬｉの発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４への電圧供給例を示す波形図である。この例では、図７に示した点滅制御回路１３の電源スイッチＳＷをオンすると、発光ダイオードＬＥＤ１にはクロック信号ＣＬＫ１が供給され、発光ダイオードＬＥＤ２にはクロック信号ＣＬＫ１を１／２分周したクロック信号ＣＬＫ２が供給され、発光ダイオードＬＥＤ３にはクロック信号ＣＬＫ１を１／３分周したクロック信号ＣＬＫ３が供給され、発光ダイオードＬＥＤ４にはクロック信号ＣＬＫ１を１／４分周したクロック信号ＣＬＫ４が供給される。従って、各々の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４の点滅パターンを異なるように点滅制御をすることができる。
【００５４】
図９に示す特殊グラストロン２は非透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２３と、第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７と、図示しない注視点検出用の撮像手段（第２の撮像系、以下、注視点検出カメラ４という）とを有している。
【００５５】
つまり、観察者の眉間に相当する位置には、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置２３とが並べて配置され、前者によって観察者の属する外界像が撮像され、後者によって光源ブロックＢＬ１〜ＢＬ８の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮りされる。従って、観察者が基準面設定用の光源ブロックＢＬ１〜ＢＬ８に目を向けると、その基準面の方向に流し撮りＣＣＤ装置２３が向くようになる。
【００５６】
この例では、流し撮りＣＣＤ装置２３に自動ズーム機構が設けられ、８個の光源ブロックＢＬ１〜ＢＬ８の中の任意の光源ブロックＢＬｉを注視した場合や、その光源ブロックＢＬｉの中で更に任意の発光ダイオードＬＥＤｉを注視すると、画像処理装置３によって自動的にその発光ダイオードＬＥＤｉにズームさせることができる。この自動ズーム機構に関しては、例えば、技術文献である特開平８−１７９１９３号公報の電子機器及びカメラの技術を応用することができる。
【００５７】
そして、特殊グラストロン２内の観察者の右目に相対する位置にはＬＣＤ２６が取付けられ、例えば、通常のＣＣＤ撮像装置２５により撮影した観察者の光源ブロックＢＬ１〜ＢＬ８と、予め準備された肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像とを合成したステレオ画像の一方が表示される。また、その観察者の左目に相対する位置にはＬＣＤ２７が取付けられ、上述の光源ブロックＢＬ１〜ＢＬ８と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像とを合成したステレオ画像の他方が表示される。
【００５８】
この例では、図１０に示す右眼表示用のＬＣＤ２６と、左眼表示用のＬＣＤ２７の表示面内に注視点検出カメラ４としてのフィルム状の電荷結合素子（以下フィルムＣＣＤという）４Ｒ（右）、４Ｌ（左）が配置され、基準面を注視する観察者の眼球運動を撮像してその観察者の注視点ｐが検出される。この例でフィルムＣＣＤ４Ｒ、４Ｌは、観察者の眼球に相対するＬＣＤ２６及びＬＣＤ２７上に分散して配置されている。
【００５９】
このフィルムＣＣＤ４Ｒ、４Ｌでは、例えば、図１１Ａに示す４×６画素のマトリクスの全体画素に対して歯抜け状（斜線部分）に撮像素子（電荷結合素子）４Ａが配置されている。従って、白抜き部分には撮像素子４Ａが配置されておらず、ＬＣＤ２６及びＬＣＤ２７による映像を通すようになされる。注視点検出カメラ４Ｒ、４Ｌは、フィルム上に部分的にシリコン膜を形成して光電変換素子などのＣＣＤを歯抜け状に作成し、このフィルムＣＣＤ４Ｒ、４ＬをＬＣＤ２６及びＬＣＤ２７の前方に張り合わせるなどして形成される。
【００６０】
なお、フィルムＣＣＤ４Ｒ、４Ｌは、サファイヤを基礎材料にして、シリコン膜を部分的に形成することができるので、ＬＣＤ２６及びＬＣＤ２７と歯抜け状のフィルムＣＣＤ４Ｒ、４Ｌとを１チップ化することもできる。ただし、チップの透明性（光透過率）は薄いサングラス程度となる。
【００６１】
このフィルムＣＣＤ４Ｒでは、図１１Ｂに示す観察者の左眼の瞳の動きや、その瞳孔の絞り状態が撮像され、フィルムＣＣＤ４Ｌでは、同図に示す観察者の右眼の瞳の動きや、その瞳孔の絞り状態が撮像される。多少撮像性能は落ちるが、観察者の眼球運動を撮像する分には支障はない。従って、フィルムＣＣＤ４Ｒ、４Ｌから得られたカメラ出力信号Ｓ３に基づいてピントが常に一定になるように流し撮りＣＣＤ装置２３の自動ズーム機構を制御することができる。
【００６２】
この特殊グラストロン２は図１２に示す観察者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが観察者の眼球に導くようになされる。図１２において、特殊グラストロン２を装着した観察者の両目の光軸が重なったところが、注視点ｐである。この注視点ｐを基準にして、観察者の属する背景像のステレオ画像と肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像のステレオ画像とが頭の中で合成される。
【００６３】
ここで、観察者の眼球表面から注視点ｐに至る離隔距離をＳｅとし、流し撮りＣＣＤ装置２３のレンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察者の眼球表面と流し撮りＣＣＤ装置２３のレンズ表面との間のオフセット距離をＳoffとする。
【００６４】
この観察者の眼球映像は、上述したように左右のＬＣＤ２６、２７の前面にフィルムＣＣＤ４Ｒ、４Ｌを設ける場合に限られることはなく、左眼表示用のＬＣＤ２７から背景映像を出力し、右眼表示用のＬＣＤ２６上にフィルムＣＣＤ４Ｒ目を設け、そのＣＣＤ４Ｒによって眼球映像を取得してもよい。この逆の方法でもよい。この例では、観察者の眼球運動から黒目と瞳孔の位置関係及び瞳孔の形状を認識し、その認識情報から注視点ｐの方向と離隔距離Ｓｅとを求め、その離隔距離Ｓｅに基づいて特殊グラストロン２と発光ダイオードＬＥＤｉとの間の焦点距離Ｓｃ＋Ｓoffを補正するようになされる。
【００６５】
続いて、インターライン転送方式の流し撮りＣＣＤ装置２３の内部構成について説明する。図１３に示す流し撮りＣＣＤ装置２３は基板３１を有している。その基板３１上には、１画素を構成する光電変換素子としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜ｍ）がｎ列×ｍ行のマトリクス状に配置されている。
【００６６】
この基板の列方向には電荷転送部としてｍ本の垂直転送部３２が設けられ、フォトダイオードＰＨｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に基づいて垂直方向（流し撮り方向）に転送される。この垂直転送部３２には水平転送部３３が接続され、その信号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転送されるので、出力端子３４には流し撮り信号ＳOUTが出力される。この例では、光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４を流し撮りをするために、少なくとも、同一フィールド期間中に複数回、フォトダイオードＰＨｉｊから垂直転送部３２に信号電荷が読み出される。
【００６７】
また、流し撮りＣＣＤ装置２３は図１４に示す魚眼レンズ３５を有している。魚眼レンズ３５は例えばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼レンズ３５によって観察者の基準面設定用の光源ブロックＢＬ１〜ＢＬ８などを広範囲に撮像できるようになされている。もちろん、通常のレンズでも構わないが、視野が狭くなるので、観察者は光源ブロックＢＬｉに向けてより多く頭部を傾けなければならない。
【００６８】
この例では、魚眼レンズ３５の中央に一番近い部分で発光ダイオードＬＥＤｉの点滅パターンが確認されると、流し撮りＣＣＤ装置２３の自動ズーム機構によりそのピントが常に一定になるように焦点が合わせ込まれる。従って、発光ダイオードＬＥＤの点滅パターンの取得精度を向上させることができる。このピントが合った状態で、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の発光位置が求められ、その位置を結んで第２の基準面が認識される。その際に、観察者の注視する発光ダイオードＬＥＤｉと流し撮りＣＣＤ装置２３との焦点距離Ｓｃが近すぎて、その発光ダイオードＬＥＤによる輝度情報が取得できない場合には、ピントを通常に戻して広域の他の発光ダイオードＬＥＤｉの点滅パターンを認識するようにする。
【００６９】
続いて、仮想画像立体合成装置１００の回路構成について説明する。図１５に示す仮想画像立体合成装置１００は大きく分けて３つの回路ブロックから成る。第１の回路ブロックは基準面設定用の光源ブロックＢＬ１〜ＢＬ８であり、この光源ブロックＢＬ１〜ＢＬ８には点滅制御回路１３が各々設けられ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４に所定の電圧が印加されて点滅制御される。点滅制御回路１３では点滅パターンが異なるように発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４が点滅間隔が制御される（図７、図８参照）。
【００７０】
第２の回路ブロックは特殊グラストロン２であり、上述した流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び左右のフィルムＣＣＤ４Ｒ、４Ｌ（注視点検出用のカメラ４）を有している。
【００７１】
第３の回路ブロックは画像処理装置３であり、内部バス４１を有している。内部バス４１にはインタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ（電気的な書き込み及び消去が可能な読み出し専用メモリ）４８が接続されている。流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び注視点検出用のカメラ４はインタフェース４２を介して内部バス４１に接続される。
【００７２】
この内部バス４１にはＥ2ＰＲＯＭ４８が接続され、観察者の属する外界像に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１、これらの下位階層の人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像などの仮想映像を立体的に合成するアルゴリズムが格納されている。例えば、Ｅ2ＰＲＯＭ４８には、観察者の属する実空間上の壁面１で任意に設定された仮想壁面１’で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像を重ね合わせて合成するアルゴリズムと、その実空間上の壁面１で任意に設定された第２の基準面上で肖像画Ｐ１１の下位階層の人体内部構造の画像Ｐ１２、船の絵画Ｐ２１の下位階層の操舵室の画像Ｐ２２又は山の絵画Ｐ３１の下位階層の地底構造の画像などの仮想映像を重ね合わせて合成するアルゴリズムが格納される。
【００７３】
従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間の壁面１の光源ブロックＢＬｉ上で第１又は第２の基準面を認識することができる。これにより、実空間上の壁面１の光源ブロックＢＬｉの第１の基準面の属する位置に、あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するように仮想画像立体合成処理をすること、及び、その第２の基準面上で、これらの下位階層の人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像などが存在するように仮想画像立体合成処理をすることができるので、バーチャル美術館などの仮想画像立体合成装置１００を再現性良く構成することができる。
【００７４】
更に、内部バス４１にはＲＯＭ４６が接続され、この仮想画像立体合成装置１００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムや、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想画像を表示する表示情報が一時記録される。
【００７５】
例えば、ＲＡＭ４７には、基準面設定用の８個の光源ブロックＢＬ１〜ＢＬ８の各々４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）及び、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４間の距離情報Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が記憶されている。その際に、予め定められた配置間隔で８個の光源ブロックＢＬ１〜ＢＬ８を壁面１に取付ける場合には、その８個の光源ブロックＢＬ１〜ＢＬ８の配置情報を予めアドレスマップにしてＲＡＭ４７に記憶しておいてもよい。
【００７６】
また、内部バス４１には制御手段としてＣＰＵ４５が接続され、インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８の入出力の制御や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６、ＬＣＤ２７及び注視点検出用のカメラ４の入出力の制御が行われる。この例では観察者が注視した発光ダイオードＬＥＤｉと特殊グラストロン２との間の焦点距離ＳｃがＣＰＵ４５によって算出される。ここで算出された焦点距離Ｓｃと、フィルムＣＣＤ４Ｒ、４Ｌによるカメラ出力信号Ｓ３とに基づいて、観察者が注視した特定の発光ダイオードＬＥＤｉに対して流し撮りＣＣＤ装置２３のピントをより高精度に合わせ込むことができる。
【００７７】
例えば、ＣＰＵ４５はカメラ出力信号Ｓ３に基づいて流し撮りＣＣＤ装置２３の焦点距離Ｓｃを調整したり、観察者の眼球運動から認識された瞳孔の動きに基づいてその観察者が注視した発光ダイオードＬＥＤｉと流し撮りＣＣＤ装置２３との間の焦点距離Ｓｃを補正するように動作する。この補正動作については図１６で説明する。その他にＣＰＵ４５はカメラ出力信号Ｓ３に基づいてＬＣＤ２６、ＬＣＤ２７への映像出力を制御するようになされる。例えば、観察者が注視した部分の画像を所定の倍率で拡大してＬＣＤ２６、ＬＣＤ２７に表示するような拡大表示制御が行われる。
【００７８】
これに関連してインタフェース４２には操作部９が設けられ、少なくとも、観察者が注視した部分の画像を所定の大きさに戻して表示するような指示信号（リセット信号）Ｓ５がインタフェース４２を介してＣＰＵ４５に指示が与えるようになされている。一時拡大した画像を通常の大きさの画像に戻すためである。
【００７９】
このインタフェース４２には画像処理部４４が接続され、例えば、流し撮りＣＣＤ装置２３で撮像された基準面設定用の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の画像（図１７参照）が、ＣＰＵ４５の制御命令と共にインタフェース４２を介して、画像処理部４４に取り込まれ、そこで所定の画像処理がなされ、再び、インタフェース４２を介して特殊グラストロン２内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【００８０】
また、インタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、流し撮りＣＣＤ装置２３から入力した点滅パターンの画像データを獲得する所定のキャプチャ処理がなされる。この点滅パターンの画像データは時間経過に対応する輝度の変化として表現されている。画像キャプチャ部４３には演算手段としての画像処理部４４が接続され、所定の画像処理が施された画像データに関して、点滅パターンの同期ずれが補正されたり、観察者の属する基準面が求められる。この基準面の算出については図１７〜図１９で説明する。
【００８１】
続いて、仮想画像立体合成装置１００の位置認識手段５の焦点補正時の動作例について説明をする。図１６に示す流し撮りＣＣＤ装置２３には図示しないインタフェース４２を介して画像処理部４４が接続され、基準面設定用の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の画像が取り込まれ、そこで所定の画像処理がなされる。
【００８２】
また、図１６に示す光源ブロックＢＬｉによる基準面を注視する観察者の眼球運動が注視点検出カメラ４によって撮像され、その観察者の注視点ｐが検出される。この注視点検出カメラ４には図示しないインタフェース４２を介して制御手段としてのＣＰＵ４５が接続され、この注視点検出カメラ４から得られたカメラ出力信号Ｓ３に基づいて流し撮りＣＣＤ装置２３の焦点距離が調整される。
【００８３】
例えば、ＣＰＵ４５は、流し撮りＣＣＤ装置２３にズーム制御信号Ｓ０を出力して、観察者の眼球運動から認識された瞳孔の動きに基づく発光ダイオードＬＥＤｉと流し撮りＣＣＤ装置２３との間の焦点距離を補正するようになされる。
【００８４】
ここで、観察者の眼球表面から注視点ｐに至る離隔距離をＳｅとし、流し撮りＣＣＤ装置２３のレンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察者の眼球表面と流し撮りＣＣＤ装置２３のレンズ表面との間のオフセット距離をＳoffとすると、その注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ＣＰＵ４５がその焦点距離Ｓｃを長くするように流し撮りＣＣＤ装置２３の光学系を調整する。反対に、注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合には、ＣＰＵ４５はその焦点距離Ｓｃを短くするように流し撮りＣＣＤ装置２３の光学系を調整するようになされる。
【００８５】
続いて、画像処理装置３の第２の基準面の設定時の動作例について説明をする。この例では、図１５に示した画像処理装置３では、ＲＡＭ４７から読み出された基準面設定用の光源ブロックＢＬ１〜ＢＬ８の４つの発光ダイオードＬＥＤ１〜４の位置情報及び距離情報Ｌｘ，Ｌｙを参照しながら、流し撮りＣＣＤ装置２３で撮像された実際の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙが演算される。
【００８６】
この実際の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，ＬｙがＲＡＭ４７による発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙにより一層近づくように、流し撮りＣＣＤ装置２３の焦点光学系が自動調節される。これにより、図１９に示す基準面設定用の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の修正後の画像を画像処理部４４に取り込むことができる。修正後の画像は、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置が、４つ輝点ｐ１〜ｐ４の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に近似し、しかも、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４間の距離がＬｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）に近似するようなイメージになされる。
【００８７】
例えば、図１５に示した画像処理部４４では流し撮りＣＣＤ装置２３から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関して、図１９に示すウインドＷにより画定された画像領域内で、４つの流し撮り輝点ｐ１〜ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。その後、その配置パターン上を走査して、少なくとも、４つの輝点ｐ１〜ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められる。
【００８８】
この４つの輝点ｐ１〜ｐ４は壁面１に取付けられた基準面設定用の８個の光源ブロックＢＬ１〜ＢＬ８のうちの１つを注視した際の、光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４である。実空間上の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標は既知であり、その位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）である。
【００８９】
従って、上述の実空間上の光源ブロックＢＬｉの基準面は４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置に射影する変換行列を演算することにより得られる。ここで実空間の光源ブロックＢＬｉの平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には（１）式なる関係がある。
【００９０】
【数１】
【００９１】
但し、ａ１・・・・ａ８は未知の係数でＣＣＤ撮像装置２５などの外部パラメータ（位置と方向）及び焦点距離などの内部パラメータである。これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解くことにより得られる。
【００９２】
【数２】
【００９３】
ここで得られた４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を結ぶことにより、図１９に示した実空間上の光源ブロックＢＬｉの基準面が認識される。
【００９４】
具体的には、図１９に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、画像処理部４４によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる４つの位置が検出され、この４つの位置に対応するＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４が求められる。
【００９５】
また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４として求められる。この４つの輝点間の距離情報はＬｘ＝（Ｘ３−Ｘ１）＝（Ｘ４−Ｘ２）及びＬｙ＝（Ｙ２−Ｙ１）＝（Ｙ４−Ｙ３）として求めることができる。
【００９６】
ここで、実空間上の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標をｗｉ（ｉ＝１〜４）とし、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉとし、その４つの発光ダイオードＬＥＤ１〜４のＬＣＤ画面上での位置座標をＰｉとし、流し撮りＣＣＤ装置２３の回転マトリクスをＲ、その移動ベクトルをＴとすると、（３）式、すなわち、
Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３）
但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）
という関係がある。従って、通常のＣＣＤ撮像装置２５の回転マトリクスＲとその移動ベクトルＴとを演算し、これをパラメータとして実空間と仮想空間との間で座標変換を容易に行うことができるので、仮想空間上の光源ブロックＢＬｉの基準面に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像を合成することができる。
【００９７】
続いて、壁面１、仮想壁面１’及び特殊グラストロン２を装着した観察者との位置関係について説明をする。図２０は、仮想壁面１’と撮像系との位置関係例を示す上面図である。この例では、図２０に示す壁面１の特定位置から距離Ｓ０だけ離れた位置に第１の基準面として仮想壁面１’が設定され、各々の光源ブロックＢＬｉ上に第２の基準面が設定される。
【００９８】
そして、図２０に示す位置Ｓ１に撮像系が存在する場合、すなわち、図２１Ａに示す特殊グラストロン２を装着した観察者３０が壁面１から遠くに離れた位置ＳＰ１に立った場合（Ｓ０＜＜Ｓ１）には、８個の光源ブロックＢＬ１〜ＢＬ８が壁面１に取り付けられていることが特殊グラストロン２の撮像系によって辛うじて認識される。この際に観察者３０は光源ブロックＢＬ１を頂点として壁面１に対して直角を成す方向に立つ。
【００９９】
その後、撮像系の接近目標として光源ブロックＢＬ１を設定する。そして、図２０に示す位置Ｓ２に撮像系が移動した場合、すなわち、図２１Ｂに示す観察者３０が壁面１の方向に近づいて立った場合（Ｓ２＞Ｓ０）には、壁面１に取り付けられた８個の光源ブロックＢＬ１〜ＢＬ８が撮像系によって認識される。もちろん、観察者３０は光源ブロックＢＬ１に向かって真っ直ぐに移動する。この位置はそれ以上壁面側に撮像系を進ませると、８個の光源ブロックＢＬ１〜ＢＬ８の内の右端の２つの光源ブロックＢＬ７、ＢＬ８の画像が撮像系の視野から切れてしまう位置でもある。この位置に撮像系が存在する場合には、８個の光源ブロックＢＬ１〜ＢＬ８の位置はＲＡＭ４７からの配置距離情報を参照することによって認識することができる。
【０１００】
この８個の光源ブロックＢＬ１〜ＢＬ８の位置が画像処理系で認識可能になると、光源ブロックＢＬｉの個々の発光ダイオードの点滅パターンがつぶれて認識できなくとも、特殊グラストロン２によって、予め準備された肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが第１の基準面上に存在するように仮想画像立体合成処理をすることができる。
【０１０１】
ここで、目標とされた光源ブロックＢＬ１と撮像系との間の距離情報Ｓｘは（４）式により求められる。
Ｓｘ＝Ｓｈｘ・tan（９０−θ）・・・・・（４）
【０１０２】
但し、θは撮像系の視野角である。Ｓｈｘは光源ブロックＢＬ１からの壁面１に沿った方向への配置距離である。光源ブロックＢＬ３、ＢＬ４では配置距離がＳｈであり、光源ブロックＢＬ５、ＢＬ６では配置距離が２Ｓｈであり、光源ブロックＢＬ７、ＢＬ８では配置距離が３Ｓｈである。
【０１０３】
更に、図２０に示す位置Ｓ３に撮像系が存在する場合、すなわち、図２２Ａに示す特殊グラストロン２を装着した観察者３０が仮想壁面１’の直前位置ＳＰ３に立った場合（Ｓ０＝Ｓ３）には、上下２個の光源ブロックＢＬ１、ＢＬ２が壁面１に取り付けられていることが撮像系によって認識される。
【０１０４】
この位置はそれ以上仮想壁面１’よりに前に撮像系を進ませると、４個の光源ブロックＢＬ１〜ＢＬ４の内の右端の２つの光源ブロックＢＬ３及びＢＬ４の画像が撮像系の視野から切れてしまう位置でもある。この位置が画像処理系では画像切り替え点として認識される。例えば、肖像画Ｐ１１から人体内部構造の画像Ｐ１２に表示を切り替える位置である。
【０１０５】
つまり、図２０に示す位置Ｓ４に撮像系が移動した場合、すなわち、図２２Ｂに示す観察者３０が仮想壁面１’の中に踏み込んで壁面１の方向に近づいて立った場合（Ｓ４＜Ｓ０）には、すでに壁面１に取り付けられた光源ブロックＢＬ１が流し撮りＣＣＤ装置２３によって認識可能となっているので、光源ブロックＢＬ１による第２の基準面上で肖像画Ｐ１１の下位階層である人体内部構造の画像Ｐ１２を特殊グラストロン２の表示手段２４に表示することができる。
【０１０６】
次に、本発明の位置認識方法に関して仮想画像立体合成装置１００の動作を説明する。図２３はその動作例を示すメインルーチンのフローチャートであり、図２４はその流し撮りＣＣＤ装置２３の焦点距離の補正例を示すサブルーチン、図２５は、その通常のＣＣＤ撮像装置２５の最大望遠時の動作例を示すサブルーチン、図２６はその壁面１の光源ブロックＢＬｉの拡大撮像例を示すサブルーチン、及び、図２７はその発光ダイオードＬＥＤ１〜ＬＥＤ４の位置算出例を示すサブルーチンの各々のフローチャートである。図２８は仮想画像立体合成装置１００を応用したバーチャル美術館の構成例を示すイメージ図である。
【０１０７】
この例では、ほぼ平坦な壁面１の所望位置に基準面設定用の８個の光源ブロックＢＬｉ（ｉ＝１〜８）を予め定められた配置ピッチ（間隔）で配置し、その８個の光源ブロックＢＬｉを撮像して画像処理系に認識させた後に、第１の基準面上で仮想画像の合成処理をし、その後、８個の光源ブロックＢＬｉの中の１つの光源ブロックＢＬｉを目標に設定してその目標に撮像系を近づけたときに、その光源ブロックＢＬｉを拡大して流し撮りし、この流し撮りに基づいて第２の基準面で仮想画像を合成処理する場合を想定する。
【０１０８】
この位置認識原理を応用して、８個の光源ブロックＢＬ１〜ＢＬ８の各々の仮想空間上で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像を表示する。図２８ではその第１の基準面を含む仮想空間上に、光源ブロックＢＬ１を中心に肖像画Ｐ１１が、光源ブロックＢＬ２を中心に船の絵画Ｐ２１が、光源ブロックＢＬ３を中心に山の絵画Ｐ３１があたかも存在するようになされる。その後、この３枚のうちの１枚の映像に観察者３０が目標を設定して壁面方向に近づくと、その絵画映像が下位階層の画像に切り替えられて特殊グラストロン２に表示するような場合を想定する。もちろん、観察者３０は図９に示した特殊グラストロン２を頭部に装着する。
【０１０９】
これを前提にして、図２３に示すフローチャートのステップＢ１で壁面１に取付けられた光源ブロックＢＬｉを撮像して被注視領域を画定する。例えば、図２４のサブルーチンをコールしてそのフローチャートのステップＣ１で、まず、流し撮りＣＣＤ装置２３が最大望遠状態になされる。この最大望遠状態は通常の視野で遠くの物を見た場合である。
【０１１０】
このように遠くから物を見た状態にすると、流し撮りＣＣＤ装置２３では各光源ブロックＢＬ１〜ＢＬ８の発光ダイオードＬＥＤ１〜４の点滅パターンまで識別することができず、画像処理系では各光源ブロックＢＬ１〜ＢＬ８が同期して点滅していると認識される。従って、光源ブロックＢＬ１〜ＢＬ８の存在位置を画像処理系によって認識させることができる。
【０１１１】
つまり、ステップＣ２に移行して、その壁面１に配置された８個の光源ブロックＢＬ１〜ＢＬ８が全部、流し撮りＣＣＤ装置２３の撮像範囲に収まったか否かが画像処理系で判別される。この際の判別ではパターン認識などを利用して行ってもよい。その８個の光源ブロックＢＬ１〜ＢＬ８が撮像範囲に収まらない場合には、ステップＣ３に移行して流し撮りＣＣＤ装置２３の焦点調整機構がパーン（螺旋回転）された後に、ステップＣ４に移行して８個の光源ブロックＢＬ１〜ＢＬ８が画像処理系で認識処理される。
【０１１２】
その後、ステップＣ２に戻って、その壁面１に配置された８個の光源ブロックＢＬ１〜ＢＬ８が全部撮像範囲に収まったか否かが再度、画像処理系で判別される。そして、図２３に示すメインルーチンのステップＢ１に戻り、ステップＢ２に移行して、画像処理装置３では、ＲＡＭ４７から読み出された８個の光源ブロックＢＬ１〜ＢＬ８の配置距離情報を参照しながら、通常のＣＣＤ撮像装置２５で撮像された実際の８個の光源ブロックＢＬ１〜ＢＬ８の位置情報が演算される。
【０１１３】
その後、ステップＢ３では第１の基準面が認識され、特殊グラストロン２の表示手段２４には仮想壁面１’が表示される。そして、ステップＢ４に移行して仮想壁面１’に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像が合成される。このとき、観察者３０が装着した特殊グラストロン２では、ＬＣＤ２６により実空間の外界像である壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレオ画像の一方が観察者３０の右の眼球に導くようになされる。ＬＣＤ２７により、実空間の壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレオ画像の他方が観察者３０の左の眼球に導くようになされる。
【０１１４】
従って、実空間上の壁面１には、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出現していない（図４参照）のに、図２８に示す仮想壁面１’には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などを出現させることができる。これにより、観察者３０の属する実空間上の背景画像と、仮想空間上に出現した肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像が頭の中で合成されるので、実空間上の壁面１の属する光源ブロックＢＬｉの位置に、あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するようにできる。
【０１１５】
この一連の撮像処理及び画像処理と並行して、ステップＢ１２では観察者３０の眼球運動が撮像されると共に、ステップＢ１３で少なくとも、流し撮りＣＣＤ装置２３の焦点距離の補正がなされる。もちろん、通常のＣＣＤ撮像装置２５の焦点距離を補正するようにしてもよい。例えば、図２５のサブルーチンをコールしてそのフローチャートのステップＤ１で、観察者３０の注視点ｐが図１１Ａに示した歯抜けのフィルムＣＣＤ４Ｒ、４Ｌなどの注視点検出用のカメラ４で検出される。
【０１１６】
その後、ステップＤ２で観察者３０の眼球表面から注視点ｐに至る離隔距離Ｓｅと、その観察者３０が注視した発光ダイオードＬＥＤｉと流し撮りＣＣＤ装置２３との間の焦点距離Ｓｃ＋ＳoffとがＣＰＵ４５よって比較される。ここで、注視点ｐに至る離隔距離Ｓｅと流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffとが一致している場合には、光学系の調整は不要なので、ステップＤ８に移行して、観察者３０の眼球運動の監視を継続する。この注視点ｐに至る離隔距離Ｓｅと流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffとが不一致の場合には、ステップＤ３に移行する。
【０１１７】
このステップＤ３では、注視点ｐに至る離隔距離Ｓｅが流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffよりも多い（Ａ）か、少ない（Ｂ）かが判定される。例えば、注視点ｐに至る離隔距離Ｓｅが流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ステップＤ４に移行してＣＰＵ４５によってその焦点距離Ｓｃを増加するように流し撮りＣＣＤ装置２３の絞りやレンズなどの光学系が調整される。
【０１１８】
この調整結果で、ステップＤ５で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ステップＤ８に移行し、一致しない場合はステップＤ４に戻って調整を継続する。反対に、観察者３０の眼球表面から注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合には、ステップＤ６に移行してＣＰＵ４５により、その焦点距離Ｓｃを減少するように流し撮りＣＣＤ装置２３の光学系が調整される。その調整結果で、ステップＤ７で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ステップＤ８に移行し、一致しない場合はステップＤ６に戻って調整を継続する。これにより、観察者３０が注視した光源ブロックＢＬｉと流し撮りＣＣＤ装置２３の光学系との間の焦点距離Ｓｃ＋Ｓoffを自動補正することができる。
【０１１９】
そして、図２３に示すメインルーチンのステップＢ５では８個の光源ブロックＢＬｉのうちのどの光源ブロックＢＬｉに目標が設定されたかが、図２５のサブルーチンのステップＤ１の観察者３０の注視点ｐの情報に基づいて検出される。この際に、いずれかの光源ブロックＢＬｉに注視された場合にはステップＢ６に移行する。反対に、いずれの光源ブロックＢＬｉも注視されない場合にはステップＢ１４に移行する。
【０１２０】
従って、いずれかの光源ブロックＢＬｉに目標が設定されたときは、その目標に向かって観察者３０が壁面１の方向へ近づいて行く間中、ステップＢ６で撮像系と目標との間の距離情報Ｓｘが算出される。この際の距離情報Ｓｘに関しては（４）式により演算される。もちろん、第１の基準面には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像が表示されている。
【０１２１】
そして、ステップＢ７で観察者３０が仮想壁面１’に到達したか否かが検出される。観察者３０が仮想壁面１’に到達していない場合にはステップＢ６に戻って撮像系と目標との間の距離情報Ｓｘの算出が継続される。ここで、観察者３０が図２２Ａに示した仮想壁面１’の直前位置ＳＰ３に立ったような場合には距離情報Ｓｘ＝Ｓ０＝Ｓ３が画像処理装置３によって検出される。この位置は肖像画Ｐ１１から人体内部構造の画像Ｐ１２に表示を切り替える位置である。従って、一歩でも仮想壁面１’内へ踏み込むと、特殊グラストロン２の表示手段２４の映像が切り替わるようになされる。
【０１２２】
例えば、ステップＢ８に移行して、その被注視領域内で目標とされた光源ブロックＢＬ１を拡大して撮像する。そして、光源ブロックＢＬ１の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４が全部、流し撮りＣＣＤ装置２３の撮像範囲に収まった場合には、図２６のサブルーチンをコールしてそのフローチャートのステップＥ１で光源ブロックＢＬ１に発光ダイオードＬＥＤ１〜ＬＥＤ４が存在するか否かが検出される。このとき、観察者３０が注目した光源ブロックＢＬ１にステップＥ２でズームアップされる。
【０１２３】
この際に、画像処理装置３では、ＲＡＭ４７から読み出された基準面設定用の光源ブロックＢＬ１の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙを参照しながら、流し撮りＣＣＤ装置２３で撮像された実際の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙが演算される。
【０１２４】
そして、実際に撮像された４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置及び距離Ｌｘ，ＬｙがＲＡＭ４７による発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙにより一層近づくように、流し撮りＣＣＤ装置２３の焦点光学系が自動調整される。その後、ステップＥ１に戻る。従って、ステップＥ１で観察者３０が注目した光源ブロックＢＬｉに４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が存在することが認識されると、ステップＥ３に移行して画像処理系では位置認識処理がなされる。この処理については、図１８及び図１９で説明した通りである。
【０１２５】
その後、ステップＥ４に移行して壁面１が認識できたか否かが判別される。この壁面１が認識できた場合には、この位置認識処理を終了してメインルーチンにリターンする。この壁面１が認識できない場合には、ステップＥ５に移行して４つの輝点の距離情報Ｌｘ、Ｌｙが、図１５に示したＲＡＭ４７から読み出された距離情報（基準値）Ｌｘ、Ｌｙよりも小さいかが検出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが小さい場合には、ステップＥ６に移行してズームアップされる。その後、ステップＥ３に戻って位置認識処理が行われる。
【０１２６】
また、ステップＥ５でＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きい場合には、ステップＥ７に移行して再度、４つの輝点の距離情報Ｌｘ、ＬｙがＲＡＭ４７に格納された距離情報（基準値）Ｌｘ、Ｌｙよりも大きいかが検出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きい場合には、ステップＥ８に移行してズームダウンされる。
【０１２７】
そして、ステップＥ８でズームダウンした後、及び、ステップＥ７でＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きくない場合には、ステップＥ３に戻って位置認識処理が行われる。その後、ステップＥ４に移行して壁面１が認識できたか否かが判別される。
【０１２８】
以上の処理を繰り返すことで、観察者３０が注視した特定の光源ブロックＢＬｉを、再現性よく画像処理系に認識させることができる。従って、画像処理系で壁面１が認識されると、この位置認識処理を終了して図２３のメインルーチンのステップＢ８にリターンする。
【０１２９】
そして、図２３のフローチャートのステップＢ９に移行して拡大撮像された光源ブロックＢＬｉによる輝度信号を画像処理してその光源ブロックＢＬｉの位置を求める。例えば、図２７のサブルーチンをコールしてそのフローチャートのステップＦ１でビデオキャプチャ処理を実行する。その後、ステップＦ２で光源ブロックＢＬｉの四隅の発光ダイオードＬＥＤ１〜ＬＥＤ４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４による輝度信号の点滅パターンが、４つの輝点ｐ１〜ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【０１３０】
その後、その配置パターン上を走査して、少なくとも、４つの輝点ｐ１〜ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの発光ダイオードＬＥＤ１〜４の取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことにより基準面が求められる（壁面の認識原理）。そして、ステップＦ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３と基準面との位置関係が検出される。
【０１３１】
その後、図２３のメインルーチンのステップＢ９にリターンし、ステップＢ１０に移行して壁面１の特定位置である光源ブロックＢＬ１に第２の基準面が設定される。そして、ステップＢ１１に移行して仮想空間の光源ブロックＢＬ１の第２の基準面上に肖像画Ｐ１１の下位階層の画像である人体内部構造の画像Ｐ１２が特殊グラストロン２に表示される。例えば、特殊グラストロンでは、ＬＣＤ２６により実空間の外界像である壁面１と、肖像画Ｐ１１の下位階層の画像である人体内部構造の画像Ｐ１２とを合成したステレオ画像の一方が観察者３０の右の眼球に導くようになされる。ＬＣＤ２７により、実空間の壁面１と、その人体内部構造の画像Ｐ１２とを合成したステレオ画像の他方が観察者３０の左の眼球に導くようになされる。
【０１３２】
従って、実空間上の壁面１には、人体内部構造の画像Ｐ１２などが出現していない（図４参照）のに、仮想空間の光源ブロックＢＬｉによる第２の基準面上に、は図２９Ａに示すような人体内部構造の画像Ｐ１２を出現させることができる。これにより、観察者３０の属する実空間上の背景画像と、仮想空間上に出現した人体内部構造の画像Ｐ１２が頭の中で合成されるので、実空間上の壁面１の属する光源ブロックＢＬｉの位置に、あたかも、人体内部構造の画像Ｐ１２が存在するようにできる。
【０１３３】
この例では、上述の壁面１の認識原理を応用することにより、観察者３０が例えば図２８に示す左側の肖像画Ｐ１１に注視すると、注視点検出用のカメラ４からＣＰＵ４５へ「肖像画に注視している」旨のカメラ出力信号Ｓ３が出力されるので、画像処理装置３では、その肖像画Ｐ１１に目標を設定されたことを判断できる。
【０１３４】
また、右眼表示用のＬＣＤ２６及び左表示用のＬＣＤ２７に人体内部構造の画像Ｐ１２及び肖像画Ｐ１１を拡大して表示した場合には、先に述べた操作部９を操作すると、指示信号Ｓ５がＣＰＵ４５に出力され、観察者３０が注視した肖像画Ｐ１１を所定の大きさに戻した表示がなされる。そして、図２３に示したフローチャートのステップＢ１４の「終了する」に対して「ＮＯ」でステップＢ１に戻ってその仮想画像合成表示処理を継続し、「ＹES」でその仮想画像合成表示処理を終了する。
【０１３５】
なお、図２９Ａは、肖像画の下位階層の画像例を示す人体内部構造の画像Ｐ１２のイメージ図、及び、図２９Ｂは船の絵画Ｐ２１の下位階層の画像例を示す操舵室から進行方向を見た画像Ｐ２２を示すイメージ図である。図２８において、目標を船の絵画Ｐ２１に設定した場合には、観察者３０が仮想壁面１’を越えた時点で図２８に示した船の絵画Ｐ２１から図２９Ｂに示す操舵室の画像Ｐ２２に表示を切り換えることができる。
【０１３６】
このように、本実施形態としての仮想画像立体合成装置１００によれば、上述の位置認識装置１０及び位置認識方法が応用されるので、壁面１の特定位置の光源ブロックＢＬｉ及びその光源ブロックＢＬｉから離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【０１３７】
従って、壁面１の特定位置の光源ブロックＢＬｉから離れた任意の位置に第１の基準面を設定し、又は、その光源ブロックＢＬｉに第２の基準面を設定することができるので、その第１の基準面を取り込んだ仮想壁面１’上で仮想体の画像を合成するような仮想画像立体合成処理を行うこと、及び、その第２の基準面を取り込んだ壁面１上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【０１３８】
これにより、実際の壁面１には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの実物の絵画などが存在しない場合であっても、仮想壁面１’には複数の絵画が出現し、しかも、その絵画の１つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを再現性よく構築することができる。
【０１３９】
また、本例のバーチャル美術館では、仮想空間上で、図２８に示した肖像画Ｐ１１、船の絵画Ｐ２１及び山の絵画Ｐ３１の３枚の画像のうち、観察者３０が注視した１枚の画像に通常のＣＣＤ撮像装置２５の焦点を合わせ込むとができるので、その画像をズームアップして表示することができる。従って、このバーチャル美術館では実空間の壁面１に８個の光源ブロックＢＬｉを設け、その映像ソフトをＣＤ−ＲＯＭなどから供給すればよく、観察者３０が注視した画像を忠実に画像表示することができる。
【０１４０】
更に、この例では、観察者３０が注視した特定の発光ダイオードＬＥＤｉに流し撮りＣＣＤ装置２３の焦点を精度良く合わせ込むことができる。従って、ベストフォーカスで４つの発光ダイオードＬＥＤ１〜ＬＥＤ４を所定の撮像方向に流すように撮像することができる。これと共に、その点滅パターンの輝度信号を画像処理装置３で最適に画像処理することができるので、８個の光源ブロックＢＬ１〜ＢＬ８による第１及び第２の基準面を精度良く認識させることができる。
【０１４１】
しかも、観察者３０の属する実空間上の壁面１に関して第１及び第２の基準面を簡易に、しかも、少ない計算量で認識することができる。従って、画像処理部４４における演算負担を従来方式に比べて軽減できると共に、これらのバーチャル美術館などの仮想画像立体合成装置のコストダウンを図ることができる。
【０１４２】
この実施形態では流し撮りＣＣＤ２３に関してインターライン転送方式の二次元撮像デバイスを使用する場合について説明したが、これに限られることはなく、フレーム転送方式の二次元撮像デバイスを使用する場合であっても同様な効果が得られる。
【０１４３】
（３）第２の仮想画像立体合成装置
図３０は本発明に係る位置認識装置及び位置認識方法を応用した第２の実施形態としての仮想画像立体合成装置２００の構成例を示す斜視図である。
この実施形態では、壁面１に取付けられる被認識マークＭｉが光源ブロックＢＬｉから二次元バーコードＢＣｉ（ｉ＝１〜８）に置き換わったものであり、その内の任意の１つに目標が設定され、その目標に撮像系を近づけた場合において、その目標となされた二次元バーコードＢＣｉと撮像系との距離情報を求める演算手段を設け、壁面１の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させ、壁面１の特定位置及びその特定位置から離れた任意の位置に各々基準面を設定し、その各々の基準面を取り込んだ仮想空間上で仮想体の画像を合成できるようにしたものである。
【０１４４】
図３０に示す仮想画像立体合成装置２００は、第１の実施形態と同様にして観察者３０の属する外界像に、人物や風景などの静止画像（２Ｄ）又はＴＶ番組のキャラクタ画像（３Ｄ）などの仮想体画像を立体的に合成表示する装置である。
【０１４５】
この仮想画像立体合成装置２００は壁面１の所望位置に取付けられた複数の被認識マークＭｉとしての基準面設定用の８個の二次元バーコードＢＣｉ（ｉ＝１〜８）と、観察者３０の頭部に装着される合成手段としての特殊グラストロン２０と、この特殊グラストロン２０における撮像画像及び表示画像の入出力を制御する画像処理装置３を備えて成るものである。
【０１４６】
この特殊グラストロン２０の本体部２１には第１の実施形態と同様にしてベルト２２が設けられ、眼鏡をかけるように本体部２１が観察者３０の顔面に装着されると共に、その観察者３０の頭部外周部に沿ってベルト２２が固定される。この例で特殊グラストロン２０は、表示手段２４と、領域抽出用の撮像手段としての通常のＣＣＤ撮像装置２５とを有しており、そのＣＣＤ撮像装置２５により撮像（認識）された仮想空間の基準面上に仮想体の画像を表示手段２４によって合成表示するようになされる。
【０１４７】
この例では、実空間上の壁面１の基準面の属する位置に、例えば、光源ブロックＢＬ１を中心に仮想体として肖像画Ｐ１１が、光源ブロックＢＬ２を中心に船の絵画（図示せず）Ｐ２１が、光源ブロックＢＬ３を中心に山の絵画（図示せず）Ｐ３１などがあたかも存在するようになされる。その際に通常のＣＣＤ撮像装置２５によって二次元バーコードＢＣｉが撮像される。また、上述の壁面１に取付けられた８個の二次元バーコードＢＣ１〜ＢＣ８と、通常のＣＣＤ撮像装置２５とにより位置認識手段５０が構成され、壁面１の特定位置及びその特定位置から離れた任意の位置で基準面を認識（設定）するようになされる。この位置認識手段５０には本発明に係る位置認識装置１０及び位置認識方法が応用される。
【０１４８】
この例では壁面１に取付けられた８個の二次元バーコードＢＣ１〜ＢＣ８が通常のＣＣＤ撮像装置２５によって撮像されて被注視領域が画定されると共に、観察者３０によって８個の二次元バーコードＢＣ１〜ＢＣ８の内の任意の１つに目標が設定されたときに、その被注視領域内で目標となされた二次元バーコードＢＣｉがＣＣＤ撮像装置２５によって撮像される。
【０１４９】
この特殊グラストロン２０には演算手段としての画像処理装置３が接続され、及び通常のＣＣＤ撮像装置２５により撮像された二次元バーコードＢＣｉによる輝度信号を画像処理してその二次元バーコードＢＣｉの位置が求められ、その位置情報に基づいて二次元バーコードＢＣｉにおける第１及び第２の基準面などを設定するための画像処理がなされる。
【０１５０】
この例で、図３１に示す基準面設定用の二次元バーコードＢＣ１〜ＢＣ８は静止物体として比較的に平坦な壁面１に取付けられる。壁面１の大きさについては第１の実施形態で述べた通りであり、８個の二次元バーコードＢＣｉが予め定められた間隔で図３１に示す位置に格子状に配されている。二次元バーコードＢＣｉの水平方向の間隔（ピッチ：Ｐｈ）は１ｍ程度であり、その垂直方向の間隔（ピッチ：Ｐｖ）は１．５ｍ程度である。この８個の二次元バーコードＢＣ１〜ＢＣ８の各々の仮想空間上で第１の実施形態と同様にして肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの画像が合成表示される。これらの肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・の映像や、これらの下位階層の映像は画像処理系のメモリなどに予め格納されているものを使用する。
【０１５１】
図３２は第２の実施形態としての仮想画像立体合成装置２００で使用する基準面設定用の二次元バーコードＢＣｉの構成例を示す図である。各々の二次元バーコードＢＣｉは、一辺が５ｃｍ程度であり、少なくとも、図３２に示す白地に黒で印刷されたｎ行×ｎ列（この例では、ｎ＝７）の白黒マトリクスと、その白黒マトリクスと同じ太さの黒枠部５１から成る。この例では黒枠部５１で囲まれた５×５画素がコード領域部５２であり、この２５画素のうち、図３２に示す１２画素が黒で塗りつぶされている。この二次元バーコードＢＣｉが基準面として使用されるものである。
【０１５２】
この例でも、基準面設定用の各々の二次元バーコードＢＣｉの各々の四隅の点の位置情報（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）及び、４つの点間の距離情報Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が規定されている。これらの位置情報及び距離情報は壁面１の認識の際に使用するために、ブロック識別情報と共に予め画像処理装置３内のＲＡＭなどに登録されている。
【０１５３】
この例では第１の実施形態と同様にして各々の二次元バーコードＢＣｉを識別するために所定のデータフォーマットが準備されている（図６参照）。そして、一方のデータ領域には各二次元バーコードＢＣｉを識別するために、各々の二次元バーコードＢＣｉ毎に割り当てられたブロックＮｏ識別コード（コード領域部５２のデコード値）「１、２・・・８」などが書き込まれ、他のデータ領域には各二次元バーコードＢＣｉの四隅の４点の位置情報及び距離情報Ｌｘ、Ｌｙが書き込まれる。このブロックＮｏ識別コード及び二次元バーコードＢＣｉの四隅の点の位置情報及び距離情報Ｌｘ、Ｌｙを総称してこの例でもブロック識別情報という。
【０１５４】
また、二次元バーコードＢＣｉ間の配置距離情報は二次元バーコードＢＣｉの水平方向の間隔（ピッチ：Ｐｈ）及びその垂直方向の間隔（ピッチ：Ｐｖ）から光源ブロックＢＬｉと同様にして容易に得られる。上述したブロック識別情報及び二次元バーコードＢＣｉ間の配置距離情報によって配置情報が構成される。これらの配置情報は壁面１の認識及び第１及び第２の基準面の設定の際に使用するために、予め画像処理装置内のＲＡＭ（情報が随時書き込み読み出し可能なメモリ）４７などに登録される。
【０１５５】
図３３に示す特殊グラストロン２０は非透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５と、第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７と、図示しない注視点検出用の撮像手段（第２の撮像系、以下、注視点検出カメラ４という）とを有している。
【０１５６】
つまり、観察者３０の眉間に相当する位置には、通常のＣＣＤ撮像装置２５が配置され、観察者３０の属する外界像が撮像されると共に、二次元バーコードＢＣ１〜ＢＣ８が撮像される。従って、観察者３０が基準面設定用の二次元バーコードＢＣ１〜ＢＣ８に目を向けると、その基準面の方向にＣＣＤ撮像装置２５が向くようになる。
【０１５７】
この例では、ＣＣＤ撮像装置２５に自動ズーム機構が設けられ、８個の二次元バーコードＢＣ１〜ＢＣ８の中の任意の二次元バーコードＢＣｉを注視すると、画像処理装置３によって自動的にその二次元バーコードＢＣｉにズームさせることができる。この自動ズーム機構に関しては、第１の実施形態で説明した通りであるのその説明を省略する。
【０１５８】
そして、特殊グラストロン２０内の観察者３０の右目に相対する位置にはＬＣＤ２６が取付けられ、例えば、通常のＣＣＤ撮像装置２５により撮影した観察者３０の二次元バーコードＢＣ１〜ＢＣ８と、予め準備された肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像とを合成したステレオ画像の一方が表示される。また、その観察者３０の左目に相対する位置にはＬＣＤ２７が取付けられ、上述の二次元バーコードＢＣ１〜ＢＣ８と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像とを合成したステレオ画像の他方が表示される。
【０１５９】
続いて、仮想画像立体合成装置２００の回路構成例について説明する。図３４に示す仮想画像立体合成装置２００は大きく分けて２つの回路ブロックから成る。第１の回路ブロックは特殊グラストロン２０であり、上述した通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び左右のフィルムＣＣＤ４Ｒ、４Ｌ（注視点検出用のカメラ４）を有している。
【０１６０】
第２の回路ブロックは画像処理装置３であり、内部バス４１を有している。内部バス４１にはインタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８が接続されている。通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び注視点検出用のカメラ４はインタフェース４２を介して内部バス４１に接続される。
【０１６１】
このＥ2ＰＲＯＭ４８には、観察者３０の属する外界像に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像を立体的に合成するアルゴリズムが格納されている。例えば、Ｅ2ＰＲＯＭ４８には、観察者３０の属する実空間上の壁面１で任意に設定された二次元バーコードＢＣｉに基づく基準面を撮像して仮想空間上にその基準面を表示すると共に、その仮想空間上に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像を重ね合わせて合成するアルゴリズムが格納される。
【０１６２】
従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間上の壁面１の二次元バーコードＢＣｉと撮像系との間の距離情報や、その位置で基準面を認識することができる。これにより、実空間上の壁面１の二次元バーコードＢＣｉの基準面の属する位置に、あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するように仮想画像立体合成処理をすることができるので、第１の実施形態と同様にしてバーチャル美術館などの仮想画像立体合成装置２００を再現性良く構成することができる。
【０１６３】
更に、内部バス４１にはＲＯＭ４６が接続され、この仮想画像立体合成装置２００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムや、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想画像を表示する表示情報が一時記録される。
【０１６４】
例えば、ＲＡＭ４７には、基準面設定用の各々の二次元バーコードＢＣｉの四隅の点の位置情報（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）及び、４つの点間の距離情報Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が記憶されている。その際に、予め定められた配置間隔で８個の二次元バーコードＢＣ１〜ＢＣ８を壁面１に取付ける場合には、その８個の二次元バーコードＢＣ１〜ＢＣ８の配置情報を予めアドレスマップにしてＲＡＭ４７に記憶しておいてもよい。配置距離情報は水平及び垂直方向のピッチＰｈ、Ｐｖから得られる。
【０１６５】
また、内部バス４１には制御手段としてＣＰＵ４５が接続され、インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８の入出力の制御や、ＣＣＤ撮像装置２５、ＬＣＤ２６、ＬＣＤ２７及び注視点検出用のカメラ４の入出力の制御が行われる。この例では観察者３０が注視した二次元バーコードＢＣｉと特殊グラストロン２０との間の焦点距離ＳｃがＣＰＵ４５によって算出される。ここで算出された焦点距離Ｓｃと、フィルムＣＣＤ４Ｒ、４Ｌによるカメラ出力信号Ｓ３とに基づいて、観察者３０が注視した特定の二次元バーコードＢＣｉに対してのピントをより高精度に合わせ込むことができる。
【０１６６】
例えば、ＣＰＵ４５はカメラ出力信号Ｓ３に基づいての焦点距離Ｓｃを調整したり、観察者３０の眼球運動から認識された瞳孔の動きに基づいてその観察者３０が注視した二次元バーコードＢＣｉとＣＣＤ撮像装置２５との間の焦点距離Ｓｃを補正するように動作する。この補正動作については図３５で説明する。その他にＣＰＵ４５はカメラ出力信号Ｓ３に基づいてＬＣＤ２６、ＬＣＤ２７への映像出力を制御するようになされる。例えば、観察者３０が注視した部分の画像を所定の倍率で拡大してＬＣＤ２６、ＬＣＤ２７に表示するような拡大表示制御が行われる。
【０１６７】
これに関連してインタフェース４２には操作部９が設けられ、少なくとも、観察者３０が注視した部分の画像を所定の大きさに戻して表示するような指示信号（リセット信号）Ｓ５がインタフェース４２を介してＣＰＵ４５に指示が与えるようになされている。これは第１の実施形態と同様にして一時拡大した画像を通常の大きさの画像に戻すためである。
【０１６８】
このインタフェース４２には画像処理部４４が接続され、例えば、通常のＣＣＤ撮像装置２５で撮像された基準面設定用の二次元バーコードＢＣｉの画像（図３２参照）が、ＣＰＵ４５の制御命令と共にインタフェース４２を介して、画像処理部４４に取り込まれ、そこで所定の画像処理がなされ、再び、インタフェース４２を介して特殊グラストロン２０内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【０１６９】
また、インタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、ＣＣＤ撮像装置２５から入力した二次元バーコードＢＣｉに係る画像データを獲得する所定のキャプチャ処理がなされる。画像キャプチャ部４３には内部バス４１を介して演算手段としての画像処理部４４が接続され、所定の画像処理が施された画像データに関して、観察者３０の前に属する壁面１で基準面が求められる。
【０１７０】
例えば、画像処理部４４では拡大撮像される二次元バーコードＢＣｉの画像データに対して前処理が施される。この処理では、まず、ＣＣＤ撮像装置２５による取得画像が適当な閾値で２値化される。バーコード部分は白地に黒で印刷されているので、固定閾値によって、かなり安定的に背景画像とコード領域とを分離することができる。次に、黒ピクセルの連結領域毎にラベル付けが施される。
【０１７１】
この二次元バーコードＢＣｉの黒枠部５１はラベル付けされた連結領域のいずれかに含まれることとなる。従って、連結領域の外接四角形の大きさと縦横比を考慮して、コード領域部５２が含まれている可能性の低い背景画像（領域）は除去するようになされる。
【０１７２】
その後、前処理の結果得られた連結領域の各要素に対してバーコード枠の当てはめを行う。例えば、外接四角形の各辺から内側に向かって、黒領域を探索し、コー黒枠部５１の点列を得る。この点列に対して最小二乗法で線分を当てはめる。そして、当該二次元バーコードＢＣｉに与えられたコード領域部５２を認識する。
【０１７３】
上述の基準面は黒枠部５１の４頂点を正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施形態で説明した（１）式と同様な関係がある。
【０１７４】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０１７５】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶ面が実空間上の基準面となる。なお、画面上の黒枠部５１はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。従って、図３２に示す仮想空間上の二次元バーコードＢＣｉの四隅の位置座標から正立方体を作成することができるので、その正立方体に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想画像などを合成することができる。
【０１７６】
続いて、仮想画像立体合成装置２００の位置認識手段５０の焦点補正時の動作例について説明をする。図３５に示す通常のＣＣＤ撮像装置２５には図示しないインタフェース４２を介して画像処理部４４が接続され、基準面設定用の二次元バーコードＢＣｉの画像が取り込まれ、そこで所定の画像処理がなされる。
【０１７７】
また、図３５に示す二次元バーコードＢＣｉによる基準面を注視する観察者３０の眼球運動が注視点検出カメラ４によって撮像され、その観察者３０の注視点ｐが検出される。この注視点検出カメラ４には図示しないインタフェース４２を介して制御手段としてのＣＰＵ４５が接続され、この注視点検出カメラ４から得られたカメラ出力信号Ｓ３に基づいての焦点距離が調整される。例えば、ＣＰＵ４５は、ＣＣＤ撮像装置２５にズーム制御信号Ｓ０を出力して、観察者３０の眼球運動から認識された瞳孔の動きに基づく二次元バーコードＢＣｉとＣＣＤ撮像装置２５との間の焦点距離を補正するようになされる。
【０１７８】
ここで、観察者３０の眼球表面から注視点ｐに至る離隔距離をＳｅとし、ＣＣＤ撮像装置２５のレンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察者３０の眼球表面とのレンズ表面との間のオフセット距離をＳoffとすると、その注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ＣＰＵ４５がその焦点距離Ｓｃを長くするようにＣＣＤ撮像装置２５の光学系を調整する。反対に、注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合には、ＣＰＵ４５はその焦点距離Ｓｃを短くするようにＣＣＤ撮像装置２５の光学系を調整するようになされる。
【０１７９】
次に、本発明の位置認識方法に関して仮想画像立体合成装置２００の動作を説明する。図３６は仮想画像立体合成装置２００の動作例を示すメインルーチンのフローチャートである。図３７は仮想画像立体合成装置２００を応用したバーチャル美術館の構成例を示すイメージ図である。なお、仮想画像立体合成装置２００の動作説明に当たって、第１の実施形態で説明した図２４〜図２７のサブルーチンを使用することにする。
【０１８０】
この例では、ほぼ平坦な壁面１の所望位置に基準面設定用の８個の二次元バーコードＢＣｉ（ｉ＝１〜８）を予め定められた配置ピッチ（間隔）で配置し、その８個の二次元バーコードＢＣｉを撮像して画像処理系に認識させた後に、第１の基準面上で仮想画像の合成処理をし、その後、８個の二次元バーコードＢＣｉの中の１つに目標を設定してその目標に撮像系を近づけ、上述の第１の基準面を越えたときに、その二次元バーコードＢＣｉを拡大して撮像し、この拡大撮像に基づいて第２の基準面上で仮想画像の合成処理をする場合を想定する。
【０１８１】
この位置認識原理を応用して８個の二次元バーコードＢＣ１〜ＢＣ８の各々の仮想空間上で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像を表示する。図３７ではその第１の基準面を含む仮想空間上に、二次元バーコードＢＣ１を中心に肖像画Ｐ１１が、二次元バーコードＢＣ２を中心に船の絵画Ｐ２１が、二次元バーコードＢＣ３を中心に山の絵画Ｐ３１があたかも存在するようになされる。
【０１８２】
その後、この３枚のうちの１枚の映像に観察者３０が目標を設定して壁面方向に近づくと、第１の基準面を越えた時点でその絵画映像が下位階層の映像に切り換えて特殊グラストロン２０に表示するような場合を想定する。もちろん、観察者３０は図３３に示した特殊グラストロン２０を頭部に装着する。
【０１８３】
これらを前提にして、図３６に示すフローチャートのステップＧ１で壁面１に取付けられた二次元バーコードＢＣｉを撮像して被注視領域を画定する。例えば、図２４に示したサブルーチンをコールしてそのフローチャートのステップＣ１で、まず、ＣＣＤ撮像装置２５が最大望遠状態になされる。ＣＣＤ撮像装置２５では各二次元バーコードＢＣ１〜ＢＣ８の白黒のコード領域部５２まで識別することができず、画像処理系では８個の二次元バーコードＢＣ１〜ＢＣ８が予め定めらた位置に配置されていると認識される。従って、二次元バーコードＢＣ１〜ＢＣ８が壁面１に存在していることを画像処理系によって認識させることができる。
【０１８４】
つまり、ステップＣ２に移行して、その壁面１に配置された８個の二次元バーコードＢＣ１〜ＢＣ８が全部、ＣＣＤ撮像装置２５の撮像範囲に収まったか否かが画像処理系で判別される。この際の判別ではパターン認識などを利用して行ってもよい。その８個の二次元バーコードＢＣ１〜ＢＣ８が撮像範囲に収まらない場合には、ステップＣ３に移行してＣＣＤ撮像装置２５の焦点調整機構がパーン（螺旋回転）された後に、ステップＣ４に移行して８個の二次元バーコードＢＣ１〜ＢＣ８が画像処理系で認識処理される。
【０１８５】
この際に、画像処理装置３では、ＲＡＭ４７から読み出された８個の二次元バーコードＢＣ１〜ＢＣ８のコード認識情報や、配置情報を参照しながら、ＣＣＤ撮像装置２５で撮像された実際の８個の二次元バーコードＢＣ１〜ＢＣ８の配置情報が演算される。その後、ステップＣ２に戻って、その壁面１に配置された８個の二次元バーコードＢＣ１〜ＢＣ８が全部撮像範囲に収まったか否かが再度、画像処理系で判別される。その後、図３６に示すメインルーチンのステップＧ１に戻り、ステップＧ２に移行して、画像処理装置３では、ＲＡＭ４７から読み出された８個の二次元バーコードＢＣ１〜ＢＣ８の配置距離情報を参照しながら、通常のＣＣＤ撮像装置２５で撮像された実際の８個の二次元バーコードＢＣ１〜ＢＣ８の位置情報が演算される。
【０１８６】
その後、ステップＧ３では第１の基準面が認識され、特殊グラストロン２０の表示手段２４には仮想壁面１’が表示される。そして、ステップＧ４に移行して仮想壁面１’に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像が合成される。このとき、観察者３０が装着した特殊グラストロン２０では、ＬＣＤ２６により実空間の外界像である壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレオ画像の一方が観察者３０の右の眼球に導くようになされる。ＬＣＤ２７により、実空間の壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレオ画像の他方が観察者３０の左の眼球に導くようになされる。
【０１８７】
従って、実空間上の壁面１には、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出現していない（図４参照）のに、図３７に示す仮想壁面１’には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などを出現させることができる。これにより、観察者３０の属する実空間上の背景画像と、仮想空間上に出現した肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像が頭の中で合成されるので、実空間上の壁面１の属する二次元バーコードＢＣｉの位置に、あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するようにできる。
【０１８８】
この一連の撮像処理及び画像処理と並行して、ステップＧ１２では観察者３０の眼球運動が撮像されると共に、ステップＧ１３で少なくとも、ＣＣＤ撮像装置２５の焦点距離の補正がなされる。もちろん、通常のＣＣＤ撮像装置２５の焦点距離を補正するようにしてもよい。例えば、図２５に示したサブルーチンをコールしてそのフローチャートのステップＤ１で、観察者３０の注視点ｐが図１１Ａに示した歯抜けのフィルムＣＣＤ４Ｒ、４Ｌなどの注視点検出用のカメラ４で検出される。
【０１８９】
その後、ステップＤ２で観察者３０の眼球表面から注視点ｐに至る離隔距離Ｓｅと、その観察者３０が注視した二次元バーコードＢＣｉとＣＣＤ撮像装置２５との間の焦点距離Ｓｃ＋ＳoffとがＣＰＵ４５よって比較される。ここで、注視点ｐに至る離隔距離Ｓｅとの焦点距離Ｓｃ＋Ｓoffとが一致している場合には、光学系の調整は不要なので、ステップＤ８に移行して、観察者３０の眼球運動の監視を継続する。この注視点ｐに至る離隔距離Ｓｅとの焦点距離Ｓｃ＋Ｓoffとが不一致の場合には、ステップＤ３に移行する。
【０１９０】
このステップＤ３では、注視点ｐに至る離隔距離Ｓｅがの焦点距離Ｓｃ＋Ｓoffよりも多い（Ａ）か、少ない（Ｂ）かが判定される。例えば、注視点ｐに至る離隔距離ＳｅがＣＣＤ撮像装置２５の焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ステップＤ４に移行してＣＰＵ４５によってその焦点距離Ｓｃを増加するようにＣＣＤ撮像装置２５の絞りやレンズなどの光学系が調整される。
【０１９１】
この調整結果で、ステップＤ５で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ステップＤ８に移行し、一致しない場合はステップＤ４に戻って調整を継続する。反対に、観察者３０の眼球表面から注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合には、ステップＤ６に移行してＣＰＵ４５により、その焦点距離Ｓｃを減少するようにＣＣＤ撮像装置２５の光学系が調整される。その調整結果で、ステップＤ７で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ステップＤ８に移行し、一致しない場合はステップＤ６に戻って調整を継続する。これにより、観察者３０が注視した二次元バーコードＢＣｉとＣＣＤ撮像装置２５の光学系との間の焦点距離Ｓｃ＋Ｓoffを自動補正することができる。
【０１９２】
そして、メインルーチンのステップＧ５で８個の二次元バーコードＢＣ１〜ＢＣ８のうちどの二次元バーコードＢＣｉに目標が設定されたかが、図２５のサブルーチンのステップＤ１から観察者３０の注視点ｐの情報に基づいて検出される。この際に、いずれかの二次元バーコードＢＣｉに注視された場合にはステップＧ６に移行する。反対に、いずれの二次元バーコードＢＣｉも注視されない場合にはステップＧ１４に移行する。
【０１９３】
従って、いずれかの二次元バーコードＢＣｉに目標が設定されたときは、その目標に向かって観察者３０が壁面１の方向へ近づいて行く間中、ステップＧ６で撮像系と目標との間の距離情報Ｓｘが算出される。この際の距離情報Ｓｘに関しては、（４）式により算出される。もちろん、第１の基準面には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像が表示されている。
【０１９４】
そして、ステップＧ７で観察者３０が仮想壁面１’に到達したか否かが検出される。観察者３０が仮想壁面１’に到達していない場合にはステップＧ６に戻って撮像系と目標との間の距離情報Ｓｘの算出が継続される。ここで、観察者３０が図２２Ａに示した仮想壁面１’の直前位置ＳＰ３に立ったような場合には距離情報Ｓｘ＝Ｓ０＝Ｓ３が画像処理装置３によって検出される。この位置は肖像画Ｐ１１から人体内部構造の画像Ｐ１２に表示を切り替える位置である。従って、一歩でも仮想壁面１’内へ踏み込むと、特殊グラストロン２０の表示手段２４の映像が切り替わるようになされる。
【０１９５】
例えば、ステップＧ８に移行して被注視領域内で目標となされた二次元バーコードＢＣｉを拡大して撮像する。そして、二次元バーコードＢＣ１の白黒のコード領域部５２が全部、ＣＣＤ撮像装置２５の撮像範囲に収まった場合には、例えば、図２６のサブルーチンをコールしてそのフローチャートのステップＥ１で二次元バーコードＢＣ１に白黒のコード領域部５２が存在するか否かが検出される。このとき、観察者３０が注目した二次元バーコードＢＣｉにステップＥ２でズームアップされる。
【０１９６】
この際に、画像処理装置３では、ＲＡＭ４７から読み出された二次元バーコードＢＣｉの位置情報及び距離情報Ｌｘ，Ｌｙを参照しながら、ＣＣＤ撮像装置２５で撮像された実際の二次元バーコードＢＣｉの位置情報及び距離情報Ｌｘ，Ｌｙが演算される。そして、実際に撮像された二次元バーコードＢＣｉの位置及び距離情報Ｌｘ，ＬｙがＲＡＭ４７による二次元バーコードＢＣｉの位置情報及び距離情報Ｌｘ，Ｌｙにより一層近づくように、ＣＣＤ撮像装置２５の焦点光学系が自動調整される。
【０１９７】
その後、ステップＥ１に戻る。従って、ステップＥ１で観察者３０が注目した二次元バーコードＢＣｉに白黒のコード領域部５２が存在することが認識されると、ステップＥ３に移行して画像処理系では位置認識処理がなされる。この処理については、図３５で説明した通りである。
【０１９８】
そして、ステップＥ４に移行して壁面１が認識できたか否かが判別される。この壁面１が認識できた場合には、この位置認識処理を終了して図３６のメインルーチンのステップＧ８にリターンする。この壁面１が認識できない場合には、ステップＥ５に移行してその二次元バーコードＢＣｉの四隅の４つの点間の距離情報Ｌｘ、Ｌｙが、図３４に示したＲＡＭ４７から読み出された距離情報（基準値）Ｌｘ、Ｌｙよりも小さいかが検出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが小さい場合には、ステップＥ６に移行してズームアップされる。その後、ステップＥ３に戻って位置認識処理が行われる。
【０１９９】
また、ステップＥ５でＲＡＭ４７による二次元バーコードＢＣｉの距離情報Ｌｘ、Ｌｙよりも演算された二次元バーコードＢＣｉの距離情報Ｌｘ、Ｌｙが大きい場合には、ステップＥ７に移行して再度、二次元バーコードＢＣｉの四隅の４つの点間の距離情報Ｌｘ、ＬｙがＲＡＭ４７に格納された距離情報（基準値）Ｌｘ、Ｌｙよりも大きいかが検出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きい場合には、ステップＥ８に移行してズームダウンされる。
【０２００】
そして、ステップＥ８でズームダウンした後、及び、ステップＥ７でＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きくない場合には、ステップＥ３に戻って位置認識処理が行われる。その後、ステップＥ４に移行して壁面１が認識できたか否かが判別される。
【０２０１】
以上の処理を繰り返すことで、観察者３０が注視した特定の二次元バーコードＢＣｉを、再現性よく画像処理系に認識させることができる。従って、画像処理系で壁面１が認識されると、この位置認識処理を終了して図３６のメインルーチンのステップＧ８にリターンする。
【０２０２】
そして、図３６のフローチャートのステップＧ９に移行して拡大撮像された二次元バーコードＢＣｉによる輝度信号を画像処理してその二次元バーコードＢＣｉの位置を求める。例えば、図２７のサブルーチンをコールしてそのフローチャートのステップＦ１でビデオキャプチャ処理を実行する。その後、ステップＦ２で二次元バーコードＢＣｉの白黒のコード領域部５２を認識する。
【０２０３】
具体的には、ＣＣＤ撮像装置２５で撮像された二次元バーコードＢＣｉによる輝度信号が適当な閾値で２値化される。次に、黒ピクセルの連結領域毎にラベル付けが施される。そして、連結領域の外接四角形の大きさと縦横比を考慮して、コード領域部５２が含まれている可能性の低い背景画像（領域）は除去するようになされる。その後、前処理の結果得られた連結領域の各要素に対してバーコード枠の当てはめが行われる。例えば、外接四角形の各辺から内側に向かって、黒領域を探索し、図３２に示した黒枠部５１の点列を得る。その後、当該二次元バーコードＢＣｉに与えられたコード領域部５２を認識する。
【０２０４】
上述の基準面は黒枠部５１の４頂点を正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施形態で説明した（１）式と同様な関係がある。
【０２０５】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０２０６】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶことにより基準面が求められる（壁面の認識原理）。そして、ステップＦ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、ＣＣＤ撮像装置２５と基準面との位置関係が検出される。
【０２０７】
なお、画面上の黒枠部５１はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。その後、図３６のメインルーチンのステップＧ９にリターンし、ステップＧ１０に移行して壁面１の特定位置である二次元バーコードＢＣｉに第２の基準面が設定される。その後、ステップＧ１１に移行して仮想空間の二次元バーコードＢＣｉの第２の基準面上に肖像画Ｐ１１の下位階層である人体内部構造の画像Ｐ１２が特殊グラストロン２０に表示される。
【０２０８】
例えば、特殊グラストロン２０では、ＬＣＤ２６により実空間の外界像である壁面１と、肖像画Ｐ１１の下位階層である人体内部構造の画像Ｐ１２とを合成したステレオ画像の一方が観察者３０の右の眼球に導くようになされる。ＬＣＤ２７により、実空間の壁面１と、その下位階層である人体内部構造の画像Ｐ１２とを合成したステレオ画像の他方が観察者３０の左の眼球に導くようになされる。
【０２０９】
従って、実空間上の壁面１には、人体内部構造の画像Ｐ１２が出現していない（図３１参照）のに、図３７に示す仮想空間の二次元バーコードＢＣｉによる第２の基準面上には図２９Ａに示した人体内部構造の画像Ｐ１２を出現させることができる。これにより、観察者３０の属する実空間上の背景画像と、仮想空間上に出現した人体内部構造の画像Ｐ１２が頭の中で合成されるので、実空間上の壁面１の属する二次元バーコードＢＣｉの位置に、あたかも、人体内部構造の画像Ｐ１２が存在するようにできる。
【０２１０】
この例では、上述の壁面１の認識原理を応用することにより、第１の実施形態と同様にして観察者３０が例えば図３７に示す左側の肖像画Ｐ１１に注視すると、注視点検出用のカメラ４からＣＰＵ４５へ「肖像画に注視している」旨のカメラ出力信号Ｓ３が出力されるので、画像処理装置３では、その肖像画Ｐ１１に目標が設定されたことを判断できる。
【０２１１】
また、右眼表示用のＬＣＤ２６及び左表示用のＬＣＤ２７に人体内部構造の画像Ｐ１２及び肖像画Ｐ１１を拡大して表示した場合には、先に述べた操作部９を操作すると、指示信号Ｓ５がＣＰＵ４５に出力され、観察者３０が注視した肖像画Ｐ１１などを所定の大きさに戻した表示がなされる。そして、図３６に示したフローチャートのステップＧ１４の「終了する」に対して「ＮＯ」でステップＧ１に戻ってその仮想画像合成表示処理を継続し、「ＹES」でその仮想画像合成表示処理を終了する。
【０２１２】
このように、第２の実施形態としての仮想画像立体合成装置２００によれば、上述の位置認識装置１０及び位置認識方法が応用されるので、壁面１の特定位置の二次元バーコードＢＣｉ及びその二次元バーコードＢＣｉから離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【０２１３】
従って、壁面１の特定位置の二次元バーコードＢＣｉから離れた任意の位置に第１の基準面を設定し、又は、その二次元バーコードＢＣｉに第２の基準面を設定することができるので、その第１の基準面を取り込んだ仮想壁面１’上で仮想体の画像を合成するような仮想画像立体合成処理を行うこと、及び、その第２の基準面を取り込んだ壁面１上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【０２１４】
これにより、実際の壁面１には実物の絵画などが存在しない場合であっても、仮想壁面１’には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出現し、しかも、その絵画の１つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを再現性よく構築することができる。
【０２１５】
また、本例のバーチャル美術館では、仮想空間上で、図３７に示した肖像画Ｐ１１、船の絵画Ｐ２１及び山の絵画Ｐ３１の３枚の画像のうち、観察者３０が注視した１枚の画像に通常のＣＣＤ撮像装置２５の焦点を合わせ込むとができるので、その画像をズームアップして表示することができる。従って、このバーチャル美術館では実空間の壁面１に８個の二次元バーコードＢＣｉを設け、その映像ソフトをＣＤ−ＲＯＭなどから供給すればよく、観察者３０が注視した画像を忠実に画像表示することができる。
【０２１６】
この実施形態では、仮想体画像に関して肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの２Ｄポリゴンの場合について説明したが、これに限られることはなく、台座ポリゴンや、光、炎、あるいは、氷の３Ｄポリゴンであっても、更に、鎧のような３Ｄポリゴンであってもよい。
【０２１７】
更に、本実施形態では仮想壁面１’上に８個の絵画を表示する場合ついて説明したが、これに限られることはなく、その仮想壁面１’上で１枚の海の絵画などを表示し、その海の映像（仮想壁面１’）に足を踏み入れたときに、魚や海藻が揺れ動く海中の映像に切り換えるようにしてもよい。
【０２１８】
【発明の効果】
以上説明したように、本発明に係る位置認識装置によれば、流し撮り用の撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段を備え、この演算手段は、流し撮り用の撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるものである。
【０２１９】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置を十分に応用することができる。
【０２２０】
本発明に係る位置認識方法によれば、静止物体の所望位置に取付けられた光源ブロックの任意の一つに目標を設定し、その目標に撮像系を近づけたときに、被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像し、光源の点滅パターンの輝度信号を画像処理して光源の３点の位置を求め、その後、３点の光源の位置を結んで基準面を求めるようにしたものである。
【０２２１】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理などに当該位置認識方法を十分に応用することができる。
【０２２２】
本発明の仮想画像立体合成装置によれば、上述の位置認識装置及び位置認識方法が応用されるので、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【０２２３】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定することができるので、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【０２２４】
この発明は、仮想空間上の基準面などに複数の仮想体を出現させ、しかも、その仮想体の１つに目標を設定してその仮想体内に踏み込んだときに、その仮想体の内部の構造などが表示されるようなバーチャル美術館などの画像処理システムに適用して極めて好適である。
【図面の簡単な説明】
【図１】実施形態としての位置認識装置１０の構成例を示す斜視図である。
【図２】位置認識装置１０による処理例を示すフローチャートである。
【図３】位置認識装置１０及び位置認識方法を応用した第１の実施形態としての仮想画像立体合成装置１００の構成例を示す斜視図である。
【図４】その位置認識手段５の一部を構成する光源ブロックＢＬ１〜ＢＬ８の配置例を示すイメージ図である。
【図５】その基準面設定用の光源ブロックＢＬｉの構成例を示す斜視図である。
【図６】そのブロック認識情報のデータフォーマット例を示す図である。
【図７】その光源ブロックＢＬｉ内の点滅制御回路１３の内部構成例を示す回路図である。
【図８】４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の電圧供給例を示す波形図である。
【図９】仮想画像立体合成装置１００の特殊グラストロン２の構成例を示す正面から見た概念図である。
【図１０】特殊グラストロン２の内部構成例を示す一部破砕の上面から見た概念図である。
【図１１】そのフィルムＣＣＤ４Ｒ、４Ｌの構成例を示す上面から見た概念図である。
【図１２】その特殊グラストロン２の装着時の注視点ｐの位置関係例を示す概念図である。
【図１３】その特殊グラストロン２の流し撮りＣＣＤ装置２３の内部構成例を示す平面図である。
【図１４】その流し撮りＣＣＤ装置２３の光学系の構成例を示す断面図である。
【図１５】仮想画像立体合成装置１００の回路ブロック例を示す図である。
【図１６】その位置認識手段５の構成例を示すブロック図である。
【図１７】その光源ブロックＢＬ１〜ＢＬ８の通常画像例を示すイメージ図である。
【図１８】その拡大撮像時の１つの光源ブロックＢＬ１の通常画像例を示すイメージ図である。
【図１９】その光源ブロックＢＬ１の基準面の位置座標の算出例を示す模式図である。
【図２０】壁面１、仮想壁面１’及び撮像系との位置関係例を示す上面図である。
【図２１】Ａは、観察者３０が仮想壁面１’から遠くに離れた位置関係例、及び、Ｂは観察者３０が仮想壁面に近づいた位置関係例（その１）を示す側面図である。
【図２２】Ａは、観察者３０が仮想壁面１’の前に立った位置関係例及びＢはその仮想壁面１’に踏み込んだ位置関係例（その２）を示す側面図である。
【図２３】仮想画像立体合成装置１００の動作例を示すフローチャート（メインルーチン）である。
【図２４】その通常のＣＣＤ撮像装置２５の最大望遠時の動作例を示すフローチャート（サブルーチン）である。
【図２５】その流し撮りＣＣＤ装置２３の焦点距離の補正例を示すフローチャート（サブルーチン）である。
【図２６】その壁面１の光源ブロックＢＬｉの拡大撮像例を示すフローチャート（サブルーチン）である。
【図２７】その発光ダイオードＬＥＤ１〜ＬＥＤ４の位置算出例を示すフローチャート（サブルーチン）である。
【図２８】その位置認識原理を応用したバーチャル美術館の構成例を示すイメージ図である。
【図２９】Ａは人物の絵画の下位階層としての人体内部構造の画像Ｐ１２の一例、及び、Ｂは船の絵画の下位階層としての操舵室の画像Ｐ２２の一例を示すイメージ図である。
【図３０】位置認識装置１０及び位置認識方法を応用した第２の実施形態としての仮想画像立体合成装置２００の構成例を示す斜視図である。
【図３１】その位置認識手段５０の一部を構成する二次元バーコードＢＣ１〜ＢＣ８の配置例を示すイメージ図である。
【図３２】その１つの二次元バーコードＢＣｉの構成例を示す斜視図である。
【図３３】仮想画像立体合成装置２００の特殊グラストロン２０の構成例を示す正面から見た概念図である。
【図３４】仮想画像立体合成装置２００の回路ブロック例を示す図である。
【図３５】その位置認識手段５０の構成例を示すブロック図である。
【図３６】仮想画像立体合成装置２００の動作例を示すのフローチャートである。
【図３７】その位置認識原理を応用したバーチャル美術館の構成例を示すイメージ図である。
【符号の説明】
１・・・壁面、１’・・・仮想壁面（第１の基準面）、２，２０・・・特殊グラストロン、３・・・画像処理装置、４・・・注視点検出用のカメラ（注視点検出用の撮像手段）、５・・・位置認識手段（位置認識装置）、６・・・撮像手段、７・・・演算手段、８・・・記憶手段、１０・・・位置認識装置、１１・・・プレート部（第２の基準面）、１３・・・点滅制御回路、２３・・・流し撮りＣＣＤ装置（流し撮り用の撮像手段）、２４・・・表示手段、２５・・・ＣＣＤ撮像装置（領域抽出用の撮像手段）、２６・・・右眼表示用のＬＣＤ、２７・・・左眼表示用のＬＣＤ、３２・・・垂直転送部（電荷転送部）、３３・・・水平転送部、ＢＬｉ（ｉ＝１〜８）・・・光源ブロック、ＬＥＤ１〜ＬＥＤ４・・・発光ダイオード（光源）、ＢＣｉ（ｉ＝１〜８）・・・二次元バーコード、１００，２００・・・仮想画像立体合成装置
【発明の属する技術分野】
この発明は、仮想空間上の基準面などに複数の仮想体を出現させ、しかも、その仮想体の１つに目標を設定してその仮想体内に踏み込んだときに、その仮想体の内部の構造などが表示されるような画像処理システムに適用して好適な位置認識装置、位置認識方法及び仮想画像立体合成装置に関するものである。
【０００２】
【従来の技術】
近年、バーチャル・リアリティ（仮想現実感）に基づく表示技術の向上に伴い、複数の画像表示面に跨って仮想現実感を観察者に提供するための仮想画像立体合成装置が出現している。
【０００３】
この種の立体表示装置は、特開平９−２３７３５３号の技術文献に見られる。この技術文献によれば、縦横数ｍ程度の大きさの映写空間が設けられ、各々の面に表示装置が配置され、各々の表示装置から恐竜、怪獣や武器などの仮想体の画像が立体表示される。そして、観察者は液晶シャッター付きの眼鏡をかけ、その映写空間に立つと、あたかも、各々の表示装置で表示された仮想体と同じ場所に居るようなされる。
【０００４】
また、観察者が仮想空間上で手にする武器がカメラによって撮像され、その武器の動きによって仮想体が反応するように画像処理されている。これにより、観察者は数千年前の原始時代にタイムスリップして、恐竜退治などをゲーム感覚で行うことができる。
【０００５】
【発明が解決しようとする課題】
ところで、従来方式の立体表示装置によれば、映写空間が立体形状であることを前提にして、その立体形状の重心が求められ、その重心から映写空間の相対座標が求められる。そして、その相対座標に基づいてカメラと、仮想体の位置関係とを求め、仮想空間上に恐竜などの仮想体を合成表示している。
【０００６】
例えば、映写空間上のある基準面に恐竜などの仮想体を立たせようとしたときに、その仮想体と外接する矩形領域が画像処理によって抽出され、その矩形領域の四隅の画像上の位置が相対座標から求められ、透視投影変換法などから得られたパラメータを用いてカメラと、その仮想体の矩形領域の位置関係とが求められる。
【０００７】
従って、観察者の属する実空間の実際の壁面（以下静止物体ともいう）には実物の絵画などが存在しないのに、その仮想空間の壁面及びその壁面から離れた位置に複数の絵画を出現させ、しかも、その絵画の１つに目標を設定してその目標に撮像系を近づけたときに、その絵画の下位階層の映像を表示されるような仮想画像立体合成装置を構成しようとしたときに、従来方式の装置をそのまま適用すると、画像処理システムが大がかりとなったり、静止物体の基準面の認識のための画像処理が複雑になったり、その時の計算量が多くなったりして、仮想画像立体合成装置などのコストアップにつながるという問題がある。
【０００８】
そこで、本発明は上記の課題に鑑み創作されたものであり、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などにおいて認識できるようにした位置認識装置、位置認識方法及び仮想画像立体合成装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題は、任意の静止物体の特定位置を認識する装置であって、少なくとも、静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する３点以上の光源を有した複数の光源ブロックと、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、この撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを備え、演算手段は、撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるようになされたことを特徴とする位置認識装置によって解決される。
【００１０】
本発明に係る位置認識装置によれば、演算手段は、流し撮り用の撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める。更に演算手段は、流し撮り用の撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるようになされる。
【００１１】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置を十分に応用することができる。
【００１２】
本発明に係る位置認識方法は、任意の静止物体の特定位置を認識する方法であって、少なくとも、静止物体の所望位置に予め点滅パターンが異なるように点滅する３点以上の光源を設けた光源ブロックを作成し、その後、光源ブロックを静止物体の所望位置に３点以上を取付けて当該光源ブロックの位置情報を求める際に、第１段階で静止物体に取付けられた光源ブロックを撮像して被注視領域を画定し、第２段階で光源ブロックの任意の一つに目標を設定して撮像系を近づけたときに、被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像し、光源の点滅パターンの輝度信号を画像処理して光源の３点の位置を求め、その後、３点の光源の位置を結んで基準面を求めることを特徴とするものである。
【００１３】
本発明に係る位置認識方法によれば、３点の光源の位置を結んで求めた基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理などに当該位置認識方法を十分に応用することができる。
【００１４】
本発明に係る仮想画像立体合成装置は、観察者の属する外界像に仮想体の画像を立体的に合成する装置であって、観察者の属する実空間上の任意の静止物体の特定位置及び該特定位置から任意に離れた位置で基準面を認識する位置認識手段と、この位置認識手段により認識された仮想空間の基準面上で仮想体の画像を合成する合成手段とを備え、位置認識手段は、少なくとも、静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する３点以上の光源を有した複数の光源ブロックと、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、この撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを有し、演算手段は、撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるようになされたことを特徴とするものである。
【００１５】
本発明の仮想画像立体合成装置によれば、上述の位置認識装置及び位置認識方法が応用されるので、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【００１６】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定することができるので、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。例えば、予め静止物体の特定位置から任意に離れた位置に第１の基準面が設定されると共に、その静止物体の特定位置に第２の基準面が設定されると、観察者が第１の基準面よりも遠くの位置で被認識マークを注視するときは、予め準備された仮想体の画像が合成手段によって第１の基準面上で合成され、観察者が第１の基準面内に踏み込んだときは、仮想体の画像の下位階層の画像が合成手段によって第２の基準面上で合成される。
【００１７】
これにより、実際の静止物体には実物の絵画などが存在しない場合であっても、仮想空間の静止物体には複数の絵画が出現し、しかも、その絵画の１つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを構築することができる。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施形態としての位置認識装置、位置認識方法及び仮想画像立体合成装置について説明をする。
（１）実施形態としての位置認識装置及び位置認識方法
図１は、本発明に係る実施形態としての位置認識装置１０の構成例を示す斜視図である。
この実施形態では、静止物体の所望位置に被認識マークを取り付け、その被認識マークによる輝度信号を画像処理してその被認識マークの位置情報を求める演算手段を設け、その被認識マークの任意の一つに目標を設定して撮像系を近づけた場合に、その目標とされた被認識マークの位置情報と他の被認識マークの配置情報とに基づいて目標とされた被認識マークと撮像系との間の距離情報を求め、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、精度良く画像処理系などにおいて認識できるようにしたものである。
【００１９】
この発明の位置認識装置１０は任意の静止物体の特定位置を認識する装置である。図１に示す位置認識装置１０では、少なくとも、予め壁面１などの静止物体の所望位置に複数の被認識マークＭｉ（ｉ＝１、２、３、ｊ〜ｎ）が取付けられることを前提とする。この被認識マークＭｉに関しては、予め点滅パターンが異なるように点滅する３点以上の光源を有した複数の光源ブロック、又は、白地に黒で形成されたｎ行×ｎ列の白黒マトリクスを有した二次元マトリクスコードが準備される。
【００２０】
この位置認識装置１０には撮像手段６が設けられ、静止物体の被認識マークＭｉが撮像される。この被認識マークＭｉに関して光源ブロックを適用する場合には、撮像手段６として流し撮り用の撮像装置が使用され、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像される。ここで、流し撮りとは流し撮り撮像装置において、同一フィールド期間中に複数回、光電変換素子（フォトダイオードなど）から信号電荷を読み出す撮影モードをいう。被認識マークＭｉに関して二次元バーコードを適用する場合には、通常のＣＣＤ撮像装置が使用される。
【００２１】
この撮像手段６には演算手段７が接続され、この撮像手段６により撮像された被認識マークＭｉによる輝度信号が画像処理されてその被認識マークＭｉの位置情報が求められる。演算手段７には中央演算装置（ＣＰＵ）などが使用される。この例では、演算手段７には記憶手段８が接続され、被認識マークＭｉの配置情報が記憶される。記憶手段８にはＲＡＭなどが使用される。この配置情報には、被認識マークＭｉの固体番号を識別するためのブロック識別情報及び被認識マークＭｉ間の配置距離情報が含まれている。
【００２２】
そして、この例では被認識マークＭ１〜Ｍｎの任意の一つの被認識マークＭｊに目標を設定して撮像手段６を近づけたときに、演算手段７では、その目標とされた被認識マークＭｊの位置情報と他の被認識マークＭｉの配置情報とに基づいて目標とされた被認識マークＭｉと撮像手段６との間の距離情報Ｓｘを求めるようになされる。その際に、演算手段７によって記憶手段８から他の被認識マークＭｉの配置情報が読み出され、三角法などによって被認識マークＭｊと撮像手段６との間の距離情報Ｓｘが求られる。更に、被認識マークＭｉに関して光源ブロックが適用される場合には、流し撮り用の撮像手段６により撮像された光源の点滅パターンに基づく輝度信号が演算手段７によって画像処理され、その光源の３点の位置が求められる。
【００２３】
続いて、本発明に係る位置認識方法について位置認識装置１０の処理例について説明する。図２は、位置認識装置１０による処理例を示すフローチャートである。この例では、壁面１などの任意の静止物体の特定位置を画像処理系などに認識させることを前提とし、その特定位置から任意に離れた位置に第１の基準面を設定し、その特定位置に第２の基準面を設定する場合を想定する。
【００２４】
これを前提として、まず、図２に示すフローチャートのステップＡ１で、少なくとも、静止物体の所望位置に複数の被認識マークＭｉを取り付ける。例えば、被認識マークＭｉに関して、予め点滅パターンが異なるように点滅する３点以上の光源を設けた光源ブロックを作成する。そして、光源ブロックを静止物体の所望位置に３点以上を取付ける。もちろん、白地に黒で形成されたｎ行×ｎ列の白黒マトリクスを有した二次元マトリクスコードを作成し、その二次元バーコードを静止物体の所望位置に３点以上を取付けてもよい。
【００２５】
その後、ステップＡ２（第１段階）で静止物体の被認識マークＭｉを撮像系によって撮像する。ステップＡ２では静止物体に取付けられた全ての光源ブロックを撮像する位置に撮像系を固定して被注視領域を画定する。そして、ステップＡ３で被認識マークＭｉによる輝度信号を画像処理してその被認識マークＭｉの全ての位置情報を取得する。この被注視領域内の被認識マークＭｉの位置情報からステップＡ４で第１の基準面が画像処理系で認識される。第１の基準面は静止物体の特定位置から任意に離れた位置に設定される。
【００２６】
その後、ステップＡ５で被認識マークＭｉの任意の一つに目標を設定する。そして、ステップＡ６（第２段階）でその被認識マークＭｉに撮像系を徐々に近づけて行き、その撮像系がその目標を認識できたかを判断する。その際の判断はその被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像したときに、その光源ブロック内の光源の点滅パターンが認識できたか否かを検出することにより行う。
【００２７】
上述のステップＡ６で撮像系が目標とする被認識マークＭｊに近づいていない場合には、ステップＡ７に移行して撮像系を被認識マークＭｊに近づけて行く。ステップＡ６で撮像系が目標とする被認識マークＭｊに近づいた場合には、目標とされた光源ブロック内の光源の点滅パターンが認識できることから、ステップＡ８では演算手段７によってその光源ブロック内の光源の点滅パターンの輝度信号を画像処理して光源の３点の位置が求められ、その後、３点の光源の位置を結んで第２の基準面が求められる。
【００２８】
この撮像系が被認識マークＭｊに近づいて行く間中、ステップＡ９でその目標とされた被認識マークＭｊの位置情報と他の被認識マークＭｉの配置情報とに基づいて目標とされた被認識マークＭｊと撮像系との間の距離情報Ｓｘが演算手段７によって求められる。従って、この目標とされた光源ブロック内の光源の点滅パターンが認識できた場合には仮想空間の第２の基準面上で仮想体の画像を合成するような処理を行うことができ、その光源の点滅パターンを認識できない場合には第１の基準面上で仮想体の画像を合成するような処理を行うことができる。
【００２９】
このように、本実施形態に係る位置認識装置及び位置認識方法によれば、静止物体の所望位置に取付けられた被認識マークＭｉの任意の一つに目標を設定して撮像手段６が近づけられたときに、その撮像手段６により撮像された被認識マークＭｉによる輝度信号が演算手段７によって画像処理され、目標とされた被認識マークＭｉの位置情報と他の被認識マークＭｉの配置情報とに基づいて目標とされた被認識マークＭｉと撮像手段６との間の距離情報Ｓｘが求められる。
【００３０】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置から離れた任意の位置に第１の基準面を設定し、その特定位置に第２の基準面を設定して、その第１又は第２の基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置１０を十分に応用することができる。
【００３１】
（２）実施形態としての仮想画像立体合成装置
図３は本発明に係る位置認識装置及び位置認識方法を応用した第１の実施形態としての仮想画像立体合成装置１００の構成例を示す斜視図である。
この実施形態では、上述した位置認識装置及び位置認識方法を応用して、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させ、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成できるようにしたものである。
【００３２】
図３に示す仮想画像立体合成装置１００は、観察者の属する外界像に、人物や風景などの静止画像（２Ｄ）又はＴＶ番組のキャラクタ画像（３Ｄ）などの仮想体画像を立体的に合成表示する装置である。
【００３３】
この仮想画像立体合成装置１００は観察者の属する実空間上の任意の静止物体、例えば、壁面１の所望位置に取付けられた複数の被認識マークＭｉとして基準面設定用の８個の光源ブロックＢＬｉ（ｉ＝１〜８）と、観察者の頭部に装着される合成手段としての特殊グラストロン２と、この特殊グラストロン２における撮像画像及び表示画像の入出力を制御する画像処理装置３を備えて成るものである。
【００３４】
この特殊グラストロン２の本体部２１にはベルト２２が設けられ、眼鏡をかけるように本体部２１が観察者の顔面に装着されると共に、その観察者の頭部外周部に沿ってベルト２２が固定される。この例で特殊グラストロン２は、表示手段２４と、流し撮り用の撮像手段としての流し撮りＣＣＤ装置２３及び領域抽出用の通常のＣＣＤ撮像装置２５とを有しており、その通常のＣＣＤ撮像装置２５により認識される第１の基準面（仮想壁面１’）上で仮想体の画像を合成し、及び、流し撮りＣＣＤ装置２３により流し撮り（認識）された特定位置の第２の基準面（壁面１）上で仮想体の画像を表示手段２４によって合成表示するようになされる。
【００３５】
この例では、仮想空間の第１の基準面を構成する仮想壁面１’で、例えば、光源ブロックＢＬ１を中心に仮想体として肖像画Ｐ１１が、光源ブロックＢＬ２を中心に船の絵画（図示せず）Ｐ２１が、光源ブロックＢＬ３を中心に山の絵画（図示せず）Ｐ３１などがあたかも存在するようになされる。更に、実空間の第２の基準面を構成する壁面１上で、例えば、光源ブロックＢＬ１を中心に肖像画Ｐ１１の下位階層として人体内部構造の画像Ｐ１２が、光源ブロックＢＬ２を中心に船の絵画（図示せず）Ｐ２１の下位階層として操舵室の画像Ｐ２２が、光源ブロックＢＬ３を中心に山の絵画（図示せず）Ｐ３１の下位階層の画像としてその山の地底構造の画像などがあたかも存在するようになされる。第２の基準面を認識する際には、光源ブロックＢＬｉ内の複数の光源が流し撮りＣＣＤ装置２３によって所定の撮像方向に流すように流し撮りされる。
【００３６】
また、上述の壁面１に取付けられた８個の光源ブロックＢＬ１〜ＢＬ８と、流し撮りＣＣＤ装置２３及び通常のＣＣＤ撮像装置２５とにより位置認識手段５が構成され、壁面１の特定位置から任意に離れた位置（離隔距離Ｓ０）で第１の基準面が認識され、その特定位置で第２の基準面を認識するようになされる。この位置認識手段５には本発明に係る位置認識装置１０及び位置認識方法が応用される。
【００３７】
この例では壁面１に取付けられた８個の光源ブロックＢＬ１〜ＢＬ８が通常のＣＣＤ撮像装置２５によって撮像されて被注視領域が画定されると共に、観察者によって８個の光源ブロックＢＬ１〜ＢＬ８の内の任意の１つに目標が設定されてその目標に撮像系を近づけていったときに、流し撮りＣＣＤ装置２３によって被注視領域内で目標とされた光源ブロックＢＬｉが流し撮りされる。
【００３８】
この流し撮りＣＣＤ装置２３として垂直転送部を有するインターライン転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から垂直転送部に信号電荷が読み出される。また、流し撮りＣＣＤ装置２３として電荷蓄積部を有するフレーム転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から電荷蓄積部に信号電荷が読み出される。
【００３９】
この特殊グラストロン２には演算手段として画像処理装置３が接続され、流し撮りＣＣＤ装置２３及び通常のＣＣＤ撮像装置２５により撮像された光源ブロックＢＬｉによる輝度信号が画像処理され、その光源ブロックＢＬｉの位置情報が求められ、その位置情報に基づいて光源ブロックＢＬｉにおける第１及び第２の基準面などが設定される。
【００４０】
例えば、光源ブロックＢＬｉの任意の一つに目標を設定して撮像系を近づけたときに、画像処理装置３は、目標とされた光源ブロックＢＬｊの位置情報と他の光源ブロックＢＬｉの配置情報とに基づいて目標とされた光源ブロックＢＬｉと撮像系との間の距離情報Ｓｘを求めるようになされる。この配置情報には、光源ブロックＢＬｉの固体番号を識別するためのブロック識別情報及び光源ブロックＢＬｉ間の配置距離情報が含まれている。配置情報については図６で説明する。
【００４１】
この例で、図４に示す基準面設定用の光源ブロックＢＬ１〜ＢＬ８は静止物体として比較的に平坦な壁面１に取付けられる。例えば、観察者の属する実空間の間口（幅）が４ｍ×高さが２．５ｍ程度の大きさの壁面１に、８個の光源ブロックＢＬ１〜ＢＬ８が予め定められた間隔で図４に示す位置に格子状に配されている。光源ブロックＢＬｉの水平方向の間隔（ピッチ：Ｐｈ）は１ｍ程度であり、その垂直方向の間隔（ピッチ：Ｐｖ）は１．５ｍ程度である。この８個の光源ブロックＢＬ１〜ＢＬ８の各々の仮想壁面１’上で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの画像が合成表示される。仮想壁面１’は第１の基準面を成すものであり、実空間の壁面１の特定位置から任意に離れた位置（この例では距離Ｓ０）に仮想的に存在するものである。
【００４２】
これらの下位階層の人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像が８個の光源ブロックＢＬ１〜ＢＬ８の各々の壁面（第２の基準面）１上で合成される。これらの肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・、及び、人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像等の映像情報は画像処理系のメモリなどに予め格納されているものを使用する。
【００４３】
各々の光源ブロックＢＬｉは図５に示す正方形状のプレート部１１を有している。プレート部１１は第２の基準面を成すものであり、凹凸の無い平坦状に形成される。プレート部１１の大きさは例えば、その一辺の長さは５ｃｍ程度である。プレート部１１の表面四隅には、３点以上の光源としてそれぞれ発光ダイオード（ＬＥＤ１〜ＬＥＤ４）が取付けられ、人体内部画像、操舵室の画像Ｐ２２及び地底構造の画像Ｐ３２などの仮想映像を飛び出せようとする基準面の４つの点ｐ１〜ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとする第２の基準面に相当する）。
【００４４】
この光源ブロックＢＬｉ内には点滅制御回路１３が設けられ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４がそのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、少なくとも、点滅パターンが異なるように点滅制御される。この点滅制御回路１３については、図７で説明する。この発光ダイオードＬＥＤ１〜ＬＥＤ４の点滅パターンは特殊グラストロン２内の流し撮りＣＣＤ装置２３により、所定の流し撮像方向に流すように撮像される。この流し撮りは４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置から第２の基準面を特定するためである。この第２の基準面の特定については図１８、図１９で説明をする。
【００４５】
この例では、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４は正方形内に位置し、発光ダイオードＬＥＤ１とＬＥＤ３の間（ｘ方向）の距離Ｌｘが（ｘ３−ｘ１）であり、発光ダイオードＬＥＤ２とＬＥＤ４の間の距離もＬｘで、その距離Ｌｘが（ｘ４−ｘ２）である。また、発光ダイオードＬＥＤ１とＬＥＤ２の間（ｙ方向）の距離Ｌｙが（ｙ２−ｙ１）であり、発光ダイオードＬＥＤ２とＬＥＤ４の間の距離もＬｙで、その距離Ｌｘが（ｙ４−ｙ３）である。
【００４６】
ここで、ブロック識別情報について説明する。この例では光源ブロックＢＬｉを識別するために図６に示す所定のデータフォーマットが準備されている。このデータフォーマットは３つの領域に分かれている。第１のデータ領域には各光源ブロックＢＬｉを識別するために、各々の光源ブロックＢＬｉ毎に割り当てられたブロックＮｏ識別コード１Ｘ、２Ｘ・・・８Ｘなどが書き込まれ、第２のデータ領域には各光源ブロックＢＬｉ内の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報が書き込まれ、第３のデータ領域には発光ダイオードＬＥＤｉ、ＬＥＤｊ間の距離情報Ｌｘ、Ｌｙが書き込まれる。このブロックＮｏ識別コード、発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ、Ｌｙを総称してブロック識別情報という。
【００４７】
このデータフォーマットに基づいた８個の光源ブロックＢＬｉのブロック識別情報を画像処理装置３内のＲＡＭに格納するようになされる。光源ブロックＢＬ１を例にとってそのブロック識別情報を説明すると、ブロックＮｏ識別コード１Ｘには４ビットのデータが割り当てられ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が全て「００００」、「００００」、「００００」及び「００００」である。
【００４８】
また、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報には２ビットが割り当てられ、発光ダイオードＬＥＤ１が「００」、ＬＥＤ２が「０１」、ＬＥＤ３が「１０」、及び、ＬＥＤ４が「１１」である。発光ダイオードＬＥＤｉ、ＬＥＤｊ間の距離情報Ｌｘ、Ｌｙについては、Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）及び、Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が書き込まれる。図６では「ＸＸ」で示している。
【００４９】
更に、光源ブロックＢＬｉ間の配置距離情報は光源ブロックＢＬｉの水平方向の間隔（ピッチ：Ｐｈ）及びその垂直方向の間隔（ピッチ：Ｐｖ）から容易に得られる。例えば、光源ブロックＢＬ１の配置位置を原点（Ｘ，Ｙ）＝（０，０）としたときに、光源ブロックＢＬ２の位置座標として（０，−Ｐｖ）、光源ブロックＢＬ３＝（Ｐｈ，０）、光源ブロックＢＬ４＝（Ｐｈ，−Ｐｖ）、光源ブロックＢＬ５＝（２Ｐｈ，０）、光源ブロックＢＬ６＝（２Ｐｈ，−Ｐｖ）、光源ブロックＢＬ７＝（３Ｐｈ，０）、光源ブロックＢＬ８＝（３Ｐｈ，−Ｐｖ）で与えられる。
【００５０】
上述したブロック識別情報及び光源ブロックＢＬｉ間の配置距離情報によって配置情報が構成される。これらの配置情報は壁面１の認識及び第１及び第２の基準面の設定の際に使用するために、予め画像処理装置３内のＲＡＭ（情報が随時書き込み読み出し可能なメモリ）などに登録される。
【００５１】
この例では、図７に示す点滅制御回路１３がＩＣチップ化され、このＩＣチップがプレート部１１内に組込まれ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４に所定の電圧が印加されて点滅制御される。この点滅制御回路１３は例えばクロック発生部６１を有している。クロック発生部６１には例えば、１／２分周回路６２、１／３分周回路６３、１／４分周回路６４が接続されており、所定周波数のクロック信号ＣＬＫ１と、このクロック信号ＣＬＫ１を１／２分周回路６２で１／２分周したクロック信号ＣＬＫ２と、１／３分周回路６３で１／３分周したクロック信号ＣＬＫ３と、１／４分周回路６４で１／４分周したクロック信号ＣＬＫ４とが出力される。
【００５２】
各々のクロック信号ＣＬＫ１〜ＣＬＫ４は安定化用の抵抗Ｒを通して各々の発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４に供給されている。このクロック発生部６１には電源スイッチＳＷを介在して直流電源Ｅが接続され、この電源Ｅには小型の乾電池やボタン電池などが使用される。もちろん、８個の光源ブロックＢＬ１〜ＢＬの点滅制御回路１３を並列に接続して、ＡＣ−ＤＣアダプタから直流電圧を供給するようにしてもよい。
【００５３】
図８は光源ブロックＢＬｉの発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４への電圧供給例を示す波形図である。この例では、図７に示した点滅制御回路１３の電源スイッチＳＷをオンすると、発光ダイオードＬＥＤ１にはクロック信号ＣＬＫ１が供給され、発光ダイオードＬＥＤ２にはクロック信号ＣＬＫ１を１／２分周したクロック信号ＣＬＫ２が供給され、発光ダイオードＬＥＤ３にはクロック信号ＣＬＫ１を１／３分周したクロック信号ＣＬＫ３が供給され、発光ダイオードＬＥＤ４にはクロック信号ＣＬＫ１を１／４分周したクロック信号ＣＬＫ４が供給される。従って、各々の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４の点滅パターンを異なるように点滅制御をすることができる。
【００５４】
図９に示す特殊グラストロン２は非透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２３と、第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７と、図示しない注視点検出用の撮像手段（第２の撮像系、以下、注視点検出カメラ４という）とを有している。
【００５５】
つまり、観察者の眉間に相当する位置には、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置２３とが並べて配置され、前者によって観察者の属する外界像が撮像され、後者によって光源ブロックＢＬ１〜ＢＬ８の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮りされる。従って、観察者が基準面設定用の光源ブロックＢＬ１〜ＢＬ８に目を向けると、その基準面の方向に流し撮りＣＣＤ装置２３が向くようになる。
【００５６】
この例では、流し撮りＣＣＤ装置２３に自動ズーム機構が設けられ、８個の光源ブロックＢＬ１〜ＢＬ８の中の任意の光源ブロックＢＬｉを注視した場合や、その光源ブロックＢＬｉの中で更に任意の発光ダイオードＬＥＤｉを注視すると、画像処理装置３によって自動的にその発光ダイオードＬＥＤｉにズームさせることができる。この自動ズーム機構に関しては、例えば、技術文献である特開平８−１７９１９３号公報の電子機器及びカメラの技術を応用することができる。
【００５７】
そして、特殊グラストロン２内の観察者の右目に相対する位置にはＬＣＤ２６が取付けられ、例えば、通常のＣＣＤ撮像装置２５により撮影した観察者の光源ブロックＢＬ１〜ＢＬ８と、予め準備された肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像とを合成したステレオ画像の一方が表示される。また、その観察者の左目に相対する位置にはＬＣＤ２７が取付けられ、上述の光源ブロックＢＬ１〜ＢＬ８と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像とを合成したステレオ画像の他方が表示される。
【００５８】
この例では、図１０に示す右眼表示用のＬＣＤ２６と、左眼表示用のＬＣＤ２７の表示面内に注視点検出カメラ４としてのフィルム状の電荷結合素子（以下フィルムＣＣＤという）４Ｒ（右）、４Ｌ（左）が配置され、基準面を注視する観察者の眼球運動を撮像してその観察者の注視点ｐが検出される。この例でフィルムＣＣＤ４Ｒ、４Ｌは、観察者の眼球に相対するＬＣＤ２６及びＬＣＤ２７上に分散して配置されている。
【００５９】
このフィルムＣＣＤ４Ｒ、４Ｌでは、例えば、図１１Ａに示す４×６画素のマトリクスの全体画素に対して歯抜け状（斜線部分）に撮像素子（電荷結合素子）４Ａが配置されている。従って、白抜き部分には撮像素子４Ａが配置されておらず、ＬＣＤ２６及びＬＣＤ２７による映像を通すようになされる。注視点検出カメラ４Ｒ、４Ｌは、フィルム上に部分的にシリコン膜を形成して光電変換素子などのＣＣＤを歯抜け状に作成し、このフィルムＣＣＤ４Ｒ、４ＬをＬＣＤ２６及びＬＣＤ２７の前方に張り合わせるなどして形成される。
【００６０】
なお、フィルムＣＣＤ４Ｒ、４Ｌは、サファイヤを基礎材料にして、シリコン膜を部分的に形成することができるので、ＬＣＤ２６及びＬＣＤ２７と歯抜け状のフィルムＣＣＤ４Ｒ、４Ｌとを１チップ化することもできる。ただし、チップの透明性（光透過率）は薄いサングラス程度となる。
【００６１】
このフィルムＣＣＤ４Ｒでは、図１１Ｂに示す観察者の左眼の瞳の動きや、その瞳孔の絞り状態が撮像され、フィルムＣＣＤ４Ｌでは、同図に示す観察者の右眼の瞳の動きや、その瞳孔の絞り状態が撮像される。多少撮像性能は落ちるが、観察者の眼球運動を撮像する分には支障はない。従って、フィルムＣＣＤ４Ｒ、４Ｌから得られたカメラ出力信号Ｓ３に基づいてピントが常に一定になるように流し撮りＣＣＤ装置２３の自動ズーム機構を制御することができる。
【００６２】
この特殊グラストロン２は図１２に示す観察者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが観察者の眼球に導くようになされる。図１２において、特殊グラストロン２を装着した観察者の両目の光軸が重なったところが、注視点ｐである。この注視点ｐを基準にして、観察者の属する背景像のステレオ画像と肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像のステレオ画像とが頭の中で合成される。
【００６３】
ここで、観察者の眼球表面から注視点ｐに至る離隔距離をＳｅとし、流し撮りＣＣＤ装置２３のレンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察者の眼球表面と流し撮りＣＣＤ装置２３のレンズ表面との間のオフセット距離をＳoffとする。
【００６４】
この観察者の眼球映像は、上述したように左右のＬＣＤ２６、２７の前面にフィルムＣＣＤ４Ｒ、４Ｌを設ける場合に限られることはなく、左眼表示用のＬＣＤ２７から背景映像を出力し、右眼表示用のＬＣＤ２６上にフィルムＣＣＤ４Ｒ目を設け、そのＣＣＤ４Ｒによって眼球映像を取得してもよい。この逆の方法でもよい。この例では、観察者の眼球運動から黒目と瞳孔の位置関係及び瞳孔の形状を認識し、その認識情報から注視点ｐの方向と離隔距離Ｓｅとを求め、その離隔距離Ｓｅに基づいて特殊グラストロン２と発光ダイオードＬＥＤｉとの間の焦点距離Ｓｃ＋Ｓoffを補正するようになされる。
【００６５】
続いて、インターライン転送方式の流し撮りＣＣＤ装置２３の内部構成について説明する。図１３に示す流し撮りＣＣＤ装置２３は基板３１を有している。その基板３１上には、１画素を構成する光電変換素子としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜ｍ）がｎ列×ｍ行のマトリクス状に配置されている。
【００６６】
この基板の列方向には電荷転送部としてｍ本の垂直転送部３２が設けられ、フォトダイオードＰＨｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に基づいて垂直方向（流し撮り方向）に転送される。この垂直転送部３２には水平転送部３３が接続され、その信号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転送されるので、出力端子３４には流し撮り信号ＳOUTが出力される。この例では、光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４を流し撮りをするために、少なくとも、同一フィールド期間中に複数回、フォトダイオードＰＨｉｊから垂直転送部３２に信号電荷が読み出される。
【００６７】
また、流し撮りＣＣＤ装置２３は図１４に示す魚眼レンズ３５を有している。魚眼レンズ３５は例えばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼レンズ３５によって観察者の基準面設定用の光源ブロックＢＬ１〜ＢＬ８などを広範囲に撮像できるようになされている。もちろん、通常のレンズでも構わないが、視野が狭くなるので、観察者は光源ブロックＢＬｉに向けてより多く頭部を傾けなければならない。
【００６８】
この例では、魚眼レンズ３５の中央に一番近い部分で発光ダイオードＬＥＤｉの点滅パターンが確認されると、流し撮りＣＣＤ装置２３の自動ズーム機構によりそのピントが常に一定になるように焦点が合わせ込まれる。従って、発光ダイオードＬＥＤの点滅パターンの取得精度を向上させることができる。このピントが合った状態で、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の発光位置が求められ、その位置を結んで第２の基準面が認識される。その際に、観察者の注視する発光ダイオードＬＥＤｉと流し撮りＣＣＤ装置２３との焦点距離Ｓｃが近すぎて、その発光ダイオードＬＥＤによる輝度情報が取得できない場合には、ピントを通常に戻して広域の他の発光ダイオードＬＥＤｉの点滅パターンを認識するようにする。
【００６９】
続いて、仮想画像立体合成装置１００の回路構成について説明する。図１５に示す仮想画像立体合成装置１００は大きく分けて３つの回路ブロックから成る。第１の回路ブロックは基準面設定用の光源ブロックＢＬ１〜ＢＬ８であり、この光源ブロックＢＬ１〜ＢＬ８には点滅制御回路１３が各々設けられ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４に所定の電圧が印加されて点滅制御される。点滅制御回路１３では点滅パターンが異なるように発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４が点滅間隔が制御される（図７、図８参照）。
【００７０】
第２の回路ブロックは特殊グラストロン２であり、上述した流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び左右のフィルムＣＣＤ４Ｒ、４Ｌ（注視点検出用のカメラ４）を有している。
【００７１】
第３の回路ブロックは画像処理装置３であり、内部バス４１を有している。内部バス４１にはインタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ（電気的な書き込み及び消去が可能な読み出し専用メモリ）４８が接続されている。流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び注視点検出用のカメラ４はインタフェース４２を介して内部バス４１に接続される。
【００７２】
この内部バス４１にはＥ2ＰＲＯＭ４８が接続され、観察者の属する外界像に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１、これらの下位階層の人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像などの仮想映像を立体的に合成するアルゴリズムが格納されている。例えば、Ｅ2ＰＲＯＭ４８には、観察者の属する実空間上の壁面１で任意に設定された仮想壁面１’で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像を重ね合わせて合成するアルゴリズムと、その実空間上の壁面１で任意に設定された第２の基準面上で肖像画Ｐ１１の下位階層の人体内部構造の画像Ｐ１２、船の絵画Ｐ２１の下位階層の操舵室の画像Ｐ２２又は山の絵画Ｐ３１の下位階層の地底構造の画像などの仮想映像を重ね合わせて合成するアルゴリズムが格納される。
【００７３】
従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間の壁面１の光源ブロックＢＬｉ上で第１又は第２の基準面を認識することができる。これにより、実空間上の壁面１の光源ブロックＢＬｉの第１の基準面の属する位置に、あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するように仮想画像立体合成処理をすること、及び、その第２の基準面上で、これらの下位階層の人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像などが存在するように仮想画像立体合成処理をすることができるので、バーチャル美術館などの仮想画像立体合成装置１００を再現性良く構成することができる。
【００７４】
更に、内部バス４１にはＲＯＭ４６が接続され、この仮想画像立体合成装置１００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムや、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想画像を表示する表示情報が一時記録される。
【００７５】
例えば、ＲＡＭ４７には、基準面設定用の８個の光源ブロックＢＬ１〜ＢＬ８の各々４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）及び、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４間の距離情報Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が記憶されている。その際に、予め定められた配置間隔で８個の光源ブロックＢＬ１〜ＢＬ８を壁面１に取付ける場合には、その８個の光源ブロックＢＬ１〜ＢＬ８の配置情報を予めアドレスマップにしてＲＡＭ４７に記憶しておいてもよい。
【００７６】
また、内部バス４１には制御手段としてＣＰＵ４５が接続され、インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８の入出力の制御や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６、ＬＣＤ２７及び注視点検出用のカメラ４の入出力の制御が行われる。この例では観察者が注視した発光ダイオードＬＥＤｉと特殊グラストロン２との間の焦点距離ＳｃがＣＰＵ４５によって算出される。ここで算出された焦点距離Ｓｃと、フィルムＣＣＤ４Ｒ、４Ｌによるカメラ出力信号Ｓ３とに基づいて、観察者が注視した特定の発光ダイオードＬＥＤｉに対して流し撮りＣＣＤ装置２３のピントをより高精度に合わせ込むことができる。
【００７７】
例えば、ＣＰＵ４５はカメラ出力信号Ｓ３に基づいて流し撮りＣＣＤ装置２３の焦点距離Ｓｃを調整したり、観察者の眼球運動から認識された瞳孔の動きに基づいてその観察者が注視した発光ダイオードＬＥＤｉと流し撮りＣＣＤ装置２３との間の焦点距離Ｓｃを補正するように動作する。この補正動作については図１６で説明する。その他にＣＰＵ４５はカメラ出力信号Ｓ３に基づいてＬＣＤ２６、ＬＣＤ２７への映像出力を制御するようになされる。例えば、観察者が注視した部分の画像を所定の倍率で拡大してＬＣＤ２６、ＬＣＤ２７に表示するような拡大表示制御が行われる。
【００７８】
これに関連してインタフェース４２には操作部９が設けられ、少なくとも、観察者が注視した部分の画像を所定の大きさに戻して表示するような指示信号（リセット信号）Ｓ５がインタフェース４２を介してＣＰＵ４５に指示が与えるようになされている。一時拡大した画像を通常の大きさの画像に戻すためである。
【００７９】
このインタフェース４２には画像処理部４４が接続され、例えば、流し撮りＣＣＤ装置２３で撮像された基準面設定用の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の画像（図１７参照）が、ＣＰＵ４５の制御命令と共にインタフェース４２を介して、画像処理部４４に取り込まれ、そこで所定の画像処理がなされ、再び、インタフェース４２を介して特殊グラストロン２内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【００８０】
また、インタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、流し撮りＣＣＤ装置２３から入力した点滅パターンの画像データを獲得する所定のキャプチャ処理がなされる。この点滅パターンの画像データは時間経過に対応する輝度の変化として表現されている。画像キャプチャ部４３には演算手段としての画像処理部４４が接続され、所定の画像処理が施された画像データに関して、点滅パターンの同期ずれが補正されたり、観察者の属する基準面が求められる。この基準面の算出については図１７〜図１９で説明する。
【００８１】
続いて、仮想画像立体合成装置１００の位置認識手段５の焦点補正時の動作例について説明をする。図１６に示す流し撮りＣＣＤ装置２３には図示しないインタフェース４２を介して画像処理部４４が接続され、基準面設定用の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の画像が取り込まれ、そこで所定の画像処理がなされる。
【００８２】
また、図１６に示す光源ブロックＢＬｉによる基準面を注視する観察者の眼球運動が注視点検出カメラ４によって撮像され、その観察者の注視点ｐが検出される。この注視点検出カメラ４には図示しないインタフェース４２を介して制御手段としてのＣＰＵ４５が接続され、この注視点検出カメラ４から得られたカメラ出力信号Ｓ３に基づいて流し撮りＣＣＤ装置２３の焦点距離が調整される。
【００８３】
例えば、ＣＰＵ４５は、流し撮りＣＣＤ装置２３にズーム制御信号Ｓ０を出力して、観察者の眼球運動から認識された瞳孔の動きに基づく発光ダイオードＬＥＤｉと流し撮りＣＣＤ装置２３との間の焦点距離を補正するようになされる。
【００８４】
ここで、観察者の眼球表面から注視点ｐに至る離隔距離をＳｅとし、流し撮りＣＣＤ装置２３のレンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察者の眼球表面と流し撮りＣＣＤ装置２３のレンズ表面との間のオフセット距離をＳoffとすると、その注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ＣＰＵ４５がその焦点距離Ｓｃを長くするように流し撮りＣＣＤ装置２３の光学系を調整する。反対に、注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合には、ＣＰＵ４５はその焦点距離Ｓｃを短くするように流し撮りＣＣＤ装置２３の光学系を調整するようになされる。
【００８５】
続いて、画像処理装置３の第２の基準面の設定時の動作例について説明をする。この例では、図１５に示した画像処理装置３では、ＲＡＭ４７から読み出された基準面設定用の光源ブロックＢＬ１〜ＢＬ８の４つの発光ダイオードＬＥＤ１〜４の位置情報及び距離情報Ｌｘ，Ｌｙを参照しながら、流し撮りＣＣＤ装置２３で撮像された実際の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙが演算される。
【００８６】
この実際の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，ＬｙがＲＡＭ４７による発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙにより一層近づくように、流し撮りＣＣＤ装置２３の焦点光学系が自動調節される。これにより、図１９に示す基準面設定用の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の修正後の画像を画像処理部４４に取り込むことができる。修正後の画像は、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置が、４つ輝点ｐ１〜ｐ４の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に近似し、しかも、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４間の距離がＬｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）に近似するようなイメージになされる。
【００８７】
例えば、図１５に示した画像処理部４４では流し撮りＣＣＤ装置２３から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関して、図１９に示すウインドＷにより画定された画像領域内で、４つの流し撮り輝点ｐ１〜ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。その後、その配置パターン上を走査して、少なくとも、４つの輝点ｐ１〜ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められる。
【００８８】
この４つの輝点ｐ１〜ｐ４は壁面１に取付けられた基準面設定用の８個の光源ブロックＢＬ１〜ＢＬ８のうちの１つを注視した際の、光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４である。実空間上の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標は既知であり、その位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）である。
【００８９】
従って、上述の実空間上の光源ブロックＢＬｉの基準面は４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置に射影する変換行列を演算することにより得られる。ここで実空間の光源ブロックＢＬｉの平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には（１）式なる関係がある。
【００９０】
【数１】
但し、ａ１・・・・ａ８は未知の係数でＣＣＤ撮像装置２５などの外部パラメータ（位置と方向）及び焦点距離などの内部パラメータである。これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解くことにより得られる。
【００９２】
【数２】
ここで得られた４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を結ぶことにより、図１９に示した実空間上の光源ブロックＢＬｉの基準面が認識される。
【００９４】
具体的には、図１９に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、画像処理部４４によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる４つの位置が検出され、この４つの位置に対応するＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４が求められる。
【００９５】
また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４として求められる。この４つの輝点間の距離情報はＬｘ＝（Ｘ３−Ｘ１）＝（Ｘ４−Ｘ２）及びＬｙ＝（Ｙ２−Ｙ１）＝（Ｙ４−Ｙ３）として求めることができる。
【００９６】
ここで、実空間上の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標をｗｉ（ｉ＝１〜４）とし、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉとし、その４つの発光ダイオードＬＥＤ１〜４のＬＣＤ画面上での位置座標をＰｉとし、流し撮りＣＣＤ装置２３の回転マトリクスをＲ、その移動ベクトルをＴとすると、（３）式、すなわち、
Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３）
但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）
という関係がある。従って、通常のＣＣＤ撮像装置２５の回転マトリクスＲとその移動ベクトルＴとを演算し、これをパラメータとして実空間と仮想空間との間で座標変換を容易に行うことができるので、仮想空間上の光源ブロックＢＬｉの基準面に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像を合成することができる。
【００９７】
続いて、壁面１、仮想壁面１’及び特殊グラストロン２を装着した観察者との位置関係について説明をする。図２０は、仮想壁面１’と撮像系との位置関係例を示す上面図である。この例では、図２０に示す壁面１の特定位置から距離Ｓ０だけ離れた位置に第１の基準面として仮想壁面１’が設定され、各々の光源ブロックＢＬｉ上に第２の基準面が設定される。
【００９８】
そして、図２０に示す位置Ｓ１に撮像系が存在する場合、すなわち、図２１Ａに示す特殊グラストロン２を装着した観察者３０が壁面１から遠くに離れた位置ＳＰ１に立った場合（Ｓ０＜＜Ｓ１）には、８個の光源ブロックＢＬ１〜ＢＬ８が壁面１に取り付けられていることが特殊グラストロン２の撮像系によって辛うじて認識される。この際に観察者３０は光源ブロックＢＬ１を頂点として壁面１に対して直角を成す方向に立つ。
【００９９】
その後、撮像系の接近目標として光源ブロックＢＬ１を設定する。そして、図２０に示す位置Ｓ２に撮像系が移動した場合、すなわち、図２１Ｂに示す観察者３０が壁面１の方向に近づいて立った場合（Ｓ２＞Ｓ０）には、壁面１に取り付けられた８個の光源ブロックＢＬ１〜ＢＬ８が撮像系によって認識される。もちろん、観察者３０は光源ブロックＢＬ１に向かって真っ直ぐに移動する。この位置はそれ以上壁面側に撮像系を進ませると、８個の光源ブロックＢＬ１〜ＢＬ８の内の右端の２つの光源ブロックＢＬ７、ＢＬ８の画像が撮像系の視野から切れてしまう位置でもある。この位置に撮像系が存在する場合には、８個の光源ブロックＢＬ１〜ＢＬ８の位置はＲＡＭ４７からの配置距離情報を参照することによって認識することができる。
【０１００】
この８個の光源ブロックＢＬ１〜ＢＬ８の位置が画像処理系で認識可能になると、光源ブロックＢＬｉの個々の発光ダイオードの点滅パターンがつぶれて認識できなくとも、特殊グラストロン２によって、予め準備された肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが第１の基準面上に存在するように仮想画像立体合成処理をすることができる。
【０１０１】
ここで、目標とされた光源ブロックＢＬ１と撮像系との間の距離情報Ｓｘは（４）式により求められる。
Ｓｘ＝Ｓｈｘ・tan（９０−θ）・・・・・（４）
【０１０２】
但し、θは撮像系の視野角である。Ｓｈｘは光源ブロックＢＬ１からの壁面１に沿った方向への配置距離である。光源ブロックＢＬ３、ＢＬ４では配置距離がＳｈであり、光源ブロックＢＬ５、ＢＬ６では配置距離が２Ｓｈであり、光源ブロックＢＬ７、ＢＬ８では配置距離が３Ｓｈである。
【０１０３】
更に、図２０に示す位置Ｓ３に撮像系が存在する場合、すなわち、図２２Ａに示す特殊グラストロン２を装着した観察者３０が仮想壁面１’の直前位置ＳＰ３に立った場合（Ｓ０＝Ｓ３）には、上下２個の光源ブロックＢＬ１、ＢＬ２が壁面１に取り付けられていることが撮像系によって認識される。
【０１０４】
この位置はそれ以上仮想壁面１’よりに前に撮像系を進ませると、４個の光源ブロックＢＬ１〜ＢＬ４の内の右端の２つの光源ブロックＢＬ３及びＢＬ４の画像が撮像系の視野から切れてしまう位置でもある。この位置が画像処理系では画像切り替え点として認識される。例えば、肖像画Ｐ１１から人体内部構造の画像Ｐ１２に表示を切り替える位置である。
【０１０５】
つまり、図２０に示す位置Ｓ４に撮像系が移動した場合、すなわち、図２２Ｂに示す観察者３０が仮想壁面１’の中に踏み込んで壁面１の方向に近づいて立った場合（Ｓ４＜Ｓ０）には、すでに壁面１に取り付けられた光源ブロックＢＬ１が流し撮りＣＣＤ装置２３によって認識可能となっているので、光源ブロックＢＬ１による第２の基準面上で肖像画Ｐ１１の下位階層である人体内部構造の画像Ｐ１２を特殊グラストロン２の表示手段２４に表示することができる。
【０１０６】
次に、本発明の位置認識方法に関して仮想画像立体合成装置１００の動作を説明する。図２３はその動作例を示すメインルーチンのフローチャートであり、図２４はその流し撮りＣＣＤ装置２３の焦点距離の補正例を示すサブルーチン、図２５は、その通常のＣＣＤ撮像装置２５の最大望遠時の動作例を示すサブルーチン、図２６はその壁面１の光源ブロックＢＬｉの拡大撮像例を示すサブルーチン、及び、図２７はその発光ダイオードＬＥＤ１〜ＬＥＤ４の位置算出例を示すサブルーチンの各々のフローチャートである。図２８は仮想画像立体合成装置１００を応用したバーチャル美術館の構成例を示すイメージ図である。
【０１０７】
この例では、ほぼ平坦な壁面１の所望位置に基準面設定用の８個の光源ブロックＢＬｉ（ｉ＝１〜８）を予め定められた配置ピッチ（間隔）で配置し、その８個の光源ブロックＢＬｉを撮像して画像処理系に認識させた後に、第１の基準面上で仮想画像の合成処理をし、その後、８個の光源ブロックＢＬｉの中の１つの光源ブロックＢＬｉを目標に設定してその目標に撮像系を近づけたときに、その光源ブロックＢＬｉを拡大して流し撮りし、この流し撮りに基づいて第２の基準面で仮想画像を合成処理する場合を想定する。
【０１０８】
この位置認識原理を応用して、８個の光源ブロックＢＬ１〜ＢＬ８の各々の仮想空間上で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像を表示する。図２８ではその第１の基準面を含む仮想空間上に、光源ブロックＢＬ１を中心に肖像画Ｐ１１が、光源ブロックＢＬ２を中心に船の絵画Ｐ２１が、光源ブロックＢＬ３を中心に山の絵画Ｐ３１があたかも存在するようになされる。その後、この３枚のうちの１枚の映像に観察者３０が目標を設定して壁面方向に近づくと、その絵画映像が下位階層の画像に切り替えられて特殊グラストロン２に表示するような場合を想定する。もちろん、観察者３０は図９に示した特殊グラストロン２を頭部に装着する。
【０１０９】
これを前提にして、図２３に示すフローチャートのステップＢ１で壁面１に取付けられた光源ブロックＢＬｉを撮像して被注視領域を画定する。例えば、図２４のサブルーチンをコールしてそのフローチャートのステップＣ１で、まず、流し撮りＣＣＤ装置２３が最大望遠状態になされる。この最大望遠状態は通常の視野で遠くの物を見た場合である。
【０１１０】
このように遠くから物を見た状態にすると、流し撮りＣＣＤ装置２３では各光源ブロックＢＬ１〜ＢＬ８の発光ダイオードＬＥＤ１〜４の点滅パターンまで識別することができず、画像処理系では各光源ブロックＢＬ１〜ＢＬ８が同期して点滅していると認識される。従って、光源ブロックＢＬ１〜ＢＬ８の存在位置を画像処理系によって認識させることができる。
【０１１１】
つまり、ステップＣ２に移行して、その壁面１に配置された８個の光源ブロックＢＬ１〜ＢＬ８が全部、流し撮りＣＣＤ装置２３の撮像範囲に収まったか否かが画像処理系で判別される。この際の判別ではパターン認識などを利用して行ってもよい。その８個の光源ブロックＢＬ１〜ＢＬ８が撮像範囲に収まらない場合には、ステップＣ３に移行して流し撮りＣＣＤ装置２３の焦点調整機構がパーン（螺旋回転）された後に、ステップＣ４に移行して８個の光源ブロックＢＬ１〜ＢＬ８が画像処理系で認識処理される。
【０１１２】
その後、ステップＣ２に戻って、その壁面１に配置された８個の光源ブロックＢＬ１〜ＢＬ８が全部撮像範囲に収まったか否かが再度、画像処理系で判別される。そして、図２３に示すメインルーチンのステップＢ１に戻り、ステップＢ２に移行して、画像処理装置３では、ＲＡＭ４７から読み出された８個の光源ブロックＢＬ１〜ＢＬ８の配置距離情報を参照しながら、通常のＣＣＤ撮像装置２５で撮像された実際の８個の光源ブロックＢＬ１〜ＢＬ８の位置情報が演算される。
【０１１３】
その後、ステップＢ３では第１の基準面が認識され、特殊グラストロン２の表示手段２４には仮想壁面１’が表示される。そして、ステップＢ４に移行して仮想壁面１’に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像が合成される。このとき、観察者３０が装着した特殊グラストロン２では、ＬＣＤ２６により実空間の外界像である壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレオ画像の一方が観察者３０の右の眼球に導くようになされる。ＬＣＤ２７により、実空間の壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレオ画像の他方が観察者３０の左の眼球に導くようになされる。
【０１１４】
従って、実空間上の壁面１には、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出現していない（図４参照）のに、図２８に示す仮想壁面１’には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などを出現させることができる。これにより、観察者３０の属する実空間上の背景画像と、仮想空間上に出現した肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像が頭の中で合成されるので、実空間上の壁面１の属する光源ブロックＢＬｉの位置に、あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するようにできる。
【０１１５】
この一連の撮像処理及び画像処理と並行して、ステップＢ１２では観察者３０の眼球運動が撮像されると共に、ステップＢ１３で少なくとも、流し撮りＣＣＤ装置２３の焦点距離の補正がなされる。もちろん、通常のＣＣＤ撮像装置２５の焦点距離を補正するようにしてもよい。例えば、図２５のサブルーチンをコールしてそのフローチャートのステップＤ１で、観察者３０の注視点ｐが図１１Ａに示した歯抜けのフィルムＣＣＤ４Ｒ、４Ｌなどの注視点検出用のカメラ４で検出される。
【０１１６】
その後、ステップＤ２で観察者３０の眼球表面から注視点ｐに至る離隔距離Ｓｅと、その観察者３０が注視した発光ダイオードＬＥＤｉと流し撮りＣＣＤ装置２３との間の焦点距離Ｓｃ＋ＳoffとがＣＰＵ４５よって比較される。ここで、注視点ｐに至る離隔距離Ｓｅと流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffとが一致している場合には、光学系の調整は不要なので、ステップＤ８に移行して、観察者３０の眼球運動の監視を継続する。この注視点ｐに至る離隔距離Ｓｅと流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffとが不一致の場合には、ステップＤ３に移行する。
【０１１７】
このステップＤ３では、注視点ｐに至る離隔距離Ｓｅが流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffよりも多い（Ａ）か、少ない（Ｂ）かが判定される。例えば、注視点ｐに至る離隔距離Ｓｅが流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ステップＤ４に移行してＣＰＵ４５によってその焦点距離Ｓｃを増加するように流し撮りＣＣＤ装置２３の絞りやレンズなどの光学系が調整される。
【０１１８】
この調整結果で、ステップＤ５で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ステップＤ８に移行し、一致しない場合はステップＤ４に戻って調整を継続する。反対に、観察者３０の眼球表面から注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合には、ステップＤ６に移行してＣＰＵ４５により、その焦点距離Ｓｃを減少するように流し撮りＣＣＤ装置２３の光学系が調整される。その調整結果で、ステップＤ７で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ステップＤ８に移行し、一致しない場合はステップＤ６に戻って調整を継続する。これにより、観察者３０が注視した光源ブロックＢＬｉと流し撮りＣＣＤ装置２３の光学系との間の焦点距離Ｓｃ＋Ｓoffを自動補正することができる。
【０１１９】
そして、図２３に示すメインルーチンのステップＢ５では８個の光源ブロックＢＬｉのうちのどの光源ブロックＢＬｉに目標が設定されたかが、図２５のサブルーチンのステップＤ１の観察者３０の注視点ｐの情報に基づいて検出される。この際に、いずれかの光源ブロックＢＬｉに注視された場合にはステップＢ６に移行する。反対に、いずれの光源ブロックＢＬｉも注視されない場合にはステップＢ１４に移行する。
【０１２０】
従って、いずれかの光源ブロックＢＬｉに目標が設定されたときは、その目標に向かって観察者３０が壁面１の方向へ近づいて行く間中、ステップＢ６で撮像系と目標との間の距離情報Ｓｘが算出される。この際の距離情報Ｓｘに関しては（４）式により演算される。もちろん、第１の基準面には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像が表示されている。
【０１２１】
そして、ステップＢ７で観察者３０が仮想壁面１’に到達したか否かが検出される。観察者３０が仮想壁面１’に到達していない場合にはステップＢ６に戻って撮像系と目標との間の距離情報Ｓｘの算出が継続される。ここで、観察者３０が図２２Ａに示した仮想壁面１’の直前位置ＳＰ３に立ったような場合には距離情報Ｓｘ＝Ｓ０＝Ｓ３が画像処理装置３によって検出される。この位置は肖像画Ｐ１１から人体内部構造の画像Ｐ１２に表示を切り替える位置である。従って、一歩でも仮想壁面１’内へ踏み込むと、特殊グラストロン２の表示手段２４の映像が切り替わるようになされる。
【０１２２】
例えば、ステップＢ８に移行して、その被注視領域内で目標とされた光源ブロックＢＬ１を拡大して撮像する。そして、光源ブロックＢＬ１の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４が全部、流し撮りＣＣＤ装置２３の撮像範囲に収まった場合には、図２６のサブルーチンをコールしてそのフローチャートのステップＥ１で光源ブロックＢＬ１に発光ダイオードＬＥＤ１〜ＬＥＤ４が存在するか否かが検出される。このとき、観察者３０が注目した光源ブロックＢＬ１にステップＥ２でズームアップされる。
【０１２３】
この際に、画像処理装置３では、ＲＡＭ４７から読み出された基準面設定用の光源ブロックＢＬ１の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙを参照しながら、流し撮りＣＣＤ装置２３で撮像された実際の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙが演算される。
【０１２４】
そして、実際に撮像された４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置及び距離Ｌｘ，ＬｙがＲＡＭ４７による発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙにより一層近づくように、流し撮りＣＣＤ装置２３の焦点光学系が自動調整される。その後、ステップＥ１に戻る。従って、ステップＥ１で観察者３０が注目した光源ブロックＢＬｉに４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が存在することが認識されると、ステップＥ３に移行して画像処理系では位置認識処理がなされる。この処理については、図１８及び図１９で説明した通りである。
【０１２５】
その後、ステップＥ４に移行して壁面１が認識できたか否かが判別される。この壁面１が認識できた場合には、この位置認識処理を終了してメインルーチンにリターンする。この壁面１が認識できない場合には、ステップＥ５に移行して４つの輝点の距離情報Ｌｘ、Ｌｙが、図１５に示したＲＡＭ４７から読み出された距離情報（基準値）Ｌｘ、Ｌｙよりも小さいかが検出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが小さい場合には、ステップＥ６に移行してズームアップされる。その後、ステップＥ３に戻って位置認識処理が行われる。
【０１２６】
また、ステップＥ５でＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きい場合には、ステップＥ７に移行して再度、４つの輝点の距離情報Ｌｘ、ＬｙがＲＡＭ４７に格納された距離情報（基準値）Ｌｘ、Ｌｙよりも大きいかが検出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きい場合には、ステップＥ８に移行してズームダウンされる。
【０１２７】
そして、ステップＥ８でズームダウンした後、及び、ステップＥ７でＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きくない場合には、ステップＥ３に戻って位置認識処理が行われる。その後、ステップＥ４に移行して壁面１が認識できたか否かが判別される。
【０１２８】
以上の処理を繰り返すことで、観察者３０が注視した特定の光源ブロックＢＬｉを、再現性よく画像処理系に認識させることができる。従って、画像処理系で壁面１が認識されると、この位置認識処理を終了して図２３のメインルーチンのステップＢ８にリターンする。
【０１２９】
そして、図２３のフローチャートのステップＢ９に移行して拡大撮像された光源ブロックＢＬｉによる輝度信号を画像処理してその光源ブロックＢＬｉの位置を求める。例えば、図２７のサブルーチンをコールしてそのフローチャートのステップＦ１でビデオキャプチャ処理を実行する。その後、ステップＦ２で光源ブロックＢＬｉの四隅の発光ダイオードＬＥＤ１〜ＬＥＤ４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４による輝度信号の点滅パターンが、４つの輝点ｐ１〜ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【０１３０】
その後、その配置パターン上を走査して、少なくとも、４つの輝点ｐ１〜ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの発光ダイオードＬＥＤ１〜４の取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことにより基準面が求められる（壁面の認識原理）。そして、ステップＦ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３と基準面との位置関係が検出される。
【０１３１】
その後、図２３のメインルーチンのステップＢ９にリターンし、ステップＢ１０に移行して壁面１の特定位置である光源ブロックＢＬ１に第２の基準面が設定される。そして、ステップＢ１１に移行して仮想空間の光源ブロックＢＬ１の第２の基準面上に肖像画Ｐ１１の下位階層の画像である人体内部構造の画像Ｐ１２が特殊グラストロン２に表示される。例えば、特殊グラストロンでは、ＬＣＤ２６により実空間の外界像である壁面１と、肖像画Ｐ１１の下位階層の画像である人体内部構造の画像Ｐ１２とを合成したステレオ画像の一方が観察者３０の右の眼球に導くようになされる。ＬＣＤ２７により、実空間の壁面１と、その人体内部構造の画像Ｐ１２とを合成したステレオ画像の他方が観察者３０の左の眼球に導くようになされる。
【０１３２】
従って、実空間上の壁面１には、人体内部構造の画像Ｐ１２などが出現していない（図４参照）のに、仮想空間の光源ブロックＢＬｉによる第２の基準面上に、は図２９Ａに示すような人体内部構造の画像Ｐ１２を出現させることができる。これにより、観察者３０の属する実空間上の背景画像と、仮想空間上に出現した人体内部構造の画像Ｐ１２が頭の中で合成されるので、実空間上の壁面１の属する光源ブロックＢＬｉの位置に、あたかも、人体内部構造の画像Ｐ１２が存在するようにできる。
【０１３３】
この例では、上述の壁面１の認識原理を応用することにより、観察者３０が例えば図２８に示す左側の肖像画Ｐ１１に注視すると、注視点検出用のカメラ４からＣＰＵ４５へ「肖像画に注視している」旨のカメラ出力信号Ｓ３が出力されるので、画像処理装置３では、その肖像画Ｐ１１に目標を設定されたことを判断できる。
【０１３４】
また、右眼表示用のＬＣＤ２６及び左表示用のＬＣＤ２７に人体内部構造の画像Ｐ１２及び肖像画Ｐ１１を拡大して表示した場合には、先に述べた操作部９を操作すると、指示信号Ｓ５がＣＰＵ４５に出力され、観察者３０が注視した肖像画Ｐ１１を所定の大きさに戻した表示がなされる。そして、図２３に示したフローチャートのステップＢ１４の「終了する」に対して「ＮＯ」でステップＢ１に戻ってその仮想画像合成表示処理を継続し、「ＹES」でその仮想画像合成表示処理を終了する。
【０１３５】
なお、図２９Ａは、肖像画の下位階層の画像例を示す人体内部構造の画像Ｐ１２のイメージ図、及び、図２９Ｂは船の絵画Ｐ２１の下位階層の画像例を示す操舵室から進行方向を見た画像Ｐ２２を示すイメージ図である。図２８において、目標を船の絵画Ｐ２１に設定した場合には、観察者３０が仮想壁面１’を越えた時点で図２８に示した船の絵画Ｐ２１から図２９Ｂに示す操舵室の画像Ｐ２２に表示を切り換えることができる。
【０１３６】
このように、本実施形態としての仮想画像立体合成装置１００によれば、上述の位置認識装置１０及び位置認識方法が応用されるので、壁面１の特定位置の光源ブロックＢＬｉ及びその光源ブロックＢＬｉから離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【０１３７】
従って、壁面１の特定位置の光源ブロックＢＬｉから離れた任意の位置に第１の基準面を設定し、又は、その光源ブロックＢＬｉに第２の基準面を設定することができるので、その第１の基準面を取り込んだ仮想壁面１’上で仮想体の画像を合成するような仮想画像立体合成処理を行うこと、及び、その第２の基準面を取り込んだ壁面１上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【０１３８】
これにより、実際の壁面１には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの実物の絵画などが存在しない場合であっても、仮想壁面１’には複数の絵画が出現し、しかも、その絵画の１つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを再現性よく構築することができる。
【０１３９】
また、本例のバーチャル美術館では、仮想空間上で、図２８に示した肖像画Ｐ１１、船の絵画Ｐ２１及び山の絵画Ｐ３１の３枚の画像のうち、観察者３０が注視した１枚の画像に通常のＣＣＤ撮像装置２５の焦点を合わせ込むとができるので、その画像をズームアップして表示することができる。従って、このバーチャル美術館では実空間の壁面１に８個の光源ブロックＢＬｉを設け、その映像ソフトをＣＤ−ＲＯＭなどから供給すればよく、観察者３０が注視した画像を忠実に画像表示することができる。
【０１４０】
更に、この例では、観察者３０が注視した特定の発光ダイオードＬＥＤｉに流し撮りＣＣＤ装置２３の焦点を精度良く合わせ込むことができる。従って、ベストフォーカスで４つの発光ダイオードＬＥＤ１〜ＬＥＤ４を所定の撮像方向に流すように撮像することができる。これと共に、その点滅パターンの輝度信号を画像処理装置３で最適に画像処理することができるので、８個の光源ブロックＢＬ１〜ＢＬ８による第１及び第２の基準面を精度良く認識させることができる。
【０１４１】
しかも、観察者３０の属する実空間上の壁面１に関して第１及び第２の基準面を簡易に、しかも、少ない計算量で認識することができる。従って、画像処理部４４における演算負担を従来方式に比べて軽減できると共に、これらのバーチャル美術館などの仮想画像立体合成装置のコストダウンを図ることができる。
【０１４２】
この実施形態では流し撮りＣＣＤ２３に関してインターライン転送方式の二次元撮像デバイスを使用する場合について説明したが、これに限られることはなく、フレーム転送方式の二次元撮像デバイスを使用する場合であっても同様な効果が得られる。
【０１４３】
（３）第２の仮想画像立体合成装置
図３０は本発明に係る位置認識装置及び位置認識方法を応用した第２の実施形態としての仮想画像立体合成装置２００の構成例を示す斜視図である。
この実施形態では、壁面１に取付けられる被認識マークＭｉが光源ブロックＢＬｉから二次元バーコードＢＣｉ（ｉ＝１〜８）に置き換わったものであり、その内の任意の１つに目標が設定され、その目標に撮像系を近づけた場合において、その目標となされた二次元バーコードＢＣｉと撮像系との距離情報を求める演算手段を設け、壁面１の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させ、壁面１の特定位置及びその特定位置から離れた任意の位置に各々基準面を設定し、その各々の基準面を取り込んだ仮想空間上で仮想体の画像を合成できるようにしたものである。
【０１４４】
図３０に示す仮想画像立体合成装置２００は、第１の実施形態と同様にして観察者３０の属する外界像に、人物や風景などの静止画像（２Ｄ）又はＴＶ番組のキャラクタ画像（３Ｄ）などの仮想体画像を立体的に合成表示する装置である。
【０１４５】
この仮想画像立体合成装置２００は壁面１の所望位置に取付けられた複数の被認識マークＭｉとしての基準面設定用の８個の二次元バーコードＢＣｉ（ｉ＝１〜８）と、観察者３０の頭部に装着される合成手段としての特殊グラストロン２０と、この特殊グラストロン２０における撮像画像及び表示画像の入出力を制御する画像処理装置３を備えて成るものである。
【０１４６】
この特殊グラストロン２０の本体部２１には第１の実施形態と同様にしてベルト２２が設けられ、眼鏡をかけるように本体部２１が観察者３０の顔面に装着されると共に、その観察者３０の頭部外周部に沿ってベルト２２が固定される。この例で特殊グラストロン２０は、表示手段２４と、領域抽出用の撮像手段としての通常のＣＣＤ撮像装置２５とを有しており、そのＣＣＤ撮像装置２５により撮像（認識）された仮想空間の基準面上に仮想体の画像を表示手段２４によって合成表示するようになされる。
【０１４７】
この例では、実空間上の壁面１の基準面の属する位置に、例えば、光源ブロックＢＬ１を中心に仮想体として肖像画Ｐ１１が、光源ブロックＢＬ２を中心に船の絵画（図示せず）Ｐ２１が、光源ブロックＢＬ３を中心に山の絵画（図示せず）Ｐ３１などがあたかも存在するようになされる。その際に通常のＣＣＤ撮像装置２５によって二次元バーコードＢＣｉが撮像される。また、上述の壁面１に取付けられた８個の二次元バーコードＢＣ１〜ＢＣ８と、通常のＣＣＤ撮像装置２５とにより位置認識手段５０が構成され、壁面１の特定位置及びその特定位置から離れた任意の位置で基準面を認識（設定）するようになされる。この位置認識手段５０には本発明に係る位置認識装置１０及び位置認識方法が応用される。
【０１４８】
この例では壁面１に取付けられた８個の二次元バーコードＢＣ１〜ＢＣ８が通常のＣＣＤ撮像装置２５によって撮像されて被注視領域が画定されると共に、観察者３０によって８個の二次元バーコードＢＣ１〜ＢＣ８の内の任意の１つに目標が設定されたときに、その被注視領域内で目標となされた二次元バーコードＢＣｉがＣＣＤ撮像装置２５によって撮像される。
【０１４９】
この特殊グラストロン２０には演算手段としての画像処理装置３が接続され、及び通常のＣＣＤ撮像装置２５により撮像された二次元バーコードＢＣｉによる輝度信号を画像処理してその二次元バーコードＢＣｉの位置が求められ、その位置情報に基づいて二次元バーコードＢＣｉにおける第１及び第２の基準面などを設定するための画像処理がなされる。
【０１５０】
この例で、図３１に示す基準面設定用の二次元バーコードＢＣ１〜ＢＣ８は静止物体として比較的に平坦な壁面１に取付けられる。壁面１の大きさについては第１の実施形態で述べた通りであり、８個の二次元バーコードＢＣｉが予め定められた間隔で図３１に示す位置に格子状に配されている。二次元バーコードＢＣｉの水平方向の間隔（ピッチ：Ｐｈ）は１ｍ程度であり、その垂直方向の間隔（ピッチ：Ｐｖ）は１．５ｍ程度である。この８個の二次元バーコードＢＣ１〜ＢＣ８の各々の仮想空間上で第１の実施形態と同様にして肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの画像が合成表示される。これらの肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・の映像や、これらの下位階層の映像は画像処理系のメモリなどに予め格納されているものを使用する。
【０１５１】
図３２は第２の実施形態としての仮想画像立体合成装置２００で使用する基準面設定用の二次元バーコードＢＣｉの構成例を示す図である。各々の二次元バーコードＢＣｉは、一辺が５ｃｍ程度であり、少なくとも、図３２に示す白地に黒で印刷されたｎ行×ｎ列（この例では、ｎ＝７）の白黒マトリクスと、その白黒マトリクスと同じ太さの黒枠部５１から成る。この例では黒枠部５１で囲まれた５×５画素がコード領域部５２であり、この２５画素のうち、図３２に示す１２画素が黒で塗りつぶされている。この二次元バーコードＢＣｉが基準面として使用されるものである。
【０１５２】
この例でも、基準面設定用の各々の二次元バーコードＢＣｉの各々の四隅の点の位置情報（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）及び、４つの点間の距離情報Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が規定されている。これらの位置情報及び距離情報は壁面１の認識の際に使用するために、ブロック識別情報と共に予め画像処理装置３内のＲＡＭなどに登録されている。
【０１５３】
この例では第１の実施形態と同様にして各々の二次元バーコードＢＣｉを識別するために所定のデータフォーマットが準備されている（図６参照）。そして、一方のデータ領域には各二次元バーコードＢＣｉを識別するために、各々の二次元バーコードＢＣｉ毎に割り当てられたブロックＮｏ識別コード（コード領域部５２のデコード値）「１、２・・・８」などが書き込まれ、他のデータ領域には各二次元バーコードＢＣｉの四隅の４点の位置情報及び距離情報Ｌｘ、Ｌｙが書き込まれる。このブロックＮｏ識別コード及び二次元バーコードＢＣｉの四隅の点の位置情報及び距離情報Ｌｘ、Ｌｙを総称してこの例でもブロック識別情報という。
【０１５４】
また、二次元バーコードＢＣｉ間の配置距離情報は二次元バーコードＢＣｉの水平方向の間隔（ピッチ：Ｐｈ）及びその垂直方向の間隔（ピッチ：Ｐｖ）から光源ブロックＢＬｉと同様にして容易に得られる。上述したブロック識別情報及び二次元バーコードＢＣｉ間の配置距離情報によって配置情報が構成される。これらの配置情報は壁面１の認識及び第１及び第２の基準面の設定の際に使用するために、予め画像処理装置内のＲＡＭ（情報が随時書き込み読み出し可能なメモリ）４７などに登録される。
【０１５５】
図３３に示す特殊グラストロン２０は非透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５と、第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７と、図示しない注視点検出用の撮像手段（第２の撮像系、以下、注視点検出カメラ４という）とを有している。
【０１５６】
つまり、観察者３０の眉間に相当する位置には、通常のＣＣＤ撮像装置２５が配置され、観察者３０の属する外界像が撮像されると共に、二次元バーコードＢＣ１〜ＢＣ８が撮像される。従って、観察者３０が基準面設定用の二次元バーコードＢＣ１〜ＢＣ８に目を向けると、その基準面の方向にＣＣＤ撮像装置２５が向くようになる。
【０１５７】
この例では、ＣＣＤ撮像装置２５に自動ズーム機構が設けられ、８個の二次元バーコードＢＣ１〜ＢＣ８の中の任意の二次元バーコードＢＣｉを注視すると、画像処理装置３によって自動的にその二次元バーコードＢＣｉにズームさせることができる。この自動ズーム機構に関しては、第１の実施形態で説明した通りであるのその説明を省略する。
【０１５８】
そして、特殊グラストロン２０内の観察者３０の右目に相対する位置にはＬＣＤ２６が取付けられ、例えば、通常のＣＣＤ撮像装置２５により撮影した観察者３０の二次元バーコードＢＣ１〜ＢＣ８と、予め準備された肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像とを合成したステレオ画像の一方が表示される。また、その観察者３０の左目に相対する位置にはＬＣＤ２７が取付けられ、上述の二次元バーコードＢＣ１〜ＢＣ８と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像とを合成したステレオ画像の他方が表示される。
【０１５９】
続いて、仮想画像立体合成装置２００の回路構成例について説明する。図３４に示す仮想画像立体合成装置２００は大きく分けて２つの回路ブロックから成る。第１の回路ブロックは特殊グラストロン２０であり、上述した通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び左右のフィルムＣＣＤ４Ｒ、４Ｌ（注視点検出用のカメラ４）を有している。
【０１６０】
第２の回路ブロックは画像処理装置３であり、内部バス４１を有している。内部バス４１にはインタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８が接続されている。通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び注視点検出用のカメラ４はインタフェース４２を介して内部バス４１に接続される。
【０１６１】
このＥ2ＰＲＯＭ４８には、観察者３０の属する外界像に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像を立体的に合成するアルゴリズムが格納されている。例えば、Ｅ2ＰＲＯＭ４８には、観察者３０の属する実空間上の壁面１で任意に設定された二次元バーコードＢＣｉに基づく基準面を撮像して仮想空間上にその基準面を表示すると共に、その仮想空間上に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像を重ね合わせて合成するアルゴリズムが格納される。
【０１６２】
従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間上の壁面１の二次元バーコードＢＣｉと撮像系との間の距離情報や、その位置で基準面を認識することができる。これにより、実空間上の壁面１の二次元バーコードＢＣｉの基準面の属する位置に、あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するように仮想画像立体合成処理をすることができるので、第１の実施形態と同様にしてバーチャル美術館などの仮想画像立体合成装置２００を再現性良く構成することができる。
【０１６３】
更に、内部バス４１にはＲＯＭ４６が接続され、この仮想画像立体合成装置２００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムや、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想画像を表示する表示情報が一時記録される。
【０１６４】
例えば、ＲＡＭ４７には、基準面設定用の各々の二次元バーコードＢＣｉの四隅の点の位置情報（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）及び、４つの点間の距離情報Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が記憶されている。その際に、予め定められた配置間隔で８個の二次元バーコードＢＣ１〜ＢＣ８を壁面１に取付ける場合には、その８個の二次元バーコードＢＣ１〜ＢＣ８の配置情報を予めアドレスマップにしてＲＡＭ４７に記憶しておいてもよい。配置距離情報は水平及び垂直方向のピッチＰｈ、Ｐｖから得られる。
【０１６５】
また、内部バス４１には制御手段としてＣＰＵ４５が接続され、インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８の入出力の制御や、ＣＣＤ撮像装置２５、ＬＣＤ２６、ＬＣＤ２７及び注視点検出用のカメラ４の入出力の制御が行われる。この例では観察者３０が注視した二次元バーコードＢＣｉと特殊グラストロン２０との間の焦点距離ＳｃがＣＰＵ４５によって算出される。ここで算出された焦点距離Ｓｃと、フィルムＣＣＤ４Ｒ、４Ｌによるカメラ出力信号Ｓ３とに基づいて、観察者３０が注視した特定の二次元バーコードＢＣｉに対してのピントをより高精度に合わせ込むことができる。
【０１６６】
例えば、ＣＰＵ４５はカメラ出力信号Ｓ３に基づいての焦点距離Ｓｃを調整したり、観察者３０の眼球運動から認識された瞳孔の動きに基づいてその観察者３０が注視した二次元バーコードＢＣｉとＣＣＤ撮像装置２５との間の焦点距離Ｓｃを補正するように動作する。この補正動作については図３５で説明する。その他にＣＰＵ４５はカメラ出力信号Ｓ３に基づいてＬＣＤ２６、ＬＣＤ２７への映像出力を制御するようになされる。例えば、観察者３０が注視した部分の画像を所定の倍率で拡大してＬＣＤ２６、ＬＣＤ２７に表示するような拡大表示制御が行われる。
【０１６７】
これに関連してインタフェース４２には操作部９が設けられ、少なくとも、観察者３０が注視した部分の画像を所定の大きさに戻して表示するような指示信号（リセット信号）Ｓ５がインタフェース４２を介してＣＰＵ４５に指示が与えるようになされている。これは第１の実施形態と同様にして一時拡大した画像を通常の大きさの画像に戻すためである。
【０１６８】
このインタフェース４２には画像処理部４４が接続され、例えば、通常のＣＣＤ撮像装置２５で撮像された基準面設定用の二次元バーコードＢＣｉの画像（図３２参照）が、ＣＰＵ４５の制御命令と共にインタフェース４２を介して、画像処理部４４に取り込まれ、そこで所定の画像処理がなされ、再び、インタフェース４２を介して特殊グラストロン２０内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【０１６９】
また、インタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、ＣＣＤ撮像装置２５から入力した二次元バーコードＢＣｉに係る画像データを獲得する所定のキャプチャ処理がなされる。画像キャプチャ部４３には内部バス４１を介して演算手段としての画像処理部４４が接続され、所定の画像処理が施された画像データに関して、観察者３０の前に属する壁面１で基準面が求められる。
【０１７０】
例えば、画像処理部４４では拡大撮像される二次元バーコードＢＣｉの画像データに対して前処理が施される。この処理では、まず、ＣＣＤ撮像装置２５による取得画像が適当な閾値で２値化される。バーコード部分は白地に黒で印刷されているので、固定閾値によって、かなり安定的に背景画像とコード領域とを分離することができる。次に、黒ピクセルの連結領域毎にラベル付けが施される。
【０１７１】
この二次元バーコードＢＣｉの黒枠部５１はラベル付けされた連結領域のいずれかに含まれることとなる。従って、連結領域の外接四角形の大きさと縦横比を考慮して、コード領域部５２が含まれている可能性の低い背景画像（領域）は除去するようになされる。
【０１７２】
その後、前処理の結果得られた連結領域の各要素に対してバーコード枠の当てはめを行う。例えば、外接四角形の各辺から内側に向かって、黒領域を探索し、コー黒枠部５１の点列を得る。この点列に対して最小二乗法で線分を当てはめる。そして、当該二次元バーコードＢＣｉに与えられたコード領域部５２を認識する。
【０１７３】
上述の基準面は黒枠部５１の４頂点を正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施形態で説明した（１）式と同様な関係がある。
【０１７４】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０１７５】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶ面が実空間上の基準面となる。なお、画面上の黒枠部５１はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。従って、図３２に示す仮想空間上の二次元バーコードＢＣｉの四隅の位置座標から正立方体を作成することができるので、その正立方体に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想画像などを合成することができる。
【０１７６】
続いて、仮想画像立体合成装置２００の位置認識手段５０の焦点補正時の動作例について説明をする。図３５に示す通常のＣＣＤ撮像装置２５には図示しないインタフェース４２を介して画像処理部４４が接続され、基準面設定用の二次元バーコードＢＣｉの画像が取り込まれ、そこで所定の画像処理がなされる。
【０１７７】
また、図３５に示す二次元バーコードＢＣｉによる基準面を注視する観察者３０の眼球運動が注視点検出カメラ４によって撮像され、その観察者３０の注視点ｐが検出される。この注視点検出カメラ４には図示しないインタフェース４２を介して制御手段としてのＣＰＵ４５が接続され、この注視点検出カメラ４から得られたカメラ出力信号Ｓ３に基づいての焦点距離が調整される。例えば、ＣＰＵ４５は、ＣＣＤ撮像装置２５にズーム制御信号Ｓ０を出力して、観察者３０の眼球運動から認識された瞳孔の動きに基づく二次元バーコードＢＣｉとＣＣＤ撮像装置２５との間の焦点距離を補正するようになされる。
【０１７８】
ここで、観察者３０の眼球表面から注視点ｐに至る離隔距離をＳｅとし、ＣＣＤ撮像装置２５のレンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察者３０の眼球表面とのレンズ表面との間のオフセット距離をＳoffとすると、その注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ＣＰＵ４５がその焦点距離Ｓｃを長くするようにＣＣＤ撮像装置２５の光学系を調整する。反対に、注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合には、ＣＰＵ４５はその焦点距離Ｓｃを短くするようにＣＣＤ撮像装置２５の光学系を調整するようになされる。
【０１７９】
次に、本発明の位置認識方法に関して仮想画像立体合成装置２００の動作を説明する。図３６は仮想画像立体合成装置２００の動作例を示すメインルーチンのフローチャートである。図３７は仮想画像立体合成装置２００を応用したバーチャル美術館の構成例を示すイメージ図である。なお、仮想画像立体合成装置２００の動作説明に当たって、第１の実施形態で説明した図２４〜図２７のサブルーチンを使用することにする。
【０１８０】
この例では、ほぼ平坦な壁面１の所望位置に基準面設定用の８個の二次元バーコードＢＣｉ（ｉ＝１〜８）を予め定められた配置ピッチ（間隔）で配置し、その８個の二次元バーコードＢＣｉを撮像して画像処理系に認識させた後に、第１の基準面上で仮想画像の合成処理をし、その後、８個の二次元バーコードＢＣｉの中の１つに目標を設定してその目標に撮像系を近づけ、上述の第１の基準面を越えたときに、その二次元バーコードＢＣｉを拡大して撮像し、この拡大撮像に基づいて第２の基準面上で仮想画像の合成処理をする場合を想定する。
【０１８１】
この位置認識原理を応用して８個の二次元バーコードＢＣ１〜ＢＣ８の各々の仮想空間上で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像を表示する。図３７ではその第１の基準面を含む仮想空間上に、二次元バーコードＢＣ１を中心に肖像画Ｐ１１が、二次元バーコードＢＣ２を中心に船の絵画Ｐ２１が、二次元バーコードＢＣ３を中心に山の絵画Ｐ３１があたかも存在するようになされる。
【０１８２】
その後、この３枚のうちの１枚の映像に観察者３０が目標を設定して壁面方向に近づくと、第１の基準面を越えた時点でその絵画映像が下位階層の映像に切り換えて特殊グラストロン２０に表示するような場合を想定する。もちろん、観察者３０は図３３に示した特殊グラストロン２０を頭部に装着する。
【０１８３】
これらを前提にして、図３６に示すフローチャートのステップＧ１で壁面１に取付けられた二次元バーコードＢＣｉを撮像して被注視領域を画定する。例えば、図２４に示したサブルーチンをコールしてそのフローチャートのステップＣ１で、まず、ＣＣＤ撮像装置２５が最大望遠状態になされる。ＣＣＤ撮像装置２５では各二次元バーコードＢＣ１〜ＢＣ８の白黒のコード領域部５２まで識別することができず、画像処理系では８個の二次元バーコードＢＣ１〜ＢＣ８が予め定めらた位置に配置されていると認識される。従って、二次元バーコードＢＣ１〜ＢＣ８が壁面１に存在していることを画像処理系によって認識させることができる。
【０１８４】
つまり、ステップＣ２に移行して、その壁面１に配置された８個の二次元バーコードＢＣ１〜ＢＣ８が全部、ＣＣＤ撮像装置２５の撮像範囲に収まったか否かが画像処理系で判別される。この際の判別ではパターン認識などを利用して行ってもよい。その８個の二次元バーコードＢＣ１〜ＢＣ８が撮像範囲に収まらない場合には、ステップＣ３に移行してＣＣＤ撮像装置２５の焦点調整機構がパーン（螺旋回転）された後に、ステップＣ４に移行して８個の二次元バーコードＢＣ１〜ＢＣ８が画像処理系で認識処理される。
【０１８５】
この際に、画像処理装置３では、ＲＡＭ４７から読み出された８個の二次元バーコードＢＣ１〜ＢＣ８のコード認識情報や、配置情報を参照しながら、ＣＣＤ撮像装置２５で撮像された実際の８個の二次元バーコードＢＣ１〜ＢＣ８の配置情報が演算される。その後、ステップＣ２に戻って、その壁面１に配置された８個の二次元バーコードＢＣ１〜ＢＣ８が全部撮像範囲に収まったか否かが再度、画像処理系で判別される。その後、図３６に示すメインルーチンのステップＧ１に戻り、ステップＧ２に移行して、画像処理装置３では、ＲＡＭ４７から読み出された８個の二次元バーコードＢＣ１〜ＢＣ８の配置距離情報を参照しながら、通常のＣＣＤ撮像装置２５で撮像された実際の８個の二次元バーコードＢＣ１〜ＢＣ８の位置情報が演算される。
【０１８６】
その後、ステップＧ３では第１の基準面が認識され、特殊グラストロン２０の表示手段２４には仮想壁面１’が表示される。そして、ステップＧ４に移行して仮想壁面１’に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像が合成される。このとき、観察者３０が装着した特殊グラストロン２０では、ＬＣＤ２６により実空間の外界像である壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレオ画像の一方が観察者３０の右の眼球に導くようになされる。ＬＣＤ２７により、実空間の壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレオ画像の他方が観察者３０の左の眼球に導くようになされる。
【０１８７】
従って、実空間上の壁面１には、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出現していない（図４参照）のに、図３７に示す仮想壁面１’には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などを出現させることができる。これにより、観察者３０の属する実空間上の背景画像と、仮想空間上に出現した肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像が頭の中で合成されるので、実空間上の壁面１の属する二次元バーコードＢＣｉの位置に、あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するようにできる。
【０１８８】
この一連の撮像処理及び画像処理と並行して、ステップＧ１２では観察者３０の眼球運動が撮像されると共に、ステップＧ１３で少なくとも、ＣＣＤ撮像装置２５の焦点距離の補正がなされる。もちろん、通常のＣＣＤ撮像装置２５の焦点距離を補正するようにしてもよい。例えば、図２５に示したサブルーチンをコールしてそのフローチャートのステップＤ１で、観察者３０の注視点ｐが図１１Ａに示した歯抜けのフィルムＣＣＤ４Ｒ、４Ｌなどの注視点検出用のカメラ４で検出される。
【０１８９】
その後、ステップＤ２で観察者３０の眼球表面から注視点ｐに至る離隔距離Ｓｅと、その観察者３０が注視した二次元バーコードＢＣｉとＣＣＤ撮像装置２５との間の焦点距離Ｓｃ＋ＳoffとがＣＰＵ４５よって比較される。ここで、注視点ｐに至る離隔距離Ｓｅとの焦点距離Ｓｃ＋Ｓoffとが一致している場合には、光学系の調整は不要なので、ステップＤ８に移行して、観察者３０の眼球運動の監視を継続する。この注視点ｐに至る離隔距離Ｓｅとの焦点距離Ｓｃ＋Ｓoffとが不一致の場合には、ステップＤ３に移行する。
【０１９０】
このステップＤ３では、注視点ｐに至る離隔距離Ｓｅがの焦点距離Ｓｃ＋Ｓoffよりも多い（Ａ）か、少ない（Ｂ）かが判定される。例えば、注視点ｐに至る離隔距離ＳｅがＣＣＤ撮像装置２５の焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ステップＤ４に移行してＣＰＵ４５によってその焦点距離Ｓｃを増加するようにＣＣＤ撮像装置２５の絞りやレンズなどの光学系が調整される。
【０１９１】
この調整結果で、ステップＤ５で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ステップＤ８に移行し、一致しない場合はステップＤ４に戻って調整を継続する。反対に、観察者３０の眼球表面から注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合には、ステップＤ６に移行してＣＰＵ４５により、その焦点距離Ｓｃを減少するようにＣＣＤ撮像装置２５の光学系が調整される。その調整結果で、ステップＤ７で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ステップＤ８に移行し、一致しない場合はステップＤ６に戻って調整を継続する。これにより、観察者３０が注視した二次元バーコードＢＣｉとＣＣＤ撮像装置２５の光学系との間の焦点距離Ｓｃ＋Ｓoffを自動補正することができる。
【０１９２】
そして、メインルーチンのステップＧ５で８個の二次元バーコードＢＣ１〜ＢＣ８のうちどの二次元バーコードＢＣｉに目標が設定されたかが、図２５のサブルーチンのステップＤ１から観察者３０の注視点ｐの情報に基づいて検出される。この際に、いずれかの二次元バーコードＢＣｉに注視された場合にはステップＧ６に移行する。反対に、いずれの二次元バーコードＢＣｉも注視されない場合にはステップＧ１４に移行する。
【０１９３】
従って、いずれかの二次元バーコードＢＣｉに目標が設定されたときは、その目標に向かって観察者３０が壁面１の方向へ近づいて行く間中、ステップＧ６で撮像系と目標との間の距離情報Ｓｘが算出される。この際の距離情報Ｓｘに関しては、（４）式により算出される。もちろん、第１の基準面には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画像が表示されている。
【０１９４】
そして、ステップＧ７で観察者３０が仮想壁面１’に到達したか否かが検出される。観察者３０が仮想壁面１’に到達していない場合にはステップＧ６に戻って撮像系と目標との間の距離情報Ｓｘの算出が継続される。ここで、観察者３０が図２２Ａに示した仮想壁面１’の直前位置ＳＰ３に立ったような場合には距離情報Ｓｘ＝Ｓ０＝Ｓ３が画像処理装置３によって検出される。この位置は肖像画Ｐ１１から人体内部構造の画像Ｐ１２に表示を切り替える位置である。従って、一歩でも仮想壁面１’内へ踏み込むと、特殊グラストロン２０の表示手段２４の映像が切り替わるようになされる。
【０１９５】
例えば、ステップＧ８に移行して被注視領域内で目標となされた二次元バーコードＢＣｉを拡大して撮像する。そして、二次元バーコードＢＣ１の白黒のコード領域部５２が全部、ＣＣＤ撮像装置２５の撮像範囲に収まった場合には、例えば、図２６のサブルーチンをコールしてそのフローチャートのステップＥ１で二次元バーコードＢＣ１に白黒のコード領域部５２が存在するか否かが検出される。このとき、観察者３０が注目した二次元バーコードＢＣｉにステップＥ２でズームアップされる。
【０１９６】
この際に、画像処理装置３では、ＲＡＭ４７から読み出された二次元バーコードＢＣｉの位置情報及び距離情報Ｌｘ，Ｌｙを参照しながら、ＣＣＤ撮像装置２５で撮像された実際の二次元バーコードＢＣｉの位置情報及び距離情報Ｌｘ，Ｌｙが演算される。そして、実際に撮像された二次元バーコードＢＣｉの位置及び距離情報Ｌｘ，ＬｙがＲＡＭ４７による二次元バーコードＢＣｉの位置情報及び距離情報Ｌｘ，Ｌｙにより一層近づくように、ＣＣＤ撮像装置２５の焦点光学系が自動調整される。
【０１９７】
その後、ステップＥ１に戻る。従って、ステップＥ１で観察者３０が注目した二次元バーコードＢＣｉに白黒のコード領域部５２が存在することが認識されると、ステップＥ３に移行して画像処理系では位置認識処理がなされる。この処理については、図３５で説明した通りである。
【０１９８】
そして、ステップＥ４に移行して壁面１が認識できたか否かが判別される。この壁面１が認識できた場合には、この位置認識処理を終了して図３６のメインルーチンのステップＧ８にリターンする。この壁面１が認識できない場合には、ステップＥ５に移行してその二次元バーコードＢＣｉの四隅の４つの点間の距離情報Ｌｘ、Ｌｙが、図３４に示したＲＡＭ４７から読み出された距離情報（基準値）Ｌｘ、Ｌｙよりも小さいかが検出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが小さい場合には、ステップＥ６に移行してズームアップされる。その後、ステップＥ３に戻って位置認識処理が行われる。
【０１９９】
また、ステップＥ５でＲＡＭ４７による二次元バーコードＢＣｉの距離情報Ｌｘ、Ｌｙよりも演算された二次元バーコードＢＣｉの距離情報Ｌｘ、Ｌｙが大きい場合には、ステップＥ７に移行して再度、二次元バーコードＢＣｉの四隅の４つの点間の距離情報Ｌｘ、ＬｙがＲＡＭ４７に格納された距離情報（基準値）Ｌｘ、Ｌｙよりも大きいかが検出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きい場合には、ステップＥ８に移行してズームダウンされる。
【０２００】
そして、ステップＥ８でズームダウンした後、及び、ステップＥ７でＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きくない場合には、ステップＥ３に戻って位置認識処理が行われる。その後、ステップＥ４に移行して壁面１が認識できたか否かが判別される。
【０２０１】
以上の処理を繰り返すことで、観察者３０が注視した特定の二次元バーコードＢＣｉを、再現性よく画像処理系に認識させることができる。従って、画像処理系で壁面１が認識されると、この位置認識処理を終了して図３６のメインルーチンのステップＧ８にリターンする。
【０２０２】
そして、図３６のフローチャートのステップＧ９に移行して拡大撮像された二次元バーコードＢＣｉによる輝度信号を画像処理してその二次元バーコードＢＣｉの位置を求める。例えば、図２７のサブルーチンをコールしてそのフローチャートのステップＦ１でビデオキャプチャ処理を実行する。その後、ステップＦ２で二次元バーコードＢＣｉの白黒のコード領域部５２を認識する。
【０２０３】
具体的には、ＣＣＤ撮像装置２５で撮像された二次元バーコードＢＣｉによる輝度信号が適当な閾値で２値化される。次に、黒ピクセルの連結領域毎にラベル付けが施される。そして、連結領域の外接四角形の大きさと縦横比を考慮して、コード領域部５２が含まれている可能性の低い背景画像（領域）は除去するようになされる。その後、前処理の結果得られた連結領域の各要素に対してバーコード枠の当てはめが行われる。例えば、外接四角形の各辺から内側に向かって、黒領域を探索し、図３２に示した黒枠部５１の点列を得る。その後、当該二次元バーコードＢＣｉに与えられたコード領域部５２を認識する。
【０２０４】
上述の基準面は黒枠部５１の４頂点を正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施形態で説明した（１）式と同様な関係がある。
【０２０５】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０２０６】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶことにより基準面が求められる（壁面の認識原理）。そして、ステップＦ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、ＣＣＤ撮像装置２５と基準面との位置関係が検出される。
【０２０７】
なお、画面上の黒枠部５１はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。その後、図３６のメインルーチンのステップＧ９にリターンし、ステップＧ１０に移行して壁面１の特定位置である二次元バーコードＢＣｉに第２の基準面が設定される。その後、ステップＧ１１に移行して仮想空間の二次元バーコードＢＣｉの第２の基準面上に肖像画Ｐ１１の下位階層である人体内部構造の画像Ｐ１２が特殊グラストロン２０に表示される。
【０２０８】
例えば、特殊グラストロン２０では、ＬＣＤ２６により実空間の外界像である壁面１と、肖像画Ｐ１１の下位階層である人体内部構造の画像Ｐ１２とを合成したステレオ画像の一方が観察者３０の右の眼球に導くようになされる。ＬＣＤ２７により、実空間の壁面１と、その下位階層である人体内部構造の画像Ｐ１２とを合成したステレオ画像の他方が観察者３０の左の眼球に導くようになされる。
【０２０９】
従って、実空間上の壁面１には、人体内部構造の画像Ｐ１２が出現していない（図３１参照）のに、図３７に示す仮想空間の二次元バーコードＢＣｉによる第２の基準面上には図２９Ａに示した人体内部構造の画像Ｐ１２を出現させることができる。これにより、観察者３０の属する実空間上の背景画像と、仮想空間上に出現した人体内部構造の画像Ｐ１２が頭の中で合成されるので、実空間上の壁面１の属する二次元バーコードＢＣｉの位置に、あたかも、人体内部構造の画像Ｐ１２が存在するようにできる。
【０２１０】
この例では、上述の壁面１の認識原理を応用することにより、第１の実施形態と同様にして観察者３０が例えば図３７に示す左側の肖像画Ｐ１１に注視すると、注視点検出用のカメラ４からＣＰＵ４５へ「肖像画に注視している」旨のカメラ出力信号Ｓ３が出力されるので、画像処理装置３では、その肖像画Ｐ１１に目標が設定されたことを判断できる。
【０２１１】
また、右眼表示用のＬＣＤ２６及び左表示用のＬＣＤ２７に人体内部構造の画像Ｐ１２及び肖像画Ｐ１１を拡大して表示した場合には、先に述べた操作部９を操作すると、指示信号Ｓ５がＣＰＵ４５に出力され、観察者３０が注視した肖像画Ｐ１１などを所定の大きさに戻した表示がなされる。そして、図３６に示したフローチャートのステップＧ１４の「終了する」に対して「ＮＯ」でステップＧ１に戻ってその仮想画像合成表示処理を継続し、「ＹES」でその仮想画像合成表示処理を終了する。
【０２１２】
このように、第２の実施形態としての仮想画像立体合成装置２００によれば、上述の位置認識装置１０及び位置認識方法が応用されるので、壁面１の特定位置の二次元バーコードＢＣｉ及びその二次元バーコードＢＣｉから離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【０２１３】
従って、壁面１の特定位置の二次元バーコードＢＣｉから離れた任意の位置に第１の基準面を設定し、又は、その二次元バーコードＢＣｉに第２の基準面を設定することができるので、その第１の基準面を取り込んだ仮想壁面１’上で仮想体の画像を合成するような仮想画像立体合成処理を行うこと、及び、その第２の基準面を取り込んだ壁面１上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【０２１４】
これにより、実際の壁面１には実物の絵画などが存在しない場合であっても、仮想壁面１’には肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出現し、しかも、その絵画の１つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを再現性よく構築することができる。
【０２１５】
また、本例のバーチャル美術館では、仮想空間上で、図３７に示した肖像画Ｐ１１、船の絵画Ｐ２１及び山の絵画Ｐ３１の３枚の画像のうち、観察者３０が注視した１枚の画像に通常のＣＣＤ撮像装置２５の焦点を合わせ込むとができるので、その画像をズームアップして表示することができる。従って、このバーチャル美術館では実空間の壁面１に８個の二次元バーコードＢＣｉを設け、その映像ソフトをＣＤ−ＲＯＭなどから供給すればよく、観察者３０が注視した画像を忠実に画像表示することができる。
【０２１６】
この実施形態では、仮想体画像に関して肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの２Ｄポリゴンの場合について説明したが、これに限られることはなく、台座ポリゴンや、光、炎、あるいは、氷の３Ｄポリゴンであっても、更に、鎧のような３Ｄポリゴンであってもよい。
【０２１７】
更に、本実施形態では仮想壁面１’上に８個の絵画を表示する場合ついて説明したが、これに限られることはなく、その仮想壁面１’上で１枚の海の絵画などを表示し、その海の映像（仮想壁面１’）に足を踏み入れたときに、魚や海藻が揺れ動く海中の映像に切り換えるようにしてもよい。
【０２１８】
【発明の効果】
以上説明したように、本発明に係る位置認識装置によれば、流し撮り用の撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段を備え、この演算手段は、流し撮り用の撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるものである。
【０２１９】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置を十分に応用することができる。
【０２２０】
本発明に係る位置認識方法によれば、静止物体の所望位置に取付けられた光源ブロックの任意の一つに目標を設定し、その目標に撮像系を近づけたときに、被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像し、光源の点滅パターンの輝度信号を画像処理して光源の３点の位置を求め、その後、３点の光源の位置を結んで基準面を求めるようにしたものである。
【０２２１】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理などに当該位置認識方法を十分に応用することができる。
【０２２２】
本発明の仮想画像立体合成装置によれば、上述の位置認識装置及び位置認識方法が応用されるので、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【０２２３】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定することができるので、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【０２２４】
この発明は、仮想空間上の基準面などに複数の仮想体を出現させ、しかも、その仮想体の１つに目標を設定してその仮想体内に踏み込んだときに、その仮想体の内部の構造などが表示されるようなバーチャル美術館などの画像処理システムに適用して極めて好適である。
【図面の簡単な説明】
【図１】実施形態としての位置認識装置１０の構成例を示す斜視図である。
【図２】位置認識装置１０による処理例を示すフローチャートである。
【図３】位置認識装置１０及び位置認識方法を応用した第１の実施形態としての仮想画像立体合成装置１００の構成例を示す斜視図である。
【図４】その位置認識手段５の一部を構成する光源ブロックＢＬ１〜ＢＬ８の配置例を示すイメージ図である。
【図５】その基準面設定用の光源ブロックＢＬｉの構成例を示す斜視図である。
【図６】そのブロック認識情報のデータフォーマット例を示す図である。
【図７】その光源ブロックＢＬｉ内の点滅制御回路１３の内部構成例を示す回路図である。
【図８】４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の電圧供給例を示す波形図である。
【図９】仮想画像立体合成装置１００の特殊グラストロン２の構成例を示す正面から見た概念図である。
【図１０】特殊グラストロン２の内部構成例を示す一部破砕の上面から見た概念図である。
【図１１】そのフィルムＣＣＤ４Ｒ、４Ｌの構成例を示す上面から見た概念図である。
【図１２】その特殊グラストロン２の装着時の注視点ｐの位置関係例を示す概念図である。
【図１３】その特殊グラストロン２の流し撮りＣＣＤ装置２３の内部構成例を示す平面図である。
【図１４】その流し撮りＣＣＤ装置２３の光学系の構成例を示す断面図である。
【図１５】仮想画像立体合成装置１００の回路ブロック例を示す図である。
【図１６】その位置認識手段５の構成例を示すブロック図である。
【図１７】その光源ブロックＢＬ１〜ＢＬ８の通常画像例を示すイメージ図である。
【図１８】その拡大撮像時の１つの光源ブロックＢＬ１の通常画像例を示すイメージ図である。
【図１９】その光源ブロックＢＬ１の基準面の位置座標の算出例を示す模式図である。
【図２０】壁面１、仮想壁面１’及び撮像系との位置関係例を示す上面図である。
【図２１】Ａは、観察者３０が仮想壁面１’から遠くに離れた位置関係例、及び、Ｂは観察者３０が仮想壁面に近づいた位置関係例（その１）を示す側面図である。
【図２２】Ａは、観察者３０が仮想壁面１’の前に立った位置関係例及びＢはその仮想壁面１’に踏み込んだ位置関係例（その２）を示す側面図である。
【図２３】仮想画像立体合成装置１００の動作例を示すフローチャート（メインルーチン）である。
【図２４】その通常のＣＣＤ撮像装置２５の最大望遠時の動作例を示すフローチャート（サブルーチン）である。
【図２５】その流し撮りＣＣＤ装置２３の焦点距離の補正例を示すフローチャート（サブルーチン）である。
【図２６】その壁面１の光源ブロックＢＬｉの拡大撮像例を示すフローチャート（サブルーチン）である。
【図２７】その発光ダイオードＬＥＤ１〜ＬＥＤ４の位置算出例を示すフローチャート（サブルーチン）である。
【図２８】その位置認識原理を応用したバーチャル美術館の構成例を示すイメージ図である。
【図２９】Ａは人物の絵画の下位階層としての人体内部構造の画像Ｐ１２の一例、及び、Ｂは船の絵画の下位階層としての操舵室の画像Ｐ２２の一例を示すイメージ図である。
【図３０】位置認識装置１０及び位置認識方法を応用した第２の実施形態としての仮想画像立体合成装置２００の構成例を示す斜視図である。
【図３１】その位置認識手段５０の一部を構成する二次元バーコードＢＣ１〜ＢＣ８の配置例を示すイメージ図である。
【図３２】その１つの二次元バーコードＢＣｉの構成例を示す斜視図である。
【図３３】仮想画像立体合成装置２００の特殊グラストロン２０の構成例を示す正面から見た概念図である。
【図３４】仮想画像立体合成装置２００の回路ブロック例を示す図である。
【図３５】その位置認識手段５０の構成例を示すブロック図である。
【図３６】仮想画像立体合成装置２００の動作例を示すのフローチャートである。
【図３７】その位置認識原理を応用したバーチャル美術館の構成例を示すイメージ図である。
【符号の説明】
１・・・壁面、１’・・・仮想壁面（第１の基準面）、２，２０・・・特殊グラストロン、３・・・画像処理装置、４・・・注視点検出用のカメラ（注視点検出用の撮像手段）、５・・・位置認識手段（位置認識装置）、６・・・撮像手段、７・・・演算手段、８・・・記憶手段、１０・・・位置認識装置、１１・・・プレート部（第２の基準面）、１３・・・点滅制御回路、２３・・・流し撮りＣＣＤ装置（流し撮り用の撮像手段）、２４・・・表示手段、２５・・・ＣＣＤ撮像装置（領域抽出用の撮像手段）、２６・・・右眼表示用のＬＣＤ、２７・・・左眼表示用のＬＣＤ、３２・・・垂直転送部（電荷転送部）、３３・・・水平転送部、ＢＬｉ（ｉ＝１〜８）・・・光源ブロック、ＬＥＤ１〜ＬＥＤ４・・・発光ダイオード（光源）、ＢＣｉ（ｉ＝１〜８）・・・二次元バーコード、１００，２００・・・仮想画像立体合成装置
Claims (14)
- 任意の静止物体の特定位置を認識する装置であって、
少なくとも、前記静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する３点以上の光源を有した複数の光源ブロックと、
前記光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、
前記撮像手段により撮像された前記光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを備え、
前記演算手段は、
前記撮像手段により撮像された前記光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるようになされたことを特徴とする位置認識装置。 - 前記光源ブロックの位置情報を記憶する記憶手段が設けられ、
前記位置情報には、
前記光源ブロックの固体番号を識別するためのブロック識別情報及び前記光源ブロック間の配置距離情報を含むことを特徴とする請求項１に記載の位置認識装置。 - 前記光源ブロック及び流し撮り用の撮像手段が設けられる場合であって、
前記光源ブロックの１つを注視する観察者の眼球運動を撮像して該観察者の注視点を検出する注視点検出用の撮像手段と、
前記注視点検出用の撮像手段の出力に基づいて前記流し撮り用の撮像手段の光学系を調整する制御手段とが設けられ、
前記制御手段は、
前記観察者の眼球運動から認識された瞳孔の動きに基づいて該観察者の注視点と前記流し撮り用の撮像手段の焦点との間の距離差を補正することを特徴とする請求項１に記載の位置認識装置。 - 任意の静止物体の特定位置を認識する方法であって、
少なくとも、前記静止物体の所望位置に予め点滅パターンが異なるように点滅する３点以上の光源を設けた光源ブロックを作成し、
その後、前記光源ブロックを前記静止物体の所望位置に３点以上を取付けて当該光源ブロックの位置情報を求める際に、
第１段階で前記静止物体に取付けられた光源ブロックを撮像して被注視領域を画定し、
第２段階で前記光源ブロックの任意の一つに目標を設定して撮像系を近づけたときに、
前記被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像し、
前記光源の点滅パターンの輝度信号を画像処理して前記光源の３点の位置を求め、その後、前記３点の光源の位置を結んで基準面を求めることを特徴とする位置認識方法。 - 前記光源ブロックの位置情報には、
前記光源ブロックの固体番号を識別するためのブロック識別情報及び前記光源ブロック間の配置距離情報を含むことを特徴とする請求項４に記載の位置認識方法。 - 前記第２段階の被注視領域内で光源ブロックの任意の１つに目標を設定して撮像系を近づける場合であって、
前記被注視領域内で目標とされた光源ブロックを第１の撮像系で撮像すると共に、前記光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように第２の撮像系によって撮像し、かつ、
前記光源ブロックを注視する観察者の眼球運動を第３の撮像系によって撮像し、
前記観察者の眼球運動から認識された瞳孔の動きに基づいてその観察者が注視した光源ブロックの位置と第２の撮像系の焦点との間の距離差を補正し、
前記距離差を補正された前記第２の撮像系によって撮像された点滅パターンの輝度信号を画像処理して前記光源の３点の位置を求め、その後、前記３点の光源の位置を結んで基準面を求めることを特徴とする請求項４に記載の位置認識方法。 - 観察者の属する外界像に仮想体の画像を立体的に合成する装置であって、
前記観察者の属する実空間上の任意の静止物体の特定位置及び該特定位置から任意に離れた位置で基準面を認識する位置認識手段と、
前記位置認識手段により認識された仮想空間の基準面上で仮想体の画像を合成する合成手段とを備え、
前記位置認識手段は、
少なくとも、前記静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する３点以上の光源を有した複数の光源ブロックと、
前記光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、
前記撮像手段により撮像された前記光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを有し、
前記演算手段は、
前記撮像手段により撮像された前記光源の点滅パターンに基づく輝度信号を画像処理して該光源の３点の位置を求めるようになされたことを特徴とする仮想画像立体合成装置。 - 前記光源ブロックの位置情報を記憶する記憶手段が設けられ、
前記位置情報には、
前記光源ブロックの固体番号を識別するためのブロック識別情報及び前記光源ブロック間の配置距離情報を含む請求項７に記載の仮想画像立体合成装置。 - 前記仮想空間の基準面上で仮想体の画像を合成する合成手段が設けられる場合であって、
予め前記静止物体の特定位置から任意に離れた位置に第１の基準面が設定されると共に、前記静止物体の特定位置に第２の基準面が設定され、
前記合成手段は、
観察者が前記第１の基準面よりも遠くの位置で被認識マークを注視するときは、予め準備された仮想体の画像を前記第１の基準面上で合成し、
観察者が前記第１の基準面内に踏み込んだときは、
前記仮想体の画像の下位階層の画像を前記第２の基準面上で合成するようになされた請求項７に記載の仮想画像立体合成装置。 - 前記光源ブロック及び流し撮り用の撮像手段が設けられる場合であって、
前記光源ブロックの１つを注視する観察者の眼球運動を撮像して該観察者の注視点を検出する注視点検出用の撮像手段と、
前記注視点検出用の撮像手段の出力に基づいて前記流し撮り用の撮像手段の光学系を調整する制御手段とが設けられ、
前記制御手段は、
前記観察者の眼球運動から認識された瞳孔の動きに基づいて該観察者の注視点と前記流し撮り用の撮像手段の焦点との間の距離差を補正することを特徴とする請求項７に記載の仮想画像立体合成装置。 - 前記流し撮り用の撮像手段には、
各画素を構成する複数の光電変換素子を有した二次元撮像デバイスが使用され、
前記光電変換素子から得られた信号電荷を所定の方向に転送するときに、
少なくとも、同一フィールド期間中に複数回、前記光電変換素子から前記信号電荷を読み出すようになされたことを特徴とする請求項７に記載の仮想画像立体合成装置。 - 前記流し撮り用の撮像手段及び演算手段が設けられる場合であって、
前記演算手段は、
前記撮像手段による輝度信号の点滅パターンに関して、３つの輝点を含むＸＹ平面を成す空間的な配置パターンに変換し、
前記配置パターン上を走査して、少なくとも、３つの輝点の位置座標を求め、
前記３点の位置座標を結ぶことにより前記基準面を認識するようになされたことを特徴とする請求項７に記載の仮想画像立体合成装置。 - 前記演算手段は、
３つの輝点を含むＸＹ平面を成す配置パターン上で流し撮像方向をＹ軸とし、該Ｙ軸に直交する軸をＸ軸としたときに、
前記流し撮像方向に輝度信号値を加算してＸ軸上にプロットし、
前記Ｘ軸上にプロットされた輝度信号値が最大となる位置を検出して３つのＸ座標値を求め、かつ、
前記配置パターン上でＹ軸方向に走査したときに、
前記流し撮像方向に並んだ複数の輝点のうち、最初に発光した輝点位置を各々Ｘ座標値に対応したＹ座標値として求めることを特徴とする請求項１２に記載の仮想画像立体合成装置。 - 前記合成手段及び注視点検出用の撮像手段が設けられる場合であって、
前記合成手段は、
観察者の属する外界像を撮像する撮像手段と、
前記撮像手段による外界像と予め準備された仮想体の画像と合成したステレオ画像の一方を表示する第１の画像表示素子と、
前記ステレオ画像の他方を表示する第２の画像表示素子とを有し、
前記注視点検出用の撮像手段が、前記観察者の眼球に相対する位置であって前記第１及び第２の画像表示素子の表示面内に分散して配置されることを特徴とする請求項７に記載の仮想画像立体合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03191899A JP4281139B2 (ja) | 1999-02-09 | 1999-02-09 | 位置認識装置、位置認識方法及び仮想画像立体合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03191899A JP4281139B2 (ja) | 1999-02-09 | 1999-02-09 | 位置認識装置、位置認識方法及び仮想画像立体合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000230806A JP2000230806A (ja) | 2000-08-22 |
| JP4281139B2 true JP4281139B2 (ja) | 2009-06-17 |
Family
ID=12344367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03191899A Expired - Fee Related JP4281139B2 (ja) | 1999-02-09 | 1999-02-09 | 位置認識装置、位置認識方法及び仮想画像立体合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4281139B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4282216B2 (ja) * | 2000-09-19 | 2009-06-17 | オリンパス株式会社 | ３次元位置姿勢センシング装置 |
| CN100461212C (zh) | 2004-06-04 | 2009-02-11 | 松下电器产业株式会社 | 显示控制方法及装置以及便携设备 |
| JP4922033B2 (ja) * | 2007-03-26 | 2012-04-25 | タツモ株式会社 | 位置検出装置 |
| JP4793459B2 (ja) | 2009-03-02 | 2011-10-12 | カシオ計算機株式会社 | シンボル読取装置、及びプログラム |
| JP5681850B2 (ja) * | 2010-03-09 | 2015-03-11 | レノボ・イノベーションズ・リミテッド（香港） | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
| JP5684178B2 (ja) * | 2012-03-23 | 2015-03-11 | ビッグローブ株式会社 | 情報処理システム |
| KR101496051B1 (ko) | 2013-11-28 | 2015-02-25 | 세메스 주식회사 | 다이 본딩 위치 표시 방법 |
| JP6394107B2 (ja) * | 2014-06-23 | 2018-09-26 | 富士通株式会社 | キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法 |
| MY188596A (en) * | 2015-08-21 | 2021-12-22 | Ns Solutions Corp | Display system, display device, display method, and non-transitory computer readable recording medium |
| CN111161232B (zh) * | 2019-12-24 | 2023-11-14 | 贵州航天计量测试技术研究所 | 一种基于图像处理的元器件表面定位方法 |
| CN111207735B (zh) * | 2020-01-17 | 2023-03-28 | 中国航空工业集团公司北京长城航空测控技术研究所 | 一种用于动平台的强光干扰下高精度位姿测量方法 |
| CN111563930B (zh) * | 2020-04-29 | 2023-07-07 | 达闼机器人股份有限公司 | 定位方法、装置、介质、电子设备及辅助定位模块 |
| CN116946610B (zh) * | 2023-09-21 | 2023-12-12 | 中科源码(成都)服务机器人研究院有限公司 | 一种智能仓储系统货物拾取方法及装置 |
-
1999
- 1999-02-09 JP JP03191899A patent/JP4281139B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000230806A (ja) | 2000-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017108387A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
| US20160295108A1 (en) | System and method for panoramic imaging | |
| JP2017112602A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
| JP4281139B2 (ja) | 位置認識装置、位置認識方法及び仮想画像立体合成装置 | |
| JP2020516090A (ja) | ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング | |
| US10048577B2 (en) | Imaging apparatus having two imaging units for displaying synthesized image data | |
| JP2004514951A (ja) | 球面立体視撮影システム及びその方法 | |
| US20120127203A1 (en) | Mixed reality display | |
| US20120127302A1 (en) | Mixed reality display | |
| JP4264601B2 (ja) | 情報入力装置、情報入力方法及びゲーム装置 | |
| JP2002232913A (ja) | 複眼カメラ及び立体視画像観察システム | |
| TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
| CN206378680U (zh) | 基于结构光多模块360度空间扫描和定位的3d相机 | |
| JP2013207344A (ja) | 検出装置、撮像装置、及びプログラム | |
| US20090059018A1 (en) | Navigation assisted mosaic photography | |
| JP2000184398A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| JP2002354505A (ja) | 立体視システム | |
| CN109084679A (zh) | 一种基于空间光调制器的3d测量及获取装置 | |
| JP2000132329A (ja) | 面認識装置、面認識方法及び仮想画像立体合成装置 | |
| JP2000222116A (ja) | 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置 | |
| JP2006017632A (ja) | ３次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
| JP6257260B2 (ja) | 撮像装置及びその制御方法 | |
| JP2000221953A (ja) | 映像表示装置、映像処理方法及びこれらを応用した映像表示システム | |
| US20180376130A1 (en) | Image processing apparatus, image processing method, and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051226 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090309 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |