JP3680250B2

JP3680250B2 - 空間図形入力装置

Info

Publication number: JP3680250B2
Application number: JP14236499A
Authority: JP
Inventors: 俊仁星野; 徹大関
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1999-05-21
Filing date: 1999-05-21
Publication date: 2005-08-10
Anticipated expiration: 2019-05-21
Also published as: JP2000330714A

Description

【０００１】
【発明の属する技術分野】
本発明は、空間図形入力装置にかかり、特に、仮想立体空間内に仮想物体を表示する立体画像表示装置に用いて好適な、空間内に図形を入力するための空間図形入力装置に関する。
【０００２】
【従来の技術】
車両の車体の形状や部品等を設計や評価する場合、設計値による部材（設計値と同一の値である実物）を作成して評価や検討そして再設計という処理を繰り返し行っていた。ところが、実物を作成して検討や再設計を繰り返すことは、膨大な時間を必要とする。このため、実物である部材を製作することなく、評価や検討することを可能とする装置の必要性が叫ばれている。
【０００３】
このような装置として、設計値により形成されるべき実物に相当する仮想物体を仮想空間上に表示させる、コンピュータグラフィック（ＣＧ）の立体画像により再現して検討を行うことや再設計の情報を得ることが注目されている。すなわち、最近では、設計段階からＣＡＤを用いたコンピュータ設計が行われており、このＣＡＤデータを用いて立体画像用のデータを生成し、立体画像を表示させることが可能となってきている。一例としては、立体視眼鏡を用いて、３次元空間を生成し、その仮想空間内の仮想物体を操作することにより、ＣＡＤの操作性を向上させる立体表示装置が知られている（特開平６−１３１４４２号公報参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら、３次元的に物体（仮想物体）を表示する場合、その物体を目視する方向（視線方向）と交差する方向とでは、位置入力をするオペレータの入力許容誤差が異なる場合がある。例えば、視線方向に対する入力誤差すなわち奥行き方向の入力誤差が視線方向に交差する方向の誤差より大きい場合がある。この場合、オペレータが意図する位置の空間座標を入力した場合であっても、奥行き方向に意図する位置からずれた位置で入力されることがある。
【０００５】
本発明は、上記事実を考慮して、入力した空間座標が視線方向でばらつくことなく入力することができる空間図形入力装置を得ることが目的である。
【０００６】
【課題を解決するための手段】
上記目的を達成するために本発明の空間図形入力装置は、実空間内に仮想物体を表示する表示手段と、前記仮想物体を表示するための実空間内の空間座標を入力する入力手段と、オペレータの眼球位置付近の位置を所定位置として検出する検出手段と、前記検出手段で検出された所定位置と前記入力手段で入力された空間座標とに基づいて、オペレータの視線方向を表す特定方向情報を設定する設定手段と、前記入力手段により入力された空間座標と、前記設定された特定方向情報とに基づいて平面または曲面を生成する生成手段と、前記生成手段により平面または曲面が生成された後に入力された空間座標について、前記生成された平面上または曲面上の成分のみを入力座標に前記空間座標を変換する変換手段と、を備えている。
【０００７】
本発明の空間図形入力装置は、表示手段により、実空間内に仮想物体が表示される。この実空間内位置の空間座標は、入力手段により入力される。入力手段には、設定手段により予め定められた特定方向情報が設定される。特定方向情報には、入力手段に向かう方向ベクトルや入力手段により指示する方向ベクトルがある。生成手段は、設定された特定方向情報と入力された空間座標とに基づいて、平面または曲面を生成する。例えば、入力された空間座標を通過し、特定方向情報による方向または交差する方向に平面または曲面が生成される。変換手段は、生成された平面上または曲面上の成分のみを入力座標に空間座標を変換する。すなわち、入力された３次元の空間座標は、前記生成された平面上または曲面上の座標値のみ入力が可能となり、平面または曲面から逸脱した方向例えば奥行き方向の入力が除外される。このように、空間座標と特定方向情報とにより生成された平面または曲面の上でのみ入力が可能となり、視線方向に対する入力誤差すなわち奥行き方向の入力誤差が解消されて、オペレータが意図する位置の空間座標、すなわち、奥行き方向に意図する位置からずれた位置となることなく入力することができる。これにより、入力した空間座標が視線方向でばらつくことなく入力することができる。
【０００８】
前記空間図形入力装置の表示手段は、左眼用画像及び右眼用画像を切り換えて仮想物体を表示することができる。
【０００９】
物体を立体的に表示するためには、左眼用画像及び右眼用画像を用意して、切り換えて表示することにより、容易に仮想物体を表示することができる。そこで、表示手段において、左眼用画像及び右眼用画像を切り換えて仮想物体を表示すれば、実空間内の予め定めた所定空間に仮想物体を表示することができる。
【００１０】
前記空間図形入力装置の表示手段は、各々入力された信号に基づいて光の透過及び非透過を切り換え可能な左眼用光学素子及び右眼用光学素子を備えた立体視眼鏡を含むことができる。
【００１１】
左眼用画像及び右眼用画像を切り換えて仮想物体を表示するためには、入力された信号に基づいて光の透過及び非透過を切り換え可能な左眼用光学素子及び右眼用光学素子を備えた立体視眼鏡を用いることが好ましい。これによって、立体視眼鏡では、左眼用光学素子及び右眼用光学素子の各々が、光の透過及び未透過に切り換えられ、実空間内の予め定めた所定空間内に表示された実際の物体に相当する仮想物体をオペレータに容易に認知させることができる。
【００１２】
本発明の空間図形入力装置は、オペレータの眼球位置付近の位置を所定位置として検出する検出手段をさらに備え、前記設定手段は前記検出手段で検出された所定位置と前記入力手段で入力された空間座標とに基づいてオペレータの視線方向を表す特定方向情報を設定することを特徴とする。
【００１３】
図形入力する場合、オペレータは、目視しながら行うことが一般的である。このため、常にオペレータは入力手段を目視することになる。そこで、検出手段によって、オペレータの眼球位置を含む所定位置を検出することにより、オペレータの視線方向を求めることができる。そして、設定手段により所定位置と入力された空間座標とに基づいて特定方向情報を設定すなわち視線方向を設定すれば、オペレータの視線方向を正確に特定し、オペレータが指示した指示位置を正確に特定することができ、正確に位置入力をすることができる。
【００１４】
ここで、上記説明したように図形入力をする場合、オペレータは目視しながら行うが、その図形入力例えば線画や面画を入力したり修正したりするときには、逐次その入力が正確に反映される好ましい。本発明の空間図形入力装置では、入力された３次元の空間座標は、生成された平面上または曲面上の座標値のみ入力が可能となり、平面または曲面から逸脱した方向例えば奥行き方向の入力が除外される。この平面または曲面は、視線方向に対する入力を無視するように視線方向と交差（直交）する平面または曲面を設定することができる。この平面または曲面の設定を、入力手段の移動または指示により行うことで、逐次その入力に対する視線方向の入力誤差を無視できるようにすることができる。従って、逐次生成された平面または曲面の上でのみ入力が可能となり、リアルタイムで視線方向に対する入力誤差すなわち奥行き方向の入力誤差を解消して、オペレータが意図する位置で入力することができ、入力した空間座標が視線方向でばらつくことなく入力することができる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態は、オペレータ（観察者）に対して立体画像を提示しながら空間図形入力する場合に本発明を適用したものである。
【００１６】
図２に示すように、本実施の形態の立体画像表示装置１０は、暗室６０内に、表示手段としてのスクリーン１６に画像を投影するプロジェクタ１２を備えている。プロジェクタ１２は、台座１３上に取り付けられている。なお、プロジェクタ１２は、立体表示のための画像を生成する制御装置１４に接続されている。プロジェクタ１２とスクリーン１６との間で、プロジェクタ１２により投影するときの光線を遮光しない位置には、スクリーン１６側へ赤外線を照射する赤外線発信機１５が設けられている。
【００１７】
プロジェクタ１２の投影側でスクリーン１６より下流側にはオペレータＯＰが着座するためのシート２４が位置している。シート２４は台座２６上に設けられ、この台座２６は蛇腹２８Ａを介してモータ２８に連結されている。モータ２８は床上を移動可能な台車２８Ｂに固定されており、モータ２８の駆動によって、蛇腹２８Ａが伸縮する。この蛇腹２８Ａの伸縮により、台座２６が上下方向（図２の矢印ＵＤ方向）に移動され、シート２４に着座したオペレータＯＰが昇降する。このシート２４に着座したオペレータＯＰの昇降は、車種に応じた車高の調整に用いられるものである。なお、オペレータＯＰの昇降では、スクリーン１６に対してオペレータＯＰの位置が上下変動するため、台座２６の昇降量を考慮することが好ましい。この場合、台座２６の昇降量を検出する測定装置を設けることや、数値入力により昇降量を特定できる。
【００１８】
上記台車２８Ｂは、床上を所定方向（前後方向として図２の矢印ＦＲ方向、及び左右方向として図２の矢印ＲＬ方向）に移動可能である。この台車２８Ｂの移動により、スクリーン１６に対してオペレータＯＰの位置が変動するため、台車２８Ｂの移動量を考慮することが好ましい。この場合、台車２８Ｂの移動量を検出する測定装置を設けることや、数値入力により移動量を特定できる。
【００１９】
オペレータＯＰは、位置座標等を入力するための位置入力装置１８（詳細は後述）を所持している。この位置入力装置１８は本発明の入力手段として機能する。また、オペレータＯＰの頭部には、本発明の立体視眼鏡としての液晶シャッタ眼鏡２０が取り付けられており、この液晶シャッタ眼鏡２０には本発明の検出手段としての位置センサ２２が設けられている。位置センサ２２は、磁界検出センサであり、オペレータＯＰの後方に設けられた磁界発生装置３０から発生された磁界を検出して、位置センサ２２が位置する３次元座標及び方向を検出するためのものである。
【００２０】
なお、台座２６には、磁界発生装置３１が設けられている。この磁界発生装置３１は、高精度で空間座標を検出することが必要な空間、例えばオペレータＯＰが操作可能な空間である操作空間の磁気座標を検出するために用いられる。この磁界発生装置３１は、必要に応じて設ければよく、必須のものではない。
【００２１】
オペレータＯＰの周囲で離間した位置には、光学測定装置１７が設けられている。光学測定装置１７は、ＴＶカメラ１７Ａ，１７Ｂ，１７Ｃを備えており、ＴＶカメラ１７Ａ〜１７Ｃは支柱７Ｄ及び台座１７Ｅを介して床に固定されている。
【００２２】
図３に示すように、制御装置１４は、単数または複数のＣＰＵ３４，ＲＡＭ３６，ＲＯＭ３８、及び入出力ポート４０を含んだマイクロコンピュータで構成され、各々コマンドやデータ授受が可能なようにバス４２によって接続されている。この入出力ポート４０には、ドライバ５５を介して赤外線発信機１５が接続され、ドライバ５７を介して光学測定装置１７が接続されている。また、入出力ポート４０にはドライバ４４を介して位置入力装置１８が接続され、ドライバ４６を介して液晶シャッタ眼鏡２０が接続され、ドライバ４８を介して位置センサ２２が接続されている。また、プロジェクタ１２は、ドライバ５０を介して入出力ポート４０に接続されている。さらに、入出力ポート４０には、ドライバ５２を介してモータ２８が接続され、ドライバ５４を介して磁界発生装置３０が接続されている。また、入出力ポート４０にはドライバ５６を介してキーボード３２が接続されている。また、ＲＯＭ３８には、後述する処理ルーチンが記憶されている。
【００２３】
また、入出力ポート４０には、記録媒体としてのフロッピーディスク３７が挿抜可能なフロッピーデュスクユニット（ＦＤＵ）３５が接続されている。なお、後述する処理ルーチン等は、ＦＤＵ３５を用いてフロッピーディスク３７に対して読み書き可能である。従って、後述する処理ルーチンは、ＲＯＭ３８に記憶することなく、予めフロッピーディスク３７に記録しておき、ＦＤＵ３５を介してフロッピーディスク３７に記録された処理プログラムを実行してもよい。また、制御装置１４にハードディスク装置等の大容量記憶装置（図示省略）を接続し、フロッピーディスク３７に記録された処理プログラムを大容量記憶装置（図示省略）へ格納（インストール）して実行するようにしてもよい。また、記録媒体としては、ＣＤ−ＲＯＭ等の光ディスクや、ＭＤ，ＭＯ等の光磁気ディスクがあり、これらを用いるときには、上記ＦＤＵ３５に代えてまたはさらにＣＤ−ＲＯＭ装置、ＭＤ装置、ＭＯ装置等を用いればよい。
【００２４】
図４に示すように、位置入力装置１８は、ペン型形状のボデー６２を有しており、先端部に磁界を検出する検出部６４が取り付けられると共に、検出するタイミングを指示するための指示部６６が取り付けられている。検出部６４の先端には、オペレータＯＰによる座標指示を容易とするために、針状の突起６４Ａが設けられている。また、位置入力装置１８は、法線方向の指定等のために利用することが可能なダイヤル６８を備えている。この位置入力装置１８は制御装置１４に接続されている。
【００２５】
次に、本実施の形態の作用を説明する。
【００２６】
立体画像表示装置１０に電源が投入されると、制御装置１４において、図５の処理ルーチンが実行される。まず、ステップ１００では立体画像表示ためにスクリーン位置設定やオペレータＯＰの視点位置設定を含む初期設定がなされる。次のステップ１０２では実空間内における実際の空間位置と位置センサで検出した仮想空間となり得べき空間位置との誤差を補正するための空間補正処理による補正行列が求められる。そして、次のステップ１１０では、上記求めた補正行列を基にして実際の空間位置と位置センサで検出した空間位置との誤差が補正（空間補正）された仮想空間上に立体画像表示がなされる。なお、このステップ１１０では、図形入力もなされる。
【００２７】
上記ステップ１００ではスクリーン１６上に表示する画像の３次元位置を正確に把握するためのスクリーン位置設定及びオペレータＯＰの実際の視点位置を定めるための視点位置設定を含む初期設定がなされる。この初期設定は、スクリーン１６の実空間上の位置を設定する。例えば、スクリーン１６は固定されているため、スクリーン１６を実空間の基準位置とするように座標系を設定する。オペレータＯＰの位置は、上記のように、台車の移動や昇降により変動するため、標準的なオペレータＯＰが着座したことを想定して設定する。
【００２８】
上記の視点位置設定処理の詳細を説明する。図６に示すように、視点位置設定処理では、ステップ１４０においてスクリーン１６上に十字カーソル８１（図７）を表示させ、次のステップ１４２においてキーボード３２の入力に応じて十字カーソル８０を移動させる。ステップ１４２では、オペレータＯＰは、スクリーン１６上に写し出された自己の左右の瞳像８３Ｌ，８３Ｒ上に各々十字カーソル８１を移動させ（図７）、座標読み取り指示を行う。次のステップ１４４では、自己の左右の瞳像８３Ｌ，８３Ｒ上に合致された十字カーソル８１の位置を各々読み取り、次のステップ１４６において、視点位置を演算する。このステップ１４４で読みとった座標値から正視状態（略無限遠を目視した状態）の瞳孔間距離ＰＤを求めることができる。なお、ステップ１４６で求める視点位置は、オペレータＯＰの頭部に位置する位置センサ２２からの標準的な頭部形状から定まる距離で求めることができる。また、ペン型の位置入力装置１８の先端部の検出部６４をオペレータＯＰの眼球付近に位置させて入力した座標値から頭部形状を求め、その頭部形状から定まる距離を採用してもよい。
【００２９】
なお、上記実施の形態では、スクリーン１６上に写し出された自己の瞳像に十字カーソルを合わせ込む場合を説明したが、スクリーン１６上に自己の瞳が写し出されない場合には、オペレータＯＰとスクリーン１６との間にハーフミラー等の反射部材を設けて写し出すようにすればよい。
【００３０】
上記では、スクリーンを用いて視点位置を求めた場合を説明したが、眼球運動を直接検出して視線方向を求めることもできる。この眼球運動を直接検出するものとしては、瞳の回転運動や角膜の反射率変化から眼球の回転運動を検出するアイトラッカ（図示省略）がある。この場合、この図示しないアイトラッカからの出力信号が制御装置１４に入力するようにすればよい。また、このアイトラッカは液晶シャッタ眼鏡２０に取り付けることが好ましい。
【００３１】
次に、ステップ１０２（図５）の詳細を説明する。このステップ１０２では、実空間内の空間補正処理をする。実空間とは、磁界発生装置３０（及び３１）による位置検出可能な空間を少なくとも含むオペレータＯＰ周辺の領域をいう。
【００３２】
図５のステップ１０２では、図８の空間補正処理が実行される。まず、図８のステップ１１２において、図示しない格子プレートを実空間内に設置する。この格子プレートは、透明板に一定間隔の目盛が付与されており、光学測定装置１７で計測が可能に構成されている。例えば、透明板に直交する方向にすなわち格子状に所定間隔ｄで打点する。そして、スクリーン１６とオペレータＯＰとの間の距離が計測できる方向に設置する。
【００３３】
次にステップ１１４では位置入力装置１８を用いて、格子プレート上で複数の点を指示（指示部６６により検出を指示）する。次のステップ１１６では光学測定装置１７のＴＶカメラ１７Ａ〜１７Ｃにより位置入力装置１８（例えば先端部）を撮像することにより、光学的位置検出を行う。次のステップ１１８では、ＴＶカメラ１７Ａ〜１７Ｃにより撮像した画像を画像処理して位置入力装置１８の先端部から空間座標値（光学座標値）を求める。次のステップ１２０では、位置入力装置１８の指示部６６による指示で磁界を検出することにより、指示した先端部の座標値を入力する。これにより、磁界検出による座標値を算出することができる。
【００３４】
上記ステップ１１２乃至ステップ１２０の処理は、全体空間である３次元空間を網羅するように、格子プレートを設置して繰り返すことが望ましい。なお、光学的な検出は、複数のＴＶカメラによって画像処理により求めることができる場合には、省略が可能である。
【００３５】
上記光学的に実空間の座標導出と、磁界検出により座標導出とが終了すると、次のステップ１２２において、実空間の座標値（光学座標値）と、磁界検出の座標値（磁気座標値）とを用いて、これらの対応関係を求める。すなわち、磁気座標値を光学座標値に変換する４×４行列を求める。この４×４行列は、複数の対応関係から最小二乗法によって求めることができる。４×４行列を求めた後には、各行列成分を正規化し、また直交化し、補正行列とする。なお、行列成分の正規化や直交化は省略することもできる。
【００３６】
なお、上記補正行列は、実空間を複数の空間に分割したり分類したりして、各空間毎に補正行列を求めることができる。この場合、隣合う空間や重複する空間についてお互いの補正行列を補間したり補正したりする緩衝領域を設定することが好ましい。すなわち、実空間内において複数の空間が重複したり隣り合ったりするときに、座標変換による座標値が不連続になることがある。
【００３７】
図９に示すように、実空間内には、仮想物体を表示可能な全体空間８０、視点空間８４及び操作空間８２が含まれている。視点空間８４は視点の移動範囲すなわち頭部の移動範囲を網羅した空間であり、操作空間８２はオペレータＯＰの操作が可能な範囲すなわち腕の旋回や上下移動範囲を網羅した空間である。このような空間で、立体画像を表示させる場合、オペレータＯＰが目視するときの視点が移動したり、立体画像上に描画等を行うためにオペレータＯＰの例えば手による操作が移動したりする。これらの移動はその許容範囲内において大きさ及びその移動量や精度が異なるものとなる。このため、実空間と、磁界検出による検出位置とを一義的に対応させたのでは、誤差が多いことがある。そこで、本実施の形態では、実空間における実際の空間位置と位置センサで検出した仮想空間となり得べき空間位置との対応について、複数の空間を設定しその空間毎に補正することが好ましい。
【００３８】
また、上記空間補正処理では、格子プレートを用いることなく、空間フレーム座標データを予め用意し、そのデータによりフレームを表示することによっても可能である。例えば、空間フレーム座標データは、３次元空間上にて所定間隔ｄの座標値をＸＹＺの各方向に所定個（例えばｍ個）有する座標データとして、各座標点を直線で結ぶことにより、辺の長さｄの所定の大きさの小立方体が積み重ねられた辺の長さｍｄの立方体を構成することができる。この空間フレーム座標データによるフレーム表示は、長さｄの間隔で糸やレーザ光線（図示省略）をＸＹＺの各方向に直交するように配置することにより形成することができる。
【００３９】
この場合、表示されたフレームの交点座標を入力する、すなわち、位置入力装置１８の先端部の検出部６４を表示されたフレームの複数の交点に位置させて、各々で指示部６６により検出を指示して磁界を検出することにより、表示されたフレームの交点座標を入力することができる。
【００４０】
次に、ステップ１１０（図５）の詳細を説明する。このステップ１１０では、上記補正行列を用いて得た空間座標により立体画像を表示すると共に、図形入力による画像を表示する。
【００４１】
図１０を参照して、まず立体画像の表示について簡単に説明する。瞳孔間距離ＰＤのオペレータＯＰは、左眼の視点Ｌ、及び右眼の視点Ｒからスクリーン１６を目視する。このスクリーン１６上には、画像データによる画像が表示される。この画像データから瞳孔間距離ＰＤ及びスクリーン１６までの距離が考慮されて、視差を含んだ左眼用画像ＧＬ及び右眼用画像ＧＲが生成され、左眼用画像ＧＬ及び右眼用画像ＧＲが交互に表示される。瞳孔間距離ＰＤは、予め計測してもよく、また、標準的な数値を用いても良い。
【００４２】
上記の左眼用画像ＧＬ及び右眼用画像ＧＲの表示の切り換えに同期して、液晶シャッタ眼鏡２０の左眼部と右眼部との光の透過が切り換えられる。これによって、左眼により目視される左眼用画像ＧＬまでの領域と、右眼により目視される右眼用画像ＧＲまでの領域との重複領域が仮想物体を表示できる仮想空間Ｖｒとなり、左眼用画像ＧＬ及び右眼用画像ＧＲの表示による仮想物体が立体表示される。
【００４３】
なお、立体画像の表示は、スクリーン１６上に表示する左眼用画像ＧＬ及び右眼用画像ＧＲの重複領域を変化させることで、左眼により目視される左眼用画像ＧＬまでの領域と、右眼により目視される右眼用画像ＧＲまでの領域との重複領域を変化させることができ、仮想物体を表示できる仮想空間Ｖｒの大きさを変更することができる。
【００４４】
図５のステップ１１０の処理では、図１に示す立体画像表示処理ルーチンが実行される。なお、本ルーチンは、仮想立体空間内に立体画像を表示させると共に位置入力装置１８により線画等の描画修正を行うものである。まず、ステップ２００において仮想空間上に仮想物体を表示するための画像データを読み取り、次のステップ２０２において立体画像を表示する。このステップ２０２では、位置センサ２２を読み取ってオペレータＯＰの位置を読み取って位置センサ２２の座標値（磁気座標値）を実空間の座標値に変換し、変換された座標値を元にして画像データを補正した後に、立体画像を表示する。
【００４５】
次のステップ２０４では、位置入力装置１８により線をドラッグ等のようにつかんだか否かを判別することによって図形入力の開始か否かを判断し、図形入力が開始（ステップ２０４で肯定）されるまで、ステップ２０２へ戻り画像表示を繰り返す。図形入力が開始（ステップ２０４で肯定）されると、ステップ２０６へ進み、位置入力装置１８により指示されている磁気座標を読み取り、次のステップ２０８において位置入力装置１８の座標値（磁気座標値）を実空間の座標値に変換する。なお、ステップ２０６では、位置センサ２２を読み取ってオペレータＯＰの位置を読み取る。次のステップ２１０では、読み取った位置センサ２２の座標値（磁気座標値）から視点位置を演算し、次のステップ２１２において視線方向を設定する。このステップ２１２の視線方向の設定は、本発明の設定手段に相当する。
【００４６】
図１１に示すように、上記の視線方向は、位置入力装置１８により指示されている磁気座標点Ｐ１と、視点位置Ｐ２とを通過する直線９０に沿う方向を方向ベクトルとするものである。この場合、視点位置は、右眼位置または左眼位置、もしくは右眼位置及び左眼位置で定まる所定位置（例えば中心位置）で定める。
【００４７】
次のステップ２１４では、入力平面９２を生成する。この入力平面９２は、図１１に示すように、直線９０を法線とすると共に、位置入力装置１８で指示した座標点Ｐ１を通過する平面を入力平面９２に設定する。このステップ２１４の入力平面の設定は、本発明の生成手段に相当する。
【００４８】
次のステップ２１６では、上記ステップ２１４で設定した入力平面９２により、入力する座標を制限する。すなわち、空間座標は、３次元的であるため、オペレータＯＰが目視している位置であっても、奥行き方向にずれていることがある。このため、本実施の形態では、空間座標を入力平面９２に投影し、その入力平面９２上における座標のみ入力可能としている。このステップ２１６の座標変換は、本発明の変換手段に相当する。そして、次のステップ２１８で座標を出力する。このステップ２１８では、出力した座標に伴って図形を変形する処理も行う。次のステップ２２０では、オペレータＯＰの指示により図形入力が終了したか否かを判断し、否定されたときは、ステップ２０６へ戻り、肯定されたときは本ルーチンを終了する。
【００４９】
従って、図形入力処理中は、オペレータＯＰの座標入力位置を通過する視線方向を軸として交差（直交）する入力平面での入力に制限し、奥行き方向の入力を無視するように図形入力している。このため、図形入力処理中に、オペレータＯＰの視点や視線方向が変更された場合であっても、その変更に応じた入力平面が設定され、オペレータが意図する位置で入力することができ、入力した空間座標が視線方向でばらつくことなく入力することができる。
【００５０】
ところで、オペレータによる座標入力では、オペレータＯＰの視線方向に交差（直交）する入力座標成分に比べて視線方向の入力座標成分が、誤差が大きいことが知られている。これは、オペレータＯＰが所望の入力位置を指示した場合であっても、視線方向の入力座標成分が意図した位置よりずれて入力される場合があることを意味している。これによって、奥行き方向にずれた入力となることがあり、入力した位置が視線方向でばらついて入力される場合がある。本実施の形態では、上記のように入力を入力平面で制限し、奥行き方向の入力を無視するように図形入力しているので、奥行き方向の入力誤差を解消して、オペレータが意図する位置で入力することができる。
【００５１】
また、本実施の形態では、位置入力装置１８により指示された位置（磁気座標点Ｐ１）と、視線方向（視点位置Ｐ２を通過する直線９０に沿う方向）とにより入力平面９２を設定するので、逐次その入力に対する視線方向の入力誤差を無視できるようにすることができる。従って、逐次生成された平面または曲面の上でのみ入力が可能となり、リアルタイムで視線方向に対する入力誤差すなわち奥行き方向の入力誤差を解消して、オペレータが意図する位置で入力することができ、入力した空間座標が視線方向でばらつくことなく入力することができる。
【００５２】
次に、上記処理に従った入力平面９２における図形の修正を説明する。図１２に示すように、オペレータＯＰの前方には、仮想物体ＶＭが表示されている。オペレータの指示により位置入力装置１８で仮想物体ＶＭを構成するフレーム線９４上の座標点Ｐ１が指示される。また、位置センサ２２によりオペレータＯＰの位置が読み取られ、視点位置が演算されて、視点位置Ｐ２と、座標点Ｐ１とにより視線方向（図１１の直線９０）が設定される。そして、視線方向を法線としかつ、座標点Ｐ１を通過する入力平面９２が設定される。これにより、奥行き方向の入力を無視するように入力でき、視線方向（奥行き方向）の入力誤差を解消して、オペレータが意図する位置で入力することができる。すなわち、入力平面９２上における方向（図１２の矢印Ｘ方向及び逆方向と、図１２の矢印Ｙ方向及び逆方向）のみ入力が可能となり、奥行き方向（図１２の矢印Ｚ方向及び逆方向）の入力が制限される。これによって、視線方向にばらつきのない入力が可能となる。
【００５３】
次に、オペレータＯＰは、仮想物体ＶＭを構成するフレーム線９４を指示しながら移動させ、フレーム線９４を変形させ、変形フレーム線９４Ａを得る（表示される）。この場合、位置入力装置１８の移動により視線方向（図１１の直線９０）が変更されるが、視点位置Ｐ２と、移動された座標点とにより新規の視線方向が設定され、その視線方向を法線としかつ、移動された座標点を通過する新規の入力平面が設定される。これにより、位置入力装置１８の移動の移動先での奥行き方向の入力を無視するように入力でき、視線方向（奥行き方向）の入力誤差を解消して、オペレータが意図する位置で入力することができる。このとき、変形フレーム線９４Ａは、位置入力装置１８の移動の移動先で入力された視線方向（奥行き方向）の入力誤差が解消されている位置座標を用いて補間処理等により求めることができる。
【００５４】
さらにオペレータＯＰは、フレーム線９４を変形させ、変形フレーム線９４Ｂを得て、修正を完了とする。この場合も上記と同様に、位置入力装置１８の移動により視線方向は変更されるが、視点位置Ｐ２と、移動された座標点とにより設定された視線方向を法線としかつ、移動された座標点を通過する新規の入力平面が設定される。これにより、位置入力装置１８の移動の移動先での奥行き方向の入力を無視するように入力でき、視線方向（奥行き方向）の入力誤差を解消して、オペレータが意図する位置で入力することができる。
【００５５】
このように、位置入力装置１８の移動により視線方向が変化する場合であっても、リアルタイムで入力平面が生成され、視線方向（奥行き方向）の入力を無視するように入力でき、視線方向（奥行き方向）の入力誤差を解消して、オペレータが意図する位置で視線方向にばらつきのない入力をすることができる。
【００５６】
なお、上記実施の形態では、リアルタイムで入力平面を生成し、逐次視線方向（奥行き方向）の入力を無視するようにしたが、本発明はこれに限定されるものではなく、所定時間毎に平面を生成したり基準平面について上記処理を行っても良い。例えば、フレーム線９４は、最初の入力平面９２を基準としてこの平面上でのみ移動させるようにしてもよい。このようにすると、変形フレーム線９４Ａ，９２Ｂは入力平面９２上に存在することになる。この場合にも、入力平面９２上における方向（図１２の矢印Ｘ方向及び逆方向と、図１２の矢印Ｙ方向及び逆方向）のみ入力が可能となり、奥行き方向（図１２の矢印Ｚ方向及び逆方向）の入力が制限される。これによって、視線方向にばらつきのない入力が可能となる。
【００５７】
このように、本実施の形態では、座標入力を、視線方向を法線とする平面上でのみ可能すなわち入力平面上の座標成分のみ入力を可能としたため、奥行き方向にぶれやばらつきが無く、安定して入力することができる。これによって、操作精度を向上させることができる。
【００５８】
なお、上記実施の形態では、位置入力装置により指示した座標点を通過する平面を入力平面とした場合を説明したが、本発明はこれに限定されるものではなく、予め定めた位置を通過する平面を入力平面として定めてもよい。また、視線方向を法線とする平面を入力平面として定めたが、本発明は、これに限定されるものではなく、視線方向から任意の角度を有する方向を法線とする平面を入力平面として定めても良い。
【００５９】
また、上記実施の形態では、視線方向を求めてその視線方向を用いた場合を説明したが、本発明はこれに限定されるものではなく、オペレータが任意に設定した方向を用いてもよい。
【００６０】
【発明の効果】
以上説明したように本発明によれば、空間座標と特定方向情報とにより生成された平面または曲面の上でのみ入力が可能となり、視線方向に対する入力誤差すなわち奥行き方向の入力誤差が解消され、オペレータが意図する位置の空間座標、すなわち、奥行き方向に意図する位置からずれた位置となることなく入力することができ、入力した空間座標が視線方向でばらつくことなく入力することができる、という効果がある。
【００６１】
また、オペレータの眼球位置付近の位置を所定位置として検出することにより、オペレータの視線方向を求めることができるので、設定手段により所定位置と入力された空間座標とに基づいて特定方向情報を設定すなわち視線方向を設定すれば、オペレータの視線方向を正確に特定し、オペレータが指示した指示位置を正確に特定することができ、正確に位置入力をすることができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる立体画像表示の処理の流れを示すフローチャートである。
【図２】本実施の形態にかかる立体画像表示装置の概略構成を示すブロック図である。
【図３】本実施の形態にかかる立体画像表示装置の制御装置の概略構成を示すブロック図である。
【図４】位置入力装置の概略構成を示すイメージ図である。
【図５】立体画像表示装置で立体画像を表示させる処理の流れを示すフローチャートである。
【図６】視点位置設定処理の流れを示すフローチャートである。
【図７】視点位置設定処理の過程を説明するためのイメージ図である。
【図８】立体画像表示処理における補正行列演算処理の流れを示すフローチャートである。
【図９】全体空間、視点空間及び操作空間を示すイメージ図である。
【図１０】立体画像表示の過程を説明するためのイメージ図である。
【図１１】奥行き方向を制限する入力平面を生成するための視線方向の説明図である。
【図１２】奥行き方向を制限する入力平面を説明するための説明図である。
【符号の説明】
１０立体画像表示装置
１２プロジェクタ
１４制御装置
１６スクリーン
１８位置入力装置
２０液晶シャッタ眼鏡
２２位置センサ
３０磁界発生装置

Claims

実空間内に仮想物体を表示する表示手段と、
前記仮想物体を表示するための実空間内の空間座標を入力する入力手段と、
オペレータの眼球位置付近の位置を所定位置として検出する検出手段と、
前記検出手段で検出された所定位置と前記入力手段で入力された空間座標とに基づいて、オペレータの視線方向を表す特定方向情報を設定する設定手段と、
前記入力手段により入力された空間座標と、前記設定された特定方向情報とに基づいて平面または曲面を生成する生成手段と、
前記生成手段により平面または曲面が生成された後に入力された空間座標について、前記生成された平面上または曲面上の成分のみを入力座標に前記空間座標を変換する変換手段と、
を備えた空間図形入力装置。
前記表示手段は、左眼用画像及び右眼用画像を切り換えて仮想物体を表示することを特徴とする請求項１に記載の空間図形入力装置。
前記表示手段は、各々入力された信号に基づいて光の透過及び非透過を切り換え可能な左眼用光学素子及び右眼用光学素子を備えた立体視眼鏡を含むことを特徴とする請求項１または２に記載の空間図形入力装置。