JP3546756B2

JP3546756B2 - 空間座標入力装置

Info

Publication number: JP3546756B2
Application number: JP14236299A
Authority: JP
Inventors: 俊仁星野; 徹大関
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1999-05-21
Filing date: 1999-05-21
Publication date: 2004-07-28
Anticipated expiration: 2019-05-21
Also published as: JP2000330709A

Description

【０００１】
【発明の属する技術分野】
本発明は、空間座標入力装置にかかり、特に、仮想立体空間内に仮想物体を表示する立体画像表示装置に用いて好適な、空間内の座標を入力するための空間座標入力装置に関する。
【０００２】
【従来の技術】
車両の車体の形状や部品等を設計や評価する場合、設計値による部材（設計値と同一の値である実物）を作成して評価や検討そして再設計という処理を繰り返し行っていた。ところが、実物を作成して検討や再設計を繰り返すことは、膨大な時間を必要とする。このため、実物である部材を製作することなく、評価や検討することを可能とする装置の必要性が叫ばれている。
【０００３】
このような装置として、設計値により形成されるべき実物に相当する仮想物体を仮想空間上に表示させる、コンピュータグラフィック（ＣＧ）の立体画像により再現して検討を行うことや再設計の情報を得ることが注目されている。すなわち、最近では、設計段階からＣＡＤを用いたコンピュータ設計が行われており、このＣＡＤデータを用いて立体画像用のデータを生成し、立体画像を表示させることが可能となってきている。一例としては、立体視眼鏡を用いて、３次元空間を生成し、その仮想空間内の仮想物体を操作することにより、ＣＡＤの操作性を向上させる立体表示装置が知られている（特開平６−１３１４４２号公報参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら、実物である部材を仮想的に表示する場合には、実物と同一サイズの表示や予め定めた一定尺度による表示を行わなければならないが、従来の立体表示装置では、表示精度について十分な検討がなされておらず、実物と同一サイズの表示や予め定めた一定尺度による表示をすることが困難であった。このため、仮想的に表示された仮想物体の位置を指示したり、位置や形状を変更したりするときには、オペレータの意図と異なる表示がなされ、所望の位置や形状を実現することが困難であった。
【０００５】
本発明は、上記事実を考慮して、入力した空間座標を反映して仮想立体空間内に忠実に再現された仮想物体を表示することができる空間座標入力装置を得ることが目的である。
【０００６】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明の空間座標入力装置は、実空間内の予め定めた所定空間に仮想物体を表示する表示手段と、前記所定空間を少なくとも含む実空間内位置としてオペレータの視点位置及びオペレータによる指示位置の各々の空間座標を検出する検出手段と、前記所定空間内に前記オペレータの視点位置の移動許容範囲を少なくとも含む視点空間を含む複数の小領域を設定する設定手段と、前記視点空間を含む小領域をのぞく小領域の各々について、前記所定空間内の実座標と前記検出手段により検出される空間座標との対応関係を予め求め記憶しかつ、前記検出手段により検出された空間座標から、該空間座標の位置を含む小領域に属する対応関係を用いて前記指示位置の実座標を求めると共に、前記視点空間を含む小領域について前記所定空間内の実座標と前記検出手段により検出される空間座標との対応関係を前記視点空間を含む小領域をのぞく小領域に比べて詳細に予め求め記憶しかつ前記検出手段により検出された空間座標から該空間座標の位置を含む小領域に属する対応関係を用いて前記視点位置の実座標を求める演算手段と、前記演算手段により求めた前記視点位置及び前記指示位置の各々座標値を実座標値として入力する入力手段と、を備えている。
【０００７】
本発明の空間座標入力装置は、表示手段により、実空間内の予め定めた所定空間に仮想物体が表示される。この所定空間を少なくとも含む実空間内位置の空間座標は、検出手段により検出される。所定空間には、設定手段により複数の小領域が設定される。これらの小領域の各々には、所定空間内の実座標と検出手段により検出される空間座標との対応関係が予め求め記憶される。演算手段は、検出手段により検出された空間座標から、該空間座標の位置を含む小領域に属する（記憶されている）対応関係を用いて指示位置の実座標を求める。入力手段は、演算手段により求めた座標値を実座標値として入力する。このように、小領域に属する対応関係を用いて実座標を求めることができるので、実座標と検出座標に違いがあっても、対応関係により補正され、正確な座標を求めることができる。
【０００８】
請求項２に記載の発明は、請求項１に記載の空間座標入力装置において、前記表示手段は、左眼用画像及び右眼用画像を切り換えて仮想物体を表示することを特徴とする。
【０００９】
物体を立体的に表示するためには、左眼用画像及び右眼用画像を用意して、切り換えて表示することにより、容易に仮想物体を表示することができる。そこで、表示手段において、左眼用画像及び右眼用画像を切り換えて仮想物体を表示すれば、実空間内の予め定めた所定空間に仮想物体を表示することができる。
【００１０】
請求項３に記載の発明は、請求項１または２に記載の空間座標入力装置において、前記表示手段は、各々入力された信号に基づいて光の透過及び非透過を切り換え可能な左眼用光学素子及び右眼用光学素子を備えた立体視眼鏡を含むことを特徴とする。
【００１１】
左眼用画像及び右眼用画像を切り換えて仮想物体を表示するためには、入力された信号に基づいて光の透過及び非透過を切り換え可能な左眼用光学素子及び右眼用光学素子を備えた立体視眼鏡を用いることが好ましい。これによって、立体視眼鏡では、左眼用光学素子及び右眼用光学素子の各々が、光の透過及び未透過に切り換えられ、実空間内の予め定めた所定空間内に表示された実際の物体に相当する仮想物体をオペレータに容易に認知させることができる。
【００１２】
請求項４に記載の発明は、請求項１乃至請求項３の何れか１項に記載の空間座標入力装置において、前記検出手段は、オペレータの頭部位置を検出しかつ検出結果から前記視点位置を求めることを特徴とする。
【００１３】
検出手段によって、オペレータの頭部位置及びオペレータによる指示位置を検出することにより、オペレータの位置を正確に特定したり、オペレータが指示した指示位置を正確に特定したりすることができ、正確に位置入力をすることができる。
【００１４】
請求項５に記載の発明は、請求項１乃至請求項４の何れか１項に記載の空間座標入力装置において、前記設定された複数の小領域の一部が重複する場合、該重複部分に属する小領域の対応関係の各々に基づいて、重複部分内の実座標と前記検出手段により検出される空間座標との対応関係をさらに求めて記憶することを特徴とする。
【００１５】
所定空間に、複数の小領域を設定したときに小領域の少なくとも一部が重複場合には、その重複部分において、実座標と空間座標との対応関係が複数存在することになる。そこで、複数の小領域の一部が重複する場合、重複部分に属する小領域の対応関係の各々に基づいて、重複部分内の実座標と検出手段により検出される空間座標との対応関係をさらに求めて記憶することによって、重複部分内にあっても実座標と空間座標との対応関係が一意に対応され、円滑に対応関係を構成することができる。
【００１６】
請求項６に記載の発明は、請求項１乃至請求項４の何れか１項に記載の空間座標入力装置において、前記設定手段は、前記所定空間を分割することにより複数の小領域を設定することを特徴とする。
【００１７】
所定空間に、複数の小領域を設定するときに、小領域が離間して設定された場合には、実座標と空間座標との対応関係が存在しない領域が存在する場合がある。そこで、設定手段により、所定空間を分割することにより複数の小領域を設定するにより、所定空間内の全域に渡って実座標と空間座標とを対応させることができる。
【００１８】
請求項７に記載の発明は、請求項６に記載の空間座標入力装置において、前記隣接する複数の小領域について、予め定めた大きさの緩衝領域をさらに設定し、隣接する小領域の対応関係の各々に基づいて、緩衝領域内の実座標と前記検出手段により検出される空間座標との対応関係をさらに求めて記憶することを特徴とする。
【００１９】
所定空間を分割して、複数の小領域を設定したときには、その境界部分において、実座標と空間座標との対応関係が不連続になる場合がある。そこで、その境界付近を含むように、予め定めた大きさの緩衝領域をさらに設定し、緩衝領域に属する小領域すなわち隣接する小領域の対応関係の各々に基づいて、緩衝領域内の実座標と空間座標との対応関係をさらに求めて記憶することによって、隣り合う小領域に渡って実座標と空間座標との対応関係が不連続になることなく、円滑に対応関係を構成ことができる。
【００２０】
請求項８に記載の発明は、請求項１乃至請求項７の何れか１項に記載の空間座標入力装置において、前記実空間内に通常指示領域及び特定指示領域を予め定め、前記入力手段は、前記検出手段により検出された実空間内位置が通常指示領域内に含まれる場合に前記演算手段により求めた座標値を実座標値として入力すると共に、特定指示領域内に含まれる場合に予め定めた制御情報を入力することを特徴とする。
【００２１】
空間座標を入力しているとき、その入力に対するコマンドを入力したり、他のコマンドを入力したり仕様を変更したりする場合がある。このときには、新規の入力装置を追加することで対処可能であるが、操作が煩雑であったり装置が複雑であったりする。そこで、実空間内に通常指示領域及び特定指示領域を予め定めておき、入力手段による入力を、検出手段により検出された実空間内位置が通常指示領域内に含まれる場合に演算手段により求めた座標値を実座標値として入力すると共に、特定指示領域内に含まれる場合に予め定めた制御情報を入力するようにする。これにより、空間座標の入力と制御情報の入力とを容易に切り替えることができる。
【００２２】
請求項９に記載の発明は、請求項８に記載の空間座標入力装置において、前記制御情報は、予め定めた複数の機能を選択指示することを表す指示情報であることを特徴とする。
【００２３】
仮想物体を表示して空間座標を入力する装置では、予め定めた複数の機能を有していることがある。例えば、前記制御情報の入力には、コマンドの入力、画面仕様の変更、及び処理の実行や、目次やメニュー選択する機能入力等がある。そこで、予め定めた複数の機能を選択指示することを表す指示情報を入力するようにすれば、予め定めた複数の機能を容易に選択することが可能となる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【００２５】
〔第１実施の形態〕
第１実施の形態は、オペレータ（観察者）に対して立体画像を提示しながら空間座標入力する場合に本発明を適用したものである。
【００２６】
図２に示すように、本実施の形態の立体画像表示装置１０は、暗室６０内に、本発明の表示手段としてのスクリーン１６に画像を投影するプロジェクタ１２を備えている。プロジェクタ１２は、台座１３上に取り付けられている。なお、プロジェクタ１２は、立体表示のための画像を生成する制御装置１４に接続されている。プロジェクタ１２とスクリーン１６との間で、プロジェクタ１２により投影するときの光線を遮光しない位置には、スクリーン１６側へ赤外線を照射する赤外線発信機１５が設けられている。
【００２７】
プロジェクタ１２の投影側でスクリーン１６より下流側にはオペレータＯＰが着座するためのシート２４が位置している。シート２４は台座２６上に設けられ、この台座２６は蛇腹２８Ａを介してモータ２８に連結されている。モータ２８は床上を移動可能な台車２８Ｂに固定されており、モータ２８の駆動によって、蛇腹２８Ａが伸縮する。この蛇腹２８Ａの伸縮により、台座２６が上下方向（図２の矢印ＵＤ方向）に移動され、シート２４に着座したオペレータＯＰが昇降する。このシート２４に着座したオペレータＯＰの昇降は、車種に応じた車高の調整に用いられるものである。なお、オペレータＯＰの昇降では、スクリーン１６に対してオペレータＯＰの位置が上下変動するため、台座２６の昇降量を考慮することが好ましい。この場合、台座２６の昇降量を検出する測定装置を設けることや、数値入力により昇降量を特定できる。
【００２８】
上記台車２８Ｂは、床上を所定方向（前後方向として図２の矢印ＦＲ方向、及び左右方向として図２の矢印ＲＬ方向）に移動可能である。この台車２８Ｂの移動により、スクリーン１６に対してオペレータＯＰの位置が変動するため、台車２８Ｂの移動量を考慮することが好ましい。この場合、台車２８Ｂの移動量を検出する測定装置を設けることや、数値入力により移動量を特定できる。
【００２９】
オペレータＯＰは、位置座標等を入力するための位置入力装置１８（詳細は後述）を所持している。この位置入力装置は、本発明の検出手段に相当する。また、オペレータＯＰの頭部には、本発明の立体視眼鏡としての液晶シャッタ眼鏡２０が取り付けられており、この液晶シャッタ眼鏡２０には位置センサ２２が設けられている。位置センサ２２は、磁界検出センサであり、オペレータＯＰの後方に設けられた磁界発生装置３０から発生された磁界を検出して、位置センサ２２が位置する３次元座標及び方向を検出するためのものである。
【００３０】
なお、台座２６には、磁界発生装置３１が設けられている。この磁界発生装置３１は、高精度で空間座標を検出することが必要な空間、例えばオペレータＯＰが操作可能な空間である操作空間の磁気座標を検出するために用いられる。この磁界発生装置３１は、必要に応じて設ければよく、必須のものではない。
【００３１】
オペレータＯＰの周囲で離間した位置には、光学測定装置１７が設けられている。光学測定装置１７は、ＴＶカメラ１７Ａ，１７Ｂ，１７Ｃを備えており、ＴＶカメラ１７Ａ〜１７Ｃは市中７Ｄ及び台座１７Ｅを介して床に固定されている。
【００３２】
図３に示すように、制御装置１４は、単数または複数のＣＰＵ３４，ＲＡＭ３６，ＲＯＭ３８、及び入出力ポート４０を含んだマイクロコンピュータで構成され、各々コマンドやデータ授受が可能なようにバス４２によって接続されている。この入出力ポート４０には、ドライバ５５を介して赤外線発信機１５が接続され、ドライバ５７を介して光学測定装置１７が接続されている。また、入出力ポート４０にはドライバ４４を介して位置入力装置１８が接続され、ドライバ４６を介して液晶シャッタ眼鏡２０が接続され、ドライバ４８を介して位置センサ２２が接続されている。また、プロジェクタ１２は、ドライバ５０を介して入出力ポート４０に接続されている。さらに、入出力ポート４０には、ドライバ５２を介してモータ２８が接続され、ドライバ５４を介して磁界発生装置３０が接続されている。また、入出力ポート４０にはドライバ５６を介してキーボード３２が接続されている。また、ＲＯＭ３８には、後述する処理ルーチンが記憶されている。
【００３３】
また、入出力ポート４０には、記録媒体としてのフロッピーディスク３７が挿抜可能なフロッピーデュスクユニット（ＦＤＵ）３５が接続されている。なお、後述する処理ルーチン等は、ＦＤＵ３５を用いてフロッピーディスク３７に対して読み書き可能である。従って、後述する処理ルーチンは、ＲＯＭ３８に記憶することなく、予めフロッピーディスク３７に記録しておき、ＦＤＵ３５を介してフロッピーディスク３７に記録された処理プログラムを実行してもよい。また、制御装置１４にハードディスク装置等の大容量記憶装置（図示省略）を接続し、フロッピーディスク３７に記録された処理プログラムを大容量記憶装置（図示省略）へ格納（インストール）して実行するようにしてもよい。また、記録媒体としては、ＣＤ−ＲＯＭ等の光ディスクや、ＭＤ，ＭＯ等の光磁気ディスクがあり、これらを用いるときには、上記ＦＤＵ３５に代えてまたはさらにＣＤ−ＲＯＭ装置、ＭＤ装置、ＭＯ装置等を用いればよい。
【００３４】
図４に示すように、位置入力装置１８は、ペン型形状のボデー６２を有しており、先端部に磁界を検出する検出部６４が取り付けられると共に、検出するタイミングを指示するための指示部６６が取り付けられている。位置入力装置１８は制御装置１４に接続されている。検出部６４の先端には、オペレータＯＰによる座標指示を容易とするために、針状の突起６４Ａが設けられている。
【００３５】
なお、本実施の形態では、３次元の座標入力及び表示を正確にするため、詳細は後述するが、実座標と空間座標（磁界を検出することにより特定する位置）との対応を求めている。この場合、位置入力装置１８として、図５に示すポインタ１９を用いて光学測定装置１７による光学的な計測により対応を求めている。
【００３６】
図５（Ａ）に示すポインタ１９は、長尺上で後端から先端に向かい徐々に幅が狭くされ空間位置の指示が容易な形状とされている。このポインタ１９には、先端付近及び後端付近に画像検出のためのマーク１９Ｍが設けられている。これらのマーク１９Ｍを検出することにより、ポインタ１９により指示した空間位置及び方向を特定することができる。なお、図５（Ａ）に示すポインタ１９も位置入力装置１８と同様に、その先端に、オペレータＯＰによる座標指示を容易とするために、針状の突起１９Ａが設けられている。図５（Ｂ）に示すポインタ１９は、Ｔ字形状をしており、各々の端部付近にマーク１９Ｍが設けられている（合計３個）。なお、これらのマーク１９Ｍは上記個数に限定されるものではなく、少なくとも２つ以上すなわち複数あればよい。
【００３７】
次に、本実施の形態の作用を説明する。立体画像を表示させる場合、オペレータＯＰが目視するときの視点が移動したり、立体画像上に描画等を行うためにオペレータＯＰの例えば手による操作が移動したりする。これらの移動はその許容範囲内において大きさ及びその移動量や精度が異なるものとなる。このため、実空間と、磁界検出による検出位置とを一義的に対応させたのでは、誤差が多いことがある。そこで、本実施の形態では、実空間における実際の空間位置と位置センサで検出した仮想空間となり得べき空間位置との対応について、複数の空間を設定しその空間毎に補正している。
【００３８】
立体画像表示装置１０に電源が投入されると、制御装置１４において、図１の処理ルーチンが実行される。まず、ステップ１００では立体画像表示ためにスクリーン位置設定やオペレータＯＰの視点位置設定を含む初期設定がなされる。次のステップ１０２では実空間内全てにおける実際の空間位置と位置センサで検出した仮想空間となり得べき空間位置との誤差を補正するための全体空間補正処理による全体補正行列が求められ、次のステップ１０４ではオペレータＯＰの視点空間内における実際の空間位置と位置センサで検出した空間位置との誤差を補正するための視点空間補正処理による視点補正行列が求められ、次のステップ１０６ではオペレータＯＰの操作空間内における実際の空間位置と位置センサで検出した空間位置との誤差を補正するための操作空間補正処理による操作補正行列が求められる。次に、ステップ１０８では全体空間内に含まれる視点空間および操作空間に対する緩衝領域（ブレンド領域）を設定して緩衝領域内における実際の空間位置と位置センサで検出した空間位置との誤差を補正するための緩衝領域補正処理による緩衝補正行列が求められる。そして、次のステップ１１０では、上記求められた各行列を基にして実際の空間位置と位置センサで検出した空間位置との誤差が補正（空間補正）された仮想空間上に立体画像表示がなされる。
【００３９】
なお、上記ステップ１０２乃至ステップ１１０の処理は、本発明の演算手段の処理に相当する。
【００４０】
上記ステップ１００ではスクリーン１６上に表示する画像の３次元位置を正確に把握するためのスクリーン位置設定及びオペレータＯＰの実際の視点位置を定めるための視点位置設定を含む初期設定がなされる。この初期設定は、スクリーン１６の実空間上の位置を設定する。例えば、スクリーン１６は固定されているため、スクリーン１６を実空間の基準位置とするように座標系を設定する。オペレータＯＰの位置は、上記のように、台車の移動や昇降により変動するため、標準的なオペレータＯＰが着座したことを想定して設定する。
【００４１】
次に、ステップ１０２（図１）の詳細を説明する。このステップ１０２では、実空間内の全体空間補正処理をする。全体空間とは、磁界発生装置３０（及び３１）による位置検出可能な空間を少なくとも含むオペレータＯＰ周辺の領域をいう。
【００４２】
図１のステップ１０２では、図６の空間補正処理が実行される。まず、図６のステップ１１２において、図示しない格子プレートを実空間内に設置する。この格子プレートは、透明板に一定間隔の目盛が付与されており、光学測定装置１７で計測が可能に構成されている。例えば、透明板に直交する方向にすなわち格子状に所定間隔ｄで打点する。そして、スクリーン１６とオペレータＯＰとの間の距離が計測できる方向に設置する。
【００４３】
次にステップ１１４ではポインタ１９を用いて、格子プレート上で複数の点を指示する。これと共に、ペン型の位置入力装置１８の先端部の検出部６４をポインタ１９のマーク１９Ｍに位置させて、指示部６６により検出を指示する。次のステップ１１６では光学測定装置１７のＴＶカメラ１７Ａ〜１７Ｃによりポインタを撮像することにより、光学的位置検出を行う。次のステップ１１８では、ＴＶカメラ１７Ａ〜１７Ｃにより撮像した画像を画像処理してポインタ１９のマーク１９Ｍから空間座標値（光学座標値）を求める。次のステップ１２０では、位置入力装置１８の指示部６６による指示で磁界を検出することにより、指示したポインタ１９のマーク１９Ｍの座標値を入力する。これにより、磁界検出による座標値を算出することができる。
【００４４】
上記ステップ１１２乃至ステップ１２０の処理は、全体空間である３次元空間の全てを網羅するように、格子プレートを設置して繰り返すことが望ましい。なお、光学的な検出は、複数のＴＶカメラによって画像処理により求めることができる場合には、省略が可能である。
【００４５】
上記光学的に実空間の座標導出と、磁界検出により座標導出とが終了すると、次のステップ１２２において、実空間の座標値（光学座標値）と、磁界検出の座標値（磁気座標値）とを用いて、これらの対応関係を求める。すなわち、磁気座標値を光学座標値に変換する４×４行列を求める。この４×４行列は、複数の対応関係から最小二乗法によって求めることができる。４×４行列を求めた後には、各行列成分を正規化し、また直交化し、補正行列とする。なお、行列成分の正規化や直交化は省略することもできる。
【００４６】
上記のようにして求めた補正行列を全体補正行列とする。これによって、磁界の検出により入力された座標値は、補正行列を用いて実際の光学座標値に変換することができる。
【００４７】
なお、上記空間補正処理では、格子プレートを用いることなく、空間フレーム座標データを予め用意し、そのデータによりフレームを表示することによっても可能である。例えば、空間フレーム座標データは、３次元空間上にて所定間隔ｄの座標値をＸＹＺの各方向に所定個（例えばｍ個）有する座標データとして、各座標点を直線で結ぶことにより、辺の長さｄの所定の大きさの小立方体が積み重ねられた辺の長さｍｄの立方体を構成することができる。この空間フレーム座標データによるフレーム表示は、長さｄの間隔で糸やレーザ光線（図示省略）をＸＹＺの各方向に直交するように配置することにより形成することができる。
【００４８】
この場合、表示されたフレームの交点座標を入力する、すなわち、位置入力装置１８の先端部の検出部６４を表示されたフレームの複数の交点に位置させて、各々で指示部６６により検出を指示して磁界を検出することにより、表示されたフレームの交点座標を入力することができる。
【００４９】
次に、ステップ１０４（図１）の詳細を説明する。このステップ１０４では、実空間内の視点空間補正処理をする。視点空間とは、オペレータＯＰの視点位置の移動許容範囲を少なくとも含む領域をいう。
【００５０】
図１のステップ１０４では、上記全体空間補正処理と同様に、図６の空間補正処理が実行される。なお、本処理は図６の処理と同様のため、同一符号を用いて略説する。まず、視点空間を計測可能なように、図示しない格子プレートを実空間内に設置する（図６のステップ１１２）。なお、視点空間は、全体空間に比べ高精度で検出する必要があるため、格子プレートは、全体空間計測に比べてより細かな目盛を付与する。
【００５１】
次に、格子プレート上の複数の点でポインタ１９のマーク１９Ｍを位置させ、ポインタ１９のマーク１９Ｍに位置入力装置１８の検出部６４を位置させて指示し（ステップ１１４）、ＴＶカメラ１７Ａ〜１７Ｃにより撮像した画像を画像処理して空間座標値（光学座標値）を求めかつ磁界を検出して磁気座標値を入力する（ステップ１１６〜１２０）。この処理を、視点空間を網羅するように、行う。
【００５２】
これらの実空間の座標値（光学座標値）と、磁界検出の座標値（磁気座標値）とを用いて対応関係、すなわち、磁気座標値を光学座標値に変換する４×４行列を求め、行列成分の正規化や直交化して求めた補正行列を視点補正行列とする（ステップ１２２）。これによって、視点空間内で磁界検出により入力された座標値は、補正行列を用いて実際の光学座標値に変換することができる。
【００５３】
次に、ステップ１０６（図１）の詳細を説明する。このステップ１０６では、実空間内の操作空間補正処理をする。操作空間とは、オペレータＯＰの操作が可能な空間すなわちオペレータＯＰの手が移動可能な移動許容範囲を少なくとも含む領域をいう。
【００５４】
図１のステップ１０６では、上記全体空間補正処理と同様に、図６の空間補正処理が実行される。なお、本処理は図６の処理と同様であるため、異なる部分を略説する。まず、操作空間を計測可能なように、図示しない格子プレートを実空間内に設置する（図６のステップ１１２）。なお、操作空間も上記視点空間と同様に、全体空間に比べ高精度で検出する必要があるため、格子プレートは、全体空間計測に比べてより細かな目盛を付与する。
【００５５】
そして、ポインタ１９及び位置入力装置１８の指示により、空間座標値（光学座標値）及び磁界検出による磁気座標値を入力する（ステップ１１４〜１２０）。この処理を、操作空間を網羅するように行い、実空間の座標値（光学座標値）と、磁界検出の座標値（磁気座標値）とを用いて対応関係である磁気座標値を光学座標値に変換する４×４行列を求めて行列成分の正規化及び直交化した補正行列を視点補正行列とする（ステップ１２２）。これによって、操作空間内で磁界検出により入力された座標値は、補正行列を用いて実際の光学座標値に変換することができる。
【００５６】
次に、ステップ１０８（図１）の詳細を説明する。このステップ１０８では、緩衝空間補正処理をする。全体空間内において複数の空間が重複したり隣り合ったりするときに、座標変換による座標値が不連続になることがある。緩衝空間とは、このような不連続を解消するための領域であり、座標変換が全域に渡って滑らかに変換できるようにした領域をいう。
【００５７】
図９に示すように、全体空間８０内には、視点空間８４及び操作空間８２が含まれている。視点空間８４は視点の移動範囲すなわち頭部の移動範囲を網羅した空間であり、操作空間８２はオペレータＯＰの操作が可能な範囲すなわち腕の旋回や上下移動範囲を網羅した空間である。
【００５８】
なお、図９の例では全体空間８０内に視点空間８４及び操作空間８２が含まれているが、本発明はこれに限定されるものではない。また、全体空間８０に視点空間８４及び操作空間８２の２つの空間が存在する場合を説明したが、２つの空間に限定されるものではなく、１つの空間のみであってもよくまた３つ以上の空間が存在してもよい。この空間の分類には、次の包含関係にある分類と、分割関係にある分類がある。
【００５９】
図７には、包含関係にある分類として、全体空間８０内に、小空間８０Ａ，８０Ｂ．８０Ｃが含まれた概念を示した。図８には、分割関係にある分類として、全体空間８０を、分割空間８１Ａ，８１Ｂ．８１Ｃ，８１Ｄ，８１Ｅ，８１Ｆ，８１Ｇ，８１Ｈに分割した概念を示した。
【００６０】
上記空間の分類は、磁界検出による空間（磁気座標により定まる空間）で分類してもよく、また、実空間において分類してもよい。また、分類する空間の計上は、平面や曲面を有する空間であってもよく、球体や断面楕円形状となる空間であってもよい。
【００６１】
なお、上記空間の分類は、本発明の小領域を設定することに相当し、本実施の形態では、全体空間、視点空間及び操作空間を一例にしている。
【００６２】
次に、図１のステップ１０８の詳細を説明する。図１のステップ１０８では、図１０の緩衝補正処理が実行される。なお、以下、説明を簡単にするため、視点空間８４及び操作空間８２の２つの空間について説明するが、本発明はこれに限定されるものではなく、３つ以上の空間について行っても良い。また、操作空間８２に視点空間８４が包含されるものとして説明する。
【００６３】
まず、図１０のステップ１３０において空間を１つ選択する。次のステップ、１３２では、上記選択した空間（視点空間８４）に隣合う空間（包含される空間及び包含する空間を含む）が存在するか否かを判断し、隣合う空間が存在するまで、空間選択を繰り返す。ステップ１３２で肯定されると、次のステップ１３４で隣合う空間を１つ選択する。ここでは、ステップ１３０で選択する空間として視点空間８４を選択し、隣合う空間として操作空間８２（または全体空間８０）を選択する。次のステップ１３６では、緩衝領域を設定し、次のステップ１３８では双方の補正行列を読み取り、次のステップ１４０で補正値を求める。次のステップ１４２では隣合う空間（包含される空間及び包含する空間を含む）に対する上記処理が全て終了したか否かを判断し、全て終了のときに本ルーチンを終了する。
【００６４】
次に、上記緩衝領域処理の作動を具体的に説明する。ここでは、視点空間８４が、操作空間８２（全体空間８０でもよい。）の内側に存在する、２つの空間に関する緩衝領域処理について説明する。なお、以下の説明では、視点空間８４と操作空間８２とについて説明する。
【００６５】
図１１に示すように、視点空間８４の外側には操作空間８２が位置している。視点空間８４と、操作空間８２とは、境界Ｋをもって接していることを想定する。この操作空間８２で視点空間８４と接する側に緩衝領域８３を設定する。図１１の例では、緩衝領域８３は、視点空間８４から所定幅（長さＬ）の領域となるように設定している。まず、視点空間８４の中心を基準点Ａとして実空間の座標を決定し、視点空間８４の補正行列をＭ１として、磁気座標上における位置Ｂを求める（Ｂ＝Ｍ１^−１・Ａ）。次に、位置入力装置１８により磁気座標上における位置Ｃを検出し、位置Ｂと位置Ｃとの間の距離ｄを求める（ｄ＝｜Ｂ−Ｃ｜）。この距離ｄが緩衝領域８３内に存在するとき（０＜ｅ≦Ｌ：ｅ＝ｄ−ｒ）、位置Ｃは緩衝領域８３内に存在するので、補正を実施する。
【００６６】
上記の補正について詳細に説明する。図１２（Ａ）に示すように、オペレータＯＰは、視点空間８４と操作空間８２の境界付近に位置している場合を説明する。これらの視点空間８４と操作空間８２に、図１２（Ｂ）に示すように、緩衝領域８３が設定される。ここで、視点空間８４の補正行列をＭ１、操作空間８２の補正行列をＭ２、位置入力装置１８により得られる座標値をＸとし、変換座標値をＹとする。
【００６７】
視点空間８４の補正行列による座標変換（磁気座標から実座標への変換）では、Ｙ＝Ｍ１・Ｘ、であり、
操作空間８２の補正行列による座標変換（磁気座標から実座標への変換）では、Ｙ＝Ｍ２・Ｘ、である。
【００６８】
このため、変換結果に差異が生じることがあるので、視点空間８４と操作空間８２の境界付近の緩衝領域８３では、これら補正行列に重みを付与（重み係数ａ，ｂを付与）して合成（ブレンド）する。すなわち、
Ｙ＝ａ・Ｍ１・Ｘ＋ｂ・Ｍ２・Ｘ、とする。
【００６９】
上記重み係数ａ，ｂは次式で求めることができる。
【００７０】
ａ＝（１＋ｃｏｓ（ｄ・π／Ｌ））／２
ｂ＝（１−ｃｏｓ（ｄ・π／Ｌ））／２
すなわち、図１３に示すように、重み係数ａ，ｂは、視点空間８４から離間するに従って徐々に小さくなる関数となる。この重み付けは、区分線形関数、ガウス関数、ガンマ関数、シグモイド関数、三角関数の何れか及びその組み合わせを用い、空間の基準点からの距離でブレンドする（本実施の形態では三角関数と区分線形関数の組み合わせを用いた）。ブレンド幅も位置により変更が可能である（本実施の形態ではＬ＝１００ｍｍを採用）。ブレンド幅は境界線のその形状を異ならせても良い。ブレンドは、複数の空間補正をブレンドしてもよい。
【００７１】
このように、本実施の形態では、複数の空間を設定し、空間毎の補正行列に重みを付与している。例えば位置検出精度に応じて領域を設定して領域毎に補正行列を求める。そして、空間の間で滑らかに座標変換が可能となるように緩衝領域を設けて補正値を求めている。この補正値を緩衝領域による補正行列として記憶してもよく、関数のみを記憶して求めるようにしてもよい。
【００７２】
なお、上記では、複数空間が隣接する場合に一方の空間側に緩衝領域を設定した場合を説明したが、本発明はこれに限定されるものではなく、複数空間に渡り緩衝領域を設けても良く、また重複する空間に緩衝領域を設けても良い。例えば、図１４に示すように、複数空間に渡り緩衝領域を設ける場合、双方の領域（空間）に幅Ｌ１，Ｌ２（Ｌ１＝Ｌ２でもよい）を設定する。この緩衝領域に上記のようにして重みを付すことにより、座標変換特性を補間でき、補間特性によって、座標変換特性を滑らかにできる。また、図１５に示すように、重複する空間に緩衝領域を設ける場合、重複空間Ｋ１の外側にそれぞれ緩衝領域を設定する。なお、この緩衝領域は、重複空間Ｋ１に設定してもよい。この緩衝領域に上記のようにして重みを付すことにより、座標変換特性を補間でき、補間特性によって、座標変換特性を滑らかにできる。
【００７３】
次に、ステップ１１０（図１）の詳細を説明する。このステップ１１０では、上記で求めた補正行列を用いて座標変換を行い、立体画像を表示する。
【００７４】
まず、立体画像の表示について図１６を参照して簡単に説明する。瞳孔間距離ＰＤのオペレータＯＰは、左眼の視点Ｌ、及び右眼の視点Ｒからスクリーン１６を目視する。このスクリーン１６上には、画像データによる画像が表示される。この画像データから瞳孔間距離ＰＤ及びスクリーン１６までの距離が考慮されて、視差を含んだ左眼用画像ＧＬ及び右眼用画像ＧＲが生成され、左眼用画像ＧＬ及び右眼用画像ＧＲが交互に表示される。瞳孔間距離ＰＤは、予め計測してもよく、また、標準的な数値を用いても良い。
【００７５】
上記の左眼用画像ＧＬ及び右眼用画像ＧＲの表示の切り換えに同期して、液晶シャッタ眼鏡２０の左眼部と右眼部との光の透過が切り換えられる。これによって、左眼により目視される左眼用画像ＧＬまでの領域と、右眼により目視される右眼用画像ＧＲまでの領域との重複領域が仮想物体を表示できる仮想空間Ｖｒとなり、左眼用画像ＧＬ及び右眼用画像ＧＲの表示による仮想物体が立体表示される。
【００７６】
なお、立体画像の表示は、スクリーン１６上に表示する左眼用画像ＧＬ及び右眼用画像ＧＲの重複領域を変化させることで、左眼により目視される左眼用画像ＧＬまでの領域と、右眼により目視される右眼用画像ＧＲまでの領域との重複領域を変化させることができ、仮想物体を表示できる仮想空間Ｖｒの大きさを変更することができる。
【００７７】
図１のステップ１１０の処理では、図１７に示す立体画像表示処理ルーチンが実行される。なお、本ルーチンは、仮想立体空間内に立体画像を表示させると共に位置入力装置１８により線画等の描画を行うものである。まず、ステップ２００において仮想空間上に仮想物体を表示するための画像データを読み取り、次のステップ２０２において位置センサ２２を読み取ってオペレータＯＰの位置を読み取る。次のステップ２０４では、読み取った位置センサ２２の座標値（磁気座標値）を実空間の座標値に変換し、変換された座標値を元にして次のステップ２０６において画像データを補正して、補正された画像データによって次のステップ２０６で立体画像を表示する。
【００７８】
次に、ステップ２１０において位置入力装置１８により線画等の描画指示がなされたか否かを判断し、否定判断のときは、ステップ２０２へ戻り、立体画像表示を繰り返す。一方、ステップ２１０で肯定判断のときは、ステップ２１２へ進み、位置入力装置１８により指示された磁気座標を読み取り、次のステップ２１４で位置入力装置１８の座標値（磁気座標値）を実空間の座標値に変換する。この座標変換では、上記で説明したように、空間毎に補正行列を用いて実座標を導出すると共に、緩衝領域では、重みを付して補正行列による演算結果が求められる。
【００７９】
次のステップ２１６では、変換された座標値を元にして画像データに描画する線が等の画像データを合成して、合成された画像データによって次のステップ２０１８立体画像を表示する。上記処理は、表示終了の指示されるまで（ステップ２２０で否定）繰り返し実行する。
【００８０】
このように、本実施の形態では、全体空間内に複数の部分空間を定め、各空間について磁気座標値から実座標値へ変換する補正行列を求め、複数の空間が重複したり隣り合ったりする場合に、補正行列に重みを付与して補間している。これによって、磁気検出により座標値を正確かつ高速に求めることができる。また、空間中の位置に関係なく座標変換による座標値が不連続になることもない。従って、高精度な位置検出が必要とされる空間（領域）を必要に応じて設定することができ、精度向上と速度向上の双方の要求を満たすことができる。
【００８１】
〔第２実施の形態〕
次に、第２実施の形態を説明する。なお、本実施の形態は、上記実施の形態と略同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する。
【００８２】
立体画像を表示し線画等を描画する場合、線の種類や太さ等の仕様を決定したり変更したりすることがある。また、点画や線画の変更や色の選択等のコマンド入力が必要な場合がある。このような入力には、別個のスイッチを設けることが考えられるが、装置が複雑化すると共に、操作が煩雑になる。そこで、本実施の形態では、コマンドン入力のための領域を予め定めたものである。
【００８３】
図１８に示すように、本実施の形態では、視点空間の中心付近を基準点としてその基準点を通過しスクリーンと平行な平面ＫＰにより、全体空間８０を座標入力空間８６と、コマンド入力空間８８とを分離している。従って、図１８（Ａ）に示すように、座標入力空間８６内において位置入力装置１８を操作する場合には、検出する磁気座標値は座標入力のための値として用いられる。一方、図１８（Ｂ）に示すように、コマンド入力空間８８において位置入力装置１８を操作する場合には、その検出がコマンド入力として用いられる。
【００８４】
次に、本実施の形態の作用を説明する。本実施の形態では、図１の処理と略同様であり、図１のステップ１１０が実行されると、図１９の処理ルーチンが実行される。図１９のステップ２３０では、位置入力装置１８による指示でその位置検出がなされ、実空間座標が演算される。次のステップ２３２では、上記ステップ２３０で求めた座標値がコマンド空間８８内に含まれるか否かを判断する。ステップ２３２で否定されたときは、位置入力装置１８が座標入力空間８６内に存在する場合であるため、ステップ２３６へ進み、上記実施の形態で説明した処理（図１７）が実行される。
【００８５】
一方、ステップ２３２で肯定されたときは、位置入力装置１８がコマンド入力空間８６内に存在する場合であるため、ステップ２３４へ進み、コマンド入力処理が実行される。このコマンド入力処理には、モード変更やメニュー表示及び選択の処理がある。モード変更には、線画入力モードと点画入力モードの切り替え指示があり、座標入力による線画入力及び点画入力の入力モードを切り替えることができる。
【００８６】
従って、位置入力装置１８が座標入力空間８６内に存在するときには、線画の描画や点画の描画を行うことができ、位置入力装置１８がコマンド入力空間８６内に存在するときには、メニューを表示させたり、線画入力モードと点画入力モードの切り替えを指示したりすることができる。
【００８７】
以上説明したように、本実施の形態では、座標入力空間８６と、コマンド入力空間８８とを設定し、コマンド入力空間では、座標入力指示ではなく、コマンド入力を行うようにしたので、新規のスイッチを設けることなく、画像表示に関連する処理の実行や切換を容易に実行することができる。
【００８８】
なお、上記実施の形態では、１つの磁界発生装置により発生された磁界を検出して磁気座標を求めた場合を説明したが、複数の磁界発生装置により発生された磁界についても本発明は適用が可能である。この場合、磁界毎に空間を定めて各空間について補正行列を求めればよい。また、磁界発生は、検出と同期して切り替えて使用することが好ましい。このように複数の磁界を用いるものとして、車両の室内立体表示が好適であり、立体画像としてインパネ表示を行い、インパネ上に設けられたスイッチの押圧検出が可能となる。
【００８９】
【発明の効果】
以上説明したように請求項１に記載の発明によれば、所定空間に設定された複数の小領域に、所定空間内の実座標と検出手段により検出される空間座標との対応関係が予め求め記憶され、検出された空間座標から、該空間座標の位置を含む小領域に属する対応関係を用いて指示位置の実座標を求める、すなわち、小領域に属する対応関係を用いて実座標を求めることができるので、実座標と検出座標に違いがあっても、対応関係により補正され、正確な座標を求めることができる、という効果がある。
【００９０】
請求項２に記載の発明によれば、物体を立体的に表示するためには、左眼用画像及び右眼用画像を切り換えて表示するので、容易に実空間内の予め定めた所定空間に仮想物体を表示することができる、という効果がある。
【００９１】
請求項３に記載の発明によれば、入力信号に基づいて光の透過及び非透過を切り換え可能な左眼用光学素子及び右眼用光学素子を備えた立体視眼鏡を用いるので、この立体視眼鏡により、左眼用画像及び右眼用画像に切り換え可能となり、実空間内の予め定めた所定空間内に表示された実際の物体に相当する仮想物体をオペレータに容易に認知させることができる、という効果がある。
【００９２】
請求項４に記載の発明によれば、オペレータの位置を正確に特定したり、オペレータが指示した指示位置を正確に特定したりすることができ、正確に位置入力をすることができる、という効果がある。
【００９３】
請求項５に記載の発明によれば、複数の小領域の一部が重複する重複部分に属する小領域の各対応関係に基づいて、重複部分内の実座標と検出手段により検出される空間座標との対応関係が記憶されるので、重複部分内にあっても実座標と空間座標との対応関係が一意に対応され、円滑に対応関係を構成ことができる、という効果がある。
【００９４】
請求項６に記載の発明によれば、所定空間を分割して複数の小領域を設定するので、所定空間内の全域に渡って実座標と空間座標とを対応させることができる、という効果がある。
【００９５】
請求項７に記載の発明によれば、隣り合う小領域の境界付近を含むように、予め定めた大きさの緩衝領域をさらに設定し、緩衝領域に属する小領域すなわち隣接する小領域の対応関係の各々に基づいて、緩衝領域内の実座標と空間座標との対応関係をさらに求めて記憶するので、隣り合う小領域に渡って実座標と空間座標との対応関係が不連続になることなく、円滑に対応関係を構成ことができる、という効果がある。
【００９６】
請求項８に記載の発明によれば、実空間内に通常指示領域及び特定指示領域を定め、検出された実空間内位置が通常指示領域内に含まれる場合に求めた座標値を実座標値として入力しかつ、特定指示領域内に含まれる場合に制御情報を入力するようにするので、空間座標の入力と制御情報の入力とを容易に切り替えることができる、という効果がある。
【００９７】
請求項９に記載の発明によれば、予め定めた複数の機能を選択指示することを表す指示情報を入力することができるので、複数の機能から任意の機能を容易に選択することが可能となる、という効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施の形態にかかる立体画像表示装置で立体画像を表示させる処理の流れを示すフローチャートである。
【図２】本発明の第１実施の形態にかかる立体画像表示装置の概略構成を示すブロック図である。
【図３】本発明の第１実施の形態にかかる立体画像表示装置の制御装置の概略構成を示すブロック図である。
【図４】位置入力装置の概略構成を示すイメージ図である。
【図５】ポインタの概略構成を示すイメージ図である。
【図６】立体画像表示処理における補正行列演算処理の流れを示すフローチャートである。
【図７】実空間を分類するものとして、包含関係にある分類を説明するための説明図である。
【図８】実空間を分類するものとして、分割関係にある分類を説明するための説明図である。
【図９】全体空間内に含まれる、視点空間及び操作空間を示すイメージ図である。
【図１０】緩衝補正処理の流れを示すフローチャートである。
【図１１】視点空間と操作空間とについて緩衝領域を設定することを説明するための説明図である。
【図１２】緩衝領域における補正の説明図であり、（Ａ）はオペレータと視点空間と操作空間との関係を示し、（Ｂ）はさらに緩衝領域を示したものである。
【図１３】補正行列の重みを説明するための説明図である。
【図１４】複数空間にまたがる緩衝領域の補正行列の重みを説明するための説明図である。
【図１５】複数空間が重複するときの補正行列の重みを説明するための説明図である。
【図１６】立体画像表示の過程を説明するためのイメージ図である。
【図１７】立体画像表示の処理の流れを示すフローチャートである。
【図１８】座標入力空間とコマンド入力空間を示す線図であり、（Ａ）は座標入力空間における入力状態を示し、（Ｂ）はコマンド入力空間における入力状態を示している。
【図１９】第２実施の形態の処理の流れを示すフローチャートである。
【符号の説明】
１０立体画像表示装置
１２プロジェクタ
１４制御装置
１６スクリーン
１８位置入力装置
２０液晶シャッタ眼鏡
２２位置センサ
３０磁界発生装置

Claims

実空間内の予め定めた所定空間に仮想物体を表示する表示手段と、
前記所定空間を少なくとも含む実空間内位置としてオペレータの視点位置及びオペレータによる指示位置の各々の空間座標を検出する検出手段と、
前記所定空間内に前記オペレータの視点位置の移動許容範囲を少なくとも含む視点空間を含む複数の小領域を設定する設定手段と、
前記視点空間を含む小領域をのぞく小領域の各々について、前記所定空間内の実座標と前記検出手段により検出される空間座標との対応関係を予め求め記憶しかつ、前記検出手段により検出された空間座標から、該空間座標の位置を含む小領域に属する対応関係を用いて前記指示位置の実座標を求めると共に、前記視点空間を含む小領域について前記所定空間内の実座標と前記検出手段により検出される空間座標との対応関係を前記視点空間を含む小領域をのぞく小領域に比べて詳細に予め求め記憶しかつ前記検出手段により検出された空間座標から該空間座標の位置を含む小領域に属する対応関係を用いて前記視点位置の実座標を求める演算手段と、
前記演算手段により求めた前記視点位置及び前記指示位置の各々座標値を実座標値として入力する入力手段と、
を備えた空間座標入力装置。
前記表示手段は、左眼用画像及び右眼用画像を切り換えて仮想物体を表示することを特徴とする請求項１に記載の空間座標入力装置。
前記表示手段は、各々入力された信号に基づいて光の透過及び非透過を切り換え可能な左眼用光学素子及び右眼用光学素子を備えた立体視眼鏡を含むことを特徴とする請求項１または２に記載の空間座標入力装置。
前記検出手段は、オペレータの頭部位置を検出しかつ検出結果から前記視点位置を求めることを特徴とする請求項１乃至請求項３の何れか１項に記載の空間座標入力装置。
前記設定された複数の小領域の一部が重複する場合、該重複部分に属する小領域の対応関係の各々に基づいて、重複部分内の実座標と前記検出手段により検出される空間座標との対応関係をさらに求めて記憶することを特徴とする請求項１乃至請求項４の何れか１項に記載の空間座標入力装置。
前記設定手段は、前記所定空間を分割することにより複数の小領域を設定することを特徴とする請求項１乃至請求項４の何れか１項に記載の空間座標入力装置。
前記隣接する複数の小領域について、予め定めた大きさの緩衝領域をさらに設定し、隣接する小領域の対応関係の各々に基づいて、緩衝領域内の実座標と前記検出手段により検出される空間座標との対応関係をさらに求めて記憶することを特徴とする請求項６に記載の空間座標入力装置。
前記実空間内に通常指示領域及び特定指示領域を予め定め、前記入力手段は、前記検出手段により検出された実空間内位置が通常指示領域内に含まれる場合に前記演算手段により求めた座標値を実座標値として入力すると共に、特定指示領域内に含まれる場合に予め定めた制御情報を入力することを特徴とする請求項１乃至請求項７の何れか１項に記載の空間座標入力装置。
前記制御情報は、予め定めた複数の機能を選択指示することを表す指示情報であることを特徴とする請求項８に記載の空間座標入力装置。