JP3690581B2 - 位置検出装置及びその方法、平面姿勢検出装置及びその方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像画像データに基づいて３次元空間内に置かれた平面上の被検出位置を検出する位置検出装置及び方法ならびに対象平面上の姿勢検出装置及び方法に関するものであり、特に、ディスプレイ上の位置検出などに関するものである。
【０００２】
【従来の技術】
最近コンピュータの表示画面に直接座標入力したり、コンピュータ画面をプロジェクタによりスクリーン上に投影しカーソル操作を行うことが頻繁に行われている。特に投影された画像上をレーザーポインタ等により指示位置を特定して、コンピュータ本体のコマンド操作、編集、拡大縮小などを行うことのできるポインティングデバイスが提案されている。これらの従来例として、例えば特開平２−３０６２９４号、特開平３−１７６７１８号公報、特開平４−３０５６８７号公報、特開平６ー３０８８７９号公報などがあげられる。
【０００３】
代表的な従来例である特開平２−３０６２９４号公報は、プロジェクタにより投影されたスクリーン、スクリーン上の被検出位置を指示するレーザーポインタ、スクリーン上に向けられレーザーポインタの輝点を検出するための固定ＣＣＤカメラから構成されている。このＣＣＤカメラにより所定時間毎にスクリーン上のレーザー輝点を検出し、スクリーン上の輝点の位置を検出しようとするものである。
【０００４】
また、特開平６ー３０８８７９号公報は、スクリーンの近傍に複数の発光素子を配置し、指示器には複数の発光素子からの光を受光する受光素子が設けられ、発光素子からの光強度や光の方向性を基に計算機によって、指示器が指し示す軸方向の表示画面における位置が算出できるようにした光学式ポインティングシステムである。
【０００５】
さらに、特開平１０ー１１６３４１号公報では、基準カメラと検査カメラの２台のカメラを用いてそれぞれの画像を基に被計測点の位置を計測する方法、特開平９−２３１３７３号公報では、２つ以上の撮像装置を用いて複数の特徴点を有する物体を撮像し、各特徴点間の相対的な３次元位置関係を透視射影変換により算出する３次元位置計測装置などが提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来、ポインティングデバイスなどに用いる位置検出装置、例えば、特開平２−３０６２９４号公報のように固定カメラにより位置検出する場合、カメラとスクリーンとの間に操作者や人が入ってしまい位置検出ができなくなってしまう問題やスクリーン上に投影されている画像が高輝度画像となるとレーザービームの輝点検出が困難になる問題が生じる。さらに、固定カメラを設置するスペースが必要となり、装置が大型化してしまい操作性の自由度が低く、汎用性に欠けるという問題も生じる。
【０００７】
特開平６ー３０８８７９号公報のように、表示画面上に発光素子を設けて発光する光を指示器に設けられた光電変換素子で受光する方法は、位置検出するために表示画面に発光素子を設けなければならないため汎用性に欠けるという問題がある。さらに、光強度の指向性とその強度を検出して被検出位置を算出するための受光素子構造の工夫が必要となり、しかも、スクリーン上の被検出位置精度が高くないという問題が生じる。
【０００８】
また、複数の撮像装置を用いて３次元空間内の被写体の位置計測を行う方法は、装置が大型化し演算処理量も多くなってしまうという問題がある。
本発明の目的は、撮像された画像データのみの情報から撮像対象である所定平面の姿勢位置や平面上の被検出位置を簡単に検出でき、かつ、自由度の高い操作性を有する小型で軽量な位置検出装置及びその方法、平面姿勢検出装置及びその方法を提供することである。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１記載では、矩形形状を形成する少なくとも４個の特徴点を有する所定平面上の被検出位置の座標を検出する装置であって、前記所定平面上の被検出位置に向けて前記特徴点を含んで撮像する撮像手段と、前記撮像手段の撮像面上に予め定められた基準位置を前記被検出位置に合わせる照準手段と、前記照準手段により被検出位置に合わせて撮像された撮像画像に基づいて、前記基準位置を撮像画像系の原点として、前記それぞれの特徴点の座標を特定する特徴点特定手段と、 前記特徴点特定手段により特定された特徴点の座標と前記特徴点により形成される消失点とに基づいて、前記撮像面に対する前記所定平面の姿勢パラメータを透視射影演算手段により演算する平面姿勢演算手段と、 前記平面姿勢演算手段により算出された少なくとも１つの姿勢パラメータと前記特徴点の座標とに基づいて、前記所定平面上の被検出位置の座標を演算する座標演算手段と、
を備えたことを特徴とする。
【００１０】
本発明の請求項９記載の位置検出方法は、撮像手段の撮像面上に予め定められた基準位置と所定平面上の被検出位置とが一致した状態で、所定平面上の矩形形状を形成する少なくとも４個の特徴点が撮像された撮像画像に基づいて所定平面上の被検出位置の座標を検出する方法であって、
前記撮像画像上の前記特徴点を抽出し、前記基準位置を撮像画像系の原点として、前記特徴点の座標を特定する特徴点特定ステップと、前記特徴点特定ステップにより特定された特徴点の座標と前記特徴点により算出される消失点とに基づいて、前記撮像面に対する前記所定平面の姿勢パラメータを透視射影演算手段により演算する平面姿勢演算ステップと、前記平面姿勢演算ステップにより算出された少なくとも１つの姿勢パラメータと前記特徴点の座標とに基づいて、前記所定平面上の被検出位置の座標を演算する座標演算ステップとを含むことを特徴とする。
【００１１】
本発明の請求項１３記載の平面姿勢検出装置は、３次元空間内の所定平面の姿勢を検出する平面姿勢検出装置であって、撮像面上の予め定められた前記所定平面上の少なくとも４つの特徴点を撮像する撮像手段と、前記撮像手段により得られた撮像画像に基づいて、前記基準位置を撮像座標系の原点として、撮像面上の前記特徴点の座標を特定する特徴点特定手段と、前記特徴点特定手段により特定された特徴点座標に基づいて、撮像画像上の特徴点で形成される消失点を算出する消失点算出手段と、前記消失点算出手段より算出された消失点の１つと撮像画像原点とを結ぶ消失直線を算出する消失直線算出手段と、前記消失直線と前記特徴点の相隣接する２点間との直線との交点である消失特徴点座標を算出する消失特徴点算出手段と、前記特徴点座標と前記消失特徴点座標とに基づいて、撮像面に対する所定平面の姿勢パラメータを透視射影演算する透視射影演算手段とを備えていることを特徴とする。
【００１２】
本発明の請求項１８記載の平面姿勢検出方法は、３次元空間内の所定平面の姿勢を検出する平面姿勢検出方法であって、撮像面上の予め定められた基準位置を前記所定平面上の少なくとも４つの特徴点を撮像する撮像ステップと、 前記撮像手段により得られた撮像画像に基づいて、前記基準位置を撮像座標系の原点として、撮像面上の前記特徴点の座標を特定する特徴点特定ステップと、前記特徴点特定ステップにより特定された座標に基づいて消失点を算出する消失点算出ステップと、前記消失点算出ステップより算出された消失点と撮像画像原点とを結ぶ消失直線を算出するステップと、前記消失直線と前記特徴点の相隣接する２点間との直線との交点座標を算出する消失特徴点算出ステップと、前記撮像画像上の４つの特徴点座標と前記消失特徴点算出ステップより算出した座標とに基づいて、撮像面に対する所定平面の姿勢パラメータを透視射影演算する透視射影演算ステップと、を備えたことを特徴とする。
【００１４】
【発明の実施の形態】
図１は実施の形態に係わる位置検出装置の概念構成図である。
１００は本実施の形態に係わる位置検出装置本体、１１０は座標検出対象となる所定平面であり、特徴点Ｑ1、Ｑ2、Ｑ3、Ｑ4を有する矩形平面である。位置検出装置本体１００を用いて平面１１０上の被検出位置Ｐ0を検出しようとするものである。位置検出装置本体１００は所定平面１１０に対し任意の位置から操作することが可能である。破線１０１は位置検出装置本体１００に設けられている撮像手段１の撮像面の中心から垂直に所定平面上の被検出位置まで延びている光軸である。
【００１５】
本実施の形態で被検出対象とした平面の形状は、四角形の各角度が直角なる矩形形状を有する物体や図形である。代表的な例として、パソコン表示画面、プロジェクタ投影画面、コンピュータにより作成される図形などの表示画面があげられる。本実施の形態では特徴点として所定平面形状の４隅とする矩形形状としたが、これら矩形形状を特徴付ける特徴点は所定平面上にあればよく、スクリーン平面上に表示された画像であってもよい。
【００１６】
図２、図３は本発明の実施の形態に係わる位置検出装置１００のブロック構成図、図４はその概念構成斜視図である。
図２の構成ブロック図において、１は撮像手段であり、撮像手段はレンズ光学系と撮像素子とから構成されている。本実施の形態ではＣＣＤ撮像素子を有するデジタルスチルカメラを用いたが、ビデオカメラでもよい。
【００１７】
また、撮像手段１には被写体である平面上の被検出位置を特定するため予め基準位置が定められている。本実施の形態では基準位置は撮像面の中心とし、画像座標系（Ｘ−Ｙ座標系）の原点Ｏｍとしてある。２は撮像手段により撮像された画像データをデジタル画像データとするＡ／Ｄ変換手段である。３はＡ/Ｄ変換されたデジタル画像データはＣＣＤ撮像面の各画素に対応したアドレス毎に一時的に記憶できるフレームメモリである。
【００１８】
このフレームメモリは連続撮像が記憶できるように数十ＭＢ程度記憶できる容量を有している。
４は制御手段である。この制御手段４はＲＯＭ（不図示）を備えており、透視射影変換処理するプログラムや各種制御プログラムなどが格納されている。
【００１９】
５は画像処理手段である。画像処理手段５は、取り込まれた撮像画像データに基づいて、３次元空間内の平面上のいずれかに配置された矩形形状を特徴付ける特徴点を抽出する特徴点抽出手段５１と、抽出された特徴点の座標位置に基づいて被検出位置演算処理を行う位置演算手段５２とから構成される。
【００２０】
この特徴点抽出手段５１には、一時的に呼び込まれた画像データが矩形平面の特徴点を抽出したか否か判断する抽出判断手段（不図示）を備えている。この抽出判断手段を備えることにより、もし抽出判断手段において特徴点が抽出できなかった場合に警告音を発し、再度画像の取り込みを操作者に指示することができる。
【００２１】
また、位置演算手段５２は３次元空間（Ｘ−Ｙ−Ｚ座標系）内における撮像面に対する所定平面の姿勢パラメータ（第１データ）を演算する平面姿勢演算手段（第１演算手段）５２１と、所定平面上の被検出位置の座標を演算する座標演算処理手段（第２演算手段）５２２とから構成される。
【００２２】
図３は平面姿勢演算手段５２１の詳細ブロック図である。
平面姿勢演算手段（第１演算手段）５２１は、消失点算出手段５２１１と消失直線算出手段５２１２と消失特徴点算出手段５２１３とから構成される消失点処理手段（第３演算手段）５２３、画像座標系変換手段５２１４及び透視射影変換手段（第４演算手段）５２１５とから構成されている。
【００２３】
消失点処理手段（第３演算手段）は撮像面上における複数の特徴点の座標位置から算出し、その消失点に基づいて消失特徴点（第３データ）を算出処理する手段である。第４演算手段は姿勢パラメータを算出するための透視射影変換手段に相当する。
【００２４】
６Ａは光ビーム照射手段であり、ＬＥＤ発光素子や半導体レーザー発生器が用いられる。光ビーム照射手段２は被検出位置を指示する視認性のある光を発するものであればよく、プレゼンテーションや会議の際、操作者が指示する箇所を特定できる汎用のレーザーポインタでよい。
【００２５】
図５は図４で示した光ビーム照射手段６Ａを用いた装置構成の光学系の一例である。光ビーム照射手段として赤外線レーザーを用いた例である。電源がＯＮされると６０光源から６１コリメートレンズで平行となったレーザー光は、６２ミラーを介し、撮像光学系の中心軸上に設けられた１３ミラーにより反射され所定平面上に輝点として導かれる。撮像光学系は１２は撮像レンズと１１はＣＣＤとから構成されている。装置本体から出射されるポインティング用レーザーの光軸が、撮像光学系の光軸と一致するような光学系となっている。ミラー１３は赤外線レーザーを反射させ、可視光を透過するようなハーフミラーである。
【００２６】
ポインティング用レーザーは表示画面上の被検出位置を確認できればよく、撮像時にはＯＦＦされる。従って、ミラー１３は撮像する時にはミラーアップするような機構にしても良い。光ビーム照射手段６Ａにより照射された所定平面上の被検出位置が撮像面上に設定された基準位置と合致するように、光ビーム照射手段６Ａと撮像手段１とが予め決められた位置関係で設けられている。図では撮像レンズの光軸とレーザー照射光学系の光軸とが一致するようにしてあるが、レーザーは視認するだけであるので、所定平面上の輝点が被検出位置近傍にあればよく、必ずしも光軸が一致してなくてもよい。
【００２７】
７はレーザー照射ボタン、８はシャッターボタンである。７、８は、２段スイッチとなっており、１段目を押すと単に赤外線レーザーを照射し、被検出位置を指し示すだけでオフされる。さらに２段目を押すことにより、撮像手段のシャッターが切れ、所定平面の画像を取り込めるようになっている。
【００２８】
９は出力信号処理部で、演算結果得られた平面の姿勢パラメータや被検出位置を出力信号に変え、本体の表示部に画像とともに数値表示したり、ビデオプロジェクタ、コンピュータなどの外部機器へ送出する。出力信号処理手段９として被検出位置出力信号をワイヤレス信号として送出できる発信手段を用いれば、装置の操作性は格段に広がり効果的である。
【００２９】
図６は、被検出位置に基準位置を合わせる方法として光ビーム照射手段に代え、視準手段６Ｂを備えた位置検出装置の光学系の一例である。
視準手段６Ｂには予め撮像面上の基準位置と一致する位置に十字線７４が刻まれており、この十字線の位置を被検出位置に合わせて、撮像することにより所定平面上の被検出位置が検出される。
【００３０】
このように、撮像時に視準手段を設けたファインダーや光ビーム照射手段などを用いることにより、予め定められた撮像面上の基準位置に合っている状態で撮像が行われるようにしているのである。その基準位置は撮像レンズの光軸が撮像面を切る点、すなわち、撮像画像の中心としてある。
【００３１】
本実施の形態に係わる位置検出装置本体の構成は、図６のように撮像手段１と画像処理手段５とが一体としたが、位置検出入力手段としての撮像手段と画像処理手段とを別体にし、画像処理手段５をパソコンなど外部機器の内部記憶装置や外部記録媒体に備えるようにしてもよい。
【００３２】
次に、本発明の実施の形態の位置検出装置の基本動作について説明する。
図７は本発明の実施の形態の検出装置の基本動作を説明するフローチャートである。
ステップＳ１００で検出装置の電源がＯＮする。ステップＳ１０１において３次元空間内の複数の特徴点を含む所定平面上において検出しようとする被検出位置に画像座標系の撮像面上の予め定められた基準位置を合わせる。本実施の形態において、基準位置は撮像レンズの光軸が撮像面を切る点、すなわち、撮像画像の中心としてある。
【００３３】
ステップＳ１０２ではこの合わせた状態で撮像手段のシャッター８をＯＮにし、画像を取り込む。取り込まれた画像は画像データ信号処理されフレームメモリに格納され、ステップＳ１０３において予め抽出しようとする幾何学的特徴点が抽出され、画像座標系において矩形形状を特徴づける４個の特徴点の重心位置座標ｑ1，ｑ2，ｑ3，ｑ4が特定される。 その時、ステップＳ１０４では予め決められた幾何学的特徴点が正確に抽出されたか否か判断する。正確に抽出されなかった場合、ステップＳ１０５において警告音を発し、再度撮像手段により取り込むよう操作者に伝えられる。予め定められた幾何学的特徴点が抽出されれば、次のステップＳ１０６に進む。
【００３４】
ステップＳ１０６では３次元空間内の所定平面の姿勢位置や被検出位置の検出演算処理される。このステップＳ１０６の詳細は後述する。ステップＳ１０７では演算処理され算出された値を表示手段（不図示）や外部機器などに合わせ信号処理され出力される。例えば、所定平面としてパソコン画面とした場合、本実施の形態の位置検出装置により、任意の位置からパソコン画面上の座標位置入力が行え、指示した位置（被検出位置）にカーソルを表示することができる。
【００３５】
次に、本実施の形態の検出装置の画像処理手段５の各構成の動作について詳細に説明する。
（ａ）特徴点抽出処理
撮像画像データから矩形形状を特徴付ける所定平面の４隅Ｑ1、Ｑ2、Ｑ3、Ｑ4を抽出する方法としてパターンマッチング法、差分画像法、濃淡輪郭法などがある。対象となる所定平面に応じて適切な方法を選択することになる。
【００３６】
本実施の形態では、所定平面の形状を特徴付けるこれら４つの特徴点の情報、例えば、幾何学的形状、色、発光素子などを予めメモリに格納しておき、撮像画像データと比較参照して特徴点を抽出するパターンマッチング方法を用いる。
また、所定平面がスクリーン平面上に表示された表示画像である場合には差分画像法が好ましい。表示画像全体は４隅Ｑ1、Ｑ2、Ｑ3、Ｑ4を特徴点とする矩形形状である。表示画像は撮像時の撮像時のシャッター信号と同期して、表示画像の輝度が変化するようになっている。撮像時のタイミングに合わせて表示画像輝度が異なる濃淡２枚の時系列画像を撮像し、２枚の撮像画像を得る。これら２枚の撮像画像を差分処理する。これら差分画像に基づき二値化処理を行い、複数の幾何学的特徴点ｑ1、ｑ2、ｑ3、ｑ4を抽出する。
【００３７】
（ｂ）位置演算処理（第２演算手段）
次に、３次元空間内に置かれた特徴点を有する所定平面上の被検出位置Ｐ0の位置座標を算出する方法について具体的に説明する。
図８は３次元空間内に置かれた所定平面上の被検出位置を演算処理する具体的な手順を示したフローチャートである。図７の基本動作フローチャートのステップＳ１０６の動作の詳細である
図９は３次元空間における撮像面上のＸ−Ｙ−Ｚ座標系（画像座標系と呼ぶ）と所定平面上のＸ*−Ｙ*座標系（平面座標系と呼ぶ）との姿勢の位置関係を示したものである。画像座標系の中心から垂直に延びる光軸（撮像レンズの光軸）をＺ軸とする。Ｚ軸上の視点Ｏは、画像座標系の原点Ｏｍから焦点距離ｆの位置にある。Ｘ−Ｙ−Ｚ座標系のＸ軸回りの角度ψ、Ｙ軸回りの角度γ、Ｚ軸回りの角度αまたはβとする。これらの角度回りはいずれも時計回りを正としている。
【００３８】
図１０及び図１１には、操作者が任意の位置から位置検出装置本体に設けられた撮像手段１００の撮像方向を矩形形状である所定平面に向けて撮像した撮像画像ｑを示した。図には、撮像された画像は平面上の座標位置である被検出位置Ｐ0を撮像面に設定された基準位置（撮像面の原点Ｏｍ）に一致させてある。すなわち、撮像面上に定められた基準位置が光軸（Ｚ軸）が撮像面を切る点としてある。これら４個の特徴点ｑ1，ｑ2，ｑ3，ｑ4は、図１の平面座標系Ｘ*−Ｙ*座標系におけるＱ1、Ｑ2、Ｑ3、Ｑ4に対応する。
【００３９】
被検出位置を示す基準位置が４個の特徴点が形成される形状（矩形形状）の範囲外であっても良い。図１１は、被検出位置とした撮像画像の中心が所定平面上にある４個の特徴点で形成される矩形形状範囲内に含まない例である。
（ｂ１）平面の姿勢演算処理（第１演算手段）
被検出位置を演算するための第１のステップである平面の姿勢算出処理について、図８のフローチャート及び図３のブロック構成図、図９〜図１６を参考にしながら説明する。撮像面に対する所定平面の姿勢パラメータ（第１データ）として Ｚ軸回りの角度αまたは角度β、Ｙ軸回りの角度ψ及びＸ軸回りの角度γがある。
【００４０】
まず最初に、ステップＳ１１１では、すでに特徴点抽出手段の特徴点特定手段において特定されたｑ1，ｑ2，ｑ3，ｑ4の座標位置に基づいて、撮像画像ｑの相隣接する特徴点を通る直線式Ｉ1．Ｉ2，Ｉ3，Ｉ4を算出する。
次に、ステップＳ１１２ではこれら直線式を用いて撮像画像データの消失点Ｔ0、Ｓ0を算出する。（ステップＳ１１１とＳ１１２は図３のブロック構成図の消失点算出手段５２１１の処理に相当する）
矩形形状を有する平面を撮像すると撮像画像には必ず消失点が存在する。消失点とは平行群が収束する点である。例えば、直線Ｑ1Ｑ2に対応する撮像面上の直線 ｑ1ｑ2 と直線Ｑ3Ｑ4に対応する直線ｑ3ｑ4、ｑ1ｑ4、また右辺Ｑ1Ｑ4 とｑ2ｑ3とが完全に平行であれば消失点は無限遠に存在することになる。無限遠に存在するとき、その方向には透視射影されても透視効果は現れない。
【００４１】
本実施の形態では３次元空間内に置かれた平面形状は矩形形状である。従って、物体座標系では２組の平行を有し、画像座標系の撮像画像上ではＸ軸側、Ｙ軸側のそれぞれに消失点が１つ存在することになる。
図１０には任意の位置で撮像したときの撮像データ上で消失点の位置を示してある。Ｘ軸側に生じる消失点をＳ0、Ｙ軸側に生じる消失点をＴ0としてある。ｑ1ｑ2 と ｑ3ｑ4との延長した直線の交点が消失点の位置である。
【００４２】
ステップＳ１１３では消失点Ｓ0，Ｔ0を求めた後、これら消失点と撮像画像の中心Ｏｍとを結んだ直線ＯmＳ0、ＯmＴ0を算出する。（ステップＳ１１３は図３の消失直線算出手段５１１２で実行される処理である）
次に、これら消失直線と特徴点ｑ1、ｑ2、ｑ3、ｑ4とによって特徴付けられる消失特徴点ｑs1、ｑs2、ｑt1、ｑt2を求める処理を行う。（ステップＳ１１４は図３の消失特徴点算出手段５１１３で実行される処理である）
消失点Ｓ0、Ｔ0と撮像データ中心Ｏｍとを結んだ各消失直線Ｓ0Ｏm、Ｔ0Ｏmが、相隣接する２つの特徴点を通る直線ｑ1ｑ2、ｑ3ｑ4、及びｑ2ｑ3、ｑ1ｑ4と交わる交点ｑt1(Ｘt1，Ｙt1)、ｑt2(Ｘt2，Ｘt2)、ｑs1(Ｘs1，Ｙs1）、ｑs2(Ｘs2，Ｙs2）を算出する。（以後、ｑt1、ｑt2、ｑs1、ｑs2を消失特徴点と呼ぶ。また、ｑt1ｑt2、ｑs1ｑs2は、ＯmＳ0、ＯmＴ0と同様に消失直線と呼ぶことにする。）
消失直線ｑt1ｑt2、ｑs1ｑs2は、平面上で被検出位置Ｐ0を基準とする各々互いに直交した直線に対応し、被検出位置を算出するための基準直線となる。すなわち、画像座標系（Ｘ−Ｙ座標系）の各特徴点ｑt1、ｑt2、ｑs1、ｑs2は、図１の平面座標系（Ｘ*−Ｙ*座標系）における所定平面の特徴点Ｔ1、Ｔ2、Ｓ1、Ｓ2に対応する。
【００４３】
ステップＳ１１２の消失点算出処理において、Ｘ−Ｙ画像座標系（Ｘ−Ｙ座標系）のＸ軸方向に消失点が無限遠に存在すると判断された場合は、消失直線はＸ軸と平行な直線となる。 次に、ステップＳ１１５に進む。
ステップＳ１１５では、画像座標系（Ｘ−Ｙ座標系）のＸ軸がＸ軸側の消失直線ＯmＳ0に一致するようにＯmを中心に角度β度回転させ、Ｘ’−Ｙ’座標系とする座標変換処理を行う。このとき、画像座標系のＹ軸がＹ軸側の消失直線ＯmＴ0に一致するようにＯmを中心に角度α度回転させ、Ｘ’’−Ｙ’’座系とする座標変換処理でも良い。本実施の形態で用いる処理はいずれか一方で十分である。（ステップＳ１１５は図３の画像座標系変換手段５２１４で実行される処理である）
図１２は、画像座標系（Ｘ−Ｙ座標系）を時計回りを正としてβ度回転させ、Ｘ’−Ｙ’座標系、Ｘ’’−Ｙ’’座標系にそれぞれ画像座標変換処理を説明する図である。
【００４４】
これらの画像座標系回転操作は３次元空間（Ｘ−Ｙ−Ｚ座標系）におけるＺ軸回りの回転に相当し、３次元空間内におかれた所定平面の姿勢位置を表すパラメータの１つを決める操作である。
このように消失直線ｑs1ｑs2をＸ軸上に一致させることにより３次元空間内に置かれた所定平面上の直線Ｑ1Ｑ2，Ｑ3Ｑ4はＸ軸と平行な位置関係となる。
【００４５】
次のステップＳ１１６において、得られた撮像画像上のＸ−Ｙ座標変換後のＸ’−Ｙ’座標系における位置座標を基に、画像座標系Ｘ’−Ｙ’系の特徴点ｑ1，ｑ2，ｑ3，ｑ4及び消失特徴点ｑt1、ｑt2、ｑs1、ｑs2の座標位置に対する平面座標系を有する所定平面上の特徴点Ｑ1，Ｑ2，Ｑ3，Ｑ4及びＴ1、Ｔ2、Ｓ1、Ｓ2の各座標位置の対応づけを行う。これらの対応付けは幾何学的手法を用いた透視射影変換処理を行うことによりなされる。この透視射影処理は、撮像面を基準にした３次元空間（Ｘ−Ｙ−Ｚ座標系）内の撮像面に対する所定平面の姿勢を算出する処理になり、すなわち、平面の姿勢を決定する２つのパラメータであるＹ軸回りの角度ψとＸ軸回りの角度γを算出する処理となる。なお、透視射影変換処理の詳細は（ｂ２）項にて後述する。（ステップＳ１１６は図３の透視射影変換手段５２１５において実行される処理である）
次のステップＳ１１６は、ステップＳ１１５で算出された所定平面の姿勢パラメータに基づいて、平面座標系（Ｘ*−Ｙ*座標系）上での被検出位置Ｐ0の座標位置を算出する。被検出位置座標の算出の詳細は（ｂ３）項にて後述する。
【００４６】
（ｂ２）透視射影変換処理 （第４演算手段）
ここで、撮像面の画像座標系（Ｘ−Ｙ座標系）において矩形形状を特徴づける４個の特徴点の座標が特定された結果に基づいて、３次元空間内に置かれた撮像面に対する所定平面の姿勢パラメータ（ψ、γ）を算出するための透視射影変換処理について説明する。
【００４７】
まず最初に、図１３に基づき２次元透視射影変換について簡単に説明する。
図１３では横軸をＺ軸、縦軸をＹ軸としてある。Ｏは透視射影変換する際の原点である（以下、透視点と呼ぶ）、１はＸ−Ｙ座標系を有する撮像面、２は２次元平面である。図では透視点Ｏを原点とし横軸にＺ軸、縦軸を撮像面Ｘ−Ｙ座標系のＹ軸に一致させてある。いいかえれば、撮像面のＸ軸は紙面に垂直方向にあり、撮像面の中心をＺ軸に一致させてある。この撮像手段が備えているレンズ光学系の焦点距離をｆとする。撮像面１は透視点Ｏから焦点距離ｆの位置にＺ軸上に垂直に置かれていることになる。実際には撮像面の前面位置にはレンズ光学系が置かれ、撮像面には２次元平面の倒立像が結像する構成となっているが、ここでは説明し易くするために便宜上、ＣＣＤ撮像面の後方焦点の位置に配置する構成としてある。
【００４８】
また、Ｘ*−Ｙ*平面座標系を有する所定平面２が、Ｙ軸に対して角度γ度傾けた姿勢にあるとした。Ｘ−Ｙ座標系を有する画像座標系の各特徴点各ｑi(i=1,2)は、Ｘ*−Ｙ*座標系を有する所定平面上の対応する特徴点Ｑi(i=1,2)に幾何学的な対応付けにより透視射影変換される。その変換式は数１で表される。
【００４９】
【数１】

【００５０】
従って、特徴点Ｑi(Ｙ*i，Ｚ*i）(i=1,2)の座標位置は、それぞれ次の数２で表される。
【００５１】
【数２】

【００５２】
次に、３次元空間内に置かれた撮像面に対する所定平面の位置姿勢を算出する透視射影変換処理について具体的に説明する。
図１４は、３次元空間内（Ｘ−Ｙ−Ｚ座標系）に置かれた所定平面の位置姿勢を説明する斜視図である。図では所定平面の１/４矩形を示してあり、撮像面上の所定平面上の特徴点の位置座標Ｑ1(Ｘ*1，Ｙ*1)、Ｑ2(Ｘ*2，Ｙ*2）に対応する特徴点座標点ｑ1（Ｘ1、Ｙ1）、ｑ2(Ｘ2，Ｙ2）が示されている。
【００５３】
図には平面座標系（Ｘ*−Ｙ*座標系）における被検出位置Ｐ0を通り、それぞれの軸に平行な直線と隣接する２つの特徴点を通る直線との交点であるＴ1、Ｔ2それにＳ2の３点の位置座標が示されている。
これら図示されている特徴点Ｔ1、Ｔ2、Ｓ2それに不図示のＳ1は、撮像画像座標上では消失直線によって特徴付けられた消失特徴点ｑt1、ｑt2、ｑs2及びｑs1に対応する。
【００５４】
Ｑ3(Ｘ*3，Ｙ*3）、Ｑ4(Ｘ*4，Ｙ*4）に対応する座標点ｑ3（Ｘ3，Ｙ3）、ｑ4（Ｘ4，Ｙ4）については省略してある。
本実施の形態では、図中の画像座標系の原点Ｏｍ(0,0,f)は撮像画像の中心位置とし、この中心位置は撮像しようとする所定平面上の被検出位置としてある。３次元空間Ｘ−ＹーＺ座標系の原点Ｏ(0,0,0)は、透視射影変換処理する際の透視点としてある。ｆは焦点距離である。
【００５５】
所定平面の撮像面に対する位置関係は、Ｘ軸回りを撮像面の原点Ｏｍを中心としてＸ軸回りに角度＋ψ、Ｙ軸回りに角度＋γである。これらいずれの角度も時計回りを正としてある。この図ではＺ軸回りの回転操作（Ｘ−Ｙ座標系を＋β度回転）した結果が示してある。
【００５６】
本実施の形態では、撮像画像（Ｘ−Ｙ座標系）上の特徴点ｑ1、ｑt1、ｑs2の座標データに基づいて、これらの特徴点に対応する所定平面（Ｘ*−Ｙ*座標系）上の特徴点Ｑ1、Ｔ1及びＳ2の座標位置を透視射影変換により算出した。
図１５は図１４に示した３次元空間内（Ｘ−Ｙ−Ｚ座標系）に置かれた所定平面をＸ’−Ｚ’座標投影平面（Ｙ’＝０）上に正投影した図である。Ｘ’−Ｙ’−Ｚ’座標系はＸ−Ｙ−Ｚ座標系を回転座標変換したものである。Ｘ’−Ｚ’座標投影平面上（Ｙ’＝０）には直線Ｓ1Ｓ2のみが存在している（太線で図示）。Ｘ’−Ｚ’座標系の原点Ｏmと透視点Ｏの距離は、撮像レンズの焦点距離ｆの位置である。各特徴点について透視射影変換により、対応付けを行った、平面座標系における各特徴点の座標位置をＸ’−Ｙ’座標系における位置座標で表現した結果は、数３、数４で表される。
【００５７】
【数３】

【００５８】
【数４】

【００５９】
また、図１６は図１４所定平面をＹ’−Ｚ’座標投影平面（Ｘ’＝Ｏ）の上に正投影した図である。Ｙ’−Ｚ’座標投影平面（Ｘ’＝０）上には直線Ｔ1Ｔ2のみが存在する。図中には所定平面上の特徴点Ｔ1とＱ1に対応する撮像画像上の特徴点ｑt1とｑ1のみを図示してあり、Ｑ2、Ｑ3、Ｑ4に対応する撮像画像上の特徴点は略してある。Ｙ’−Ｚ’座標投影平面上における透視射影変換処理は、先に行ったＸ’−Ｚ’座標投影平面上での処理と同様な処理を行い、ｑt1とｑ1に対応する平面上の特徴点Ｔ1、Ｑ1の座標位置を算出する。
【００６０】
数５には、Ｔ1、Ｑ1の座標位置を示した。
【００６１】
【数５】

【００６２】
図１５，図１６の平面座標系の特徴点Ｔ1及びＱ1の座標算出処理に着目する。Ｘ’−Ｚ’座標投影平面とＹ’−Ｚ’座標投影平面の２つの座標面に対して透視射影変換処理した結果、特徴点ｑt1とｑ1に対応する平面座標上の特徴点Ｔ1及びＱ1の座標値が得られる。
【００６３】
図１５からはＴ1（Ｘ*t1，Ｚ*t1｜x）とＱ1（Ｘ*1，Ｚ*1｜x）、図１６からはＴ1（Ｙ*t1，Ｚ*t1｜y）とＱ1（Ｙ*1，Ｚ*1｜y）がそれぞれ得られる。
３次元空間内（Ｘ’−Ｙ’−Ｚ’座標系）に置かれた所定平面を正投影したＸ’Ｚ’投影平面（図１５）、Ｙ’Ｚ’投影平面（図１６）において、Ｚ’軸に関する座標値は各投影平面座標では同じ値をとり、次の関係にある。
Ｚ*1｜x＝Ｚ*1｜y
Ｚ*t1｜x＝Ｚ*t1｜y
上記の条件式から次の２つの関係式数６，数７を得ることができる。
【００６４】
【数６】

【００６５】
【数７】

【００６６】
上記結果、３次元空間内に置かれた所定平面の姿勢パラメータが画像座標系の特徴点の座標ｑi、消失特徴点の座標ｑtiまたはｑsiと撮像レンズの焦点距離とにより簡単な関係式で表現されることがわかった。
平面の位置姿勢を表す関係式は、数６及び数７に代え、次の関係式数８及び数９であっても良い。
【００６７】
数８及び数９示したＹ軸回りの角度ψの回転方向は、数６及び数７と逆である。
【００６８】
【数８】

【００６９】
【数９】

【００７０】
これらの関係式に用いられている特徴点ｑiは、撮像画像で得られた特徴点ｑi(i=1〜4)の１点とこれら４この特徴点から算出された消失点を用いて決定された特徴点ｑtiまたはｑsiを用いて表現されている。
本実施の形態の手順では撮像手段により得られた画像データから得られた消失直線ｑs1ｑs2をＸ軸に一致するように、Ｘ−Ｙ座標系をβ度回転させＸ’−Ｙ’座標系に変換した場合について説明した。もう一方の消失直線ｑt1ｑt2をＹ軸に一致するように、Ｘ−Ｙ座標系をＸ’’−Ｙ’’座標系に変換して行っても、数式表現は異なるが同様な結果が得られる。
【００７１】
途中の式は省略し結果のみを数１０、数１１に示した。
【００７２】
【数１０】

【００７３】
【数１１】

【００７４】
数１０、数１１では平面姿勢角度パラメータψはｑ1とｑs2の２つの座標値のみで表現されたものを示した。
一般に、画像座標系の特徴点の座標位置は画素数で表現され、数６〜数１１式中に換算係数としてＣＣＤ撮像素子の画素サイズが必要となることはいうまでもない。
【００７５】
以上、説明したように、平面座標系の平面の姿勢パラメータである角度算出式は撮像画像から算出された特徴点の座標データと撮像手段のパラメータである焦点距離ｆだけで表現された簡単な関係式となっている。
平面の姿勢パラメータを算出する式が、従来のような煩雑な座標変換行列式を用いることなく簡単な式で表現されているため、演算処理能力が低くてもよい、演算誤差が少なくなり精度的に有利などの利点がある。強いては、装置の低コスト化にもつながる。
【００７６】
さらに、所定平面の姿勢を算出する際には、平面座標系における平面形状が定性的に矩形形状であるということが既知であればよく、矩形形状のアスペクト比や矩形形状を特徴付ける座標位置データ、撮像面と所定平面までの距離データなど平面に関する位置データは必要ないという利点がある。
（ｂ３）座標位置演算処理（第２演算手段）
透視射影変換処理により算出された３次元空間内の所定平面の姿勢パラメータに基づいて、平面座標系における所定平面上の被検出位置座標を座標演算処理手段５２２により演算する。
【００７７】
平面座標系（Ｘ*−Ｙ*座標系）における所定平面上の被検出位置は、横軸比ｍi＝｜Ｓ1Ｐ0｜／｜Ｓ2Ｐ0｜、縦軸比ｎi＝｜Ｔ１Ｐ0｜／｜Ｔ2Ｐ0｜で算出される。 数６及び数７の姿勢パラメータに対応した所定平面の被検出位置Ｐ0（Ｘ*i，Ｙ*i）の算出式は、Ｘ軸比ｍ及びＹ軸比ｎで表現すると、数１２，数１３で表される。これらいずれの式を用いても良い。
【００７８】
数１２は軸比ｎx、ｍxを用いた式であり、Ｘ−Ｙ画像座標系をβ度回転しＸ’−Ｙ’座標系に変換した場合である。
【００７９】
【数１２】

【００８０】
また数１３は、軸比ｎy、ｍyを用いた式であり、Ｘ−Ｙ座標系をα度回転しＸ’’−Ｙ’’座標系に変換した場合である。
【００８１】
【数１３】

【００８２】
従って、所定平面上の被検出位置の座標位置Ｐ0（Ｘ0*、Ｙ0*）は、数１２の軸比を用いた場合には数１４で表される。
【００８３】
【数１４】

【００８４】
所定平面上の被検出位置の座標を算出する際には、算出された２つの平面の姿勢パラメータ（ψ、γ）のいずれか１つが算出されていればよい。
今、特徴点が所定平面上に表示されている画像の４隅としたパソコン表示画面を考える。表示される最大ドット数Ｕmax、縦軸の最大ドット数Ｖmaxは既知であるので数１４中Ｘ*max＝Ｕmax、Ｙ*max＝Ｖmaxとすれば、被検出位置の座標位置が容易に算出される
【００８５】
＜シミュレーションによる位置検出方法の原理検証＞
次に、シミュレーション計算を行い、所定平面上の被検出位置Ｐ0の座標位置を算出し、本実施の形態の位置検出方法の原理検証を行った。
まず最初に、検出しようとしている被検出位置の矩形平面上の特徴点に対応する撮像面上の特徴点の座標位置データが必要である。そのために、予め既知の平面の位置姿勢パラメータ（ψ、γ）の値を用いて、撮像面上の画像プロファイルを得るシミュレーション計算を行った。
【００８６】
所定平面として１５００ｍｍ×２０００ｍｍの１００”'サイズのスクリーン平面を想定し、撮像距離はスクリーン平面中心より２０００ｍｍ離れたところより、スクリーン面上の被検出位置としてＳ1Ｐ0／Ｓ2Ｐ0（ｍとする）＝１，Ｔ1Ｐ0／Ｔ2Ｐ0（ｎとする）＝１の座標位置（この座標位置はスクリーン中心である）に向けて、撮像することを想定した。
【００８７】
計算に用いた撮像手段の光学パラメータは、焦点距離のみであり、ｆ=５ｍｍを使用した。また、撮像面に対するスクリーン平面の姿勢パラメータとして、ψ=６０度、γ=５度を用いた。
シミュレーション計算結果、得られた画像座標上の座標位置データに基づいて、諸々の関係式数６〜数１４から算出される姿勢パラメータ値ψ、γ及被検出位置の軸比ｍ、ｎが、予め設定した値になるか検証した。
【００８８】
表１には前述した数６〜数１４を用いて、スクリーン平面の姿勢ならびにスクリーン上の座標系における被検出位置の位置座標を算出した結果を示した。
【００８９】
【表１】

【００９０】
表にはＸ−Ｙ座標系をＺ軸回りにβ度反時計回りに回転させ、Ｓ軸をＸ軸に一致させた座標系をＸ’−Ｙ’座標系とした場合とＸ−Ｙ座標系をＺ軸回りにα度時計回りに回転させ、Ｔ軸をＹ軸に一致させＸ’’−Ｙ’’座標系とした場合について示した。
【００９１】
その結果、スクリーンの撮像面からの姿勢位置ならびに被検出位置は予め設定した６０度、５度という値に対して非常に精度良く一致しており、原理的に正しいことが検証できた。
【００９２】
【発明の効果】
以上のように、本発明の実施の形態に係わる位置検出装置は、予め撮像面の基準位置を定めこの基準位置と被検出位置とを合わせたこと、複数の特徴点により形成される消失点を用いて演算処理したことなどにより、撮像レンズの焦点距離と矩形形状を特徴づける４個の画像位置データとの少ないパラメータを用いた簡単な関係式を導出できた。このように撮像面に対する所定平面の姿勢検出や所望の被検出位置の座標位置が、精度良く、煩雑な行列演算処理を必要とせず容易に得ることができる。
【００９３】
また、本実施の形態に係わる平面姿勢検出装置によれば、３次元空間内に置かれた平面の姿勢位置情報を得るための姿勢センサが不要であり、１つの撮像素子があれば良いため装置構成は簡素化され、装置の小型軽量化となる。さらに、平面座標系における所定平面上の特徴点に関する情報は、矩形形状を形成するという以外不要であり、撮像画像上の特徴点の座標位置のみで算出することができる。
【００９４】
また、本実施の形態に係わる位置検出装置によれば、操作者は任意の操作位置からスクリーンなど表示画面上の指示したい位置に直接入力操作することができ、高い操作自由度を有する。
このように本実施の形態に係わる位置検出装置や姿勢検出装置は、従来にない新しい入力装置として様々な分野への用途拡大が期待できる。
【図面の簡単な説明】
【図１】 本発明の位置検出装置を説明するシステム構成図。
【図２】 本実施の形態の構成ブロック図。
【図３】 本実施の形態の平面姿勢算出手段の詳細構成ブロック図
【図４】 本実施の形態の位置検出装置本体（位置検出入力手段）の構成図。
【図５】 本実施の形態の第１の光学系。
【図６】 本実施の形態の第２の光学系。
【図７】 本実施の形態の基本動作を説明するフローチャート。
【図８】 本実施の形態の画像処理部の詳細フローチャート。
【図９】 本実施の形態の画像座標系と平面座標系との関係を説明する図。
【図１０】 撮像された第１の矩形平面画像。
【図１１】 撮像された第２の矩形平面画像。
【図１２】 撮像された画像面上の各座標系。
【図１３】 ２次元透視射影変換を説明する図
【図１４】 ３次元透視射影変換を説明する斜視図。
【図１５】 図１４における所定平面のＸ’−Ｚ’投影平面上への正投影図。
【図１６】 図１４における所定平面のＹ’−Ｚ’投影平面上への正投影図。
【符号の説明】
１ 撮像手段
２ Ａ／Ｄ変換手段
３ フレームメモリ
４ 制御手段
５ 画像処理手段
６Ａ 光ビーム照射手段
６Ｂ 視準手段
７ シャッターボタン
８ 光照射ボタン
９ 出力信号処理手段
５１ 特徴点抽出手段
５２ 位置演算処理手段
５２１ 平面姿勢演算手段（第１演算手段）
５２２ 座標演算手段（第２演算手段）
５２３ 消失点処理手段（第３演算手段）
５２１１ 消失点算出手段
５２１２ 消失直線算出手段
５２１３ 消失特徴点算出手段
５２１４ 画像座標系変換手段
５２１５ 透視射影変換手段（第４演算手段）

Claims (19)

1. 矩形形状を形成する少なくとも４個の特徴点を有する所定平面上の被検出位置の座標を検出する装置であって、
   前記所定平面上の被検出位置に向けて前記特徴点を含んで撮像する撮像手段と、
   前記撮像手段の撮像面上に予め定められた基準位置を前記被検出位置に合わせる照準手段と、
   前記照準手段により被検出位置に合わせて撮像された撮像画像に基づいて、前記基準位置を撮像画像系の原点として、前記それぞれの特徴点の座標を特定する特徴点特定手段と、
   前記特徴点特定手段により特定された特徴点の座標と前記特徴点により形成される消失点とに基づいて、前記撮像面に対する前記所定平面の姿勢パラメータを透視射影演算手段により演算する平面姿勢演算手段と、
   前記平面姿勢演算手段により算出された少なくとも１つの姿勢パラメータと前記特徴点の座標とに基づいて、前記所定平面上の被検出位置の座標を演算する座標演算手段と、
   を備えたことを特徴とする位置検出装置。
2. 前記平面姿勢演算手段は、前記特徴点により形成される消失点の１つと撮像画像原点とを結ぶ消失直線を算出する消失直線算出手段と、前記消失直線と前記特徴点の相隣接する２点間の直線との交点座標を算出する消失特徴点算出手段とを備えたことを特徴とする請求項１記載の位置検出装置。
3. 前記消失直線手段により算出した消失直線の１つを画像座標系のＸ軸またはＹ軸のいずれか一方に一致するように撮像画像の原点を中心に撮像画像座標系を回転させ、前記特徴点座標の座標変換を行う座標変換手段が付加されたことを特徴とする請求項２に記載の位置検出装置。
4. 前記基準位置は、前記撮像手段に設けられた撮像レンズの光軸が撮像面を切る点であることを特徴とする請求項１記載の位置検出装置。
5. 前記前記照準手段は、前記撮像手段に設けられた十字線付きファインダーであることを特徴とする請求項１記載の位置検出装置。
6. 前記照準手段は、前記撮像手段に設けられた撮像レンズの光軸と同軸上に光ビームを出射するように配置された光ビーム照射手段であることを特徴とする請求項１記載の位置検出装置。
7. 前記所定平面は、画像を表示する表示平面であることを特徴とする請求項１記載の位置検出装置。
8. 前記特徴点は表示された画像であることを特徴とする請求項１又は７記載の位置検出装置。
9. 撮像手段の撮像面上に予め定められた基準位置と所定平面上の被検出位置とが一致した状態で、所定平面上の矩形形状を形成する少なくとも４個の特徴点が撮像された撮像画像に基づいて所定平面上の被検出位置の座標を検出する方法であって、
   前記撮像画像上の前記特徴点を抽出し、前記基準位置を撮像画像系の原点として、前記特徴点の座標を特定する特徴点特定ステップと、
   前記特徴点特定ステップにより特定された特徴点の座標と前記特徴点により算出される消失点とに基づいて、前記撮像面に対する前記所定平面の姿勢パラメータを透視射影演算手段により演算する平面姿勢演算ステップと、
   前記平面姿勢演算ステップにより算出された少なくとも１つの姿勢パラメータと前記特徴点の座標とに基づいて、前記所定平面上の被検出位置の座標を演算する座標演算ステップと、
   を含むことを特徴とする位置検出方法。
10. 前記平面姿勢演算ステップは、前記特徴点により形成される消失点の１つと撮像画像原点とを結ぶ消失直線を算出するステップと、
    撮像画像座標系にて前記特徴点の相隣接する２点間の直線との交点を算出する消失特徴点算出ステップと、
    を備えたことを特徴とする請求項９記載の位置検出方法。
11. 前記平面姿勢演算ステップは、姿勢パラメータを透視射影演算手段により演算することを特徴とする請求項９記載の位置検出方法。
12. 前記平面姿勢演算ステップは、前記消失直線の１つを画像座標系のＸ軸またはＹ軸のいずれか一方に一致するように、撮像原点を中心として撮像画像座標系を回転させ、特徴点座標の座標変換を行う画像座標変換ステップを含むことを特徴とする請求項１１記載の位置検出方法。
13. ３次元空間内の所定平面の姿勢を検出する平面姿勢検出装置であって、
    撮像面上の予め定められた前記所定平面上の少なくとも４つの特徴点を撮像する撮像手段と、
    前記撮像手段により得られた撮像画像に基づいて、前記基準位置を撮像座標系の原点として、撮像面上の前記特徴点の座標を特定する特徴点特定手段と、
    前記特徴点特定手段により特定された特徴点座標に基づいて、撮像画像上の特徴点で形成される消失点を算出する消失点算出手段と、
    前記消失点算出手段より算出された消失点の１つと撮像画像原点とを結ぶ消失直線を算出する消失直線算出手段と、
    前記消失直線と前記特徴点の相隣接する２点間との直線との交点である消失特徴点座標を算出する消失特徴点算出手段と、
    前記特徴点座標と前記消失特徴点座標とに基づいて、撮像面に対する所定平面の姿勢パラメータを透視射影演算する透視射影演算手段と、
    を備えていることを特徴とする平面姿勢検出装置。
14. 前記基準位置は、撮像手段に設けられた撮像レンズの光軸が撮像面を切る点であることを特徴とする請求項１３記載の平面姿勢検出装置。
15. 前記消失直線算出手段により算出した消失直線の１つを、撮像画像原点を中心にして、画像座標系のＸ軸またはＹ軸のいずれか一方に一致するように画像座標系を回転させ、撮像画像上の特徴点座標の変換を行う画像座標変換手段が付加されたことを特徴とする請求項１３記載の平面姿勢検出装置。
16. 前記所定平面は平面上に表示された画像であることを特徴とする請求項１３記載の平面姿勢検出装置。
17. 前記複数の特徴点は前記所定平面上に表示された画像であることを特徴とする請求項１３又は１６記載の平面姿勢検出装置。
18. ３次元空間内の所定平面の姿勢を検出する平面姿勢検出方法であって、
    撮像面上の予め定められた基準位置を前記所定平面上の少なくとも４つの特徴点を撮像する撮像ステップと、
    前記撮像手段により得られた撮像画像に基づいて、前記基準位置を撮像座標系の原点として、撮像面上の前記特徴点の座標を特定する特徴点特定ステップと、
    前記特徴点特定ステップにより特定された座標に基づいて消失点を算出する消失点算出ステップと、
    前記消失点算出ステップより算出された消失点と撮像画像原点とを結ぶ消失直線を算出するステップと、
    前記消失直線と前記特徴点の相隣接する２点間との直線との交点座標を算出する消失特徴点算出ステップと、
    前記撮像画像上の４つの特徴点座標と前記消失特徴点算出ステップより算出した座標とに基づいて、撮像面に対する所定平面の姿勢パラメータを透視射影演算する透視射影演算ステップと、
    を備えたことを特徴とする平面姿勢検出方法。
19. 前記消失直線算出ステップより算出した消失直線の１つを、撮像画像原点を中心にして、画像座標系のＸ軸またはＹ軸のいずれか一方に一致するように回転させ、撮像画像上の特徴点座標の変換を行う画像座標変換ステップが付加されたことを特徴とする請求項１８記載の平面姿勢検出方法。

Images