JP3690581B2 - 位置検出装置及びその方法、平面姿勢検出装置及びその方法 - Google Patents

位置検出装置及びその方法、平面姿勢検出装置及びその方法 Download PDF

Info

Publication number
JP3690581B2
JP3690581B2 JP2000218970A JP2000218970A JP3690581B2 JP 3690581 B2 JP3690581 B2 JP 3690581B2 JP 2000218970 A JP2000218970 A JP 2000218970A JP 2000218970 A JP2000218970 A JP 2000218970A JP 3690581 B2 JP3690581 B2 JP 3690581B2
Authority
JP
Japan
Prior art keywords
plane
means
feature point
imaging
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000218970A
Other languages
English (en)
Other versions
JP2001148025A5 (ja
JP2001148025A (ja
Inventor
行宣 石野
Original Assignee
株式会社ニコン
株式会社ニコン技術工房
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP11-252732 priority Critical
Priority to JP25273299 priority
Application filed by 株式会社ニコン, 株式会社ニコン技術工房 filed Critical 株式会社ニコン
Priority to JP2000218970A priority patent/JP3690581B2/ja
Priority claimed from US09/656,464 external-priority patent/US6727885B1/en
Priority claimed from US09/797,829 external-priority patent/US20010010514A1/en
Publication of JP2001148025A publication Critical patent/JP2001148025A/ja
Publication of JP2001148025A5 publication Critical patent/JP2001148025A5/ja
Application granted granted Critical
Publication of JP3690581B2 publication Critical patent/JP3690581B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、撮像画像データに基づいて3次元空間内に置かれた平面上の被検出位置を検出する位置検出装置及び方法ならびに対象平面上の姿勢検出装置及び方法に関するものであり、特に、ディスプレイ上の位置検出などに関するものである。
【0002】
【従来の技術】
最近コンピュータの表示画面に直接座標入力したり、コンピュータ画面をプロジェクタによりスクリーン上に投影しカーソル操作を行うことが頻繁に行われている。特に投影された画像上をレーザーポインタ等により指示位置を特定して、コンピュータ本体のコマンド操作、編集、拡大縮小などを行うことのできるポインティングデバイスが提案されている。これらの従来例として、例えば特開平2−306294号、特開平3−176718号公報、特開平4−305687号公報、特開平6ー308879号公報などがあげられる。
【0003】
代表的な従来例である特開平2−306294号公報は、プロジェクタにより投影されたスクリーン、スクリーン上の被検出位置を指示するレーザーポインタ、スクリーン上に向けられレーザーポインタの輝点を検出するための固定CCDカメラから構成されている。このCCDカメラにより所定時間毎にスクリーン上のレーザー輝点を検出し、スクリーン上の輝点の位置を検出しようとするものである。
【0004】
また、特開平6ー308879号公報は、スクリーンの近傍に複数の発光素子を配置し、指示器には複数の発光素子からの光を受光する受光素子が設けられ、発光素子からの光強度や光の方向性を基に計算機によって、指示器が指し示す軸方向の表示画面における位置が算出できるようにした光学式ポインティングシステムである。
【0005】
さらに、特開平10ー116341号公報では、基準カメラと検査カメラの2台のカメラを用いてそれぞれの画像を基に被計測点の位置を計測する方法、特開平9−231373号公報では、2つ以上の撮像装置を用いて複数の特徴点を有する物体を撮像し、各特徴点間の相対的な3次元位置関係を透視射影変換により算出する3次元位置計測装置などが提案されている。
【0006】
【発明が解決しようとする課題】
しかしながら、従来、ポインティングデバイスなどに用いる位置検出装置、例えば、特開平2−306294号公報のように固定カメラにより位置検出する場合、カメラとスクリーンとの間に操作者や人が入ってしまい位置検出ができなくなってしまう問題やスクリーン上に投影されている画像が高輝度画像となるとレーザービームの輝点検出が困難になる問題が生じる。さらに、固定カメラを設置するスペースが必要となり、装置が大型化してしまい操作性の自由度が低く、汎用性に欠けるという問題も生じる。
【0007】
特開平6ー308879号公報のように、表示画面上に発光素子を設けて発光する光を指示器に設けられた光電変換素子で受光する方法は、位置検出するために表示画面に発光素子を設けなければならないため汎用性に欠けるという問題がある。さらに、光強度の指向性とその強度を検出して被検出位置を算出するための受光素子構造の工夫が必要となり、しかも、スクリーン上の被検出位置精度が高くないという問題が生じる。
【0008】
また、複数の撮像装置を用いて3次元空間内の被写体の位置計測を行う方法は、装置が大型化し演算処理量も多くなってしまうという問題がある。
本発明の目的は、撮像された画像データのみの情報から撮像対象である所定平面の姿勢位置や平面上の被検出位置を簡単に検出でき、かつ、自由度の高い操作性を有する小型で軽量な位置検出装置及びその方法、平面姿勢検出装置及びその方法を提供することである。
【0009】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項1記載では、矩形形状を形成する少なくとも4個の特徴点を有する所定平面上の被検出位置の座標を検出する装置であって、前記所定平面上の被検出位置に向けて前記特徴点を含んで撮像する撮像手段と、前記撮像手段の撮像面上に予め定められた基準位置を前記被検出位置に合わせる照準手段と、前記照準手段により被検出位置に合わせて撮像された撮像画像に基づいて、前記基準位置を撮像画像系の原点として、前記それぞれの特徴点の座標を特定する特徴点特定手段と、 前記特徴点特定手段により特定された特徴点の座標と前記特徴点により形成される消失点とに基づいて、前記撮像面に対する前記所定平面の姿勢パラメータを透視射影演算手段により演算する平面姿勢演算手段と、 前記平面姿勢演算手段により算出された少なくとも1つの姿勢パラメータと前記特徴点の座標とに基づいて、前記所定平面上の被検出位置の座標を演算する座標演算手段と、
を備えたことを特徴とする。
【0010】
本発明の請求項9記載の位置検出方法は、撮像手段の撮像面上に予め定められた基準位置と所定平面上の被検出位置とが一致した状態で、所定平面上の矩形形状を形成する少なくとも4個の特徴点が撮像された撮像画像に基づいて所定平面上の被検出位置の座標を検出する方法であって、
前記撮像画像上の前記特徴点を抽出し、前記基準位置を撮像画像系の原点として、前記特徴点の座標を特定する特徴点特定ステップと、前記特徴点特定ステップにより特定された特徴点の座標と前記特徴点により算出される消失点とに基づいて、前記撮像面に対する前記所定平面の姿勢パラメータを透視射影演算手段により演算する平面姿勢演算ステップと、前記平面姿勢演算ステップにより算出された少なくとも1つの姿勢パラメータと前記特徴点の座標とに基づいて、前記所定平面上の被検出位置の座標を演算する座標演算ステップとを含むことを特徴とする。
【0011】
本発明の請求項13記載の平面姿勢検出装置は、3次元空間内の所定平面の姿勢を検出する平面姿勢検出装置であって、撮像面上の予め定められた前記所定平面上の少なくとも4つの特徴点を撮像する撮像手段と、前記撮像手段により得られた撮像画像に基づいて、前記基準位置を撮像座標系の原点として、撮像面上の前記特徴点の座標を特定する特徴点特定手段と、前記特徴点特定手段により特定された特徴点座標に基づいて、撮像画像上の特徴点で形成される消失点を算出する消失点算出手段と、前記消失点算出手段より算出された消失点の1つと撮像画像原点とを結ぶ消失直線を算出する消失直線算出手段と、前記消失直線と前記特徴点の相隣接する2点間との直線との交点である消失特徴点座標を算出する消失特徴点算出手段と、前記特徴点座標と前記消失特徴点座標とに基づいて、撮像面に対する所定平面の姿勢パラメータを透視射影演算する透視射影演算手段とを備えていることを特徴とする。
【0012】
本発明の請求項18記載の平面姿勢検出方法は、3次元空間内の所定平面の姿勢を検出する平面姿勢検出方法であって、撮像面上の予め定められた基準位置を前記所定平面上の少なくとも4つの特徴点を撮像する撮像ステップと、 前記撮像手段により得られた撮像画像に基づいて、前記基準位置を撮像座標系の原点として、撮像面上の前記特徴点の座標を特定する特徴点特定ステップと、前記特徴点特定ステップにより特定された座標に基づいて消失点を算出する消失点算出ステップと、前記消失点算出ステップより算出された消失点と撮像画像原点とを結ぶ消失直線を算出するステップと、前記消失直線と前記特徴点の相隣接する2点間との直線との交点座標を算出する消失特徴点算出ステップと、前記撮像画像上の4つの特徴点座標と前記消失特徴点算出ステップより算出した座標とに基づいて、撮像面に対する所定平面の姿勢パラメータを透視射影演算する透視射影演算ステップと、を備えたことを特徴とする。
【0014】
【発明の実施の形態】
図1は実施の形態に係わる位置検出装置の概念構成図である。
100は本実施の形態に係わる位置検出装置本体、110は座標検出対象となる所定平面であり、特徴点Q1、Q2、Q3、Q4を有する矩形平面である。位置検出装置本体100を用いて平面110上の被検出位置P0を検出しようとするものである。位置検出装置本体100は所定平面110に対し任意の位置から操作することが可能である。破線101は位置検出装置本体100に設けられている撮像手段1の撮像面の中心から垂直に所定平面上の被検出位置まで延びている光軸である。
【0015】
本実施の形態で被検出対象とした平面の形状は、四角形の各角度が直角なる矩形形状を有する物体や図形である。代表的な例として、パソコン表示画面、プロジェクタ投影画面、コンピュータにより作成される図形などの表示画面があげられる。本実施の形態では特徴点として所定平面形状の4隅とする矩形形状としたが、これら矩形形状を特徴付ける特徴点は所定平面上にあればよく、スクリーン平面上に表示された画像であってもよい。
【0016】
図2、図3は本発明の実施の形態に係わる位置検出装置100のブロック構成図、図4はその概念構成斜視図である。
図2の構成ブロック図において、1は撮像手段であり、撮像手段はレンズ光学系と撮像素子とから構成されている。本実施の形態ではCCD撮像素子を有するデジタルスチルカメラを用いたが、ビデオカメラでもよい。
【0017】
また、撮像手段1には被写体である平面上の被検出位置を特定するため予め基準位置が定められている。本実施の形態では基準位置は撮像面の中心とし、画像座標系(X−Y座標系)の原点Omとしてある。2は撮像手段により撮像された画像データをデジタル画像データとするA/D変換手段である。3はA/D変換されたデジタル画像データはCCD撮像面の各画素に対応したアドレス毎に一時的に記憶できるフレームメモリである。
【0018】
このフレームメモリは連続撮像が記憶できるように数十MB程度記憶できる容量を有している。
4は制御手段である。この制御手段4はROM(不図示)を備えており、透視射影変換処理するプログラムや各種制御プログラムなどが格納されている。
【0019】
5は画像処理手段である。画像処理手段5は、取り込まれた撮像画像データに基づいて、3次元空間内の平面上のいずれかに配置された矩形形状を特徴付ける特徴点を抽出する特徴点抽出手段51と、抽出された特徴点の座標位置に基づいて被検出位置演算処理を行う位置演算手段52とから構成される。
【0020】
この特徴点抽出手段51には、一時的に呼び込まれた画像データが矩形平面の特徴点を抽出したか否か判断する抽出判断手段(不図示)を備えている。この抽出判断手段を備えることにより、もし抽出判断手段において特徴点が抽出できなかった場合に警告音を発し、再度画像の取り込みを操作者に指示することができる。
【0021】
また、位置演算手段52は3次元空間(X−Y−Z座標系)内における撮像面に対する所定平面の姿勢パラメータ(第1データ)を演算する平面姿勢演算手段(第1演算手段)521と、所定平面上の被検出位置の座標を演算する座標演算処理手段(第2演算手段)522とから構成される。
【0022】
図3は平面姿勢演算手段521の詳細ブロック図である。
平面姿勢演算手段(第1演算手段)521は、消失点算出手段5211と消失直線算出手段5212と消失特徴点算出手段5213とから構成される消失点処理手段(第3演算手段)523、画像座標系変換手段5214及び透視射影変換手段(第4演算手段)5215とから構成されている。
【0023】
消失点処理手段(第3演算手段)は撮像面上における複数の特徴点の座標位置から算出し、その消失点に基づいて消失特徴点(第3データ)を算出処理する手段である。第4演算手段は姿勢パラメータを算出するための透視射影変換手段に相当する。
【0024】
6Aは光ビーム照射手段であり、LED発光素子や半導体レーザー発生器が用いられる。光ビーム照射手段2は被検出位置を指示する視認性のある光を発するものであればよく、プレゼンテーションや会議の際、操作者が指示する箇所を特定できる汎用のレーザーポインタでよい。
【0025】
図5は図4で示した光ビーム照射手段6Aを用いた装置構成の光学系の一例である。光ビーム照射手段として赤外線レーザーを用いた例である。電源がONされると60光源から61コリメートレンズで平行となったレーザー光は、62ミラーを介し、撮像光学系の中心軸上に設けられた13ミラーにより反射され所定平面上に輝点として導かれる。撮像光学系は12は撮像レンズと11はCCDとから構成されている。装置本体から出射されるポインティング用レーザーの光軸が、撮像光学系の光軸と一致するような光学系となっている。ミラー13は赤外線レーザーを反射させ、可視光を透過するようなハーフミラーである。
【0026】
ポインティング用レーザーは表示画面上の被検出位置を確認できればよく、撮像時にはOFFされる。従って、ミラー13は撮像する時にはミラーアップするような機構にしても良い。光ビーム照射手段6Aにより照射された所定平面上の被検出位置が撮像面上に設定された基準位置と合致するように、光ビーム照射手段6Aと撮像手段1とが予め決められた位置関係で設けられている。図では撮像レンズの光軸とレーザー照射光学系の光軸とが一致するようにしてあるが、レーザーは視認するだけであるので、所定平面上の輝点が被検出位置近傍にあればよく、必ずしも光軸が一致してなくてもよい。
【0027】
7はレーザー照射ボタン、8はシャッターボタンである。7、8は、2段スイッチとなっており、1段目を押すと単に赤外線レーザーを照射し、被検出位置を指し示すだけでオフされる。さらに2段目を押すことにより、撮像手段のシャッターが切れ、所定平面の画像を取り込めるようになっている。
【0028】
9は出力信号処理部で、演算結果得られた平面の姿勢パラメータや被検出位置を出力信号に変え、本体の表示部に画像とともに数値表示したり、ビデオプロジェクタ、コンピュータなどの外部機器へ送出する。出力信号処理手段9として被検出位置出力信号をワイヤレス信号として送出できる発信手段を用いれば、装置の操作性は格段に広がり効果的である。
【0029】
図6は、被検出位置に基準位置を合わせる方法として光ビーム照射手段に代え、視準手段6Bを備えた位置検出装置の光学系の一例である。
視準手段6Bには予め撮像面上の基準位置と一致する位置に十字線74が刻まれており、この十字線の位置を被検出位置に合わせて、撮像することにより所定平面上の被検出位置が検出される。
【0030】
このように、撮像時に視準手段を設けたファインダーや光ビーム照射手段などを用いることにより、予め定められた撮像面上の基準位置に合っている状態で撮像が行われるようにしているのである。その基準位置は撮像レンズの光軸が撮像面を切る点、すなわち、撮像画像の中心としてある。
【0031】
本実施の形態に係わる位置検出装置本体の構成は、図6のように撮像手段1と画像処理手段5とが一体としたが、位置検出入力手段としての撮像手段と画像処理手段とを別体にし、画像処理手段5をパソコンなど外部機器の内部記憶装置や外部記録媒体に備えるようにしてもよい。
【0032】
次に、本発明の実施の形態の位置検出装置の基本動作について説明する。
図7は本発明の実施の形態の検出装置の基本動作を説明するフローチャートである。
ステップS100で検出装置の電源がONする。ステップS101において3次元空間内の複数の特徴点を含む所定平面上において検出しようとする被検出位置に画像座標系の撮像面上の予め定められた基準位置を合わせる。本実施の形態において、基準位置は撮像レンズの光軸が撮像面を切る点、すなわち、撮像画像の中心としてある。
【0033】
ステップS102ではこの合わせた状態で撮像手段のシャッター8をONにし、画像を取り込む。取り込まれた画像は画像データ信号処理されフレームメモリに格納され、ステップS103において予め抽出しようとする幾何学的特徴点が抽出され、画像座標系において矩形形状を特徴づける4個の特徴点の重心位置座標q1,q2,q3,q4が特定される。 その時、ステップS104では予め決められた幾何学的特徴点が正確に抽出されたか否か判断する。正確に抽出されなかった場合、ステップS105において警告音を発し、再度撮像手段により取り込むよう操作者に伝えられる。予め定められた幾何学的特徴点が抽出されれば、次のステップS106に進む。
【0034】
ステップS106では3次元空間内の所定平面の姿勢位置や被検出位置の検出演算処理される。このステップS106の詳細は後述する。ステップS107では演算処理され算出された値を表示手段(不図示)や外部機器などに合わせ信号処理され出力される。例えば、所定平面としてパソコン画面とした場合、本実施の形態の位置検出装置により、任意の位置からパソコン画面上の座標位置入力が行え、指示した位置(被検出位置)にカーソルを表示することができる。
【0035】
次に、本実施の形態の検出装置の画像処理手段5の各構成の動作について詳細に説明する。
(a)特徴点抽出処理
撮像画像データから矩形形状を特徴付ける所定平面の4隅Q1、Q2、Q3、Q4を抽出する方法としてパターンマッチング法、差分画像法、濃淡輪郭法などがある。対象となる所定平面に応じて適切な方法を選択することになる。
【0036】
本実施の形態では、所定平面の形状を特徴付けるこれら4つの特徴点の情報、例えば、幾何学的形状、色、発光素子などを予めメモリに格納しておき、撮像画像データと比較参照して特徴点を抽出するパターンマッチング方法を用いる。
また、所定平面がスクリーン平面上に表示された表示画像である場合には差分画像法が好ましい。表示画像全体は4隅Q1、Q2、Q3、Q4を特徴点とする矩形形状である。表示画像は撮像時の撮像時のシャッター信号と同期して、表示画像の輝度が変化するようになっている。撮像時のタイミングに合わせて表示画像輝度が異なる濃淡2枚の時系列画像を撮像し、2枚の撮像画像を得る。これら2枚の撮像画像を差分処理する。これら差分画像に基づき二値化処理を行い、複数の幾何学的特徴点q1、q2、q3、q4を抽出する。
【0037】
(b)位置演算処理(第2演算手段)
次に、3次元空間内に置かれた特徴点を有する所定平面上の被検出位置P0の位置座標を算出する方法について具体的に説明する。
図8は3次元空間内に置かれた所定平面上の被検出位置を演算処理する具体的な手順を示したフローチャートである。図7の基本動作フローチャートのステップS106の動作の詳細である
図9は3次元空間における撮像面上のX−Y−Z座標系(画像座標系と呼ぶ)と所定平面上のX*−Y*座標系(平面座標系と呼ぶ)との姿勢の位置関係を示したものである。画像座標系の中心から垂直に延びる光軸(撮像レンズの光軸)をZ軸とする。Z軸上の視点Oは、画像座標系の原点Omから焦点距離fの位置にある。X−Y−Z座標系のX軸回りの角度ψ、Y軸回りの角度γ、Z軸回りの角度αまたはβとする。これらの角度回りはいずれも時計回りを正としている。
【0038】
図10及び図11には、操作者が任意の位置から位置検出装置本体に設けられた撮像手段100の撮像方向を矩形形状である所定平面に向けて撮像した撮像画像qを示した。図には、撮像された画像は平面上の座標位置である被検出位置P0を撮像面に設定された基準位置(撮像面の原点Om)に一致させてある。すなわち、撮像面上に定められた基準位置が光軸(Z軸)が撮像面を切る点としてある。これら4個の特徴点q1,q2,q3,q4は、図1の平面座標系X*−Y*座標系におけるQ1、Q2、Q3、Q4に対応する。
【0039】
被検出位置を示す基準位置が4個の特徴点が形成される形状(矩形形状)の範囲外であっても良い。図11は、被検出位置とした撮像画像の中心が所定平面上にある4個の特徴点で形成される矩形形状範囲内に含まない例である。
(b1)平面の姿勢演算処理(第1演算手段)
被検出位置を演算するための第1のステップである平面の姿勢算出処理について、図8のフローチャート及び図3のブロック構成図、図9〜図16を参考にしながら説明する。撮像面に対する所定平面の姿勢パラメータ(第1データ)として Z軸回りの角度αまたは角度β、Y軸回りの角度ψ及びX軸回りの角度γがある。
【0040】
まず最初に、ステップS111では、すでに特徴点抽出手段の特徴点特定手段において特定されたq1,q2,q3,q4の座標位置に基づいて、撮像画像qの相隣接する特徴点を通る直線式I1.I2,I3,I4を算出する。
次に、ステップS112ではこれら直線式を用いて撮像画像データの消失点T0、S0を算出する。(ステップS111とS112は図3のブロック構成図の消失点算出手段5211の処理に相当する)
矩形形状を有する平面を撮像すると撮像画像には必ず消失点が存在する。消失点とは平行群が収束する点である。例えば、直線Q1Q2に対応する撮像面上の直線 q1q2 と直線Q3Q4に対応する直線q3q4、q1q4、また右辺Q1Q4 とq2q3とが完全に平行であれば消失点は無限遠に存在することになる。無限遠に存在するとき、その方向には透視射影されても透視効果は現れない。
【0041】
本実施の形態では3次元空間内に置かれた平面形状は矩形形状である。従って、物体座標系では2組の平行を有し、画像座標系の撮像画像上ではX軸側、Y軸側のそれぞれに消失点が1つ存在することになる。
図10には任意の位置で撮像したときの撮像データ上で消失点の位置を示してある。X軸側に生じる消失点をS0、Y軸側に生じる消失点をT0としてある。q1q2 と q3q4との延長した直線の交点が消失点の位置である。
【0042】
ステップS113では消失点S0,T0を求めた後、これら消失点と撮像画像の中心Omとを結んだ直線OmS0、OmT0を算出する。(ステップS113は図3の消失直線算出手段5112で実行される処理である)
次に、これら消失直線と特徴点q1、q2、q3、q4とによって特徴付けられる消失特徴点qs1、qs2、qt1、qt2を求める処理を行う。(ステップS114は図3の消失特徴点算出手段5113で実行される処理である)
消失点S0、T0と撮像データ中心Omとを結んだ各消失直線S0Om、T0Omが、相隣接する2つの特徴点を通る直線q1q2、q3q4、及びq2q3、q1q4と交わる交点qt1(Xt1,Yt1)、qt2(Xt2,Xt2)、qs1(Xs1,Ys1)、qs2(Xs2,Ys2)を算出する。(以後、qt1、qt2、qs1、qs2を消失特徴点と呼ぶ。また、qt1qt2、qs1qs2は、OmS0、OmT0と同様に消失直線と呼ぶことにする。)
消失直線qt1qt2、qs1qs2は、平面上で被検出位置P0を基準とする各々互いに直交した直線に対応し、被検出位置を算出するための基準直線となる。すなわち、画像座標系(X−Y座標系)の各特徴点qt1、qt2、qs1、qs2は、図1の平面座標系(X*−Y*座標系)における所定平面の特徴点T1、T2、S1、S2に対応する。
【0043】
ステップS112の消失点算出処理において、X−Y画像座標系(X−Y座標系)のX軸方向に消失点が無限遠に存在すると判断された場合は、消失直線はX軸と平行な直線となる。 次に、ステップS115に進む。
ステップS115では、画像座標系(X−Y座標系)のX軸がX軸側の消失直線OmS0に一致するようにOmを中心に角度β度回転させ、X’−Y’座標系とする座標変換処理を行う。このとき、画像座標系のY軸がY軸側の消失直線OmT0に一致するようにOmを中心に角度α度回転させ、X’’−Y’’座系とする座標変換処理でも良い。本実施の形態で用いる処理はいずれか一方で十分である。(ステップS115は図3の画像座標系変換手段5214で実行される処理である)
図12は、画像座標系(X−Y座標系)を時計回りを正としてβ度回転させ、X’−Y’座標系、X’’−Y’’座標系にそれぞれ画像座標変換処理を説明する図である。
【0044】
これらの画像座標系回転操作は3次元空間(X−Y−Z座標系)におけるZ軸回りの回転に相当し、3次元空間内におかれた所定平面の姿勢位置を表すパラメータの1つを決める操作である。
このように消失直線qs1qs2をX軸上に一致させることにより3次元空間内に置かれた所定平面上の直線Q1Q2,Q3Q4はX軸と平行な位置関係となる。
【0045】
次のステップS116において、得られた撮像画像上のX−Y座標変換後のX’−Y’座標系における位置座標を基に、画像座標系X’−Y’系の特徴点q1,q2,q3,q4及び消失特徴点qt1、qt2、qs1、qs2の座標位置に対する平面座標系を有する所定平面上の特徴点Q1,Q2,Q3,Q4及びT1、T2、S1、S2の各座標位置の対応づけを行う。これらの対応付けは幾何学的手法を用いた透視射影変換処理を行うことによりなされる。この透視射影処理は、撮像面を基準にした3次元空間(X−Y−Z座標系)内の撮像面に対する所定平面の姿勢を算出する処理になり、すなわち、平面の姿勢を決定する2つのパラメータであるY軸回りの角度ψとX軸回りの角度γを算出する処理となる。なお、透視射影変換処理の詳細は(b2)項にて後述する。(ステップS116は図3の透視射影変換手段5215において実行される処理である)
次のステップS116は、ステップS115で算出された所定平面の姿勢パラメータに基づいて、平面座標系(X*−Y*座標系)上での被検出位置P0の座標位置を算出する。被検出位置座標の算出の詳細は(b3)項にて後述する。
【0046】
(b2)透視射影変換処理 (第4演算手段)
ここで、撮像面の画像座標系(X−Y座標系)において矩形形状を特徴づける4個の特徴点の座標が特定された結果に基づいて、3次元空間内に置かれた撮像面に対する所定平面の姿勢パラメータ(ψ、γ)を算出するための透視射影変換処理について説明する。
【0047】
まず最初に、図13に基づき2次元透視射影変換について簡単に説明する。
図13では横軸をZ軸、縦軸をY軸としてある。Oは透視射影変換する際の原点である(以下、透視点と呼ぶ)、1はX−Y座標系を有する撮像面、2は2次元平面である。図では透視点Oを原点とし横軸にZ軸、縦軸を撮像面X−Y座標系のY軸に一致させてある。いいかえれば、撮像面のX軸は紙面に垂直方向にあり、撮像面の中心をZ軸に一致させてある。この撮像手段が備えているレンズ光学系の焦点距離をfとする。撮像面1は透視点Oから焦点距離fの位置にZ軸上に垂直に置かれていることになる。実際には撮像面の前面位置にはレンズ光学系が置かれ、撮像面には2次元平面の倒立像が結像する構成となっているが、ここでは説明し易くするために便宜上、CCD撮像面の後方焦点の位置に配置する構成としてある。
【0048】
また、X*−Y*平面座標系を有する所定平面2が、Y軸に対して角度γ度傾けた姿勢にあるとした。X−Y座標系を有する画像座標系の各特徴点各qi(i=1,2)は、X*−Y*座標系を有する所定平面上の対応する特徴点Qi(i=1,2)に幾何学的な対応付けにより透視射影変換される。その変換式は数1で表される。
【0049】
【数1】
【0050】
従って、特徴点Qi(Y*i,Z*i)(i=1,2)の座標位置は、それぞれ次の数2で表される。
【0051】
【数2】
【0052】
次に、3次元空間内に置かれた撮像面に対する所定平面の位置姿勢を算出する透視射影変換処理について具体的に説明する。
図14は、3次元空間内(X−Y−Z座標系)に置かれた所定平面の位置姿勢を説明する斜視図である。図では所定平面の1/4矩形を示してあり、撮像面上の所定平面上の特徴点の位置座標Q1(X*1,Y*1)、Q2(X*2,Y*2)に対応する特徴点座標点q1(X1、Y1)、q2(X2,Y2)が示されている。
【0053】
図には平面座標系(X*−Y*座標系)における被検出位置P0を通り、それぞれの軸に平行な直線と隣接する2つの特徴点を通る直線との交点であるT1、T2それにS2の3点の位置座標が示されている。
これら図示されている特徴点T1、T2、S2それに不図示のS1は、撮像画像座標上では消失直線によって特徴付けられた消失特徴点qt1、qt2、qs2及びqs1に対応する。
【0054】
Q3(X*3,Y*3)、Q4(X*4,Y*4)に対応する座標点q3(X3,Y3)、q4(X4,Y4)については省略してある。
本実施の形態では、図中の画像座標系の原点Om(0,0,f)は撮像画像の中心位置とし、この中心位置は撮像しようとする所定平面上の被検出位置としてある。3次元空間X−YーZ座標系の原点O(0,0,0)は、透視射影変換処理する際の透視点としてある。fは焦点距離である。
【0055】
所定平面の撮像面に対する位置関係は、X軸回りを撮像面の原点Omを中心としてX軸回りに角度+ψ、Y軸回りに角度+γである。これらいずれの角度も時計回りを正としてある。この図ではZ軸回りの回転操作(X−Y座標系を+β度回転)した結果が示してある。
【0056】
本実施の形態では、撮像画像(X−Y座標系)上の特徴点q1、qt1、qs2の座標データに基づいて、これらの特徴点に対応する所定平面(X*−Y*座標系)上の特徴点Q1、T1及びS2の座標位置を透視射影変換により算出した。
図15は図14に示した3次元空間内(X−Y−Z座標系)に置かれた所定平面をX’−Z’座標投影平面(Y’=0)上に正投影した図である。X’−Y’−Z’座標系はX−Y−Z座標系を回転座標変換したものである。X’−Z’座標投影平面上(Y’=0)には直線S1S2のみが存在している(太線で図示)。X’−Z’座標系の原点Omと透視点Oの距離は、撮像レンズの焦点距離fの位置である。各特徴点について透視射影変換により、対応付けを行った、平面座標系における各特徴点の座標位置をX’−Y’座標系における位置座標で表現した結果は、数3、数4で表される。
【0057】
【数3】
【0058】
【数4】
【0059】
また、図16は図14所定平面をY’−Z’座標投影平面(X’=O)の上に正投影した図である。Y’−Z’座標投影平面(X’=0)上には直線T1T2のみが存在する。図中には所定平面上の特徴点T1とQ1に対応する撮像画像上の特徴点qt1とq1のみを図示してあり、Q2、Q3、Q4に対応する撮像画像上の特徴点は略してある。Y’−Z’座標投影平面上における透視射影変換処理は、先に行ったX’−Z’座標投影平面上での処理と同様な処理を行い、qt1とq1に対応する平面上の特徴点T1、Q1の座標位置を算出する。
【0060】
数5には、T1、Q1の座標位置を示した。
【0061】
【数5】
【0062】
図15,図16の平面座標系の特徴点T1及びQ1の座標算出処理に着目する。X’−Z’座標投影平面とY’−Z’座標投影平面の2つの座標面に対して透視射影変換処理した結果、特徴点qt1とq1に対応する平面座標上の特徴点T1及びQ1の座標値が得られる。
【0063】
図15からはT1(X*t1,Z*t1|x)とQ1(X*1,Z*1|x)、図16からはT1(Y*t1,Z*t1|y)とQ1(Y*1,Z*1|y)がそれぞれ得られる。
3次元空間内(X’−Y’−Z’座標系)に置かれた所定平面を正投影したX’Z’投影平面(図15)、Y’Z’投影平面(図16)において、Z’軸に関する座標値は各投影平面座標では同じ値をとり、次の関係にある。
Z*1|x=Z*1|y
Z*t1|x=Z*t1|y
上記の条件式から次の2つの関係式数6,数7を得ることができる。
【0064】
【数6】
【0065】
【数7】
【0066】
上記結果、3次元空間内に置かれた所定平面の姿勢パラメータが画像座標系の特徴点の座標qi、消失特徴点の座標qtiまたはqsiと撮像レンズの焦点距離とにより簡単な関係式で表現されることがわかった。
平面の位置姿勢を表す関係式は、数6及び数7に代え、次の関係式数8及び数9であっても良い。
【0067】
数8及び数9示したY軸回りの角度ψの回転方向は、数6及び数7と逆である。
【0068】
【数8】
【0069】
【数9】
【0070】
これらの関係式に用いられている特徴点qiは、撮像画像で得られた特徴点qi(i=1〜4)の1点とこれら4この特徴点から算出された消失点を用いて決定された特徴点qtiまたはqsiを用いて表現されている。
本実施の形態の手順では撮像手段により得られた画像データから得られた消失直線qs1qs2をX軸に一致するように、X−Y座標系をβ度回転させX’−Y’座標系に変換した場合について説明した。もう一方の消失直線qt1qt2をY軸に一致するように、X−Y座標系をX’’−Y’’座標系に変換して行っても、数式表現は異なるが同様な結果が得られる。
【0071】
途中の式は省略し結果のみを数10、数11に示した。
【0072】
【数10】
【0073】
【数11】
【0074】
数10、数11では平面姿勢角度パラメータψはq1とqs2の2つの座標値のみで表現されたものを示した。
一般に、画像座標系の特徴点の座標位置は画素数で表現され、数6〜数11式中に換算係数としてCCD撮像素子の画素サイズが必要となることはいうまでもない。
【0075】
以上、説明したように、平面座標系の平面の姿勢パラメータである角度算出式は撮像画像から算出された特徴点の座標データと撮像手段のパラメータである焦点距離fだけで表現された簡単な関係式となっている。
平面の姿勢パラメータを算出する式が、従来のような煩雑な座標変換行列式を用いることなく簡単な式で表現されているため、演算処理能力が低くてもよい、演算誤差が少なくなり精度的に有利などの利点がある。強いては、装置の低コスト化にもつながる。
【0076】
さらに、所定平面の姿勢を算出する際には、平面座標系における平面形状が定性的に矩形形状であるということが既知であればよく、矩形形状のアスペクト比や矩形形状を特徴付ける座標位置データ、撮像面と所定平面までの距離データなど平面に関する位置データは必要ないという利点がある。
(b3)座標位置演算処理(第2演算手段)
透視射影変換処理により算出された3次元空間内の所定平面の姿勢パラメータに基づいて、平面座標系における所定平面上の被検出位置座標を座標演算処理手段522により演算する。
【0077】
平面座標系(X*−Y*座標系)における所定平面上の被検出位置は、横軸比mi=|S1P0|/|S2P0|、縦軸比ni=|T1P0|/|T2P0|で算出される。 数6及び数7の姿勢パラメータに対応した所定平面の被検出位置P0(X*i,Y*i)の算出式は、X軸比m及びY軸比nで表現すると、数12,数13で表される。これらいずれの式を用いても良い。
【0078】
数12は軸比nx、mxを用いた式であり、X−Y画像座標系をβ度回転しX’−Y’座標系に変換した場合である。
【0079】
【数12】
【0080】
また数13は、軸比ny、myを用いた式であり、X−Y座標系をα度回転しX’’−Y’’座標系に変換した場合である。
【0081】
【数13】
【0082】
従って、所定平面上の被検出位置の座標位置P0(X0*、Y0*)は、数12の軸比を用いた場合には数14で表される。
【0083】
【数14】
【0084】
所定平面上の被検出位置の座標を算出する際には、算出された2つの平面の姿勢パラメータ(ψ、γ)のいずれか1つが算出されていればよい。
今、特徴点が所定平面上に表示されている画像の4隅としたパソコン表示画面を考える。表示される最大ドット数Umax、縦軸の最大ドット数Vmaxは既知であるので数14中X*max=Umax、Y*max=Vmaxとすれば、被検出位置の座標位置が容易に算出される
【0085】
<シミュレーションによる位置検出方法の原理検証>
次に、シミュレーション計算を行い、所定平面上の被検出位置P0の座標位置を算出し、本実施の形態の位置検出方法の原理検証を行った。
まず最初に、検出しようとしている被検出位置の矩形平面上の特徴点に対応する撮像面上の特徴点の座標位置データが必要である。そのために、予め既知の平面の位置姿勢パラメータ(ψ、γ)の値を用いて、撮像面上の画像プロファイルを得るシミュレーション計算を行った。
【0086】
所定平面として1500mm×2000mmの100”'サイズのスクリーン平面を想定し、撮像距離はスクリーン平面中心より2000mm離れたところより、スクリーン面上の被検出位置としてS1P0/S2P0(mとする)=1,T1P0/T2P0(nとする)=1の座標位置(この座標位置はスクリーン中心である)に向けて、撮像することを想定した。
【0087】
計算に用いた撮像手段の光学パラメータは、焦点距離のみであり、f=5mmを使用した。また、撮像面に対するスクリーン平面の姿勢パラメータとして、ψ=60度、γ=5度を用いた。
シミュレーション計算結果、得られた画像座標上の座標位置データに基づいて、諸々の関係式数6〜数14から算出される姿勢パラメータ値ψ、γ及被検出位置の軸比m、nが、予め設定した値になるか検証した。
【0088】
表1には前述した数6〜数14を用いて、スクリーン平面の姿勢ならびにスクリーン上の座標系における被検出位置の位置座標を算出した結果を示した。
【0089】
【表1】
【0090】
表にはX−Y座標系をZ軸回りにβ度反時計回りに回転させ、S軸をX軸に一致させた座標系をX’−Y’座標系とした場合とX−Y座標系をZ軸回りにα度時計回りに回転させ、T軸をY軸に一致させX’’−Y’’座標系とした場合について示した。
【0091】
その結果、スクリーンの撮像面からの姿勢位置ならびに被検出位置は予め設定した60度、5度という値に対して非常に精度良く一致しており、原理的に正しいことが検証できた。
【0092】
【発明の効果】
以上のように、本発明の実施の形態に係わる位置検出装置は、予め撮像面の基準位置を定めこの基準位置と被検出位置とを合わせたこと、複数の特徴点により形成される消失点を用いて演算処理したことなどにより、撮像レンズの焦点距離と矩形形状を特徴づける4個の画像位置データとの少ないパラメータを用いた簡単な関係式を導出できた。このように撮像面に対する所定平面の姿勢検出や所望の被検出位置の座標位置が、精度良く、煩雑な行列演算処理を必要とせず容易に得ることができる。
【0093】
また、本実施の形態に係わる平面姿勢検出装置によれば、3次元空間内に置かれた平面の姿勢位置情報を得るための姿勢センサが不要であり、1つの撮像素子があれば良いため装置構成は簡素化され、装置の小型軽量化となる。さらに、平面座標系における所定平面上の特徴点に関する情報は、矩形形状を形成するという以外不要であり、撮像画像上の特徴点の座標位置のみで算出することができる。
【0094】
また、本実施の形態に係わる位置検出装置によれば、操作者は任意の操作位置からスクリーンなど表示画面上の指示したい位置に直接入力操作することができ、高い操作自由度を有する。
このように本実施の形態に係わる位置検出装置や姿勢検出装置は、従来にない新しい入力装置として様々な分野への用途拡大が期待できる。
【図面の簡単な説明】
【図1】 本発明の位置検出装置を説明するシステム構成図。
【図2】 本実施の形態の構成ブロック図。
【図3】 本実施の形態の平面姿勢算出手段の詳細構成ブロック図
【図4】 本実施の形態の位置検出装置本体(位置検出入力手段)の構成図。
【図5】 本実施の形態の第1の光学系。
【図6】 本実施の形態の第2の光学系。
【図7】 本実施の形態の基本動作を説明するフローチャート。
【図8】 本実施の形態の画像処理部の詳細フローチャート。
【図9】 本実施の形態の画像座標系と平面座標系との関係を説明する図。
【図10】 撮像された第1の矩形平面画像。
【図11】 撮像された第2の矩形平面画像。
【図12】 撮像された画像面上の各座標系。
【図13】 2次元透視射影変換を説明する図
【図14】 3次元透視射影変換を説明する斜視図。
【図15】 図14における所定平面のX’−Z’投影平面上への正投影図。
【図16】 図14における所定平面のY’−Z’投影平面上への正投影図。
【符号の説明】
1 撮像手段
2 A/D変換手段
3 フレームメモリ
4 制御手段
5 画像処理手段
6A 光ビーム照射手段
6B 視準手段
7 シャッターボタン
8 光照射ボタン
9 出力信号処理手段
51 特徴点抽出手段
52 位置演算処理手段
521 平面姿勢演算手段(第1演算手段)
522 座標演算手段(第2演算手段)
523 消失点処理手段(第3演算手段)
5211 消失点算出手段
5212 消失直線算出手段
5213 消失特徴点算出手段
5214 画像座標系変換手段
5215 透視射影変換手段(第4演算手段)

Claims (19)

  1. 矩形形状を形成する少なくとも4個の特徴点を有する所定平面上の被検出位置の座標を検出する装置であって、
    前記所定平面上の被検出位置に向けて前記特徴点を含んで撮像する撮像手段と、
    前記撮像手段の撮像面上に予め定められた基準位置を前記被検出位置に合わせる照準手段と、
    前記照準手段により被検出位置に合わせて撮像された撮像画像に基づいて、前記基準位置を撮像画像系の原点として、前記それぞれの特徴点の座標を特定する特徴点特定手段と、
    前記特徴点特定手段により特定された特徴点の座標と前記特徴点により形成される消失点とに基づいて、前記撮像面に対する前記所定平面の姿勢パラメータを透視射影演算手段により演算する平面姿勢演算手段と、
    前記平面姿勢演算手段により算出された少なくとも1つの姿勢パラメータと前記特徴点の座標とに基づいて、前記所定平面上の被検出位置の座標を演算する座標演算手段と、
    を備えたことを特徴とする位置検出装置。
  2. 前記平面姿勢演算手段は、前記特徴点により形成される消失点の1つと撮像画像原点とを結ぶ消失直線を算出する消失直線算出手段と、前記消失直線と前記特徴点の相隣接する2点間の直線との交点座標を算出する消失特徴点算出手段とを備えたことを特徴とする請求項1記載の位置検出装置。
  3. 前記消失直線手段により算出した消失直線の1つを画像座標系のX軸またはY軸のいずれか一方に一致するように撮像画像の原点を中心に撮像画像座標系を回転させ、前記特徴点座標の座標変換を行う座標変換手段が付加されたことを特徴とする請求項2に記載の位置検出装置。
  4. 前記基準位置は、前記撮像手段に設けられた撮像レンズの光軸が撮像面を切る点であることを特徴とする請求項1記載の位置検出装置。
  5. 前記前記照準手段は、前記撮像手段に設けられた十字線付きファインダーであることを特徴とする請求項1記載の位置検出装置。
  6. 前記照準手段は、前記撮像手段に設けられた撮像レンズの光軸と同軸上に光ビームを出射するように配置された光ビーム照射手段であることを特徴とする請求項1記載の位置検出装置。
  7. 前記所定平面は、画像を表示する表示平面であることを特徴とする請求項1記載の位置検出装置。
  8. 前記特徴点は表示された画像であることを特徴とする請求項1又は7記載の位置検出装置。
  9. 撮像手段の撮像面上に予め定められた基準位置と所定平面上の被検出位置とが一致した状態で、所定平面上の矩形形状を形成する少なくとも4個の特徴点が撮像された撮像画像に基づいて所定平面上の被検出位置の座標を検出する方法であって、
    前記撮像画像上の前記特徴点を抽出し、前記基準位置を撮像画像系の原点として、前記特徴点の座標を特定する特徴点特定ステップと、
    前記特徴点特定ステップにより特定された特徴点の座標と前記特徴点により算出される消失点とに基づいて、前記撮像面に対する前記所定平面の姿勢パラメータを透視射影演算手段により演算する平面姿勢演算ステップと、
    前記平面姿勢演算ステップにより算出された少なくとも1つの姿勢パラメータと前記特徴点の座標とに基づいて、前記所定平面上の被検出位置の座標を演算する座標演算ステップと、
    を含むことを特徴とする位置検出方法。
  10. 前記平面姿勢演算ステップは、前記特徴点により形成される消失点の1つと撮像画像原点とを結ぶ消失直線を算出するステップと、
    撮像画像座標系にて前記特徴点の相隣接する2点間の直線との交点を算出する消失特徴点算出ステップと、
    を備えたことを特徴とする請求項9記載の位置検出方法。
  11. 前記平面姿勢演算ステップは、姿勢パラメータを透視射影演算手段により演算することを特徴とする請求項9記載の位置検出方法。
  12. 前記平面姿勢演算ステップは、前記消失直線の1つを画像座標系のX軸またはY軸のいずれか一方に一致するように、撮像原点を中心として撮像画像座標系を回転させ、特徴点座標の座標変換を行う画像座標変換ステップを含むことを特徴とする請求項11記載の位置検出方法。
  13. 3次元空間内の所定平面の姿勢を検出する平面姿勢検出装置であって、
    撮像面上の予め定められた前記所定平面上の少なくとも4つの特徴点を撮像する撮像手段と、
    前記撮像手段により得られた撮像画像に基づいて、前記基準位置を撮像座標系の原点として、撮像面上の前記特徴点の座標を特定する特徴点特定手段と、
    前記特徴点特定手段により特定された特徴点座標に基づいて、撮像画像上の特徴点で形成される消失点を算出する消失点算出手段と、
    前記消失点算出手段より算出された消失点の1つと撮像画像原点とを結ぶ消失直線を算出する消失直線算出手段と、
    前記消失直線と前記特徴点の相隣接する2点間との直線との交点である消失特徴点座標を算出する消失特徴点算出手段と、
    前記特徴点座標と前記消失特徴点座標とに基づいて、撮像面に対する所定平面の姿勢パラメータを透視射影演算する透視射影演算手段と、
    を備えていることを特徴とする平面姿勢検出装置。
  14. 前記基準位置は、撮像手段に設けられた撮像レンズの光軸が撮像面を切る点であることを特徴とする請求項13記載の平面姿勢検出装置。
  15. 前記消失直線算出手段により算出した消失直線の1つを、撮像画像原点を中心にして、画像座標系のX軸またはY軸のいずれか一方に一致するように画像座標系を回転させ、撮像画像上の特徴点座標の変換を行う画像座標変換手段が付加されたことを特徴とする請求項13記載の平面姿勢検出装置。
  16. 前記所定平面は平面上に表示された画像であることを特徴とする請求項13記載の平面姿勢検出装置。
  17. 前記複数の特徴点は前記所定平面上に表示された画像であることを特徴とする請求項13又は16記載の平面姿勢検出装置。
  18. 3次元空間内の所定平面の姿勢を検出する平面姿勢検出方法であって、
    撮像面上の予め定められた基準位置を前記所定平面上の少なくとも4つの特徴点を撮像する撮像ステップと、
    前記撮像手段により得られた撮像画像に基づいて、前記基準位置を撮像座標系の原点として、撮像面上の前記特徴点の座標を特定する特徴点特定ステップと、
    前記特徴点特定ステップにより特定された座標に基づいて消失点を算出する消失点算出ステップと、
    前記消失点算出ステップより算出された消失点と撮像画像原点とを結ぶ消失直線を算出するステップと、
    前記消失直線と前記特徴点の相隣接する2点間との直線との交点座標を算出する消失特徴点算出ステップと、
    前記撮像画像上の4つの特徴点座標と前記消失特徴点算出ステップより算出した座標とに基づいて、撮像面に対する所定平面の姿勢パラメータを透視射影演算する透視射影演算ステップと、
    を備えたことを特徴とする平面姿勢検出方法。
  19. 前記消失直線算出ステップより算出した消失直線の1つを、撮像画像原点を中心にして、画像座標系のX軸またはY軸のいずれか一方に一致するように回転させ、撮像画像上の特徴点座標の変換を行う画像座標変換ステップが付加されたことを特徴とする請求項18記載の平面姿勢検出方法。
JP2000218970A 1999-09-07 2000-07-19 位置検出装置及びその方法、平面姿勢検出装置及びその方法 Expired - Fee Related JP3690581B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP11-252732 1999-09-07
JP25273299 1999-09-07
JP2000218970A JP3690581B2 (ja) 1999-09-07 2000-07-19 位置検出装置及びその方法、平面姿勢検出装置及びその方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000218970A JP3690581B2 (ja) 1999-09-07 2000-07-19 位置検出装置及びその方法、平面姿勢検出装置及びその方法
US09/656,464 US6727885B1 (en) 1999-09-07 2000-09-06 Graphical user interface and position or attitude detector
US09/797,829 US20010010514A1 (en) 1999-09-07 2001-03-05 Position detector and attitude detector

Publications (3)

Publication Number Publication Date
JP2001148025A JP2001148025A (ja) 2001-05-29
JP2001148025A5 JP2001148025A5 (ja) 2001-05-29
JP3690581B2 true JP3690581B2 (ja) 2005-08-31

Family

ID=26540840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000218970A Expired - Fee Related JP3690581B2 (ja) 1999-09-07 2000-07-19 位置検出装置及びその方法、平面姿勢検出装置及びその方法

Country Status (1)

Country Link
JP (1) JP3690581B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389804A (zh) * 2015-10-22 2016-03-09 西交利物浦大学 一种基于图像处理的多功能指示器实现方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
JPWO2005096129A1 (ja) * 2004-03-31 2008-02-21 株式会社タムラ製作所 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
JPWO2005096130A1 (ja) * 2004-03-31 2008-02-21 株式会社タムラ製作所 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
JP2006317418A (ja) * 2005-05-16 2006-11-24 Nikon Corp 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
JP4626416B2 (ja) 2005-06-20 2011-02-09 セイコーエプソン株式会社 プロジェクタ
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
TWI345720B (en) * 2007-04-24 2011-07-21 Pixart Imaging Inc Cursor controlling device and method for image apparatus and image system
US8144123B2 (en) * 2007-08-14 2012-03-27 Fuji Xerox Co., Ltd. Dynamically controlling a cursor on a screen when using a video camera as a pointing device
US20110025925A1 (en) * 2008-04-10 2011-02-03 Karl Christopher Hansen Simple-to-use optical wireless remote control
JP4678428B2 (ja) * 2008-06-23 2011-04-27 パナソニック電工株式会社 仮想空間内位置指示装置
US8791901B2 (en) * 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
JP2015232739A (ja) * 2012-10-02 2015-12-24 パナソニック株式会社 電子ペン用アタッチメントおよび画像表示システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389804A (zh) * 2015-10-22 2016-03-09 西交利物浦大学 一种基于图像处理的多功能指示器实现方法
CN105389804B (zh) * 2015-10-22 2018-10-23 西交利物浦大学 一种基于图像处理的多功能指示器实现方法

Also Published As

Publication number Publication date
JP2001148025A (ja) 2001-05-29

Similar Documents

Publication Publication Date Title
US8024144B2 (en) Surveying instrument and method of providing survey data of a target region using a surveying instrument
EP1903303B1 (en) Surveying method, surveying system and surveying data processing program
US6697761B2 (en) Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
KR101270893B1 (ko) 화상 처리 장치, 화상 처리 방법, 그 프로그램 및 그프로그램을 기록한 기록 매체와 촬상 장치
US7336814B2 (en) Method and apparatus for machine-vision
JP5057936B2 (ja) 鳥瞰画像生成装置および方法
KR100407436B1 (ko) 이미지 센서를 이용하여 입체 이미지를 포착하기 위한방법 및 장치
CN1238691C (zh) 组合立体视像、彩色3d数字化和运动捕捉的系统
JP4488804B2 (ja) ステレオ画像の関連付け方法及び3次元データ作成装置
DE69628956T2 (de) Abtastvorrichtung und -verfahren
US7310431B2 (en) Optical methods for remotely measuring objects
US5911767A (en) Navigation system for an autonomous mobile robot
JP4434890B2 (ja) 画像合成方法及び装置
EP1215017B1 (en) Robot teaching apparatus
US8639025B2 (en) Measurement apparatus and control method
US7177459B1 (en) Robot system having image processing function
JP2004127239A (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
EP1413850B1 (en) Optical sensor for measuring position and orientation of an object in three dimensions
CN1322961C (zh) 计量装置
JP2005321278A (ja) 3次元形状入力装置
EP0363339A2 (en) Mobile robot navigation employing ceiling light fixtures
EP1343332A2 (en) Stereoscopic image characteristics examination system
DE60202198T2 (de) Vorrichtung und verfahren zur erzeugung von dreidimensionalen positionsdaten aus einem erfassten zweidimensionalen bild
JP3509652B2 (ja) プロジェクタ装置
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040630

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040708

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20040726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050608

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees