JP4739004B2 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP4739004B2
JP4739004B2 JP2005362370A JP2005362370A JP4739004B2 JP 4739004 B2 JP4739004 B2 JP 4739004B2 JP 2005362370 A JP2005362370 A JP 2005362370A JP 2005362370 A JP2005362370 A JP 2005362370A JP 4739004 B2 JP4739004 B2 JP 4739004B2
Authority
JP
Japan
Prior art keywords
index
posture
projection
detected
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005362370A
Other languages
English (en)
Other versions
JP2007166427A (ja
Inventor
和樹 武本
清秀 佐藤
晋二 内山
雅博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005362370A priority Critical patent/JP4739004B2/ja
Priority to US11/610,805 priority patent/US7812871B2/en
Publication of JP2007166427A publication Critical patent/JP2007166427A/ja
Application granted granted Critical
Publication of JP4739004B2 publication Critical patent/JP4739004B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、情報処理装置及び情報処理方法に関し、特には現実空間中に配置された指標を、現実空間を撮像した画像から検出、識別する技術に関する。
[従来技術1]
例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて、現実空間を撮像する撮像部(以下、カメラとも言う)の位置姿勢計測が必要となる。従来、位置姿勢センサにより撮像部の位置姿勢測定する際に、現実空間中に予め配置した、位置が既知の指標(例えば特定の形状及び色を有する物体)を利用して、測定結果を補正する技術が知られている(特許文献1、2や非特許文献1参照)
言い換えると、これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。また、指標は同時に複数個利用されることが多いため、カメラが撮像した画像から検出した指標(以下、検出指標と呼ぶ)が、現実空間に複数個配置した指標のどれに対応するのか同定する必要がある。 従来、指標の同定方法の1つとして、既知である指標の絶対位置と位置姿勢センサの計測値とに基づいた投影計算から得られる、画像(撮像)面上での指標の推定座標と、実際に画像から検出された指標の画像座標との間の関係を利用することが知られている。
[従来技術2]
また、一方で、非特許文献2乃至4において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これらの非特許文献においては、正方形の指標を利用し、正方形の4頂点の座標を基にして、カメラの位置姿勢を測定(推定)している。ただし、正方形は、その中心点(対角線の交点)を通り、面に垂直な軸を回転軸として90度毎の回転対称形であることから、画像中の頂点座標からだけでは指標の向きを判別できない。そのため、指標の内部に、指標の向きを判別するためのさらなる特徴(例えば方向性のあるパターン)が設けられている。さらに、指標を複数利用する場合、カメラで撮像した画像のみに基づいて複数の指標を同定する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。
[従来技術3]
従来技術1のカメラ位置姿勢推定方法において、指標として点マーカや同心円マーカを利用する場合、1つの指標がもつ情報は1つの座標値でしかない。そのため幾何的な情報が少なく、複数の指標を同時に利用する方法が採られている。
上述したように、複数の指標を同時に用いる場合には、撮像された検出指標が現実空間に配置された指標のどれに相当するのかを同定する方法を工夫する必要がある。特に、指標の画像特徴(色や形状など、画像処理により識別できる特徴)が同じか、差が小さく、かつ数多くの指標を配置した場合には誤識別の可能性があった。
一方で、従来技術2で利用されている正方形指標は、上下左右を識別するために、マーカ固有の符号情報やテンプレートとなりうる情報などを埋め込む必要があった。このような複雑な構造を持つ指標を画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように撮像しなければ、指標を認識できないという課題があった。
上述した従来技術1の指標1つ当たりの情報量が少ないことによる誤識別、及び従来技術2の指標の複雑さによる配置条件への制約といった問題を解決するためには、以下の方法が考えられる。
従来技術2のような、方向性を有する同一種の指標が現実空間に配置されているという状況において、検出指標の画像面上における方向と、位置姿勢センサを用いて投影計算を行うことで得た、各指標の画像面上における推定方向とを比較する。これにより、従来よりも単純で安定的に指標を識別することが可能である。
例えば、図7に示すように、位置姿勢センサを用いて投影計算した指標202Aの方向と、撮像画像から検出された候補となる指標201A、201Bとの画像上における方向性を比較する。図7の例では、方向性の近い指標201Aが、202Aに対応する指標であると判定する。この方法では、従来技術1よりも情報量の多い指標を用いながら、従来技術2の指標と比較して指標を小さくすることが可能であり、配置条件の制約を緩和することができる。
特開平11−084307号公報 特開2000−041173号公報 A. State, G. Hirota, D. T. Chen, B. Garrett, and M. Livingst on: Superior augmented reality registration by integrating landmark tracking and magnetic tracking, Proc. SIGGRAPH '96, pp.429-438, July 1996. 加藤, Billinghurst, 浅野, 橘: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.607-616, Dec. 1999. X. Zhang, S. Fronz, N. Navab: Visual marker detection and decoding in AR systems: A comparative study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002. Jun Rekimoto, "Matrix: A Realtime Object Identification and Registration Method for Augmented Reality", Proc. of Asia Pacific Computer Human Interaction (APCHI '98), 1998.
従来技術3の方法は、カメラに取り付けた位置姿勢センサの値と、予め登録されている指標の絶対座標とから計算される画面上の位置に、指標を投影して方向性の比較を行う。そのため、同時に撮像される可能性がある複数の指標同士は、互いに方向性が異なるように指標を配置しなければならないという制限があった。
例えば、図3に示すように床と壁に指標を1つずつ配置した場合、床と壁に配置した指標201A及び201Bは、撮像画像中で同じ方向性を持つため、位置姿勢センサの誤差によっては誤識別の可能性がある。このため、このような配置を避けるために、指標のどちらか一方の向きを変更する必要がある。
すなわち、従来技術3の方法は、近接して複数の指標が撮像されうる場合、その方向性が異なって撮像されるように指標を配置しなければならないという制限を有している。この場合、図3の例のように、現実空間中では異なる傾斜を有する面に指標を配置する場合であっても、撮像画像では方向性に区別が付けにくい場合を考慮する必要がある。
特に、多数の指標を、複数の傾斜面を持つ小領域(床と壁や、多数の傾斜面を持つ立体物)に密集させて配置するような場合において、撮像時の方向性を考慮した配置は容易でない。そのため、実際には同時に撮像される可能性のある領域内に配置できる指標の数が制限されることになっていた。
また、図5に示すように、床に指標201Aが配置され、壁側に印刷物601が配置されているとする。この状況において、カメラのノイズなどの要因より、壁の印刷物601の一部領域を検出指標602として誤検出する場合がある。図5に示すような撮像画像においては、指標201Aは撮像画像の端で切れているため指標として認識されない。その結果、投影によって計算された指標201Aの投影像202Aの方向と、誤検出された検出指標602の画像上での方向とが類似している場合に、検出指標602を指標201Aと誤識別してしまう。このように、従来は、実際の指標とは傾斜面が異なる場所で誤検出された検出指標602に誤同定してしまう場合があるという課題があった。
本発明はこのような従来技術の課題を解決し、精度良く指標を識別可能な情報処理装置及び情報処理方法を提供することを主な目的とする。
述の目的は、以下に記載の装置によって達成される。
現実空間に複数配置された指標であって、配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である指標位置および指標姿勢を、当指標の指標情報として保持する保持手段と、現実空間を撮像装置で撮像した撮像画像から1つ以上の指標を検出する検出手段と、前記撮像装置の位置姿勢を計測した撮像位置姿勢を取得する取得手段と、撮像画像および撮像位置姿勢に基づいて、検出された指標が配置された面に垂直で当指標を通過する回転軸の傾斜角と、当回転軸を中心に当指標が何れの方向を向いているかを示す回転角と、検出された指標の推定姿勢として推定する推定手段と、指標位置、指標姿勢、および撮像位置姿勢に基づいて、指標情報が保持された指標を撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影手段と、(1)検出された指標について推定手段により推定された傾斜角と指標情報が保持された指標の投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)検出された指標について推定手段により推定された回転角と保持された指標の投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、検出された指標と保持された指標とを、撮像画像において検出された指標の画像座標と投影座標との距離に基づいて対応づけする対応づけ手段とを有することを特徴とする情報処理装置。
現実空間に複数配置された指標であって、配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である物体に対する相対位置および相対姿勢を、当指標の指標情報として保持する保持手段と、現実空間を撮像装置で撮像した撮像画像から1つ以上の指標を検出する検出手段と、撮像装置の位置姿勢を計測した撮像位置姿勢を取得する第1取得手段と、現実物体の位置を計測した物体位置と、当現実物体の姿勢を計測した物体姿勢とを取得する第2取得手段と、撮像画像および撮像位置姿勢に基づいて、検出された指標が配置された面に垂直で当指標を通過する回転軸の傾斜角と、当回転軸を中心に当指標が何れの方向を向いているかを示す回転角とを、検出された指標の推定姿勢として推定する推定手段と、相対位置、相対姿勢、物体位置、物体姿勢、および撮像位置姿勢に基づいて、指標情報が保持された指標を撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影手段と、(1)検出された指標について推定手段により推定された傾斜角と、指標情報が保持された指標の投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)検出された指標について推定手段により推定された回転角と、保持された指標の投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、検出された指標と保持された指標とを、撮像画像において検出された指標の画像座標と投影座標との距離に基づいて対応づけする対応づけ手段とを有することを特徴とする情報処理装置
現実空間に複数配置された指標であって、配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である物体に対する相対位置および相対姿勢を、当指標の指標情報として保持する保持手段と、現実空間を、現実空間に固定され撮像位置姿勢が既知である撮像装置で撮像した撮像画像から1つ以上の指標を検出する検出手段と、前記現実物体の位置を計測した物体位置と、当現実物体の姿勢を計測した物体姿勢とを取得する取得手段と、撮像画像および撮像位置姿勢に基づいて検出された指標が配置された面に垂直で当指標を通過する回転軸の傾斜角と、当回転軸を中心に当指標が何れの方向を向いているかを示す回転角と、検出された指標の推定姿勢として推定する推定手段と、相対位置、相対姿勢、物体位置、物体姿勢、および撮像位置姿勢に基づいて、指標を撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影手段と、(1)検出された指標について推定手段により推定された傾斜角と、指標情報が保持された指標の投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)検出された指標について推定手段により推定された回転角と、保持された指標の投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、検出された指標と保持された指標とを、撮像画像において検出された指標の画像座標と投影座標との距離に基づいて対応づけする対応づけ手段とを有することを特徴とする情報処理装置。
このような構成により、本発明によれば、指標の姿勢情報を用いて識別を行うことにより、精度良く指標を識別可能になる。
以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
<第1の実施形態>
図1は、本発明の実施形態に係る情報処理装置としての指標識別装置の構成例を示すブロック図である。
まず、本実施形態の指標識別装置が識別する指標は、指標の基準座標系における姿勢を画像情報から算出可能である指標である。ここでは、好適な指標の例として、従来技術2で述べた指標を用いる。すなわち、図2の201A、201Bに示すような、正方形の外形を有し、指標内部の、一頂点に偏った位置に、他の領域とは明度の大きく異なる正方形(方向性付与形状)を配置してあるような指標を利用する。換言すれば、この指標は、正方形の頂点と、上下左右の方向を一意に定める方向性付与形状(203A、203B、以降、区別しない場合は方向性付与形203とする)によって構成される。そして、方向性付与形状230の位置関係を指標の配置位置と共に登録しておくことによって、画像上における指標の座標情報からカメラ座標系における指標の姿勢を算出可能にしている。
また、本実施形態における指標において、方向性付与形状203は、図6に示すように、一つの頂点を指標外形を構成する正方形の中心点Oとし、中心点Oから特定の頂点、例えば頂点bまでの距離2/3の位置に対角頂点b”を有するように配置されている。このような配置とすることで、撮像画像中に占める指標の面積が小さくなっても、指標外形と方向性付与形状外形との間隔を維持し、方向性付与形状である内部の正方形の明度を取得するときにできるだけその中心を見ることができるようになる。
カメラ101は、現実空間を撮像できるカメラであり、例えばCCDやCMOSセンサを撮像素子として有するビデオカメラである。カメラ101には、例えば磁気センサ等を用いた3次元位置姿勢センサ102が固定されている。カメラ位置姿勢計測部103は、3次元位置姿勢センサ102を駆動・制御し、カメラ101の位置姿勢を計測する。
指標情報保持部106には、現実空間に配置されている指標の各々について、指標の同定及び方向の認識を行うために必要な情報を予め記憶しておく。具体的には、例えば、配置位置(例えば中心点の3次元絶対座標)、頂点の3次元絶対座標、大きさ、配置姿勢がある。また、指標の方向を特定するための情報(例えば方向性付与形状に最も近い指標外形正方形の頂点のIDなど)、方向性付与形状に関する情報(形状や色に関する情報など)なども例示できる。なお、ここで挙げた登録項目は単なる例示であり、使用する指標や指標の識別方法に応じて、これ以外の情報を登録することもあれば、より少ない項目で済む場合もある。
カメラ位置姿勢計測部103は、3次元位置姿勢センサ102から得られたカメラ101の位置姿勢値を、指標座標投影計算部107及び指標姿勢計算部109に供給する。指標座標投影計算部107は、カメラ101の位置姿勢値と、指標情報保持部106に記録されている指標の3次元座標情報とから、カメラ101が撮像していると思われる指標の、カメラ101の画像面上での投影位置を計算する。以下、画像面(撮像面とも言う)上に投影した指標を投影指標という。
指標検出部104では、カメラ101の撮像画像をキャプチャし、色や形状など、予め定められた指標に関する情報に基づき、指標と思われる領域(以下、検出指標とも言う)を画像から検出する。指標姿勢推定部105では指標検出部104で得られた検出指標の正方形頂点と方向性付与形状の画像上での座標から、カメラの視点位置を原点とし、カメラ座標系における指標の姿勢Rcmを算出する。カメラ座標系とは、撮像面をxy座標、視軸をz軸負へのベクトルとおいた3次元直交座標系である。なお、指標の姿勢を求めると同時にカメラ座標系における指標の位置を求めてもよい。
指標姿勢計算部109では、カメラ101の位置姿勢に基づいて、指標情報保持部106に記録された、基準座標系における指標の姿勢をカメラ座標系における姿勢に変換する。
指標識別部108は、
・指標座標投影計算部107で得られた指標の投影位置、
・指標検出部104で得られた検出指標の画像中の位置、
・指標姿勢推定部105から得られた検出指標の姿勢、
・指標姿勢計算部109で得られた指標の姿勢
とから、検出指標を同定する。指標の同定処理の詳細については後述する。
なお、本実施形態においては、指標の安定的な識別を行うために、画像中における検出指標の位置と、投影計算した指標位置とを比較して識別のための候補としている。しかし、指標投影計算部107で得られた投影位置と、指標検出部104で得られた画像中の位置とを用いる以外の方法で識別を行っても良い。例えば、夫々の指標の、撮像面における位置の情報は用いずに、指標姿勢推定部105から得られた検出指標の姿勢と、指標姿勢計算部109で得られた指標の姿勢とから指標の同定を行ってもよい。
ただし、夫々の撮像面における指標位置の情報を用いない場合は、カメラ座標系における指標の姿勢のみから識別を行う。そのため、配置できる指標の数は、センサの姿勢計測精度と検出指標の姿勢推定精度の合計が例えば±45度未満であれば、指標の最小配置数が6個(6傾斜面)に制限される。すなわち、この6傾斜面の法線が、互いに90度の角度で配置(すなわち立方体の各面の相対姿勢関係)しなければならない。なお、センサの姿勢計測精度と検出指標の姿勢推定精度が高いほど指標を区別するための姿勢計測分解能が高くなり、指標の最小配置数が増加する。
図2は、指標201A、201Bを、撮像する現実空間中の床と壁に配置し、それを指標識別装置のカメラ101で撮像している状態を模式的に示す図である。上述のように、指標201A,201Bの大きさや配置などの情報は、指標情報保持部106に記録されている。
次に、上記構成を備える指標識別装置が行う処理について、図4に示したフローチャートを参照して説明する。
ステップS401にて、カメラ位置姿勢センサ102は、カメラ101の位置姿勢を計測し、計測したカメラ位置姿勢をカメラ位置姿勢計測部103へと送る。ステップS402では、カメラ位置姿勢計測部103が、カメラの位置姿勢計測結果からビューイング変換を4×4の変換行列の形で計算する。ビューイング変換とは、現実世界に固定され設定された座標系を基準座標系としたときの、カメラ座標系と基準座標系との間の座標変換のことであり、より具体的には世界座標系の座標値からカメラ座標系の座標値への変換である。すなわち、このビューイング変換を求めておくことによって、基準座標系上にある座標値からカメラ座標系の座標値への変換を容易に計算することが可能となる。
次に、ステップS403では、指標座標投影計算部107が、指標情報保持部106に記録されている基準座標系における夫々の指標の中心点と頂点の位置(座標)を、ステップS402で得られたビューイング変換を利用してカメラ座標系へと変換する。さらに、カメラ101の透視投影変換計算を行うことによって、それぞれの撮像面上での推定位置(投影座標)を計算する。ここで、指標の個々の頂点はそれぞれ別々に区別して記録されているため、その個々の頂点を撮像面に投影して得られる投影座標においても、各々がどの頂点を投影したものであるのか明らかである。なお、カメラ101の透視投影変換は、カメラ101のレンズ焦点距離や主点(投影中心)位置によって一意に定まるものであり、事前に予め求められているものとする。
ステップS404では、指標姿勢計算部109が、指標情報保持部106に記録されている基準座標系における夫々の指標の姿勢Rwmを、ビューイング変換行列によってカメラ座標系における姿勢Rcmに変換する。本実施形態においては、指標情報保持部106に記録されている指標の配置姿勢Rwmは3×3の行列で表現されているものとする。この基準座標系の姿勢行列Rwmを、位置成分を(0,0,0)として同次座標の4×4の行列に変換し、ビューイング変換行列によってカメラ座標系における姿勢Rcmに変換する。
また、ステップS401、S402、S403、S404の工程と並行して、ステップS405〜S408の処理を行なう。先ず、ステップS405では、カメラ101により現実空間を撮像し、ステップS406にて、得られた撮像画像から指標を検出するための一工程として、指標の外周正方形を検出し、頂点と中心点を算出する。これは、どのような方法を用いても構わないが、例えば以下のような方法がある。
まず、指標の明度を背景と異なるものとしておき、明度による二値化を行った後にラベリング処理にて連続領域を求める。その連続領域のラベル外周を折れ線近似することにより外周の四角形を検出する。得られた四角形の頂点を求め、さらに対角線の交点を求めることにより中心点を求める。
引き続き、方向性付与形状付き正方形指標の検出のための一工程として、ステップS407にて、検出した外周四角形の内部の情報を用いて、指標の方向を検出する。まず、指標の画像上での方向の検出は、例えば図6に示すように、外周四角形の4頂点(a,b,c,d)と中心点Oを結ぶ線分それぞれに対して、中心点から頂点に向かってその線分を1:2に分割する点(a’,b’,c’,d)を計算する。さらに、それらの4点の画像中での画素の明度を比較し、最も明度の異なる点を求める。4点のうち他の3点と明度が最も異なる点(図6ではb’)は、指標内部に偏って配置された正方形(方向性付与形状)に由来するものであるため、これにより画像から検出した指標の方向を決定することができる。
例えば、方向を特定するための情報として「方向性付与形状に最も近い頂点ID」を用いた場合は、明度が最も異なる点に最も近い頂点のIDを特定する。ここで、方向性付与形状に最も近い頂点のIDをAとし、画像上でAから時計回りに他の頂点をB、C、Dと対応づけるものとする。すなわち、図6の頂点(a,b,c,d)に対して、指標外形正方形の頂点IDを(D、A、B、C)と対応づける。
ステップS408では、検出指標の画像上における頂点の2次元座標値と、ステップS407で得た指標の方向(頂点の対応情報)とから、カメラ座標系における指標の姿勢の行列Rcm'を求める。撮像された平面上の4点の2次元座標値から、カメラ座標系における姿勢を求める方法は、どのような方法を用いても構わないが、例えば、本実施形態では以下に説明するような、非特許文献2の方法を用いる。
すなわち、まず、画像上の4頂点ABCDから、ABを通る直線と、DCを通る直線、すなわち向かい合う平行2辺の直線の方程式を求める。そして、これらの2つの直線とカメラの透視投影変換行列(予め求めておく)とを用いて、2つの直線を含む2平面の式(カメラ座標系)を得る。この2平面の法線ベクトルNAB、NDCの外積(NAB×NDC)が、平行2辺AB,DCのカメラ座標系における方向ベクトルU1とする。
もう一組の向かい合う平行2辺BCとDAにおいても同様の処理を行い、2平面の法線ベクトルの外積(NBC×NDA)を、平行2辺DB,DAのカメラ座標系における方向ベクトルU2とする。
これにより指標の隣り合う2辺の方向ベクトルU1,U2が求められるので、この2つの方向ベクトルの外積方向をV3とする。このV3を垂直軸とし、U1,U2を含む平面内で、なす角度が直角になり、かつ、U1からV1,U2からV2への夫々の変更角度が等しくなるようなベクトルV1,V2を決定する。このとき、[V1 tV2 tV3 t]がカメラ座標系における指標の姿勢Rcm'となる。
このように、ステップS401〜S404で、カメラ位置姿勢センサ102の計測値を基にして、指標情報保持部106が保持する夫々の指標の頂点と中心点を画像面へと投影した投影座標とそのカメラ座標系における姿勢Rcmを求めた。また、ステップS405〜S408で、画像から検出した正方形指標の頂点と中心点の座標と、検出指標のカメラ座標系における姿勢Rcm'を求めた。
本実施形態で最終的に行いたいことは、図3に示すように、撮像画像から検出しただけでは個々の区別のつかない指標が複数個現実空間内に配置されている場合に、個々の指標を識別することにある。例えば、図3に示すように、撮像画像上で同じ方向性を持った2つの指標が壁と床に配置されている場合に、それらを識別することにある。図3の201Aと201Bは、それぞれ現実空間に配置した指標を撮像画像から検出したものを表す。図に示すように、これらの二つの指標201A、201Bはそれぞれ異なる姿勢で配置されている。
このとき、ステップS403にて得られた、カメラ101の視野に含まれるであろう指標201A、201Bの、カメラ101の画像面上への投影座標が図3の202A,202Bに示すような位置に計算されているとする。この場合において、従来技術3の方法により指標の識別を行うと、発明が解決しようとする課題において述べたとおり、誤認識が発生する。すなわち、中心点が近く、画像上での方向性が一致する201Bと202Aを、対応する指標として誤識別してしまう。
この課題を解決し、異なる姿勢の指標に対して識別を正しく行う工程が、以下に述べるステップS409とステップS410である。
ステップS409では、ステップS403で得た投影指標の中心点と、ステップS406で検出された指標の中心点との距離を基にして、ステップS403で得られた各投影指標に対して、対応する可能性のある検出指標の候補リストを生成する。このリストは、例えば中心点距離の近い順に並べた線形リストである。
ステップS410では、ステップS403で得られた各投影座標に対して、対応する可能性のある検出指標の候補リストを先頭から順に探索する。そして、ステップS404で得られたRcmとステップS408で得られたRcm'を比較し、姿勢の類似しているものを見つけ出す。姿勢の類似の判定には、例えば、RcmからRcm'への変換を行う回転行列を求めて、さらに回転軸と回転角に変換し、その回転角の大きさの差が閾値以下であれば類似度が高いと判定することができる。また、RcmとRcm'の夫々をクオータニオン表現に変換し、4次元球面上における点間の球面上での距離が閾値以下であれば類似性が高いと判定してもよい。或いは、RcmとRcm'の夫々を特異値分解して得られた夫々の特異値ベクトルの距離が閾値以下であれば類似性が高いと判定しても良いし、Rcm・Rcm'-1が単位行列に近いかどうかを評価してもよい。
そして、投影指標と夫々の検出指標の類似判定結果が閾値を越えた最初の検出指標を対応する指標とする。
このステップS409及びS410の工程を、図2及び図3の場合を例にして説明する。ステップS409により、投影指標202Aに対して、中心点距離の近い検出指標201Aと201Bが対応する可能性のある検出指標候補としてリストに挙げられる。検出指標201Bの方が検出指標201Aよりも、投影指標202Aとの中心点距離が小さいので、リストでは、検出指標201Bが201Aより上位に位置している。そのリストを利用して、ステップS410にて、まず投影指標202Aと検出指標201Bの姿勢の類似性を調べ、次に投影指標202Aと検出指標201Aの姿勢の類似性を調べる。
図2に示されているように、検出指標201Bと投影指標202Aとは姿勢の相違が大きいために、対応すると判定されることはなく、姿勢がほぼ一致している検出指標201Aと投影指標202Aとが対応づけられる。また同時に、誤検出された指標201Bの姿勢と投影指標202Aの姿勢が一致しないため、誤検出された指標に誤識別される可能性が減少する効果もある。
なお、本実施形態において、ステップS409とステップS410の2つの工程は、各投影指標を基準にして、対応候補となる検出指標をリスト化し対応付けを行う方法であった。しかし、代わりに、各検出指標を基準にして、対応候補となる投影指標をリスト化する方法でもよい。また、単純に指標の距離に基づいて候補リストを作る方法に限らず、画像面上での指標の座標に基づいた方法で候補リストを作るのであれば、他の方法であってもよい。さらに、先に画像面上での距離に基づいて候補リストを生成し、そのリストから指標の方向性による対応付けを行うという処理手順ではなく、先に指標の方向性のあっているものをリストアップし、その中から画像面上での距離に基づいて対応付けを行っても良い。
また、ステップS404、ステップS408では、各々でカメラ座標系における指標の姿勢を求め、ステップS410で両者を比較していたが、投影される指標の姿勢と検出した姿勢を比較できる方法であれば、カメラ座標系における指標の姿勢でなくともよい。例えば、指標を基準とする指標座標系を基準として、指標座標系におけるカメラの姿勢RmcをステップS404、ステップS408で求め、両者を比較してもよい。指標座標系は、例えば、図6における頂点bを原点とし、ベクトルbcをX軸、法線方向をY軸、ベクトルbaをZ軸とする直交座標系である。この場合、ステップS404ではRcm-1の計算によって目的の姿勢Rmcを求める。ここで、Rcm-1はカメラ座標系におけるマーカ姿勢Rcmの逆行列を示している。また、ステップS408では、Rcm'の逆行列Rcm'-1を求める。
また、基準座標系におけるカメラ姿勢Rwcを比較の基準としてもよい。この場合は、ステップS404で、センサ計測値により求めたカメラ姿勢を用いる。また、ステップS408では、RwcをRwm・Rcm'-1により算出する。ここでRwmは、指標情報保持部106に記録されている、基準座標系における指標の姿勢である。
このように、指標の姿勢を比較して識別する場合に、どの座標系のどの姿勢を基準とするかについては、特に制限が無く、共通した座標系で比較可能な姿勢であればよい。
以上説明したように本実施形態によれば、指標の現実空間における姿勢を用いて指標の識別を行うことにより、同じ指標が複数配置してある場合でも個々の指標を識別することが可能となる。また、配置されている面の傾斜が異なる場合であれば、指標の方向性が同一であっても姿勢の相違から識別可能であるため、配置の制限が非常に緩やかとなる。
すなわち、従来技術3の方法のように、撮像画像上での方向性を区別する手法では、位置姿勢センサの姿勢計測精度と検出指標の姿勢推定精度の合計が例えば±45度未満の場合、同時に撮像される可能性がある領域には4種しか配置できなかった。すなわち、上下左右の4種(指標の法線を軸として90度ずつ回転させて配置する場合の4方向)である。しかし、本実施形態に係る指標識別装置であれば、少なくとも24種(4方向×6傾斜面)の配置が可能である。
例えば、立方体の各面に指標を1つずつ配置した場合は、センサの計測精度と検出指標の推定精度の合計が±45度未満である姿勢計測精度があれば、各面の指標を区別できる。さらに、撮像画像上に映り込む指標の方向性を用いると、各面の指標の法線を軸として90度の回転(4方向)が区別できる。すなわち、立方体の各面には、はじめに各面に配置したマーカの他に、1つの面に対して3種のマーカが追加できて、6面に4個で計24個の指標を区別できる。
また、本実施形態によれば、発明が解決しようとする課題で述べたように、図5で示すような誤検出が起こる場合、印刷物601と目的とする指標202Aの姿勢とが異なる場合は、誤同定されないという効果も得られる。
<第2の実施形態>
第1の実施形態では、カメラに3次元位置姿勢センサを配置し、カメラ101が可動である状況にて、現実空間に固定された指標を撮像する場合を想定していた。しかし、カメラと同様に、3次元位置姿勢センサおよび指標を配置した現実物体が移動する場合であっても本発明を好適に適用可能である。なお、以下、現実物体に取り付けた3次元位置姿勢センサを物体位置姿勢センサと呼ぶ。また、本実施形態で使用する指標は、第1の実施形態で使用した指標と同一であるとする。
図9は、本実施形態におけるカメラ101、カメラ位置姿勢センサ102、現実物体901及び物体位置姿勢センサ801の関係を模式的に示す図である。図8は、本実施形態に係る指標識別装置の構成例を示すブロック図である。
本実施形態においては、図1のブロック図で示した第1の実施形態の構成に加え、物体位置姿勢センサ801、及び物体位置姿勢計測部802が追加されている。また、指標情報保持部106には、基準座標系における指標の位置姿勢の代りに、現実物体901を基準とする座標系(物体座標系とよぶ)上における指標の位置姿勢が記録されている。
また、
・指標座標投影計算部107で実施する、指標の中心点と頂点座標を画像面上に投影計算する工程
・指標姿勢計算部109で実施する、カメラ座標系における指標の姿勢を求める工程
の夫々において、物体座標系上で定義されている指標201A、201Bの位置姿勢を、基準座標系における位置姿勢へ変換する工程が追加される。
図10は、本実施形態における指標識別装置の動作を示すフローチャートである。
本実施形態では、移動する現実物体901に配置した指標201A、201Bの、カメラ座標系における姿勢で識別する必要がある。そのために、第1の実施形態のフローチャートに対して、ステップS1001乃至S1002の処理を追加し、ステップS403及びステップS404をステップS1003及びステップS1004に変更する。
ステップS1001では、物体位置姿勢センサ801によって現実物体901の位置姿勢を計測し物体位置姿勢計測部802に送る。
ステップS1002では、ステップS1001で計測した現実物体901の位置姿勢に基づいて、モデリング変換を4×4の変換行列の形で計算する。モデリング変換とは、基準座標系と物体座標系との間の座標変換のことであり、物体座標系にある点を基準座標系上の点へ変換する変換のことである。
ステップS1003では、指標座標投影計算部107が、指標情報保持部106に記録されている物体座標系における夫々の指標の中心点と頂点の位置(座標)を、ステップS1002で得られたモデリング変換を利用して基準座標系へと変換する。さらに、ステップS402で得られたビューイング変換を利用してカメラ座標系へと変換し、さらに、カメラ101の透視投影変換計算を行うことによって、それぞれの撮像面上での推定位置(投影座標)を計算する。
ステップS1004では、指標姿勢計算部109が、指標情報保持部106に記録されている物体座標系上における夫々の指標の姿勢Romを、ステップS1002によって得られたモデリング変換により、基準座標系における指標の姿勢Rwm(=Rwo・Rom)に変換する。さらに、ステップS402で得られたビューイング変換によって、カメラ座標系における指標の姿勢Rcmを求める。ここで、Rwoは現実物体の姿勢成分を示している。すなわち、Rcmは、カメラの姿勢成分をRwcとすると、以下の式で求めることができる。
Rcm = Rwc-1・Rwo・Rom (式1)
図10における他のステップは、第1の実施形態と同様に処理することで、姿勢を用いた指標の識別が可能である。
このように、本実施形態によれば、3次元位置姿勢センサおよび指標を配置した現実物体が移動する場合であっても、第1の実施形態と同様、指標を安定的に、且つ精度良く検出可能となる。
<変形例1>
第1の実施形態では、カメラが移動、物体が固定、第2の実施形態では、カメラと物体が移動するという状況であったが、カメラが現実空間に固定され、物体が移動する環境においても本発明を適用することが可能である。
図12は、本変形例におけるカメラ101、現実物体801及び物体位置姿勢センサ802の関係を模式的に示す図である。図11は、本実施形態に係る指標識別装置の構成例を示すブロック図である。本実施形態においては、図8で示す第2の実施形態の構成に対して、カメラ位置姿勢センサ102、カメラ位置姿勢計測部103が削除されている点が異なる。
本実施形態では、第2の実施形態における処理のフローチャートを示す図10のステップS401におけるカメラ位置姿勢を計測する処理において、予め別途記録しておいたカメラ位置姿勢の固定値を代りに出力する。他のステップは第2の実施形態と同様に実施すればよい。
<変形例2>
第2の実施形態においては、カメラと現実物体に3次元位置姿勢センサを取り付けて、夫々の位置姿勢を計測していた。しかし、本発明は、指標の識別のために3次元位置姿勢センサを用いることに限定されるものではなく、基準座標系における姿勢を求める計測器であれば適用可能である。例えば、ジャイロセンサ等によって構成される姿勢センサをカメラと現実物体に取り付け、夫々の姿勢を計測して指標の識別を行ってもよい。
図13は、本変形例に係る指標識別装置の構成例を示すブロック図である。第2の実施形態における構成例に対して、位置姿勢を計測する要素102、103、801、802が、姿勢を計測する要素1301、1302、1303、1304に変更されたこと、指標座標投影計算部107が削除されたことが異なる。
物体姿勢センサ1301及びカメラ姿勢センサ1303は、対象とする物体の姿勢を計測する姿勢計測器であり、本実施形態ではジャイロセンサをベースとしたセンサユニット、例えば米国InterSense社のInertiaCube2を用いるものとする。これらのジャイロセンサの姿勢計測値を物体姿勢計測部1302とカメラ姿勢計測部1304にそれぞれ出力する。
物体姿勢計測部1302は、物体姿勢センサ1301で得られた、物体の基準座標系における姿勢を指標姿勢計算部109に供給する。
カメラ姿勢計測部1304は、カメラ姿勢センサ1303で得られた、カメラの基準座標系における姿勢を指標姿勢計算部109に供給する。
図14は、本変形例に係る指標識別装置の処理の詳細を示すフローチャートである。図14において、撮像画像から指標の姿勢Rcm'を求める処理は第1又は第2の実施形態と共通であるため、同じ参照数字を付してある。
ステップS1401では、カメラ姿勢センサ1303によって、基準座標系におけるカメラ姿勢Rwcを計測し、計測結果をカメラ姿勢計測部1303へ送る。
ステップS1402では、物体姿勢センサ1301によって、基準座標系における現実物体の姿勢Rwoを計測し、物体姿勢計測部1302へ送る。
ステップS1403では、カメラ座標系における夫々の指標の姿勢Rcmを、以下の式によって算出する。
Rcm = Rwc-1・Rwo・Rom (式2)
ここで、RwcはステップS1401で、RwoはステップS1402で得られた、基準座標系におけるカメラと物体の姿勢である。また、Romは、指標情報保持部106に記録されている、物体座標系上で定義された夫々の指標の姿勢である。
一方、ステップS405〜S408では、第1の実施形態で説明したように、カメラ101で撮像した画像から、検出指標の各々について、カメラ座標系における姿勢Rcm'を算出する。
ステップS1404においては、検出指標候補リストに、ステップS405〜S408の処理において画像上で検出された検出指標の全てが、検出された順番に格納される。さらに、指標識別部109が、ステップS1403で得られた、指標情報保持部106が保持する夫々の指標のカメラ座標系における姿勢Rcmと、検出指標候補リスト内の(ステップS408で得た)検出指標の姿勢との類似性を判定して対応付けを行う。
ただし、本変形例において、検出指標候補リスト中の検出指標はランク付けされていない。そのため、類似性の判定は、先頭から探索して最初に閾値内になった指標を対応づけるのではなく、候補リスト内の全ての指標との類似性を判定し、一番類似性の高い指標を対応する指標として識別する。このときの類似性の判定には、例えば、Rcm・Rcm'-1の行列式と1との差分の絶対値を算出し、その逆数を類似度としてもよい。あるいは、RcmからRcm'への変換を行う回転行列を求めて、さらに回転軸と回転角に変換し、その回転角の大きさの逆数を類似度として判定してもよい。
他のステップは第2の実施形態と同様に実施すればよい。
なお、InertiaCube2等の姿勢センサは、時間の経過に伴って蓄積されるドリフト誤差を有しているため、出力される姿勢計測値は、真の姿勢とは異なった誤差を有する姿勢となる場合がある。この誤差による指標の誤識別に対処するため、図14のステップS1404において、RcmとRcm'の重力方向を軸とする回転である方位角を無視して、傾斜角(2軸の回転)の姿勢を比較してもよい。傾斜方向の姿勢を行うためには、例えば、ステップS1401、ステップS1402において、物体姿勢センサ1301とカメラ姿勢センサ1303が出力する少なくとも1つの姿勢値から、傾斜成分のみを取得する。そして、方位成分には規定値(例えば0度など)で上書きして、姿勢を表す行列に変換する。また、撮像画像からステップS405〜S408で求めた指標の姿勢Rcm'に対しても、方位角と傾斜角に分け、方位角を同じ既定値によって上書きして姿勢を表す行列に変換することで、比較する2つの姿勢の傾斜角のみで識別を行うことができる。
また、方位角を規定値で上書きして無視する方法のみならず、撮像画像の前フレームにおいて、方位角を指標によって補正し、その補正値から予測した現在の方位角を用いる方法を用いても良い。
<変形例3>
上述の実施形態及び変形例では、従来技術2で述べたような、方向性を持つ正方形指標を識別するものであった。しかし、本発明は、このような指標の識別に限定されるものではない。指標が少なくとも1平面を持つ形状であり、かつ、指標の方向性を示す情報を有し、指標を撮像した撮像画像から指標の姿勢を算出できる任意の指標の識別が可能である。なお、1平面を持つ形状とは、図形の頂点を画像における特徴とする指標であれば、同一平面上に頂点が3点以上ある形状やその形状を組み合わせた形状である。
例えば、非特許文献4で述べられているような、正方形内にIDコードを持つ指標であってもよい。この指標は、指標内部のコード領域に、5×5の白黒矩形マトリックスによる「2次元バーコード」(以下、コードと呼ぶ)を保持している。従って、理論的には216種の指標が識別可能である。しかし、指標が撮像画像中に小さく映り込んだ場合に、コードの識別を間違えたり、識別できなくなったりするなどの課題がある。その課題への対策として、正方形形状内のコード領域の分割数を3×3などに減らすことが考えられる。しかし、コード領域の分割数を減らすと識別できる数も減少するという別の課題を持つ。
本変形例に係る指標識別装置を適用すれば、コードからの識別だけでなく、姿勢の相違に基づく識別も可能となるため、異なる姿勢で配置すれば、同時に撮像されうる領域に同一コードを有する指標を用いることが可能となる。そのため、コード領域の分割数を減らしたとしても、識別できる指標の種類を従来に比べて増やすことができる。例えば、姿勢センサの姿勢計測精度と検出指標の姿勢推定精度の合計が±45度未満であれば、同一コードを有する指標を4方向×6傾斜面に配置することが可能であるため、識別可能な指標の数を24倍に増やすことができる。そのため、コード領域の分割数を減らした場合に発生する、識別可能な指標の種類が減少するという課題を改善することができる。
図15は、本変形例に係る指標識別装置の構成例を示すブロック図である。前述の実施形態と共通する構成には同じ参照数字を付してある。
指標姿勢推定部1501では、撮像画像から検出された検出指標の頂点座標と、指標内部のコードの認識結果から、検出指標のカメラ座標系における姿勢Rcm'を推定する。
カメラ姿勢入力部1502では、カメラ101の姿勢を何らかの方法によって入力し、指標姿勢計算部109に出力する。具体的には、撮像画像の前フレームで識別された指標を用いて得た、基準座標系におけるカメラ姿勢を用いてもよいし、カメラ101に姿勢センサを取り付けて姿勢センサの姿勢計測値を入力してもよい。また、単独で識別できる特別な指標(例えば、複数の指標の中で、他の指標は異なる、唯一のコードを有する基準指標など)をカメラ101で撮像し、基準指標の識別によって得たカメラ姿勢を入力してもよい。
指標情報保持部106には、第1の実施形態で述べた指標の情報に加えて、個々の指標が有するコードも記録されているものとする。
指標識別部1503では、画像から検出した検出指標の内部にあるコード情報を読み出すと共に、指標姿勢計算部109で得た指標の姿勢と指標姿勢推定部1501で得た検出指標の姿勢とを用いて識別を行う。
本変形例における指標識別装置の処理を、図16に示すフローチャートを用いて説明する。
ステップS1601では、カメラ姿勢入力部1502の出力する、基準座標系でのカメラ姿勢Rwcを、指標姿勢計算部109に出力する。
ステップS1602では、指標姿勢計算部109によって、ステップS1601で出力したカメラ姿勢Rwcを基に、指標情報保持部106に保存されている基準座標系における夫々の指標の姿勢Rwmが、カメラ座標系における姿勢Rcmに変換される。
一方、ステップS405、S406では、第1の実施形態と同様にして、撮像画像から指標を検出し、その頂点と中心座標を算出する。
ステップS1603では、指標識別部109によって、ステップS406で得られた指標の4頂点の座標を正方形の4頂点に射影する変換を、検出画像に適用し、得られた画像からコードが読み出して認識する。
ステップS1604では、指標姿勢推定部109が、ステップS406によって得た4頂点の座標を互いに結んだ4辺が基準座標系において正方形となる制約条件を用いて、カメラ座標系における夫々の指標の法線を推定する。さらに、この法線と、カメラ座標系における指標の4辺の方向ベクトルと、対角線の方向ベクトルとの関係を用いて検出指標のカメラ座標系における姿勢Rcm'を求める(より詳細な処理方法については、非特許文献4を参照)。
ステップS1605では、指標識別部109が、ステップS1602でカメラ座標系の姿勢Rcmに変換された夫々の指標に対して、ステップS1603において認識したコードが同一の検出指標をリスト化し、夫々の指標に対する検出指標候補リストを作成する。
ステップS1606では、指標識別部109が、ステップS1605で得た検出指標候補リストを先頭から探索し、夫々の指標のうち、注目する指標の姿勢Rcmとの類似性が一番高い検出指標の姿勢Rcm'を見つけることで、指標の識別を行う。あるいは、コードが同一であっても、類似性が低い指標に対しては誤識別となる指標だと判定する。
なお、ステップS1602の処理において、指標情報保持部106に保存されている全ての指標に対してカメラ座標系における姿勢を計算する代わりに、ステップS1603で認識されたコードを持つ指標のみに対して計算することにより、処理を軽減してもよい。
<変形例4>
第1及び第2の実施形態では、方向性を持つ指標の姿勢を用いて指標の識別をしたが、指標の撮像画像から、法線ベクトルなどの指標の傾きを示すベクトルを算出できるような指標であれば、方向性を持たない指標であってもよい。
例えば、第1の実施形態において、方向性付与形状を持たない正方形指標を用いた場合について説明する。第1の実施形態においては、3×3の姿勢行列を求める目的で、方向性を持つ正方形指標を用いたが、姿勢行列から1自由度少ない、指標の傾きを示すベクトル(例えば法線ベクトル)を用いることで指標が識別できる。例えば、第1の実施形態において、以下のように処理することで指標を識別することができる。
指標情報保持部106において、個々の指標について3×3の姿勢行列を記憶する代りに、或いは姿勢行列の他に、個々の指標の法線ベクトル(図2の指標上に示しているベクトル)を予め記録しておく。
図4のステップS404においては、指標情報保持部106内の法線ベクトルをカメラ座標系に変換する。さらに、ステップS407の処理を削除し、ステップS408においては、ステップS406によって得られた検出指標の4頂点の座標からカメラ座標系における指標の法線を求める。この法線は、第1の実施形態のステップS408で説明した方法の過程で求められるV3を用いる。さらに、ステップS410において、ステップS403で求めた投影指標の法線ベクトルと、S406の法線ベクトル検出指標の法線V3との傾きを比較する場合は、この2つの法線の内積値が最小になる検出指標を対応する指標として識別する。
このように、第1の実施形態に若干の変更を加えるだけで、指標の傾斜を示すベクトルによって指標の識別ができるようになる。
[他の実施形態]
なお、上述の実施形態及び変形例においては、理解を容易にするため、カメラ及び3次元位置姿勢センサを含む指標検出装置について説明したが、これらは指標識別装置に必須ではない。すなわち、カメラ又は現実物体の少なくとも一方を3次元位置姿勢計測し、また、撮像は他の装置で行い、他の装置から3次元位置計測結果と撮像画像を取得する構成であってもよい。また、リアルタイムに処理を行う場合だけでなく、記録された3次元位置計測結果と、撮像画像とを用いて識別処理を行うことももちろん可能である。
なお、前述した実施形態の機能を実現するコンピュータプログラムを、コンピュータを含むシステム或いは装置のコンピュータが実行することによって同等の機能が達成される場合も本発明に含む。コンピュータを含むシステム又はコンピュータへのプログラムの供給は、記録媒体から直接行っても、有線/無線通信を用いて行っても良い。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体がある。また、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−R、DVD−RW等の光/光磁気記憶媒体、不揮発性の半導体メモリなどもある。
有線/無線通信を用いたプログラムの供給方法としては、以下のような方法がある。コンピュータネットワーク上のサーバに、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムデータファイル)を記憶する。そして、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法である。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。プログラムデータファイルとしては、本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等でよい。
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してダウンロードさせることによって供給することもできる。この場合、その鍵情報を使用することにより、暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されるだけでなく、他のプログラムを利用することによって実施形態の機能を実現してもよい。例えば、プログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことで、前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードや、コンピュータに接続された機能拡張ユニットで実行されることで前述した実施形態の機能が実現されてもよい。具体的には、機能拡張ボードや機能拡張ユニットが備えるメモリやCPUによってプログラムが実行され、実際の処理の一部または全部を担っても良い。
第1の実施形態に係る指標識別装置の構成例を示すブロック図である。 第1の実施形態で用いる指標を、撮像する現実空間中の床と壁に配置し、それを指標識別装置のカメラで撮像している状態を模式的に示す図である。 指標の画像面への投影座標と、撮像画像中の指標の関係の例を示す図である。 第1の実施形態に係る指標識別装置の処理を説明するフローチャートである。 指標の誤検出に帰因した誤識別の例を説明する図である。 第1の実施形態に係る指標の構成及び方向検出処理を説明する図である。 方向性を用いた指標の識別技術を説明する図である。 第2の実施形態に係る指標識別装置の構成例を示すブロック図である。 第2の実施形態におけるカメラ101、カメラ位置姿勢センサ102、現実物体801及び物体位置姿勢センサ802の関係を模式的に示す図である。 第2の実施形態に係る指標識別装置の処理を説明するフローチャートである。 変形例1に係る指標識別装置の構成例を示すブロック図である。 変形例1におけるカメラ101、現実物体801及び物体位置姿勢センサ802の関係を模式的に示す図である。 変形例2に係る指標識別装置の構成例を示すブロック図である。 変形例2に係る指標識別装置の処理を説明するフローチャートである。 変形例3に係る指標識別装置の構成例を示すブロック図である。 変形例3に係る指標識別装置の処理を説明するフローチャートである。

Claims (10)

  1. 現実空間に複数配置された指標であって、配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である指標位置および指標姿勢を、当該指標の指標情報として保持する保持手段と、
    前記現実空間を撮像装置で撮像した撮像画像から1つ以上の指標を検出する検出手段と
    記撮像装置の位置姿勢を計測した撮像位置姿勢を取得する取得手段と、
    前記撮像画像および前記撮像位置姿勢に基づいて、前記検出された指標が配置された面に垂直で当該指標を通過する回転軸の傾斜角と、当該回転軸を中心に当該指標が何れの方向を向いているかを示す回転角と、前記検出された指標の推定姿勢として推定する推定手段と、
    前記指標位置、前記指標姿勢、および前記撮像位置姿勢に基づいて、前記指標情報が保持された指標を前記撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影手段と、
    (1)前記検出された指標について前記推定手段により推定された傾斜角と前記指標情報が保持された指標の前記投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)該検出された指標について前記推定手段により推定された回転角と該保持された指標の前記投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、該検出された指標と該保持された指標とを、前記撮像画像において検出された指標の画像座標と前記投影座標との距離に基づいて対応づけする対応づけ手段と
    を有することを特徴とする情報処理装置。
  2. 現実空間に複数配置された指標であって、配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である物体に対する相対位置および相対姿勢を、当該指標の指標情報として保持する保持手段と、
    前記現実空間を撮像装置で撮像した撮像画像から1つ以上の指標を検出する検出手段と、
    前記撮像装置の位置姿勢を計測した撮像位置姿勢を取得する第1取得手段と、
    前記現実物体の位置を計測した物体位置と、当該現実物体の姿勢を計測した物体姿勢とを取得する第2取得手段と、
    前記撮像画像および前記撮像位置姿勢に基づいて、前記検出された指標が配置された面に垂直で当該指標を通過する回転軸の傾斜角と、当該回転軸を中心に当該指標が何れの方向を向いているかを示す回転角とを、前記検出された指標の推定姿勢として推定する推定手段と、
    前記相対位置、前記相対姿勢、前記物体位置、前記物体姿勢、および前記撮像位置姿勢に基づいて、前記指標情報が保持された指標を前記撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影手段と、
    (1)前記検出された指標について前記推定手段により推定された傾斜角と、前記指標情報が保持された指標の前記投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)該検出された指標について前記推定手段により推定された回転角と、該保持された指標の前記投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、該検出された指標と該保持された指標とを、前記撮像画像において検出された指標の画像座標と前記投影座標との距離に基づいて対応づけする対応づけ手段と
    を有することを特徴とする情報処理装置。
  3. 現実空間に複数配置された指標であって、配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である物体に対する相対位置および相対姿勢を、当該指標の指標情報として保持する保持手段と、
    前記現実空間を、該現実空間に固定され撮像位置姿勢が既知である撮像装置で撮像した撮像画像から1つ以上の指標を検出する検出手段と
    記現実物体の位置を計測した物体位置と、当該現実物体の姿勢を計測した物体姿勢とを取得する取得手段と、
    前記撮像画像および前記撮像位置姿勢に基づいて前記検出された指標が配置された面に垂直で当該指標を通過する回転軸の傾斜角と、当該回転軸を中心に当該指標が何れの方向を向いているかを示す回転角と、前記検出された指標の推定姿勢として推定する推定手段と、
    前記相対位置、前記相対姿勢、前記物体位置、前記物体姿勢、および前記撮像位置姿勢に基づいて、前記指標を前記撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影手段と、
    (1)前記検出された指標について前記推定手段により推定された傾斜角と、前記指標情報が保持された指標の前記投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)該検出された指標について前記推定手段により推定された回転角と、該保持された指標の前記投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、該検出された指標と該保持された指標とを、前記撮像画像において検出された指標の画像座標と前記投影座標との距離に基づいて対応づけする対応づけ手段と、
    を有することを特徴とする情報処理装置。
  4. 前記撮像装置の姿勢は、姿勢センサを用いて計測されることを特徴とする請求項1又は2に記載の情報処理装置
  5. 前記物体姿勢は、姿勢センサを用いて計測されることを特徴とする請求項2又は3に記載の情報処理装置。
  6. 配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である指標位置および指標姿勢を、当該指標の指標情報として予め保持した情報処理装置が行う情報処理方法であって、
    前記情報処理装置の検出手段が、現実空間を撮像装置で撮像した撮像画像から1つ以上の、指標を検出する検出工程と、
    前記情報処理装置の取得手段が、前記撮像装置の位置姿勢を計測した撮像位置姿勢を取得する取得工程と、
    前記情報処理装置の推定手段が、前記撮像画像および前記撮像位置姿勢に基づいて、前記検出された指標が配置された面に垂直で当該指標を通過する回転軸の傾斜角と、当該回転軸を中心に当該指標が何れの方向を向いているかを示す回転角とを、前記検出された指標の推定姿勢として推定する推定工程と、
    前記情報処理装置の投影手段が、前記指標位置、前記指標姿勢、および前記撮像位置姿勢に基づいて、前記指標情報が保持された指標を前記撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影工程と、
    前記情報処理装置の対応づけ手段が、(1)前記検出された指標について前記推定工程において推定された傾斜角と前記指標情報が保持された指標の前記投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)該検出された指標について前記推定手段において推定された回転角と該保持された指標の前記投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、該検出された指標と該保持された指標とを、前記撮像画像において検出された指標の画像座標と前記投影座標との距離に基づいて対応づけする対応づけ工程と
    を有することを特徴とする情報処理方法。
  7. 前記情報処理装置の保持手段が、現実空間に複数配置された指標であって、配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である物体に対する相対位置および相対姿勢を、当該指標の指標情報として予め保持した情報処理装置が行う情報処理方法であって、
    前記情報処理装置の検出手段が、前記現実空間を撮像装置で撮像した撮像画像から1つ以上の指標を検出する検出工程と、
    前記情報処理装置の第1取得手段が、前記撮像装置の位置姿勢を計測した撮像位置姿勢を取得する第1取得工程と、
    前記情報処理装置の第2取得手段が、前記現実物体の位置を計測した物体位置と、当該現実物体の姿勢を計測した物体姿勢とを取得する第2取得工程と、
    前記情報処理装置の推定手段が、前記撮像画像および前記撮像位置姿勢に基づいて、前記検出された指標が配置された面に垂直で当該指標を通過する回転軸の傾斜角と、当該回転軸を中心に当該指標が何れの方向を向いているかを示す回転角とを、前記検出された指標の推定姿勢として推定する推定工程と、
    前記情報処理装置の投影手段が、前記相対位置、前記相対姿勢、前記物体位置、前記物体姿勢、および前記撮像位置姿勢に基づいて、前記指標情報が保持された指標を前記撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影工程と、
    前記情報処理装置の対応づけ手段が、(1)前記検出された指標について前記推定工程において推定された傾斜角と、前記指標情報が保持された指標の前記投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)該検出された指標について前記推定工程において推定された回転角と、該保持された指標の前記投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、該検出された指標と該保持された指標とを、前記撮像画像において検出された指標の画像座標と前記投影座標との距離に基づいて対応づけする対応づけ工程と
    を有することを特徴とする情報処理方法。
  8. 現実空間に複数配置された指標であって、配置された面内で何れの方向を向いているかを示す方向情報が付与された指標の、既知である物体に対する相対位置および相対姿勢を、当該指標の指標情報として予め保持した情報処理装置が行う情報処理方法であって、
    前記情報処理装置の取得手段が、前記現実空間を、該現実空間に固定され撮像位置姿勢が既知である撮像装置で撮像した撮像画像から1つ以上の指標を検出する検出工程と、
    前記情報処理装置の手段が、前記現実物体の位置を計測した物体位置と、当該現実物体の姿勢を計測した物体姿勢とを取得する取得工程と、
    前記情報処理装置の推定手段が、前記撮像画像および前記撮像位置姿勢に基づいて、前記検出された指標が配置された面に垂直で当該指標を通過する回転軸の傾斜角と、当該回転軸を中心に当該指標が何れの方向を向いているかを示す回転角とを、前記検出された指標の推定姿勢として推定する推定工程と、
    前記情報処理装置の投影手段が、前記相対位置、前記相対姿勢、前記物体位置、前記物体姿勢、および前記撮像位置姿勢に基づいて、前記指標を前記撮像装置の画像面に投影した際の投影座標および投影姿勢を算出する投影工程と、
    前記情報処理装置の対応づけ手段が、(1)前記検出された指標について前記推定工程において推定された傾斜角と、前記指標情報が保持された指標の前記投影姿勢から得られる傾斜角との差が予め設定された閾値以下となること、および、(2)該検出された指標について前記推定工程において推定された回転角と、該保持された指標の前記投影姿勢から得られる回転角との差が予め設定された閾値以下となることの両方を満たす、該検出された指標と該保持された指標とを、前記撮像画像において検出された指標の画像座標と前記投影座標との距離に基づいて対応づけする対応づけ工程と
    を有することを特徴とする情報処理方法。
  9. 請求項6乃至8の何れか1項に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。
  10. 請求項9に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
JP2005362370A 2005-12-15 2005-12-15 情報処理装置及び情報処理方法 Expired - Fee Related JP4739004B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005362370A JP4739004B2 (ja) 2005-12-15 2005-12-15 情報処理装置及び情報処理方法
US11/610,805 US7812871B2 (en) 2005-12-15 2006-12-14 Index identification method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005362370A JP4739004B2 (ja) 2005-12-15 2005-12-15 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2007166427A JP2007166427A (ja) 2007-06-28
JP4739004B2 true JP4739004B2 (ja) 2011-08-03

Family

ID=38172830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005362370A Expired - Fee Related JP4739004B2 (ja) 2005-12-15 2005-12-15 情報処理装置及び情報処理方法

Country Status (2)

Country Link
US (1) US7812871B2 (ja)
JP (1) JP4739004B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4916167B2 (ja) * 2005-12-15 2012-04-11 キヤノン株式会社 指標識別方法及び指標識別装置
JP2008261755A (ja) * 2007-04-12 2008-10-30 Canon Inc 情報処理装置、情報処理方法
CN100580370C (zh) * 2007-05-30 2010-01-13 北京航空航天大学 基于双面靶标的流动式三维视觉测量拼接方法
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
JP4876056B2 (ja) * 2007-11-16 2012-02-15 キヤノン株式会社 画像処理装置、画像処理方法
JP5149725B2 (ja) * 2008-07-22 2013-02-20 キヤノン株式会社 画像処理装置及びその制御方法
JP2011134343A (ja) 2011-02-24 2011-07-07 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP4967065B2 (ja) 2011-02-24 2012-07-04 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5016723B2 (ja) 2011-02-24 2012-09-05 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
JP4989768B2 (ja) 2011-02-24 2012-08-01 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5178860B2 (ja) * 2011-02-24 2013-04-10 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
JP5026604B2 (ja) 2011-02-24 2012-09-12 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
JP5702653B2 (ja) * 2011-04-08 2015-04-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2013206365A (ja) * 2012-03-29 2013-10-07 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US9595109B1 (en) * 2014-01-30 2017-03-14 Inertial Labs, Inc. Digital camera with orientation sensor for optical tracking of objects
JP6368142B2 (ja) * 2014-05-14 2018-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US9659371B2 (en) * 2015-10-08 2017-05-23 Christie Digital Systems Usa, Inc. System and method for online projector-camera calibration from one or more images
JP6688088B2 (ja) * 2016-01-19 2020-04-28 キヤノン株式会社 情報処理装置およびその制御方法
CN108491905A (zh) * 2018-03-16 2018-09-04 浙江国自机器人技术有限公司 一种移动机器人定位方法、系统、介质及设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1184307A (ja) 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
JP3976900B2 (ja) 1998-07-23 2007-09-19 キヤノン株式会社 視点位置姿勢の決定方法及びカメラ装置
US7673246B2 (en) * 2001-12-12 2010-03-02 Canon Kabushiki Kaisha Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof
JP4307189B2 (ja) * 2003-09-05 2009-08-05 キヤノン株式会社 情報処理方法、情報処理装置、識別方法
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
JP3862688B2 (ja) * 2003-02-21 2006-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
US7676079B2 (en) * 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
JP4502361B2 (ja) * 2003-09-30 2010-07-14 キヤノン株式会社 指標姿勢検出方法および装置
JP4282067B2 (ja) * 2003-09-30 2009-06-17 キヤノン株式会社 指標識別方法および装置
JP2005107247A (ja) * 2003-09-30 2005-04-21 Canon Inc 位置姿勢推定方法および装置
US7467061B2 (en) * 2004-05-14 2008-12-16 Canon Kabushiki Kaisha Information processing method and apparatus for finding position and orientation of targeted object
JP2005326275A (ja) * 2004-05-14 2005-11-24 Canon Inc 情報処理方法および装置
JP4914038B2 (ja) * 2004-11-04 2012-04-11 キヤノン株式会社 情報処理方法および装置
JP4859205B2 (ja) * 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP4250620B2 (ja) * 2005-07-29 2009-04-08 キヤノン株式会社 情報処理方法および装置
JP4916167B2 (ja) * 2005-12-15 2012-04-11 キヤノン株式会社 指標識別方法及び指標識別装置
JP5063023B2 (ja) * 2006-03-31 2012-10-31 キヤノン株式会社 位置姿勢補正装置、位置姿勢補正方法

Also Published As

Publication number Publication date
US20070139322A1 (en) 2007-06-21
JP2007166427A (ja) 2007-06-28
US7812871B2 (en) 2010-10-12

Similar Documents

Publication Publication Date Title
JP4739004B2 (ja) 情報処理装置及び情報処理方法
US7676079B2 (en) Index identification method and apparatus
JP4916167B2 (ja) 指標識別方法及び指標識別装置
US9325969B2 (en) Image capture environment calibration method and information processing apparatus
JP4926817B2 (ja) 指標配置情報計測装置および方法
JP5058686B2 (ja) 情報処理方法及び情報処理装置
JP5036260B2 (ja) 位置姿勢算出方法及び装置
US7664341B2 (en) Index layout measurement method, position and orientation estimation method, index layout measurement apparatus, and position and orientation estimation apparatus
KR100821431B1 (ko) 정보 처리 방법, 정보 처리 장치, 및 기록매체
JP2005326274A (ja) 配置情報推定方法および情報処理装置
JP6282098B2 (ja) キャリブレーション装置及び方法
JP4502361B2 (ja) 指標姿勢検出方法および装置
JP4282067B2 (ja) 指標識別方法および装置
JP2007033205A (ja) 複数物体の位置または位置姿勢計測装置および方法
CN118119972A (zh) 生成用于相机校准的相机模型的方法和系统
JP4497880B2 (ja) 指標識別方法および装置
JP4810403B2 (ja) 情報処理装置、情報処理方法
JP5127165B2 (ja) 情報処理方法および装置
WO2024162148A1 (ja) 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム
JP2014215821A (ja) 情報処理装置、情報処理方法及びプログラム
JP2010118002A (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110427

R150 Certificate of patent or registration of utility model

Ref document number: 4739004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees