JP5468824B2 - 3次元における形状の一致を判定する方法および装置 - Google Patents

3次元における形状の一致を判定する方法および装置 Download PDF

Info

Publication number
JP5468824B2
JP5468824B2 JP2009147561A JP2009147561A JP5468824B2 JP 5468824 B2 JP5468824 B2 JP 5468824B2 JP 2009147561 A JP2009147561 A JP 2009147561A JP 2009147561 A JP2009147561 A JP 2009147561A JP 5468824 B2 JP5468824 B2 JP 5468824B2
Authority
JP
Japan
Prior art keywords
feature
point
shape
determining
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009147561A
Other languages
English (en)
Other versions
JP2011003127A (ja
Inventor
亮介 小関
弘亘 藤吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Chubu University Educational Foundation
Original Assignee
Toyota Industries Corp
Chubu University Educational Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp, Chubu University Educational Foundation filed Critical Toyota Industries Corp
Priority to JP2009147561A priority Critical patent/JP5468824B2/ja
Priority to CN201080021842.5A priority patent/CN102428497B/zh
Priority to US13/264,803 priority patent/US20120033873A1/en
Priority to DE112010002677T priority patent/DE112010002677T5/de
Priority to PCT/JP2010/059540 priority patent/WO2010150639A1/ja
Priority to KR1020117028830A priority patent/KR20120023052A/ko
Publication of JP2011003127A publication Critical patent/JP2011003127A/ja
Application granted granted Critical
Publication of JP5468824B2 publication Critical patent/JP5468824B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Description

この発明は、3次元における形状の一致を判定する方法および装置に関し、とくに形状についての特徴量を用いるものに関する。
3次元における形状の一致を判定する方法として、判定対象の3次元形状を撮影して2次元の輝度画像を作成し、この輝度画像を用いて判定を行う方が知られている。
たとえば、特許文献1に記載される方法では、3次元形状を撮影した輝度画像から輝度分布を求め、この輝度分布に基づいて特徴量を決定し、決定された特徴量を基準として一致を判定する。
また、2次元の輝度画像によって表された物体の一致を判定する方法として、画像の特徴量を用いる方法が知られている。たとえば非特許文献1および2に「SIFT(Scale Invariant Feature Transform)」として記載される方法では、輝度画像における輝度勾配に基づいて特徴点を抽出し、特徴点について特徴量を表すベクトルを求め、このベクトルを基準として一致を判定する。
特開2002−511175号公報
藤吉弘亘、「Gradientベースの特徴抽出 - SIFTとHOG -」、情報処理学会研究報告CVIM160、2007年、p.211−224 David G. Lowe、「Object Recognition from Local Scale-Invariant Features」、Proc. of the International Conference on Computer Vision、Corfu、1999年9月
しかしながら、従来の技術では、立体的形状に関する情報を有効に利用できないという問題があった。たとえば、特許文献1に記載された方法や、非特許文献1および2に記載された方法では、撮影された2次元の輝度画像のみを用いるため、立体的形状に関する情報の少なくとも一部が失われてしまう。
このような問題が判定精度に影響を及ぼす具体例の一つとして、判定対象の物体表面に特徴的なテクスチャがなく、かつ表面が滑らかに変化して陰影が生じない場合が挙げられる。このような場合、輝度画像からは判定の基準となる情報を適切に得ることができない。
他の具体例として、撮影のアングルが異なる場合が挙げられる。2次元画像は、判定対象の物体とカメラとの相対的な位置および姿勢によって大きく変化する。このため、同一の物体であっても異なる角度から撮影すれば異なる画像となり、精度の高い一致判定を行うことができない。なお、3次元の位置関係の変化による画像の変化は、単なる2次元画像の回転またはスケール変化の範囲を超えるものであるため、2次元画像の回転およびスケール変化に対して頑健な方法を用いるだけでは、この問題を解消することができない。
この発明はこのような問題点を解消するためになされたものであり、3次元における形状の一致を判定する際に、立体的形状に関する情報を有効に利用できる方法および装置を提供することを目的とする。
この発明に係る、3次元における形状の一致を判定する方法は、少なくとも1つの形状について、少なくとも1つの特徴点を抽出するステップと、抽出された特徴点について、特徴量を決定するステップと、決定された特徴量と、他の形状について記憶された特徴量とに基づいて、形状のそれぞれの間の一致を判定するステップとを含む方法において、特徴量は立体的形状を表し、特徴量を決定するステップは、特徴点のそれぞれについて、その特徴点を含む平面に対する法線の方向を算出するステップと、形状の表面を構成する表面点を抽出するステップと、表面点を法線の方向に沿って平面に投影した投影点を特定するステップと、表面点と投影点との距離を、表面点の深さとして算出するステップと、複数の表面点の深さに基づいて、特徴点のスケールを決定するステップと、複数の表面点の深さに基づいて、平面における特徴点の方向を決定するステップと、特徴点の位置と、特徴点のスケールと、特徴点の方向とに基づいて、特徴記述領域を決定するステップと、特徴記述領域内の表面点の深さに基づいて、特徴量を算出するステップとを含むことを特徴とする。
この方法は、形状から抽出された特徴点について、立体的形状を表す特徴量を決定する。このため、特徴量は、立体的形状に関する情報を含むことになる。そして、この特徴量を用いて一致を判定する。一致の判定は、形状が互いに一致するか否かの判定であってもよいし、形状の一致の度合を表す一致度を算出する判定であってもよい。
特徴量を決定するステップは、特徴点のそれぞれについて、その特徴点を含む平面に対する法線の方向を算出するステップを含んでいるので、形状を表す視点によらずその特徴点に関連する方向を特定することができる。
他の形状について、少なくとも1つの特徴点を抽出するステップと、他の形状の特徴点について、特徴量を決定するステップと、他の形状の特徴量を記憶するステップとをさらに含んでもよい。このようにすると、2つの形状について同じ方法で決定された特徴量を用いて判定を行うことができる
徴量はベクトルの形式によって表されてもよい。
形状のそれぞれの間の一致を判定するステップは、形状のそれぞれの特徴量を表すベクトルの間のユークリッド距離を算出するステップを含んでもよい。
形状の少なくとも1つは距離画像によって表されてもよい。
また、この発明に係る、3次元における形状の一致を判定する装置は、形状の距離画像を作成する、距離画像作成手段と、距離画像および特徴量を記憶する記憶手段と、距離画像によって表される形状について、上述の方法を用いて一致を判定する演算手段とを備える。
この発明に係る、3次元における形状の一致を判定する方法および装置によれば、立体的形状を表す情報を特徴量として用い、これに基づいて一致を判定するので、立体的形状に関する情報を有効に利用することができる。
この発明に係る判定装置の構成を示す図である。 ある物体についての外観を表す写真である。 図2の物体についての距離画像である。 図1の判定装置の動作を説明するフローチャートである。 図4のステップS3およびステップS7に含まれる処理の詳細を示すフローチャートである。 図1の特徴点の近傍を拡大して示す図である。
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態1.
図1は、この発明に係る判定装置10の構成を示す。判定装置10は、3次元における形状の一致を判定する装置であり、3次元における形状の一致を判定する方法を実行するものである。物体40は3次元における形状を有し、この形状が本実施形態において一致判定の対象となる。ここでは、物体40を判定対象としての第一の物体とする。
判定装置10は、距離画像カメラ20を含む。距離画像カメラ20は、物体40を撮影して、物体40の形状を表す距離画像を作成する、距離画像作成手段である。ここで、距離画像とは、距離画像カメラ20の撮影範囲の物体またはその表面に含まれる各点について、距離画像カメラ20からその点までの距離を表す情報を、画像形式で表したものである。
図2および図3は、同一の物体についての外観および距離画像を対比する図である。図2は「円筒」と書かれた円筒状の物体の外観を表す写真であり、輝度画像である。図3はこの物体を距離画像カメラ20で撮影した画像であり、距離画像である。なお、図3では距離画像カメラ20からの距離が小さい部分は明るく、距離が大きい部分は暗く示されている。図3からわかるように、距離画像ではテクスチャ(たとえば物体表面の「円筒」という文字)によらず、物体表面の形状を構成する各点までの距離が表される。
図1に示すように、距離画像カメラ20にはコンピュータ30が接続される。コンピュータ30は、周知の構成を有するコンピュータであり、たとえばマイクロチップまたはパーソナルコンピュータ等によって構成される。
コンピュータ30は、演算を行う演算手段31と、情報を記憶する記憶手段32とを備える。演算手段31はたとえば周知のプロセッサであり、記憶手段32はたとえば周知の半導体メモリ装置または磁気ディスク装置である。
演算手段31は、演算手段31に組み込まれたプログラムまたは記憶手段32に記憶されたプログラムを実行することによって、距離画像カメラ20の動作を制御するカメラ制御手段33、距離画像から特徴点を抽出する特徴点抽出手段34、特徴点について特徴量を決定する特徴量決定手段35、および形状の一致を判定する一致判定手段36として機能するが、これらの機能の詳細については後述する。
次に、図4のフローチャートを用いて、図1に示す判定装置10の動作について説明する。
まず、判定装置10は、第一の形状を有する第一の物体として、物体40について処理を行う(ステップS1〜S4)。
ここで、まず判定装置10は、物体40について、その形状を表す距離画像を作成する(ステップS1)。このステップS1において、カメラ制御手段33が距離画像カメラ20を制御して距離画像を撮影させ、距離画像のデータを距離画像カメラ20から受信して記憶手段32に記憶する。すなわち、記憶手段32は図3に示すような距離画像のデータを記憶することになる。
次に、判定装置10は、物体40の距離画像に基づき、物体40の形状について、少なくとも1つの特徴点を抽出する(ステップS2)。このステップS2は特徴点抽出手段34によって実行される。
この特徴点はどのような方法で抽出されてもよいが、以下に例を示す。距離画像は2次元の画像であるので、距離を輝度として解釈すれば、形式的には2次元の輝度画像と同一の構成を有するデータとみることができる。すなわち、図3の例では、距離が近い点を輝度の高い点とし、距離が遠い点を輝度の低い点として表しているが、この輝度による表示をそのまま輝度画像として用いることができる。このため、物体40の形状について特徴点を抽出する方法として、2次元の輝度画像から特徴点を抽出する周知の方法をそのまま応用することができる。
2次元の輝度画像から特徴点を抽出する方法としては、多数のものが周知であり、そのいずれを用いてもよい。たとえば、非特許文献1および2に記載されるSIFTによる方法を用いて特徴点を抽出することができる。すなわち、この場合、特徴点抽出手段34は、SIFTによる方法を用いて、物体40の距離画像から特徴点を抽出する。SIFTによる方法では、ガウス関数のスケールを変化させつつ、ガウス関数と輝度画像(本実施形態では距離画像)との畳み込み演算を行い、畳み込みの結果においてスケールの変化による各画素の輝度(距離)の差分を求め、この差分が極値となる画素に対応して特徴点を抽出する。
ここでは、図1に示す特徴点41が抽出されたものとし、以下のステップS3およびS4では特徴点41を例にとって説明する。なお、複数の特徴点が抽出された場合、ステップS3およびS4の処理は特徴点のそれぞれについて実行される。
判定装置10は、特徴点41について、特徴量を決定する(ステップS3)。この特徴量は、物体40の立体的形状を表すものである。このステップS3の処理を、図5および図6を用いて詳細に説明する。
図5は、ステップS3に含まれる処理の詳細を示すフローチャートであり、図6は、図1の特徴点41の近傍を拡大して示す図である。
ステップS3において、まず特徴量決定手段35は、特徴点41を含む平面を決定する(ステップS31)。この平面は、たとえば特徴点41において物体40の表面に接する接平面42とすることができる。
次に、このステップS3において、特徴量決定手段35は、接平面42の法線の方向を算出する(ステップS32)。
なお、距離画像は特徴点41およびその周辺の形状を表す情報を含んでいるので、ステップS31およびS32において接平面42およびその法線の方向を算出する処理は、当業者であれば適宜設計することができる。このようにすると、距離画像カメラ20の位置やアングルによらず、特徴点41における形状に関連する方向を特定することができる。
次に、特徴量決定手段35は、物体40の表面の形状について、その表面を構成する点を、表面点として抽出する(ステップS33)。表面点は、たとえば所定の領域内において等間隔の格子点を選択することによって抽出することができるが、少なくとも1つの表面点を抽出する方法であればどのような方法で抽出されてもよい。図6の例では、表面点43〜45が抽出されたものとする。
次に、特徴量決定手段35は、各表面点に対応する投影点を特定する(ステップS34)。投影点は、表面点を、接平面42の法線方向に沿って接平面42に投影した点として特定される。図6において、表面点43〜45に対応する投影点をそれぞれ投影点43’〜45’とする。
次に、特徴量決定手段35は、各表面点の深さ(デプス)を算出する(ステップS35)。深さは、表面点と、これに対応する投影点との間の距離として算出される。たとえば表面点43の深さは深さdである。
次に、特徴量決定手段35は、各表面点の深さに基づいて、特徴点41のスケールを決定する(ステップS36)。スケールは、特徴点41近傍の形状の特徴的な領域の大きさを表す値である。
このステップS36において、特徴点41のスケールはどのような方法で決定されてもよいが、以下に例を示す。各投影点は接平面42上において2次元の座標によって表すことができ、また、各投影点に対応する表面点の深さはスカラー値である。このため、深さを輝度として解釈すれば、形式的には2次元の輝度画像と同一の構成を有するデータとみることができる。すなわち、各投影点について深さを表すデータを、そのまま輝度画像として用いることができる。このため、特徴点41のスケールを決定する方法として、2次元の輝度画像における特徴点のスケールを決定する周知の方法をそのまま応用することができる。
2次元の輝度画像における特徴点のスケールを決定する方法としては、たとえば、非特許文献1および2に記載されるSIFTによる方法を用いることができる。すなわち、この場合、特徴量決定手段35は、SIFTによる方法を用いて、各表面点の深さに基づき、特徴点41のスケールを決定する。
SIFTによる方法を用いれば、特徴的な領域の大きさをスケールとして考慮することができ、本実施形態に係る方法はサイズ変動に対して頑健なものとなる。すなわち、物体40の見かけ上のサイズ(すなわち物体40と距離画像カメラ20との距離)が変動した場合であっても、これに応じてスケールが変動するので、見かけ上のサイズを考慮して的確に形状の一致を判定することができる。
次に、特徴量決定手段35は、各表面点の深さに基づいて、接平面42における特徴点41の方向(または向きもしくはオリエンテーション)を決定する(ステップS37)。この方向は接平面42の法線の向きと直交する方向である。図6の例では方向Aが特徴点41の方向であるとする。
このステップS37において、特徴点41の方向はどのような方法で決定されてもよいが、ステップS36と同様にして、非特許文献1および2に記載されるSIFTによる方法を用いることができる。すなわち、特徴量決定手段35は、SIFTによる方法を用いて、各表面点の深さに基づき、接平面42における特徴点41の方向を決定する。SIFTによる方法では、各画素の輝度勾配(本実施形態では、各表面点における深さ勾配)を求め、この勾配と、特徴点41を中心としスケールに応じたガウス関数との畳み込み演算を行い、畳み込みの結果を離散化した方向ごとのヒストグラムに表し、ヒストグラムにおいて最も勾配が大きい方向を特徴点41の方向として決定する。
なお、図6の例では特徴点41の方向は方向Aのみであるが、1つの特徴点が複数の方向を有してもよい。SIFTによれば、深さ勾配が所定値を超える極値を持つ複数の方向が得られる場合があるが、このような場合であっても以下の処理を同様に行うことができる。
SIFTによる方法を用いれば、接平面42内で方向Aを特定し、これに座標軸を合わせて特徴量を記述することができ、本実施形態に係る方法は回転に対して頑健なものとなる。すなわち、物体40が距離画像カメラ20の視野内で回転した場合であっても、これに応じて特徴点の方向が回転するので、物体の向きに対して実質的に不変となる特徴量を得ることができ、的確に形状の一致を判定することができる。
次に、特徴量決定手段35は、ステップS2で抽出された特徴点41の位置と、ステップS36で決定された特徴点41のスケールと、ステップS37で決定された特徴点41の方向とに基づいて、特徴点41に関する特徴記述領域50を決定する(ステップS38)。この特徴記述領域50は、特徴点41の特徴量を決定する際に考慮される表面点の範囲を規定する領域である。
この特徴記述領域50は、特徴点41の位置、特徴点41のスケール、および特徴点41の方向に応じて一意に定まるものであればどのように決定されてもよい。一例として正方形の領域を用いる場合では、接平面42において、正方形の中心を特徴点41とし、一辺の長さをスケールに応じた値とし、さらにその向きを特徴点41の方向に応じて決定すればよい。また、円形の領域を用いる場合では、接平面42において、円の中心を特徴点41とし、半径をスケールに応じた値とし、さらにその向きを特徴点41の方向に応じて決定すればよい。
なお、この特徴記述領域50は、図6に示すように接平面42において決定してもよく、または物体40の表面において決定してもよい。いずれにしても、接平面42と物体40との間で特徴記述領域50を線方向に投影することにより、特徴記述領域50に含まれる表面点および投影点を等価的に確定することができる。
次に、特徴量決定手段35は、特徴記述領域50に含まれる各表面点の深さに基づいて、特徴点41の特徴量を算出する(ステップS39)。このステップS39において、特徴点41の特徴量はどのような方法で算出されてもよいが、ステップS36およびS37と同様にして、非特許文献1および2に記載されるSIFTによる方法を用いることができる。すなわち、この場合、特徴量決定手段35は、SIFTによる方法を用いて、各表面点の深さに基づき、特徴点41の特徴量を算出する。
ここで、特徴量はベクトルの形式によって表すことができる。たとえば、SIFTによる方法では、特徴記述領域50を複数のブロックに分割し、ブロックごとに所定数の方向に離散化した深さ勾配のヒストグラムを特徴量とすることができる。たとえば4×4(合計16)ブロックに分割し、勾配を8方向に離散化する場合、特徴量は4×4×8=128次元のベクトルとなる。算出されたベクトルに対して正規化を行ってもよい。この正規化は、全特徴点のベクトルの長さの総和が一定の値となるように行ってもよい。
以上のようにしてステップS3が実行され、特徴量が決定される。ここで、各表面点の深さは物体40の立体的形状を表すものであるので、特徴量は特徴記述領域50における立体的形状に基づいて算出されるものということができる。
次に、判定装置10は、特徴量を記憶手段32に記憶する(図4、ステップS4)。この処理は特徴量決定手段35によって行われる。ここで物体40に対する処理が終了する。
続いて、判定装置10は、第二の形状を有する第二の物体について、上記ステップS1〜S4と同様の処理を行う(ステップS5〜S8)。ステップS5〜S8の処理はそれぞれステップS1〜S4と同様であるので説明を省略する。
次に、判定装置10は、第一の形状について決定された特徴量と、第二の形状について決定された特徴量とに基づいて、第一の形状と第二の形状との一致を判定する(ステップS9)。このステップS9では、一致判定手段36が一致の判定を行う。一致の判定はどのような方法で行われてもよいが、一例を下記に示す。
例として説明する判定方法では、まずkD木を用いて特徴点間の対応付けを行う。たとえば、全特徴点をn階層(ただしnは整数)のkD木にソートする。そして、このkD木を用いた近似最近傍探索(Best Bin First)手法により、一方の形状(たとえば第一の形状)の特徴点のそれぞれについて、他方の形状(たとえば第二の形状)の特徴点のうち最もよく類似するものを探索し、対応付ける。このようにして、一方の形状の特徴点すべてについて、他方の形状の特徴点のいずれか1つが対応付けられ、組が生成される。
この時点では、組のうちには、実際には対応しない特徴点の組(すなわち誤対応の組)が含まれているおそれがある。このような誤対応の組をアウトライアとして除去するために、RANSAC(RANdom SAmple Consensus)と呼ばれる手法を用いる。RANSACは、M. FischerおよびR. Bollesによる「Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography」と題する論文に記載されている(Communications of the ACM、第24巻第6号、p.381〜385、1981年)。
RANSACでは、まず特徴点の組のうちからランダムに所定数N1だけ選択してグループを作成し、選択された組のすべてに基づいて、一方の形状の各特徴点のベクトルから他方の形状の各特徴点のベクトルへのホモグラフィ(homography)変換を求める。そして、グループに含まれる組のそれぞれについて、一方の形状の特徴点を表すベクトルに対してこのホモグラフィ変換を行った結果のベクトルと、他方の形状の特徴点のベクトルとのユークリッド距離を求め、この距離が所定の閾値D以下である組はインライアすなわち正しい対応付けであると判定し、所定の閾値Dを超える組はアウトライアすなわち誤った対応付けであると判定する。
その後、再びランダムに所定数N1個の組を選択して異なるグループを作成し、このグループについても同様に、各組がインライアであるかアウトライアであるかを判定する。このようにして、グループの作成および判定を所定の回数(X回)だけ繰り返し、インライアと判定された組が最も多くなるグループを特定する。特定されたグループにおけるインライアの数N2が所定の閾値N3以上であれば、2つの形状は一致すると判定し、N2がN3未満であれば、一致しないと判定する。または、N2の値に応じて、2つの形状の一致の度合を表す一致度を決定してもよい。
なお、上記の手法において、各種パラメータすなわちN1,N2,N3,DおよびXは、当業者であれば実験的に適切な値を決定することができる。
以上のように、本発明の実施の形態1に係る判定装置10によれば、立体的形状すなわち表面の起伏を、表面点の深さを用いて表し、これに基づいて特徴点および特徴量を決定する。そして、この特徴点および特徴量に基づいて立体的形状の一致を判定する。このため、判定において、立体的形状に関する情報を有効に利用することができる。
たとえば、判定対象の物体表面に特徴的なテクスチャがなく、かつ表面が滑らかに変化して陰影が生じない場合であっても、表面の変化に応じて深さを算出し、適切に一致を判定することができる。
また、撮影のアングルが異なる場合であっても、適切に一致を判定することができる。同一の物体であれば、撮影のアングルが異なっても形状は変化しないので、同じ特徴点であれば法線方向および深さ勾配は不変であり、特徴量も不変となる。このため、それぞれの距離画像に共通の特徴点が含まれている限り、特徴量の一致により特徴点の対応を適切に検出することができる。
また、物体に対する視点変化に対応できるので、物体の姿勢および位置に制約がなく、広い用途に応用可能である。さらに、一つの視点からの距離画像を基準として判定を行えるので、あらかじめ多数の視点からの距離画像を記憶しておく必要がなく、メモリ使用量を低減することができる。
上述の実施の形態1では、特徴量の決定には立体的形状(表面点の深さ)のみを用いているが、これに加えてテクスチャに関する情報を用いてもよい。すなわち、入力とする画像は、距離を表す情報だけでなく輝度(白黒またはカラー)を表す情報を含むものであってもよい。この場合、SIFTによる方法を用いて、輝度に関する特徴量を算出することができる。実施の形態1において得られる立体的形状に関する特徴量と、このような輝度に関する特徴量とを合わせて一致を判定することにより、判定の精度を向上させることができる。
実施の形態1では、特徴点の抽出および特徴量の決定はすべて距離画像に基づいて行われる。変形例として、距離画像以外の情報に基づいてこれらの処理を行ってもよい。たとえばソリッドモデル等、特徴点の抽出および深さの算出を行うことができる情報であればどのようなものであってもよく、実際に物体として存在しないものであっても同様の処理を行うことができる。
実施の形態2.
上述の実施の形態1では、判定装置は、2つの形状をそれぞれ撮影して特徴量を決定する。実施の形態2では、第一の形状についてはあらかじめ特徴量を記憶しておき、第二の形状についてのみ撮影および特徴量の決定を行うものである。
実施の形態2における判定装置の動作は、図4の処理のうちステップS1〜S3を省略したものである。すなわち、第一の形状については特徴量の決定を行わず、外部(たとえば他の判定装置)で決定された特徴量を入力として受け取り、これを記憶する。これはたとえばモデルデータの入力に相当する。ステップS4以降の処理は実施の形態1と同様であり、第二の形状について撮影、特徴点の抽出、特徴量の決定を行った後、第一の形状と第二の形状との一致を判定する。
実施の形態2は、すべての判定装置に共通のモデルデータを準備しておき、これと一致する物体(形状)のみを選別するような用途に適している。モデルデータが変更になる場合には、すべての判定装置で新たなモデルを撮影しなおす必要はなく、いずれかの判定装置でモデルの特徴量を決定した後、その特徴量のデータを他の判定装置にコピーすればよく、作業を効率化することができる。
10 判定装置、20 距離画像カメラ(距離画像作成手段)、30 コンピュータ、31 演算手段、32 記憶手段、33 カメラ制御手段、34 特徴点抽出手段、35 特徴量決定手段、36 一致判定手段、40 物体、41 特徴点、42 接平面(平面)、43 投影点、43 表面点、50 特徴記述領域、A 方向(特徴点の方向)。

Claims (6)

  1. 3次元における形状の一致を判定する方法であって、
    少なくとも1つの形状について、少なくとも1つの特徴点を抽出するステップと、
    抽出された前記特徴点について、特徴量を決定するステップと、
    決定された前記特徴量と、他の形状について記憶された前記特徴量とに基づいて、前記形状のそれぞれの間の一致を判定するステップと、
    を含む方法において、
    前記特徴量は立体的形状を表し、
    前記特徴量を決定する前記ステップは、
    前記特徴点のそれぞれについて、その特徴点を含む平面に対する法線の方向を算出するステップと、
    前記形状の表面を構成する表面点を抽出するステップと、
    前記表面点を前記法線の方向に沿って前記平面に投影した投影点を特定するステップと、
    前記表面点と前記投影点との距離を、前記表面点の深さとして算出するステップと、
    複数の前記表面点の前記深さに基づいて、前記特徴点のスケールを決定するステップと、
    複数の前記表面点の前記深さに基づいて、前記平面における前記特徴点の方向を決定するステップと、
    前記特徴点の位置と、前記特徴点のスケールと、前記特徴点の方向とに基づいて、特徴記述領域を決定するステップと、
    前記特徴記述領域内の前記表面点の前記深さに基づいて、前記特徴量を算出するステップと、
    を含むことを特徴とする、方法。
  2. 前記他の形状について、少なくとも1つの特徴点を抽出するステップと、
    前記他の形状の前記特徴点について、特徴量を決定するステップと、
    前記他の形状の特徴量を記憶するステップと
    をさらに含む、請求項に記載の方法。
  3. 前記特徴量はベクトルの形式によって表される、請求項1または2に記載の方法。
  4. 前記形状のそれぞれの間の一致を判定する前記ステップは、前記形状のそれぞれの前記特徴量を表す前記ベクトルの間のユークリッド距離を算出するステップを含む、請求項に記載の方法。
  5. 前記形状の少なくとも1つは距離画像によって表される、請求項1〜4のいずれか一項に記載の方法。
  6. 3次元における形状の一致を判定する装置であって、
    前記形状の距離画像を作成する、距離画像作成手段と、
    前記距離画像および前記特徴量を記憶する記憶手段と、
    前記距離画像によって表される前記形状について、請求項1〜のいずれか一項に記載の方法を用いて一致を判定する演算手段と
    を備える装置。
JP2009147561A 2009-06-22 2009-06-22 3次元における形状の一致を判定する方法および装置 Expired - Fee Related JP5468824B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009147561A JP5468824B2 (ja) 2009-06-22 2009-06-22 3次元における形状の一致を判定する方法および装置
CN201080021842.5A CN102428497B (zh) 2009-06-22 2010-06-04 判定三维形状一致的方法以及装置
US13/264,803 US20120033873A1 (en) 2009-06-22 2010-06-04 Method and device for determining a shape match in three dimensions
DE112010002677T DE112010002677T5 (de) 2009-06-22 2010-06-04 Verfahren und vorrichtung zum bestimmen einer formübereinstimmung in drei dimensionen
PCT/JP2010/059540 WO2010150639A1 (ja) 2009-06-22 2010-06-04 3次元における形状の一致を判定する方法および装置
KR1020117028830A KR20120023052A (ko) 2009-06-22 2010-06-04 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009147561A JP5468824B2 (ja) 2009-06-22 2009-06-22 3次元における形状の一致を判定する方法および装置

Publications (2)

Publication Number Publication Date
JP2011003127A JP2011003127A (ja) 2011-01-06
JP5468824B2 true JP5468824B2 (ja) 2014-04-09

Family

ID=43386411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009147561A Expired - Fee Related JP5468824B2 (ja) 2009-06-22 2009-06-22 3次元における形状の一致を判定する方法および装置

Country Status (6)

Country Link
US (1) US20120033873A1 (ja)
JP (1) JP5468824B2 (ja)
KR (1) KR20120023052A (ja)
CN (1) CN102428497B (ja)
DE (1) DE112010002677T5 (ja)
WO (1) WO2010150639A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP2013172211A (ja) * 2012-02-17 2013-09-02 Sharp Corp 遠隔操作装置、遠隔操作システム
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
CN104616278B (zh) 2013-11-05 2020-03-17 北京三星通信技术研究有限公司 三维点云兴趣点检测方法和系统
US9547901B2 (en) 2013-11-05 2017-01-17 Samsung Electronics Co., Ltd. Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds
US10215560B2 (en) 2015-03-24 2019-02-26 Kla Tencor Corporation Method for shape classification of an object
EP3274923B1 (en) * 2015-03-24 2023-10-04 KLA - Tencor Corporation Method for shape classification of an object
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
US20230252813A1 (en) * 2022-02-10 2023-08-10 Toshiba Tec Kabushiki Kaisha Image reading device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999049414A1 (en) 1998-03-23 1999-09-30 Matsushita Electronics Corporation Image recognition method
JP2000113192A (ja) * 1998-10-08 2000-04-21 Minolta Co Ltd 3次元形状データの解析方法および記録媒体
JP2001143073A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体の位置姿勢決定の方法
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
JP4309439B2 (ja) * 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置

Also Published As

Publication number Publication date
DE112010002677T5 (de) 2012-11-08
CN102428497B (zh) 2015-04-15
CN102428497A (zh) 2012-04-25
US20120033873A1 (en) 2012-02-09
JP2011003127A (ja) 2011-01-06
KR20120023052A (ko) 2012-03-12
WO2010150639A1 (ja) 2010-12-29

Similar Documents

Publication Publication Date Title
JP5468824B2 (ja) 3次元における形状の一致を判定する方法および装置
Buch et al. Pose estimation using local structure-specific shape and appearance context
JP5384746B2 (ja) プルーニング機能、画像スケーリング、および、空間制約付き特徴マッチングによる画像認識アルゴリズムの性能の改善
David et al. Object recognition in high clutter images using line features
Lee et al. Depth-assisted real-time 3D object detection for augmented reality
Kurz et al. Inertial sensor-aligned visual feature descriptors
CN109479082B (zh) 图象处理方法及装置
JP5631086B2 (ja) 情報処理装置及びその制御方法、プログラム
JP2013508844A (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
KR20120130788A (ko) 멀티-카메라 교정을 위한 방법 및 장치
US20190019030A1 (en) Imaging system and method for object detection and localization
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
JP2012043308A (ja) 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
Uchiyama et al. Toward augmenting everything: Detecting and tracking geometrical features on planar objects
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
KR101868740B1 (ko) 파노라마 이미지 생성 방법 및 장치
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP2015007919A (ja) 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
Xing et al. An improved algorithm on image stitching based on SIFT features
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
Noury et al. How to overcome perceptual aliasing in ASIFT?
Feng et al. Research on an image mosaic algorithm based on improved ORB feature combined with surf
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
CN112036398B (zh) 一种文本校正方法及其系统
JP2007140729A (ja) 物品の位置及び姿勢を検出する方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees