JP4865557B2 - 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム - Google Patents
有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム Download PDFInfo
- Publication number
- JP4865557B2 JP4865557B2 JP2006523525A JP2006523525A JP4865557B2 JP 4865557 B2 JP4865557 B2 JP 4865557B2 JP 2006523525 A JP2006523525 A JP 2006523525A JP 2006523525 A JP2006523525 A JP 2006523525A JP 4865557 B2 JP4865557 B2 JP 4865557B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- contour
- feature
- point
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004807 localization Effects 0.000 title claims description 9
- 238000012549 training Methods 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 77
- 230000009466 transformation Effects 0.000 claims description 49
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000009795 derivation Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000011449 brick Substances 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001584785 Anavitrinella pampinaria Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Description
本発明は、コンピュータ視覚システムにおける対象物認識のための方法に関し、特に、本方法は、有界三次元対象物の分類と空間ローカライゼーションに関する。
製造工程の自動化における障害(ボトルネック)は、部品および半製品を、加工、組立て、塗装、および梱包などのために自動システムに供給することにある。今日では、1)振動ボール(皿)、2)設備、および3)コンピュータ視覚システムの3種類のシステムが利用可能である。振動ボールは小寸法(約5cm未満)の部品に対してのみ適している。内部格納全体が設備に基づかなければならないので、設備は高価である。この二つのシステムは共に新しい部品が導入されると再設計および再製造しなければならない。これまで開発されてきたコンピュータ視覚システムには重大な欠陥があった。容認できないほどの処理速度のシステムがあったり、汎用性に欠けているシステムであったりしていた。今日利用できる、高速かつ汎用性のあるシステムでは、対象物を平坦な搬送ベルト上で分散して置く必要があり、対象物とカメラの距離は、対象物の高さに比べて遥かに大きくなくてはならない。この後者の制限は、使用される認識モデルが、カメラの三次元と二次元の間の変換における、透視法効果を含まないために、現在のシステムにとっては基本的である。このように、5cm〜10cm以上の高さの部品に対しては、標準のコンピュータ視覚システムは、不便なほど遠隔に配置するカメラを必要とする。更に、標準コンピュータ視覚システムは、箱やパレットにランダムな方向に向けて積まれた部品を構造的に把握させるようにロボットを導くことはできない。
本発明の良好な実施形態によれば、対象物の認識および/またはローカライゼーションは対象物の認識画像において特定されるプリミティブに基づいている。このように、第1の態様において、本発明は、デジタル画像において、輪郭、好ましくはレベル輪郭とプリミティブを決定する方法であって、
デジタル画像の勾配を生成し、
絶対勾配の一つまたは二つ以上の極大値を求め、
一つまたは二つ以上の極大値を、輪郭を生成するためのシード(種)として使用し、ここにおいて各シードに対する輪郭の生成は、デジタル画像内にあり、輪郭に属する場所を表現する点の順序リストを決定することを含み、
すべての場所に対して、輪郭の、好ましくはdθ/ds、好ましくは画素単位で決定される曲率を決定し、
決定された曲率から、プリミティブを輪郭上の、または輪郭のセグメント上の特徴点として決定するステップを含む方法である。
画像に対して、プリミティブの予め定義されたセットであるフィーチャを特定し、
フィーチャの数値記述子を抽出し、ここにおいて数値記述子は、
画像中のフィーチャの位置および方位のようなフィーチャの非本質的特性と、
フィーチャに適用される射影変換後に導出されるフィーチャの本質的特性の二種類があり、
特性をデータベースに格納された特性と整合し、整合物が見つかれば、データベース内で整合した特性に対応する対象物を、認識すべき対象物の対象物に類似していると割り当てる認識方法である。
一つまたは二つ以上の対象物の多数のデジタル画像において、プリミティブの予め定義されたセットであるフィーチャを特定し、画像は、一つまたは二つ以上の対象物の異なるローカライゼーションを表わし、
フィーチャの数値記述子を、データベースから抽出して格納し、数値記述子は、
画像中のフィーチャの位置および方位である、フィーチャの非本質的特性と、
フィーチャに適用される射影変換後に導出されるフィーチャの本質的特性の二種類あることを含む方法である。
直線のセグメント、
相対的に大きな半径の円のセグメント、
変曲点、
曲率の最大数値の、好ましくは角部として割り当てられた点、
曲率の非常に小さな、および非常に大きな数値の部分を分離する点、および
輪郭により囲まれた小さな領域のエンティティ、
を一つまたは二つ以上備える。
所定のレベルより高い曲率の絶対値の値を有する輪郭の領域またはその上の点である変曲点、
曲率の正のピークを有する輪郭の領域またはその上の点である凹状角部、
曲率の負のピークを有する輪郭の領域またはその上の点である凸状角部、
ゼロの曲率を有する輪郭のセグメントである直線セグメント、および/または
一定曲率を有する輪郭のセグメントである円形セグメント、
の一つまたは二つ以上が検索される。
トレーニング画像のフィーチャと同一の認識画像のフィーチャをもたらす変換のロール、チルト、およびパンの値を決定し、
変換により決定されたロール、チルト、およびパンの値により定義されるパラメータ空間におけるクラスタを特定し、および
予め定義された強度を有するクラスタを、対象物のタイプおよびローカライゼーションに対応するものとして特定するステップを備えてもよい。
ロール、チルト、およびパンパラメータ空間をリセットし、
認識画像における各フィーチャに対して、認識画像の特性をデータベースに格納されている特性と整合付け、
整合する場合、データベースから、および認識画像からの非本質的特性に基づいてロール、チルト、およびパンを決定し、
パラメータ空間を更新し、
クラスタリングをテストし、トレーニング画像のインデックスを有する十分に高い密度/母集団のクラスタの座標を格納するステップを含み、
このステップを認識画像のすべてのフィーチャの整合付けが終了するまで繰り返すことを含んでよい。
各撮像装置に対して、対象物の三次元基準点に対する推定値を提供し、
各撮像装置に対して、撮像装置のピンホールから推定された基準点までの直線を計算し、
少なくとも二つまたは三つ以上の直線が提供された場合は、
二つまたは三つ以上の直線が三次元で実質的に交差しない場合は、推定値を破棄し、
二つまたは三つ以上の直線が実質的に交差する場合は、
各撮像装置から得られた直線の間の擬似交点に基づいて、基準点のグローバルポジションを推定するステップを含んでよい。
ここで記載される発明は、発明の背景の節で記載したすべての状況を対象としている。焦点は下記の特性、
トレーニング情報の簡単な生成、
トレーニング情報の合理的な少量、
透視法効果の正確な処理、
対象物の形状および見た目に関しての汎用性、例えば鋭い三次元エッジやランドマークは不要、
画像間の大規模な二次元整合または三次元再構築なしの高速認識、に置かれる。
機能
コンピュータ視覚システムは、別個のクラスに属する有界三次元対象物を分類および/または位置決めするために使用される。システムは一つまたは二つ以上のカメラで構成され、その画像は、1)三次元対象物のクラスと、2)その空間的位置および方位(姿勢状態)に関して解釈される。その機能は、他の対象物による可能性のある部分的遮蔽と、画像の効果的でないセグメント化からはある程度独立している。対象物は特徴的な装飾や鋭いエッジを有する必要はない。この機能は、カメラの位置と、対象物とカメラの間の距離に対する対象物のサイズには依存しない。画像の解釈は速度が最適化され、これはデジタルカメラの使用、画像データの迅速な電子的伝送、および最適化コードを意味する。更に、本システムで使用されるカメラは必ずしも、光学カメラである必要はなく、カメラは、熱カメラのような他の種類であってもよい。
定義
図14に示すカメラのピンホールモデル:カメラのフレーム(座標系)は軸u、v、wにより定義される。焦点は座標(u、v、w)=(0、0、f)を有し、fはカメラの焦点距離である。好ましくは、u、v、fは画素単位であるとよい。実際のカメラは負のf値を有する。適切な射影変換はチルト軸(u軸に平行)とパン軸(v軸に平行)の周りの連続的な二回転により記述できる。
1)外部輪郭(常に存在する)、
2)外部輪郭内に現れる輪郭、
3)輪郭の内部に現れる対象物の鋭い三次元エッジの画像、および
4)装飾物における二次元エッジ、が考慮される。
方法の概説
認識は多数のトレーニング図の分析に基づく。これらのトレーニング図は、実際の対象物に向けられているカメラにより記録されるか、または対象物のCAD表現を使用して構築される。特徴曲線はトレーニング図から導出され、曲線のプリミティブが検出される。フィーチャの本質的および非本質的記述子は、図の対象物クラスと姿勢状態についてのデータと共にデータベースに格納される。上記のトレーニングに関する動作はオフラインで行われる。
トレーニング図数の削減方法
剛体は6の自由度を有するため、図の多様性は非常に大きい。トレーニング量を削減するために二つの方法が採用される。第1に、非本質的記述子は、チルト−パンにより射影変換された画像から導出される。あるフィーチャに対して使用される変換はHQ、tpであり、ここでQは実際のフィーチャの基準点である。第2に、整合検索に使用される本質的記述子は、カメラのロールと等価である画像の回転に対して不変である。上記の二つの方法は、トレーニング図の量は、剛体が6の自由度を有するという事実にも拘わらず、3の自由度に制限できるということを示唆している。好ましくは、各フィーチャに対してトレーニングデータベースは下記の、
a)チルト−パンによる射影変換とロール操作に対して不変な記述子、
b)画像軸に関する角度の二次元方位に対する回転記述子、
c)チルト−パン射影変換に関連するチルトとパンの角度、を含む。
認識:変換、整合検索、逆変換、およびクラスタ分析
認識の第1ステップにおいては、認識図の分析され、変換されたフィーチャの記述子が導出され、適切な数の記述子間の最良整合が、認識図とデータベース(レーニング図数の削減方法)の節における(項目a))の認識図から見出される。第2ステップにおいては、認識図とデータベースの整合レコードに属する、(トレーニング図数の削減方法)の節の項目b)とc)を考慮する。これらのデータは適切な逆変換に使用され、それにより、実際のフィーチャにより示唆される完全な三次元姿勢状態を計算する。六次元構成空間(各対象物クラスに対して一つの空間)における候補(票)のクラスタは、実際の対象物として解釈される。このクラスタ分析は、間違ったフィーチャ、つまり異なる対象物に属するプリミティブの検出された組み合わせを除去するためには重要である。
特徴曲線のプリミティブとフィーチャ
認識のための良好なプリミティブの例
1)直線のセグメント
2)相対的に大きな半径の円のセグメント
3)変曲点
4)最大曲率点
5)非常に低い曲率と非常に高い曲率の部分を分離する点
6)小さな領域を囲む曲線の場合:この領域の二次元的重心
図2は、上記の(特徴曲線のプリミティブとフィーチャ)節で記述したプリミティブを示す。図2aはプリミティブの例を示し、図2bはプリミティブの対と、それらの基準点(細い円)と、それらの基準方向(矢印)を示している。図2cは角度を示し、ここで角度rは回転により不変であり、角度dは回転を記述する記述子である。
−基準点、
−基準方向(180度の不明性なしで)、
−一つまたは二つ以上の整合検索に適した回転不変記述子、を有するべきである。
二台または三台以上のカメラを使用する利点
単一カメラ適用例における姿勢状態の不確定要素はρ、つまり、ピンホールと対象物の基準点との間の距離である。エラーは、画素の分離化、カメラノイズ、および変動する対象物寸法により起こる。不確定性は、下記のように二台または三台以上のカメラからの検出結果の相関を取ることで大幅に減少できる。各カメラは対象物の三次元基準点に対する推定値を与える。不確定性ρを伴って、各カメラは、基準点の場所に対する高い確率を有する三次元の線を定義する。そのような線の間の擬似交点は対象物の基準点の最も可能性ある場所である。これは図13に示されている。
トレーニング量と認識回数の推定
典型的な適用例においては、φ−θ空間におけるステップサイズは4度である。これは、制限のない角度範囲に対しては、ρの値当り約3,000画像を意味する。ほとんどの適用例は3から4個の異なるρ値のみを必要とし、総計で約10,000画像を与える。各トレーニング図におけるプリミティブの一般的なセット数は50であり、各データベースレコードにおける4バイトの浮動小数点エンティティの一般的な数は8である。そして、データベースの総量は一つの対象物クラスに対して16メガバイトのオーダーである。このデータベースにおける速度最適化整合検索は、1GHzのCPU上では対象物クラス当り1秒に満たない時間だけ続くと予測される。対象物の姿勢状態が(ρ、φ、θ)−空間のより小さな部分に限られることが予め知られている適用例においては、上記の数はそれなりに削減することができる。
−トレーニング画像および認識画像における特徴曲線の決定
−フィーチャ記述子の導出(プリミティブおよびプリミティブ対)
−三次元解釈で使用される認識工程
使用される特徴曲線は、グレイトーン画像におけるエッジである。この記述において、「エッジ」はレベル輪郭(一定グレイトーンの曲線)またはエッジ輪郭(高勾配の曲線)として定義される。レベル輪郭を導出する方法は、(グレイトーン画像からのレベル輪郭の導出)の節で記述し、例示している。副画素により定義された輪郭を使用することにより、(輪郭からのプリミティブとフィーチャの導出)の節で概要を示したように、信頼できる特徴的な輪郭プリミティブ(直線のセグメント、変曲点、角部など)を導出できる。トレーニング画像および認識画像から導出されたプリミティブを使用する三次元の解釈は、(三次元解釈のステップ)の節で記述し、例示している。
グレイトーン画像からの輪郭の導出
この節では、レベル輪郭およびエッジ輪郭を導く画像分析を記述する。レベル輪郭の定義:図15aの右上の部分におけるフレームのグレイトーンの俯瞰図が図15bに示されている。好ましくは、レベル輪郭は一定グレイトーン値gに対応する画像座標の順序リストである。座標は、一つはgを超えるグレイトーンを有し、他方はg未満のグレイトーンを有する二つの画素間における直線内挿法により得られる。いくつかの定義の説明を下記に示す。
輪郭に対するシードの導出
最初のステップにおいて、「勾配画像」は、グレイトーンが原画像の勾配に等しい画像として導出される。潜在シードは、勾配画像における極大値として定義される。潜在シードのリストが形成される。閾値以下の勾配を有する極大値はシードとして使用されない。シードのリストはグレイトーン、勾配、および画素座標を含む。このリストは勾配の大きさによりソートされる。図3は、シードの導出となる画像分析の例を示している。図3のウィンドウ1は原画像を示しており、図3のウィンドウ2は、勾配図を示している。図3のウィンドウ3は、潜在シードを示している。図3のウィンドウ4は、導出された輪郭を示している。
輪郭の導出
生成される最初のレベル輪郭は、最大勾配のシードを使用する。標準的な輪郭検索は、シードのグレイトーンに等しいグレイトーン閾値を使用して適用される。輪郭は、下記の停止条件の少なくとも一つが満たされるまで続く。
1)画像の境界に達する。
2)同じシードに再び到達する(閉じた輪郭)、または
3)次の輪郭点における勾配の絶対値が閾値未満になる。
a)レベル輪郭は、シード点からスタートして描かれる。
b)潜在シードは、勾配の大きさの極大値を有する画素である。
c)レベル輪郭は、シードの勾配の減少する勾配の大きさの連続により導出される。最大勾配を有するシードからスタートする。
d)レベル輪郭の位置は、初期の段階では、値gを超えるグレイトーンを有する整数画素の位置と、少なくとも一つの、値g未満のグレイトーンを有する隣接する画素として見出される。内挿された画素の位置は、各(整数)画素の位置を、内挿法により導出された新しい位置へシフトすることにより得られる。各レベル輪郭における位置のリストは、リストにおける隣接するインデックスが、画像内の隣接する位置に対応するように順序付けられる。
e)位置のインデックスが増加する方向に沿って移動するとき、gより高いグレイトーンを有する領域は、好ましくは右側にある。
輪郭からのプリミティブとフィーチャの導出
プリミティブとは、曲線の特徴的な動きを伴う輪郭、またはそのセグメント上の点である(図2a参照)。発明の概要でリストされたプリミティブは、
a)直線のセグメント、
b)相対的に大きな半径の円のセグメント、
c)変曲点、
d)曲率の最大数値の点(角部)、
e)曲率の非常に小さな、および非常に大きな数値の部分を分離する点、
f)輪郭により囲まれた小さな領域のエンティティ、である。
1)フィーチャは、好ましくは基準点を有するべきである。
2)フィーチャは、好ましくは画像においてユニークな方向を有するべきである。
3)フィーチャは、好ましくは一つまたは二つ以上の回転不変記述子を有するべきである。そのような記述子により記述される特性は、本質的特性と呼ばれる。
曲率対輪郭の長さ
プリミティブを生成するための良好なツールは、曲率対輪郭に沿う弧の長さを記述する機能である。輪郭上の点における接線方向を、角度θとし、sを、任意の基準点から測定された輪郭に沿う弧の長さとする。このとき、曲率はdθ/dsとなる。曲率関数κ(s)=dθ/ds対sは、プリミティブを定義するために有効である。このように、κ(s)におけるゼロと、|dκ/ds|のかなり高い値は、変曲点である。κ(s)の正のピークは、凹状の角部であり、κ(s)の負のピークは、凸状の角部である(または、バックグラウンドと、フォアグランドの定義によっては反対となる)。輪郭の直線セクションは、sの範囲では、κ(s)≒0である。半径Rを有する円のセクションは、sの範囲においてκ(s)=+/−1/Rを有する。
三次元的解釈におけるステップ
下記の(トレーニング工程)の項において、多数のトレーニング画像が生成されるトレーニング工程が記述される。下記の(認識工程)の項において、認識工程におけるステップの概論が記述される、つまり、トレーニング工程で導出されたフィーチャが、認識対象のフィーチャとどのように比較されるかの概論が記述される。(フィーチャとして直線セグメント対の場合の認識工程)の節で、フィーチャとして直線セグメント対の特別な場合の認識工程のステップが記述される。対象物とカメラの間の姿勢状態における距離パラメータρの特別な状態と、一台または二台以上のカメラの使用法が、(パラメータρの特別な状態、二台のカメラの使用法)の節で検討される。
トレーニング工程
トレーニング工程においては、対象物とカメラの間の姿勢状態が既知の場合の対象物の画像が多数生成される。これは、CADシステムにおける構築またはカメラを使用して実行できる。
1)認識中の射影変換、および
2)回転不変本質的記述子
の使用のため、トレーニングはわずか3の自由度のみに関連する。自由度のレベルは、対象物のフレームにおけるカメラのピンホールの球座標(ρ、φ、θ)として選択される。カメラの角度に関する姿勢状態は、対象物フレームの原点を通る光軸と、対象物フレームにおける指定された平面に平行な水平画像軸により特徴付けられる(「チルト−パン射影変換を使用する認識」の節参照)。トレーニングに使用されるカメラの姿勢状態はρ、φ、θ空間において適切に分布される。通常は、選択された姿勢状態は、この空間において規則的な格子を形成する。φとθの分離化ステップは、好ましくは2〜5度のオーダーである。ρの範囲と、異なるρの値の数は、状況に依存する。ここにおいては、トレーニングの姿勢状態のρ、φ、θ空間における分布については、詳細は触れない。単独のインデックスiが、このインデックスと、対象物に関してのトレーニングカメラの対応する姿勢状態の間のよく知られた関係を仮定して、トレーニングの姿勢状態に使用される。
認識工程
あるフィーチャタイプを考える。各トレーニング画像は、多数のフィーチャを含む。これらのフィーチャを、Пi、jとし、ここにおいてiはトレーニング画像のインデックスであり、jは画像におけるフィーチャのインデックスである。ここで、πjを認識画像におけるフィーチャjとする。各フィーチャは次の特性を有する。つまり、1)基準点Q、2)角度γにより定義される基準方向、および3)一つまたは二つ以上の数値量から構成される本質的特性である。我々は、ベクトルΛにより、本質的特性を示す。γとΛの成分は、点Qを画像の中間点に移動するチルト−パン射影変換(「チルト−パン射影変換を使用する認識」の節を参照)から導出されなければならないということに留意されたい。
フィーチャとして直線セグメント対の場合の認識工程
下記の例においては、認識に使用されるフィーチャは直線セクションの対であり、対象物は、三つの箱形状の要素から構成される「三つ組レンガ」である(図7参照)。図7は、姿勢状態決定の例において取り扱う三次元対象物を示している。
For each training image index i do
{
Reset roll, tilt, pan parameter space;
For all valid indices j and J' compareΛ(Πi,j) and Λ(nj') do
{
In case of intrinsic match
{
Derive roll r, tilt t, pan p, from Q(Πi,j), γ(Πi,j), Q(nj'), γ(nj');
Update parameter space accordingly;
}
}
Test for clustering and store coordinates of clusters with sufficiently high
Density/population along with the index i of the training image.
}
上記の「本質的整合」は、角度Vの類似性と、距離に関する不規則性の実現に基づいている。「パラメータ空間の更新」という用語は、パラメータ空間の関連する点における票を増加することである。
パラメータρの空間状態、二台のカメラの使用
対象物とカメラの間の姿勢状態は、6個のパラメータで記述される。つまり、a)対応するトレーニング画像のρ、φ、θと、b)認識姿勢状態とトレーニング姿勢状態の間の変換の(ロール、チルト、パン)である。弱い透視法の場合、プリミティブの無次元の記述子(例えば、角度)はρにはほとんど依存せず、直線記述子は、1/ρにほぼ比例する。従って、弱い、または適度な透視法に対しては、トレーニングを小数の異なるρ値に制限することが可能で、適切な内挿法を使用することができる。好ましくは、認識は二つの部分に分割される。最初の部分は、5個の角度パラメータの検出に集中し、二番目の部分は、内挿法を使用してρ値を導出する。
チルト−パン同形変換を使用する認識
下記の表記を使用する。
ここにおいて、マトリックスの連続する掛け算は、右から左へ進む。R-1(t、p、r)=Rx(−t)Ry(−p)Rz(−r)は、逆変換である。
Ω’trの回転角は、γrec−γtrとなる。両者は、QtrとQrecに画像化されている、三次元の点Qを通る光軸に対する姿勢状態に対応する。トレーニング姿勢状態に対する認識姿勢状態の、チルト、パン、およびロール角、t、p、およびrは次の式で与えられることを証明できる。
Claims (18)
- 三次元対象物の分類および/またはローカライゼーションのような認識方法であり、前記一つまたは二つ以上の対象物は、前記対象物の二次元デジタル画像である認識画像を提供するように画像化され、前記方法は、複数のトレーニング画像におけるフィーチャの数値記述子が格納されたデータベースを利用し、各フィーチャは画像における輪郭から決定されるプリミティブのセットであり、フィーチャの数値記述子は、
画像における前記フィーチャの基準点座標のような位置および方向ベクトルのような向きを備える、前記フィーチャの非本質的特性のための数値記述子と、
前記フィーチャの本質的特性のための数値記述子の数値が前記認識画像フィーチャおよび前記トレーニング画像フィーチャの射影変換後において導出されるという点において前記対象画像の前記位置および前記向きにより変化しない本質的特性のための数値記述子、の二種類であり、前記射影変換は水平画像軸に平行なチルト軸、垂直画像軸に平行なパン軸、および光軸であるロール軸の周りの仮想的なカメラの回転による画像の変換であり、
前記方法は、
前記認識画像におけるプリミティブの予め定義されたセットであるフィーチャを特定し、
前記認識画像における前記フィーチャの前記本質的および非本質的特性のための数値記述子を抽出し、
前記抽出した数値記述子を前記データベースに格納された数値記述子と整合付けし、整合物が見つかれば、前記データベース内で整合した数値記述子に対応する前記対象物を、認識すべき前記対象物の前記対象物に類似していると割り当て、
前記整合付けは各トレーニング画像に対して、
前記トレーニング画像の前記フィーチャと同一の前記認識画像の前記フィーチャをもたらす変換のロール、チルト、およびパンの値を決定し、
前記変換により決定されたロール、チルト、およびパンの値をロール、チルトおよびパン−パラメータ空間において示すデータ点のクラスタを特定し、および
予め定義された強度を有するクラスタを、対象物のタイプおよびローカライゼーションに対応するものとして特定する、
ステップを含む、認識方法。 - 前記データベースは各画像に対して、それぞれがその本質的特性およびその非本質的特性を有するフィーチャを表わす一つまたは二つ以上のレコードを備える請求項1に記載の方法。
- 前記整合付けは、
ロール、チルト、およびパンパラメータ空間をリセットし、
前記認識画像における各フィーチャに対して、前記認識画像の特性を前記データベースに格納されている特性と整合付け、
整合する場合、前記データベースから、および前記認識画像からの前記非本質的特性に基づいてロール、チルト、およびパンを決定し、
パラメータ空間を更新し、および
前記パラメータ空間におけるデータ点のクラスタリングをテストし、前記トレーニング画像のインデックスを有する十分に高い密度/母集団のクラスタの座標を格納するステップを含み、
前記ステップを前記認識画像中のすべてのフィーチャの整合付けが終了するまで繰り返す、
ことを含む請求項2に記載の方法。 - 前記ロール、チルト、およびパンの決定は、前記データベース内の前記本質的特性と比較して類似のまたは同一の本質的特性を有するフィーチャに対してのみ行われる請求項3に記載の方法。
- 前記整合付けは、前記認識画像の前記本質的記述子と、前記データベースに格納されている前記本質的記述子と比較し、それにより整合するフィーチャを選択することを含む請求項3に記載の方法。
- 前記データベースの生成は、デジタル画像における輪郭、好ましくはグレイトーンレベル輪郭と、プリミティブの決定を備え、前記決定は、
前記デジタル画像の勾配を生成し、
前記絶対勾配の一つまたは二つ以上の極大値を求め、
前記一つまたは二つ以上の極大値を、輪郭を生成するためのシードとして使用し、ここにおいて各シードに対する前記輪郭の生成は、前記デジタル画像内にあり、輪郭に属する場所を表現する点の順序リストを決定することを含み、
前記すべての場所に対して、前記輪郭の、好ましくはdθ/ds、好ましくは画素単位で決定される曲率を決定し、
前記決定された曲率から、プリミティブを前記輪郭のセグメント上の、または前記輪郭で囲まれた領域上の特徴点として決定するステップを含む請求項1から5のいずれか1項に記載の方法。 - 既に定義された輪郭近傍で特定される潜在シード点を削除するステップを更に含む請求項6に記載の方法。
- 前記輪郭の生成は、各点が前記シードの値と共通に割り当てられる値を有する、前記デジタル画像内の場所を表現する点のリストを割り当てることを含む請求項6または7に記載の方法。
- 前記輪郭の生成は、各点において、輪郭方向に直交すると検出された最大または最小勾配の方向に続く点のリストを割り当てることを含む請求項6または7に記載の方法。
- 前記輪郭の生成は、前記シードの値を超える、またはそれ未満の値を有する点のリスト、および前記シードの値未満の、またはその値を超える値を有する一つまたは二つ以上の隣接する画素を割り当てることを含む請求項6または7に記載の方法。
- 前記画素リストは、所定の方法で前記デジタル画像内を移動することにより確立される請求項6から請求項10のいずれか1項に記載の方法。
- 前記輪郭は、前記画素リストに基づく内挿法により決定される請求項7から請求項11のいずれか1項に記載の方法。
- 前記リストは、画素の順序リストである請求項7から請求項12のいずれか1項に記載の方法。
- 前記勾配は、隣接画素に割り当てられた数値間の差を計算することにより決定される請求項6から請求項13のいずれか1項に記載の方法。
- 前記勾配は、各要素が第1画像内の特別な場所に対応し、前記特別な場所における前記第1画像の色調の勾配値を表わす数値であるアレイに格納される請求項6から請求項14のいずれか1項に記載の方法。
- 前記曲率は、θを輪郭上の1点における接線方向とし、sを基準点から測定された弧の長さとしたときに、κ=dθ/dsとして確立される請求項6から請求項15のいずれか1項に記載の方法。
- 前記プリミティブは、前記輪郭のセグメント上の、または前記輪郭で囲まれた領域上の下記の特徴点、
直線のセグメント、
相対的に大きな半径の円のセグメント、
変曲点、
前記曲率の最大数値の、好ましくは角部として割り当てられた点、
前記曲率の非常に小さな、および非常に大きな数値の部分を分離する点、および
輪郭により囲まれた小さな領域のエンティティ、
を一つまたは二つ以上備える請求項6から請求項16のいずれか1項に記載の方法。 - 各輪郭に対して、下記のプリミティブ、
所定のレベルより高い曲率の絶対値の値を有する輪郭の領域またはその上の点である変曲点、
曲率の正のピークを有する前記輪郭の領域またはその上の点である凹状角部、
曲率の負のピークを有する前記輪郭の領域またはその上の点である凸状角部、
0の曲率を有する前記輪郭のセグメントである直線セグメント、および/または
一定曲率を有する前記輪郭のセグメントである円形セグメント、
の一つまたは二つ以上を検索する請求項6から請求項17のいずれかに記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DKPA200301178 | 2003-08-15 | ||
DKPA200301178 | 2003-08-15 | ||
PCT/DK2004/000540 WO2005017820A1 (en) | 2003-08-15 | 2004-08-13 | Computer-vision system for classification and spatial localization of bounded 3d-objects |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007502473A JP2007502473A (ja) | 2007-02-08 |
JP2007502473A5 JP2007502473A5 (ja) | 2010-03-04 |
JP4865557B2 true JP4865557B2 (ja) | 2012-02-01 |
Family
ID=34178331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006523525A Active JP4865557B2 (ja) | 2003-08-15 | 2004-08-13 | 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7822264B2 (ja) |
EP (1) | EP1658579B1 (ja) |
JP (1) | JP4865557B2 (ja) |
CA (1) | CA2535828C (ja) |
WO (1) | WO2005017820A1 (ja) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7430322B1 (en) * | 2005-05-02 | 2008-09-30 | Nanostellar, Inc. | Particle shape characterization from 2D images |
US7561756B1 (en) | 2005-05-02 | 2009-07-14 | Nanostellar, Inc. | Particle shape characterization from 2D images |
US8155312B2 (en) * | 2005-10-18 | 2012-04-10 | The University Of Connecticut | Optical data storage device and method |
GB2431537B (en) * | 2005-10-20 | 2011-05-04 | Amersham Biosciences Uk Ltd | Method of processing an image |
DE102006050379A1 (de) * | 2006-10-25 | 2008-05-08 | Norbert Prof. Dr. Link | Verfahren und Vorrichtung zur Überwachung eines Raumvolumens sowie Kalibrierverfahren |
US7853071B2 (en) * | 2006-11-16 | 2010-12-14 | Tandent Vision Science, Inc. | Method and system for learning object recognition in images |
US7844105B2 (en) * | 2007-04-23 | 2010-11-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining objects poses from range images |
US8116519B2 (en) * | 2007-09-26 | 2012-02-14 | Honda Motor Co., Ltd. | 3D beverage container localizer |
ATE452379T1 (de) | 2007-10-11 | 2010-01-15 | Mvtec Software Gmbh | System und verfahren zur 3d-objekterkennung |
KR100951890B1 (ko) * | 2008-01-25 | 2010-04-12 | 성균관대학교산학협력단 | 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법 |
FR2931277B1 (fr) * | 2008-05-19 | 2010-12-31 | Ecole Polytech | Procede et dispositif de reconnaissance invariante-affine de formes |
US8265425B2 (en) * | 2008-05-20 | 2012-09-11 | Honda Motor Co., Ltd. | Rectangular table detection using hybrid RGB and depth camera sensors |
US8711176B2 (en) | 2008-05-22 | 2014-04-29 | Yahoo! Inc. | Virtual billboards |
US20090289955A1 (en) * | 2008-05-22 | 2009-11-26 | Yahoo! Inc. | Reality overlay device |
US8467612B2 (en) * | 2008-10-13 | 2013-06-18 | Honeywell International Inc. | System and methods for navigation using corresponding line features |
US8452078B2 (en) * | 2008-10-15 | 2013-05-28 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors |
WO2010055399A1 (en) | 2008-11-12 | 2010-05-20 | Nokia Corporation | Method and apparatus for representing and identifying feature descriptors utilizing a compressed histogram of gradients |
US8442304B2 (en) * | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
WO2010080950A1 (en) | 2009-01-08 | 2010-07-15 | Trimble Navigation Limited | Methods and systems for determining angles and locations of points |
US8379929B2 (en) * | 2009-01-08 | 2013-02-19 | Trimble Navigation Limited | Methods and apparatus for performing angular measurements |
JP5247525B2 (ja) * | 2009-02-19 | 2013-07-24 | キヤノン株式会社 | シート搬送装置及び画像形成装置 |
WO2010116774A1 (ja) * | 2009-04-07 | 2010-10-14 | 村田機械株式会社 | 画像処理装置と処理方法、処理プログラム、及び記憶媒体 |
JP5538967B2 (ja) * | 2009-06-18 | 2014-07-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP5333344B2 (ja) * | 2009-06-19 | 2013-11-06 | 株式会社安川電機 | 形状検出装置及びロボットシステム |
JP5385752B2 (ja) * | 2009-10-20 | 2014-01-08 | キヤノン株式会社 | 画像認識装置、その処理方法及びプログラム |
RU2542946C2 (ru) * | 2009-11-19 | 2015-02-27 | Нокиа Корпорейшн | Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения |
US8687898B2 (en) * | 2010-02-01 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition based on three-dimensional adaptive feature detectors |
EP2385483B1 (en) | 2010-05-07 | 2012-11-21 | MVTec Software GmbH | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform |
US8724911B2 (en) * | 2010-09-16 | 2014-05-13 | Palo Alto Research Center Incorporated | Graph lattice method for image clustering, classification, and repeated structure finding |
US8872828B2 (en) | 2010-09-16 | 2014-10-28 | Palo Alto Research Center Incorporated | Method for generating a graph lattice from a corpus of one or more data graphs |
JP5754055B2 (ja) * | 2010-11-26 | 2015-07-22 | 日本電気株式会社 | 物体または形状の情報表現方法 |
WO2012146253A1 (en) | 2011-04-29 | 2012-11-01 | Scape Technologies A/S | Pose estimation and classification of objects from 3d point clouds |
US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
US8467596B2 (en) | 2011-08-30 | 2013-06-18 | Seiko Epson Corporation | Method and apparatus for object pose estimation |
US8908913B2 (en) * | 2011-12-19 | 2014-12-09 | Mitsubishi Electric Research Laboratories, Inc. | Voting-based pose estimation for 3D sensors |
ES2409533B2 (es) * | 2011-12-21 | 2013-10-15 | Universidad De Alcalá | Sistema de reconocimiento de clases de objetos por visión artificial para la mejora de la capacidad comunicativa en personas con alteraciones del lenguaje |
US8605972B2 (en) * | 2012-03-02 | 2013-12-10 | Sony Corporation | Automatic image alignment |
US9569695B2 (en) | 2012-04-24 | 2017-02-14 | Stmicroelectronics S.R.L. | Adaptive search window control for visual search |
ITPR20120039A1 (it) * | 2012-06-20 | 2012-09-19 | Gevis S R L | Dispositivo e metodo di misura di un pezzo |
US8798357B2 (en) | 2012-07-09 | 2014-08-05 | Microsoft Corporation | Image-based localization |
US9582671B2 (en) | 2014-03-06 | 2017-02-28 | Sensity Systems Inc. | Security and data privacy for lighting sensory networks |
JP6386217B2 (ja) | 2012-09-12 | 2018-09-05 | センシティ システムズ インコーポレイテッド | 感知応用のためのネットワーク接続された照明インフラストラクチャ |
KR20140072651A (ko) * | 2012-12-05 | 2014-06-13 | 엘지전자 주식회사 | 글래스타입 휴대용 단말기 |
US9933297B2 (en) | 2013-03-26 | 2018-04-03 | Sensity Systems Inc. | System and method for planning and monitoring a light sensory network |
EP2976856B1 (en) | 2013-03-26 | 2019-08-14 | Sensity Systems Inc. | Sensor nodes with multicast transmissions in lighting sensory network |
US9076195B2 (en) * | 2013-08-29 | 2015-07-07 | The Boeing Company | Methods and apparatus to identify components from images of the components |
US9747680B2 (en) | 2013-11-27 | 2017-08-29 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
US9746370B2 (en) * | 2014-02-26 | 2017-08-29 | Sensity Systems Inc. | Method and apparatus for measuring illumination characteristics of a luminaire |
US10362112B2 (en) | 2014-03-06 | 2019-07-23 | Verizon Patent And Licensing Inc. | Application environment for lighting sensory networks |
US10417570B2 (en) | 2014-03-06 | 2019-09-17 | Verizon Patent And Licensing Inc. | Systems and methods for probabilistic semantic sensing in a sensory network |
US9361694B2 (en) * | 2014-07-02 | 2016-06-07 | Ittiam Systems (P) Ltd. | System and method for determining rotation invariant feature descriptors for points of interest in digital images |
US10268188B2 (en) | 2015-12-02 | 2019-04-23 | Qualcomm Incorporated | Active camera movement determination for object position and extent in three-dimensional space |
JP6431495B2 (ja) * | 2016-03-25 | 2018-11-28 | 本田技研工業株式会社 | 教師データ生成方法 |
US10503997B2 (en) | 2016-06-22 | 2019-12-10 | Abbyy Production Llc | Method and subsystem for identifying document subimages within digital images |
US10366469B2 (en) | 2016-06-28 | 2019-07-30 | Abbyy Production Llc | Method and system that efficiently prepares text images for optical-character recognition |
RU2628266C1 (ru) | 2016-07-15 | 2017-08-15 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способ и система подготовки содержащих текст изображений к оптическому распознаванию символов |
EP3495202B1 (en) * | 2017-12-05 | 2020-08-19 | Guima Palfinger S.A.S. | Truck-mountable detection system |
RU2680765C1 (ru) | 2017-12-22 | 2019-02-26 | Общество с ограниченной ответственностью "Аби Продакшн" | Автоматизированное определение и обрезка неоднозначного контура документа на изображении |
CN110470295B (zh) * | 2018-05-09 | 2022-09-30 | 北京智慧图科技有限责任公司 | 一种基于ar定位的室内步行导航系统和方法 |
CN113597362A (zh) * | 2019-03-25 | 2021-11-02 | Abb瑞士股份有限公司 | 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置 |
CN110796709A (zh) * | 2019-10-29 | 2020-02-14 | 上海眼控科技股份有限公司 | 车架号尺寸获取方法、装置、计算机设备和存储介质 |
US20220189266A1 (en) * | 2020-12-11 | 2022-06-16 | Patriot One Technologies Inc. | System and method for real-time multi-person threat tracking and re-identification |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60204086A (ja) * | 1984-03-28 | 1985-10-15 | Fuji Electric Co Ltd | 物体識別装置 |
JPS6278684A (ja) * | 1985-10-02 | 1987-04-10 | Fujitsu Ltd | 物体検索方式 |
JPH05165968A (ja) * | 1991-12-18 | 1993-07-02 | Komatsu Ltd | 物体の位置・姿勢認識装置 |
JPH08136220A (ja) * | 1994-11-14 | 1996-05-31 | Mazda Motor Corp | 物品の位置検出方法およびその装置 |
JP2000244803A (ja) * | 1999-02-23 | 2000-09-08 | Sony Corp | 画像信号処理装置および方法 |
JP2000350239A (ja) * | 1999-06-08 | 2000-12-15 | Sony Corp | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
JP2002197472A (ja) * | 2000-12-26 | 2002-07-12 | Masahiro Tomono | 物体認識方法 |
JP2003111070A (ja) * | 2001-09-27 | 2003-04-11 | Aisin Seiki Co Ltd | 車両用監視装置 |
JP2003204547A (ja) * | 2001-10-15 | 2003-07-18 | Matsushita Electric Ind Co Ltd | 車両周囲監視装置およびその調整方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US528769A (en) * | 1894-11-06 | Sash-fastener | ||
US3638188A (en) | 1969-10-17 | 1972-01-25 | Westinghouse Electric Corp | Classification method and apparatus for pattern recognition systems |
US4183013A (en) * | 1976-11-29 | 1980-01-08 | Coulter Electronics, Inc. | System for extracting shape features from an image |
JPS5930179A (ja) * | 1982-08-10 | 1984-02-17 | Agency Of Ind Science & Technol | パタ−ンの線分近似方式 |
KR900001696B1 (ko) * | 1984-11-09 | 1990-03-19 | 가부시기가이샤 히다찌세이사꾸쇼 | 화상처리장치의 제어방법 |
JPS61296409A (ja) | 1985-06-25 | 1986-12-27 | Fanuc Ltd | ロボツト制御方式 |
ATE48710T1 (de) | 1985-09-30 | 1989-12-15 | Siemens Ag | Verfahren zur einheitlichen symbolischen beschreibung von dokumentmustern in einem automat. |
US4958376A (en) | 1985-12-27 | 1990-09-18 | Grumman Aerospace Corporation | Robotic vision, optical correlation system |
JPH077448B2 (ja) * | 1987-10-08 | 1995-01-30 | 日立ソフトウェアエンジニアリング株式会社 | 円弧部認識方法 |
EP0514688A2 (en) | 1991-05-21 | 1992-11-25 | International Business Machines Corporation | Generalized shape autocorrelation for shape acquisition and recognition |
JP2700965B2 (ja) | 1991-07-04 | 1998-01-21 | ファナック株式会社 | 自動キャリブレーション方式 |
JP3665353B2 (ja) | 1993-09-14 | 2005-06-29 | ファナック株式会社 | ロボットの教示位置データの3次元位置補正量取得方法及びロボットシステム |
US5434927A (en) | 1993-12-08 | 1995-07-18 | Minnesota Mining And Manufacturing Company | Method and apparatus for machine vision classification and tracking |
JP3394322B2 (ja) | 1994-05-19 | 2003-04-07 | ファナック株式会社 | 視覚センサを用いた座標系設定方法 |
US5828769A (en) | 1996-10-23 | 1998-10-27 | Autodesk, Inc. | Method and apparatus for recognition of objects via position and orientation consensus of local image encoding |
US6266054B1 (en) * | 1997-11-05 | 2001-07-24 | Microsoft Corporation | Automated removal of narrow, elongated distortions from a digital image |
JPH11300670A (ja) | 1998-04-21 | 1999-11-02 | Fanuc Ltd | 物品ピックアップ装置 |
US5959425A (en) | 1998-10-15 | 1999-09-28 | Fanuc Robotics North America, Inc. | Vision guided automatic robotic path teaching method |
US6501554B1 (en) | 2000-06-20 | 2002-12-31 | Ppt Vision, Inc. | 3D scanner and method for measuring heights and angles of manufactured parts |
JP4158349B2 (ja) | 2001-03-27 | 2008-10-01 | 松下電工株式会社 | 画像処理による寸法計測方法およびその装置 |
JP3782679B2 (ja) | 2001-05-09 | 2006-06-07 | ファナック株式会社 | 干渉回避装置 |
EP1262907B1 (en) | 2001-05-28 | 2007-10-03 | Honda Research Institute Europe GmbH | Pattern recognition with hierarchical networks |
JP3703411B2 (ja) | 2001-07-19 | 2005-10-05 | ファナック株式会社 | ワーク取り出し装置 |
TW554629B (en) * | 2002-03-22 | 2003-09-21 | Ind Tech Res Inst | Layered object segmentation method based on motion picture compression standard |
-
2004
- 2004-08-13 JP JP2006523525A patent/JP4865557B2/ja active Active
- 2004-08-13 EP EP04739037.2A patent/EP1658579B1/en active Active
- 2004-08-13 WO PCT/DK2004/000540 patent/WO2005017820A1/en active Application Filing
- 2004-08-13 US US10/568,268 patent/US7822264B2/en active Active
- 2004-08-13 CA CA2535828A patent/CA2535828C/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60204086A (ja) * | 1984-03-28 | 1985-10-15 | Fuji Electric Co Ltd | 物体識別装置 |
JPS6278684A (ja) * | 1985-10-02 | 1987-04-10 | Fujitsu Ltd | 物体検索方式 |
JPH05165968A (ja) * | 1991-12-18 | 1993-07-02 | Komatsu Ltd | 物体の位置・姿勢認識装置 |
JPH08136220A (ja) * | 1994-11-14 | 1996-05-31 | Mazda Motor Corp | 物品の位置検出方法およびその装置 |
JP2000244803A (ja) * | 1999-02-23 | 2000-09-08 | Sony Corp | 画像信号処理装置および方法 |
JP2000350239A (ja) * | 1999-06-08 | 2000-12-15 | Sony Corp | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
JP2002197472A (ja) * | 2000-12-26 | 2002-07-12 | Masahiro Tomono | 物体認識方法 |
JP2003111070A (ja) * | 2001-09-27 | 2003-04-11 | Aisin Seiki Co Ltd | 車両用監視装置 |
JP2003204547A (ja) * | 2001-10-15 | 2003-07-18 | Matsushita Electric Ind Co Ltd | 車両周囲監視装置およびその調整方法 |
Also Published As
Publication number | Publication date |
---|---|
CA2535828C (en) | 2011-02-08 |
CA2535828A1 (en) | 2005-02-24 |
WO2005017820A1 (en) | 2005-02-24 |
EP1658579B1 (en) | 2016-09-28 |
EP1658579A1 (en) | 2006-05-24 |
JP2007502473A (ja) | 2007-02-08 |
US20070127816A1 (en) | 2007-06-07 |
US7822264B2 (en) | 2010-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4865557B2 (ja) | 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム | |
Marton et al. | General 3D modelling of novel objects from a single view | |
JP6216508B2 (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
Palazzolo et al. | Fast image-based geometric change detection given a 3d model | |
US20110273442A1 (en) | Recognition and pose determination of 3d objects in 3d scenes | |
CN109272577B (zh) | 一种基于Kinect的视觉SLAM方法 | |
Sehgal et al. | Real-time scale invariant 3D range point cloud registration | |
Robert et al. | Weakly-calibrated stereo perception for rover navigation | |
Kroemer et al. | Point cloud completion using extrusions | |
Wiedemann et al. | Recognition and tracking of 3D objects | |
Lane et al. | Tutorial: Overview of stereo matching research | |
Palazzolo et al. | Change detection in 3d models based on camera images | |
Boehnke | Object localization in range data for robotic bin picking | |
Cociaş et al. | Multiple-superquadrics based object surface estimation for grasping in service robotics | |
Chen et al. | Epipole Estimation under Pure Camera Translation. | |
Svedman et al. | Structure from stereo vision using unsynchronized cameras for simultaneous localization and mapping | |
JP3512919B2 (ja) | 物体形状・カメラ視点移動の復元装置及び復元方法 | |
Asif et al. | Model-free segmentation and grasp selection of unknown stacked objects | |
Xu et al. | Feature selection and pose estimation from known planar objects using monocular vision | |
Le et al. | GCSAC: geometrical constraint sample consensus for primitive shapes estimation in 3D point cloud | |
Akizuki et al. | Position and pose recognition of randomly stacked objects using highly observable 3D vector pairs | |
Klimentjew et al. | Towards scene analysis based on multi-sensor fusion, active perception and mixed reality in mobile robotics | |
Salvi et al. | Overview of surface registration techniques including loop minimization for three-dimensional modeling and visual inspection | |
Xu | Stereo Visual Odometry with Windowed Bundle Adjustment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091005 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091013 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20100107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100521 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101214 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110124 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110714 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111110 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4865557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |