JP2612097B2 - ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム - Google Patents

３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム

Info

Publication number
JP2612097B2
JP2612097B2 JP2502100A JP50210090A JP2612097B2 JP 2612097 B2 JP2612097 B2 JP 2612097B2 JP 2502100 A JP2502100 A JP 2502100A JP 50210090 A JP50210090 A JP 50210090A JP 2612097 B2 JP2612097 B2 JP 2612097B2
Authority
JP
Japan
Prior art keywords
dimensional
features
determining
sensor
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2502100A
Other languages
English (en)
Other versions
JPH03505924A (ja
Inventor
エイチ ディーン マッギー
ケニス ダブリュー クラウザー
ブルース イー コールドレン
Original Assignee
ジーエムファナック ロボティックス コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーエムファナック ロボティックス コーポレイション filed Critical ジーエムファナック ロボティックス コーポレイション
Publication of JPH03505924A publication Critical patent/JPH03505924A/ja
Application granted granted Critical
Publication of JP2612097B2 publication Critical patent/JP2612097B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】 技術分野 本発明は、少なくとも３の幾何学的特徴を前記幾何学
的特徴より少ない２次元センサー、例えばカメラなどの
２次元センサーにより生成されたデジタルイメージから
物体の位置及び姿勢又は向きを決定する３次元機械視覚
方法及びシステムに関する。
背景技術 ３次元機械視覚システムは３次元で見るために測距、
構造化照明及び双眼視（structured light and binocul
ar vision）などの数種類の方式を利用する。測距及び
構造化照明方式は一般的には実施するのが最も容易であ
る。両方の技術が、深度キューのために道の照明や物体
の表面からの音波の反射などのその他の反射に依存す
る。測距システムは、一般には、物体へ行って戻ってく
るレーザービームの反射の時間を計ってその距離を決定
する（レーダーに類似）。
構造化照明システムは、制御された方法で物体に光を
投射する。該システムは、このとき、三角測量によって
物体までの距離を決定し、該物体の表面と光ビームとの
交線により形成されるパターンから該物体の形状を推定
する。
構造化、点源、コヒーレント、又はその他の種類の特
殊化した照明法の使用は、多くの従来技術にとって基本
的なものである。例えば、この様な特殊化した照明方法
は、クレマース他の米国特許第4,412,121号及びヘフナ
ー他の米国特許第4,675,502号等に開示されている。
双眼視覚システムは、２個のカメラを利用し、人間の
視覚に使用されているのと同じ一般的方法（即ち、双眼
視差）を採用する。同じ風景の２つの眺めの僅かな差異
が深度キューとして使われる、即ち、視差が大きければ
大きいほど物体は近くにある。
双眼視差に基づく実用的な機械視覚システムの開発に
伴う一つの問題は、「対応」問題である。即ち、各眺め
の中の物体は、２つの眺めの差異を決定する前には互い
に整合していなければならない。視差の結果として、物
体が右側の眺めと左側の眺めで僅かに異なってみえるこ
とがあり、また一方の眺めにおいて部分的にまたは完全
に覆い隠されることがあるので、整合は問題となること
がある。
測距又は構造化照明方式による３次元視覚システム
は、観察されている物体との相互作用を必要とするの
で、本来的に制限のあるものである。これらのシステム
は、多くのアプリケーションには適切であろう。しか
し、視覚システムは、観察される物体又はその環境に制
約を置くことを避けるために受動的であるべきである。
エグリ他の米国特許第4,672,562号とヘイ他の米国特
許第4,238,828号は、開示されているシステムにより観
察されることの出来る被観察物体の種類を制限すること
となる物体上に非共面ターゲットの使用を必要とするも
のである。
ホローの著した、「パターン分析及び機械知能に関す
るIEEE会報」ボリュームPAMI−９、1987年５月、ページ
401−412（the IEEE Transactions On Pattern Analysi
s And Machine Intelligence,Vol.PAMI−９、May 198
7、pages 401−412）に記載されている「３次元物体を
単一の眺望と整合される新しい方法」という題名の論文
（the paper entitler “New Methods For Matching 3
−D Objects With Single Perspective Views"）は、３
次元の物理的世界の性質を２次元イメージを見ることか
ら得るコンピューター視覚システムを開示している。単
一の眺望イメージの、モデルに基づく解釈が行われる。
イメージ線形特徴及び線形特徴の組が３次元空間の２次
元平面上に背景映写され、その時に、可能な解法（solu
tion）を選択するために幾何学モデルが使われる。概し
て、この論文は３次元風景の２次元平面上への背景映写
を解釈する徹底的に計算をする方法を説明している。
他の関連する視覚方法及びシステムがカノの米国特許
第4,099,880号、ディマッテオ他の米国特許第4,402,608
号及びルオー・ジュニアの米国特許第3,986,007号に開
示されている。
発明の開示 本発明の目的は、迅速に且つ正確にしかも安価に、単
一の２次元センサー角度ディジタルイメージにより生成
された少ない２次元物体及びスペースの位置及び向きを
自動的に決定する方法及びシステムを提供することであ
る。
本発明の他の目的は、僅か１つのディジタルイメージ
中に存在する眺望情報を利用して、動作を顕著に劣化さ
せずに、包囲したような条件の中の物体の小さな変化を
黙許する様になっている３次元物体の位置及び向きを迅
速に自動的に決定する方法及びシステムを提供すること
である。
本発明の他の目的は、僅か１つのカメラだけを利用
し、しかもそのカメラは特別に構成されていなくてもよ
い様になっている、３次元物体の位置及び向きを自動的
に決定する方法及びシステムを提供することである。
本発明の他の目的は、構造化照明などの特別の照明無
しで僅か１つのカメラから生成された単一のディジタル
イメージから工場環境内で物体の位置及び向きを自動的
に決定する方法及びシステムを提供することである。
本発明の上記目的及びその他の目的を実現するのに、
僅か１つの２次元センサーにより生成された僅か１つの
ディジタルイメージから３次元空間内の物体の位置及び
向きを自動的に決定する方法が提供される。この方法
は、２次元センサーの位置及び向きを３次元空間に関連
付ける較正データを生成し、理想的物体の少なくとも３
つの共直線的でない幾何学特徴に関する基準データを生
成するステップを含む。この方法は、物体の少なくとも
３つの共直線的でない幾何学特徴を含むディジタルイメ
ージを生成し、該ディジタルイメージ内の特徴の各々の
位置を突き止め、該特徴の位置及び該センサー較正デー
タの関数として少なくとも３本の非平行３次元ラインを
計算するステップも含む。該３次元ラインの各々は、該
物体のそれぞれの特徴を通過する。該方法は、最後に、
該基準データ及び３次元ラインを使って該物体の位置及
び向きを決定するステップを含む。
好ましくは、該方法は、ロボットが該物体に働き掛け
ることが出来る様にコントローラに元からプログラムさ
れていた経路と異なる新しい経路に沿ってロボットコン
トローラが移動することが出来る様にするためにロボッ
トコントローラなどのプログラマブルな周辺駆動装置に
経路補正データを提供するために使われる。該経路補正
データは、物体の実際の位置と予想される位置との差に
関する。この様にして使われるとき、この方法は、更
に、該２次元センサーからの該物体の該オフセットを該
物体の位置及び向きの関数として計算し、該物体の該オ
フセットを周辺装置の座標フレームに変換する追加のス
テップを含む。
本発明に従って構成されて僅か１つの２次元センサー
により生成された僅か１つのディジタルイメージから３
次元空間内の物体の位置及び向きを自動的に決定するシ
ステムは、理想的物体の少なくとも３つの共直線的でな
い幾何学特徴に関する基準データを記憶する第１手段を
含む。該システムは、更に、該物体の最小３つの共直線
的でない幾何学特徴を含むディジタルイメージを生成す
る２次元センサー手段と、該２次元センサー手段の位置
及び向きを３次元空間の関連付けるセンサー較正データ
を記憶する第２手段とを含む。該システムは、該ディジ
タルイメージ内の特徴の各々の位置を突き止める手段
と、該特徴の位置及び該センサー較正データの関数とし
て少なくとも３つの非平行３次元ラインを計算する手段
とをも含む。該３次元ラインの各々は、該物体のそれぞ
れの特徴を通過する。最後に、該システムは、該基準デ
ータと該３次元ラインとを使って該物体の位置及び向き
を決定する手段を含む。
好ましくは、該方法及びシステムは、構造化された又
は特殊化した照明を使わずに作用する。
また、好ましくは、該システムは、プログラムされた
ロボットコントローラなどのプログラマブルな周辺装置
に経路補正データを自動的に提供することによりロボッ
トコントローラが該コントローラに元からプログラムさ
れていた経路とは異なる新しい経路に沿って移動して該
物体に作用することを可能にするために使われる。該経
路補正データは、該物体の実際の位置と予想される位置
との差に関連付けられている。この様に使われるときに
は、該システムは、更に、該物体の位置及び向きの関数
として該２次元センサー手段からの該物体のオフセット
を計算する手段と、該物体の該オフセットを該周辺装置
の座標フレームに変換する手段とを含む。
上記の方法及びシステムの利点は多数ある。例えば、
完全な６自由度オフセットのために僅か１個のカメラに
より生成された僅か１個のディジタルイメージを必要と
するに過ぎない。多くの従来技術システムは、複数のカ
メラの使用を必要とする。本発明は、複数のカメラの使
用（即ち、興味の対象たる大きな物体について精度を高
めるために使われたり、単一のカメラで見たときに１つ
以上のターゲット又は特徴が塞がれることになるときに
使われる）を排除しないけれども、該方法の多くのアプ
リケーションは単一のカメラを含む視覚システムに使用
するのに適している。
また、僅か３つの共直線でないターゲット又は特徴が
必要である。しかし、デイ他の米国特許第4,639,878号
やプライアーの米国特許第4,654,949号に開示されてい
る様な従来技術の視覚方法及びシステムの場合のように
冗長性のためにだけでなくて、複数のターゲットイメー
ジに最も良く適合する単一の６自由度オフセットを発見
することによりエラーを最小にするためにも、より多く
のターゲットを利用することが出来る。
典型的には、ターゲットは、興味の対象たる物体の上
に存する特徴である。その結果として、ターゲット要件
は最小限となる。ターゲット又は特徴に関する唯一の要
件は、眺望情報が存在する様にターゲットが見られて、
全てのターゲットが共直線でないことである。ターゲッ
ト又は特徴は共面であっても共面でなくても良い。本発
明を利用する方法及びシステムについてのターゲット又
は特徴は、小さな閉じた特徴については重心、線と線と
の交点、等のイメージ中の点として表すことが出来る。
複数カメラシステムについては、特徴は、点と、必ずし
も交わらない線との組合せであることが出来る。
本発明の他の利点は、添付図面と関連して以下の詳細
な説明を参照することにより本発明をより良く理解する
とき直に理解されよう。
図面の簡単な説明 図１は、中にロボットが位置している作業ステーショ
ン又はセルにおける長方形の物体に関する本発明の方法
及びシステムの作用を示す斜視図である。
図２は、視覚プロセスの一般化されたブロック図であ
る。
図３は、図２のブロック図のより詳細なブロック図で
ある。
図４は、本発明の方法及びシステムに使われる数学を
視覚化するのに役立つ種々のイメージ平面を示す略図で
ある。
発明を実施する最良の態様 ここで図１を参照すると、10て包括的に指示された機
械視覚システムが示されており、これは頑丈（即ち、見
られる物体の照明、本体位置及び反射率の変化に割合に
影響されない）であるばかりでなくて、完全な６自由度
オフセットを与えるのに僅か１個のカメラしか必要とし
ないものである。典型的には、僅かに３つのターゲット
又は特徴を見なければならない。唯一の要件は、該ター
ゲットが共直線的でないことである。ターゲット又は特
徴は共面であっても共面でなくても良い。
典型的には、線及び／又は点などの、興味の対象たる
物体の既存の特徴である。点は、小さな閉じた特徴につ
いての重心、線と線との交点、などであることが出来
る。
視覚システム10は、12で包括的に指示した作業ステー
ションやセルに使用されるべきものであるが、それに限
定されるものではない。作業ステーション12において、
システム10は、ロボット14等の周辺装置や、その他の、
例えばプログラマブルコントローラ、数値制御される機
械、その他の視覚システム、プラントデータ管理システ
ム等の周辺装置と通信することが出来る。
システム10は、システム10がその時間を作業セル間で
分配することにより数個の作業セルを制御するアプリケ
ーションを含む他のアプリケーションに利用することも
出来るものである。
図１に示されている様に、観察されるべき剛体又は剛
物体は16で包括的に示されている。物体16は作業ステー
ション12で表面18に支持されている。一般に、物体16は
表面18上に緩やかに支持されるので、物体16の正確な位
置及び姿勢又は向きは未知である。例えば、物体16は、
角度θをなして表面18上に乗っている。しかし、システ
ム10は、位置の不確定性について該物体のウィンドウ全
体を見ることが出来る。
一般に、システム10は、視覚ターゲット又はターゲッ
ト点としての長方形物体16の縁点である点Ａ、Ｂ、Ｃ及
びＤなどの物体16の少なくとも３つの共直線的でない幾
何学特徴を利用する。また、物体16の視覚的ターゲット
又は幾何学的特徴は、それが視覚システム10の視野の中
に含まれている限りは、物体16の所定の縁又は隅、又は
小さな閉じた特徴の重心、又は上記特徴の組合せから成
っていてもよい。
システム10は、カメラ20などの通常の２次元センサー
を含む。カメラ20は、好ましくは、標準テレビジョン出
力信号を出力する通常のCCDである。また、好ましく
は、カメラ20は比較的に広い角度と短い焦点距離とを有
する光学レンズシステム21を含む。
カメラ20は、好ましくは、作業ステーション12内で物
体16より上に配置される。カメラの視線は22に示されて
いて、レンズシステム21の光学中心で交差する。点Ａ、
Ｂ、Ｃ及びＤはカメラ20の視野内に配置されていて、カ
メラ20は、参照番号24に示されている点Ａ、Ｂ、Ｃ及び
Ｄに関連付けられたデータを含むデータのディジタルイ
メージ平面を生成する。データの平面24は物体16の眺望
イメージである。
一般に、カメラ20は、点Ａ、Ｂ、Ｃ及びＤが該カメラ
の視野内にあるかぎりは、作業セル12内の何処に置かれ
てもよい。カメラ20は、物体16の上にあっても、下にあ
っても、或いは並んでいてもよい。しかし、点Ａ、Ｂ、
Ｃ及びＤは共直線的であってはならないという制限があ
る。しかし、点Ａ、Ｂ、Ｃ及びＤは共面であってもよ
い。最善の動作は、点Ａ、Ｂ、Ｃ及びＤへの視線22が互
いに相当の角度をなしているときに達成される。
詳しく後述するように、６自由度オフセットを生成す
るときに、カメラ20などの単一のカメラをシステム10に
使うことが出来る。しかし、興味の対象たる大きな物体
について精度を高めるために、或いは、カメラ20などの
単一のカメラにより見られたときに１つ以上のターゲッ
ト点又は特徴が遮られるかも知れないときには、カメラ
20を含む複数のカメラを使うことも出来る。この様な複
数カメラシステムでは、幾何学特徴は点と線との組合せ
であってもよく、その線は交差する必要はない。
システム10は、構造化照明などの特別の照明を必要と
しない。周囲の明かりが割合に大きく変化しても、シス
テム10の精度に極めて小さな効果を及ぼすだけである。
しかし、照明の貧弱な組立区域などの様な極めて暗い場
所にカメラ20があるときには、人工照明が好適である。
直射日光で生じるような周囲光の大きな変化が作業ステ
ーション12で常に生じる場合にも、人工照明が望まし
い。しかし、上記の二つの場合の両方において、適当な
照明環境のために割合に低コストの照明具が必要とされ
るに過ぎない。
ここで図２を参照すると、本発明の方法及びシステム
において達成される種々の視覚プロセスがブロック26に
示されている。図３は、ブロック26に含まれている種々
の視覚プロセスをブロック28〜36に詳しく示す。
ブロック28において、カメラ20は最初にステーション
12でオフラインで較正される。カメラは、内部カメラ幾
何特性及び光学特性（固有パラメータ）と、ステーショ
ン12における座標系に対するカメラフレームの３次元位
置及び向きを決定するために較正される。また、カメラ
較正データは、実行焦点距離、半径方向レンズ歪み及び
イメージ走査パラメータを含む。好ましくは、カメラ20
は、IEEE論文CH2290−5/86/0000/0364のベージ364−374
に記載されているロジャー.Y.ツァイの著した「３次元
機械視覚のための効率的で精密なカメラ較正技術」とい
う名称の論文に開示されている教示に従って較正され
る。
上記論文の教示に従ってプログラムされたシステム10
のコンピューター及びインターフェース回路38は、カメ
ラ20からのビデオ信号を、較正のための所要の情報に変
換する。
ブロック30において、物体16のモデル定義も通常の方
法でオフラインで生成される。ブロック32は、システム
10の通常の物体ターゲットトレーニングに関するが、こ
れも、視覚システム10の中で使われるためにブロック30
で物体のモデルが生成された後にオフラインで行われ
る。ブロック30において、理想的物体の少なくとも３つ
の共直線的でない幾何学特徴（即ち、点Ａ、Ｂ、Ｃ及び
Ｄ）に関して基準データが生成される。典型的には、シ
ステム10のコンピューター及びインターフェース回路38
は、カメラ20からブロック30及び32で生成されたビデオ
信号をプログラム制御下でこの基準データに変換する。
その後、較正データ又は情報は基準データ又は情報と
同様にシステム10の大容量記憶装置40に記憶される。
また、システム10のI/O端末42を通して較正データ及
び基準データを手操作でシステム10に入力してもよい。
I/O端末42は、システム10に関する他の情報とともにカ
メラ情報を表示するビデオモニター及びデータモニター
の両方を含むことが出来る。
コンピューター及びインターフェース回路38は、一般
に、システム内の他のカメラと同じくカメラ20にもビデ
オインターフェース機能を提供する。一般に、コンピュ
ーター及びインターフェース回路38のプロセッサ部分
（図示せず）は、回路38のビデオメモリー（図示せず）
上で繰り込み、シフトコピーなどの動作を行う能力を有
する。コンピューター及びインターフェース回路38は、
システムソウトウェア及びビデオイメージの数個のフレ
ームを収容するメモリー（図示せず）を含み、また、ロ
ボット14のロボットコントローラ44などの種々の周辺装
置とインターフェースする通信ポートも含む。システム
10がカメラ較正データ、モデルデータ及び物体ターゲッ
ト基準データを記憶したのち、システムは、カメラ20に
より生成されたディジタルイメージから物体16の位置及
び向きを自動的に決定できる状態となる。後述するよう
に、物体16の初期の位置及び向きがシステム10によって
決定されたのち、システム10は物体16を動かすためにロ
ボット14によって使われるオフセットデータを自動的に
生成する。
ブロック34において、カメラ20は、物体16のグレース
ケール・ディジタルイメージを生成する。
ブロック36において、ターゲット又は幾何学特徴Ａ、
Ｂ、Ｃ及びＤが該ディジタルイメージ内で位置を突き止
められる。ターゲットの位置は、周知の如何なるアルゴ
リズムによっても突き止めることの出来るものである。
若しターゲットが円であれば、本願と同じ譲受人のもの
である米国特許第4,707,647号の教示に従って該ターゲ
ットの位置を突き止めることが出来る。
図２のブロック46を再び参照すると、一般に、該ディ
ジタルイメージを形成する絵素は、３次元の線を抽出す
るために較正マトリックスを介して変換される。図３の
ブロック50及び54によって更に示されている様に、３次
元の線52は反復式に抽出又は生成される。複数のカメラ
が使われるか、或いは単一のカメラ20を移動させて複数
のサブイメージを得て、それを後に組合せて単一のディ
ジタルイメージを得る場合には、ブロック56は、所要の
イメージの全てが得られるか否か検査する。
図４は、本発明の方法及びシステムの単純化された形
の図解であり、この場合には僅かに３つのターゲット又
は幾何学特徴を利用する。３次元の線52は、物体16上の
各々の現在の点P1、P2及びP3を含む。V1、V2及びV3は、
レンズ系21の光学的中心と、それぞれの物体点P1、P2及
びP3とを通る３次元の線の単位方向成分である。点N1、
N2及びN3の各Niは、そのそれぞれの３次元の線と交差
し、そのそれぞれの単位方向成分Viの方向と最も密接に
一致する様に選ばれた基準平面上の点である。換言すれ
ば、各点Niは、そのそれぞれの３次元の線と、その法線
が３次元の線52の主要な単位方向ベクトルViであって基
準点（理想的物体の幾何学的特徴によって定まる点、即
ち座標値）を通る平面との交点である。
詳細に後述するように、点N1、N2及びN3の各々は、反
復アルゴリズムに使われる出発点として使われるもので
あり、これは該３次元の線上の新しい点の実際の位置を
定義する。
図２を再び参照するし、一般に、ブロック58の３次元
演算は、新しい３次元の点を決定するのに使われる。ブ
ロック58の詳細は、図３においてブロック60、62、64、
66、68、70、72、74、76、78、80及び82に示されてい
る。
ブロック60において、前記の基準平面が計算され、各
Niを含む。該基準平面の法線は、そのそれぞれの単位方
向ベクトルViとほぼ同じ方向である。
ブロック62において、Niの各々を決定するために、３
次元の線52と、ブロック60で生成された基準平面との交
わりが計算される。
物体18上の興味の対象たる新しい点の各々は、以下の
方程式により与えられる： P1＝Ki＊Vi＋Ni （Ｐ、Ｖ、Ｎ＝３×１ベクトル→Ｘ、
Ｙ、Ｚ） （１） （ｉは指数1...n） Vi′はブロック50で得られており、Ni′は図３のアル
ゴリズムのブロック62で得られている。一般に、詳しく
後述するように、Pi′の各々は、新点距離と基準点距離
との差の平方の和を最小にする該３次元の線上の点の位
置を発見するために基準点間の距離についての剛体束縛
を使って決定される。
ブロック64において、解かれるべき誤差関数の形の方
程式が方程式２で次のように定義される： (dij)2＝(Pi-Pj)′(Pi-Pj);i＝1..（ｎ−１）、ｊ＝
（ｉ＋１）...n（′は転置（トランスポーズ）を示す） （２） ここで(dij)2という項は、以下のように方程式３により
与えられる： eij＝(Pi-Pj)′(Pi-Pj)−(dij)2 （３） 方程式２は、以下のように方程式3.5に拡張すること
が出来る： eij＝ki 2Vi′Vi＋ki 2Vi′Vj−２kikjVi′Vj＋２kiVi′
（Ni−Nj）−２kjVj′（Ni−Nj）＋Ni′Ni＋Nj′Nj−２
Ni′Nj−dij 2 （3.5） 或いは、一般的用語で方程式3.6では以下のとおりとな
る： eij＝a1＊ki 2＋a2＊kikj＋a3＊ki 2＋a4＊ki＋a5＊k6＋a
6 （3.6） ここでａは既知であり、ｋは未知である。
平方された誤差関数は以下のように方程式４で与えら
れる： (eij)2＝［（Pi−Pj）′（Pi−Pj）−(dij)2］2 （４） 合計の平方された誤差関数は以下の様に方程式５で与え
られる： 最初のステップの一つは、方程式４により記述される
関数のゼロを発見することである。方程式５は、多くの
方程式があって、その各々が方程式４により記述される
関数だけを合計し、且つ、現在の方程式（1...n）に付
随するｋを含むこととなる様に修正される。目的はゼロ
を速く発見することであり、方程式４により記述される
関数はゼロを持っていないかもしれないので、方程式３
において、距離に小さな値が加えられる。これは、方程
式４の中の方程式がゼロを含むことを保証するのに役立
つ。
従って、ｎ個の方程式とｎ個の未知数とがある。方程
式４を解くために、第６方程式により記述されるニュー
トン−ラプソン法（Newton−Rhapson method）を以下の
ように利用する： Ｘ（ｉ＋１）＝Xi−（Inv（〔Ｊ（Xi）〕）＊Ｆ
（Xi）） （６） 周知のとおり、ニュートン−ラプソンのアルゴリズム
はＦ（Ｘ）などのｎ個の変数のｎ個の関数のゼロを発見
するために使われる。ニュートン−ラプソンのアルゴリ
ズムを使うために、ブロック66で示されている様に、
「Ｊ（Xi）」という項で表されるヤコピアン行列（即
ち、ｎ個の関数とｎ個の未知数での一次偏導関数）を設
定しなければならない。また、ｎ個の関数とｎ個の未知
数とを有する関数ベクトル（即ち、Ｆ（Xi））を設定す
る。
方程式４の解は、方程式６による見積もりの解を定義
するブロック68により表される。
ブロック70において、解が容認できるものであるか否
か判定する試験が行われる。若し解が容認できなけれ
ば、見積もりの解はブロック72において初期設定しなお
される。
ブロック74において、ブロック58のアルゴリズムの第
二の主要なステップが始まる。このステップは、方程式
５で定義される誤差を最小にするｋを発見しようとする
ものである。ｎ個の未知数のある方程式が一つあるの
で、方程式７で記述されるニュートン−ラプソン法を次
のように利用することが出来る： Ｘ（ｉ＋１）＝Xi−（INV（〔Ｈ（Xi）〕）＊Ｇ
（Xi）） （７） 周知のとおり、ニュートン−ラプソンのアルゴリズム
は、Ｆ（Ｘ）などの、ｎ個の変数のｎ個の関数のゼロを
発見するのに利用される。ちいさなｘについては、ｘと
ｘとの間の絶対値が所定の公差未満となるまで反復が行
われる。
方程式７は、ブロック74で設定されるヘスの行列（He
ssian Marix）の使用を必要とする。周知のとおり、ヘ
スの行列は、一つの関数とｎ個の未知数とを有する二次
偏導関数の行列であり、項Ｈ（Xi）で与えられる。ま
た、方程式７を解くためには、勾配ベクトルＧ（Xi）を
設定する必要もある。方程式７の解は、ブロック76に示
されている。
ブロック78において、解が試験されて、若しその解が
容認できなければ、ブロック80でフラグ・エラーが生成
される。若しその解が容認できれば、ｋの全てが今や決
定されているので、ブロック82で新しい３次元の点が方
程式１により計算される。この新しい３次元の点を使っ
て物体18の位置及び姿勢を決定することが出来る。
再び図２及び３を参照すると、ブロック84において、
幾つかの周知の方法のうち任意の一つでカルデジアン・
オフセットが生成される。しかし、好ましくは、このカ
ルシデアン３次元オフセットは、第４巻「単位四次元法
を使用する絶対配向の閉じた形の解」という題名のバー
トホールド・ホーンの論文（Berthold Horn's paper en
titled“Closed−Form Solution of Absolute Orientat
ion Using Unit Quaternions",Vol.4）に記載されてい
る様に生成される。最後に、ブロック86において、ブロ
ック84で生成された３次元オフセットはロボットの座標
フレームに変換されて、ロボット経路をオフセットさせ
るために使われる。
上記のシステム及び方法は、構造化照明を要すること
なく僅か１個のカメラにより生成された３つの幾何学特
徴を使って３次元空間内の剛体の位置及び姿勢を決定す
ることが出来る。複数のカメラを使うことにより、シス
テム10は、カメラ20などの単一のカメラで見られたとき
に１個以上のターゲット特徴が遮られるかもしれないと
きに興味の対象たる又は使用される大きな物体について
精度を高めることが出来る。この情報を、その後にロボ
ットなどのいかなる種類の周辺装置にも伝えることが出
来る。
本発明の３次元機械視覚システム10は、高度に特殊化
した又は複雑なハードウェアの使用を必要とはせず、ま
た頑丈である（即ち、システムの性能を著しく低下させ
ずに、工作物、カメラの調整、及び周囲の明かりの小さ
な変化に耐える）。システム10の較正は速やかに且つ容
易に行われ、そして若しカメラ又はレンズの交換が必要
になったならば、そのカメラを較正するだけで良い。
例証する方法で本発明を説明したが、使用した用語
は、限定ではなくて説明を意図したものであることが理
解されなければならない。
明らかに、上記の教示に鑑みて本発明の多くの修正及
び変形が可能である。従って、付属の請求項の範囲内
で、詳しく上記した以外の方法で本発明を実施できるこ
とが理解されなければならない。
フロントページの続き (72)発明者 クラウザー ケニス ダブリュー アメリカ合衆国 ミシガン州 48063 ロチェスター ウォールブリッジ 2930 (72)発明者 コールドレン ブルース イー アメリカ合衆国 ミシガン州 48084 トロイ アプトン ロード 3406 (56)参考文献 特開 昭62−54115（ＪＰ，Ａ) 米国特許4672562（ＵＳ，Ａ)

Claims (16)

    (57)【特許請求の範囲】
  1. 【請求項１】少なくとも３つの幾何学的特徴を前記幾何
    学的特徴の数より少ない２次元センサーで撮像し、３次
    元空間内に固定された局所的座標系における前記幾何学
    的特徴を含む物体の位置及び向きを自動的に決定する方
    法であって、 前記２次元センサーの位置及び向きを前記局所的座標系
    に関連付けるセンサー較正データ（ブロック28）を生成
    し、 理想的物体の少なくとも３つの共直線的でない幾何学的
    特徴（点A,B,C,及びＤ）の前記局所的座標系における位
    置に関する基準データを生成し、 前記幾何学的特徴を前記２次元センサーにより撮像して
    ディジタルイメージを生成し（ブロック34）、前記特徴
    内の少なくとも２つは、１つの２次元センサーにより生
    成されたイメージの中にあり、 前記ディジタルイメージ内の特徴の各々の位置を求め
    （ブロック38）、 前記特徴位置及び前記センサー較正データの関数とし
    て、ディジタルイメージ内の特徴点と光学的中心を通
    る、少なくとも３本の非平行３次元線を計算し（ブロッ
    ク50,及び54）、 それぞれの３次元線上の出発点（N1,N2,N3）を決定し、 前記基準データ及びそのそれぞれの前記３次元線上の出
    発点の座標及びそれぞれの前記幾何学的特徴間の少なく
    とも３つの相互距離を利用して、各特徴の、それに関連
    する３次元線上の実際の３次元位置を決定し（ブロック
    60,62,64,66,68,70,72,74,76,78,80及び82）、且つ 前記基準データ及び前記特徴の各々の実際の３次元位置
    を利用して、前記物体の位置及び向きを決定する各ステ
    ップを含む方法。
  2. 【請求項２】前記ディジタルイメージを生成するステッ
    プは、前記ディジタルイメージを定める第１及び第２の
    ディジタルサブイメージを生成するステップを含むこと
    を特徴とする請求の範囲第１項に記載の方法。
  3. 【請求項３】前記理想的物体の前記少なくとも３つの特
    徴の各々は点であり、前記３次元線は共通点で交差する
    ことを特徴とする請求の範囲第１項に記載の方法。
  4. 【請求項４】請求の範囲第２項に記載の方法において、
    前記方法は第１及び第２の２次元センサーを利用して、
    前記第１及び第２のディジタルサブイメージをそれぞれ
    生成し、前記方法は、更に前記第２の２次元センサーの
    位置及び向きを局所的座標系に関連付けるセンサー較正
    データを生成するステップを有し、前記少なくとも３つ
    の３次元線も前記第２の２次元センサーの較正データの
    関数であることを特徴とする方法。
  5. 【請求項５】前記各特徴の３次元線上の実際の出発点を
    決定するステップは、前記理想的物体の特徴及び前記３
    次元線の各々の位置の関数として前記出発点の少なくと
    も３つの初期位置評価を生成するステップを含むことを
    特徴とする請求の範囲第１項に記載の方法。
  6. 【請求項６】前記各特徴の３次元線上の実際の３次元位
    置を決定するステップは、前記初期位置評価の対の間の
    距離と、前記物体の特徴の対の間の距離を計算するステ
    ップを含むことを特徴とする請求の範囲第５項に記載の
    方法。
  7. 【請求項７】前記各特徴の３次元線上の実際の３次元位
    置を決定するステップは、前記初期位置評価の対の間の
    距離と、前記物体の特徴の対の間の距離を最小にするス
    テップを含むことを特徴とする請求の範囲第５項に記載
    の方法。
  8. 【請求項８】少なくとも３つの幾何学的特徴を前記幾何
    学的特徴の数より少ない２次元センサーにより生成され
    たディジタルイメージから３次元空間内に固定された局
    所的座標系における前記幾何学的特徴を含む物体の位置
    及び向きを自動的に決定する視覚システムであって、 理想的物体の少なくとも３つの共直線的でない幾何学的
    特徴の前記局所的座標系における位置に関する基準デー
    タを記憶する第１手段と、 前記物体の少なくとも３つの共直線的でない幾何学的特
    徴を含む前記ディジタルイメージを生成する２次元セン
    サー手段であって、前記特徴のうち少なくとも２つは、
    １つの２次元センサーにより生成されたイメージの中に
    ある２次元センサー手段と、 前記２次元センサー手段の位置及び向きを前記局所的座
    標系に関連付けるセンサー較正データを記憶する第２手
    段と、 前記ディジタルイメージ内の特徴の各々の位置を求める
    手段と、 前記特徴位置及び前記センサー較正データの関数とし
    て、ディジタルイメージ内の特徴点と光学中心を通る少
    なくとも３本の非平行３次元線を計算する手段と、 前記３次元線上の出発点をそれに関連する基準点付近に
    おいて決定する手段と、 前記基準データ及びそのそれぞれの前記３次元線上の出
    発点の座標及びそれぞれの前記幾何学的特徴間の少なく
    とも３つの相互距離を利用して、各特徴の、ぞれに関連
    する３次元線上の実際の３次元位置を決定する手段と、 前記基準データ及び前記特徴の各々の実際の３次元位置
    を利用して、前記物体の位置及び向きを決定する手段、 を有することを特徴とする視覚システム。
  9. 【請求項９】前記２次元センサー手段は、前記ディジタ
    ルイメージを定める第１及び第２のディジタルサブイメ
    ージを生成する第１及び第２の２次元センサーを含むこ
    とを特徴とする請求の範囲第８項に記載のシステム。
  10. 【請求項１０】前記理想的物体の少なくとも３つの特徴
    の各々は点であり、前記３次元線は共通点で交差するこ
    とを特徴とする請求の範囲第８項に記載のシステム。
  11. 【請求項１１】前記２次元センサーはカメラであること
    を特徴とする請求の範囲第８項に記載のシステム。
  12. 【請求項１２】前記２次元センサーは、光学中心のある
    レンズ系を有するカメラであり、前記共通点は、前記レ
    ンズ系の前記光学中心であることを特徴とする請求の範
    囲第10項に記載のシステム。
  13. 【請求項１３】前記第２手段は、前記第１及び第２の２
    次元センサーの位置及び向きを局所的座標系に関連付け
    るセンサー較正データを記憶し、少なくとも３つの前記
    ３次元線は前記第１及び第２の２次元センサーの較正デ
    ータの関数であることを特徴とする請求の範囲第９項に
    記載のシステム。
  14. 【請求項１４】前記出発点を決定する手段は、前記理想
    的物体の特徴と前記３次元線の各々との位置の関数とし
    て前記出発点の少なくとも３つの初期位置評価を生成す
    る位置評価手段を含むことを特徴とする請求の範囲第８
    項に記載のシステム。
  15. 【請求項１５】前記各特徴の実際の３次元位置を決定す
    る手段は、前記初期位置評価の対の間の距離と前記物体
    の特徴の対の間の距離を計算する手段を含むことを特徴
    とする請求の範囲第14項に記載のシステム。
  16. 【請求項１６】前記各特徴の実際の３次元位置を決定す
    る手段は、前記初期位置評価の対の間の距離と前記物体
    の特徴の対の間の距離を最小にする手段を含むことを特
    徴とする請求の範囲第15項に記載のシステム。
JP2502100A 1988-12-21 1989-12-19 ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム Expired - Fee Related JP2612097B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US287885 1988-12-21
US07/287,885 US4942539A (en) 1988-12-21 1988-12-21 Method and system for automatically determining the position and orientation of an object in 3-D space

Publications (2)

Publication Number Publication Date
JPH03505924A JPH03505924A (ja) 1991-12-19
JP2612097B2 true JP2612097B2 (ja) 1997-05-21

Family

ID=23104794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2502100A Expired - Fee Related JP2612097B2 (ja) 1988-12-21 1989-12-19 ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム

Country Status (5)

Country Link
US (1) US4942539A (ja)
EP (1) EP0452398B1 (ja)
JP (1) JP2612097B2 (ja)
DE (1) DE68926247T2 (ja)
WO (1) WO1990007096A1 (ja)

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506682A (en) * 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
US5600759A (en) * 1989-03-20 1997-02-04 Fanuc Ltd. Robot capable of generating patterns of movement path
US5181823A (en) * 1989-10-27 1993-01-26 Grumman Aerospace Corporation Apparatus and method for producing a video display
GB2251751A (en) * 1990-10-09 1992-07-15 Gaertner W W Res Position and orientation measurement
US5684514A (en) * 1991-01-11 1997-11-04 Advanced Interaction, Inc. Apparatus and method for assembling content addressable video
FR2675573B1 (fr) * 1991-04-18 1993-07-30 Saint Gobain Isover Procede de mesures dimensionnelles d'objets en mouvement.
JP3173042B2 (ja) * 1991-05-21 2001-06-04 ソニー株式会社 ロボットの数値制御装置
US5182641A (en) * 1991-06-17 1993-01-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Composite video and graphics display for camera viewing systems in robotics and teleoperation
US5380978A (en) * 1991-07-12 1995-01-10 Pryor; Timothy R. Method and apparatus for assembly of car bodies and other 3-dimensional objects
CH684934A5 (de) * 1991-08-23 1995-02-15 Mtf Datentechnik Ag Verfahren und Vorrichtung zur Herstellung von Bewehrungen.
US6731988B1 (en) 1992-01-21 2004-05-04 Sri International System and method for remote endoscopic surgery
US6963792B1 (en) 1992-01-21 2005-11-08 Sri International Surgical method
JP3583777B2 (ja) * 1992-01-21 2004-11-04 エス・アール・アイ・インターナシヨナル テレオペレータシステムとテレプレゼンス法
US6788999B2 (en) 1992-01-21 2004-09-07 Sri International, Inc. Surgical system
US5321353A (en) * 1992-05-13 1994-06-14 Storage Technolgy Corporation System and method for precisely positioning a robotic tool
EP0576843A2 (en) * 1992-06-24 1994-01-05 Siemens Corporate Research, Inc. A method and apparatus for orienting a camera
US5724743A (en) * 1992-09-04 1998-03-10 Snap-On Technologies, Inc. Method and apparatus for determining the alignment of motor vehicle wheels
CA2143844C (en) 1992-09-04 1998-12-29 Bernie F. Jackson Method and apparatus for determining the alignment of motor vehicle wheels
US5499306A (en) * 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
EP0699053B1 (en) * 1993-05-14 1999-03-17 Sri International Surgical apparatus
US5475797A (en) * 1993-10-22 1995-12-12 Xerox Corporation Menu driven system for controlling automated assembly of palletized elements
JP2961145B2 (ja) * 1994-03-14 1999-10-12 工業技術院長 三次元変位測定方法及び三次元変位測定装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3394322B2 (ja) 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
JP3246243B2 (ja) * 1994-12-26 2002-01-15 いすゞ自動車株式会社 車線逸脱警報装置
US5649956A (en) 1995-06-07 1997-07-22 Sri International System and method for releasably holding a surgical instrument
US5814038A (en) * 1995-06-07 1998-09-29 Sri International Surgical manipulator for a telerobotic system
US5666202A (en) * 1995-08-22 1997-09-09 Kyrazis; Demos High bandwidth, dynamically rigid metrology system for the measurement and control of intelligent manufacturing processes
JP2001525074A (ja) * 1996-06-03 2001-12-04 ライカ ミクロスコピー ズュステーメ アーゲー 可動対象物の位置検出
US5943476A (en) * 1996-06-13 1999-08-24 August Design, Inc. Method and apparatus for remotely sensing orientation and position of objects
JPH10160576A (ja) * 1996-11-27 1998-06-19 Yuureka:Kk 偏光解析装置の波長変更方法
GB2366463B (en) * 1997-05-30 2002-04-17 British Broadcasting Corp Position determination
IL133233A (en) 1997-05-30 2005-05-17 British Broadcasting Corp Position determination
ES2160292T3 (es) * 1997-10-22 2001-11-01 Isra Vision Systems Ag Procedimiento para la determinacion optica de la posicion de un objeto tridimensional.
DE19812609C2 (de) * 1998-03-23 2001-12-13 Leica Geosystems Ag Verfahren zur Bestimmung der Position und Drehlage eines Objektes
US6671058B1 (en) 1998-03-23 2003-12-30 Leica Geosystems Ag Method for determining the position and rotational position of an object
US6101455A (en) * 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6852107B2 (en) 2002-01-16 2005-02-08 Computer Motion, Inc. Minimally invasive surgical training using robotics and tele-collaboration
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6398726B1 (en) 1998-11-20 2002-06-04 Intuitive Surgical, Inc. Stabilizer for robotic beating-heart surgery
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6493608B1 (en) * 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6424885B1 (en) * 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
US20020182046A1 (en) * 1999-07-23 2002-12-05 Hagen Schempf Robotic systems for handling objects
US20050135912A1 (en) * 1999-07-23 2005-06-23 Hagen Schempf Robotic systems for handling objects
JP2003510701A (ja) * 1999-09-20 2003-03-18 松下電器産業株式会社 屈曲曲面上に表示されたパターンの幾何学的特性測定方法
DE10018385A1 (de) * 2000-04-13 2001-10-18 Abb Patent Gmbh Verfahren und Vorrichtung zum selbsttätigen Be- und Entladen von Stückgut
DE60143909D1 (de) 2000-11-28 2011-03-03 Intuitive Surgical Operations Z und gefässokklusionsverschluss
US7574045B2 (en) * 2001-07-27 2009-08-11 Matrox Electronic Systems Ltd. Model-based recognition of objects using a calibrated image system
US6817974B2 (en) 2001-06-29 2004-11-16 Intuitive Surgical, Inc. Surgical tool having positively positionable tendon-actuated multi-disk wrist joint
US20060178556A1 (en) 2001-06-29 2006-08-10 Intuitive Surgical, Inc. Articulate and swapable endoscope for a surgical robot
WO2003033219A2 (de) * 2001-10-15 2003-04-24 Hermann Tropf Korrektur der relativbewegung zwischen greif- oder bearbeitungswerkzeugen und werkstücken
DE10159574B9 (de) * 2001-10-15 2009-04-30 Tropf, Hermann, Dr.-Ing. Vorrichtung und Verfahren zur Korrektur der Bewegung von Greif- und Bearbeitungswerkzeugen
WO2003064116A2 (en) * 2002-01-31 2003-08-07 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
US7386365B2 (en) 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
EP1575439B1 (en) 2002-12-06 2012-04-04 Intuitive Surgical, Inc. Flexible wrist for surgical tool
US7145478B2 (en) * 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
JP4510403B2 (ja) * 2003-05-08 2010-07-21 富士フイルム株式会社 カメラモジュール及びカメラモジュールの製造方法
CN100432626C (zh) * 2003-08-22 2008-11-12 中国人民解放军国防科学技术大学 用于消除振动环境对光测影响的姿态像机系统接力的方法
JP2007533963A (ja) 2003-09-26 2007-11-22 マイクロ−エプシロン・メステヒニク・ゲーエムベーハー・ウント・コンパニー・カー・ゲー 物体の３ｄ位置の非接触式光学的測定方法及び測定装置
EP1524494A1 (en) * 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
DE102004005380A1 (de) * 2004-02-03 2005-09-01 Isra Vision Systems Ag Verfahren zur Bestimmung der Lage eines Objekts im Raum
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
JP2008506953A (ja) * 2004-07-14 2008-03-06 ブレインテック カナダ インコーポレイテッド 機械視覚のための方法及び装置
KR100703692B1 (ko) * 2004-11-03 2007-04-05 삼성전자주식회사 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법
JP4087841B2 (ja) * 2004-12-21 2008-05-21 ファナック株式会社 ロボット制御装置
JP4512833B2 (ja) * 2004-12-21 2010-07-28 国立大学法人群馬大学 物体内部位計測システム、物体内部位計測用演算装置、物体内部位計測用プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US20070276539A1 (en) * 2006-05-25 2007-11-29 Babak Habibi System and method of robotically engaging an object
KR101477125B1 (ko) 2006-06-13 2014-12-29 인튜어티브 서지컬 인코포레이티드 미소절개 수술 시스템
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
WO2008036354A1 (en) * 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
US20080181485A1 (en) * 2006-12-15 2008-07-31 Beis Jeffrey S System and method of identifying objects
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US9350976B2 (en) 2007-11-26 2016-05-24 First Sensor Mobility Gmbh Imaging unit of a camera for recording the surroundings with optics uncoupled from a circuit board
DE102007057172B4 (de) * 2007-11-26 2009-07-02 Silicon Micro Sensors Gmbh Stereokamera zur Umgebungserfassung
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
EP2166510B1 (de) * 2008-09-18 2018-03-28 Delphi Technologies, Inc. Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
JP5815021B2 (ja) 2010-04-28 2015-11-17 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフトＢａｙｅｒｉｓｃｈｅ Ｍｏｔｏｒｅｎ Ｗｅｒｋｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 二つの車両構造部品もしくは車両構造部品以外の二つの構造部品を接合する方法
JP5745067B2 (ja) 2010-09-24 2015-07-08 アイロボット・コーポレーション Ｖｓｌａｍ最適化のためのシステムおよび方法
DE102010041356A1 (de) 2010-09-24 2012-03-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Verbinden von Bauteilen
DE102010042803B4 (de) 2010-10-22 2020-09-24 Bayerische Motoren Werke Aktiengesellschaft Bauteilverbindung
DE102011080483B4 (de) 2011-08-05 2015-07-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Herstellung eines Bauteils oder eines aus mehreren Bauteilen bestehenden Bauteilverbunds
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
JP6000579B2 (ja) * 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP5977544B2 (ja) 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
US9020637B2 (en) 2012-11-02 2015-04-28 Irobot Corporation Simultaneous localization and mapping for a mobile robot
CA2933684A1 (en) * 2012-12-14 2014-06-19 The Trustees Of Columbia University In The City Of New York Markerless tracking of robotic surgical tools
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US9687950B2 (en) 2013-03-13 2017-06-27 Trimble Inc. System and method for positioning a tool in a work space
US9375844B2 (en) 2013-03-15 2016-06-28 Intuitive Surgical Operations, Inc. Geometrically appropriate tool selection assistance for determined work site dimensions
US9860510B2 (en) 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US9037396B2 (en) 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
CN104359407A (zh) * 2014-10-31 2015-02-18 秦皇岛丰泰自动化设备制造有限公司 零件高度自动检测设备
EP3104118B1 (en) * 2015-06-12 2019-02-27 Hexagon Technology Center GmbH Method to control a drive mechanism of an automated machine having a camera
US10429272B2 (en) 2015-09-30 2019-10-01 Caterpillar Inc. Command-driven automatic and semi-automatic mobile wear detection
US10363667B2 (en) * 2015-11-30 2019-07-30 Autodesk, Inc. Optical measurement of object location in three dimensions
CN105783824B (zh) * 2016-05-11 2018-04-13 中铁电气化局集团有限公司 铁路接触网参数的测量方法
CN106052615B (zh) * 2016-05-11 2018-09-11 中铁电气化局集团有限公司 铁路接触网参数的非接触式测量方法及设备
TWI632344B (zh) * 2017-04-17 2018-08-11 國立虎尾科技大學 光學式轉軸多自由度誤差檢測裝置與方法（二）
DE102017109854A1 (de) * 2017-05-08 2018-11-08 Wobben Properties Gmbh Verfahren zur Referenzierung mehrerer Sensoreinheiten und zugehörige Messeinrichtung
CN107123148A (zh) * 2017-05-09 2017-09-01 广东工业大学 一种相机参数标定方法及装置
WO2020042032A1 (zh) * 2018-08-29 2020-03-05 深圳配天智能技术研究院有限公司 视觉焊接系统的缝隙检测方法以及系统
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
JP7282186B2 (ja) 2019-02-12 2023-05-26 コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション 状況認識監視
CN109827521B (zh) * 2019-03-11 2020-08-07 烟台大学 一种快速多线结构光视觉测量系统标定方法
EP3946825A1 (en) * 2019-03-25 2022-02-09 ABB Schweiz AG Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
US10997747B2 (en) 2019-05-09 2021-05-04 Trimble Inc. Target positioning with bundle adjustment
US11002541B2 (en) 2019-07-23 2021-05-11 Trimble Inc. Target positioning with electronic distance measuring and bundle adjustment
JP7483455B2 (ja) * 2020-03-26 2024-05-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
EP3836154A1 (en) * 2019-12-13 2021-06-16 Morten Bo Søndergaard Svendsen A method and an apparatus for imaging curved surfaces
CN111815711B (zh) * 2020-06-01 2023-08-18 佛山隆深机器人有限公司 一种基于机器人的单相机多视野标定方法
CN113211444B (zh) * 2021-05-20 2022-04-29 菲烁易维(重庆)科技有限公司 一种用于机器人标定的系统及标定方法
CN114111574B (zh) * 2021-11-23 2024-01-09 西安理工大学 高温红热目标双目线激光视觉三维测量方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2005950B (en) * 1977-10-07 1982-02-10 Secretary Industry Brit Position detecting apparatus
DE3114918A1 (de) * 1981-04-13 1983-02-03 Brockmann, W., Dr., 2000 Hamburg Verfahren und vorrichtung zur videooptischen lagebestimmung und positionierung eines starren koerpers im raum
US4488173A (en) * 1981-08-19 1984-12-11 Robotic Vision Systems, Inc. Method of sensing the position and orientation of elements in space
JPS5959397A (ja) * 1982-09-29 1984-04-05 オムロン株式会社 特徴点のラベリング装置
US4581762A (en) * 1984-01-19 1986-04-08 Itran Corporation Vision inspection system
JPS60200385A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd 姿勢判定方式
JPS61120284A (ja) * 1984-11-16 1986-06-07 Hitachi Ltd 検査対象物の画像処理方式
US4672562A (en) * 1984-12-11 1987-06-09 Honeywell Inc. Method and apparatus for determining location and orientation of objects
JPS61196110A (ja) * 1985-02-27 1986-08-30 Brother Ind Ltd 形状検査装置
US4639878A (en) * 1985-06-04 1987-01-27 Gmf Robotics Corporation Method and system for automatically determining the position and attitude of an object
US4791482A (en) * 1987-02-06 1988-12-13 Westinghouse Electric Corp. Object locating system

Also Published As

Publication number Publication date
DE68926247D1 (de) 1996-05-15
EP0452398A1 (en) 1991-10-23
EP0452398B1 (en) 1996-04-10
WO1990007096A1 (en) 1990-06-28
DE68926247T2 (de) 1996-11-28
US4942539A (en) 1990-07-17
EP0452398A4 (en) 1993-05-19
JPH03505924A (ja) 1991-12-19

Similar Documents

Publication Publication Date Title
JP2612097B2 (ja) ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム
Herrera et al. Joint depth and color camera calibration with distortion correction
Vasconcelos et al. A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder
Kumar et al. Simple calibration of non-overlapping cameras with a mirror
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
CN116362971A (zh) 用于生成后拼接全景视图的系统和方法
CN106949836B (zh) 一种立体视觉摄像头同侧目标位置标定装置及方法
Frahm et al. Pose estimation for multi-camera systems
Agrawal et al. Single image calibration of multi-axial imaging systems
CN109906471B (zh) 实时三维相机校准
Strelow et al. Precise omnidirectional camera calibration
CN112308925A (zh) 可穿戴设备的双目标定方法、设备及存储介质
CN113781576B (zh) 多自由度位姿实时调整的双目视觉检测系统、方法、装置
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
Resch et al. On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry
CN118429414A (zh) 一种基于单目相机的最优目标距离测量方法及其相关设备
Schönbein omnidirectional Stereo Vision for autonomous Vehicles
KR102591844B1 (ko) 미러를 이용한 카메라 캘리브레이션 장치
CN117406185B (zh) 雷达与相机间的外参标定方法、装置、设备及存储介质
TWI725620B (zh) 全向立體視覺的相機配置系統及相機配置方法
Han et al. Single view 3D reconstruction under an uncalibrated camera and an unknown mirror sphere
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Fusiello Three-dimensional vision for structure and motion estimation
Fernández-Rodicio et al. Projection surfaces detection and image correction for mobile robots in HRI

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080227

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090227

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees