JP3556589B2 - 位置姿勢認識装置 - Google Patents

位置姿勢認識装置 Download PDF

Info

Publication number
JP3556589B2
JP3556589B2 JP2000285526A JP2000285526A JP3556589B2 JP 3556589 B2 JP3556589 B2 JP 3556589B2 JP 2000285526 A JP2000285526 A JP 2000285526A JP 2000285526 A JP2000285526 A JP 2000285526A JP 3556589 B2 JP3556589 B2 JP 3556589B2
Authority
JP
Japan
Prior art keywords
sensor
dimensional
sensor means
recognition device
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000285526A
Other languages
English (en)
Other versions
JP2002090113A (ja
Inventor
淳 渡辺
克俊 滝澤
一訓 伴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2000285526A priority Critical patent/JP3556589B2/ja
Priority to US09/950,794 priority patent/US7171041B2/en
Priority to DE60121105T priority patent/DE60121105T2/de
Priority to EP01307958A priority patent/EP1190818B1/en
Publication of JP2002090113A publication Critical patent/JP2002090113A/ja
Application granted granted Critical
Publication of JP3556589B2 publication Critical patent/JP3556589B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39393Camera detects projected image, compare with reference image, position end effector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40613Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本願発明は、種々のファクトリオートメーションに適用可能な位置姿勢認識装置に関し、更に詳しく言えば、2次元情報を取得するセンサと3次元情報を取得するセンサとを適宜併用した複合的な位置姿勢計測装置に関する。
【0002】
【従来の技術】
製造ラインにおける組み立て作業、加工作業等においては、各種のセンサを用いて種々の対象物の位置や形状を検出することが頻繁に行なわれる。通常、対象物の位置を大局的に計測するには2次元画像を取得出来るセンサが有効である。例えば、CCDカメラを用いる場合、光学系(レンズ)を適当に選択することによって比較的広い視野を持たせることが容易である。これに対して、局所的な位置や形状を3次元的に計測するにはレーザセンサが有効である。
【0003】
レーザセンサはロボットの手先部に搭載が容易であり、レーザセンサの出力をロボットコントローラに取り入れるようにした場合、至近距離から対象物へレーザビームを投射して対象物の細部の位置、形状等を精密且つリアルタイムに計測出来る等の特徴を有している。そのため、レーザセンサはロボットシステム等に頻繁に装備され、例えば、アーク溶接、シーリング、計測などの分野で広く利用されている。
【0004】
レーザセンサは、レーザ光をスポット光ビームで走査するものと、スリット光を投射するものとがある。いずれの型のレーザセンサを用いた場合も、スポット光ビームあるいはスリット光を対象物面上に確実に投射しなければならない。対象物がある程度の精度で一定位置に位置決めされていれば、該一定位置の近傍位置をロボットにアプローチ位置として予め教示しておくことで、スポット光ビームあるいはスリット光を対象物面上に投射される状態を迅速に現出することは容易である。
【0005】
しかし、アプリケーションによっては、対象物の位置決めが行なわれず未知の場合や、位置決めの精度に信頼性がない場合が少なくない。そのような場合には、ロボットなどの移動手段を用いて移動させながらレーザセンサのスポット光ビームあるいはスリット光をプローブに用いて対象物をサーチし、対象物を発見しなければ、レーザセンサによるメインの計測(例えば、形状測定)を開始することが出来ない。
【0006】
レーザセンサは元来広範囲の測定には不向きであるから、対象物サーチとそれに続く対象物へのアプローチ動作に時間を要し、場合によっては、対象物を確実にサーチすること自体が困難な場合もあり得る。
【0007】
【発明が解決しようとする課題】
そこで、本願発明の目的は、対象物の位置や姿勢が未知であっても、例えばレーザセンサのように比較的狭い領域のセンシングしか出来ないセンサの使用を可能にし、しかも、同センサによる対象物の2次元情報または3次元情報の認識を適正な位置と姿勢で確実に行えるようにした認識装置を提供することにある。
【0008】
【課題を解決するための手段】
本願発明に従った認識装置は、先ず前提構成として、対象領域内の2次元情報を取得する第1のセンサ手段と、同対象領域と比較して相対的に狭い領域内の対象領域内の情報を取得する第2のセンサ手段とを含む。ここで、第2のセンサ手段が取得する情報は、2次元情報あるいは3次元情報である。
【0009】
そして、本願発明の認識装置は、遠近が未知の対象物を認識するものであって、第1のセンサ手段により取得された対象物の情報を含む2次元情報と、第1のセンサ手段の位置及び姿勢とに基づいて、同対象物と第1のセンサ手段とを結ぶ3次元空間上の直線を求める手段と、第2のセンサ手段による同対象物の認識が可能になる該第2のセンサ手段の位置及び姿勢を前記直線から求める手段と、第2のセンサ手段を前記求めた位置及び姿勢に移動させる手段とを備える。
【0010】
そして、本願発明の認識装置は、この移動手段により第2のセンサ手段を上記の求めた位置及び姿勢に移動させた後に、第2のセンサ手段により同対象物の2次元情報または3次元的な位置姿勢情報を取得することにより、同対象物の2次元情報または3次元情報を認識する。
【0011】
第2のセンサ手段は2次元情報を取得するものであり、且つ、第1のセンサ手段が第2のセンサ手段を兼ねていても良い。また、第2のセンサ手段は、光照射手段と受光手段を備え、3次元的な位置姿勢測定を行なう機能を有していても良い。
【0012】
その場合、この受光手段を2次元情報を取得する2次元センサとしても良く、更に、第2のセンサ手段に第1のセンサ手段を兼ねさせることも可能である。
【0013】
第2のセンサ手段が光照射手段と受光手段を備え、3次元的な位置姿勢測定を行なう機能を有していいる場合、第2のセンサ手段が対象物の認識を行なう位置及び姿勢は、光照射手段の光照射方向が上記の求められた直線(対象物と第1のセンサ手段とを結ぶ直線)に一致すように決定されて良く、また、受光手段の光軸方向が同直線に一致するように決定されても良い。
【0014】
以上のいずれのケースにあっても、上記の3次元空間上の直線を求める手段、あるいは、第2のセンサ手段の位置及び姿勢を求める手段は、産業用ロボットのロボットコントローラに設けられていて良い。また、第2のセンサ手段を認識を行なう適所として求められた位置及び姿勢に移動させる手段として、産業用ロボットを用いることが出来る。
【0015】
本願発明の重要なポイントは、比較的広域内で2次元情報を取得出来る第1のセンサ手段で対象物を先ず見付け、その際に第1のセンサ手段と対象物とを結ぶ空間(現実の3次元空間)上の「直線」を求め、この「求められた直線」を、比較的狭い領域内での2次元情報または3次元情報を取得するに適した第2のセンサ手段の「対象物の認識(観測)に適した位置と姿勢」を定めるために利用した点にある。
【0016】
具体的な手順に即して言えば、先ず、第1のセンサで対象領域の2次元画像を取得し、同2次元画像を処理して対象物を2次元画像上で見つけ出し、2次元画像上での対象物の位置を検出する。ここで、「対象領域」は、対象物が存在する可能性があると考えられる範囲をカバーし得る領域のことである。
【0017】
この段階で判ることは、対象物の(現実の3次元)空間上の位置が第1のセンサのカメラが同対象物を捉えている「視線」上にあることである。即ち、対象物の遠近は未知である。この「視線」は、周知のように、カメラレンズのレンズ中心と結像面上の同対象物の結像位置とを結ぶ直線として、第1のセンサのカメラキャリブレーションで得られれたデータから決定出来る。
【0018】
即ち、キャリブレーションによって得られるデータから、「結像面上の同対象物の結像位置」乃至「画像上の対象物の位置」と、「視線の位置と方向」との関係を知ることが出来る。
【0019】
一般的に言えば、画像空間(2次元)上の位置(u、v)が判れば、同位置を通る視線(直線)が判る。この視線(直線)が表わす方程式は「視線方程式」とも呼ばれる。
【0020】
そこで、この視線を「第1のセンサと対象物を結ぶ直線」として利用出来る。なお、より厳密に言えば、「対象物の位置」は、「対象物上のある点(代表点という)の位置」の意味であり、「第1のセンサと対象物を結ぶ直線」とは、「第1のセンサと対象物上の代表点を結ぶ直線」のことである。
【0021】
さて、このようにして得られる「第1のセンサと対象物を結ぶ直線」は、第2のセンサを用いて行なうより詳細な認識(例えば、対象物のより正確な位置、姿勢、形状、寸法など)に適した位置と姿勢を定めるにあたって有効利用される。何故ならば、対象物は間違いなく求められた「空間上の直線」上に存在するのであるから、同直線上あるいはその近傍に第2のセンサを移動させ、同直線と整合する方位に第2のセンサの視野を向けるような姿勢をとれば、対象物を確実にとらえることが出来る。
【0022】
例えば、第2のセンサが光照射手段と受光手段を備え、3次元的な位置姿勢測定を行なう機能を有していれば、光照射の方向あるいは受光手段の光軸の方向を基準にして第2のセンサの姿勢を決めれば良い。
【0023】
【発明の実施の形態】
図1は、本願発明の1つの実施形態に係る3次元位置姿勢認識システムの全体配置の概要を説明する図である。一例として、システムはロボット(産業用ロボット;以下同じ)によるワークのハンドリング(ピックアップと搬送)に適用されている。ここで、ワークは複数個がそれぞれ位置や姿勢がバラバラな状態にある。ハンドリング作業をこのような状態から開始するに際して、本システムはその特徴を発揮する。
【0024】
同図に示したように、システム全体は、ロボットコントローラ1、画像処理装置2、レーザセンサ(本体部。以下、同様)10、レーザセンサ制御部20、CCDカメラ30並びにロボット40から構成されている。レーザセンサ10は、ロボット40の手先部(ツール先端点TCPの近傍)に搭載されているが、CCDカメラ30は外部、例えばワークパレット50の上方に設置され、画像処理装置2とともに広域用センサ(第1のセンサ手段)を構成する。そのために、その設置位置と姿勢は、視野31がワークWの供給領域であるワークパレット50の全体をカバー出来るように定められている。
【0025】
前述した、画像空間(2次元)上の位置(u、v)と視線(直線)との関係をCCDカメラ30について予め知っておくためのキャリブレーションは完了済みとする。画像上の位置(u、v)と3次元座標系(適当に設定されたワーク座標系)上での位置同関係を表わすデータは、画像処理装置2内のメモリに格納されている。
【0026】
狭域用センサ(第2のセンサ手段)として採用されているレーザセンサ10は、周知のスポット光投射型あるいはスリット光投射型いずれであっても良いが、ここでは後者を採用したケースについて、図2を参照図に加えて述べる。
【0027】
レーザセンサ10のレーザ光照射部13は、レーザ発振器11及び12を備え、光検出部(受光部)14は受光素子14aと結像用の光学系14bを有している。レーザ発振器11及び12は、照射口付近に装備された円柱レンズを通してそれぞれスリット光LB1、LB2を出力する。
【0028】
また、レーザセンサ10は、レーザセンサ制御部20を介して画像処理装置2に接続されている。CCDカメラ30も、画像処理装置2に接続されている。このように、画像処理装置2は、レーザセンサ(本体部10と制御部20)とCCDカメラ30で共用される。
【0029】
回線24を介して画像処理装置2からレーザセンサの動作指令を受けると、レーザ駆動部21、22がレーザ発振器11、12を駆動し、レーザスリット光LB1、LB2を発生させる。
【0030】
対象物面上の反射点S1(スリット光LB1の任意の1本のビームL1の入射点)、S2(スリット光LB2の任意の1本のビームL2の入射点)で拡散反射されたレーザ光は、光学系14bにより反射点S1、S2の位置に応じて受光素子14a上に像を作る。該受光素子には、CCDなどが利用出来る。本例では、受光素子14aとして2次元CCDアレイが使用されている。
【0031】
図3には、2つのレーザスリット光LB1、LB2が乗る平面、その交線LC、光照射部13、光検出部14等の位置関係が描かれている。レーザセンサ10に関するキャリブレーションは完了しており、その結果(キャリブレーションデータ)は画像処理装置2内のメモリに格納されている。レーザセンサ10のキャリブレーションデータには、2つのレーザスリット光LB1、LB2が乗る平面(2つ)がレーザセンサ10の本体に対してなす位置と姿勢(固定的な値)が含まれる。また、交線LCについても、それら平面のデータから随時計算し得る。
【0032】
従って、レーザセンサ10の本体(センサに固定された座標系の位置、姿勢)とロボットに設定された座標系(ロボット座標系;例えばロボット40のアーム先端に固定された座標系)との関係を求めておけば、レーザスリット光LB1、LB2が乗る平面及び交線LCのロボット座標系上での位置と方向が既知となる。周知のように、この関係は一般に4行×4列の同次変換行列で表わされ、レーザセンサのキャリブレーションで求められる。ここでは、このキャリブレーションも完了し、そのデータは画像処理装置2内のメモリに格納されている。
【0033】
以下、図4〜図6を参照図に加えて本実施形態におけるシステムの動作のプロセスを説明する。
通常、画像処理装置2はロボットコントローラ1からワーク検出指令が来るのを待っている(S1)。ワーク検出指令を受信したならば、ワーク検出のための処理シーケンスが進み、CCDカメラに撮影指令が出力され(S2)、ワークWの画像を含むワークパレット50全体の2次元画像が取得され、画像処理装置2内のフレームメモリに格納される(S3)。
【0034】
この画像の一例を示せば図5のようになっている。図5において、符号70は検出されたワークWの代表点(例えばワーク輪郭画像の重心)であり、この代表点70の2次元画像上の位置(u70、v70)が、画像処理装置2内で画像処理プロセッサを用いて求められる。更に、この2次元画像上の位置(u70、v70)に対応する視線32が、キャリブレーションで得たデータから計算される。
【0035】
ワークWを代表する点70はこの視線上にあるから、この視線の位置、姿勢(ワーク座標系上での方程式)が、この段階で判っている「ワークWの位置、姿勢(の情報)」となる。ここではこれをロボット座標系上のデータに変換したものを求める(S4)。なお、この変換には、ロボットコントローラ1のメモリに格納されている座標系設定データ(ロボット座標系とワーク座標系の関係を表わす4行×4列の同次変換行列)が利用される。
【0036】
ここで注意すべきことは、点70で代表されるワークWの位置には、不確定さが残っていることである。即ち、図6に示すように、透視変換の原理により、ワークW(代表点70)の3次元空間上での位置は視線32上に限定されるが、ワークWとカメラ30との間の距離が未知なので、視線32上での遠近は判らない。例えば、位置75と位置76の判別が出来ない。
【0037】
この視線32の情報(ロボット座標系上)は、「第1のセンサ手段と対象物を結ぶ直線」を表わす情報としてロボットコントローラ1に送られる(S5)。
【0038】
次に、ロボット40に搭載されたレーザセンサ10(第2のセンサ手段)を用いて対象物Wを認識(計測)するに適した位置、姿勢が計算される(S6)。この計算は、ロボットコントローラ1内で行なわれて良い。この計算において使われる条件の1つは、「視線32と交線LC(図3参照)を一致させる」という条件である。レーザセンサ10の遠近の条件については、予め適当な付加条件を課しておけば良い。
【0039】
付加条件は、例えばワーク座標系をパレット50上にXY平面が乗るように設定しておき、「ロボット40の位置のワーク座標系上でのZ座標値が一定値Z0 である」とすれば良い。ロボットコントローラ1は、これら条件の下で算出された位置、姿勢へロボット40を移動させる。なお、レーザセンサ10の交線LCの「向き」を指定する情報が必要になるが、これについても、上記ワーク座標系を使って、ロボット40の姿勢の1成分(ワーク座標系上)に条件を付けておけば良い(レーザセンサ10が下向きとなるようなロボット姿勢の指定)。
【0040】
この移動が完了した時点で、レーザセンサ10は、レーザスリット光LB1、LB2を、その交線LCが視線32に一致し、交線LCが点70で対象物70に遭遇するように照射し得る状態にある。
【0041】
移動が終るとロボットコントローラ1から画像処理装置2へ移動完了が伝えられる。すると、画像処理装置2はレーザセンサ10に撮影指令(動作指令)を出力する(S7)。すると、レーザセンサ10が動作し、レーザスリット光LB1、LB2が照射され、その交線LCは点70で対象物70に遭遇する(S8)。
【0042】
ここで、レーザセンサ10は3次元センサであるから、点70で代表される対象物の3次元位置が計測出来る。また、レーザスリット光LB1、LBに対応する反射像(受光素子14a上)から、対象物Wの姿勢なども検出出来る(S9)。
【0043】
従って、ワークWが他のワークの上に斜めに乗り上げているような場合や、ワークWの高さが一定でない場合であっても、それら(高さ、傾斜など)を検出することが出来る。そのため、その高さ、傾斜に合わせてロボット40による把持時の位置、姿勢を制御することが可能となる。
【0044】
なお、一旦、レーザセンサ10の交線LCで対象物Wを捉えた後であれば、ロボット40の位置あるいは姿勢を少量変えて点70以外に交線LCを入射させる条件で測定を行ない、より詳細な情報を得ることも容易である。
【0045】
次に、図7は別の実施形態(変形実施形態)で使用可能な配置を示している。この変形実施形態は、パレット50の大きさ(広域センサの要カバー範囲)が余り大きくない場合に適している。
【0046】
図7に示した配置が上記実施形態(図1)と異なっているのは、レーザセンサの受光部に第1のセンサ手段の役割を兼備させることに対応して、CCDカメラ30がロボット40に、レーザセンサ110の受光部140として搭載されていることである。光照射部130は、レーザセンサ10の光照射部13と同様である。その他は、変形実施形態は図1に示した配置と共通した構成を有している。
【0047】
但し、レーザセンサ110のCCDカメラ30は、前述の実施形態と同様の撮影時に2次元画像を取得するために使用するモードと、レーザセンサ110のレーザスリット光の反射光検知のモードの切換使用が可能なように画像処理装置2あるいはロボットコントローラ1に格納されるシステム動作のためのソフトウェアが変更されている。また、CCDカメラ30と同様のキャリブレーションが受光部(結像レンズ付きであることに注意)14について完了し、キャリブレーションで得たデータが画像処理装置20のメモリに格納済みであるとする。
【0048】
本変形実施形態におけるシステムの動作のプロセスの概略は次のようになる。なお、前述の実施形態と重複する説明は極力避ける。
【0049】
画像処理装置2がロボットコントローラ1からワーク検出指令を受信したならば、レーザセンサ制御部20に通常撮影モードの動作指令が出力され、ワークWの画像を含むワークパレット50全体の2次元画像がCCDカメラ30によって取得され、画像処理装置2内のフレームメモリに格納される。
【0050】
この画像の例は図5に示した通りである。前述の実施形態と同様に、代表点70の2次元画像上の位置(u70、v70)から視線32が、キャリブレーションで得たデータを使って計算される。
【0051】
この視線32(即ち、レーザセンサ110の受光部140の受光軸)の情報(ロボット座標系上)は、「第1のセンサ手段と対象物を結ぶ直線」を表わす情報としてロボットコントローラ1に送られる。
【0052】
次に、ロボット40に搭載されたレーザセンサ110(第2のセンサ手段)を用いて対象物Wを認識(計測)するに適した位置、姿勢が計算される。この計算はは、ロボットコントローラ1内で行なわれて良い。この計算において使われる条件は、前述の実施形態と同様で良い。即ち、「視線32と交線LC(図3参照)を一致させる」という条件と、レーザセンサ110の遠近の条件を定める適当な付加条件である。
【0053】
この移動が完了するとロボットコントローラ1から画像処理装置2へ移動完了が伝えられ、画像処理装置2はレーザセンサ110にレーザスリット光撮影モードでの撮影指令を出力する。すると、レーザセンサ110が動作し、レーザスリット光LB1、LB2が照射され、その交線LCは点70で対象物70に遭遇する。レーザスリット光LB1、LB2の反射像は、CCDカメラ30の受光素子上に結像する。画像処理装置2は、レーザセンサ10の通常の機能を遂行するためのソフトウェア処理に従って検出結果を解析し、対象物Wの3次元的な位置、姿勢取得する。
【0054】
なお、上述した2つの実施形態では、第2のセンサ手段は3次元センサとしたが、用途によっては、2次元センサでも良い。その場合でも、例えば、第1のセンサで定めた「対象物と第1のセンサを結ぶ直線」に基づいて認識位置・姿勢(対象物の認識を行なうセンサの位置と姿勢)を定めることが出来る点に変わりはない。
【0055】
また、上述の各実施形態ではセンサの移動手段にロボットを使用したが、センサの位置、姿勢を制御出来るものであれば、他の移動手段(例えば姿勢制御可能なXYZテーブル)が使用されても良いことは明らかである。
【0056】
【発明の効果】
本願発明によれば、対象物の位置、高さ、姿勢などが不特定なケースであっても、第1のセンサ手段の取得する2次元画像を利用して定められる「対象物と第1のセンサを結ぶ直線」に基づいて、第2のセンサ手段による認識位置・姿勢を対象物の捉え損ねなしに適正に定められるので、各種の作業の自動化に資するところが大きい。
【図面の簡単な説明】
【図1】本願発明の1つの実施形態に係る3次元位置姿勢認識システムの全体配置の概要を説明する図である。
【図2】レーザセンサの構成と動作の概要を説明するための図である。
【図3】2つのレーザスリット光LB1、LB2が乗る平面、その交線LC、光照射部13、光検出部14等の位置関係を描いた図である。
【図4】実施形態における動作のプロセスを説明するフローチャートである。
【図5】第1のセンサ手段により取得される2次元画像のの一例を示した図である。
【図6】視線と対象物の関係について説明する図である。
【図7】図7は別の実施形態(変形実施形態)で使用可能な配置を示している。
【符号の説明】
1 ロボットコントローラ
2 画像処理装置
10、110 レーザセンサ(本体部)
11、12 レーザ発振器
13、130 レーザ光照射部
14、140 光検出部(受光部)
14a 受光素子(2次元CCDアレイ)
14b 結像用の光学系
20 レーザセンサ制御部
30 CCDカメラ
32 視線
40 ロボット
70 ワークの代表点
W ワーク
LB1、LB2 レーザスリット光
LC LB1、LB2の交線

Claims (9)

  1. 対象領域内の2次元情報を取得する第1のセンサ手段と、前記対象領域と比較して相対的に狭い領域内の対象領域内の2次元情報または3次元情報を取得する第2のセンサ手段とを含む、遠近が未知の対象物を認識する位置姿勢認識装置において:
    前記第1のセンサ手段により取得された対象物の情報を含む2次元情報と、前記第1のセンサ手段の位置及び姿勢とに基づいて、前記対象物と前記第1のセンサ手段とを結ぶ3次元空間上の直線を求める手段と;
    前記第2のセンサ手段による前記対象物の認識が可能になる該第2のセンサ手段の位置及び姿勢を前記3次元空間上の直線から求める手段と;前記第2のセンサ手段を前記求めた位置及び姿勢に移動させる手段とを備え、
    前記移動手段により前記第2のセンサ手段を前記求めた位置及び姿勢に移動させた後に、前記第2のセンサ手段により前記対象物の2次元情報または3次元的な位置姿勢情報を取得することにより、前記対象物の2次元情報または3次元情報を認識することを特徴とする、認識装置。
  2. 前記第2のセンサ手段は2次元情報を取得するものであり、
    前記第2のセンサ手段が、前記第1のセンサ手段を兼ねていることを特徴とする、請求項1に記載された認識装置。
  3. 前記第2のセンサ手段は、光照射手段と受光手段を備え、3次元的な位置姿勢測定を行なう機能を有していることを特徴とする、請求項1に記載された認識装置。
  4. 前記第2のセンサ手段が備える前記受光手段が、2次元情報を取得する2次元センサであることを特徴とする、請求項3に記載された認識装置。
  5. 前記第2のセンサ手段が、前記第1のセンサ手段を兼ねていることを特徴とする、請求項4に記載された認識装置。
  6. 前記第2のセンサ手段が前記対象物の認識を行なう位置及び姿勢が、前記光照射手段の光照射方向が前記空間上の前記直線に一致するように決定されることを特徴とする、請求項3〜請求項5のいずれか1項に記載された認識装置。
  7. 前記第2のセンサ手段が前記対象物の認識を行なう位置及び姿勢が、前記受光手段の光軸方向が前記空間上の前記直線に一致するように決定されることを特徴とする、請求項1〜請求項6のいずれか1項に記載された認識装置。
  8. 前記空間上の直線を求める手段、あるいは、前記第2のセンサ手段の位置及び姿勢を求める手段が、産業用ロボットのロボットコントローラに設けられていることを特徴とする、請求項1〜請求項7のいずれか1項に記載された、認識装置。
  9. 前記移動手段が産業用ロボットである、請求項1〜請求項8のいずれか1項に記載された、認識装置。
JP2000285526A 2000-09-20 2000-09-20 位置姿勢認識装置 Expired - Fee Related JP3556589B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000285526A JP3556589B2 (ja) 2000-09-20 2000-09-20 位置姿勢認識装置
US09/950,794 US7171041B2 (en) 2000-09-20 2001-09-13 Position-orientation recognition device
DE60121105T DE60121105T2 (de) 2000-09-20 2001-09-19 Vorrichtung zur Position-Orientierungserkennung
EP01307958A EP1190818B1 (en) 2000-09-20 2001-09-19 Position-orientation recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000285526A JP3556589B2 (ja) 2000-09-20 2000-09-20 位置姿勢認識装置

Publications (2)

Publication Number Publication Date
JP2002090113A JP2002090113A (ja) 2002-03-27
JP3556589B2 true JP3556589B2 (ja) 2004-08-18

Family

ID=18769581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000285526A Expired - Fee Related JP3556589B2 (ja) 2000-09-20 2000-09-20 位置姿勢認識装置

Country Status (4)

Country Link
US (1) US7171041B2 (ja)
EP (1) EP1190818B1 (ja)
JP (1) JP3556589B2 (ja)
DE (1) DE60121105T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746855B2 (en) 2012-09-03 2017-08-29 Canon Kabushiki Kaisha Information processing system, method, and program
US20240275488A1 (en) * 2021-09-08 2024-08-15 Airbus Defence And Space Sas Method for transmitting data by a spacecraft comprising a laser transmission module

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3859571B2 (ja) 2002-10-17 2006-12-20 ファナック株式会社 3次元視覚センサ
JP3859574B2 (ja) 2002-10-23 2006-12-20 ファナック株式会社 3次元視覚センサ
DE102004005574B3 (de) * 2004-02-05 2005-07-14 Daimlerchrysler Ag Robotersystem mit Werkzeug, Kamera und Lichtquelle
JP4508820B2 (ja) * 2004-10-19 2010-07-21 株式会社ワコム 3次元情報検出システム及び3次元情報入力装置
US20070277919A1 (en) 2006-05-16 2007-12-06 The Boeing Company Systems and methods for monitoring automated composite manufacturing processes
EP2036660A1 (de) * 2007-09-12 2009-03-18 Hans Oxenfarth Verfahren und Vorrichtung zur lage- und winkelkompensierten Bauteilbefestigung
KR101461185B1 (ko) 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
JP5198078B2 (ja) * 2008-01-24 2013-05-15 株式会社日立製作所 計測装置および計測方法
ITTO20080450A1 (it) * 2008-06-11 2009-12-12 Opm S P A Metodo e gruppo di rilevamento e di comando per la presa di prodotti
JP2010112975A (ja) * 2008-11-04 2010-05-20 Nidec Sankyo Corp 可動板の駆動ユニット。
JP5282717B2 (ja) * 2009-10-19 2013-09-04 株式会社安川電機 ロボットシステム
TWI404609B (zh) * 2010-10-21 2013-08-11 Ind Tech Res Inst 機械手臂系統參數的校正方法與校正裝置
CN102859319A (zh) * 2011-04-19 2013-01-02 三洋电机株式会社 信息获取装置以及物体检测装置
CN103959763B (zh) * 2011-12-09 2017-06-09 惠普发展公司,有限责任合伙企业 用于基于定向来生成图像的装置和方法
JP5854815B2 (ja) * 2011-12-20 2016-02-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6000579B2 (ja) * 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5977544B2 (ja) 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
CN102645219B (zh) * 2012-05-16 2014-12-03 航天科工哈尔滨风华有限公司 用于焊缝检测的爬壁机器人的视觉导航系统的焊缝的焊接定位方法及焊缝偏移量获取方法
DE102014100538B4 (de) * 2014-01-17 2022-09-08 Pi4_Robotics Gmbh Verfahren zum Kalibrieren eines Roboters und einer Kamera und System zum Durchführen des Verfahrens
CN103776378A (zh) * 2014-02-27 2014-05-07 上海思琢自动化科技有限公司 一种非接触式柔性在线尺寸测量系统
CN105091678B (zh) * 2014-05-20 2017-03-29 中国能源建设集团有限公司工程研究院 一种地下爆破全方位装药自动寻孔方法、装置及系统
JP2016070762A (ja) * 2014-09-29 2016-05-09 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
CN104280740A (zh) * 2014-10-11 2015-01-14 三峡大学 一种基于摄像机与激光测距传感器联合定位爆破孔的装置及定位方法
CN104359423B (zh) * 2014-11-18 2017-02-22 刘杰波 表面轮廓的测量装置
JP6486679B2 (ja) 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
DE102015100983A1 (de) 2015-01-23 2016-07-28 Sick Ag Verfahren zur Lokalisierung von Greifpunkten von Objekten
CN104858870A (zh) * 2015-05-15 2015-08-26 江南大学 基于末端编号靶球的工业机器人测量方法
CN105139005A (zh) * 2015-09-23 2015-12-09 无锡市中捷减震器有限公司 具有工件识别标示功能的检测装置
JP2018051728A (ja) * 2016-09-30 2018-04-05 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
JP2018176334A (ja) 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
US10894676B2 (en) 2017-07-17 2021-01-19 Symbolic Llc Apparatus and method for building a pallet load
JP7062911B2 (ja) 2017-10-11 2022-05-09 セイコーエプソン株式会社 ロボットシステム
CN109978925B (zh) * 2017-12-27 2021-04-20 深圳市优必选科技有限公司 一种机器人位姿的识别方法及其机器人
CN110842908A (zh) * 2018-08-21 2020-02-28 广州弘度信息科技有限公司 一种机器人及其辅助定位方法
CN110231036B (zh) * 2019-07-19 2020-11-24 广东博智林机器人有限公司 一种基于十字激光和机器视觉的机器人定位装置及方法
CN114643599B (zh) * 2020-12-18 2023-07-21 沈阳新松机器人自动化股份有限公司 一种基于点激光和面阵相机的三维机器视觉系统及方法
WO2023276238A1 (ja) * 2021-07-02 2023-01-05 ソニーグループ株式会社 ロボット制御装置、およびロボット制御方法
DE112021008021T5 (de) * 2021-09-30 2024-08-01 Fanuc Corporation System zur positions- und haltungsmessung
WO2023171687A1 (ja) * 2022-03-08 2023-09-14 京セラ株式会社 ロボット制御装置及びロボット制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985846A (en) 1989-05-11 1991-01-15 Fallon Patrick J Acoustical/optical bin picking system
CA2089017C (en) 1992-02-13 1999-01-19 Yasurou Yamanaka Method of mounting wheel to vehicle
JPH0970780A (ja) * 1995-09-06 1997-03-18 Fanuc Ltd ロボットのツール形状補正方式
JP3904605B2 (ja) * 1995-12-27 2007-04-11 ファナック株式会社 複合センサーロボットシステム
US6415051B1 (en) * 1999-06-24 2002-07-02 Geometrix, Inc. Generating 3-D models using a manually operated structured light source

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746855B2 (en) 2012-09-03 2017-08-29 Canon Kabushiki Kaisha Information processing system, method, and program
US20240275488A1 (en) * 2021-09-08 2024-08-15 Airbus Defence And Space Sas Method for transmitting data by a spacecraft comprising a laser transmission module

Also Published As

Publication number Publication date
DE60121105D1 (de) 2006-08-10
EP1190818A2 (en) 2002-03-27
US20020034327A1 (en) 2002-03-21
US7171041B2 (en) 2007-01-30
EP1190818B1 (en) 2006-06-28
EP1190818A3 (en) 2004-01-21
JP2002090113A (ja) 2002-03-27
DE60121105T2 (de) 2006-11-16

Similar Documents

Publication Publication Date Title
JP3556589B2 (ja) 位置姿勢認識装置
JP5290324B2 (ja) 空間内において少なくとも1つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム
US5461478A (en) Method and apparatus for measuring three-dimensional position and orientation of an object using light projection
US4611292A (en) Robot vision system
EP0812662B1 (en) Composite sensor robot system
US6763284B2 (en) Robot teaching apparatus
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
CN102448679B (zh) 至少一个物体以高精度定位到空间最终位置的方法和系统
JP4015161B2 (ja) 産業用ロボットの制御装置
US20080252248A1 (en) Device and Method for Calibrating the Center Point of a Tool Mounted on a Robot by Means of a Camera
WO1998057782A1 (en) Method and device for robot tool frame calibration
JP2017019072A (ja) 位置計測システム
JP2000288968A (ja) 教示モデル生成装置
JP2000288974A (ja) 画像処理機能を持つロボット装置
JP2000293695A (ja) 画像処理装置
US7502504B2 (en) Three-dimensional visual sensor
JP2007101197A (ja) 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法
JP6869159B2 (ja) ロボットシステム
US5363185A (en) Method and apparatus for identifying three-dimensional coordinates and orientation to a robot
JP2000009422A (ja) 走行車両の距離測定装置
US20220048199A1 (en) Referencing pose manipulation system for marker based tracking of position measurement system
JP2004050356A (ja) 可動体の位置および姿勢検出装置
JP6031368B2 (ja) ワークとの相関位置決め方法
JPS6332306A (ja) 無接触三次元自動寸法測定方法
JPH0545117A (ja) 光学式3次元位置計測方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20031202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040203

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040512

R150 Certificate of patent or registration of utility model

Ref document number: 3556589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees