JPH07318327A

JPH07318327A - ３次元輪郭位置補正方法

Info

Publication number: JPH07318327A
Application number: JP11062894A
Authority: JP
Inventors: Katsuyuki Tanimizu; 克行谷水; Kenichi Arakawa; 賢一荒川; Yoshimasa Yanagihara; 義正柳原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1994-05-25
Filing date: 1994-05-25
Publication date: 1995-12-08
Anticipated expiration: 2016-11-05
Also published as: JP3224687B2

Abstract

(57)【要約】【目的】直接、補正対象の輪郭等を画像観測して、そ
の位置や姿勢についての６自由度の補正を精度良く行え
る３次元輪郭位置補正方法を提供する。【構成】まず、基準の対象の輪郭に対し複数の設定位
置でのカメラ観測により画像データを獲得し、この画像
データ中で対象の輪郭の画像パターンを含むウィンドウ
領域を任意個数設定する。次に、基準の対象と同一形状
の補正対象に対して、上記設定位置での画像データを獲
得する。次に、基準の対象のウィンドウ領域と補正対象
の画像パターンとのマッチング処理を行ない、複数の画
像内での並進または回転方向の移動量を獲得する。この
結果に基づき、基準の対象の並進および回転による移動
後の位置の拘束条件式が得られる。次に、基準の対象の
移動後の３次元空間位置と上記曲面または直線との距離
が、最小になるように未知の並進量および回転量を最小
二乗法で算出する。この値に基づいて補正を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、３次元物体の輪郭や、
３次元環境内に存在する線状の対象の位置や姿勢を補正
する方法に関する。特に、予め定めておいた教示位置か
らの微小変動が生じる対象の３次元位置や姿勢を補正す
る方法に関する。

【０００２】

【従来の技術】従来より、カメラによる画像処理により
物体の位置決めを行なう際は、例えば、台上の物体の上
方にカメラを設置し、予め基準の物体を正しい位置に設
置して画像入力しておき、未知の姿勢の物体に対して同
様に画像入力を行ない、画像のマッチングを行なうこと
により、位置の補正を行なう方法がある。

【０００３】また、３次元空間内に伸びる線状の対象に
対する作業として、例えば従来より、溶接やシール剤塗
布作業のロボットによる自動化が行なわれている。通
常、ロボット作業は予め教示した経路に沿った動作の繰
り返しにより行なわれるが、対象の個体差により、作業
すべき経路が教示の経路から微妙にずれるため、作業に
先立つ経路補正が望まれている。

【０００４】一例の技術として、自動車車体の製造ライ
ンにおける、カメラによる車体の位置決め技術が報告さ
れている。車体の防水、防臭用のシール剤のロボットに
よる塗布作業の精度向上を目的とするものであるが、こ
のような作業の対象は、車体を構成する各部材の継ぎ目
であり、３次元空間内で任意の方向に延びる線状の対象
となっている。ロボットにより作業を行なう場合は、作
業に先立って、予め、基準となる車体の対象部位に対し
て、作業経路をロボットに教示しておき、作業時は、教
示通りに動作を繰り返すことにより、対象部位にシール
材を塗布する作業を行なう。しかしながら、この場合、
各車体の作業部位の３次元位置は、車体製造時の個体差
のために、必ずしも基準となる車体の教示部位の位置と
一致しておらず、微小量の変位が避けられない。

【０００５】従って、個体差による変位を補正するため
に、従来より、ロボットによる実際の作業に先立ち、カ
メラ等のセンサーを用いて観測を行ない、観測結果に基
づいてロボットの教示軌道を補正した上で、実際の作業
を実行している。

【０００６】補正方法としては、渡辺，有松：“画像処
理装置を利用した３次元位置補正システム”，Ｒｏｂｏ
ｔＮｏ．９５，ｐｐ．６２−７１（Ｎｏｖ．１９９
３）、および、國清、相澤、菅野：“車体位置ずれ検知
装置付シーリングロボットシステム”，ＲｏｂｏｔＮ
ｏ．７７，ｐｐ．８６−９５などに示される通り、ライ
ンの周囲にカメラを複数台設置して、ラインを流れてく
る車体のキャリア、車体上のゲージホールなどの基準穴
や、画像処理に適した特徴部を撮影する。カメラ毎に、
基準の車体に対して予め得られたカメラ画像の特徴位置
と、作業対象の車体について得られたカメラ画像の特徴
位置とのずれ量を検出する。そして、複数のカメラ画像
で得られたずれ量と、予めキャリブレーションされたカ
メラの位置および姿勢データを用いて、３次元的な車体
のずれ量が算出される。得られたずれ量に基づき、ロボ
ットの作業軌道を修正した後、塗布作業を行なう。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の位置補正方法では、３次元物体の位置決めの場合、
６自由度の内、カメラの光軸に垂直な平面内の並進およ
び回転の３自由度の観測は可能であるが、残りの３自由
度については観測不可能であるので、補正処理が行なえ
ないという問題がある。

【０００８】また、３次元空間の作業ラインの補正の場
合、作業対象であるラインの直接観測は行なわず、車体
の基準穴など、特徴部をカメラで観測し、算出された特
徴部の３次元的なずれ量もって作業対象のラインの位置
ずれ量としている。通常、裁断時の誤差により、作業対
象となる車体の合わせ板の端部と、基準穴などの特徴部
位との位置関係に関して、基準の車体とのずれが避けら
れないので、特徴部位の観測に基づく位置補正では、作
業の対象である３次元ラインを精度良く補正することが
できないという問題がある。

【０００９】本発明は、このような問題点を解決するた
めになされたものであり、その目的は、直接、補正対象
の輪郭等を画像観測して、その位置や姿勢についての６
自由度の補正を精度良く行うことができる３次元輪郭位
置補正方法を提供することにある。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
め、請求項１の発明では、３次元空間内での形状が基準
と同一の物体または経路などの輪郭を有する対象の位置
もしくは姿勢またはその両方を並進量もしくは回転量ま
たはその両方で補正する方法であって、先ず、３次元空
間内で対象の輪郭に対して画像計測を行なうためのカメ
ラの観測位置を設定しておき、その観測位置において、
基準となる対象の輪郭のカメラ観測により画像データを
獲得して画像メモリ等に格納し、該獲得した画像データ
中で対象の輪郭の画像パターンを含むウィンドウ領域を
任意個数だけ設定する工程を、前記基準となる対象の輪
郭に対して複数のカメラ観測位置の設定により、任意の
複数回繰り返して実施しておき、次に、前記基準となる
対象と同一形状の輪郭を有する補正対象の未知の位置も
しくは姿勢またはその両方を検出するために、前記基準
となる対象の輪郭に対して予め設定したと同一の複数の
カメラ観測位置の各々において、前記補正対象の輪郭の
カメラ観測により画像データを獲得し、次に、前記基準
となる対象について獲得した画像データのウィンドウ領
域内の画像パターンと、前記補正対象について得られた
画像データ内の画像パターンとのマッチング処理を行な
い、画像内での並進方向あるいは回転方向の移動量を検
出する工程を、同一画像内に前記設定されている複数の
ウィンドウ領域に対して実行するとともに、引き続い
て、前記予め設定された他のカメラ観測位置において、
該工程を繰り返すことにより、前記複数画像内の複数の
ウィンドウ領域に対するマッチングの結果としての前記
移動量を獲得し、次に、前記マッチングの結果に基づ
き、前記基準となる対象上の点を移動した後の位置が３
次元空間内で曲面あるいは直線上に存在するという拘束
条件式が得られることにより、前記基準となる対象の並
進および回転による移動の結果、移動後の３次元空間位
置と、前記曲面あるいは直線との距離が最小になるよ
う、３次元空間での前記補正対象の未知の並進量および
回転量を最小二乗法により算出する３次元輪郭位置補正
方法を手段とする。

【００１１】また、請求項２の発明では、ロボットが、
予め人手により教示しておいた教示軌道の繰り返しによ
り、３次元空間内の物体などの輪郭としての経路に沿っ
て動作しながら、所定の作業を行なう際に、輪郭を有す
る対象の位置もしくは姿勢またはその両方を補正する方
法であって、予め、基準となる対象の経路に対して、作
業空間内の複数のポイント指定により作業の軌道を教示
しておき、続いて、ロボットの先端に搭載したカメラを
用いてカメラ観測を行なうにあたり、先ず、基準となる
対象の経路としての輪郭に対して、画像計測を行うため
のカメラの観測位置を設定しておき、その観測位置にお
いて、前記基準となる対象の輪郭のカメラ観測により画
像データを獲得して画像メモリに格納し、該獲得した画
像データ中で対象の輪郭の画像パターンを含むウィンド
ウ領域を任意個数だけ設定する工程を、前記基準となる
対象の輪郭に対して複数の前記カメラ観測位置の設定に
より、任意の複数回繰り返して実施しておき、次に、前
記基準となる対象と同一形状の輪郭を有する補正対象の
未知の位置および姿勢を検出するために、前記基準とな
る対象の輪郭に対して予め設定したのと同一の複数のカ
メラ位置の各々において、前記補正対象の輪郭のカメラ
観測により画像データを獲得し、前記基準となる対象に
ついて獲得した画像データのウィンドウ領域内の画像パ
ターンと、前記補正対象について獲得した画像データ内
の画像パターンとのマッチング処理を行ない、画像内で
の並進方向あるいは回転方向の移動量を検出する工程
を、同一画像内に前記設定されている複数のウィンドウ
領域に対して実行するとともに、引き続いて、前記予め
設定された他のカメラ観測位置において、該工程を繰り
返すことにより、複数画像内の前記複数のウィンドウ領
域に対するマッチングの結果としての前記移動量を獲得
し、次に、前記マッチングの結果に基づき、前記基準と
なる対象上の点を移動した後の位置が３次元空間内で曲
面あるいは直線上に存在するという拘束条件式が得られ
ることにより、前記基準となる対象の並進および回転に
よる移動の結果、移動後の３次元空間位置と前記曲面あ
るいは直線との距離が最小になるよう、３次元空間での
補正対象の未知の並進量および回転量を最小二乗法によ
り算出し、次に、作業ロボットの軌道を教示する際に設
定した複数の教示点に対して、前記算出された並進量お
よび回転量に基づき、３次元座標を補正する処理を施す
ことにより、前記軌道を補正し、次に、該補正された軌
道に沿ってロボットが所定の作業を行なう３次元輪郭位
置補正方法を手段とする。

【００１２】また、請求項３の発明では、上記の方法に
おいて、対象全体として剛体が成立しない場合に、前記
対象を剛体の成立するブロックに分割し、該ブロック毎
に対象の位置もしくは姿勢またはその両方を補正する方
法を適用する３次元輪郭位置補正方法を手段とする。

【００１３】さらに、請求項４の発明では、上記の方法
において、補正対象の位置もしくは姿勢またはその両方
が基準となる対象の位置もしくは姿勢またはその両方か
ら大きくずれている場合に、予めおおよその前記補正対
象の位置もしくは姿勢またはその両方を検出し、その検
出量によりカメラ観測位置を修正して前記補正対象のカ
メラ観測を行い、算出された並進量および回転量に前記
修正と逆の修正を加える３次元輪郭位置補正方法を手段
とする。

【００１４】

【作用】本発明の３次元空間輪郭位置補正方法では、先
ず、カメラの観測位置を設定しておき、その観測位置に
おいて、３次元空間内で基準となる対象の輪郭のカメラ
観測により画像計測を行って画像データを獲得し、得ら
れた画像データ中で対象の輪郭の画像パターンを含むウ
ィンドウ領域を任意個数だけ設定する工程を、基準とな
る対象の輪郭に対して複数のカメラ観測位置の設定によ
り、任意の複数回繰り返して実施しておく。

【００１５】次に、基準となる対象と同一形状の輪郭を
有する補正対象について、未知の位置や姿勢を検出する
ために、基準となる対象の輪郭に対して予め設定したの
と同一のカメラ観測位置において、補正対象の輪郭のカ
メラ観測により画像データを獲得する。そして、基準と
なる対象の設定時に得られた画像のウィンドウ領域内の
画像パターンと、補正対象について得られた画像データ
内の画像パターンとのマッチング処理を行ない、画像内
での並進方向あるいは回転方向の移動量を検出する。こ
の一連の工程を、同一画像内に設定されている複数のウ
ィンドウ領域に対して実行し、さらに、引き続いて、予
め設定された他のカメラ観測位置においても、同様の工
程を繰り返すことにより、複数画像内の複数のウィンド
ウ領域に対するマッチングの結果としての移動量を獲得
する。

【００１６】以上の通り行なったマッチングの結果に基
づき、基準となる対象上の点の移動後の位置が３次元空
間内で、曲面あるいは直線上に存在するという拘束条件
式が得られることになる。従って、基準となる対象の並
進および回転による移動の結果、移動後の３次元空間位
置と、上記曲面あるいは直線との距離が最小になるよう
に、未知の並進量および回転量を最小二乗法により算出
することにより、３次元空間内で、形状が基準となる同
一の物体や経路など、輪郭を有する対象の位置および姿
勢を補正することができる。

【００１７】さらに、ロボットが、予め人手により教示
しておいた教示軌道の繰り返しにより、３次元空間内の
物体などの輪郭としての経路に沿って動作しながら、所
定の作業を行なうにあたり、作業対象の経路が基準の経
路と微妙にずれている場合の経路の補正方法では、まず
従来通り、予め、基準となる対象の経路に対して、作業
空間内の複数のポイント指定により作業の軌道が教示さ
れる。続いて、ロボットの先端に搭載したカメラによ
り、上述と同様に、基準の対象である経路に対して、画
像の観測、マッチングのためのウィンドウ領域の設定な
どを行なう。作業対象の経路についても、同様に、カメ
ラにより画像計測を行ない、各々のウィンドウ領域につ
いてマッチング処理を行ない、複数のマッチング結果か
ら得られる３次元空間内の平面、直線などの拘束条件式
を用いて、最小二乗法により、経路全体としての並進、
回転の変動量を算出する。

【００１８】そして、作業ロボットの軌道教示の際に設
定した複数の教示点に対して、算出された変動量に基づ
き、３次元座標を補正する処理を施すことにより補正さ
れた軌道に沿ってロボットが所定の作業を行なう。この
結果、微妙な経路の変動を補正した上で作業を行なうこ
とができるので、ロボット作業の精度が向上する。

【００１９】

【実施例】以下、図面により、本発明の一実施例として
の３次元輪郭位置補正方法について詳しく説明する。

【００２０】図１（ａ）に示すように、３次元空間内に
線状の対象（ライン）Ｌ１がある。ラインＬ１は基準ワ
ークＢ上に存在する作業ラインである。ラインＬ１に沿
ってロボットＲが作業を行なうため、予め、ロボットＲ
の軌道は、ティーチングペンダントなどを用いた３次元
空間内の複数のポイントの教示により、設定されてい
る。さて、このライン状の対象をロボットＲの先端に搭
載したカメラＣにより撮影し、画像データとする。３次
元空間の座標系の原点をＯとする。例えば、３次元空間
内の観測位置Ｑにおいて、予め設定した姿勢でカメラ撮
影することにより、図１（ｂ）に示すような画像１０１
が得られる。画像１０１内にはラインＬの一部Ｓ１が撮
影されている。続いて、画像１０１内のラインＳ１の一
部を含むようにウィンドウＷ１を設定する。ウィンドウ
Ｗ１の中心点をＰ１とする。また、後述する画像マッチ
ングのサーチ範囲Ｍ１を設定する。サーチ範囲の広さは
任意の設定が可能であり、全画像領域としてもよく、画
像の一部領域としてもよい。またサーチ範囲の形状も矩
形に限らず任意の設定が可能である。

【００２１】図１（ｂ）では、設定するウィンドウの個
数は１個としているが、これに限らず、ウィンドウの個
数は任意の設定が可能である。

【００２２】ロボットを動作させることにより、上記操
作を繰り返し、カメラＣにより任意の位置および方向か
ら撮影して、得られた各画像データの内部に上記ウィン
ドウを複数個設定する。

【００２３】作業対象のワーク（作業ワーク）上の作業
ラインに対して、ロボットが作業を行なう場合は、基準
ワークＢの作業ライン撮影時と同一の３次元空間内の複
数の点において、予め設定した姿勢でカメラ撮影を行な
い、得られた各画像内で、予め設定したウィンドウ内の
パターンに対するマッチング処理を行なう。例えば、図
１（ｃ）に示すように、作業ワークＢ２の作業ラインＬ
２に対して基準ワークの作業ライン撮影時と同一の３次
元空間内の観測位置Ｑにおいて、予め設定した同一の姿
勢でカメラ撮影を行なう。この結果、例えば、図１
（ｄ）に示すように、作業対象のラインＳ２を含む画像
１０２が得られる。

【００２４】続いて、上記の通り設定したサーチ範囲Ｍ
１の範囲内で、画像ウィンドウＷ１内の画像パターンと
一致する領域を、画像１０２内でサーチする。この結
果、例えば、最もマッチングする領域として、図１
（ｄ）のＷ２で示されるウィンドウの領域が得られ、ウ
ィンドウＷ１からウィンドウＷ２へ移動量として、並進
量Δｘ，Δｙおよび回転量θが算出される。これらの移
動量は、上記で設定した複数の画像内の各ウィンドウ領
域に対して算出される。

【００２５】さて、図１（ｂ）の作業ラインＳ１上の点
Ｐ１に着目すると、マッチング処理の結果からは、図１
（ｄ）の点Ｐ２が対応する点であるといえるが、マッチ
ング対象の画像パターンは線状の対象であり、図１
（ｂ）内のウィンドウＷ１と図１（ｄ）の画像パターン
のマッチング処理を行なっても、図１（ｄ）のラインＳ
２に沿った方向の自由度は残っていることになる。即
ち、ウィンドウＷ２は計算上最もマッチングの度合いが
高かったものであるが、照明条件など、画像取り込み時
の環境の微妙な変動により、同一対象であっても、例え
ば、ウィンドウＷ３のように、異なる位置でマッチング
の度合いが最大になることも有り得る。このように線状
の対象同士のマッチングでは、線に沿った方向の自由度
を残した状態でのマッチングが行なわれる。

【００２６】さて、図１（ｂ）の画像内の点Ｐ１に対応
する３次元空間内の点の座標は、予め、ロボットの教示
時に獲得することができる。作業ワークに対して上述の
通り獲得した画像とのマッチングの結果、ラインに沿っ
た方向の自由度が残っていることを上記で示したが、カ
メラの光軸方向の変動も観測できないので、作業ワーク
上のラインの奥行き方向にも自由度が残っている。

【００２７】画像内で観測される直線（曲線）は、３次
元空間内では平面（曲面）に対応する。従って、線状の
対象の画像マッチングの結果からは、基準ワークに対す
る作業ワークの微小変動により、３次元空間内で着目す
る１点は、空間内の平面（曲面）上の点に移動したこと
が分かる。即ち、このことから、基準ワークのライン上
の点に対して、微小変動として並進および回転が施され
た点は、３次元空間内の平面（曲面）内に存在するとい
う拘束条件が得られる。これを式で表現することとす
る。

【００２８】画像内の線分は両端の２点によって示され
る。画像内の２点によって決定される３次元空間内の平
面の式は、次の通り求められる。図２の通り、世界座標
系の原点をＯ、カメラの基準点をＴ（位置ベクトル
ｔ）、未知の対象物１および２の位置を各々Ｐ₁（位置
ベクトルｐ₁）、Ｐ₂（位置ベクトルｐ₂）、対象物１お
よび２に対応する画像内の点をＵ₁＝（ｕ₁，ｖ₁）およ
びＵ₂＝（ｕ₂，ｖ₂）とする。また、カメラの方向を単
位ベクトルｉ，ｊ，ｋで表わし、画像のＵ，Ｖ軸は各
々、ベクトルｉ，ｊに平行であるものとする。未知パラ
メータｓ₁およびｓ₂を用いて、画像内の点Ｕ₁，Ｕ₂とカ
メラの基準点Ｔと対象物１，２の点Ｐ₁，Ｐ₂の関係を表
すと、以下のようになる。

【００２９】

【数１】

【００３０】対象物の点Ｐ₁およびＰ₂とカメラの基準点
Ｔの３点を通る平面の式は、媒介変数（λ，λ′，μ，
μ′）表示により次式で得られる。即ち、

【００３１】

【数２】

【００３２】このように、画像内の線分に対応する３次
元空間内の平面の式が算出される。

【００３３】なお、撮影時のカメラの位置および姿勢を
示すパラメータは、ロボットの姿勢と、ロボットとカメ
ラ取り付け位置との関係、および、カメラキャリブレー
ションによるカメラパラメータにより、予め決定されて
いる。

【００３４】さて、カメラで観測する基準ワーク上の点
を、図１（ａ）の作業ラインＬ１上の屈曲点Ｋとした場
合、例えば、図３（ａ）に示すような画像が得られ、屈
曲点Ｋに対応する画像内の点Ｐ３を含むように、マッチ
ングのためのウィンドウＷ４が設定される。作業ワーク
に対して、上述の通り、カメラ観測を行ない、画像のマ
ッチングを行なった結果、例えば、図３（ｂ）に示すよ
うに、対応する領域としてウィンドウＷ５の領域が得ら
れる。この場合、基準ワークの画像内の点Ｐ３に対応す
る点は、ウィンドウＷ５内の点Ｐ４となる。３次元空間
内でのカメラの光軸方向の変位は観測できないので、基
準ワーク上の着目点Ｋは、作業ワーク上では、画像面へ
の投影点が点Ｐ４となる３次元空間内の直線上の任意の
点に対応することになる。

【００３５】即ち、このことから、基準ワークの屈曲部
などの特徴点に対して、微小変動として、並進および回
転が施された点は、３次元空間内の直線内に存在すると
いう拘束条件が得られる。これを式で表現することとす
る。

【００３６】まず、画像内の１点により決定される直線
を算出する。３次元空間内の点Ｐ（位置ベクトルｐ）、
観測画像内の点Ｕ＝（ｕ，ｖ）などを上記と同様に設定
する。直線をγとすると、媒介変数λを用いて、

【００３７】

【数３】

【００３８】の式で示される。ここで、方向ベクトルｐ
は、

【００３９】

【数４】

【００４０】で得られる。

【００４１】このように、画像内の点に対応する３次元
空間内の直線の式が算出される。

【００４２】さて、次に、画像マッチングによって得ら
れる拘束条件式を用いた、３次元対象の位置補正方法を
示す。

【００４３】まず、観測される作業ラインが線状のもの
である場合、画像内のウィンドウ設定により、上述の通
り、線分のパターンについてマッチング処理を行なう。
マッチングの結果、検出されるのは線分の並進、回転な
どの変位量である。基準ワーク上で表示した３次元空間
の点は、画像面への投影がマッチングされた線分となる
３次元平面上に存在することになる。このことから、上
述した通り、一つの局所領域のマッチングにより、一つ
の拘束条件式が得られる。

【００４４】ｘ軸回りの回転をα、ｙ軸回りの回転を
φ、ｚ軸回りの回転をθとし、並進移動量をΔｘ，Δ
ｙ、Δｚとする。並進およびｘ，ｙ，ｚ軸回りの回転の
変換を示す４次の斉時行列を、Ｔ，Ｒ_xα，Ｒ_yφ，Ｒ
_zθとする。例えば、

【００４５】

【数５】

【００４６】と示される。

【００４７】対象ワークの未知の位置および姿勢は、基
準ワークの位置および姿勢からのｘ，ｙ，ｚ各軸の回転
の後、並進移動によって得られたものとしたとき、変換
行列Ｒは次の通り得られる。

【００４８】

【数６】

【００４９】但し、記述を簡単化するため、ｃｏｓをＣ
で示し、ｓｉｎをＳで示している。例えば、Ｃ_θ＝ｃｏ
ｓθ，Ｓ_φ＝ｓｉｎφなどである。

【００５０】ここで回転量を微小として、α≒０，φ≒
０，θ≒０とすると、

【００５１】

【数７】

【００５２】さらに、２次以上の微小項を０として、

【００５３】

【数８】

【００５４】教示の際に、マッチングに使用するライン
の両端の点を指定する。これは、ウィンドウによって切
断されるラインの両端としてもよく、また、ウィンドウ
内に存在するラインの一部として線分の両端を指定する
ようにしてもよい。さて、局所領域における画像のウィ
ンドウマッチングにより、作業対象のライン上の対応す
る２点が得られる。

【００５５】さて、ｉ番目教示点をＰ_i、また、対応す
る作業ラインの点をＱ_iとし、各々の３次元座標を（ｘ
_pi，ｙ_pi，ｚ_pi）、（ｘ_qi，ｙ_qi，ｚ_qi）とする。

【００５６】ここで、

【００５７】

【数９】

【００５８】である。

【００５９】マッチングの結果、（３）式に従って、線
分に対応する平面が得られるが、この平面の係数ベクト
ルを、

【００６０】

【数１０】

【００６１】とする。

【００６２】画像のマッチングの結果得られる拘束平面
の式は次式の通りである。

【００６３】

【数１１】

【００６４】観測される点Ｑ_iはこの拘束平面上にある
ので、ｘ_qiは（１５）式を満たす。そこで、評価関数Ｆ
を、

【００６５】

【数１２】

【００６６】のように平面からの距離の二乗和の累積と
したときに、Ｆを最小とする微小移動量α，φ，θ，Δ
ｘ，Δｙ，Δｚを求めればよい。このため、（１６）式
を各変数について偏微分したものを０として得られる連
立方程式を解く。

【００６７】さて、画像のマッチングを屈曲点のような
特徴点に対して行なった場合、教示点の移動後の位置
は、上述の通り、直線上に拘束される。

【００６８】上述の直線γと３次元空間内の点Ｑとの距
離をδとすると、

【００６９】

【数１３】

【００７０】で得られる。この場合、（１７）式による
直線からの距離の二乗和を、評価関数Ｆに盛り込むこと
で適用可能である。線分のマッチングの場合と同様に、
（１６）式を各変数について偏微分したものを０として
得られる連立方程式を解くことによって、各変数を算出
する。

【００７１】このように、教示点が微小量移動した点の
存在する範囲が、平面あるいは直線上に限定されること
から、複数の教示点に対する拘束条件式から、最小二乗
法により、作業対象の微小変位の変動量を算出すること
ができる。

【００７２】なお、変動量の算出のためには、独立な、
必要最小限以上の個数の画像マッチング結果が得られて
いる必要がある。

【００７３】算出された６自由度の各ずれ量（移動量）
を用いて、ロボットの軌道教示時に指定した各教示点の
位置の補正量を求め、これらにより教示軌道を修正す
る。ロボットは修正された軌道に従って動作し、規定の
作業を行なう。

【００７４】微小変位の変動量を算出する際は、変動の
範囲が予めある範囲内に限定されているので、明らかに
解としてふさわしくないものを除外して算出すればよ
い。なお、予め変位の傾向が明らかであり、６自由度全
ての移動量を算出する必要のない場合は、変数を削減し
て算出すればよい。

【００７５】また、上記では、微小量の変動を扱うため
に、回転の変動がほぼゼロに等しいものとして話を進め
たが、これに限るものではなく、計算が煩雑となるが、
そのままｃｏｓ，ｓｉｎなどの項を用いて、算出するよ
うにしても差し支えない。

【００７６】なお、画像マッチングの際には、対象のパ
ターンに応じて、マッチング処理時間を短縮するため
に、回転成分を除外して、ｘ，ｙの並進方向の成分のみ
を検出するようにしてもよい。

【００７７】また、図１（ｂ）および図１（ｄ）で示し
たように、対象が線状の場合、ラインに沿った方向では
任意の位置でマッチングが行なわれることが有り得る。
この場合は、基準画像におけるウィンドウ設定時に、ラ
インに沿った方向については、マッチングのサーチ範囲
を限定するようにしてもよい。例えば、対象に生じ得る
微小変動量の最大値を上限としてもよい。なお、極端に
は、ラインに垂直方向のみにマッチングのサーチを行な
うようにしてもよい。

【００７８】図４に、本発明による位置補正方法および
作業の手順を示す。

【００７９】先ず、基準ワークの作業ラインに対して、
ティーチングペンダントなどを用いて、ロボットの軌道
を教示する。通常、軌道に沿った３次元空間内の複数の
点として教示される。この結果、基準ワークの作業ライ
ンに対しては、精度良く、ロボットが経路をたどること
ができるようになる。

【００８０】ロボットアームの先端には、予めキャリブ
レーションの施されたカメラが搭載されている。ロボッ
ト軌道の教示に続いて、ロボットを作動させ、カメラ観
測を行なうための位置を設定する。その位置において、
基準ワーク上の作業ラインをカメラにより観測し、画像
データを獲得し、画像メモリに格納する（画像入力）。
そして、画像内に画像マッチングのためのウィンドウ領
域（およびサーチ範囲など）を設定する。一つの画像内
で任意個数のウィンドウ領域が設定される。引き続き、
ロボットの動作によりカメラ観測位置を設定し、上記と
同様に、画像の獲得、ウィンドウの設定の処理を繰り返
す。

【００８１】以上の処理は、作業に先立ち１回だけ、基
準ワークに対して行なわれる。但し、信頼性向上などの
目的により、上記作業を複数回実施することによって、
最適な設定が行なえるようにしても差し支えない。

【００８２】次に、作業ワークを搬送し、それに対して
ロボット作業を行なう。作業に先立ち、上記の通り設定
した位置にロボットを動作させ、その位置においてカメ
ラ撮影し、画像データを獲得する（画像入力）。基準設
定時に得られた画像の設定ウィンドウ領域のパターン
と、作業ワークに対して得られた画像データ内のパター
ンとのマッチング処理を行なう。マッチングの結果、画
像上での対応位置が算出される。同一画像内に複数のウ
ィンドウが設定されている場合は、全てのウィンドウ領
域について、マッチング処理が行なわれる。引き続い
て、次の設定位置にロボットを移動させ、上記と同様の
画像の獲得、設定ウィンドウに対するマッチング処理を
繰り返す。

【００８３】以上の通り、複数の画像内に設定された複
数のウィンドウ領域について得られたマッチング結果を
用いて、前述したように回転、並進方向の変動量を最小
二乗法により算出する。得られた変動量は、基準ワーク
全体を剛体として得られた、並進および回転の変動量で
あるので、作業を行うロボットの軌道を補正する場合
は、軌道教示の際に設定した複数の教示点に対して、変
動量に基づき、３次元座標を補正する。この際に、ロボ
ットの動特性を考慮した上で、教示点の補正処理が行な
うようにしてもよい。

【００８４】上述の通り、ロボットの補正軌道が得られ
た後、作業ラインに対してロボットによる作業が実施さ
れる。

【００８５】各作業ワークの作業ラインに対して、上記
の処理が繰り返し行なわれる。

【００８６】上述の本発明の実施例の説明では、ロボッ
トの作業を前提として話を進めてきたが、本発明はこれ
に限らず、単に、３次元空間内の対象物の位置および姿
勢の変動量を検出するために本手法を用いることも可能
である。

【００８７】以下、本発明の他の実施例としての３次元
輪郭位置補正方法について説明する。例えば、図５
（ａ）に示すような３次元物体２０を対象とするものと
する。物体２０と同一形状の物体がコンベアＶ上を流れ
ており、物体の位置は、指定の位置からずれが生じ得る
ものとする。物体に対して、後の工程で、例えば、ロボ
ットによる把持や、部品組み付けなどの作業がなされる
ものとし、位置および姿勢を検出した上で、作業を行な
うことが要求される。

【００８８】まず、基準の物体２０を基準の位置に固定
し、矢印Ｄ１〜Ｄ５で示す複数の方向から、カメラによ
り観測する。各方向から得られた画像データ内にマッチ
ングのためのウィンドウ領域を設定する。

【００８９】次に、位置、姿勢が未知の対象物体がコン
ベアＶを流れて来た場合に、上記と同一の複数の方向か
らカメラによる観測を行なう。そして、上記設定したウ
ィンドウ領域に対して画像マッチング処理を行ない、画
像内の変動量を得る。続いて、全てのウィンドウについ
て得られた画像中の変動量を用いて、物体として３次元
的な位置および姿勢の変動量が算出され、物体の正しい
位置および姿勢が得られる。

【００９０】この例では平面内の回転および並進のみの
変動となっているが、これに限らず、例えば、作業台平
面の凹凸に微妙な変動があるために、３次元空間内で任
意の６自由度の変動が生じていても、補正が可能であ
る。

【００９１】なお、観測するカメラはロボットに搭載す
るのに限らず、任意の治具により固定するようにしても
よい。

【００９２】上述の通り、本発明による位置補正は、補
正対象のうち、剛体の成立する部分で、有効に作動す
る。線状の対象が長いために、剛体が成立しない場合
は、対象全体を剛体の成立するブロックに分割し、各ブ
ロック毎に位置補正処理を施すようにすればよい。例え
ば、図６に示すように、対象のラインが長い場合は、ね
じれなどにより、基準ワークのラインと作業ワークのラ
インとは必ずしも一致しない場合がある。この場合は、
例えば図６に示すように、全作業ラインを３つのブロッ
ク１１，１２，１３に分割し、各ブロックについて、上
述の位置補正処理を行なうようにしてもよい。この例で
は、ブロック１１はｅ₁からｅ₄およびｅ₅の途中までの
ライン、ブロック１２はｅ₄からｅ₆を越えｅ₇の途中ま
でのライン、ブロック１３はｅ₅の後からｅ₉までのライ
ンとなっている。

【００９３】また、物体の全体の形状は基準と作業対象
とで異なっても、局所的には基準と形状が一致する部分
があれば、その局所部位について、本手法を適用するこ
とにより、局所部の位置補正を行なうことができる。

【００９４】対象の位置および姿勢が、基準となる対象
の位置および姿勢から大きくずれている場合には、予め
ラフに位置姿勢を検出した上で、本発明の手法により位
置姿勢を補正するようにしてもよい。例えば、図５
（ａ）に示すような物体が、図５（ｂ）に示すように、
同一の安定姿勢において大きく回転している場合、指定
の位置からカメラ観測する作業に先立ち、例えば、上方
からカメラ観測を行ない、平面内の回転量をラフを検出
しておき、予め指定したカメラの観測方向Ｄ１からＤ５
に対して、得られた回転量分の回転を施した後、所定の
画像獲得、画像マッチングなどの処理を行なうようにす
ればよい。

【００９５】

【発明の効果】以上、詳述した通り、請求項１に代表さ
れる本発明の３次元輪郭位置補正方法によれば、補正対
象を直接カメラ観測し、基準の対象の画像内のウィンド
ウ領域に対するマッチング処理により得られる、３次元
空間内の点の変動後の位置が平面上あるいは直線上に拘
束されるという関係式を複数個用いて、最小二乗法を適
用することにより、３次元空間内の線状の対象物あるい
は輪郭の位置や姿勢を算出する、という極めて簡素な構
成により、３次元の補正対象の輪郭の基準の位置や姿勢
からのずれを、６自由度の変動量として算出して、その
位置や姿勢を正確に補正することができる。

【００９６】また、請求項２の発明によれば、特に、ロ
ボット作業を行なう経路の個体差により生じる教示ライ
ンからのずれを、直接、作業ラインをカメラ観測するこ
とによって獲得することができ、作業に先立ち、ロボッ
トの軌道を正確に補正することができる。

【００９７】また、請求項３の発明によれば、特に、剛
体の成立する局所的な部位に分割してカメラ観測を行う
ようにしたので、全体が長かったりするような対象で
も、局所部のみの、あるいは剛体の成立する部位毎に輪
郭位置の補正を行なうことができる。

【００９８】さらに、請求項４の発明によれば、特に、
補正対象の位置や姿勢を検出して、予めラフにカメラ観
測位置を修正した上で、輪郭位置の補正処理を行うよう
にしたので、補正対象の位置や姿勢が基準よりも大きく
ずれている場合でも、輪郭位置の補正を行うことができ
る。

【図面の簡単な説明】

【図１】（ａ），（ｂ），（ｃ），（ｄ）は本発明の一
実施例における基準ワークと作業ワークに対するカメラ
撮影法および画像のマッチング法に関する説明図

【図２】上記実施例における３次元座標系におけるカメ
ラ位置、撮影対象位置、画像内座標との対応に関する説
明図

【図３】（ａ），（ｂ）は上記実施例における屈曲点の
カメラ観測により得られる画像データとウィンドウ領域
のマッチング処理を示す図

【図４】本発明による位置補正方法を用いてロボット作
業を行なう場合の手順を示す図

【図５】（ａ），（ｂ）は３次元物体の位置および姿勢
検出のために本発明の輪郭位置補正方法を適用する場合
の説明図

【図６】長い作業ラインに本発明の輪郭位置補正方法を
適用する場合のブロック単位の分割を示す図

【符号の説明】

Ｒ…ロボットＣ…カメラＬ１，Ｌ２，Ｓ１，Ｓ２…作業ラインＢ…基準ワークＢ２…作業ワーク１０１，１０２…画像データＷ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５…ウィンドウＭ１…サーチ範囲Ｑ…カメラの観測位置Ｐ１，Ｐ２…３次元空間内の点Ｕ１，Ｕ２…画像内の点Ｏ…世界座標系原点Ｔ…カメラの基準点Ｋ…屈曲点Ｄ１〜Ｄ５…カメラ観測方向１１，１２，１３…ブロックｅ₁〜ｅ₉…ライン上の点Ｖ…コンベア

Claims

【特許請求の範囲】

【請求項１】３次元空間内での形状が基準と同一の輪
郭を有する対象の位置もしくは姿勢またはその両方を並
進量もしくは回転量またはその両方で補正する方法であ
って、先ず、３次元空間内で予め設定したカメラ観測位置にお
いて、基準となる対象の輪郭のカメラ観測により画像デ
ータを獲得し、該獲得した画像データ中で対象の輪郭の
画像パターンを含むウィンドウ領域を任意個数だけ設定
する工程を、前記基準となる対象の輪郭に対して複数の
前記カメラ観測位置の設定により、任意の複数回繰り返
して実施しておき、次に、前記基準となる対象に対して予め設定したと同一
の複数のカメラ観測位置の各々において、補正対象の輪
郭のカメラ観測により画像データを獲得し、次に、前記基準となる対象について獲得した画像データ
のウィンドウ領域内の画像パターンと、前記補正対象に
ついて得られた画像データ内の画像パターンとのマッチ
ング処理を行ない、画像内での並進方向あるいは回転方
向の移動量を検出する工程を、同一画像内に前記設定さ
れている複数のウィンドウ領域に対して実行するととも
に、引き続いて、前記予め設定された他のカメラ観測位
置において該工程を繰り返すことにより、複数画像内の
前記複数のウィンドウ領域に対するマッチングの結果と
しての前記移動量を獲得し、次に、前記マッチングの結果に基づき、前記基準となる
対象上の点を移動した後の位置が３次元空間内で曲面あ
るいは直線上に存在するという拘束条件式が得られるこ
とにより、前記基準となる対象の並進および回転による
移動後の３次元空間位置と前記曲面あるいは直線との距
離が最小になるよう、３次元空間での前記補正対象の未
知の並進量および回転量を最小二乗法により算出するこ
とを特徴とする３次元輪郭位置補正方法。
【請求項２】ロボットが、予め人手により教示してお
いた教示軌道の繰り返しにより、３次元空間内の輪郭と
しての経路に沿って動作しながら、所定の作業を行なう
際に、輪郭を有する対象の位置もしくは姿勢またはその
両方を補正する方法であって、予め、基準となる対象の経路に対して、作業空間内の複
数のポイント指定により作業の軌道を教示しておき、続いて、ロボットの先端に搭載したカメラを用いてカメ
ラ観測を行なうにあたり、先ず、予め設定したカメラ観
測位置において、前記基準となる対象の輪郭のカメラ観
測により画像データを獲得し、該獲得した画像データ中
で対象の輪郭の画像パターンを含むウィンドウ領域を任
意個数だけ設定する工程を、前記基準となる対象の輪郭
に対して複数の前記カメラ観測位置の設定により、任意
の複数回繰り返して実施しておき、次に、前記基準となる対象に対して予め設定したと同一
の複数のカメラ観測位置の各々において、補正対象の輪
郭のカメラ観測により画像データを獲得し、次に、前記基準となる対象について獲得した画像データ
のウィンドウ領域内の画像パターンと、前記補正対象に
ついて獲得した画像データ内の画像パターンとのマッチ
ング処理を行ない、画像内での並進方向あるいは回転方
向の移動量を検出する工程を、同一画像内に前記設定さ
れている複数のウィンドウ領域に対して実行するととも
に、引き続いて、前記予め設定された他のカメラ観測位
置において、該工程を繰り返すことにより、複数画像内
の前記複数のウィンドウ領域に対するマッチングの結果
としての前記移動量を獲得し、次に、前記マッチングの結果に基づき、前記基準となる
対象上の点を移動した後の位置が３次元空間内で曲面あ
るいは直線上に存在するという拘束条件式が得られるこ
とにより、前記基準となる対象の並進および回転による
移動後の３次元空間位置と前記曲面あるいは直線との距
離が最小になるよう、３次元空間での前記補正対象の未
知の並進量および回転量を最小二乗法により算出し、次に、作業ロボットの軌道を教示する際に設定した複数
の教示点に対して、前記算出された並進量および回転量
に基づき、３次元座標を補正する処理を施すことによ
り、前記軌道を補正し、次に、該補正された軌道に沿ってロボットが所定の作業
を行なうことを特徴とする３次元輪郭位置補正方法。
【請求項３】対象全体として剛体が成立しない場合
に、前記対象を剛体の成立するブロックに分割し、該ブ
ロック毎に対象の位置もしくは姿勢またはその両方を補
正する方法を適用することを特徴とする請求項１または
請求項２記載の３次元輪郭位置補正方法。
【請求項４】補正対象の位置もしくは姿勢またはその
両方が基準となる対象の位置もしくは姿勢またはその両
方から大きくずれている場合に、予めおおよその前記補
正対象の位置もしくは姿勢またはその両方を検出し、そ
の検出量によりカメラ観測位置を修正して前記補正対象
のカメラ観測を行い、算出された並進量および回転量に
前記修正と逆の修正を加えることを特徴とする請求項１
または請求項２記載の３次元輪郭位置補正方法。