JP3453861B2 - 画像処理による変位検出方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像内の対象図形につ
いてテンプレートに対する位置と回転との変位を求める
ようにした画像処理による変位検出方法に関するもので
ある。

【０００２】

【従来の技術】従来より、生産ラインなどにおいて対象
物の画像をＴＶカメラなどの画像入力装置によって撮像
した後に、画像をディジタル化し各種の画像処理を施す
ことによって、対象物の位置、向き、形状などを認識す
ることが行なわれている。たとえば、ロボットにより対
象物をつかむときには、対象物についてグリッピングポ
イントとして定められた箇所をつかむ必要があり、この
場合に対象物の位置や向きを認識することが必要にな
る。すなわち、ロボットの視覚センサとして対象物の位
置や向きを認識することが要求される。

【０００３】対象物の位置や向きを画像処理によって認
識する方法としては、画像入力装置の視野で規定される
画像内での標準の位置に標準の形状を有したテンプレー
トを設定し、対象物を撮像して得た対象図形のテンプレ
ートに対する位置や回転を認識する方法が、テンプレー
トマッチング方式として提案されている。テンプレート
マッチング方式を採用する場合に、対象図形のテンプレ
ートに対する位置は重心を代表点として用いれば重心の
相対位置によって認識できる。一方、回転を認識するに
は、図形の主軸を求める処理が比較的簡単であるところ
から、テンプレートと対象図形との主軸の方向を比較す
る方法が提案されている。

【０００４】

【発明が解決しようとする課題】ところで、テンプレー
トや対象図形の主軸は、向きについては認識されないも
のであるから、テンプレートに対して対象図形が１８０
度回転していても主軸の方向は一致することになる。す
なわち、主軸の方向は画像内に規定した座標系の座標軸
に対して±９０度の範囲でしか求めることができず、上
述のような用途でのロボットの視覚センサとして用いる
ことができないという問題がある。

【０００５】このような問題を解決するために、対象物
の形状に特有な性質を制約条件に用いることによってテ
ンプレートに対する対象図形の回転角度を±１８０度の
範囲で求めるようにする方法が各種提案されている。し
かしながら、いずれの方法も特定の対象物について、そ
の対象物に特有な性質を利用しているものであるから、
汎用的に用いることができないという問題がある。

【０００６】本発明は上記問題点の解決を目的とするも
のであり、対象図形の形状にはかかわりなくテンプレー
トに対する対象図形の変位、とくに回転に関する変位を
求めることができるようにした画像処理による変位検出
方法を提供しようとするものである。

【０００７】

【課題を解決するための手段】請求項１の発明は、画像
内の対象図形についてテンプレートにより設定した標準
位置に対する変位を求める方法であって、テンプレート
について重心を原点とし主軸の方向と座標軸とが規定角
度をなす基準座標系での座標位置によって変位検出領域
を規定し、対象図形の重心を原点とし主軸の方向と上記
規定角度をなす対象座標系で上記変位検出領域に相当す
る座標位置の比較対象領域を抽出し、比較対象領域と変
位検出領域との一致度を評価し、一致度が小さく所定の
評価条件を満たさないときには対象座標系を１８０度回
転させて比較対象領域を再抽出した後に一致度を評価
し、一致度が所定の評価条件を満たすときには基準座標
系におけるテンプレートと対象図形との重心の相対位置
および基準座標系と対象座標系との座標軸の相対角度を
テンプレートに対する対象図形の変位とすることを特徴
とする。

【０００８】請求項２の発明は、画像内に同種の対象図
形が複数個含まれるときに、各対象図形について比較対
象領域を抽出し、各比較対象領域について一つのテンプ
レートの変位検出領域に対する一致度を順次評価し、評
価条件を満たさない対象図形についてはその対象図形に
設定した対象座標系を１８０度回転させて比較対象領域
を再抽出した後に一致度を評価することを特徴とする。

【０００９】請求項３の発明は、画像内に異種の対象図
形が複数個含まれるときに、各対象図形について比較対
象領域を抽出し、各比較対象領域について複数種類のテ
ンプレートの変位検出領域に対する一致度を順次評価
し、評価条件を満たさない対象図形についてはその対象
図形に設定した対象座標系を１８０度回転させ比較対象
領域を再抽出した後に一致度を評価し、評価条件を満た
す変位抽出領域のうち一致度が最大になる変位検出領域
を規定したテンプレートに対してその対象図形の変位を
求めることを特徴とする。

【００１０】

【作用】請求項１の発明の方法では、テンプレートにつ
いて重心を原点とし主軸の方向に対して座標軸が規定角
度をなす基準座標系において、重心の回りに回転させた
ときに形状が変化する領域を基準座標系での座標位置に
よって変位検出領域として規定し、対象図形についても
重心を原点とし主軸の方向に対して上記規定角度をなす
座標軸を持った対象座標系を設定して、対象座標系に対
して変位検出領域に相当する座標位置の領域を抽出して
比較対象領域としているのであって、変位検出領域と比
較対象領域とが一致していれば、基準座標系と対象座標
系との座標軸のなす角度によってテンプレートと対象図
形との回転角度を求めることができる。一方、変位検出
領域と比較対象領域とが一致しないときには、テンプレ
ートに対して対象図形が９０度以上回転しているものと
判断し、対象座標系を１８０度回転させて比較対象領域
を再抽出することにより、変位検出領域と比較対象領域
との一致度の比較を可能とするのである。要するに、テ
ンプレートについて変位検出領域を設定し、かつ対象図
形について変位検出領域に相当する比較対象領域を設定
することで、主軸について向きを評価できる要素を加え
ることができ、しかも、重心および主軸の方向に基づい
て変位検出領域および比較対象領域を設定するから、主
軸について向きを評価する制約条件として対象図形に特
有な性質を用いておらず、対象図形の形状にかかわりな
く汎用的に用いることができるのである。

【００１１】請求項２の発明の方法によれば、画像内に
同種の対象図形が複数個含まれる場合について、一つの
テンプレートを用いて各対象図形に請求項１の方法を適
用することで、各対象図形の変位を知ることができるの
である。請求項３の発明の方法によれば、画像内に異種
の対象図形が複数個含まれる場合について、各対象図形
について抽出した比較対象領域と、複数のテンプレート
の変位検出領域との一致度を評価するとともに、一致度
の小さい対象図形は対象座標系を１８０度回転させ比較
対象領域を再抽出して一致度を評価し、評価条件を満た
す変位抽出領域のうち一致度が最大になる変位検出領域
をもつテンプレートに対してその対象図形の変位を求め
るのであって、複数種類の対象図形が存在する場合で
も、各対象図形ごとに最適なテンプレートを選択して対
象図形の変位を検出することができるのである。

【００１２】

【実施例】

（実施例１）本実施例では、図３に示すように、画像内
に一つの対象図形Ｉｓが存在する場合を例示する。対象
図形Ｉｓは、図２のように、対象物を含む空間領域をＴ
Ｖカメラのような画像入力装置１で撮像し、前処理部２
でディジタル画像に変換し、２値化することによって背
景と分離される（対象図形Ｉｓは輪郭線抽出によって外
周を囲んだ形で得るようにしてもよい）。２値化画像は
画像メモリ３に格納され、画像メモリ３に格納された対
象図形Ｉｓ（図３（ｂ）参照）について、以下のような
画像処理が施されることによってテンプレートＴｐ（図
３（ａ）参照）に対する変位が求められる。

【００１３】まず、テンプレートＴｐの設定について説
明する。テンプレートＴｐは、基準となる対象物を撮像
することによって得た２値化画像をテンプレート格納部
４に登録することによって設定される。またこのとき、
特徴抽出部５において、図１（ａ）に示すように、テン
プレートＴｐとなる図形の重心Ｇｔ、主軸Ａｔの方向を
求める（Ｓ１）。ここにおいて、必要に応じてテンプレ
ートＴｐとなる図形の面積、周囲長なども併せて求める
ようにしてもよい。主軸Ａｔの方向は、画像入力装置１
の視野に対応する画像において規定した座標系の座標軸
に対して求められる。また、テンプレートＴｐについて
は、重心Ｇｔを原点とし上記座標系の座標軸と平行な座
標軸を有する基準座標系を基準座標設定部６で設定す
る。したがって、基準座標系の座標軸と主軸Ａｔとの間
の角度によって主軸Ａｔの方向を規定することができ
る。次に、テンプレートＴｐについて重心Ｇｔを中心と
して１８０度回転させたときに、面積や形状が変化する
ような小領域を変位検出領域抽出部７で変位検出領域Ｄ
ｃとして抽出する（Ｓ２）。変位検出領域Ｄｃについて
は、人手によって経験的に設定することができる。ま
た、この変位検出領域Ｄｃは、基準座標系の座標位置に
よって特定される。たとえば、図３（ａ）では変位検出
領域Ｄｃを矩形状とし、対角線上の両端の座標（Ｘｓ，
Ｙｓ）（Ｘｅ，Ｙｅ）によって規定してある。このよう
にして求めた変位検出領域Ｄｃを変位検出領域格納部８
に格納する（Ｓ３）。このとき、変位検出領域格納部８
には、変位検出領域Ｄｃに対する一致度を評価するため
の評価条件を同時に格納しておくとよい。このような評
価条件は人手によって経験的に設定すればよい。

【００１４】上述のようにして変位検出領域Ｄｃを設定
した後、テンプレートＴｐに対する対象図形Ｉｓの変位
を求める。対象図形Ｉｓは、図１（ｂ）に示すように、
特徴抽出部５において重心Ｇｉ、主軸Ａｉの方向が求め
られ、また必要に応じて面積や周囲長も求められる（Ｓ
４）。対象図形Ｉｓについて重心Ｇｉと主軸Ａｉの方向
とが決定されると、対象座標設定部９において対象図形
Ｉｓの重心Ｇｉを原点とし、基準座標系の座標軸に対す
るテンプレートＴｐの主軸Ａｔの角度と同じ関係で、対
象図形Ｉｓの主軸Ａｉに対して設定した座標軸を有する
対象座標系が設定される。このような対象座標系を設定
すれば、基準座標系における変位検出領域Ｄｃに相当す
る比較対象領域Ｄｏを対象座標系での座標位置によって
抽出することができる。すなわち、比較対象領域抽出部
１０で比較対象領域Ｄｏを抽出し、比較対象領域Ｄｏを
比較対象領域格納部１１に格納した後、基準座標系で求
めた変位検出領域Ｄｃの座標位置を対象座標系に適用す
ることで比較対象領域Ｄｏを抽出するのである（Ｓ
５）。テンプレートＴｐに対する基準座標系の座標軸の
向きと、対象図形Ｉｓに対する対象座標系の座標軸の向
きとが一致していれば、変位検出領域Ｄｃと比較対象領
域Ｄｏとはほぼ一致するはずであるから、変位検出領域
Ｄｃと比較対象領域Ｄｏとの一致度を比較照合部１２で
評価する。

【００１５】比較照合部１２における評価は、たとえ
ば、変位検出領域Ｄｃと比較対象領域Ｄｏとの図形の重
複する画素数を適宜閾値と比較することによって行なわ
れる。このような評価方法と閾値とは、上述したように
変位検出領域Ｄｃにあらかじめ格納しておくのが望まし
い。ところで、図３（ｂ）のように、対象図形Ｉｓがテ
ンプレートＴｐに対して９０度以上回転しているときに
は、変位検出領域Ｄｃと比較対象領域Ｄｏとの一致度は
小さくなる。これは、テンプレートＴｐに対する基準座
標系の座標軸の向きと、対象図形Ｉｓに対する対象座標
系の座標軸の向きとが９０度以上異なるからである。そ
こで、一致度に適宜の評価条件を設定し、一致度が評価
条件を満たさない程度に小さいときには、図３（ａ）
（ｂ）のように、テンプレートＴｐに対して対象図形Ｉ
ｓが９０度以上回転しているものと判断して、対象座標
系を１８０度回転させた後、比較対象領域抽出部１０で
比較対象領域Ｄｏを再抽出する（Ｓ６）。言い換えれ
ば、対象座標系の座標軸に対して対象図形Ｉｓの主軸Ａ
ｉがθの角度をなす場合に、変位検出領域Ｄｃと比較対
象領域Ｄｏとの一致度が小さいときには、θ−１８０°
あるいはθ＋１８０°として座標軸を設定すればよいの
である。このようにして比較対象領域抽出部１０を再抽
出した後に、変位検出領域Ｄｃとの一致度を再判定して
テンプレートＴｐと対象図形Ｉｓとの一致を確認する。

【００１６】上述の処理によって変位検出領域Ｄｃと比
較対象領域Ｄｏとの一致度が評価条件を満たす程度に大
きいと判定されたときには、テンプレートＴｐと対象図
形Ｉｓとの位置を基準座標系（画像内で規定した座標系
と同等）での重心Ｇｔ，Ｇｉの相対位置として求め、ま
たテンプレートＴｐと対象図形Ｉｓとの回転角度を基準
座標系と対象座標系との回転角度として求めることがで
きる。このようにして位置と回転との変位について求め
ることができれば、対象物をロボットなどでつかむ際の
グリッピングポイントをどの対象物についてもほぼ一定
になるように決定することができるのである。なお、画
像入力装置１を除く上記各構成はマイクロコンピュータ
に適宜の画像取込装置と適宜のソフトウェアとを組み合
わせて用いることで実現される。

【００１７】上記処理では、１種類の対象図形Ｉｓにつ
いて説明しているが、異なる複数種類の対象図形Ｉｓが
任意の順序で画像メモリ３に格納される場合には、あら
かじめ対象図形Ｉｓの種類に応じた複数種類のテンプレ
ートＴｐについて求めた変位検出領域Ｄｃを変位検出領
域格納部８に格納しておき、比較対象領域Ｄｏとの一致
度を順次求め（このとき、評価条件が満たされない場合
には対象座標系を１８０度回転させて、比較対象領域Ｄ
ｏを再抽出する）、評価条件を満たした変位検出領域Ｄ
ｃのうち一致度がもっとも大きい変位検出領域Ｄｃを設
定したテンプレートＴｐを、対象図形Ｉｓに対するテン
プレートＴｐとして採用すればよい。あるいはまた、面
積や周囲長によって対象図形Ｉｓに対するテンプレート
Ｔｐの候補を絞り込んだ後に、候補のテンプレートＴｐ
の変位検出領域Ｄｃと対象図形Ｉｓの比較対象領域Ｄｏ
との一致度を評価することで、対象図形Ｉｓの変位を求
めるとともに、採用するテンプレートＴｐを決定しても
よい。

【００１８】（実施例２）本実施例では、画像入力装置
１の視野内において同種の対象物が複数個存在する場合
についての処理方法を例示する。すなわち、図４に示す
ように、画像メモリ３に格納される画像には同種の対象
図形Ｉｓが複数個存在することになる。ここで用いるテ
ンプレートＴｐは１種類でよく、各対象図形Ｉｓごとに
画素の連結成分を求めれば各対象図形Ｉｓを識別するこ
とができる。また、必要に応じて各対象図形Ｉｓにラベ
リングを施して、どの対象図形Ｉｓについて変位を求め
ているかを識別するのが望ましい。各対象図形Ｉｓを個
別に識別することができれば、以後は、各対象図形Ｉｓ
ごとに実施例１と同様の処理を順次施して変位を求める
ことができる。他の手順については実施例１と同様であ
る。

【００１９】（実施例３）本実施例は、画像入力装置１
の視野内において異種の対象物が複数個存在する場合に
ついての処理方法を例示する。すなわち、図５に示すよ
うに、画像メモリ３に格納される画像には異種の対象図
形Ｉｓａ，ｌｓｂが存在する。この場合には、複数種類
のテンプレートＴｐが必要になり、各テンプレートＴｐ
について変位検出領域Ｄｏを設定することになる。各対
象図形Ｉｓａ，Ｉｓｂについては、実施例２と同様に画
素の連結成分を求めることによって個別に識別し、必要
に応じてラベリングを施す。対象図形Ｉｓａ，Ｉｓｂの
変位は各対象図形Ｉｓａ，Ｉｓｂごとに順次求められる
のであって、１つの対象図形Ｉｓａ，Ｉｓｂについては
各テンプレートＴｐが順次照合される。すなわち、各テ
ンプレートＴｐについて設定した変位検出領域Ｄｃに対
応するように、１つの対象図形Ｉｓａ，Ｉｓｂの比較対
象領域Ｄｏを抽出して一致度を求め、一致度が小さけれ
ば対象座標系を１８０度回転させて一致度を再確認する
という手順を繰り返すのである。このようにして、一致
度が評価条件を満たすテンプレートＴｐのうち一致度が
最大であるテンプレートＴｐをその対象図形Ｉｓａ，Ｉ
ｓｂに対するテンプレートＴｐとして採用し、このテン
プレートＴｐに対して変位を求めるのである。ここで、
変位検出領域Ｄｃと比較対象領域Ｄｏとの一致度を評価
する前に、テンプレートＴｐと対象図形Ｉｓａ，Ｉｓｂ
との面積や周囲長によって照合すべきテンプレートＴｐ
の候補を絞り込むようにしてもよい。他の手順は実施例
１と同様である。

【００２０】

【発明の効果】請求項１の発明は、テンプレートについ
て重心を原点とし主軸の方向に対して座標軸が規定角度
をなす基準座標系において、重心の回りに回転させたと
きに形状が変化する領域を基準座標系での座標位置によ
って変位検出領域として規定し、対象図形についても重
心を原点とし主軸の方向に対して上記規定角度をなす座
標軸を持った対象座標系を設定して、対象座標系に対し
て変位検出領域に相当する座標位置の領域を抽出して比
較対象領域としているので、変位検出領域と比較対象領
域とが一致していれば、基準座標系と対象座標系との座
標軸のなす角度によってテンプレートと対象図形との回
転角度を求めることができ、また、変位検出領域と比較
対象領域とが一致しないときには、テンプレートに対し
て対象図形が９０度以上回転しているものと判断し、対
象座標系を１８０度回転させて比較対象領域を再抽出す
ることにより、変位検出領域と比較対象領域との一致度
の比較が可能となるという効果がある。要するに、テン
プレートについて変位検出領域を設定し、かつ対象図形
について変位検出領域に相当する比較対象領域を設定す
るので、主軸について向きを評価できる要素を加えるこ
とができ、しかも、重心および主軸の方向に基づいて変
位検出領域および比較対象領域を設定するから、主軸に
ついて向きを評価する制約条件として対象図形に特有な
性質を用いておらず、対象図形の形状にかかわりなく汎
用的に用いることができるという利点を有するのであ
る。

【００２１】請求項２の発明は、画像内に同種の対象図
形が複数個含まれる場合について、一つのテンプレート
を用いて各対象図形に請求項１の方法を適用するので、
各対象図形の変位を個別に知ることができるという利点
を有する。請求項３の発明は、画像内に異種の対象図形
が複数個含まれる場合について、各対象図形について抽
出した比較対象領域と、複数のテンプレートの変位検出
領域との一致度を評価するとともに、一致度の小さい対
象図形は対象座標系を１８０度回転させ比較対象領域を
再抽出して一致度を評価し、評価条件を満たす変位抽出
領域のうち一致度が最大になる変位検出領域をもつテン
プレートに対してその対象図形の変位を求めるので、複
数種類の対象図形が存在する場合でも、各対象図形ごと
に最適なテンプレートを選択して対象図形の変位を検出
することができるという利点がある。

【図面の簡単な説明】

【図１】実施例１の動作説明図である。

【図２】実施例１のブロック図である。

【図３】実施例１の概念説明図である。

【図４】実施例２を適用する画像の例を示す図である。

【図５】実施例３を適用する画像の例を示す図である。

【符号の説明】

１ 画像入力装置 ２ 前処理部 ３ 画像メモリ ４ テンプレート格納部 ５ 特徴抽出部 ６ 基準座標設定部 ７ 変位検出領域格納部 ８ 変位検出領域格納部 ９ 対象座標設定部 １０ 比較対象領域抽出部 １１ 比較対象領域格納部 １２ 比較照合部 Ａｉ 主軸 Ａｔ 主軸 Ｇｉ 重心 Ｇｔ 重心 Ｄｃ 変位検出領域 Ｄｏ 比較対象領域 Ｉｓ 対象図形 Ｔｐ テンプレート

───────────────────────────────────────────────────── フロントページの続き (72)発明者 西島 潤 大阪府門真市大字門真1048番地松下電工 株式会社内 (56)参考文献 特開 平６−89341（ＪＰ，Ａ) 特開 平１−285809（ＪＰ，Ａ) 特開 平４−361104（ＪＰ，Ａ) 特開 平６−183175（ＪＰ，Ａ) 特開 平２−79184（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30 G06T 7/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 画像内の対象図形についてテンプレート
   により設定した標準位置に対する変位を求める方法であ
   って、テンプレートについて重心を原点とし主軸の方向
   と座標軸とが規定角度をなす基準座標系での座標位置に
   よって変位検出領域を規定し、対象図形の重心を原点と
   し主軸の方向と上記規定角度をなす対象座標系で上記変
   位検出領域に相当する座標位置の比較対象領域を抽出
   し、比較対象領域と変位検出領域との一致度を評価し、
   一致度が小さく所定の評価条件を満たさないときには対
   象座標系を１８０度回転させて比較対象領域を再抽出し
   た後に一致度を評価し、一致度が所定の評価条件を満た
   すときには基準座標系におけるテンプレートと対象図形
   との重心の相対位置および基準座標系と対象座標系との
   座標軸の相対角度をテンプレートに対する対象図形の変
   位とすることを特徴とする画像処理による変位検出方
   法。
2. 【請求項２】 画像内に同種の対象図形が複数個含まれ
   るときに、各対象図形について比較対象領域を抽出し、
   各比較対象領域について一つのテンプレートの変位検出
   領域に対する一致度を順次評価し、評価条件を満たさな
   い対象図形についてはその対象図形に設定した対象座標
   系を１８０度回転させて比較対象領域を再抽出した後に
   一致度を評価することを特徴とする請求項１記載の画像
   処理による変位検出方法。
3. 【請求項３】 画像内に異種の対象図形が複数個含まれ
   るときに、各対象図形について比較対象領域を抽出し、
   各比較対象領域について複数種類のテンプレートの変位
   検出領域に対する一致度を順次評価し、評価条件を満た
   さない対象図形についてはその対象図形に設定した対象
   座標系を１８０度回転させ比較対象領域を再抽出した後
   に一致度を評価し、評価条件を満たす変位抽出領域のう
   ち一致度が最大になる変位検出領域を規定したテンプレ
   ートに対してその対象図形の変位を求めることを特徴と
   する請求項１記載の画像処理による変位検出方法。