JP6075888B2

JP6075888B2 - 画像処理方法、ロボットの制御方法

Info

Publication number: JP6075888B2
Application number: JP2014211412A
Authority: JP
Inventors: 潤小田切
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-10-16
Filing date: 2014-10-16
Publication date: 2017-02-08
Anticipated expiration: 2034-10-16
Also published as: JP2016081264A; US10207409B2; US20160110840A1

Description

本発明は、パターンマッチングに使用される検出対象物に基づいて生成したモデルエッジ画像を生成し、このモデルエッジ画像を利用する画像処理方法に関する。また、ロボットの制御方法に関する。

従来、画像処理の分野において、ワーク等のような検出対象物の位置（及び姿勢）を検出する方法として、パターンマッチング方法が周知である。その中でも、形状パターンマッチング（以下、パターンマッチングと呼ぶ）は、照明変化、物体の隠れ、欠けにも強く、ロバスト性が高い手法であることから、広く普及している。

パターンマッチングでは、検出対象物のモデル（参照画像）と被探索画像との形状特徴を利用して、類似度を計算していくので、画像に対する形状特徴を抽出する必要がある。形状特徴を抽出する方法としては、一般的にソーベル（Ｓｏｂｅｌ）フィルタやキャニー（Ｃａｎｎｙ）フィルタ等のエッジ抽出方法が知られている。即ち、これらのエッジ抽出方法をモデル及び被探索画像に適用することにより、モデルエッジ画像及び探索エッジ画像を生成し、これらモデルエッジ画像及び探索エッジ画像同士の類似度を計算する手法が知られている。

しかし、実際には、検出対象物は、ゴミや汚れの付着、照明の変化、個体差といったノイズの影響により表面状態が異なるため、被探索画像の検出対象物のエッジ点とモデルのエッジ点とで位置及びエッジ方向が異なっていることがある。特に、被探索画像の検出対象物のエッジ点とモデルのエッジ点との位置及びエッジ方向の差異が大きい場合、類似度が低いものと誤判定してしまい類似度が低下するため、検出対象物の検出精度が低下するという問題がある。

これを解決するために、モデルに基づくモデルエッジ画像において、ノイズの影響が小さいと考えられる長いエッジを残し、ノイズの影響が大きいと考えられる短いエッジを除外するモデルエッジ画像の生成方法が提案されている（特許文献１参照）。このモデルエッジ画像の生成方法によれば、この生成方法を用いずに生成したモデルエッジ画像を利用する場合に比べて、類似度の低下を防ぎ、検出対象物の検出精度を向上することができる。

特開２０１０−９７４３８号公報

しかしながら、特許文献１に記載されたモデルエッジ画像の生成方法では、エッジ点を除外するか否かを単にエッジの長さに基づいて判断している。このため、例えば、ノイズの影響を受けていないエッジであっても、短いエッジである場合には除外されてしまうため、類似度が低下してしまい、検出対象物の検出精度が低下してしまうという問題があった。あるいは、ノイズの影響を受けたエッジであっても、長いエッジである場合には除外されないため、類似度が低下してしまい、検出対象物の検出精度が低下してしまうという問題があった。

本発明は、各種ノイズの影響により検出対象物の表面状態が異なる場合でも、検出対象物の検出精度の低下を抑制できる画像処理方法、およびロボットの制御方法を提供することを目的とする。

本発明は、検出対象物を撮像して得られたモデル撮像画像をエッジ抽出処理することにより、モデル撮像エッジ画像を生成する工程と、前記モデル撮像エッジ画像と検出対象物に関するモデルエッジ画像とでパターンマッチングを実行する工程と、前記パターンマッチングの際の前記モデルエッジ画像の中の各エッジ点における類似度を演算する工程と、前記モデルエッジ画像の中の各エッジ点の前記モデルエッジ画像との前記類似度の分散及び平均を演算する工程と、前記分散が所定値以上か、または前記平均が所定値以下のエッジ点を前記モデルエッジ画像から除外する工程と、前記除外する工程後の前記モデルエッジ画像と、被探索物を撮像しエッジ抽出処理した探索エッジ画像とでパターンマッチングを実行する工程と、を備えることを特徴とする画像処理方法である。また、本発明は、検出対象物を撮像して得られたモデル撮像画像をエッジ抽出処理することにより、モデル撮像エッジ画像を生成する工程と、前記モデル撮像エッジ画像と検出対象物に関するモデルエッジ画像とでパターンマッチングを実行する工程と、前記パターンマッチングの際の前記モデルエッジ画像の中の各エッジ点における類似度を演算する工程と、前記モデルエッジ画像の中の各エッジ点の前記モデルエッジ画像との前記類似度の分散及び平均を演算する工程と、全てのエッジ点のうち、前記分散が大きいほうから所定の割合に含まれるエッジ点か、または前記平均が小さいほうから所定の割合に含まれるエッジ点を、前記モデルエッジ画像から除外する工程と、前記除外する工程後の前記モデルエッジ画像と、被探索物を撮像しエッジ抽出処理した探索エッジ画像とでパターンマッチングを実行する工程と、を備えることを特徴とする画像処理方法である。また、本発明は、ワークを撮像して得られたモデル撮像画像をエッジ抽出処理することにより、モデル撮像エッジ画像を生成する工程と、前記モデル撮像エッジ画像と前記ワークに関するモデルエッジ画像とでパターンマッチングを実行する工程と、前記パターンマッチングの際の前記モデルエッジ画像の中の各エッジ点における類似度を演算する工程と、前記モデルエッジ画像の中の各エッジ点の前記モデルエッジ画像との前記類似度の分散及び平均を演算する工程と、前記分散が所定値以上か、または前記平均が所定値以下のエッジ点を前記モデルエッジ画像から除外する工程と、前記除外する工程後の前記モデルエッジ画像と、被探索物としてのワークを撮像しエッジ抽出処理した探索エッジ画像とでパターンマッチングを実行し、前記被探索物としてのワークの位置及び姿勢を検出する工程と、を備えることを特徴とするロボットの制御方法である。また、本発明は、ワークを撮像して得られたモデル撮像画像をエッジ抽出処理することにより、モデル撮像エッジ画像を生成する工程と、前記モデル撮像エッジ画像と前記ワークに関するモデルエッジ画像とでパターンマッチングを実行する工程と、前記パターンマッチングの際の前記モデルエッジ画像の中の各エッジ点における類似度を演算する工程と、前記モデルエッジ画像の中の各エッジ点の前記モデルエッジ画像との前記類似度の分散及び平均を演算する工程と、全てのエッジ点のうち、前記分散が大きいほうから所定の割合に含まれるエッジ点か、または前記平均が小さいほうから所定の割合に含まれるエッジ点を、前記モデルエッジ画像から除外する工程と、前記除外する工程後の前記モデルエッジ画像と、被探索物としてのワークを撮像しエッジ抽出処理した探索エッジ画像とでパターンマッチングを実行し、前記被探索物としてのワークの位置及び姿勢を検出する工程と、を備えることを特徴とするロボットの制御方法である。

本発明によれば、モデルエッジ画像の中の各エッジ点のうちで、類似度に基づいて除外するエッジ点を選別し、選別したエッジ点を除外して得られたエッジ画像を最終的なモデルエッジ画像として生成する。このため、各種ノイズの影響により検出対象物の表面状態が異なる場合でも、検出対象物の検出精度の低下を抑制できるようになる。また、最終的なモデルエッジ画像と探索エッジ画像とのパターンマッチングにおいては、検出対象物の検出精度の低下を抑制することで、高精度のパターンマッチングを実現することができる。

実施の形態に係るロボットシステムの概略構成を示す説明図であり、（ａ）は全体の側面図、（ｂ）はハンドに把持されたワークの平面図、（ｃ）は（ｂ）を撮像した画像である。実施の形態に係る制御装置を示す説明図である。実施の形態に係るパターンマッチング部によりパターンマッチング処理を実行する際の手順を示すフローチャートである。実施の形態に係るモデルエッジ画像生成部により元のモデルエッジ画像を生成する際の手順を示すフローチャートである。実施の形態に係るモデルエッジ画像を生成する手順を示す説明図であり、（ａ）は切り出し画像が切り出された参照画像、（ｂ）は１画素のベクトル、（ｃ）は切り出し画像から生成されたモデルエッジ画像である。実施の形態に係るモデルエッジ画像生成部によりモデルエッジ画像を生成する際の手順を示すフローチャートである。実施の形態に係るモデルエッジ画像生成部によりモデルエッジ画像を生成する際のパターンマッチングの手順を示すフローチャートである。実施の形態に係るモデル撮像エッジ画像を示す説明図である。実施の形態に係るモデルエッジ画像生成部によりモデルエッジ画像を生成する際のエッジ点を選別する手順を示すフローチャートである。

以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。

図１に示すように、ロボットシステム１は、ロボット本体２と、カメラ４と、ロボット本体２の制御装置（モデルエッジ画像生成部、パターンマッチング部を備えた画像処理装置を具備している）５と、を備えている。本実施の形態では、ロボットシステム１は、ロボット本体２にワーク（検出対象物）６を供給するワーク供給装置３を備えている。

ロボット本体２は、ワーク６に対して作業可能であり、制御装置５は、ロボット本体２及びカメラ４を制御する。図１では、ワーク６は、例えば円環形状を有し、位相の基準となるように一部に径方向外側に突出した突起部６ａを備えている。ここでは、ワーク６の位相の基準を突起部６ａにより示しているが、これには限られず、例えばマーク等であってもよい。カメラ４は、カメラ固定台４０に固定され、ワーク供給装置３によりロボット本体２に供給されたワーク６、即ちハンド２３に把持されたワーク６を上方から撮像可能になっている。例えば、図１（ｃ）に示すように、被探索物としてワーク６及びその周辺を撮像した場合に、被探索画像１２を得ることができる。尚、ワーク６の形状はどのようなものであってもよい。そのため、以下では説明を簡単にするために、ワーク６の形状を三角柱形状（図５参照）として表している。

ロボット本体２は、６軸の垂直多関節アーム（以下、アームと呼ぶ）２２と、エンドエフェクタであるハンド２３とを有している。

ハンド２３は、アーム２２の先端リンク６０に取り付けられて支持され、アーム２２の動作により位置及び姿勢の少なくとも一自由度が調整されるようになっている。ハンド２３は、２本の指２３ａと、これら指２３ａの間隔を開閉可能に支持するハンド本体２３ｂとを備え、指２３ａ同士が接近する閉動作によりワーク６を把持可能になっている。尚、本実施の形態では、エンドエフェクタとしてハンド２３を適用しているが、これには限られず、ワーク６を保持可能なツールの全般を含めることができる。

アーム２２は、例えば、７つのリンクと、各リンクを揺動又は回動可能に連結する６つの関節とを備えている。各リンクとしては、長さが固定されたものを採用している。但し、例えば、直動アクチュエータにより伸縮可能なリンクを採用してもよい。各関節には、図２に示すように、各関節を各々駆動するモータ８０と、モータ８０の回転角度を検知するエンコーダ８１と、制御装置５と信号を送受信してモータ８０及びエンコーダ８１を制御するモータ制御部８２とが設けられている。本実施の形態では、アーム２２として６軸の垂直多関節アームを適用しているが、軸数は用途や目的に応じて適宜変更してもよい。

制御装置５は、コンピュータにより構成され、ロボット本体２を制御するようになっている。制御装置５は、ＣＰＵ（演算部）５０と、データを一時的に記憶可能なＲＡＭ（記憶部）５１と、各部を制御するプログラムを記憶するＲＯＭ５２と、ロボット本体２と通信可能にする入出力インタフェース回路（Ｉ／Ｆ）５３とを備えている。

また、制御装置５は、モデルエッジ画像１０ｅを生成するモデルエッジ画像生成部と、パターンマッチングを実行するパターンマッチング部とを兼ねている。即ち、ここでのモデルエッジ画像生成部は、モデルエッジ画像１０ｅを記憶可能なＲＡＭ５１と、モデルエッジ画像１０ｅを生成するＣＰＵ５０と、を備えるようにしている。また、ここでのパターンマッチング部は、少なくとも探索エッジ画像１２ｅ及びモデルエッジ画像１０ｅを記憶可能なＲＡＭ５１と、探索エッジ画像１２ｅと最終的なモデルエッジ画像とでパターンマッチングを実行するＣＰＵ５０と、を備えている。尚、本実施形態では、制御装置５は、モデルエッジ画像生成部及びパターンマッチング部の各機能を含んでいるが、これらモデルエッジ画像生成部及びパターンマッチング部を制御装置５とは別個に設けてもよい。

ＲＯＭ５２は、後述するモデルエッジ画像生成プログラム５２ａ、パターンマッチングプログラム５２ｂ、ロボット本体２の動作を制御するロボット制御プログラム、ＣＰＵ５０が行うワーク６の位置姿勢演算に関する演算プログラム等を保存している。ＲＯＭ５２に記憶されたデータは、ＣＰＵ５０からの書き込みや消去を除き、制御装置５の電源がオフ状態にされても保持されるようになっている。ＲＡＭ５１は、後述する参照画像１０とそのモデルエッジ画像１０ｅ、モデル撮像画像１１とそのモデル撮像エッジ画像１１ｅ、被探索画像１２とその探索エッジ画像１２ｅ等のデータを一時的に記憶するようになっている。

ＣＰＵ５０は、ロボット本体２の動作を制御するロボット制御部５４、モデルエッジ画像生成部５５、パターンマッチング部５６を備えている。ロボット制御部５４は、ロボット制御プログラムの実行により、ロボット本体２の動作を制御するようになっている。

詳細には後述するが、モデルエッジ画像生成部５５は、ワーク６に関するモデルエッジ画像と探索エッジ画像１２ｅと、でパターンマッチングを実行する前に、モデルエッジ画像生成プログラム５２ａの実行により、モデルエッジ画像を生成する。

具体的には、モデルエッジ画像生成部５５は、ワーク６を撮像して得られたモデル撮像画像１１をエッジ抽出処理することにより、モデル撮像エッジ画像１１ｅを生成する。そして、モデルエッジ画像生成部５５は、モデル撮像エッジ画像１１ｅとモデルエッジ画像１０ｅとでパターンマッチングを実行する。更に、モデルエッジ画像生成部５５は、モデル撮像エッジ画像１１ｅとモデルエッジ画像１０ｅとがパターンマッチングした際のモデルエッジ画像１０ｅ中の各エッジ点における類似度を演算する。そして、モデルエッジ画像生成部５５は、モデルエッジ画像１０ｅ中の各エッジ点のうちで、類似度に基づいて除外するエッジ点を選別し、選別したエッジ点を除外して得られたエッジ画像を最終的なモデルエッジ画像として生成する。

また、詳細には後述するが、パターンマッチング部５６は、パターンマッチングプログラム５２ｂの実行により、探索エッジ画像１２ｅと、最終的なモデルエッジ画像とでパターンマッチングを行う。

具体的には、パターンマッチング部５６は、ワーク６に関する最終的なモデルエッジ画像と、ワーク６を撮像して得られた被探索画像１２に関する探索エッジ画像１２ｅと、でパターンマッチングを実行する。ここで、最終的なモデルエッジ画像は、上述したモデルエッジ画像生成部５５により生成されるようになっている。

次に、上述したロボット本体２の制御装置５により、ワーク６のパターンマッチングを実行する手順について、図３に示すフローチャートに沿って説明する。ここでは、大まかな流れを説明し、各工程での詳細な処理については後述する。

まず、モデルエッジ画像生成部５５が、ロボットシステム１を利用してワーク６を各種の条件で撮像してモデル撮像画像１１を取得し、元のモデルエッジ画像１０ｅから最終的なモデルエッジ画像を生成する（ステップＳ１）。尚、ここでの最終的なモデルエッジ画像を生成する手順については、後述する。

そして、モデルエッジ画像生成部５５は、生成した最終的なモデルエッジ画像をＲＡＭ５１に入力する（ステップＳ２）。そして、パターンマッチング部５６が、ロボットシステム１を利用して、ワーク６を含む被探索画像１２を撮像する（ステップＳ３）。更に、パターンマッチング部５６が、被探索画像１２からエッジ抽出を行い（ステップＳ４）、それにより得られた探索エッジ画像１２ｅをＲＡＭ５１に入力する（ステップＳ５）。

そして、パターンマッチング部５６は、ＲＡＭ５１に記憶された最終的なモデルエッジ画像と探索エッジ画像１２ｅとで、パターンマッチングを実行する（ステップＳ６）。ＣＰＵ５０は、パターンマッチングの結果により、ワーク６の位置及び姿勢を検出することができ、その結果に基づいてロボット本体２を適宜制御するようにできる。

次に、ステップＳ１のモデルエッジ画像１０ｅを生成する手順を、図４、図６、図７、図９に示すフローチャートに沿って詳細に説明する。本実施の形態では、最初に元となるモデルエッジ画像１０ｅを生成し（図４参照）、次に元となるモデルエッジ画像１０ｅに基づいて（図６参照）、最終的なモデルエッジ画像を生成するようになっている。尚、ここでは本実施形態のカメラ４及び制御装置５を利用してモデルエッジ画像１０ｅを生成する場合について説明するが、これには限られず、別のカメラ及びコンピュータを利用してもよい。また、ここでは、元のモデルエッジ画像１０ｅをカメラ４の撮像に基づいて生成しているが、これには限られず、例えば人工的なエッジを付加したＣＡＤデータ等を利用してもよい。

図４に示すように、元の参照画像１０を用意するために、理想状態の照明条件、位置及び姿勢にワーク６を設置し、カメラ４によりワーク６を撮像する（ステップＳ１０）。モデルエッジ画像生成部５５は、カメラ４により撮像された参照画像１０（図５（ａ）参照）をＲＡＭ５１に入力する（ステップＳ１１）。モデルエッジ画像生成部５５は、参照画像１０を不図示のディスプレイに表示し、オペレータは検出したいワーク６付近の矩形領域を設定する。設定方法は、制御装置５に付随した不図示のマウスを利用し、図５（ａ）に示すように、ディスプレイに表示された参照画像１０内のワーク６を包含する領域の左上と右下の２点をクリックする。クリックした２点の位置を矩形領域の左上、右下の角の点として、参照画像１０から矩形領域のみを切り出し画像１０ａとして切り出す（ステップＳ１２）。

モデルエッジ画像生成部５５は、切り出し画像１０ａの画素毎に輝度の勾配強度及び勾配方向を算出する。勾配強度は、ｘ軸方向及びｙ軸方向のソーベルフィルタを使用して算出される。まず、図５（ａ）に示すように、ある注目画素７０でｘ軸方向勾配強度７１とｙ軸方向勾配強度７２とをそれぞれ算出する。そして、図５（ｂ）に示すように、モデルエッジ画像生成部５５は、注目画素７０の勾配強度７３をｘ軸方向とｙ軸方向の勾配強度７１，７２の二乗の和の平方根として算出する。この時の計算式は、数式１となる。

但し、Ｅ：勾配強度、Ｅ_ｘ：ｘ軸方向の勾配強度、Ｅ_ｙ：ｙ軸方向の勾配強度

また、この時の勾配方向θは、ｘ軸方向の勾配強度Ｅ_ｘ及びｙ軸方向の勾配強度Ｅ_ｙを用いて、数式２により算出される。

但し、θ：勾配方向

モデルエッジ画像生成部５５は、切り出し画像１０ａの全画素の勾配強度Ｅ及び勾配方向θを算出してから、勾配強度Ｅが所定の閾値以上である画素、即ちエッジを抽出して、元のモデルエッジ画像１０ｅを生成する（ステップＳ１３）。ここで、エッジとは勾配強度Ｅが所定の閾値以上である画素である。このため、以降では便宜的に、抽出された各画素の座標をエッジ位置座標、勾配強度をエッジ強度、勾配方向をエッジ方向と呼び、エッジ位置座標、エッジ強度、エッジ方向を持つ画像をエッジ画像と呼ぶこととする。

モデルエッジ画像１０ｅのデータの保持のために、画像の画素毎に２チャンネルのデータ領域を設定する。そして、図５（ｃ）にハッチング領域で示すように、モデルエッジ画像１０ｅのエッジ強度が閾値以上の画素７４は、有効画素として、１チャンネル目にエッジ強度、２チャンネル目にエッジ方向の値を記憶させる。一方、同図中白色で示すように、エッジ強度が閾値未満の画素７５は、無効画素として、無効値（例えば０）を記憶させておく。尚、ここでは画素毎に２チャンネルのデータ領域を設定しているが、これには限られず、例えば、エッジ強度のみを記憶したエッジ強度画像と、エッジ方向のみを記憶したエッジ方向画像と、の２枚の画像を１組としてデータを保持するようにしてもよい。また、エッジ強度のみを記憶したエッジ強度画像と、Ｘ方向エッジ強度のみを記憶したＸ方向エッジ強度画像と、Ｙ方向エッジ強度のみを記憶したＹ方向エッジ強度画像と、の３枚の画像を１組としてデータを保持するようにしてもよい。また、本実施の形態では、エッジ強度及びエッジ方向の算出にソーベルフィルタを使用しているが、これには限られず、キャニーフィルタ等のエッジ抽出フィルタを使用してもよい。

次に、図６に示すフローチャートに沿って、元となるモデルエッジ画像（ここではモデル撮像画像１１）に基づいて最終的なモデルエッジ画像を生成する手順について説明する。尚、図６に示す手順が、モデルエッジ画像生成方法にその特徴を有する画像処理方法に相当する。まず、モデルエッジ画像生成部５５は、生成された元のモデルエッジ画像１０ｅをＲＡＭ５１に入力する（ステップＳ２０）。モデルエッジ画像生成部５５は、ワーク６を含むモデル撮像画像１１をカメラ４により撮像してＲＡＭ５１に入力する（ステップＳ２１）。ここで、モデル撮像画像１１は、後述するマッチング実行時に入力される被探索画像１２を想定して、ゴミや汚れの付着、照明の変化、個体差といったノイズの影響がある画像であることが望ましい。あるいは、カメラ４により撮像された画像をそのまま利用することには限られず、人工的なエッジを付加したり、人工的なノイズを付加したりするようにしてもよい。

モデルエッジ画像生成部５５は、モデル撮像画像１１に対して、上述したステップＳ１３と同様のエッジ抽出方法により、モデル撮像エッジ画像１１ｅを生成する（ステップＳ２２）。モデルエッジ画像生成部５５は、元のモデルエッジ画像１０ｅとモデル撮像エッジ画像１１ｅとについて、パターンマッチングを行う（ステップＳ２３）。

ここで、ステップＳ２３におけるパターンマッチングの手順について、図７に示すフローチャート（サブルーチン）に沿って詳細に説明する。

まず、モデルエッジ画像生成部５５は、モデル撮像エッジ画像１１ｅ内の全域において（図８参照）、モデルエッジ画像１０ｅをパターンマッチングさせる検出位置をピクセル単位で設定する（ステップＳ３０）。本実施の形態では、検出位置の設定順序は、図８に示すように、モデル撮像エッジ画像１１ｅの左上位置を最初の検出位置とし、そこから右に順に移動させて設定し、右端に達したら１ピクセル下げた左端から右に向けて順に設定するようにする。そして、モデルエッジ画像生成部５５は、各検出位置において、スコアを算出する（ステップＳ３１）。本実施の形態では、任意の検出位置（ｉ，ｊ）におけるスコアＳ_ｉｊは、数式３よって算出される。

但し、Ｓ_ｉｊ：検出位置（ｉ，ｊ）におけるスコア
Ｎ：モデルエッジ画像１０ｅのエッジ点数
ｓ_ｋ：局所スコア

ここで、局所スコアｓ_ｋは、モデルエッジ画像１０ｅのエッジ点毎に算出されるスコアであり、あるエッジ点のモデル撮像エッジ画像１１ｅのエッジ方向とモデルエッジ画像１０ｅのエッジ方向との差のコサイン値であり、数式４によって算出される。

但し、ｋ＝１，…，Ｎ（モデルエッジ画像１０ｅのエッジ点のインデックス）
θ_Ｔｋ：モデル撮像エッジ画像１１ｅのエッジ方向
θ_Ｍｋ：モデルエッジ画像１０ｅのエッジ方向

局所スコアｓ_ｋの取り得る値の範囲は、−１〜＋１である。スコアＳ_ｉｊは、局所スコアｓ_ｋの総和をエッジ点数で除算して正規化しているため、スコアの取り得る値の範囲も−１〜＋１になる。

モデルエッジ画像生成部５５は、算出したスコアＳ_ｉｊが所定の閾値以上であるか否かを判定する（ステップＳ３２）。モデルエッジ画像生成部５５は、算出したスコアＳ_ｉｊが所定の閾値以上であると判定した場合は、当該検出位置をマッチング候補点に設定し、その検出位置（ｉ，ｊ）、スコアＳ_ｉｊ、エッジ点毎の局所スコアｓ_ｋ等を記憶する（ステップＳ３３）。ステップＳ３３においてマッチング候補点を設定後、あるいはステップＳ３２でスコアＳ_ｉｊが所定の閾値以上ではないと判断された場合は、モデルエッジ画像生成部５５は、全ての検出位置についてスコア算出が終了したか否かを判定する（ステップＳ３４）。

モデルエッジ画像生成部５５が、全ての検出位置についてスコア算出が終了してはいないと判断した場合は、次の検出位置を設定して再度スコアを算出する（ステップＳ３０〜ステップＳ３３）。モデルエッジ画像生成部５５が、全ての検出位置についてスコア算出が終了したと判断した場合は、マッチング候補点の中の最大のスコアＳ_ｉｊが得られるマッチング候補点の情報を出力する（ステップＳ３５）。具体的には、モデルエッジ画像生成部５５は、そのマッチング候補点の検出位置（ｉ，ｊ）、スコアＳ_ｉｊ、エッジ点毎の局所スコアｓ_ｋ等の情報を出力する。そして、モデルエッジ画像生成部５５は、処理を元のルーチン（図６のステップＳ２４）に戻す。尚、マッチング候補点が無かった場合は、ステップＳ３５は実行しないものとする。

図６に示すように、モデルエッジ画像生成部５５は、ステップＳ３５で出力されたエッジ点毎の局所スコアｓ_ｋを記憶する（ステップＳ２４）。このように、上述したステップＳ２１〜ステップＳ２４の処理により、１枚のモデル撮像画像１１に対して、エッジ点毎の局所スコアｓ_ｋを１組得られたことになる。即ち、本実施の形態では、ここでの局所スコアｓ_ｋは、モデル撮像エッジ画像１１ｅとモデルエッジ画像１０ｅとがパターンマッチングした際のモデルエッジ画像１０ｅ中の各エッジ点における類似度に相当する。

そして、モデルエッジ画像生成部５５は、全てのモデル撮像画像１１に対してエッジ点毎の局所スコアｓ_ｋを得る処理が終了したか否かを判断する（ステップＳ２５）。ここでの処理を行うモデル撮像画像１１の枚数としては、例えば、統計的に見て信頼できる枚数とすることが好ましい。モデルエッジ画像生成部５５が、全てのモデル撮像画像１１に対しては処理が終了してはいないと判断した場合は、ステップＳ２１から再び処理を実行する。

モデルエッジ画像生成部５５が、全てのモデル撮像画像１１に対して処理が終了したと判断した場合は、元のモデルエッジ画像１０ｅから除外すべきエッジ点を選別する（ステップＳ２６）。本実施の形態では、モデルエッジ画像１０ｅ中の各エッジ点のうちで、局所スコアｓ_ｋ（類似度）に基づいて除外するエッジ点を選別するようになっている。

ここで、ステップＳ２６におけるエッジ点の選別の手順について、図９に示すフローチャート（サブルーチン）に沿って詳細に説明する。

まず、モデルエッジ画像生成部５５は、元のモデルエッジ画像１０ｅのエッジ点毎の局所スコアｓ_ｋの平均を算出する（ステップＳ４０）。ここで、本実施の形態では、ステップＳ２１〜ステップＳ２５の処理において、Ｍ枚のモデル撮像画像１１について局所スコアｓ_ｋを得られたとする。そして、Ｍ枚のモデル撮像画像１１について、繰り返しのインデックスをＬ＝１，…，Ｍとする。このとき、元のモデルエッジ画像１０ｅのエッジ点のインデックスｋを基準として局所スコアｓ_Ｌｋを取り出すと、エッジ点毎の局所スコアｓ_Ｌｋの平均ｍ_ｋは、数式５によって算出される。

但し、ｋ＝１，…，Ｎ

つまり、エッジ点数と同じ回数、あるエッジ点の局所スコアｓ_Ｌｋの平均ｍ_ｋの算出を行う。同様にして、エッジ点毎の局所スコアｓ_Ｌｋの分散σ_ｋ ^２は、数式６によって算出される（ステップＳ４１）。

但し、ｋ＝１，…，Ｍ

例えば、あるエッジ点が時間方向に不連続なノイズの影響を受けていれば、数式５によって算出される該エッジ点の局所スコアの平均ｍ_ｋは小さくなり、分散σ_ｋ ^２は大きくなる。つまり、平均ｍ_ｋと分散σ_ｋ ^２の値によって、ノイズの影響を受けやすいエッジ点を除外して、エッジ点を選別することができる。

そして、モデルエッジ画像生成部５５は、全てのエッジ点について平均ｍ_ｋと分散σ_ｋ ^２を算出したか否かを判定する（ステップＳ４２）。モデルエッジ画像生成部５５が、全てのエッジ点について算出が終了してはいないと判断した場合は、次のエッジ点について算出を行う（ステップＳ４０〜ステップＳ４１）。モデルエッジ画像生成部５５が、全てのエッジ点について算出が終了したと判断した場合は、算出された平均ｍ_ｋと分散σ_ｋ ^２に基づいて、閾値判定によりエッジ点を選別する（ステップＳ４３）。

本実施の形態では、モデルエッジ画像生成部５５は、複数のモデル撮像エッジ画像１１ｅ中の各エッジ点におけるモデルエッジ画像１０ｅとの局所スコアｓ_Ｌｋ（類似度）の平均ｍ_ｋ及び分散σ_ｋ ^２の少なくとも一方に基づき、除外するエッジ点を選別している。ここでは、モデルエッジ画像生成部５５は、エッジ点の選別の方法として、平均ｍ_ｋと分散σ_ｋ ^２に対して予め閾値を設定しておき、その閾値に基づいて判定するようにしている。具体的には、モデルエッジ画像生成部５５は、平均ｍ_ｋが設定した閾値以下、もしくは分散σ_ｋ ^２が設定した閾値以上だった場合、該エッジ点はノイズの影響を受けていると判断して除外する。あるいは、閾値を利用することには限られず、例えば、エッジ点毎の局所スコアｓ_Ｌｋの平均ｍ_ｋを降順、分散σ_ｋ ^２を昇順に並べ替えて、下位の任意の割合（例えば２０％）のエッジ点を除外するようにしてもよい。そして、モデルエッジ画像生成部５５は、処理を元のルーチン（図６のステップＳ２７）に戻す。

図６に示すように、モデルエッジ画像生成部５５は、元のモデルエッジ画像１０ｅから、選別された除外すべきエッジ点を除外して、最終的なモデルエッジ画像を生成する（ステップＳ２７）。そして、パターンマッチング部５６は、生成された最終的なモデルエッジ画像を利用して、上述したステップＳ６により、最終的なモデルエッジ画像と探索エッジ画像１２ｅとでパターンマッチングを実行することができる。

上述したように本実施形態の制御装置５によれば、モデルエッジ画像１０ｅ中の各エッジ点のうちで、局所スコアｓ_Ｌｋに基づいて除外するエッジ点を選別し、選別したエッジ点を除外して得られたエッジ画像を最終的なモデルエッジ画像として生成する。このため、各種ノイズの影響によりワーク６の表面状態が異なる場合でも、ワーク６の検出精度の低下を抑制できるようになる。また、最終的なモデルエッジ画像と探索エッジ画像１２ｅとのパターンマッチングにおいては、ワーク６の検出精度の低下を抑制することで、高精度のパターンマッチングを実現することができる。

上述した本実施形態の制御装置５では、最終的なモデルエッジ画像を生成し、それを利用してパターンマッチング処理を実行した場合について説明したが、これには限られない。例えば、生成したモデルエッジ画像１０ｅをライブラリ等に登録しておいてもよい。

尚、以上述べた本実施形態の各処理動作は具体的にはモデルエッジ画像生成部５５及びパターンマッチング部５６により実行されるものである。従って、上述した機能を実現するソフトウェアのプログラムを記録した記録媒体をモデルエッジ画像生成部５５及びパターンマッチング部５６に供給するようにしてもよい。そして、モデルエッジ画像生成部５５を構成するＣＰＵ５０が記録媒体に格納されたモデルエッジ画像生成プログラム５２ａを読み出し実行することによって達成されるようにしてもよい。あるいは、パターンマッチング部５６を構成するＣＰＵ５０が記録媒体に格納されたパターンマッチングプログラム５２ｂを読み出し実行することによって達成されるようにしてもよい。これらの場合、記録媒体から読み出されたプログラム自体が上述した各実施の形態の機能を実現することになり、プログラム自体及びそのプログラムを記録した記録媒体は本発明を構成することになる。

また、本実施形態では、コンピュータ読み取り可能な記録媒体がＲＯＭ５２であり、ＲＯＭ５２にモデルエッジ画像生成プログラム５２ａ及びパターンマッチングプログラム５２ｂが格納される場合について説明したが、これに限定するものではない。プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、プログラムを供給するための記録媒体としては、ＨＤＤ、外部記憶装置、記録ディスク等を用いてもよい。

１…ロボットシステム、２…ロボット本体、４…カメラ、５…制御装置（モデルエッジ画像生成部、パターンマッチング部）、６…ワーク（検出対象物）、１０…参照画像、１０ｅ…モデルエッジ画像、１１…モデル撮像画像、１１ｅ…モデル撮像エッジ画像、１２…被探索画像、１２ｅ…探索エッジ画像、５０…ＣＰＵ（演算部）、５１…ＲＡＭ（記憶部）

Claims

検出対象物を撮像して得られたモデル撮像画像をエッジ抽出処理することにより、モデル撮像エッジ画像を生成する工程と、
前記モデル撮像エッジ画像と検出対象物に関するモデルエッジ画像とでパターンマッチングを実行する工程と、
前記パターンマッチングの際の前記モデルエッジ画像の中の各エッジ点における類似度を演算する工程と、
前記モデルエッジ画像の中の各エッジ点の前記モデルエッジ画像との前記類似度の分散及び平均を演算する工程と、
前記分散が所定値以上か、または前記平均が所定値以下のエッジ点を前記モデルエッジ画像から除外する工程と、
前記除外する工程後の前記モデルエッジ画像と、被探索物を撮像しエッジ抽出処理した探索エッジ画像とでパターンマッチングを実行する工程と、
を備えることを特徴とする画像処理方法。
検出対象物を撮像して得られたモデル撮像画像をエッジ抽出処理することにより、モデル撮像エッジ画像を生成する工程と、
前記モデル撮像エッジ画像と検出対象物に関するモデルエッジ画像とでパターンマッチングを実行する工程と、
前記パターンマッチングの際の前記モデルエッジ画像の中の各エッジ点における類似度を演算する工程と、
前記モデルエッジ画像の中の各エッジ点の前記モデルエッジ画像との前記類似度の分散及び平均を演算する工程と、
全てのエッジ点のうち、前記分散が大きいほうから所定の割合に含まれるエッジ点か、または前記平均が小さいほうから所定の割合に含まれるエッジ点を、前記モデルエッジ画像から除外する工程と、
前記除外する工程後の前記モデルエッジ画像と、被探索物を撮像しエッジ抽出処理した探索エッジ画像とでパターンマッチングを実行する工程と、
を備えることを特徴とする画像処理方法。
ワークを撮像して得られたモデル撮像画像をエッジ抽出処理することにより、モデル撮像エッジ画像を生成する工程と、
前記モデル撮像エッジ画像と前記ワークに関するモデルエッジ画像とでパターンマッチングを実行する工程と、
前記パターンマッチングの際の前記モデルエッジ画像の中の各エッジ点における類似度を演算する工程と、
前記モデルエッジ画像の中の各エッジ点の前記モデルエッジ画像との前記類似度の分散及び平均を演算する工程と、
前記分散が所定値以上か、または前記平均が所定値以下のエッジ点を前記モデルエッジ画像から除外する工程と、
前記除外する工程後の前記モデルエッジ画像と、被探索物としてのワークを撮像しエッジ抽出処理した探索エッジ画像とでパターンマッチングを実行し、前記被探索物としてのワークの位置及び姿勢を検出する工程と、
を備えることを特徴とするロボットの制御方法。
ワークを撮像して得られたモデル撮像画像をエッジ抽出処理することにより、モデル撮像エッジ画像を生成する工程と、
前記モデル撮像エッジ画像と前記ワークに関するモデルエッジ画像とでパターンマッチングを実行する工程と、
前記パターンマッチングの際の前記モデルエッジ画像の中の各エッジ点における類似度を演算する工程と、
前記モデルエッジ画像の中の各エッジ点の前記モデルエッジ画像との前記類似度の分散及び平均を演算する工程と、
全てのエッジ点のうち、前記分散が大きいほうから所定の割合に含まれるエッジ点か、または前記平均が小さいほうから所定の割合に含まれるエッジ点を、前記モデルエッジ画像から除外する工程と、
前記除外する工程後の前記モデルエッジ画像と、被探索物としてのワークを撮像しエッジ抽出処理した探索エッジ画像とでパターンマッチングを実行し、前記被探索物としてのワークの位置及び姿勢を検出する工程と、
を備えることを特徴とするロボットの制御方法。