JP7071074B2 - 画像処理方法、画像処理装置、プログラム、記録媒体、物品の製造方法、およびロボット装置 - Google Patents

画像処理方法、画像処理装置、プログラム、記録媒体、物品の製造方法、およびロボット装置 Download PDF

Info

Publication number
JP7071074B2
JP7071074B2 JP2017156156A JP2017156156A JP7071074B2 JP 7071074 B2 JP7071074 B2 JP 7071074B2 JP 2017156156 A JP2017156156 A JP 2017156156A JP 2017156156 A JP2017156156 A JP 2017156156A JP 7071074 B2 JP7071074 B2 JP 7071074B2
Authority
JP
Japan
Prior art keywords
image
model edge
edge image
model
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017156156A
Other languages
English (en)
Other versions
JP2019036072A (ja
JP2019036072A5 (ja
Inventor
一樹 大竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017156156A priority Critical patent/JP7071074B2/ja
Publication of JP2019036072A publication Critical patent/JP2019036072A/ja
Publication of JP2019036072A5 publication Critical patent/JP2019036072A5/ja
Application granted granted Critical
Publication of JP7071074B2 publication Critical patent/JP7071074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象物を探索するため、前記被探索画像からエッジ検出により生成したエッジ画像とのパターンマッチング処理に用いるモデルエッジ画像を生成するモデルエッジ画像生成処理を含む画像処理方法、画像処理装置、および製造方法に関する。
FA(Factory Automation)などの分野において、検出対象物であるワークの位置・姿勢を検出する方法として、画像の輪郭情報を用いた形状パターンマッチング(以下、パターンマッチングとも呼ぶ)が知られている。
パターンマッチングでは、モデルとなる参照画像にエッジ抽出処理を適用してワークの輪郭をエッジとして抽出し、事前にモデルエッジ画像を生成しておく。探索処理時には探索の対象となる被探索画像に対しても同様にして被探索エッジ画像を生成し、モデルエッジ画像を被探索エッジ画像上で走査して被探索エッジ画像上の各位置における類似度を算出し、類似度が最大となる位置を検出する。
パターンマッチング処理は、生産装置に供給されたワークの位置・姿勢を計測する手段として使用されることがある。生産装置にワークを供給する方法は様々あるが、例えば供給トレイ上に同一設計形状のワークを規則的に複数個配置し、生産装置に供給する場合がある。もし、このようなワーク供給方式で、供給トレイの上方に設置したカメラでワーク群を撮影し、位置・姿勢計測を行う場合、ワークの数だけモデルエッジ画像を生成しておく必要があり、パターンマッチングに関する設定作業に多大な時間がかかる。
そのため、代表的なモデルエッジ画像を1つだけ生成し、そのモデルエッジ画像を全てのワークに対するパターンマッチングに使用する構成が提案されている(例えば下記の特許文献1)。しかしながら、このような構成ではカメラとワークの相対位置関係に起因するワークの見え方の違いを考慮していないため、代表モデルエッジ画像を使いまわすとパターンマッチングに失敗したり、信頼性が低下したりする可能性がある。
また、計測対象のワークと、カメラの位置関係により定まる撮影パラメータ(カメラの内部パラメータおよび外部パラメータ)を利用してモデルエッジ画像を補正する構成が提案されている(例えば下記の特許文献2)。この構成によると、カメラとワークの相対位置関係に起因するワークの見え方をキャンセルするように代表モデルエッジ画像を補正しながら全ての位置のワークに対するモデルエッジ画像を自動的に生成することができる。
特開2012-84000号公報 特開2015-5093号公報
特許文献2に記載された手法の場合、全ワーク位置で撮影パラメータを算出する必要がある。撮影パラメータ(内部/外部パラメータ)の算出は、一般的に、キャリブレーションプレートを撮影し、撮影した画像に対して画像処理を適用して、パラメータの算出を行う。従って、全ワーク位置で撮影パラメータを算出するには、多大な時間と手間を必要とする問題がある。
本発明の課題は、上記の事情に鑑み、規則的に配置された同一設計形状の複数ワークに対してパターンマッチングを行う場合に、各ワークに対して、適切なモデルエッジ画像を効率的に生成できるようにすることにある。
本発明は、パターンマッチング処理に用いるモデルエッジ画像を生成するモデルエッジ画像生成処理を含む画像処理方法において、複数の対象物を撮影した参照画像から、第1対象物の第1モデルエッジ画像を生成する第1モデルエッジ画像生成工程と、前記第1対象物に隣り合う第2対象物の第2モデルエッジ画像を生成する第2モデルエッジ画像生成工程と、を画像処理装置が実行し、前記第2モデルエッジ画像生成工程において、前記第2対象物に係るエッジ抽出領域を前記第1モデルエッジ画像に基づいて設定し、前記参照画像の前記エッジ抽出領域でエッジ抽出を行うことにより、前記第2モデルエッジ画像を生成する画像処理方法である。
また、本発明は、パターンマッチング処理に用いるモデルエッジ画像を生成するモデルエッジ画像生成処理を含む画像処理を実行する制御装置を備えた画像処理装置であって、前記制御装置は、前記モデルエッジ画像生成処理において、複数の対象物を撮影した参照画像に対してエッジ検出を行い、第1対象物の第1モデルエッジ画像を生成する第1モデルエッジ画像生成工程と、前記第1対象物に隣り合う第2対象物の第2モデルエッジ画像を生成する第2モデルエッジ画像生成工程と、を実行し、前記第2モデルエッジ画像生成工程において、前記第2対象物に係るエッジ抽出領域を前記第1モデルエッジ画像に基づいて設定し、前記参照画像の前記エッジ抽出領域でエッジ抽出を行うことにより、前記第2モデルエッジ画像を生成する画像処理装置である。
上記構成によれば、生成済みのモデルエッジ画像を用いて、そのモデルエッジ画像に対応する対象物に隣接する同一設計形状の対象物に対応するモデルエッジ画像を生成する隣接モデルエッジ画像生成を行う。そのため、規則的に配置された同一設計形状の複数ワークに対してパターンマッチングを行う場合に、各ワークに対して、適切なモデルエッジ画像を効率的に生成することができる。
実施形態1に係るロボットシステムの概略構成を示した説明図である。 図1のロボットシステムの制御系の構成を示したブロック図である。 図1のロボットシステムにおける供給トレイおよびワーク配置の説明図である。 実施形態1に係るモデルエッジ画像生成処理を含むパターンマッチングの事前処理の制御手順を示すフローチャート図である。 図4の基準モデルエッジ画像生成の制御手順を詳細に示すフローチャート図である。 実施形態1に係る基準モデルエッジ画像生成の手順を示すもので、(a)は参照画像から切り出された切り出し画像、(b)はノイズエッジが含まれたエッジ画像、(c)は基準モデルエッジ画像をそれぞれ示す説明図である。 図4の隣接モデルエッジ画像生成の制御手順を詳細に示すフローチャート図である。 (a)~(g)は実施形態1に係る隣接モデルエッジ画像生成の様子を示した説明図である。 実施形態1に係るエッジ間距離算出方法を示した説明図である。 実施形態1に係る探索範囲の説明図である。 実施形態1に係るパターンマッチングを用いた探索処理の制御手順を示したフローチャート図である。 実施形態2に係る隣接モデルエッジ画像生成において、エッジ抽出の要否判断を追加した制御手順を示すフローチャート図である。 実施形態2に係る隣接モデルエッジ画像生成の要否判断のためのワークのグルーピングを示した説明図である。 実施形態1に係るモデルエッジ画像が連鎖的に生成される様子を模式的に示した説明図である。 実施形態1に係るロボットシステムを用いた製造ラインの制御手順を示したフローチャート図である。
以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
[実施形態1]
以下の実施形態では、規則的に配置された同一設計形状の複数のワークを操作するロボットアームを備えたロボット装置(あるいはそのロボット装置を含む生産ライン)を考える。このロボット装置は、視覚系として、操作ないし製造の対象物としてのワークや、ロボットアームを撮影できるカメラ(撮影装置)を備える。そして、このカメラで撮影した被探索画像から得た被探索エッジ画像と、予め生成したモデルエッジ画像と、のパターンマッチングに基づき、対象物(としてのワーク)を被探索画像中から探索する。そしてこの探索結果に基づき、ロボットアームが制御され、ロボットアームによってワークが操作され、部品、あるいは各種の工業製品の製造が行なわれる。
<装置の構成>
本実施形態のロボット装置1は、図1に示すように、上記のカメラ2、ロボットアーム3、ロボットアーム3およびカメラを制御する制御装置4と、を備えている。ロボットアーム3が部品を製造するために操作するワーク6は、同一設計形状の複数のものが供給トレイ7上に規則的に配置されている。
制御装置4は、例えば図2に示すように、演算部としてのCPU50のハードウェアおよびソフトウェアにより実装される。本実施形態の場合、制御装置4は、ロボットアーム3の動作を制御するロボット制御部54、およびパターンマッチング演算部55を備えている。即ち、制御装置4は、ロボットアーム3(製造装置)を制御するロボット制御装置ないし製造制御装置であるとともに、パターンマッチングによる対象物の探索工程を実行する画像処理装置を兼ねている。
パターンマッチングには、供給トレイ7上に規則的に配置したワーク6を撮影して得た参照画像から予め生成したモデルエッジ画像が用いられる。本実施形態では、後述するモデルエッジ画像の生成も、制御装置4のパターンマッチング演算部55によって行われるものとして説明する。しかしながら、モデルエッジ画像の生成は、例えばロボット制御装置とは、別の画像処理端末を用いて行われるものであってもよい。
図1のロボット装置1では、ロボットアーム3の操作の対象物であるワーク6をカメラ2で撮影する。そして撮影された被探索画像に対してパターンマッチング処理を行い、目的のワーク6を探索、即ち、位置・姿勢を計測し、その計測結果を用いてロボットアーム3にワーク6を操作させる。このワーク6の操作は、例えば、供給トレイ7にある特定のワーク6をロボットアーム3により把持して取り出す操作である。
ロボットアーム3はワーク6に対する操作が可能であり、制御装置4は、ロボットアーム3の動作およびカメラ2の撮影を制御することができる。図1では、一例として、供給トレイ7上に配列されたワーク6は、同一のサイズかつ円柱形状のワークを図示している。
カメラ2は、不図示のカメラ固定台に固定され、ロボットアーム3の作業空間、少なくとも本実施形態では、ワーク6が配置された供給トレイ7(の全体)を上方から撮影できるような撮影条件(画角、撮影距離)が選択されている。
ロボットアーム3は、6軸の垂直多関節アーム(31:以下、単にアームと呼ぶ)と、エンドエフェクタであるハンド32とを有している。なお、図1ではアーム31として6軸、シリアルリンクの多関節アームを図示しているが、軸数は用途や目的に応じて適宜変更してもよく、また、リンクの結合方式は他の方式、例えばパラレルリンク方式などであってもよい。また、本実施形態では、エンドエフェクタとしてハンド32を例示しているが、これに限定されることなく、ハンド32に換えてワーク6を操作可能な任意のツールを用いることができる。
アーム31は、7つのリンクと、各リンクを揺動または回動可能に連結する6つの関節とを備えている。各リンクとしては、長さが固定されたものを採用している。但し、例えば、直動アクチュエータにより伸縮可能なリンクを用いてもよい。各関節には、図2に示すように、各関節を各々駆動するモータ80と、モータ80の回転角度を検知するエンコーダ81と、が配置される。また、各関節のモータ80およびエンコーダ81と、制御装置4と、の間には、CPU50の制御に応じて、モータ80およびエンコーダ81を駆動するモータ制御部82が設けられている。
ハンド32は、アーム31の先端に取り付けられており、アーム31の動作により位置および姿勢の少なくとも一自由度を調整可能である。ハンド32は、少なくとも2本の指32a(フィンガ)とこれらの指32aの間隔を開閉可能に支持するハンド本体32bとを備え、指32a同士が近接する動作(いわゆる閉動作)によりワーク6を把持することができる。
図2に示すように、制御装置4は、マイクロプロセッサなどから成るCPU50を制御主体とするコンピュータシステムとして構成される。制御装置4は、CPU50と、データを一時的に記憶可能なRAM(記憶部)51と、各部を制御するプログラムを記憶するROM52と、を備える。ロボットアーム3と通信可能にする入出力インターフェース53(I/F)と、を備える。また、本実施形態では、制御装置4は、対象物(ワーク6)を探索するためのパターンマッチングを実行するパターンマッチング装置を兼ねている。
また、図2の制御系には、上記構成に加え、不図示のディスプレイ、キーボード、ポインティングデバイスなどから成るUI(ユーザーインターフェース)装置を接続することができる。このUI装置は、例えば下記の事前処理のモデルエッジ画像の生成などにおいて、特定の画像中の部位を指定する、などの目的で利用される。
なお、本実施形態では、ロボット制御機能を含む制御装置4がパターンマッチング装置の機能を含んでいる。しかしながら、パターンマッチングによる対象物の探索、あるいは後述のモデルエッジデータの生成を行う事前処理を実行する画像処理装置の部分は、ロボット制御機能を含む制御装置4とは別体の処理端末として配置されていてもよい。
ROM52は、後述するパターンマッチングプログラム52aや、ロボットアーム3の動作を制御するロボット制御プログラムや、その他のCPU50が行うワーク6の位置姿勢演算に関する演算プログラムなどを格納する。ROM52に格納されたデータは、不揮発性を有し、CPU50からの書き込みや消去を除き、制御装置4の電源がオフ状態にされても保持される。RAM51は、後述する被探索エッジ画像56や、モデルエッジ画像57等のCPU50にて処理中のデータを一時的に記憶する。
なお、後述の制御手順を実現するためのCPU50の制御プログラムは、不図示のHDDやSSDなどの外部記憶装置、ROM52の(例えばEEPROM領域)のような記憶部に格納しておくこともできる。その場合、後述の制御手順を実現するためのCPU50の制御プログラムは、ネットワークインターフェースなどを介して、上記の各記憶部に供給し、また新しい(別の)プログラムに更新することができる。あるいは、後述の制御手順を実現するためのCPU50の制御プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。上述の制御手順を実現するためのCPU50の制御プログラムを格納した状態における各種の記憶手段ないし記憶部は、本発明の制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。
CPU50は、上記のようにロボットアーム3の動作を制御するロボット制御部54や、パターンマッチング演算部55を備えている。ロボット制御部54は、ロボット制御プログラムの実行により、ロボットアーム3の動作を制御する。
後述するように、パターンマッチング演算部55は、パターンマッチングプログラム52aの実行により、被探索エッジ画像56と、モデルエッジ画像57と、のパターンマッチング処理を行う。
<ワーク>
図3は、供給トレイ7の上方に設置されたカメラ2の視点から供給トレイ7を見た様子を模式的に表している。カメラの光軸は供給トレイ7の中心に略一致している。図3では、ワーク6の個体を識別するため、iを行方向、jを列方向のインデックスとして用いて、各位置のワークを6ij(i=1~4、j=1~4)のような600番台、3桁の参照符号により示している。
図3において、円柱形上のワーク6をほぼ真上から見ているワーク622、623、632、633はワーク上面がほぼ円状に見えている。一方それ以外のワークは、円柱形上のワーク6を斜め上から見ているため、ワーク上面が歪んで楕円形に見えている。このように同じ設計形状のワークであっても視点が異なる、つまりカメラとワークの相対位置関係が異なることにより、撮影した際の画像上での見え方は異なる。なお、ワークの形状は円柱形上に限られるものではなく、どのような形でもよい。また、ワークの数はいくつであってもよい。さらに、ワークの配置は必ずしもマトリクス状でなくてもよく、例えば千鳥配列となっていたり、円状に等間隔に並んでいたりしてもよい。
本実施例では、供給トレイ7上に配列したワーク6をカメラ2で撮影した被探索画像に対してモデルエッジ画像を用いてパターンマッチングを行い、ロボットアーム3が操作すべき特定の1つ(または複数)のワーク6を探索する。この探索結果に応じて、ロボットアーム3が制御され、探索されたワーク6に対する製造操作(組立、加工、塗装など)を行う。
モデルエッジ画像は、実際の製造工程でパターンマッチングによるワーク探索を行う前に、下記の事前処理によって生成する。下記の事前処理は、例えば、同じワーク6を複数、配列した同じ供給トレイ7を適当な配送手段によって所定位置に配置する毎に行うことができる。また、例えば、実際の製造工程で同じワーク6を複数、配列した同じ供給トレイ7が繰り返し交換されるように構成された生産ラインでは、下記の事前処理は実際の製造工程を開始する前に少なくとも1回、実行すればよい。下記の事前処理では、例えば、同じワーク6/供給トレイ7を繰り返し交換して用いる構成において、モデルエッジ画像を生成するためにカメラ2により撮影される画像は「参照画像」と呼ぶ。
<事前処理>
以下、実際の探索処理に先立って、モデルエッジ画像を生成する事前処理の手順を図4のフローチャートに沿って説明する。各位置のワークに対応するモデルエッジ画像を生成し(ステップS1~S4)、その後、パラメータ登録(ステップS5)を行って事前処理が終了する。
初めに、参照画像を撮影する(ステップS1)。この時、供給トレイ7のすべての位置にワーク6を配置し、カメラ2により全てのワーク6が同一視野に入るようにして撮影を行う。ワーク6は、実際にロボットアーム3が実行する生産工程で用いるワークと同じものを用いる。ただし、参照画像撮影の方法はこの限りではなく、全てのワーク6のうちの一部のみをクロップ撮影してもよい。クロップ撮影とは、撮影の段階で撮像素子の一部分のみで画像を捉えることである。クロップ撮影した場合は、後述する切出し画像生成(ステップS21やステップS41)が不要となる場合がある。
次に、基準モデルエッジ画像を生成する(ステップS2)。基準モデルエッジ画像は、基準ワークに対応するモデルエッジ画像である。本実施形態では、ワーク622を基準ワークとするが、基準ワークの選び方はこれに限定されるものではない。例えば、基準ワークとするワークは、カメラの光軸に最も近いワーク、あるいは、最も供給トレイ7の端縁に位置するワークなど、供給トレイ7上の任意の位置にあるワークを選んでよい。以下、この基準モデルエッジ画像生成の手順について図5を参照して説明する。
図5の処理では、同一設計形状の複数の対象物の一部または全ての対象物を撮影した参照画像に対してエッジ抽出(S22)を行い、基準となる対象物のモデルエッジ画像を生成する(基準モデルエッジ画像生成工程)。
図5の基準モデルエッジ画像生成では、まず、切り出し画像生成を行う(ステップS21)。例えば、作業者は、例えばディスプレイに表示された参照画像から、基準ワーク622を囲う矩形領域を設定する。この設定作業は、例えば制御装置4に接続されたマウスなどのポインティングデバイスを用いて、ディスプレイに表示された参照画像内のワーク622を包含する矩形領域を選択する。この領域選択では、例えばマウスなどにより、表示画像中の左上の点と右下の点とをクリックする。これにより、制御装置4はクリックした2点の位置を矩形領域の左上および右下の点として認識し、参照画像の対応する領域を矩形領域として選択する。そして、選択された矩形領域を参照画像から切り出して、当該矩形領域の画像を切り出し画像12とする(図6(a)参照)。
次に、切り出し画像12に対してエッジ抽出処理を適用してエッジ画像13を生成する(ステップS22)。ここでは、切り出し画像12の画素ごとにエッジ強度およびエッジ方向を算出する。即ち、各画素において、エッジは強度と方向の要素を有するベクトルとして定義される。エッジ強度とは、コントラストの大きさを表し、注目画素に対し隣接する画素のコントラストが大きければ、当該注目画素のエッジ強度も大きくなる。エッジ方向とは、コントラストの方向を表し、注目画素のエッジ強度が最も大きくなる方向(角度)を示す。
また、エッジ強度の算出には、X軸方向及びY軸方向のソーベルフィルタを使用し、任意の画素でX軸方向のエッジ強度とY軸方向のエッジ強度とを算出する。そして、下式(数1)のように、エッジ強度を各軸方向のエッジ強度の二乗和の平方根で表す。なお、本実施形態では、エッジ強度の算出にソーベルフィルタを使用しているが、これに限定されることなく、例えば、ラプラシアンフィルタやキャニーフィルタ等の周知のエッジ抽出フィルタを使用してもよい。
Figure 0007071074000001
上式(数1)において、Iはエッジ強度、eはX軸方向のエッジ強度、eはY軸方向のエッジ強度を示す。
また、エッジ方向の算出には下式(数2)を用いることができる。
Figure 0007071074000002
上式(数2)において、θはエッジ方向、eはX軸方向のエッジ強度、eはY軸方向のエッジ強度を示す。
以上のようにして、切り出し画像12の全画素のエッジ強度及びエッジ方向を算出する。そして、エッジ強度がある所定の閾値以上になった画素をエッジ特徴として抽出し、エッジ画像13を生成する。エッジ画像のデータ保持方法は、エッジ画像13の画素毎に2チャンネルのデータ領域を持っておき、エッジ特徴として抽出された画素は有効画素として、1チャンネル目にエッジ強度、2チャンネル目にエッジ方向の情報を入れておく。エッジ特徴ではないと判断された画素には、無効値(例えば0)を入れておく。図6(b)はこのようにして抽出されたエッジ画像を示しており、同図ではエッジ特徴の有効画素を暗色で表現し、無効画素を白色で表現している。
以上のように切り出し画像12にエッジ抽出処理を適用して生成されたエッジ画像13には、ワークの輪郭に相当するエッジ15だけではなく、背景やワーク表面の陰影の影響で意図しないノイズエッジ14が含まれてしまうことが多い。そこで、このノイズエッジ14をエッジ画像13から除外するために、モデルエッジ選択を行う(ステップS23)。
モデルエッジ選択(ステップS23)では、ディスプレイに表示されたエッジ画像13の中から、作業者がモデルとして使用したいエッジをマウス(などのUI装置)によりクリックし、選択する。このとき、クリックした位置に最も近いエッジが選択される。このような操作によって選択されたエッジのみを残し、選択されなかったエッジはエッジ画像から除外する。この画素の除外は、例えば、該当する画素値として無効値を格納することなどによって行うことができる。以上のようにして、モデルとして使用したいエッジのみが有効となった基準モデルエッジ画像16(図6(c))が生成される。なお、ノイズエッジの除去は、作業者の上記のような手動操作によって行う他、適当なノイズフィルタ処理を利用できる場合には、そのノイズフィルタ処理を用いて自動的に行ってもよい。
以上のようにして基準モデルエッジ画像が生成(図4のS2)されると、図4のステップS3として示したループ処理によって、隣接モデルエッジ画像の生成(ステップS4)を繰り返し、全ワーク分のモデルエッジを生成する。
この隣接モデルエッジ画像生成(ステップS4)では、生成済みのモデルエッジ画像を用いて、そのモデルエッジ画像に対応する対象物に隣接する同一設計形状の対象物に対応するモデルエッジ画像を生成する(隣接モデルエッジ画像生成工程)。ここで、基準モデルエッジの直後に生成される隣接モデルエッジ画像では、基準モデルエッジが「生成済みのモデルエッジ画像」として用いられる。その後の隣接モデルエッジ画像の生成では、基準モデルエッジ画像か、あるいは生成済みの隣接モデルエッジ画像が、「生成済みのモデルエッジ画像」として用いられる。「隣接(する)ワーク」の定義については後述するが、参照画像中で近接しているワークであるものとして考えてよい。
本実施形態では、モデルエッジ画像生成の対象となるワークを隣接ワーク、すでにモデルエッジ画像が生成されているワークを参照ワークと呼ぶ。以下では、図3において、ワーク621を隣接ワーク、ワーク622を参照ワークとして、図7を参照して隣接モデルエッジ画像生成の手順につき説明する。
まず、隣接ワーク621の切り出し画像生成を行う(ステップS41)。この「切り出し」では、例えば前述同様の手法によって、作業者が例えばディスプレイに表示された参照画像から、隣接ワーク621を画成する矩形領域を設定する。この作業は、例えば、制御装置4に接続されたマウスなどのポインティングデバイスを用いて、ディスプレイに表示された参照画像内のワーク621を包含する領域の左上の点と右下の点とをクリックすることにより行う。クリックした2点の位置を矩形領域の左上および右下の点として、矩形領域を設定する。これにより、参照画像中の隣接ワーク621に相当する矩形領域のみを切り出し、当該領域の画像を切り出し画像70とする(図8(a))。
次に、ステップS41で生成した切り出し画像70を被探索画像として生成済みの参照ワーク622のモデルエッジ画像を用いて、パターンマッチングを行う(ステップS42)。
上述のように参照ワーク622と隣接ワーク621は隣り合って配置されたワークであり、お互いの距離が近いため、撮影された参照画像上での見え方はほぼ同じである。ほぼ同じとは、つまり、参照ワーク622から作られたモデルエッジ画像を使用して隣接ワーク621の画像に対してパターンマッチングを適用でき、ワーク位置を計測できる可能性が高いことを意味する。パターンマッチングによって隣接ワーク621の位置を計測した結果を用いて参照ワーク622のモデルエッジ73の位置を補正(変形)すると、図8(b)のように隣接ワーク621のエッジ71と参照ワーク622のモデルエッジ73は重なり合う位置となる。
その後、例えば、参照ワーク622のモデルエッジ73からエッジ抽出領域75を生成する(ステップS43)。まず、参照ワーク622のモデルエッジ73を分割して分割モデルエッジ74とする(図8(c))。モデルエッジの分割では、エッジを直線とみなせるまで分割する。エッジは連続した画素の列とみなすことができるため、モデルエッジ画像の各画素が持つエッジ方向が急激に変化する点で分割することで、直線とみなせるエッジ成分に分割することができる。図8(c)の破線のように分断されたエッジは、この直線に近似可能なエッジ成分を模式的に示したものである。続いて、図8(d)のように、分割モデルエッジ74を領域化した後、膨張させてエッジ抽出領域75を生成する。ここでは、例えば分割モデルエッジ74を取り囲む外側の画素を有効画素とすることなどにより、図示のようなエッジ抽出領域75へ膨張させる。
その後、各エッジ抽出領域75の内側で、切り出し画像70に対してエッジ抽出を行う(ステップS45)。図8(e)はこのエッジ抽出の結果を示している。また、図8(f)は図8(e)の点線で囲んだ部分を拡大して示しており、抽出されたエッジ76には隣接ワーク621の輪郭に相当するエッジ76aとノイズエッジ76bが含まれている。
続いてノイズエッジを除去する処理(ステップS46)を行う。ノイズ除去処理では、抽出エッジ76と分割モデルエッジ74との比較を行い、例えば、エッジの長さ、傾き、エッジ間距離について評価して当該のエッジがノイズエッジか否かを判定し、ノイズエッジと判定されたエッジを除去する。ここで、エッジ長さは、エッジ端点間の距離として算出する。抽出エッジ76と分割モデルエッジ74とでエッジ長さを算出して比較し、例えば、分割モデルエッジ74の長さの1/4以下の抽出エッジはノイズエッジとして判定する。なお、エッジ長さの算出方法はこれに限られるものではなく、例えば隣り合うエッジ点間距離の合計値として算出してもよい。
また、エッジ傾きは、エッジ端点間を結ぶ直線が画像x軸方向と成す角度として算出する。抽出エッジ76と分割モデルエッジ74とでエッジ傾きを算出して比較し、例えば分割モデルエッジと傾きの差が45度以上の抽出エッジはノイズエッジとして判定する。なお、エッジ傾きの算出方法はこれに限られるものではなく、例えばエッジに対して直線フィッティングを行って直線を推定し、その直線が画像x軸方向となす角度として算出してもよい。
エッジ間距離は、図9に示すように、抽出エッジ76の2つの端点から分割モデルエッジ74までの距離78,79をそれぞれ算出する。このとき、分割モデルエッジ74に対して直線フィッティングを行い、点と直線の距離としてそれぞれの距離78、79を算出し、それらの距離の平均値をエッジ間距離として算出する。そして、例えばエッジ間距離が5画素以上離れている抽出エッジはノイズエッジとして判定する。なお、エッジ間距離の算出方法はこれに限られるものではなく、例えば抽出エッジ76と分割モデルエッジ74の各重心点間距離として算出してもよい。以上のようにしてエッジ長さ、エッジ傾き、エッジ間距離に基づいてノイズエッジ判定を実施し、ノイズエッジと判定されたエッジを除去する。
各エッジ抽出領域75でエッジ抽出(ステップS45)とノイズ除去処理(ステップS46)を繰り返し(ステップS44)、最後に、各エッジを結合する(ステップS47)。結合は、ステップS45、S46で抽出されたエッジ同士を端点が近いものから結合していき、すべてのエッジが結合されるまで繰り返す。このようにして隣接ワークのモデルエッジ画像77が生成される(図8(g))。
ここで、図3を参照して隣接ワークの定義について説明する。本実施形態のように、直交する格子状の行、列、の形態で配列されたワークが対象物の場合、特定のモデルエッジ生成済みのワークに対して、例えばその周囲の4方向、つまり上下左右に隣接するワークを隣接ワークとして扱うことが考えられる。この例では、ワーク622に隣接するワークは、ワーク612、621、623、632である。ただし、隣接の定義はこれに限定されるものではなく、例えば周囲8方向に隣接するワークを隣接ワークとしてもよいし、一定距離内に存在する全てのワークを隣接ワークとしてもよい。
再び、図4の隣接モデルエッジ画像生成のループ(S3)において、例えば隣接モデルから隣接モデルへと、連鎖的に、上記の隣接モデルエッジ画像生成を繰り返すことにより参照画像に撮影されている全ワークのモデルエッジ画像を生成することができる。図14は、参照画像に撮影されている供給トレイ7上の16個のワーク6に対して、モデルエッジ画像が連鎖的に生成される様子を模式的に例示している。
図14では、白丸がモデルエッジ画像未生成のワーク、黒丸がモデルエッジ画像生成済みのワークを示している。また、図14では、基準モデルエッジ画像が最初に生成されるワークがワーク61で、その後、隣接モデルエッジ画像を連鎖的に繰り返し生成することにより隣接モデルエッジ画像が順次生成されていくワークをワーク62、63、64、65として示してある。図14の例では、矢印の方向に隣接モデルエッジ画像の生成が進行し、下段中央のように最終的に全てのワークに対応する隣接モデルエッジ画像の生成が完了する。
本実施形態では、図3のワーク622を基準ワークとしており、基準ワークに対するモデルエッジ画像はすでに基準モデルエッジ画像生成(ステップS2)で生成済みである(図14のワーク61)。まず初めに、基準ワーク622を参照ワークとして、ワーク622の隣接ワークである図3のワーク612、621、623、632の各ワーク(図14のワーク62)について隣接モデルエッジ画像生成(ステップS4)を実施する。
次にワーク612を参照ワークとして、隣接ワークのモデルエッジ画像生成を行う。このとき、ワーク612の隣接ワークはワーク611、613、622であるが、ワーク622はすでにモデルエッジ画像生成済みであるため、ワーク611、613に対しても隣接モデルエッジ画像生成(ステップS4)を実施する(図14のワーク63)。また、ワーク621、623、632についてもそれぞれを参照ワークとして、同様に隣接ワークのモデルエッジ画像を生成する(図14のワーク63)。
次に、前述の手順で新たにモデルエッジ画像が生成されたワーク611、613、624、631、633、642について、それぞれを参照ワークとして、同様に隣接ワークのモデルエッジ画像を生成する(図14のワーク64、65)。
以上のように、モデルエッジ画像生成済みの各ワークを参照ワークとして、隣接するワークの中でモデルエッジ画像未生成のワークに対して隣接モデルエッジ画像生成(ステップS4)を実施する手順を繰り返し、全ワークのモデルエッジ画像を生成する。手順をまとめると下記のようになる。
手順(1):基準ワークに対するモデルエッジ画像を生成する(ステップS2)。
手順(2):隣接ワーク(例えば周囲の4方向)の中でモデルエッジ画像未生成のワークに対して隣接モデルエッジ画像生成(ステップS4)を実施する。
手順(3):手順(2)でモデルエッジ画像生成された全てのワークに対して手順(2)の処理を適用する。
手順(4):全てのワークのモデルエッジ画像を生成したら処理を終了する。
ただし、隣接モデルエッジ画像生成の適用順は上記のような構成に限定されるものではない。例えば基準ワークを611に選び、初めに611→612→613→614のようにある一方向に実施し、その後、611→621→631→641のように別の方向に実施するようにしてもよい。
全ワークの隣接モデルエッジ画像生成が終了すると、図4のステップS5において、後程、実行されるパターンマッチングによるワーク探索を行うのに必要なパラメータ登録処理を行う。ここでは、パターンマッチングに必要な各種パラメータ、例えば、探索範囲や類似度閾値などの設定を行う。探索範囲の設定では、ワークの位置ごとにパターンマッチングの探索範囲を設定する。例えば、ワーク622の計測を行う場合の被探索画像中に探索範囲922を図10のように設定する。同様に、他の全ての位置のワークに対して探索範囲を定めておくことができる。なお、類似度閾値は、後述する類似度Rの値に応じてパターンマッチングを成功とするかを決定するための閾値である。
<探索処理>
次に、図11のフローチャートを参照して、パターンマッチングによるワーク探索の制御手順につき説明する。この探索は、例えば1つの供給トレイ7に配置された複数のワークの位置をそれぞれ特定するために行うことができる。そして、その探索結果に基づき、制御装置4は探索された位置にある特定のワークを操作するようロボットアーム3を制御することができる。
図11の例では、1つの供給トレイ7に配置された複数のワークを1回撮影して被探索画像を取得し、供給トレイ7に配置された全てのワークをパターンマッチングによって探索して、その位置を取得するような構成となっている。
まず、CPU50のパターンマッチング演算部55は、上記の事前処理で生成し、モデルエッジ画像や、事前処理で登録した探索範囲、類似度閾値などのパラメータを入力する(ステップS6)。モデルエッジ画像は、少なくとも1つまたは複数(ないし全て)の計測対象とするワークのモデルエッジ画像を入力する。これにより、モデルエッジ画像57は図2のようにRAM51に格納されて利用可能な状態となる。
パターンマッチング演算部55は、供給トレイ7上のワーク6をカメラ2で撮影させ(図1、図2)、パターンマッチングを行うための被探索画像を入力する(ステップS7)。これにより、被探索エッジ画像56は、図2のようにRAM51に格納されて利用可能な状態となる。このとき、撮影されるワーク6は、少なくとも1つまたは複数(ないし全て)計測対象とするワークがトレイ上に配置されていればよい。
さらに、パターンマッチング演算部55は、被探索画像に対して、上述したエッジ抽出処理(図5:ステップS22)と同様の方法により、エッジ特徴を抽出し、被探索エッジ画像56を生成する(ステップS8)。そして、パターンマッチング演算部55は、モデルエッジ画像57と、被探索エッジ画像56とでパターンマッチングを行う(ステップS9)。
パターンマッチングの手法としては、モデルエッジ画像57の中心を被探索エッジ画像56内部でピクセル単位で移動させる。そして、移動させた各位置で、被探索エッジ画像56からモデルエッジ画像57とマッチングするための画像を抽出する。そして、抽出した画像とモデルエッジ画像57との類似度Rを下式(数3)により求める。
Figure 0007071074000003
ここで、Rijは被探索エッジ画像56内のモデルエッジ画像57の中心位置(i,j)における類似度を、また、nはエッジの数を示す。また、θIは被探索エッジ画像56のエッジ方向、θTはモデルエッジ画像57のエッジ方向をそれぞれ示す。 上式(数3)において、画像内の位置は、モデルエッジ画像57の中心の被探索エッジ画像56内での位置に相当する。また、数式3における類似度Rの範囲は0~1となり、0が最も低い類似性、1が最も高い類似性を示す値となる。パターンマッチング演算部55は、被探索エッジ画像56の中の、計測対象ワークの探索範囲の全座標において上式(数3)により演算を実行し、最も類似度Rの高かった位置の座標(i,j)を記憶しておく。そして、最も類似度Rの高かった位置の座標(i,j)を、被探索エッジ画像56のワーク6の検出位置とし、これに基づき被探索画像中でのワーク6の検出位置を算出する。ただし、最も高い類似度Rが類似度閾値より小さい場合、パターンマッチングは失敗したとして、エラーを出力してパターンマッチング処理を終了する。
なお、ロボットアーム3を制御するための座標系に対するカメラ2の設置位置、画角、撮影距離は全て既知である。従って、被探索エッジ画像(56)中で検出したワークの位置(座標値)は、適当な座標変換によって、ロボットアーム3を制御するための座標系における位置(座標値)に変換することができる。これにより、制御装置4は、カメラ2で撮影した供給トレイ7上の特定のワーク6を操作するよう、ロボットアーム3を制御することができる。
なお、ロボットアーム3で同じ供給トレイ7とワーク6の組合せを取り扱う限り、オンラインの生産前に一度だけ事前処理でモデルエッジ画像生成を行えばよい。しかしながら、事前処理でモデルエッジ画像生成を行うタイミングはこれに限定されない。例えば、オンライン生産中にある一定のタイミングでモデルエッジ画像生成を実施してもよい。これにより、例えば経時的な環境光の変化やカメラ・照明の劣化による画質の経時的な変化に対応することができる。また、ワークのロット変更(ワークの一部の形状が変更されるなどのマイナーチェンジ)が行われる場合には、事前処理によってモデルエッジ画像生成を実施することができる。これにより、ロット変更によるワーク形状の微小な変化に対応し、正確かつ確実にロボットアーム3によりワークを操作して工業製品、部品などの製造を行うことができる。
ここで、図15にロボットアーム3を用いて、パターンマッチングを利用して工業製品、部品などの製造を行う制御の全体の手順を示しておく。
図15のステップS53では、ロボット教示と、前述の事前処理によるモデルエッジ画像データの生成を行う。このロボット教示では、例えば、作業者により、不図示のティーチングペンダントなどと呼ばれる端末を用いて教示点列を指示し、またハンドの開閉操作などを指示する作業が行われる。また、ロボット教示は、他のロボットプログラミング専用の端末を用いて行ってもよい。
ステップS54では、上記のように供給トレイ7を撮影して被探索画像を取得する。そして、ステップS55のループで、ロボットアーム3による複数ワークに対するワーク操作を繰り返し実行する。図15の手順は、複数ワークのそれぞれに対して、パターンマッチングによるワーク探索(S56)と、探索結果に基づくロボットアーム3の制御(S57)を繰り返すよう記載されている。このように、ワークの1個ごとに、当該のワークを探索するパターンマッチングを行い、その探索結果に基づきロボットアーム3の制御を行うよう制御してもよい。あるいは、上述のように、パターンマッチングによるワーク探索(S56)は、ステップS55のループの前に前置し、パターンマッチングによって全ワークの位置を全て探索し、その位置(座標情報)を予め取得する構成であってもよい。
以上のように、本実施形態によれば、生成済みのモデルエッジ画像を用いて、そのモデルエッジ画像に対応する対象物に隣接する同一設計形状の対象物に対応するモデルエッジ画像を生成する隣接モデルエッジ画像生成を行う。このため、規則的に配置された同一設計形状の複数ワークに対してパターンマッチングを行う場合に、各ワークに対して、適切なモデルエッジ画像を効率的に生成することができる。また、以上のようにして、パターンマッチングのための適切なモデルエッジ画像を生成できるため、例えばロボットアームを用いた生産ラインにおいて撮影した被探索画像に対して、パターンマッチングを利用して高精度なワーク探索が可能となる。このため、ロボットアームを正確に制御でき、高効率かつ、高精度な部品、あるいは工業製品の製造が可能となる。
[実施形態2]
上記の実施形態1では、基準ワークを除く全てのワークに対して隣接モデルエッジ画像生成を実施している。これに対して、本実施形態2では、事前処理において、図12に示すように隣接モデルエッジ画像生成の要否判断を行い、特定の条件のときには隣接モデルエッジ画像生成処理の一部または全ての手順を省略する。図12は図7に示した実施形態1の隣接モデルエッジ画像生成処理に相当するが、図7の各ステップに対してステップS48の類似度Rの判定による分岐を追加したものである。図12ではそれ以外の工程は図7と同一であるため、以下では、重複する説明は省略するものとする。また、ワーク探索に関しては、実施形態1と同様に実施することができる。
<事前処理>
本実施形態2の隣接モデルエッジ画像生成処理では、参照モデルエッジ画像をそのまま隣接モデルエッジ画像として使用できる場合には、隣接モデルエッジ画像生成の一部またはすべてを省略する。
図12の隣接モデルエッジ画像生成処理では、参照モデルエッジ画像でパターンマッチング(ステップS42)を実施した後、その類似度Rがあらかじめ定めた閾値以上かどうかを判断する(ステップS48)。そして、類似度R(数3)が閾値以上の場合は参照モデルエッジ画像で隣接ワークのモデルエッジ画像を代用可能と判断し、参照モデルエッジ画像のコピーを移動して隣接モデルエッジ画像として設定し(ステップS49)、処理を終了する。このとき、エッジ抽出に関わる処理ステップS43と、ステップS45~S47のループ(S44)は省略される。
なお、隣接モデルエッジ画像生成の省略方法は上記の方法に限られるものではない。例えば、図13に示すように、供給トレイ7上の複数のワーク6を互いに近接する少数(この例では4個)のワーク6によって構成されるグループG1~G4にグループ分けしておく。そして、参照ワークと隣接ワークが同じグループ内であるときには参照モデルエッジ画像のコピーを移動して隣接モデルエッジ画像として取得し、隣接モデルエッジ画像生成(ステップS41~S47)を省略するようにしてもよい。
このようにしてある条件を満たす場合に隣接モデルエッジ画像生成処理(ステップS41~S47)の一部またはすべてを省略し、参照モデルエッジ画像のコピーを隣接モデルエッジ画像として設定することで置き換えることができる。以上のようにして、本実施形態2のモデルエッジ画像生成処理によれば、隣接モデルエッジ画像生成処理の一部またはすべての手順を省略することで、パターンマッチングの事前処理に要する時間を短縮することができる。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1…ロボット装置、2…カメラ、3…ロボットアーム、4…制御装置、6…ワーク、7…供給トレイ、12…基準ワークの切り出し画像、13…エッジ画像、16…基準モデルエッジ画像、32…ハンド、50…CPU、51…RAM、52…ROM、77…モデルエッジ画像、80…モータ、81…エンコーダ、82…モータ制御部。

Claims (13)

  1. パターンマッチング処理に用いるモデルエッジ画像を生成するモデルエッジ画像生成処理を含む画像処理方法において、
    複数の対象物を撮影した参照画像から、第1対象物の第1モデルエッジ画像を生成する第1モデルエッジ画像生成工程と、
    前記第1対象物に隣り合う第2対象物第2モデルエッジ画像を生成する第2モデルエッジ画像生成工程と、を画像処理装置が実行し
    前記第2モデルエッジ画像生成工程において、前記第2対象物に係るエッジ抽出領域を前記第1モデルエッジ画像に基づいて設定し、前記参照画像の前記エッジ抽出領域でエッジ抽出を行うことにより、前記第2モデルエッジ画像を生成する画像処理方法。
  2. 請求項1に記載の画像処理方法は、更に被探索画像の中に撮影されている前記対象物を探索する探索工程を前記画像処理装置が実行し
    前記探索工程において、前記被探索画像からエッジ検出により生成したエッジ画像と、前記第1モデルエッジ画像生成工程で生成された前記第1モデルエッジ画像、および前記第2モデルエッジ画像生成工程で生成された前記第2モデルエッジ画像と、のパターンマッチング処理を実行する画像処理方法。
  3. 請求項1または2に記載の前記複数の対象物が、規則的に配置された同一設計形状の複数のワークである画像処理方法。
  4. 請求項1ないし3の中のいずれか1項に記載の画像処理方法において、前記第2モデルエッジ画像を用いて、前記第2対象物隣り合い、かつモデルエッジ画像が未生成の対象物の第3モデルエッジ画像を生成する第3モデルエッジ画像生成工程を、前記画像処理装置が実行する画像処理方法。
  5. 請求項4に記載の画像処理方法において、前記第3モデルエッジ画像生成工程において、前記第2対象物隣り合うがモデルエッジ画像が未生成の対象物に係るエッジ抽出領域を前記第2モデルエッジ画像に基づいて設定し、前記参照画像の前記エッジ抽出領域でエッジ抽出を行い、前記第2対象物隣り合い、かつモデルエッジ画像を未生成の対象物の第3モデルエッジ画像を生成する画像処理方法。
  6. 請求項4に記載の画像処理方法において、前記第3モデルエッジ画像生成工程において、前記第2対象物隣り合い、かつモデルエッジ画像が未生成の対象物のエッジを前記参照画像から検出した画像と、前記第2モデルエッジ画像と、の類似度が所定の閾値以上である場合に、前記第2モデルエッジ画像を、前記第2対象物隣り合い、かつモデルエッジ画像が未生成の対象物の第3モデルエッジ画像とする画像処理方法。
  7. 請求項1ないしの中のいずれか1項に記載の画像処理方法の各工程を、画像処理装置に実行させるプログラム。
  8. 請求項に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
  9. パターンマッチング処理に用いるモデルエッジ画像を生成するモデルエッジ画像生成処理を含む画像処理を実行する制御装置を備えた画像処理装置であって、
    前記制御装置は、
    前記モデルエッジ画像生成処理において、複数の対象物を撮影した参照画像に対してエッジ検出を行い、第1対象物の第1モデルエッジ画像を生成する第1モデルエッジ画像生成工程と、前記第1対象物に隣り合う第2対象物第2モデルエッジ画像を生成する第2モデルエッジ画像生成工程と、を実行し、
    前記第2モデルエッジ画像生成工程において、前記第2対象物に係るエッジ抽出領域を前記第1モデルエッジ画像に基づいて設定し、前記参照画像の前記エッジ抽出領域でエッジ抽出を行うことにより、前記第2モデルエッジ画像を生成する画像処理装置。
  10. 請求項に記載の画像処理装置であって、前記制御装置は、被探索画像からエッジ検出により生成したエッジ画像と、前記第1モデルエッジ画像および前記第2モデルエッジ画像と、のパターンマッチング処理を更に実行する画像処理装置。
  11. 請求項または10に記載の画像処理装置において、前記制御装置は、前記第2モデルエッジ画像を用いて、前記第2対象物隣り合い、かつモデルエッジ画像が未生成の対象物の第3モデルエッジ画像を生成する第3モデルエッジ画像生成工程を更に実行する画像処理装置。
  12. 請求項1に記載の画像処理方法により、前記画像処理装置が、対象物としてのワークのモデルエッジ画像を生成し、
    前記モデルエッジ画像を用いたパターンマッチングにより、複数のワークを撮影した被探索画像の中から特定のワークを探索し、
    探索結果に基づき、前記特定のワークに対して製造装置が処理を実行する、
    物品の製造方法。
  13. 請求項に記載の画像処理装置から、対象物としてのワークのモデルエッジ画像を取得する制御部を備え、
    前記制御部は、前記モデルエッジ画像を用いてパターンマッチング処理を実行し、複数のワークを撮影した被探索画像の中から特定のワークを探索し、
    探索結果に基づき、前記特定のワークに対してロボットアームを作用させる、
    ロボット装置。
JP2017156156A 2017-08-10 2017-08-10 画像処理方法、画像処理装置、プログラム、記録媒体、物品の製造方法、およびロボット装置 Active JP7071074B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017156156A JP7071074B2 (ja) 2017-08-10 2017-08-10 画像処理方法、画像処理装置、プログラム、記録媒体、物品の製造方法、およびロボット装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017156156A JP7071074B2 (ja) 2017-08-10 2017-08-10 画像処理方法、画像処理装置、プログラム、記録媒体、物品の製造方法、およびロボット装置

Publications (3)

Publication Number Publication Date
JP2019036072A JP2019036072A (ja) 2019-03-07
JP2019036072A5 JP2019036072A5 (ja) 2020-09-10
JP7071074B2 true JP7071074B2 (ja) 2022-05-18

Family

ID=65637581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017156156A Active JP7071074B2 (ja) 2017-08-10 2017-08-10 画像処理方法、画像処理装置、プログラム、記録媒体、物品の製造方法、およびロボット装置

Country Status (1)

Country Link
JP (1) JP7071074B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111189389B (zh) * 2020-01-08 2021-07-23 逸美德科技股份有限公司 棱线损坏程度的检测方法及其装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194864A (ja) 1998-12-28 2000-07-14 Jeol Ltd パタ―ン欠陥分類装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674972B2 (ja) * 1986-05-16 1994-09-21 株式会社日立製作所 パタ−ン欠陥検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194864A (ja) 1998-12-28 2000-07-14 Jeol Ltd パタ―ン欠陥分類装置

Also Published As

Publication number Publication date
JP2019036072A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6527178B2 (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
US11407111B2 (en) Method and system to generate a 3D model for a robot scene
TWI672206B (zh) 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP5200772B2 (ja) ロボット装置の制御方法及びロボット装置
US20210138656A1 (en) Method and system for robot control using visual feedback
JP6740288B2 (ja) 物体検査装置、物体検査システム、及び検査位置を調整する方法
US20240075629A1 (en) Autonomous welding robots
JP7337495B2 (ja) 画像処理装置およびその制御方法、プログラム
JP6410411B2 (ja) パターンマッチング装置及びパターンマッチング方法
WO2019059343A1 (ja) ワーク情報処理装置およびワークの認識方法
JP7112528B2 (ja) 作業座標作成装置
JP7071074B2 (ja) 画像処理方法、画像処理装置、プログラム、記録媒体、物品の製造方法、およびロボット装置
TW202235239A (zh) 調整參數的裝置、機器人系統、方法及電腦程式
Xu et al. Industrial robot base assembly based on improved Hough transform of circle detection algorithm
TWI696529B (zh) 自動定位方法以及自動控制裝置
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
JP2014144516A (ja) ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム
JP2020173637A (ja) 画像処理装置、生産システム、物品の製造方法、および画像処理方法
JPH05150835A (ja) ロボツトによる組み立て装置
KR102333281B1 (ko) 툴이 이동할 위치를 티칭하는 로봇암 및 로봇암의 동작 방법
JP2022142773A (ja) オブジェクトのカメラ画像からオブジェクトの場所を位置特定するための装置及び方法
US20230089195A1 (en) Control device, control system, control method, and recording medium with control program recorded thereon

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220506

R151 Written notification of patent or utility model registration

Ref document number: 7071074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151