JP6288517B2 - 画像処理装置、画像処理方法、及び部品供給装置 - Google Patents

Description

開示の実施形態は、画像処理装置、画像処理方法、及び部品供給装置に関する。

特許文献１には、振動フィーダによって移送される被移送品をカメラで撮影し、その撮影画像を画像認識することにより上記被移送品の形状方向を正しく認識する構成が記載されている。

特開平５−１６４５２９号公報

しかしながら振動フィーダでは各被移送品の移送タイミングや移送速度を制御できないため、移送方向に２つの被移送品が接触したまま移送される連接移送状態となる場合があり、上記従来技術ではそれらの形状方向（姿勢）を個別に認識できなかった。

本発明はこのような問題点に鑑みてなされたものであり、各被移送体のそれぞれに対し個別に姿勢を判別できる画像処理装置、画像処理方法、及び部品供給装置を提供することを目的とする。

上記課題を解決するため、本発明の一の観点によれば、所定の移送方向に移送される被移送体の撮像画像を画像認識することにより当該被移送体の姿勢を判別する画像処理装置であって、前記撮像画像中において前記被移送体の移送経路上の所定位置で区画された検知領域の検知領域画像を取り込む検知画像取込手段と、前記撮像画像中において前記検知領域の前記移送方向の上流側に接触する位置で区画された認識領域の認識領域画像を取り込む認識画像取込手段と、前記検知画像取込手段が取り込んだ前記検知領域画像に基づいて前記所定位置に前記被移送体が存在するか検知する検知手段と、前記検知手段が前記所定位置での前記被移送体の存在を検知した場合に、前記認識画像取込手段が取り込んだ前記認識領域画像に基づいて当該被移送体の姿勢を判別する判別手段と、を有する画像処理装置が適用される。

また、本発明の別の観点によれば、所定の移送方向に移送される被移送体の撮像画像を画像認識することにより前記被移送体の姿勢を判別する画像処理方法であって、前記撮像画像中において前記被移送体の移送経路上の所定位置で区画された検知領域の検知領域画像を取り込むことと、前記撮像画像中において前記検知領域の前記移送方向の上流側に接触する位置で区画された認識領域の認識領域画像を取り込むことと、取り込んだ前記検知領域画像に基づいて前記所定位置に前記被移送体が存在するか検知することと、前記所定位置での前記被移送体の存在を検知した場合に、取り込んだ前記認識領域画像に基づいて当該被移送体の姿勢を判別することと、を実行する画像処理方法が適用される。

また、本発明の別の観点によれば、所定の移送方向に移送される被移送体の撮像画像を画像認識することにより前記被移送体の姿勢を判別する画像処理装置が備える演算装置に実行させる画像処理プログラムであって、前記撮像画像中において前記被移送体の移送経路上の所定位置で区画された検知領域の検知領域画像を取り込むことと、前記撮像画像中において前記検知領域の前記移送方向の上流側に接触する位置で区画された認識領域の認識領域画像を取り込むことと、取り込んだ前記検知領域画像に基づいて前記所定位置に前記被移送体が存在するか検知することと、前記所定位置での前記被移送体の存在を検知した場合に、取り込んだ前記認識領域画像に基づいて当該被移送体の姿勢を判別することと、
を実行する画像処理プログラムが適用される。

また、本発明の別の観点によれば、内部に貯留した複数の部品を移送経路上に一列に移送させる移送手段と、前記移送経路を撮像する撮像手段と、前記撮像手段で撮像された前記部品の撮像画像を画像認識することにより当該部品の姿勢を判別する画像処理装置と、前記画像処理装置によって所定の姿勢にないと判別された部品を前記移送経路から排除する排除手段と、を有する部品供給装置であって、前記画像処理装置は、前記撮像画像中において前記移送経路上の所定位置で区画された検知領域の検知領域画像を取り込む検知画像取込手段と、前記撮像画像中において前記検知領域の前記部品の移送方向の上流側に接触する位置で区画された認識領域の認識領域画像を取り込む認識画像取込手段と、前記検知画像取込手段が取り込んだ前記検知領域画像に基づいて前記所定位置に前記部品が存在するか検知する検知手段と、前記検知手段が前記所定位置での前記部品の存在を検知した場合に、前記認識画像取込手段が取り込んだ前記認識領域画像に基づいて当該部品の姿勢を判別する判別手段と、を有する部品供給装置が適用される。

本発明によれば、各被移送体のそれぞれに対し個別に姿勢を判別できる。

実施形態のパーツフィーダの外観平面及び制御構成を表した図である。 カメラが撮像した移送経路の撮像画像の一例を示す図である。 部品を移送経路から落下させて排除する撮像画像の一例を示す図である。 実施形態で姿勢判別する対象の部品の正常姿勢を示す図である。 実施形態で姿勢判別する対象の部品の上下反転姿勢を示す図である。 部品が認識領域に到達した直後の状態を示す図である。 部品が検知領域に到達する直前の状態を示す図である。 部品が検知領域に到達して姿勢判別可能な状態を示す図である。 連接移送状態にある下流側の部品が検知位置に存在している状態を示す図である。 連接移送状態にある上流側の部品が検知位置に存在している状態を示す図である。 画像処理装置が行う周期処理を模式的に示した図である。 ｎ回目の撮像時で移送方向長さの短い部品が検知領域に到達する直前の状態を示す図である。 ｎ＋１回目の撮像時で移送方向長さの短い部品が検知領域に到達した状態を示す図である。 下流側の部品の上流側端部の位置に合わせて再認識領域を区画設定する状態を示す図である。 再認識領域で姿勢判別した後に認識領域を元の位置に戻した状態を示す図である。 連接移送状態の２つの部品がともに認識領域に存在している状態を示す図である。 連接移送状態の下流側の部品を姿勢判別するために再認識領域を区画設定した状態を示す図である。 画像処理装置のＣＰＵが実行する制御手順を示すフローチャートである。 上下方向と表裏方向で姿勢の区別がある部品で、表裏方向、上下方向ともに正常な姿勢を示す正面図である。 図１９中の矢視ＸＸ−ＸＸ断面を示す図である。 上下方向と表裏方向で姿勢の区別がある部品で、表裏方向、上下方向の少なくともいずれかで反転した姿勢を示す正面図である。 上下方向と表裏方向で姿勢の区別がある部品に対する画像認識の姿勢判別手法を説明する図である。 上下方向と表裏方向で姿勢の区別がある部品に対する画像認識の姿勢判別手法を説明する図である。 移送方向で姿勢の区別がある部品で、正常な姿勢と反転した姿勢を示す正面図である。 移送方向で姿勢の区別がある部品に対し、形状特徴部の比較パターンを用いた画像認識の姿勢判別手法を説明する図である。 移送方向で姿勢の区別がある部品に対し、ともに正常な姿勢の連接移送状態で再認識領域を区画設定した状態を示す図である。 移送方向で姿勢の区別がある部品に対し、ともに反転した姿勢の連接移送状態で再認識領域を区画設定した状態を示す図である。 上下方向で姿勢の区別がある部品で、正常な姿勢と反転した姿勢を示す正面図である。 上下方向で姿勢の区別がある部品に対し、形状特徴部の比較パターンを用いた画像認識の姿勢判別手法を説明する図である。 上下方向で姿勢の区別がある部品に対し、ともに正常な姿勢の連接移送状態で再認識領域を区画設定した状態を示す図である。 上下方向で姿勢の区別がある部品に対し、下流側が正常な姿勢で上流側が判定した姿勢の連接移送状態で再認識領域を区画設定した状態を示す図である。

以下、一実施の形態について図面を参照しつつ説明する。なお、以下では、部品供給装置等の構成の説明の便宜上、上下左右等の方向を適宜使用するが、部品供給装置等の各構成の位置関係を限定するものではない。

＜パーツフィーダの概略構成＞
図１は、本実施形態の部品供給装置であるパーツフィーダの外観平面及び制御構成を表している。この図１において、パーツフィーダ１は、振動フィーダ２と、照明３と、カメラ４と、空気噴出ノズル５と、電磁弁６と、画像処理装置７と、画像表示装置８と、操作インタフェイス９とを有している。

振動フィーダ２（移送手段に相当）は、その全体が平面視奥側に底部を有するいわゆるすり鉢形状（凹椀形状）の容器体であり、その外周側の内壁には螺旋状に配置された移送経路２ａを備えている。この移送経路２ａの内周端部は、当該振動フィーダ２の中央底部に位置する貯留部２ｂに連通しており、また移送経路２ａの外周端部は、直線状に延びて排出口２ｃを形成している。そして、上記貯留部２ｂには供給対象の全て同一形状にある多数の部品１００が貯留され、特に図示しない加振機構により振動フィーダ２全体に例えば遠心振動等の振動を与えることにより、貯留部２ｂ内の部品１００が移送経路２ａに入り込む。移送経路２ａは、その幅寸法が部品１００の所定方向の幅寸法と略等しいレール状に形成されているため、当該移送経路２ａ上にはその長手方向に沿って多数の部品１００が一列に整列するようにはまり込む。さらに、移送経路２ａの路面上には所定パターンの細かい凹凸が形成されており、移送経路２ａ上の各部品１００は上記振動によってそれら凹凸から推進力が与えられて当該移送経路２ａに沿う方向（螺旋の外周側へ向かう経路方向；以下、移送方向という）に移送される。

照明３は、上記移送経路２ａの所定位置に向けて投光する照明器具である。

カメラ４（撮像手段に相当）は、上記照明３の投光箇所を撮像してその撮像画像のデータを後述の画像処理装置７に送信する機能を有する。なお、このカメラ４は、投光箇所の移送経路２ａに対して同じ高さでかつ上記部品１００の移送方向と直交する撮像方向で撮像する。

空気噴出ノズル５（排除手段に相当）は、上記投光箇所より少しだけ移送方向下流側に配置されており、特に図示しないエアーポンプから供給される圧縮空気を噴出する機能を有する。

電磁弁６は、後述の画像処理装置７からの指令に基づき、特に図示しないエアーポンプから上記空気噴出ノズル５への圧縮空気の供給と制止を制御する機能を有する。

画像処理装置７は、特に図示しないＣＰＵ及びメモリを備えたコンピュータからなり、上記カメラ４から取得した撮像画像を画像認識することで移送経路２ａ上に移送される各部品１００の姿勢を判別する機能を有する。

画像表示装置８は、上記画像処理装置７を介してカメラ４の撮像画像や、各種指令及びパラメータの設定を表示する機能を有する。

操作インタフェイス９は、キーボードやマウス等のポインティングデバイスからなり、操作者からの各種指令や設定の入力を受け付ける機能を有する。

以上の構成を備えるパーツフィーダ１は、振動フィーダ２の中央の貯留部２ｂにそれぞれランダムな姿勢で貯留された同一形状の多数の部品１００を、いずれも同じ所定の姿勢で一列に整列させて排出口２ｃより供給する装置である。しかし、上述したように振動フィーダ２の移送経路２ａは各部品１００の所定方向幅と同じ幅寸法の単純なレール構造でしかなく、またその移送経路２ａへの部品１００の嵌め込みは振動の勢いだけで行うため、各部品１００は上記所定の姿勢とは異なる多様な姿勢で移送経路２ａにはまり込み、移送される場合が多い。

これに対し、画像処理装置７がカメラ４の撮像画像を画像認識して移送経路２ａ上の各部品１００の姿勢を判別し（後述の図２参照）、適切な姿勢にない部品１００に対しては空気噴出ノズル５を介して圧縮空気を当てるよう電磁弁６を制御する（後述の図３参照）。圧縮空気が当てられた部品１００は移送経路２ａから排除され、振動フィーダ２中央の貯留部２ｂへ戻される。これを繰り返すことにより、最終的に排出口２ｃから供給される部品１００は、全て同じ所定の姿勢で一列に整列されて供給される。

＜本実施形態の特徴＞
しかし、上記構成の振動フィーダ２では、貯留部２ｂに貯留されている各部品１００を移送経路２ａに順次乗せるタイミングや、移送経路２ａ上における各部品１００の移送速度までは正確に制御できないため、移送経路２ａ上においては各部品１００がランダムな移送間隔でそれぞれ不確定な速度で移送されてしまう。このため、移送方向に前後に並ぶ２つの部品１００どうしが接触したまま移送される連接移送状態となる場合があり、この場合にはそれぞれに対して確実に姿勢判別することが困難であった。また、各部品１００の移送方向長さが短い場合でも、それぞれに対して確実に姿勢判別することが困難であった。本実施形態のパーツフィーダ１では、これらの事情に対処するよう画像処理装置７が撮像画像を画像認識することにより、各部品１００のそれぞれに対し個別に姿勢を判別できるようにする。以下、そのための画像認識の手法について順に説明する。

＜画像認識の基本手法＞
図２に、上記カメラ４が撮像した移送経路２ａの撮像画像の一例を示す。この撮像画像１１は、図中の右側から左側へ向かう方向を移送方向とする移送経路２ａの側方から撮像した画像であり、横方向にＸ座標を、縦方向にＹ座標をそれぞれ設定したＸ−Ｙ座標が設定されている。

画像処理装置７は、この撮像画像１１中のうち移送経路２ａにおける所定の検知位置（所定位置に相当）に検知領域１２を区画してその部分画像を検知領域画像として取り込む。この検知領域画像は、上記検知領域１２に部品１００が存在するか否か、つまり部品１００が上記検知位置に到達したか否かを検知するためのものである。そのため、検知領域１２は、部品１００の有無だけを判別できる程度にその移送方向の長さＬｋ（Ｘ方向の長さ）を十分短く設定する。逆に、当該検知領域画像中に部品１００の下流側端部が位置してその有無の判別処理が複雑になる可能性を低くするためにも、検知領域１２の移送方向長さを長く設定しない。

また、画像処理装置７は、撮像画像１１中のうち上記検知領域１２の移送方向上流側に隣接する位置に認識領域１３を区画してその部分画像を認識領域画像として取り込む。この認識領域画像は、上記認識領域１３に存在する部品１００の姿勢を判別するためのものである。そのため、認識領域１３は、部品１００の姿勢を判別できる程度にその移送方向長さＬｎを設定する。この点については後に詳述する。

なお、カメラ４が撮像する撮像画像１１は画素単位で取り扱うことのできる画像データであり、上記の検知領域画像及び認識領域画像の取り込みは画像処理装置７のソフトウェア処理によって行う。また、上記の検知領域画像及び認識領域画像のいずれも、移送経路２ａ上に移送される部品１００の高さ全体を包括する程度の高さＨｙ（Ｙ方向の長さ、位置）に設定すればよい。そして、画像処理装置７は、検知領域画像に基づいて上記検知位置への部品１００の到達を検知した際に、上記認識領域画像に基づいて当該部品１００の姿勢を判別する。このように本実施形態が備える画像処理装置７は、カメラ４が撮像した撮像画像１１全体ではなく、その一部から取り込んだ部分画像に対して画像認識を行うため、部品１００の姿勢判別を短い処理時間で行える。そして、判別した部品１００の姿勢が所定の正しい姿勢にない場合には、図３に示すように当該部品１００が空気噴出ノズル５の前方に位置した際に電磁弁６を開放して圧縮空気を噴出させ、部品１００を移送経路２ａから落下させて排除する。

ここで、本実施形態の供給対象である部品１００の形状例を図４、図５に示す。この部品１００は、直方体形状の本体において、その長手方向（移送方向）全体に渡る均等な配置で９つの丸穴１０１がいずれも当該部品１００の厚み方向（図中における紙面直交方向）で貫通するよう設けられている。また、全ての丸穴１０１は一律に同じ高さに配置され、その高さ位置が当該部品１００全体の重心位置１０２に対して高さ方向（Ｙ方向）にオフセットしている。このように本実施形態における部品１００の形状は、部品１００の厚み方向（図中における紙面直交方向）においては対称であるためカメラ４の撮像方向に対して表裏の区別がなく、各丸穴１０１の配置高さの違いによって正常姿勢と反転姿勢の違いが生じるだけである。本実施形態の例では、図４に示すように各丸穴１０１が重心位置１０２より高い配置にある姿勢を正常姿勢とし、図５に示すように各丸穴１０１が重心位置１０２より低い配置にある姿勢を反転姿勢とする。

上記認識領域画像に基づく姿勢判別では、各丸穴１０１の平均高さ位置と、部品１００全体の重心位置１０２の高さ位置とを比較することで正常姿勢と反転姿勢の２種類の姿勢判別だけを行うものとする。この姿勢判別のためには、丸穴１０１を１つ画像認識すれば基本的には足りるが、判別精度を確保するためには丸穴１０１を少なくとも４つ以上画像認識すると良い。このときは、認識領域１３の移送方向長さＬｎを丸穴１０１の４ピッチ分の長さＬ４以上に設定し、また認識領域画像内には丸穴１０１の４ピッチ分の長さＬ４以上で部品１００が存在すると良い。なお、上記の部品１００が各請求項記載の被移送体に相当し、丸穴１０１が各請求項記載の形状特徴部に相当する。

以上のような領域区画と部品構成とした本実施形態では、図６〜図８に示すような行程で部品１００の到達検知と姿勢判別を行う。まず、振動フィーダ２での移送によって、図６に示すように部品１００の下流側端部が認識領域１３に到達した直後では、部品１００はまだ検知領域画像に基づく検知位置への到達が検知されていないため姿勢判別は行われない。部品１００の移送が進んで図７に示すように下流側端部が検知領域１２に到達する直前でも、まだ同様に姿勢判別は行われない。そして、図８に示すように部品１００が検知領域１２に到達した場合には、当該部品１００が画像認識装置によってその検知位置への到達が検知され、それを契機に姿勢判別が行われる。この際には、検知領域１２の移送方向上流側に隣接している認識領域１３において当該部品１００の少なくとも一部がほぼ確実に存在しているため、同じ撮像画像１１から取り込んだ認識領域画像に基づいて当該部品１００の姿勢判別を行える。

＜連接移送状態に対する周期的処理＞
しかし、上述した理由から、図９、図１０に示すように移送方向に前後に並ぶ２つの部品１００どうしが接触したまま移送される連接移送状態となる場合がある。この場合、上述した検知領域画像での部品１００の検知では、先に検知した下流側の部品１００と区別して上流側の部品１００を単独で検知することが難しく、それぞれ個別に姿勢判別することが困難となる。つまり、図９に示すように下流側の部品１００だけが検知位置に存在している状態から、図１０に示すように上流側の部品１００が検知位置に到達したタイミングの検知が困難である。これに対し本実施形態では、連接移送状態の各部品１００に対して個別に姿勢を判別できるよう、画像処理装置７が最短の周期でカメラ４に逐次撮像させ、それら撮像画像１１ごとに部品１００の姿勢判別を行うようにする。

本実施形態の画像処理装置７が行うこのような周期処理を図１１に模式的に示す。図示するように、画像処理装置７は基本的に検知処理を繰り返し行い、その検知処理で部品１００の検知位置における存在（到達）を検知した場合に判別処理を行う。なお検知処理内の主な工程としては、最初にカメラ４から撮像画像１１を取得する撮像工程を行い、次にその撮像画像１１内から検知領域画像を取り込む工程を行い、次にその検知領域画像に基づいて部品１００の存在（検知位置への到達）を検知する工程を行う。このように検知処理は、最低限の工程だけを行う最短の処理周期Ｔで繰り返し行う。また判別処理内の主な工程としては、最初に認識領域画像を取り込む工程を行い、次にその認識領域画像に共付いて部品１００の姿勢を判別する工程を行う。なお、認識領域画像の取り込みは、当該判別処理の直前の検知処理において撮像された撮像画像１１から取り込む。これにより、撮像工程を省略して判別処理の所要時間を短縮化できるとともに、直前の検知時からタイムラグの少ないより正確な姿勢判別を可能にする。

以上のように検知処理を最短の処理周期Ｔで繰り返し行うことにより、複数の部品１００が連接移送状態にある場合でも、各部品１００のいずれに対しても姿勢判別を行うことができる。なお、同一の部品１００に対して姿勢判別を複数回行う可能性もあるが、結局は正常姿勢にある部品１００だけが通過し、反転姿勢にある部品１００がすぐに排除されるだけであるため問題ない。

＜非同期移送に対する再認識処理＞
しかし上述したように最短周期で検知処理を繰り返した場合でも、そのうちカメラ４での撮像工程と画像処理装置７での画像認識工程にはそれぞれ時間を要するため処理周期Ｔがある程度長くなってしまう。このため、上述したように各部品１００がこの処理周期Ｔと非同期（位相不一致）かつ不定間隔で移送され、また特に各部品１００の移送方向長さが比較的短い場合には、それぞれに対して確実に姿勢判別することが困難な場合がある。

例えば図１２、図１３に示すように、全体の移送方向長さが丸穴１０１の５ピッチ分の長さしかない部品１００′の場合を考える。図１２に示すｎ回目の検知処理時ではカメラ４が撮像した際に部品１００′の下流側端部が検知領域１２の上流側に近接している。この場合、それから検知処理の処理周期Ｔが経過した後の次のｎ＋１回目の検知処理時には、図１３に示すように認識領域画像中における部品１００′の移送方向長さが姿勢判別に要する丸穴１０１の４ピッチ分の長さより短くなる可能性が高い。このように認識領域１３中に丸穴１０１の４ピッチ分に満たない移送方向長さで部品１００′の画像を認識しても、上述したように姿勢判別の精度が得られない。

これに対して本実施形態では、認識領域画像を画像認識する判別処理において、まず認識領域画像中の移送方向下流側に位置する部品１００′の移送方向上流側の端部の画像認識を優先的に行う。そして、次に、認識領域画像中において送方向下流側に位置する部品１００′の移送方向長さが丸穴１０１の４ピッチ分の判別基準長Ｌ４より短いと判定した場合には、現行の認識領域１３よりも移送方向下流側にずれた位置に区画した再認識領域１４で認識領域画像をあらたに取り込む。

例えば、図１４に示すように、初期位置の認識領域画像中における移送方向下流側の部品１００′の移送方向上流側端部の位置を検出する。この上流側端部位置の近傍に認識領域１３の移送方向上流側の端部が位置するようずらすことであらたに再認識領域１４を区画設定し、この内部の部分画像をあらたな認識領域画像として取り込む。認識領域１３の移送方向長さＬｎが姿勢判別の基準となる判別基準長Ｌ４以上（丸穴１０１の４ピッチ分以上）に設定されていれば、再認識領域１４中には必ず部品１００′が上記判別基準長Ｌ４以上の長さで存在する。これにより、姿勢判別を高い精度で行える。

なお、再認識領域１４の区画設定及びその中の認識領域画像の取り込みは、直前の検知処理で撮像された撮像画像１１から取り込んでもよく、この場合にはそれだけ判別処理を迅速に行うことができる。また、図１５に示すように、移送方向に２つの部品１００′が近接した状態で移送されている場合でも、再認識領域１４の認識領域画像で姿勢判別した時点では前回の部品１００′が必ず検知領域１２を抜けているので、認識領域１３を元の位置に戻すことで後方の部品１００′の検知処理、判別処理には影響を与えない。また、図１６、図１７に示すように移送方向に並ぶ２つの部品１００′が連接移送状態である場合でも、各部品１００′に対して適切な再認識領域１４を区画設定できるため、各部品１００′の検知処理、判別処理を正常に行うことができる。

＜制御フロー＞
以上のような機能を実現するために、画像処理装置７が備えるＣＰＵ（演算装置に相当；特に図示せず）が実行する制御手順を、図１８により順を追って説明する。図１８において、このフローに示す処理は、パーツフィーダ１の作動を開始した際に実行を開始する。

まずステップＳ１０５で、画像処理装置７のＣＰＵは、カメラ４に撮像させた撮像画像１１を取得する。

次にステップＳ１１０へ移り、画像処理装置７のＣＰＵは、上記ステップＳ１０５で取得した撮像画像１１から検知領域画像を取り込む。

次にステップＳ１１５へ移り、画像処理装置７のＣＰＵは、上記ステップＳ１１０で取り込んだ検知領域画像内で部品１００の有無を画像認識する。

次にステップＳ１２０へ移り、画像処理装置７のＣＰＵは、上記ステップＳ１１５での画像認識により、検知領域画像中に部品１００が存在していると認識したか否かを判定する。検知領域画像中に部品１００が存在していない場合、判定は満たされず、ステップＳ１０５へ戻り同様の手順を繰り返す。

一方、検知領域画像中に部品１００が存在している場合、判定が満たされ、ステップＳ１２５へ移る。

ステップＳ１２５では、画像処理装置７のＣＰＵは、上記ステップＳ１０５で取得した撮像画像１１から認識領域画像を取り込む。

次にステップＳ１３０へ移り、画像処理装置７のＣＰＵは、上記ステップＳ１２５で取り込んだ認識領域画像内で部品１００の上流側端部を画像認識する。

次にステップＳ１３５へ移り、画像処理装置７のＣＰＵは、認識領域画像内での部品長を算出する。

次にステップＳ１４０へ移り、画像処理装置７のＣＰＵは、上記ステップＳ１３５で算出した部品長が判別基準長（この例の丸穴１０１の４ピッチ分）以上にあるか否かを判定する。認識領域画像内での部品長が判別基準長未満である場合、判定は満たされず、ステップＳ１４５へ移る。

ステップＳ１４５では、画像処理装置７のＣＰＵは、現行の認識領域１３より移送方向下流側にずらした再認識領域１４を区画して設定する。このずらし量は、例えば上記ステップＳ１３０で画像認識した上流側端部の位置の近傍に再認識領域１４の上流側の端部が位置するようずらせばよい（上記図１４、図１７参照）。

次にステップＳ１５０へ移り、画像処理装置７のＣＰＵは、上記ステップＳ１４５で設定した再認識領域１４の部分画像を認識領域画像として取り込む。そして、ステップＳ１５５へ移る。

また一方、上記ステップＳ１４０の判定において、認識領域画像内での部品長が判別基準長以上である場合、判定が満たされ、ステップＳ１５５へ移る。

ステップＳ１５５では、画像処理装置７のＣＰＵは、認識領域画像内で部品１００の姿勢を画像認識により判別する（上記図４、図５参照）。

次にステップＳ１６０へ移り、画像処理装置７のＣＰＵは、上記ステップＳ１５５での姿勢判別で部品１００の姿勢が正常であったか否かを判定する。姿勢判別で部品１００の姿勢が正常でない（反転姿勢である）と判別された場合には、判定は満たされず、ステップＳ１６５へ移る。

ステップＳ１６５では、画像処理装置７のＣＰＵは、適宜のタイミングで電磁弁６を開放し、空気噴出ノズル５から圧縮空気を噴出させて姿勢判別した部品１００を移送経路２ａから排除する（上記図３参照）。そして、ステップＳ１７０へ移る。

また一方、上記ステップＳ１６０の判定において、姿勢判別で部品１００の姿勢が正常であると判別された場合には、判定が満たされ、ステップＳ１７０へ移る。

ステップＳ１７０では、画像処理装置７のＣＰＵは、操作インタフェイス９を介して操作者からパーツフィーダ１の作動を終了させる操作が入力されたか否かを判定する。終了操作が入力されていない場合、判定は満たされず、上記ステップＳ１０５へ戻り同様の手順を繰り返す。一方、終了操作が入力された場合、判定が満たされ、このフローを終了する。

以上において、ステップＳ１１０の手順が各請求項記載の検知画像取込手段に相当し、ステップＳ１２５、Ｓ１４５、Ｓ１５０の手順が各請求項記載の認識画像取込手段に相当し、ステップＳ１１５の手順が各請求項記載の検知手段に相当し、ステップＳ１３０、Ｓ１３５、Ｓ１５５の手順が各請求項記載の判別手段に相当する。

＜本実施形態の効果＞
以上説明したように、本実施形態のパーツフィーダ１によれば、画像処理装置７が、ステップＳ１１５の手順で撮像画像１１全体を認識するのではなく、その一部から取り込んだ検知画像に基づいて検知位置における部品１００の到達を短い処理時間で検知できる。このため、ステップＳ１０５の撮像工程とステップＳ１１０の検知領域画像取込工程とステップＳ１１５の検知工程を繰り返す検知処理の処理周期Ｔを十分短くすることができる（上記図１１参照）。これにより、この処理周期Ｔと非同期（位相不一致）かつ不定間隔で移送される各部品１００の移送方向長さが比較的短い場合であっても、検知位置における各部品１００の到達をほぼ確実に検知できる。そしてこの場合には、フォトセンサ等の他のセンサを別途設けなくてもカメラ４等の撮像手段だけを用いた簡易な構成で、部品１００の検知位置への到達を検知できる。

そして、検知領域１２の移送方向上流側に認識領域１３が隣接しているため、（処理周期Ｔの短い）検知処理が検知位置における部品１００の到達を検知した時点では、当該部品１００の少なくとも一部が上記認識領域画像にも存在している。従って、ステップＳ１３０、Ｓ１３５、Ｓ１５５の手順でこの認識領域画像に基づいて、各部品１００のそれぞれに対し個別に姿勢を判別できる。またこの判別処理は、上記検知処理により検知位置における部品１００の到達を検知した場合にだけ行うことで、上述した検知処理の処理周期Ｔを十分短く維持することができ、検知位置への各部品１００の到達をほぼ確実に検知できる。

以上の結果、本実施形態の画像処理装置７によれば、移送方向長さの短い複数の部品１００が非同期かつ不定間隔で移送される場合でも、各部品１００のそれぞれに対し個別に姿勢を判別できる。

また、本実施形態では特に、判別処理が、直前の検知処理に用いたものと同一の撮像画像１１から認識領域画像を取り込むことで、あらためて撮像しなおす時間を省略して処理周期Ｔを短縮でき、かつ部品１００の少なくとも一部が確実に存在している認識領域画像を取得してその姿勢を判別できる。

また、本実施形態では特に、判別処理において、認識領域画像中における移送方向下流側に位置する部品１００の移送方向上流側の端部を画像認識する（ステップＳ１３０）。これにより、移送方向で２つの部品１００が連接して移送している状態でも、それらの境界（下流側の部品１００の上流側端部）を認識して、下流側の部品１００の姿勢だけを個別に判別できる。

また、本実施形態では特に、判別処理において、認識領域画像中における移送方向下流側に位置する部品１００の移送方向長さが所定長より短いと判定した場合には、認識領域１３よりも移送方向の下流側にずれた位置で区画した再認識領域１４の認識領域画像をあらたに取り込む。これにより、認識領域画像中における部品１００の移送方向長さをさらに長く存在させることができ、判別処理における部品１００の姿勢判別を確実に行うことができる。

また、本実施形態では特に、上記所定長は、判別処理で部品１００の姿勢の判別の基準となる判別基準長であり、判別処理では、認識領域画像中における移送方向の下流側に位置する部品１００の移送方向長さが判別基準長以上となる位置で再認識領域１４を区画する。これにより、認識領域画像中における部品１００の移送方向長さを判別基準長以上に存在させることができ、判別処理における部品１００の姿勢判別を確実に行うことができる。

また、本実施形態では特に、判別処理において、部品１００が備える丸穴１０１を形状特徴部として画像認識し、当該形状特徴部の有無及び位置に基づいて当該部品１００の移送方向の姿勢、上下方向の姿勢、及び表裏の姿勢を判別し、上記判別基準長は、部品１００において丸穴１０１を所定数（この例の４つ）備え得る領域長さである。これにより、判別処理における部品１００の姿勢判別をより確実に行うことができる。

＜他の部品形状への適用例＞
上記実施形態のパーツフィーダ１は、他の多様な形状の部品に対しても適用可能である。

＜１：上下方向と表裏方向で姿勢の区別がある場合＞
例えば、正面図である図１９、矢視ＸＸ−ＸＸの断面図である図２０に示すような形状の部品２００に対しても上記実施形態のパーツフィーダ１は適用可能である。この部品２００は、上記実施形態で用いた部品１００（図４、図５参照）に、さらにカメラ撮像方向に対して表裏の一方側の上方縁部だけにエンボス状の切り欠き２０２を形成している。このような形状の部品２００では、図１９に示す表裏方向、上下方向ともに正常な姿勢に対し、図２１中左側に示すように表裏方向で反転（切り欠き２０２が手前側に露出）し上下方向で正常な姿勢や、図２１中中央に示すように表裏方向で正常で上下方向で反転した姿勢や、図２１中右側に示すように表裏方向、上下方向ともに反転した姿勢、の４つの姿勢を取り得る。

このような形状の部品２００に対しては、判別処理における画像認識で各丸穴２０１とそれらに最も近い縁部との間の離間距離を計測すればよい。図２２に示すように各離間距離が一律に同じであれば、当該部品２００は表裏方向で正常であると判別できる。また、図２３に示すように切り欠き２０２に近い丸穴２０１だけ離間距離が短く計測された場合（つまり離間距離に差異やばらつきがある場合）には、当該部品２００は表裏方向で反転していると判別できる。なお、上下方向の姿勢については、上側縁部と下側縁部でそれぞれ丸穴２０１との離間距離を計測して比較してもよいし、または上記実施形態と同様に当該部品２００全体の重心位置（図示省略）と各丸穴２０１との高さ位置の比較により判別してもよい。

＜２：移送方向で姿勢の区別がある場合＞
また、図２４に示すように、移送方向で姿勢の区別がある形状の部品３００に対しても上記実施形態のパーツフィーダ１は適用可能である。この部品３００は、大径長部３０１と小径短部３０２のそれぞれの中心軸を一致させた配置で移送方向に並べて一体に結合した形状に形成されている。このような形状の部品３００では、図２４中左側に示すように小径短部３０２を下流側に位置させた移送方向に正常な姿勢や、図２４中右側に示すように小径短部３０２を上流側に位置させた移送方向に反転した姿勢、の２つの姿勢を取り得る。

このような形状の部品３００に対しては、判別処理における画像認識で、最初に形状特徴部に一致する位置を検出する。図２５に示す例では、大径長部３０１の下流側端部の上方角部を形状特徴部としており、それに対応する比較パターン３０３として略四角形の小領域のうち上流下方側だけに部品３００の一部が存在するパターンを用いる。認識領域画像中においてこの比較パターン３０３の形状特徴部に一致する箇所の移送方向位置が、大径長部３０１の下流側端部の位置に相当する。なお、小径短部３０２の下流側端部を検出することがないよう、上記比較パターン３０３を走査して比較する範囲の高さを限定する。そして、検出した大径長部３０１の下流側端部を挟んだ移送方向前後の２カ所で部品３００のＹ方向存在長をそれぞれ検出し、比較することで当該部品３００の移送方向姿勢を判別できる。特に、大径長部３０１の下流側端部より移送方向下流側に小径短部３０２が存在しているか否かで移送方向姿勢を判別できる。

部品３００の移送方向姿勢が正常である場合には、図２５に示すように形状特徴部の比較パターン３０３が一致する位置は認識領域１３中の下流側に限定される。したがって、比較パターン３０３を走査して比較する移送方向範囲を認識領域１３中の下流側に限定することで、図２６に示すように部品３００の形状特徴部が認識領域１３を通過した後でも正しく再認識領域１４を設定して姿勢判別できる。この場合、図示するように２つの部品３００が連接移送状態であっても、上流側の部品３００の形状特徴部を検出せずに下流側の部品３００だけ個別に姿勢判別できる。また、図２７に示すように連接移送状態の２つの部品３００がともに移送方向反転姿勢にある場合でも、下流側から順に各部品３００の移送方向姿勢判別を確実に行うことができる。

＜３：上下方向で姿勢の区別がある場合＞
また、図２８に示すように、上下方向で姿勢の区別がある形状の部品４００に対しても上記実施形態のパーツフィーダ１は適用可能である。この部品４００は、大径長部４０１と大径短部４０２の間に小径部４０３が挟まれ、それぞれの中心軸を一致させた配置で上下方向に並べて一体に結合した形状に形成されている。このような形状の部品４００では、図２８中左側に示すように大径長部４０１を下方側に位置させた上下方向に正常な姿勢や、図２８中右側に示すように大径短部４０１を下方側に位置させた上下方向に反転した姿勢、の２つの姿勢を取り得る。

このような形状の部品４００に対しても、判別処理における画像認識で、形状特徴部に一致する箇所を検出する。図２９に示す例では、大径短部４０２の上下方向全体と小径部４０３の下流側端部の上方角部を含めた部分を形状特徴部としており、それに対応する比較パターン４０４として略四角形の小領域のうち中央高さ位置で移送方向一杯に部品４００の一部（大径短部４０２の一部）が存在するとともに、上流下方側にも部品４００の一部（小径部４０３の一部）が存在するパターンを用いる。この比較パターン４０４は、部品４００全体が上下方向に正常な姿勢にないと検出し得ない。したがって、比較パターン４０４と一致する形状特徴部が検出できれば当該部品４００が上下方向に正常な姿勢にあると判別でき、検出できなければ当該部品４００が上下方向に反転した姿勢にあると判別できる。

部品４００の上下方向姿勢が正常である場合には、図２９に示すように形状特徴部の比較パターン４０４が一致する位置は認識領域１３中の下流側に限定される。したがって、比較パターン４０４を走査して比較する移送方向範囲を認識領域１３中の下流側に限定することで、図３０に示すように部品４００の形状特徴部が認識領域１３を通過した後でも正しく再認識領域１４を設定して姿勢判別できる。この場合、図示するように２つの部品４００が連接移送状態であっても、上流側の部品４００の形状特徴部を検出せずに下流側の部品４００だけ個別に姿勢判別できる。また、図３１に示すように連接移送状態の２つの部品４００のいずれか一方が上下方向反転姿勢にある場合でも、下流側から順に各部品４００の上下方向姿勢判別を確実に行うことができる。

＜ユーザインタフェイス及び設定項目＞
上記実施形態の機能を実現するために用意すべきユーザインタフェイス及び設定項目を以下に挙げる。

１つ目として、部品移送方向の設定項目がある。これはカメラ視野における部品１００〜４００の移送方向を設定するための項目であり、これによって撮像画像１１中における検知領域１２と認識領域１３の配置、及び再認識領域１４のずれ方向が決まる。

２つ目として、再認識領域ずれ量の設定項目がある。これは部品１００〜４００の検知位置への到達を検知していながら認識領域画像で当該部品１００〜４００の姿勢判別ができない場合に、最初の認識領域１３から移送方向下流側にどれだけのずれ量で再認識領域１４を区画するかの設定項目である。この設定項目では、判別対称の部品１００〜４００の形状や移送方向長さ、形状特徴部の配置などに応じて適切な値で設定する。設定値の数値単位は画素単位または実寸が基本となるが、部品特有の単位（例えば丸穴などの形状特徴部の数）で設定してもよい。

３つ目として、寸法計測メニューのユーザインタフェイスがある。これは部品１００〜４００の各方向の寸法を画素単位で把握するための操作メニューであり、再認識領域ずれ量を画素単位または部品特有の単位で設定する場合に操作する。

４つ目として、画素サイズ較正メニューのユーザインタフェイスがある。これは、画素と実寸のサイズ関係を求めるための操作メニューであり、再認識領域ずれ量を実寸で設定する場合に操作する。

５つ目として、ウィンドウ枠線描画のユーザインタフェイスがある。これは、カメラ４の撮像画像１１を画像表示装置８に表示させる際に、検知領域１２及び認識領域１３それぞれに相当する区画範囲のウィンドウ枠線を描画させるための操作メニューである。パーツフィーダ１の作動中に検知処理及び判別処理が適切なタイミングで実行されているかを操作者が目視で確認するためにも、各領域にウィンドウ枠線を描画する。

操作者は、画像表示装置８で部品１００〜４００の移送と検知処理、判別処理の行程を確認しつつ、操作インタフェイス９を介して上記のユーザインタフェイスの操作及び設定項目の設定入力を行うことで、多様な形状の部品１００〜４００に対しても適切な姿勢判別を行わせることができる。

なお、上記実施形態では、部品１００〜４００の移送速度及び移送間隔が不確定な振動フィーダ２を用いたパーツフィーダ１での画像認識による姿勢判別手法を説明したが、これに限られない。他にも、ベルトコンベアなどを用いて移送速度または移送間隔が安定した部品供給装置に対しても。上述した画像認識による姿勢判別手法を適用して同様の効果を得ることができる。

なお、以上の説明における「等しい」とは、厳密な意味ではない。すなわち、「等しい」とは、設計上、製造上の公差、誤差が許容され、「実質的に等しい」という意味である。

なお、以上の説明における「垂直、直交」とは、厳密な意味ではない。すなわち、「垂直、直交」とは、設計上、製造上の公差、誤差が許容され、「実質的に垂直、直交」という意味である。

なお、以上の説明における「平行」とは、厳密な意味ではない。すなわち、「平行」とは、設計上、製造上の公差、誤差が許容され、「実質的に平行」という意味である。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。

その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１ パーツフィーダ（部品供給装置）
２ 振動フィーダ（移送手段）
２ａ 移送経路
２ｂ 貯留部
２ｃ 排出口
３ 照明
４ カメラ（撮像手段）
５ 空気噴出ノズル（排除手段）
６ 電磁弁
７ 画像処理装置
８ 画像表示装置
９ 操作インタフェイス
１１ 撮像画像
１２ 検知領域
１３ 認識領域
１４ 再認識領域
１００ 部品（被移送体）
１００′ 部品（被移送体）
１０１ 丸穴（形状特徴部）
１０２ 重心位置
２００ 部品（被移送体）
２０１ 丸穴（形状特徴部）
２０２ 切り欠き（形状特徴部）
３００ 部品（被移送体）
３０１ 大径長部
３０２ 小径短部
３０３ 形状特徴部に対応する比較パターン
４００ 部品（被移送体）
４０１ 大径長部
４０２ 大径短部
４０３ 小径部
４０４ 形状特徴部に対応する比較パターン

Claims (9)

1. 所定の移送方向に移送される被移送体の撮像画像を画像認識することにより当該被移送体の姿勢を判別する画像処理装置であって、
   前記撮像画像中において前記被移送体の移送経路上の所定位置で区画された検知領域の検知領域画像を取り込む検知画像取込手段と、
   前記撮像画像中において前記検知領域の前記移送方向の上流側に接触する位置で区画された認識領域の認識領域画像を取り込む認識画像取込手段と、
   前記検知画像取込手段が取り込んだ前記検知領域画像に基づいて前記所定位置に前記被移送体が存在するか検知する検知手段と、
   前記検知手段が前記所定位置での前記被移送体の存在を検知した場合に、前記認識画像取込手段が取り込んだ前記認識領域画像に基づいて当該被移送体の姿勢を判別する判別手段と、
   を有することを特徴とする画像処理装置。
2. 前記認識画像取込手段は、
   所定周期で撮像された前記撮像画像のうち、前記検知手段が前記所定位置での前記被移送体の存在を検知した撮像画像から前記認識領域画像を取り込むことを特徴とする請求項１記載の画像処理装置。
3. 前記判別手段は、
   前記認識領域画像中において、前記移送方向の下流側に位置する被移送体の前記移送方向の上流側の端部を画像認識することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記認識画像取込手段は、
   前記判別手段が、前記認識領域画像中における前記移送方向の下流側に位置する被移送体の移送方向長さが所定長より短いと判定した場合には、前記認識領域よりも前記移送方向の下流側にずれた位置で区画した再認識領域の認識領域画像をあらたに取り込むことを特徴とする請求項３記載の画像処理装置。
5. 前記所定長は、前記判別手段が前記被移送体の姿勢の判別の基準となる判別基準長であり、
   前記認識画像取込手段は、
   前記認識領域画像中における前記移送方向の下流側に位置する被移送体の移送方向長さが前記判別基準長以上となる位置で前記再認識領域を区画することを特徴とする請求項４記載の画像処理装置。
6. 前記判別手段は、
   前記被移送体が備える形状特徴部を画像認識し、当該形状特徴部の有無及び位置に基づいて当該被移送体の前記移送方向の姿勢、上下方向の姿勢、及び表裏の姿勢を判別し、
   前記判別基準長は、
   前記被移送体において前記形状特徴部を所定数備え得る領域長さである
   ことを特徴とする請求項５記載の画像処理装置。
7. 所定の移送方向に移送される被移送体の撮像画像を画像認識することにより前記被移送体の姿勢を判別する画像処理方法であって、
   前記撮像画像中において前記被移送体の移送経路上の所定位置で区画された検知領域の検知領域画像を取り込むことと、
   前記撮像画像中において前記検知領域の前記移送方向の上流側に接触する位置で区画された認識領域の認識領域画像を取り込むことと、
   取り込んだ前記検知領域画像に基づいて前記所定位置に前記被移送体が存在するか検知することと、
   前記所定位置での前記被移送体の存在を検知した場合に、取り込んだ前記認識領域画像に基づいて当該被移送体の姿勢を判別することと、
   を実行することを特徴とする画像処理方法。
8. 所定の移送方向に移送される被移送体の撮像画像を画像認識することにより前記被移送体の姿勢を判別する画像処理装置が備える演算装置に実行させる画像処理プログラムであって、
   前記撮像画像中において前記被移送体の移送経路上の所定位置で区画された検知領域の検知領域画像を取り込むことと、
   前記撮像画像中において前記検知領域の前記移送方向の上流側に接触する位置で区画された認識領域の認識領域画像を取り込むことと、
   取り込んだ前記検知領域画像に基づいて前記所定位置に前記被移送体が存在するか検知することと、
   前記所定位置での前記被移送体の存在を検知した場合に、取り込んだ前記認識領域画像に基づいて当該被移送体の姿勢を判別することと、
   を実行することを特徴とする画像処理プログラム。
9. 内部に貯留した複数の部品を移送経路上に一列に移送させる移送手段と、
   前記移送経路を撮像する撮像手段と、
   前記撮像手段で撮像された前記部品の撮像画像を画像認識することにより当該部品の姿勢を判別する画像処理装置と、
   前記画像処理装置によって所定の姿勢にないと判別された部品を前記移送経路から排除する排除手段と、
   を有する部品供給装置であって、
   前記画像処理装置は、
   前記撮像画像中において前記移送経路上の所定位置で区画された検知領域の検知領域画像を取り込む検知画像取込手段と、
   前記撮像画像中において前記検知領域の前記部品の移送方向の上流側に接触する位置で区画された認識領域の認識領域画像を取り込む認識画像取込手段と、
   前記検知画像取込手段が取り込んだ前記検知領域画像に基づいて前記所定位置に前記部品が存在するか検知する検知手段と、
   前記検知手段が前記所定位置での前記部品の存在を検知した場合に、前記認識画像取込手段が取り込んだ前記認識領域画像に基づいて当該部品の姿勢を判別する判別手段と、
   を有することを特徴とする部品供給装置。
   

Images