JP7333546B2 - 物体認識装置及びこれを用いた物体搬送システム - Google Patents

Description

本発明は物体認識装置及びこれを用いた物体搬送システムに関する。

従来から、物体を撮影して生成した画像を処理することにより、物体の計数、良否の判定、姿勢の判別、搬送状態（速度、密度、間隔等）の検出などが行われている。このような装置の例としては、以下の特許文献１に記載された装置が挙げられる。

また、上記の画像処理技術は、各種の検査装置の他に、物体を搬送路に沿って搬送する搬送装置において、搬送物の検出にも用いられ、例えば、以下の特許文献２や非特許文献１に記載された技術が挙げられる。このような搬送装置では、搬送路上の物体の画像処理によって、物体の搬送姿勢を分類する際に、機械学習によって判別を行うようにしている。

特開２０１７－１６２１３３号公報 特開２０１９－１６９０１０号公報

Qiaochu ZHAO, Ittetsu TANIGUCHI, Makoto NAKAMURA, Takao ONOYE "An Efficient Parts Counting Method based on Intensity Distribution Analysis for Industrial Vision Systems" The 21st Workshop on Synthesis And System Integration of Mixed Information technologies (SASIMI2018)

ところが、搬送物などの移動する物体を認識する必要のある装置やシステムでは、撮影した画像中の物体の位置を検出してから、物体の姿勢その他の状態を認識するための処理を実行し、判定する必要があるため、画像処理に時間がかかる。このため、処理の高速化や高度化を図ることができず、高速搬送を要求される近年の搬送現場において十分な機能を発揮することができないという問題があった。

そこで、本発明は上記問題を解決するものであり、その課題は、画像処理によって物体を認識する場合において、画像処理の対象となるデータ量を削減しつつ確実な処理を可能にすることにより、処理の高速化や高度化を図ることにある。

本発明の物体認識装置は、物体が存在し得る計測エリアの複数の画像を順次に取得する画像取得手段と、前記画像内に設定された観察領域に含まれる画像部分を処理して物体認識情報を求める画像処理手段と、前記観察領域に配置される前記物体の予測移動態様を求める移動態様予測手段と、前記予測移動態様に基づいて、次の前記画像に対する前記観察領域を設定する観察領域設定手段と、を具備する。なお、本明細書において、「画像」や「観察領域」に係る「次の」や「前の」という表現は、時間的前後を示す意味に限定されるものではなく、順次に取得され若しくは設定される順番或いは順序のみを示す意味にも使用される。

本発明によれば、画像取得手段により取り込まれた或る画像内に設定された観察領域に含まれる画像部分を画像処理手段が処理して物体認識情報を求めることにより、画像処理のデータ量を低減しつつ、物体認識情報から物体に関する判定、判別、制御等を実行することができる。また、移動態様予測手段が前記観察領域に配置される物体の予測移動態様を求め、観察領域設定手段は、上記予測移動態様に基づいて次の前記画像に対する前記観察領域を設定するので、上記画像処理手段により次の画像の観察領域に対して画像処理を施し、次の物体認識情報を求めることが可能になる。したがって、順次に取得される複数の画像に対して、観察領域における物体認識情報の導出と、物体の移動予測及び観察領域の設定とを順次に繰り返し実行することにより、移動する物体を少ない処理データ量で確実に認識（追跡）していくことが可能になる。このため、物体に関する画像処理過程において、処理の高速化や高度化を図ることができる。

本発明において、前記観察領域設定手段は、次の前記画像に対する前記観察領域を、前の前記画像に対する観察領域で得られた物体認識範囲を移動後の予測位置に配置した基準範囲に加えて、当該基準範囲の周囲に配置される周辺域を含むように拡大した領域となるように設定することが好ましい。これによれば、次の画像に対する観察領域において、より確実に物体を認識することが可能になる。また、前の画像に対する観察領域で得た物体認識範囲に対応する上記基準範囲を次の画像において用いることにより、次の画像に対する観察領域を求める際の基準を正確に設定できるため、予測誤差の累積を回避することができる。ここで、上記周辺域は、前記基準範囲の周囲の少なくとも一部に設けられていればよい。ただし、上記周辺域が前記基準範囲の全周にわたり設けられることが物体認識の確実性を高める上で望ましい。この場合において、前記観察領域の前記基準範囲に対する拡大度合は、前記物体の過去の移動態様のばらつきの大小に応じて増減されることが望ましい。これによれば、観察領域を極力広げずに、物体を確実に認識することが可能になる。また、上記物体の過去の移動態様としては、物体の過去の移動速度、過去の移動の向き、過去の姿勢の変化などが挙げられる。

本発明において、前記移動態様予測手段は、前記物体の過去の移動態様に基づいて前記予測移動態様を求めることが好ましい。この場合において、前記過去の移動態様とは、前記物体の過去の移動速度や移動の向き、姿勢の変化などを言う。また、前記予測移動態様は、前記物体の移動特性に応じて、種々の導出方法を採用できる。例えば、前記予測移動態様は、複数の前記過去の移動態様の平均値や中央値などの代表値に基づいて導出されるものであってもよく、また、最新の前記過去の移動態様に基づいて導出されるものであってもよい。

本発明において、前記画像処理手段は、初回の画像に対しては、前記物体が配置され得るように設定された既定の初回の前記観察領域において画像処理を実行し、前記物体認識情報を求めることが好ましい。ここで、前記画像取得手段により前記画像が前記物体の通過箇所の撮像により取得される場合には、前記初回の観察領域は、前記物体の通過検出位置に対応して定められることが望ましい。また、前記観察領域設定手段は、既定の初回の前記予測移動態様に基づいて、次の画像に対する前記観察領域を設定することが好ましい。

本発明において、前記計測エリアの画像内に設定された限定領域を画像処理することにより、前記物体が前記限定領域を通過したことを検出する物体通過判定手段をさらに具備し、前記画像処理手段は、前記物体通過判定手段により前記物体が前記限定領域を通過したことが検出されると、初回の前記画像に対しては、前記限定領域に対して既定の位置関係にある初回の前記観察領域において画像処理を実行することが好ましい。ここで、前記限定領域は、前記物体の通過方向には短く、前記通過方向と直交する方向には長い領域であることが望ましい。また、上記物体通過判定手段は、前記限定領域に前記物体が存在する第１の状態と、前記限定領域に前記物体が存在しない第２の状態とを検出可能であり、前記第１の状態から前記第２の状態に切り替わることにより前記物体が通過したことを判定することが望ましい。

本発明において、前記画像取得手段は、前記物体の有無とは無関係に、トリガ信号を用いることなしに、前記画像を既定の取得タイミングで順次に取得し、前記画像処理手段へ提供することが好ましい。これによれば、物体の検出センサなどの画像を取得するタイミングを決定するトリガ信号を用いる必要がなくなるため、物体の検出ミスを防止できるとともに、画像取得手段を簡易に構成できる。この場合、前記物体の最大移動速度と画像の取得タイミングの時間間隔との関係により、到来する全ての前記物体が含まれ得る計測エリアを前記画像内に設定し、初回の画像に対しては、前記画像処理手段により前記計測エリアの全体を前記観察領域として処理して初回の前記物体認識情報を求めることが望ましい。このとき、前記観察領域設定手段は、既定の初回の予測移動態様に基づいて、次の画像に対する前記観察領域を設定することが望ましい。

本発明において、前記画像処理手段による画像処理と、前記移動態様予測手段により求められた前記予測移動態様に基づく前記観察領域設定手段による次の前記画像に対する観察領域の設定とを複数回繰り返すことにより、前記複数の画像について前記観察領域における画像処理により前記物体認識情報を得ることが好ましい。この場合において、前記複数の画像に対する前記観察領域における画像処理により得られる前記物体認識情報に基づいて、前記物体の移動状況が求められることが望ましい。

上記いずれかの物体認識装置は、前記物体を搬送する物体搬送システムに用いることができる。この物体搬送システムは、上記いずれかの前記物体認識装置と、前記物体を搬送路に沿って搬送する搬送装置と、上記物体認識情報に基づいて前記搬送装置を制御する搬送制御部とを具備する。ここで、前記搬送制御部は、上記物体認識情報の一種である前記物体の移動態様により、前記搬送装置に設けられた前記物体の選別若しくは姿勢変更を行うための物体処理機構を制御することが挙げられる。例えば、物体処理機構としては、物体を気流圧によって搬送路上から排除する物体排除処理部や、物体に気流圧を与えることによって姿勢を変更する姿勢反転処理部などがある。これらの物体処理機構の制御対象としては、気流圧の作動タイミングや作動圧などがある。

本発明によれば、画像処理によって物体を認識する場合において、画像処理の対象となるデータ量を削減しつつ確実な処理を可能にすることにより、処理の高速化や高度化を図ることができる。

本発明に係る物体認識装置の実施形態の概略構成を模式的に示す概略構成図（ａ）、及び、この構成による処理内容の原理を説明するための説明図（ｂ）である。 同実施形態の物体認識方法の概要（前半）を模式的に示す説明図（ａ）－（ｄ）である。 同実施形態の物体認識方法の概要（後半）を模式的に示す説明図（ａ）－（ｄ）である。 同実施形態の物体認識装置の処理過程を示す概略フローチャートである。 同実施形態の物体認識装置における画像処理手段による画像処理により物体認識情報を導出する過程を説明するための説明図（ａ）－（ｅ）である。 本発明に係る上記物体認識装置を用いた物体搬送システムの実施形態の全体構成の例を模式的に示す概略構成図である。 物体搬送システムの搬送物に対して物体認識装置を適用した様子を示す説明図（ａ）－（ｇ）である。 物体搬送システムの搬送路上の物体排除処理部における物体の第１の移動態様を表す複数の画像の遷移例を示す図（ａ）－（ｄ）である。 物体搬送システムの搬送路上の姿勢反転処理部における物体の第２の移動態様を表す複数の画像の遷移例を示す図（ａ）－（ｄ）である。 同実施形態における動作プログラムの一例の処理過程を示す概略フローチャートである。

次に、添付図面を参照して本発明に係る物体認識装置及び物体搬送システムの実施形態について詳細に説明する。最初に、図１乃至図３を参照して、本発明に係る物体認識装置及び物体認識方法の実施形態の概要について説明する。

図１は、本実施形態の物体認識装置１００の概略構成を示す概略ブロック図（ａ）と説明図（ｂ）である。物体認識装置１００は、図１（ａ）に示すように、物体ＯＢが存在し得る計測エリアを包含する複数の画像Ａｉを順次に取得する画像取得手段Ａと、これらの画像Ａｉの観察領域Ｄｉ内の画像処理を行う画像処理手段Ｂと、この画像処理手段Ｂによって求められた物体認識情報Ｂｉに係る物体ＯＢの予測移動態様Ｃｉを求める移動態様予測手段Ｃと、上記予測移動態様Ｃｉに基づいて、次の画像Ａｉ＋１に関する観察領域Ｄｉ＋１を設定する観察領域設定手段Ｄとを具備する。ここで、ｉは自然数であり、１～ｎ（ｎは２以上の自然数）の複数の数を示す。

物体認識情報Ｂｉは、物体の配置を示す物体認識範囲Ｂｉａを含み、また、物体の種類、外観、欠陥の有無や種類、物体の良否、物体の姿勢に関する情報なども含むことができる。また、上記予測移動態様Ｃｉは、今回の画像Ａｉ内の物体ＯＢを基準にしたときの次の画像Ａｉ＋１内の物体ＯＢの移動の量と向きを含み、例えば、移動ベクトルの形で表わすことができる。また、この予測移動態様Ｃｉは、今回の画像Ａｉ内の物体ＯＢを基準にしたときの次の画像Ａｉ＋１内の物体ＯＢへの姿勢変化を含んでいてもよい。

図１（ｂ）は、或る画像Ａｉにおいて、観察領域Ｄｉの内部に物体ＯＢが配置される物体認識範囲Ｂｉａが求められたとき、この物体認識範囲Ｂｉａと予測移動態様Ｃｉとから、次の画像Ａｉ＋１における観察領域Ｄｉ+１を設定する様子を示す。次の観察領域Ｄｉ＋１は、次の物体認識範囲Ｂｉ＋１が含まれる領域を予測して設定されるが、その設定は、前の物体認識情報Ｂｉに基づいて行われる。例えば、図示例では、予測移動態様Ｃｉに基づいて、前の物体認識範囲Ｂｉａを次の画像における予測位置に移動させてなる基準範囲ｄｉ＋１を基準とし、この基準範囲ｄｉ＋１を所定の方法で拡大することにより、次の観察領域Ｄｉ＋１が設定される。

ここで、（ｘ_ｉ，ｙ_ｉ）は、物体認識範囲Ｂｉａの中心座標、（ｖ_ｉ ^ｘ，ｖ_ｉ ^ｙ）は、予測移動態様Ｃｉを示す予測移動ベクトルの値、（ｘ_ｉ＋１，ｙ_ｉ＋１）は、基準範囲ｄｉ＋１の中心の位置座標、Δｔは、前の画像と次の画像の間の時間間隔、Δｗは、観察領域Ｄｉ＋１における基準範囲ｄｉ＋１の幅Ｗｉからの増加分（ｘ方向の拡大量）、Δｈは、観察領域Ｄｉ＋１における高さＨｉの基準範囲ｄｉ＋１の高さＨｉからの増加分（ｙ方向の拡大量）とすれば、以下の式（１）～（４）が成立する。ここで、関数σ（ｖ_ｉ ^ｘ）、σ（ｖ_ｉ ^ｙ）は、今までの移動速度の集合に対するｘ成分若しくはｙ成分の標準偏差を示す。ｃはスケール定数であり、０．０１や０．１などの任意の数を設定できる。ΔｗとΔｈは、例えば、図示例のように、基準範囲ｄｉ＋１の図示左右両側と図示上下両側にそれぞれ周辺域の拡大分に相当する値として設定されてもよく、或いは、図示左右両側と図示上下両側の周辺域の合計の拡大分に相当する値として設定されてもよい。後者の場合には、基準範囲ｄｉ＋１の図示左右両側と図示上下両側の拡大分の図示左と右の比率、或いは、図示上と下の比率は、１：１としてもよいが、その他の予測移動態様Ｃｉの情報、例えば、図示左右と図示上下の移動確率の比率に応じた比率となるように設定してもよい。
ｘ_ｉ＋１＝ｘ_ｉ＋ｖ_ｉ ^ｘ・Δｔ…（１）
ｙ_ｉ＋１＝ｙ_ｉ＋ｖ_ｉ ^ｙ・Δｔ…（２）
Δｗ_ｉ＝ｃ・σ（ｖ_ｉ ^ｘ） …（３）
Δｈ_ｉ＝ｃ・σ（ｖ_ｉ ^ｙ） …（４）

なお、図示例では、上記式（１）～（４）に示すように、予測移動態様Ｃｉを、物体認識範囲Ｂｉａの中心点と基準範囲ｄｉ＋１の中心点の間の予測移動ベクトルの移動の量と向きのみによって表現している。ただし、予測移動態様Ｃｉは、上記の中心位置の移動の量と向きだけでなく、例えば、一般的には、物体認識範囲Ｂｉａ（幅Ｗｉや高さＨｉ）に相当する物体ＯＢの移動後の位置及び範囲を表す情報、すなわち、上記基準範囲ｄｉ＋１を導出可能な情報を含むものであってもよく、さらには、上記拡大度合Δｗ、Δｈを導出可能な情報をも含むものであってもよい。なお、予測移動態様Ｃｉには、さらに、物体ＯＢの姿勢変化に関する情報をも含めても構わない。

予測移動態様Ｃｉは、物体ＯＢの移動特性に応じて種々の予測方法によって求められる。このとき、初回の画像Ａ１から次の画像Ａ２までの間の物体ＯＢの移動態様の予測である予測移動態様Ｃ１は、予め事前に決められた初期値とされることが好ましい。例えば、物体ＯＢの一般的な移動速度、移動の向き、姿勢変化がわかっている場合には、初回の予測移動態様Ｃ１は、その移動速度、移動の向き、姿勢変化に設定される。その後の予測移動態様Ｃ２以降は、以前に導出される物体ＯＢの移動態様をも加味して算出されることが好ましい。例えば、予測移動態様Ｃ２は、実際に、初回の観察領域Ｄ１を画像処理することによって得られた物体認識情報Ｂ１と、次の観察領域Ｄ２を画像処理することによって得られた物体認識情報Ｂ２とを用いて導出される、物体ＯＢの最初の実際の移動態様Ｅ１を勘案して決められることが好ましい。このとき、上記初回の予測移動態様Ｃ１と、実際の移動態様Ｅ１との双方を勘案して次の予測移動態様Ｃ２を定めるようにしてもよい。また、実際の移動態様Ｅ１のみに基づいて次の予測移動態様Ｃ２を定めてもよい。このことは、次の予測移動態様Ｃｉ＋１（例えばＣ２）を、前の実際の移動態様Ｅｉ（例えばＥ１）と同じに設定することを含む。さらに、過去の複数の実際の移動態様Ｅｉが存在する場合には、これらの複数の移動態様Ｅｉから適宜の方法で予測移動態様Ｃｉ＋１を求めるようにしてもよい。この適宜の方法としては、例えば、平均値、中央値等の代表値とする場合や、より直前の移動態様であるほど重くなる態様の重み付けを与えて代表値を求める方法などが考えられる。

初回の観察領域Ｄ１は、上記予測移動態様が求められていない段階で与える必要があるため、物体ＯＢの上記計測エリア内における配置特性に応じて、予め事前に決められた領域とされるか、或いは、物体ＯＢの検出位置に応じて予め事前に決められたルールに従って定められる領域とされる。例えば、初回の画像Ａ１において、初回の観察領域Ｄ１を画像Ａ１の全体としてもよく、或いは、画像Ａ１の中の物体ＯＢが配置される可能性の高い領域としてもよい。予め画像Ａ１中の物体ＯＢが配置され得る場所の予測が困難であれば、初回の観察領域Ｄ１は比較的広い範囲に設定される。一方、物体ＯＢの位置が検出されたときと同時に、或いは、その直後に、初回の画像Ａ１が取得される場合、検出された物体ＯＢの位置情報を利用して、観察領域Ｄ１を、初回の画像Ａ１内の上記物体ＯＢが確実に包摂される領域となるように設定してもよい。

観察領域Ｄｉの基準範囲ｄｉからの拡大量ΔｗやΔｈは、例えば、上記式（３）及び（４）によって求められる。このときの拡大度合乃至は拡大率Δｗ，Δｈは、物体ＯＢの移動特性に応じて定めることが好ましい。例えば、物体ＯＢの移動態様Ｅｉのばらつきが大きい場合には、上記拡大度合や拡大率を大きくする必要があり、移動態様Ｅｉのばらつきが小さい場合には、上記拡大度合や拡大率を小さくすることができる。過去の実際の物体ＯＢの移動態様Ｅｉが複数得られている場合には、これらの移動態様Ｅｉの集合のばらつき（例えば、標準偏差）に応じて、上記拡大度合や拡大率を増減することが望ましい。このようにすることにより、観察領域Ｄｉにおける画像処理によって物体ＯＢに関する物体認識情報Ｂｉをより確実に求めることができる。

本実施形態において、物体ＯＢの認識情報をより詳細に解析する場合には、図１に点線で示すように、上記以外の追加の情報処理を実行することもできる。例えば、物体ＯＢの複数の移動態様Ｅｉを求め、これらの移動態様Ｅｉに基づいて、物体ＯＢの移動状況ＭＳを算出することが挙げられる。物体移動状況ＭＳとしては、例えば、物体ＯＢの全体の移動軌跡、移動方位、最終的な反転角度などが含まれ得る。これらの物体移動状況ＭＳは、物体ＯＢに対する各種の制御や判定を行うための検出量として用いることができる。

次に、図２及び図３を参照して、物体認識装置１００による物体ＯＢの認識方法について説明する。なお、この方法では、前述のように、予測移動態様Ｃｉとして、移動の量と向きだけを想定している場合について説明する。まず、図２（ａ）に示すように、最初の画像Ａ１を取得した後に、図２（ｂ）に示すように、画像Ａ１内の予め設定されていた初回の観察領域Ｄ１内の画像データを処理する。このとき、初回の観察領域Ｄ１は、物体ＯＢが確実に配置される領域に設定される。例えば、物体ＯＢを検知するセンサが設置される場合には、当該センサが物体ＯＢを検知したときに画像Ａ１を撮影するとすれば、観察領域Ｄ１は、上記センサが検知する物体ＯＢが配置され得る範囲、例えば、上記センサの検知範囲を含むように設定される。また、物体ＯＢの存在の有無に拘わらず、所定の時間間隔で撮影を行う場合には、後述する図７のプロセスのように、各画像の物体ＯＢが配置され得る範囲内において或る限定領域内の画像処理を行うことにより、当該限定領域内に物体ＯＢの一部が存在するか否かを検出し、上記限定領域内に物体ＯＢの一部が存在する画像若しくは、その後の画像に対して、上記限定領域に対して所定の位置関係にあり、上記限定領域よりもさらに広い範囲を包含することによって上記物体ＯＢが存在し得る範囲を観察領域Ｄ１として設定してもよい。さらには、上記画像Ａ１のうちの物体ＯＢが存在し得る範囲全体を観察領域Ｄ１としてもよい。この場合には、初回に限り、画像処理を行う必要のある領域が広くなるが、その後の観察領域を狭く限定できれば、大きな支障はない。例えば、初回に限っては、観察領域Ｄ１を画像Ａ１の全体としても構わない。

初回の観察領域Ｄ１において画像処理が行われると、図２（ｃ）に示すように、観察領域Ｄ１内に存在する物体ＯＢが認識され、物体認識情報Ｂ１が求められる。物体認識情報Ｂ１のうち、物体ＯＢが配置される範囲を示す物体認識範囲Ｂｉａは、例えば、後述するエッジ抽出処理後の境界ボックスの設定処理といった領域抽出技術や、各種図形へのフィッティング、テンプレートマッチングなどの種々の画像処理によって求めるようにしてもよい。

上記の物体認識範囲Ｂ１ａは、物体認識情報Ｂ１に係る物体ＯＢの予想移動態様Ｃ１に応じて、次の画像Ａ２における物体ＯＢの予想位置に移動される。これにより、図２（ｄ）に示すように、基準範囲ｄ２が得られる。ここで、予想移動態様Ｃ１は、予め検出されていた物体ＯＢの移動速度や移動の向きに応じて求められる。特に、予想移動態様Ｃ１は初回の物体ＯＢの移動予想に係るものであるので、予め移動の速度や向きを設定しておいてもよい。

上記の基準範囲ｄ２は、図３（ａ）に示すように、次の画像Ａ２において、観察領域Ｄ２の設定時の基準となる。すなわち、観察領域Ｄ２は、基準範囲ｄ２を所定の拡大度合で拡大させた領域として設定される。拡大度合Δｗ，Δｈは、前述の式（１）～（４）に示すように、物体ＯＢの今までの移動態様Ｅｉのばらつき、例えば、移動速度のｘ方向のばらつきを示す標準偏差σ（ｖ_ｉ ^ｘ）やσ（ｖ_ｉ ^ｙ）の大小に応じて、増減される。このようにすると、移動速度のばらつきの増加により観察領域の拡大度合が増大するので、観察領域の画像データ量を抑制しつつ、物体ＯＢの認識不良を回避し、確実に物体認識処理を実行することができる。観察領域Ｄ２の拡大度合を示すΔｗとΔｈについては、今までの移動態様Ｅｉ（Ｅ１）が算出できないため、拡大度合Δｗ、Δｈの初期値を予め設定しておく必要がある。

上記のように画像Ａ２において観察領域Ｄ２が設定されると、図３（ｂ）に示すように、観察領域Ｄ２で画像処理が行われ、図３（ｃ）に示すように、物体ＯＢが認識される。ここで、物体認識範囲Ｂ２ａが求められると、前回の物体認識範囲Ｂ１ａとの関係により、物体ＯＢの実際の移動態様Ｅ１を導出することができる。この移動態様Ｅ１は、次の予測移動態様Ｃ２やΔｗ，Δｈの算出において基礎データとして用いることができる。一般に、ｉ番目の画像Ａｉにおける観察領域Ｄｉ内の画像処理により、物体認識範囲ＢｉａからＢｉ＋１ａまでの移動態様Ｅｉを求めることができる。その後、上記の物体認識情報Ｂ２の物体認識範囲Ｂ２ａは、図３（ｄ）に示すように、前回と同様に、次の予測移動態様Ｃ２とともに、次の画像Ａ３における観察領域Ｄ３（図示せず。）を設定する際に用いられる基準範囲ｄ３の基礎となる。なお、観察領域Ｄ３を設定する際に用いる拡大度合Δｗ、Δｈは、基礎となる今までの移動態様Ｅｉが上記移動態様Ｅ１のみとなるので、この移動態様Ｅ１のみに基づいて算出するか、或いは、前述の拡大度合Δｗ、Δｈの初期値と移動態様Ｅ１とに基づいて算出する。

上記の方法において、各画像Ａｉの間の時間間隔が或る程度短ければ、各画像Ａｉの間の物体ＯＢの移動態様Ｅｉは、一般的には、慣性によりそれほど変化することはない。このため、次の観察領域Ｄｉ＋１を設定するための予測移動態様Ｃｉ＋１を、その前の物体ＯＢの移動態様Ｅｉ若しくはこれに近い態様にすれば、問題が生じにくく、より確実に次の観察領域Ｄｉ＋１において物体ＯＢを認識できる。このことは、特に、物体ＯＢが、何等かの力で飛翔している場合、或いは、高速で移動している場合において、物体ＯＢの途中の移動態様を把握しようとするときに有効である。このとき、予測移動態様Ｃｉ＋１の予測誤差に起因する問題は、基準範囲ｄｉ＋１を基準としつつ、その周囲に拡大して次の観察領域Ｄｉ＋１を設定することによって、回避される。

図４は、本実施形態に係る物体認識装置１００を、コンピュータによって実行される物体認識プログラムの機能によって実現する場合の処理手順を示す概略フローチャートである。また、図５は、この処理手順において行われる各種の画像処理を模式的に示す説明図（ａ）－（ｅ）である。

この物体認識プログラムでは、物体認識処理過程の開始設定条件と、初回の観察領域Ｄ１や初回の予測移動態様Ｃ１の設定値などの初期条件と、観察領域の画像処理の処理ルーチンや各種閾値等の画像処理条件と、物体ＯＢの移動態様の予測に用いる処理ルーチンや算出定数等の予測処理条件と、が所定のメモリー等に格納された状態で、適宜に読みだされた上記の各条件に基づいてプログラムが実行されるように構成される。そして、コンピュータの入出力回路を介して接続された撮像装置（カメラ）を所定の撮影条件で動作させることができ、これによって物体ＯＢが配置され得る計測エリアを含む範囲に対して複数の画像を順次に取得することができるようになっている。ただし、物体認識装置１００は、予め順次に撮影された複数の画像が保存されてなるデータを処理する装置として構成されていてもよい。この場合には、上記複数の画像のデータを所定の条件で順次にコンピュータに取り込むように構成されているか、或いは、既に取り込まれている複数の画像のデータを、画像ごとに順次に読み出すように構成されていればよい。

物体認識プログラムは、所定の開始操作がなされたとき、或いは、認識されるべき物体ＯＢがセンサ等の手段によって検知されたとき、さらには、撮像装置の撮像開始信号が入力されたときなどのトリガが与えられたときなどに開始される。そのとき、上記初期条件の初期値が読み出され、例えば、初回の画像Ａ１が取得されると、既定の範囲に設定された初回の観察領域Ｄ１において画像処理が実行される。一般的には、この工程では、図５（ａ）に示すように、ｉ番目の画像Ａｉの観察領域Ｄｉに対して画像処理が行われる。この工程では、最初に、図５（ｂ）に示すように、観察領域Ｄｉの画像データを所定のフィルタ処理によって処理し、物体認識処理が容易な態様に変換することが好ましい。例えば、物体ＯＢの輪郭を強調した画像に変換したい場合には、エッジ抽出処理やエッジ強調処理が行われる。一方、輪郭以外の影響を低減したい場合には、他の部位の平滑処理が行われる。これらの要求を共に満たすフィルター（処理方法）の例としては、ガイディドフィルター(Guided Filter)やバイラテラルフィルター(Bilateral Filter)などが挙げられる。なお、フィルタ処理としては、二値化フィルタ、移動平均フィルタ、ガウシアンフィルタ、メディアンフィルタ、ソーベルフィルタ、プリューウイットフィルターなども使用し得る。

次に、上述のフィルタ処理後の画像に対しては、物体認識処理が行われる。この物体認識処理は、物体ＯＢの位置、範囲、姿勢、模様、色彩、その他の形態を認識するための画像処理であり、その一例として、例えば、図５（ｃ）や（ｄ）に示すように、物体ＯＢの範囲を特定する。一般には、この工程では、輪郭追跡処理や図形検出処理、図形フィッティング処理などが実行される。これらの処理により、観察領域Ｄｉ内における物体ＯＢが認識される範囲を決定することができ、例えば、物体認識範囲Ｂｉａが求められる。この物体認識範囲Ｂｉａは、例えば、図５（ｃ）に示す境界ボックス（Bounding Box)などの境界図形や図５（ｄ）に示す楕円フィッティングなどのフィッティング図形によって表現することができる。

上記境界ボックス等の境界図形は、物体ＯＢの画像を取り囲む矩形その他の領域を形成するものであり、物体ＯＢを取り囲む所定条件の領域（境界図形）をなるべく小さな面積にするように（例えば、外接領域となるように）求める。また、上記楕円フィッティングなどのフィッティング図形は、物体ＯＢの画像を円、楕円、矩形、多角形などの各種の図形にフィッティングし、最も近い当該図形を形成する。なお、物体認識処理においては、画像処理技術のうち、形状検出技術、図形検出技術、領域抽出技術などを用いることができ、その結果として、物体ＯＢに関する各種情報の識別、分類、判別などを行うことが可能になる。上記各技術の具体的な方法は問わず、テンプレートマッチング、ブロブ検出法、各種エッジ検出、各種変換処理などを用いることができる。本実施形態では、境界ボックスを形成するために、rotation calipers algorithmを用い、エッジ画素の点群に対して回転するカリパスによって挟み角度ごとに得た外接矩形のうちの最小面積の矩形を求める方法を使用できる。また、楕円フィッティングとしては、例えば、エッジ画素の点群に対して二乗誤差で最小化した楕円を求める方法を使用できる。

上記のようにして導出できる物体認識範囲Ｂｉａにより、観察領域Ｄｉ内における物体ＯＢの位置や範囲を知ることができる。また、この物体認識範囲Ｂｉａから、物体ＯＢの姿勢を検出することも可能である。例えば、図５（ｅ）に示すように、境界図形やフィッティング図形の各辺の方向や主軸の方向を求めることによって、物体ＯＢの角度姿勢を得ることができる。図示例では、フィッティングした楕円の主軸の角度（主軸角）θを算出することにより、物体ＯＢの姿勢を容易に求めることができる。本実施形態では、二次元姿勢を判別する例を挙げているが、物体ＯＢの外観を解析することにより、物体ＯＢの三次元姿勢を求めることも可能である。なお、一般に、物体ＯＢがカメラから遠ざかっている場合や照明環境が均等でない場合などにおいては、後述するように、物体ＯＢの精密な外形を反映した境界図形（例えば矩形）を精度よく求めることが困難な場合があるので、楕円や円などのコンパクトなフィッティング図形を求める方法が好ましい。

本実施形態において、観察領域Ｄｉ内に物体ＯＢの画像部分の少なくとも一部が含まれない場合には、物体ＯＢの全体が観察領域Ｄｉ内に含まれるように観察領域Ｄｉを修正する観察領域修正手段をさらに具備することも可能である。これによれば、観察領域修正手段により物体ＯＢの画像部分の全体が含まれるように観察領域が修正されるので、設定された観察領域の予測が不十分な場合でも確実に物体を認識可能となる。ここで、観察領域Ｄｉ内に物体ＯＢの画像部分の少なくとも一部が含まれない場合を検出する方法としては、例えば、前述の方法で求めた物体認識範囲Ｂｉａが物体ＯＢの予め想定されている画像面積の範囲内に収まらない（当該範囲よりも大きいか、小さい）ことを検出する方法、物体認識範囲Ｂｉａが観察領域Ｄｉの境界に接していることを検出する方法、物体認識範囲Ｂｉａの形状が予め想定されている形状から大きく変形していることを検出する方法、或いは、これらの複数の方法の組み合わせなどが挙げられる。これらの方法によって観察領域Ｄｉ内に物体ＯＢが包摂されていないことが判明すると、その検出態様に応じて、観察領域Ｄｉをさらに拡大したり、移動させたりすることによって再設定し、その後、さらに再設定された観察領域Ｄｉの画像処理を実施する。

次に、図６～図１０を参照して、本発明に係る物体搬送システム１０について説明する。図６に示すように、この物体搬送システム１０は、上記物体認識装置１００を用いた物体ＯＢを搬送する搬送システムである。この物体搬送システム１０は、螺旋状の搬送路１１１を有するボウル型の搬送体１１０を備えたパーツフィーダ１１と、このパーツフィーダ１１の上記搬送路１１１の出口から搬送物を受け取るように構成された入口を備えた直線状の搬送路１２１を有する搬送体１２０を備えたリニアフィーダ１２とを具備する振動式の搬送装置を構成する。また、この搬送装置は搬送管理機能を有し、この搬送管理機能は、リニアフィーダ１２の搬送体１２０の搬送路１２１上の搬送物である物体ＯＢを撮影画像ＧＰＸに基づいて検査、判定する。なお、本発明において、振動式の搬送装置に限られない構成については、物体ＯＢが搬送路に沿って搬送される各種の搬送装置に用いることができる。また、振動式の搬送装置であっても、上記パーツフィーダ１１とリニアフィーダ１２の組み合せに限定されるものではなく、循環式パーツフィーダなどの他の形式の搬送装置に用いることが可能である。さらに、上記の組み合せにあっても、リニアフィーダ１２の搬送路１２１上の搬送物である物体ＯＢを検査するものに限らず、パーツフィーダ１１の搬送路１１１上の物体ＯＢを検査するものであっても構わない。

パーツフィーダ１１はコントローラＣＬ１１によって駆動、制御される。また、リニアフィーダ１２はコントローラＣＬ１２によって駆動、制御される。これらのコントローラＣＬ１１、ＣＬ１２はパーツフィーダ１１やリニアフィーダ１２の加振機構（電磁駆動体や圧電駆動体などを含む。）を交流駆動し、搬送体１１０，１２０を搬送路１１１，１２１上の搬送物（物体ＯＢ）が所定の搬送方向Ｆに移動する態様となるように振動させる。また、コントローラＣＬ１１、ＣＬ１２は、搬送管理システムの主体となる画像処理機能を有する検査処理ユニットＤＴＵに入出力回路（Ｉ／Ｏ）を介して接続されている。

また、コントローラＣＬ１１,ＣＬ１２は、下記の動作プログラムを実行する演算処理装置ＭＰＵに対して、マウスなどの後述する操作入力装置ＳＰ１，ＳＰ２などを介して所定の操作入力（デバッグ操作）が行われると、上記の動作プログラムに従って物体搬送システム１０の搬送装置の駆動を停止する。このとき、上記の動作プログラムに従って、例えば、検査処理ユニットＤＴＵにおける画像計測処理も停止される。このデバッグ操作及び当該操作に応じた各所の動作については後に詳述する。

検査処理ユニットＤＴＵは、パーソナルコンピュータ等の演算処理装置ＭＰＵ（マイクロプロセシングユニット）を中核構成とする。図示例では、上記演算処理装置ＭＰＵは、中央処理ユニットＣＰＵ１，ＣＰＵ２、キャッシュメモリＣＣＭ、メモリコントローラＭＣＬ、チップセットＣＨＳなどから構成される。また、この検査処理ユニットＤＴＵには、撮像手段であるカメラＣＭ１，ＣＭ２にそれぞれ接続された画像処理を行うための画像処理回路ＧＰ１，ＧＰ２が設けられている。これらの画像処理回路ＧＰ１，ＧＰ２はそれぞれ画像処理メモリＧＭ１，ＧＭ２に接続されている。画像処理回路ＧＰ１，ＧＰ２の出力は上記演算処理装置ＭＰＵにも接続され、カメラＣＭ１，ＣＭ２から取り込んだ撮影画像ＧＰＸの画像データを処理し、適宜の処理画像（例えば後述する画像エリアＧＰＹ内の画像データ）を演算処理装置ＭＰＵに転送する。主記憶装置ＭＭには予め搬送管理システムの動作プログラムが格納されている。検査処理ユニットＤＴＵが起動されると、演算処理装置ＭＰＵにより上記動作プログラムが読み出されて実行される。また、この主記憶装置ＭＭには、演算処理装置ＭＰＵにより、後述する画像計測処理を実行した対象となる撮影画像ＧＰＸ若しくは画像エリアＧＰＹの画像データが保存される。

また、検査処理ユニットＤＴＵは、入出力回路（Ｉ／Ｏ）を介して液晶モニタ等の表示装置ＤＰ１，ＤＰ２や操作入力装置ＳＰ１，ＳＰ２に接続される。表示装置ＤＰ１，ＤＰ２は、上記演算処理装置ＭＰＵによって処理された撮影画像ＧＰＸ若しくは画像エリアＧＰＹの画像データ、画像計測処理の結果、すなわち、搬送物判別処理、搬送挙動検出処理、物体認識処理の結果などが、所定の表示態様で表示される。なお、この表示機能は、実際に搬送物（物体ＯＢ）が搬送されている場合に限らず、後述するように、過去のデータを読みだして再生している場合にも機能する。また、表示装置ＤＰ１，ＤＰ２の画面を見ながら操作入力装置ＳＰ１，ＳＰ２を操作することにより、各種の操作指令、設定値などの処理条件を上記演算処理装置ＭＰＵに入力することができる。

物体搬送システム１０においては、上記演算処理装置ＭＰＵによって実行される後述する動作動作プログラムに含まれる上記物体認識プログラムの実行によって、前述の物体認識装置１００の機能実現手段Ａ～Ｄが機能する。図７（ａ）～（ｇ）には、物体搬送システム１０の搬送装置の上記カメラＣＭ１，ＣＭ２により撮影された搬送路上の画像Ａｉに基づいて、物体認識装置１００により搬送物である物体ＯＢの認識が行われる過程の例を示す。なお、図７に示す複数の画像Ａ０１，Ａ０２，Ａ１～Ａ５は、上記撮影画像ＧＰＸ若しくは画像エリアＧＰＹの画像データの少なくとも一部によって構成される。また、図７（ｅ）～（ｇ）において画像Ａ３～Ａ５の範囲がずれている点は、図示や説明の都合上に過ぎず、予め同じ範囲に設定されていることが好ましい。

最初に、図７（ａ）及び（ｂ）に示すように、上記カメラＣＭ１，ＣＭ２の撮影によって得た画像エリアＧＰＹ内の画像Ａ０１、Ａ０２において、搬送方向Ｆに短く、搬送方向Ｆに対して交差する方向に長い形状の限定領域Ｔを、搬送路上の搬送物である物体ＯＢが通過する範囲に設定しておく。そして、この限定領域Ｔにより限定された画素群が画像Ａ０１のように物体ＯＢが存在する様子（画素群の延長方向に沿った明度等の画素値のプロファイル）を示す「有」の状態から、画像Ａ０２のように物体ＯＢが存在しない様子（隙間）を示す「無」の状態に切り替わったとき、物体ＯＢが限定領域Ｔを通過したと判定される。この物体通過判定がなされると、図示のように、この画像Ａ０２が初回の画像Ａ１とされるか、或いは、画像Ａ０２の次の画像が初回の画像Ａ１とされ、物体の通過検出位置である限定領域Ｔの下流側に、初回の観察領域Ｄ１が設定される。この初回の観察領域Ｄ１は、画像Ａ０２を初回の画像Ａ１とする図示の場合、図７（ｃ）に示すように、限定領域Ｔに隣接する下流域において、物体ＯＢを包含する大きさで固定された位置に設定される。一方、画像Ａ０２の次の画像を初回の画像Ａ１とする場合には、画像Ａ０２と画像Ａ１の間の時間と物体ＯＢの搬送方向Ｆの移動速度とから求めた物体ＯＢの移動量を勘案し、初回の観察領域Ｄ１は、限定領域Ｔから移動量に対応する距離だけ下流側へずれた範囲とされる。これらの場合には、いずれも、初回の観察領域Ｄ１を物体ＯＢの１個分に近い狭い領域に限定して設定することができるので、画像処理の高速化や高度化がさらに容易になる。

上記の物体通過判定は、限定領域Ｔの画素値のプロファイルに応じて物体ＯＢの通過中か否かを判別するものであり、この判別処理は、種々の処理過程によって実現できる。一例として、限定領域Ｔの画素列の画素値を、同数のノードを備えた入力層に入力し、適宜の中間層（隠れ層）を介して、例えば、１又は複数のノードを備える出力層の出力により、限定領域Ｔを物体ＯＢが通過中であるか、或いは、限定領域Ｔが物体ＯＢの間の隙間にあるかを判別するニューラルネットワークを用いることによってこの判別処理を実行することもできる。本実施形態では、例えば、５３画素に対応するノードを備えた入力層と、２層の中間層と、１つのノードを備えた出力層を有する全結合型のニューラルネットワークを構成し、これに２９フレーム（画像）以上の学習データを与えて学習させた物体ＯＢの判別処理ルーチンを使用し、単一の出力層の出力値によって通過中と隙間の判別を行った。この処理では、例えば、出力層のノードを複数とすることによって、物体ＯＢの向きや、外観模様（後述するマーク部分）の位置などの判別も可能になる。なお、この物体通過判定処理を行う物体通過判定手段は、上記構成に限定されるものではなく、所定の限定領域Ｔを物体ＯＢが通過したことを検出できるものであればよい。また、この物体ＯＢの通過が検出されたときの初回の画像Ａ１における初回の観察領域Ｄ１は、上記限定領域Ｔと既定の位置関係にあることによって、限定領域Ｔを通過した物体ＯＢが配置され得る範囲とされる。

なお、図示例では、いずれの場合でも、初回の観察領域Ｄ１は、物体ＯＢが搬送路上に開口した気流を吹付けるための噴気口ＯＰに対面する範囲に設定される。この噴気口ＯＰが設けられる物体処理部では、物体認識処理とは別に行われる、画像Ａ０１やＡ０２に対する画像計測処理と搬送物判別処理によって、物体ＯＢが搬送路上で気流を吹き付けられるべきか否かが判定され、その判定結果に応じて、図示しない電磁弁などが制御され、噴気口ＯＰからの気流の噴出の有無が決定される。

物体認識処理では、上記観察領域Ｄ１において、前述と同様に画像処理を施し、物体認識情報Ｂ１を求める。図示例では、図７（ｃ）に物体認識範囲Ｂ１ａが描かれている。上述のように、物体ＯＢが噴気口ＯＰに対面する範囲に観察領域Ｄ１が設定されるので、物体ＯＢが気流を吹き付けられるべきものであるときには、噴気口ＯＰから気流が吹き付けられ、物体ＯＢは搬送路上から側方へ移動を開始する。一方、物体ＯＢが気流を吹き付けられるべきものでなければ、そのまま搬送路上を搬送方向Ｆに移動していくだけである。ここで、初回の観察領域Ｄ１において得られた物体認識情報Ｂ１ａから初回の予測移動態様Ｃ１が求められる。この場合、初回の予測移動態様Ｃ１は、物体ＯＢの搬送方向Ｆの移動速度（例えば、搬送路上の物体の平均の搬送速度）と、移動の向きとして搬送方向Ｆの前進の向きとに基づいて求めることができる。すなわち、初回の予測移動態様Ｃ１では、搬送方向Ｆに沿ったｘ方向の移動成分のみが設定され、ｙ方向（直交方向）の移動成分は０とし、考慮しなくてもよい。ただし、物体ＯＢが気流を受けるものか否かが不明である場合には、上述のように、物体ＯＢの予測位置の搬送方向Ｆと直交する方向の範囲が特定しにくくなるため、この予測移動態様Ｃ１において、ｙ方向の予測位置の幅を大きくしたり、上記拡大度合Δｈを大きくしたりすることによって、図示のように、次の観察領域Ｄ２のｙ方向の範囲を大きくすることが好ましい。ただし、搬送物判別処理による判別結果によって物体ＯＢが気流を受けるか否かを事前に知ることができる場合には、当該判別結果に応じて上記予測移動態様Ｃ１や拡大度合Δｈが決定されるようにしてもよい。すなわち、物体ＯＢが気流を受けない場合には、初回の観察領域Ｄ１と同様のｙ方向の範囲で観察領域Ｄ２を設定でき、物体ＯＢが気流を受ける場合には、観察領域Ｄ２のΔｈ（ｙ方向の範囲）を初回の観察領域Ｄ１よりも大きく設定する。

その後、図７（ｄ）に示すように、物体認識範囲Ｂ１ａと図示しない予測移動態様（Ｃ１）とから、図示しない基準範囲（ｄ２）が求められ、これに基づいて、次の画像Ａ２における観察領域Ｄ２が設定される。図示例では、物体ＯＢが搬送路上から側方へ移動を開始するので、この観察領域Ｄ２で物体認識情報が求められると、物体認識範囲Ｂ２ａも移動していることとなる。

そして、図７（ｅ）に示すように、前述と同様に、次の画像Ａ３における観察領域Ｄ３が設定される。これ以降、図７（ｆ）に示すように、次の画像Ａ４における観察領域Ｄ４が設定され、図７（ｇ）に示すように、次の画像Ａ５における観察領域Ｄ５が設定される。このようにして、物体ＯＢが搬送路上から斜め側方へ移動していく様子を、上記過程で得られた物体認識情報Ｂｉ、特に、物体認識範囲Ｂ１ａ～Ｂ５ａの移動の様子、すなわち、前述の移動態様Ｅｉ（Ｅ１～Ｅ４）によって把握することができる。

図８は、搬送路上から物体ＯＢを排除する物体排除処理部における物体ＯＢの移動態様を示す説明図（ａ）～（ｄ）である。この物体排除処理部は、図８（ａ）に示すように、搬送路１２１の搬送面に開口する噴気口ＯＰＳを備え、この噴気口ＯＰＳから気流を吹き付けることによって、画像計測処理と搬送物判別処理により不良品であることや不適姿勢であることが判定された物体ＯＢを搬送路上から排除し、下流側へ搬送されていくことを防止するようになっている。前述の図７に示す場合と同様に、図８（ｂ）～（ｄ）のように、噴気口ＯＰＳから吹き付けられる気流によって物体ＯＢが搬送路上から側方へ排除されていく過程が認識される。この場合、気流を受けた物体ＯＢの側方への移動態様により、噴気口ＯＰＳからの気流の吹付タイミングの良否や吹付強度（圧力）の良否がわかるので、当該吹付タイミングや吹付強度（圧力）を上記移動態様に基づいて調整するようにしてもよい。例えば、図８に示す例では、物体ＯＢは、その下流側の部分が本来の搬送位置よりも側方へずれる態様で、搬送方向Ｆに対して傾斜した姿勢となっているので、吹付タイミングがやや早い可能性があるから、吹付タイミングを僅かに遅くするように調整することが好ましい。この場合、傾斜が逆であれば、吹付タイミングを早くする。このように制御することで、気流を受けた物体ＯＢの姿勢に応じて吹付タイミングを最適な範囲に保つことができる。

図９は、搬送路上の物体ＯＢを気流によって反転させ、搬送姿勢を変更する姿勢反転処理部における物体ＯＢの移動態様を示す説明図（ａ）～（ｄ）である。この姿勢反転処理部は、図９（ａ）に示すように、搬送路１２１の搬送面に開口する噴気口ＯＰＲを備え、この噴気口ＯＰＲから気流を吹き付けることによって、画像計測処理と搬送物判別処理により不適姿勢であることが判定された物体ＯＢを搬送路上で反転させ、異なる姿勢、好ましくは適正姿勢で下流側へ搬送されるようにしている。前述の図７に示す場合と同様に、図９（ｂ）～（ｄ）のように、噴気口ＯＰＲから吹き付けられる気流によって物体ＯＢが搬送路上で反転し、隣接する別の搬送路上で反転後の物体ＯＢが搬送されていく様子が認識される。

この場合、気流を受けた物体ＯＢの姿勢変化の様子や上記別の搬送路１２２上での姿勢を確認することによって、反転のための気流の吹付タイミングの良否や吹付強度（圧力）の良否がわかる。この例では、各観察領域Ｄｉでの画像処理は、図示のように、物体ＯＢの外観模様が判別できる態様で行われる。図示例の場合、搬送路１２１上で当初ハッチングしたマーク部分が図示下方の下流側に配置される姿勢であった物体ＯＢが、気流によって反転し、搬送路１２２上に配置されたときに上記マーク部分が図示上方の下流側に配置される姿勢に変換される。このような外観模様の判別は、テンプレートマッチングなどによって実行することができる。

この例においても、噴気口ＯＰＲにおける気流の吹付タイミングや吹付強度（圧力）を上記移動態様に基づいて調整するようにしてもよい。例えば、図９に示す例では、物体ＯＢがやや下流側が早く移動する姿勢となっているので、吹付タイミングがやや早い可能性があるから、吹付タイミングを僅かに遅くすることが好ましい。この場合、傾斜が逆であれば、吹付タイミングを早くする。このように制御することで、気流を受けた物体ＯＢの姿勢に応じて吹付タイミングを最適な範囲に保つことができる。なお、上記別の搬送路１２２は、図示しない下流側の箇所において元の搬送路１２１と合流するように構成され、これによって、反転された物体ＯＢが適正姿勢となって搬送路１２１上を移動していくようになっている。

なお、上記では気流の吹付タイミングの制御について説明したが、気流の圧力制御についても同様である。気流の圧力が大きすぎると、物体ＯＢの飛翔速度や飛翔距離が増大するが、対象となる物体ＯＢの前後に近接して搬送される他の物体ＯＢをも排除したり姿勢を変えてしまったりというように影響を与え易くなる。このため、物体移動状況ＭＳにより、排除や反転の必要な圧力を下回らないとともに、他の物体への影響を与える過剰な圧力に達しない範囲に制御することが好ましい。もちろん、姿勢反転処理部では、対象となる物体ＯＢの姿勢を反転させるのに必要な最小限の圧力以上にするとともに、物体ＯＢの姿勢を過剰に反転させてしまうことのない範囲に制御する必要もある。したがって、物体処理部では、物体排除処理部であっても姿勢反転処理部であっても、気流の圧力を適正な範囲に収める必要があり、そのために物体認識情報Ｂｉや物体移動状況ＭＳなどを利用することができる。

＜動作プログラムの構成＞
次に、図１０を参照して、本発明に係る各実施形態の全体の動作プログラムの流れについて説明する。図１０は、上記検査処理ユニットＤＴＵの演算処理装置ＭＰＵにより、動作プログラムに従って実行される搬送管理のための各種処理過程を示す概略フローチャートである。この動作プログラムを起動すると、まず、上記の画像撮影及び画像計測処理が開始されるとともに、コントローラＣＬ１１、ＣＬ１２により搬送装置（パーツフィーダ１１及びリニアフィーダ１２）の駆動が開始される。そして、前述のデバッグ操作に応じたデバッグ設定がＯＦＦであれば、撮影画像ＧＰＸ又は画像エリアＧＰＹに対して画像計測処理が実行され、搬送物判別処理の最終の判定結果がＯＫ判定であれば、デバッグ操作が行われない限り、そのまま次の撮影画像ＧＰＸ又は画像エリアＧＰＹの画像計測処理が実施される。例えば、物体排除処理部では、常時は排除用噴気口ＯＰＳの気流が停止されているが、判定結果がＮＧ（不良品）であれば、排除用噴気口ＯＰＳから気流が流れる。これにより、不良の物体ＯＢを搬送路上から排除する。また、姿勢反転処理部では、常時は反転用噴気口ＯＰＲからの気流は停止されているが、判定結果がＮＧ（不良品）であれば、反転用噴気口ＯＰＲから気流を噴出させて搬送路上で反転させる。なお、上記とは逆に、常時は気流を流しているが、判定結果がＯＫ（良品）であれば、気流を停止するようにしてもよい。

このようにして、搬送路上で搬送物である物体ＯＢが判別され、その判別結果に応じて処理されることにより、下流側へは良品のみが整列した状態で供給されていく。この場合にも、その後、デバッグ操作が行われない限り、そのまま次の撮影画像ＧＰＸ又は画像エリアＧＰＹの画像計測処理と搬送物判別処理が実施される。また、上記の画像計測処理や搬送物判別処理と並行して、観測領域Ｄｉの画像処理により物体ＯＢに対する上記物体認識処理が行われ、物体ＯＢの移動態様Ｅｉが物体認識情報Ｂｉに基づいて認識される。このとき、上記物体認識処理の対象となる物体ＯＢは、上述のように搬送路上から側方へ移動するもの（噴気口ＯＰ，ＯＰＳ，ＯＰＲからの気流を受けるもの、ＮＧと判定されたもの）のみであってもよいが、これに限らず、搬送路上でそのまま搬送方向Ｆに搬送されていくもの（ＯＫと判定されたもの）を対象とするようにしてもよく、或いは、双方を対象とするようにしてもよい。例えば、搬送路上において搬送方向Ｆに沿って搬送されていくときの搬送挙動を認識するために、搬送路上の物体ＯＢを追跡する搬送挙動検出処理が行われるようになっていてもよい。そして、この搬送挙動検出処理の検出結果により搬送態様を調整するために搬送装置の駆動の制御を行うようにしてもよい。この搬送駆動の制御は、例えば、搬送装置の加振機構の加振要素の駆動条件、例えば、圧電駆動体の周波数や電圧を制御し、適正な搬送態様となるように調整する。なお、上記搬送挙動検出処理は、上記物体認識処理とは無関係に、全く別の画像処理によって実行されても構わない。例えば、搬送路１２１上を搬送方向Ｆに移動していくときの物体ＯＢの搬送方向Ｆとは直交する方向の位置の変動の大小に応じて、振動の周波数や振幅を制御することによって、物体ＯＢが搬送路１２１上で無駄に暴れることを防止することができる。

上記の途中でデバッグ操作が行われ、デバッグ設定がＯＮになると、上記ルーチン（運転モード）から抜け出して、搬送装置の駆動が停止され、画像計測処理や搬送物判別処理、物体認識処理、搬送挙動検出処理も停止される。そして、この状態において適宜の操作を行うと、過去の画像ファイルを選択可能な状態となる。このとき、選択表示される画像ファイルは、直前の運転モードにおいて記録していた複数の撮影画像ＧＰＸ又は画像エリアＧＰＹを含む画像ファイルである。これをそのまま選択して適宜の操作をすると、再実行モードに移行する。このモードでは、上述のようにすでに実行された画像計測処理、搬送物判別処理、物体認識処理や上記搬送挙動検出処理等の結果を記録した画像ファイルに基づいて、画像の表示や、各種処理や制御等を再実行することができる。すなわち、搬送装置の搬送物である物体ＯＢの制御（排除や反転、物体認識）に不具合が生じた場合には、この不具合を解消するために、まず、過去の画像データに基づいて画像処理を再実行することによって、各処理や制御等の問題箇所を探る。当該問題箇所が判明すれば、それに応じて各処理や制御の設定内容（設定値）を変更、調整し、再び過去の画像データに対して画像計測処理等を再実行することで調整、改善作業の結果を確認することができる。その後、適宜の復帰操作を行うと、デバッグ設定がＯＦＦに戻され、画像計測処理が再開されるとともに、搬送装置の駆動が再開される。

なお、以上説明した各実施形態において、カメラＣＭ１，ＣＭ２が既定の撮影間隔で連続して撮影するとともに、搬送物の搬送速度Ｖｓと撮影間隔Ｔｓとの関係により搬送路を通過する全ての搬送物（物体ＯＢ）が常に含まれるように予め設定された搬送方向Ｆの範囲を有する計測エリア内の画像データに対して画像計測処理を施すようにすれば、全ての搬送物（物体ＯＢ）について、いずれかの撮影画像において計測エリア内において必ず検出することができるため、従来技術のように個々の搬送物の位置を検知するためのトリガ信号を生成する必要がなくなる。また、この画像に含まれる物体ＯＢの画像データを処理することで搬送物判別処理、物体認識処理、搬送挙動検出処理に必要な情報を確実に抽出することができる。なお、本発明の物体搬送システムでは、上記のようなトリガレス撮影法を採用することなしに、通常のセンサ等による搬送物の検知タイミングに対応する撮影タイミングで画像を取得しても構わない。

本実施形態では、物体認識範囲Ｂｉａと予測移動態様Ｃｉに対応する次の観察領域Ｄｉ＋１を設定し、この観察領域Ｄｉ＋１内での画像処理による物体認識処理によって物体ＯＢを認識し、物体認識情報Ｂｉ＋１を導出するようにしているので、処理対象となる画像データを限定しつつ、物体ＯＢを確実に認識することができる。このため、処理の高速化を図ることができ、限られた時間で従来よりも高度な処理も実行可能になる。また、上記の観察領域の予測と画像処理との繰り返しによって、物体ＯＢの複雑な移動態様や動作（物体移動状況ＭＳ）を容易に把握することが可能になる。

特に、上記処理過程によって搬送物の移動態様や動作を高速かつ確実に把握することができる。これにより、搬送システムの高速化だけでなく、搬送路上における物体ＯＢの高密度化や、物体ＯＢの整列の高精度化を図ることができる。

本実施形態では、次の観察領域Ｄｉ＋１を設定するに際し、観察領域Ｄｉで求めた物体認識情報Ｂｉと予測移動態様Ｃｉから得た基準範囲ｄｉ＋１にさらにその周辺域を加えることにより、拡大した領域としていることから、物体ＯＢが予測移動態様Ｃｉとは異なる移動態様を示した場合でも、次の画像Ａｉ＋１からより確実に物体認識情報Ｂｉ＋１を導出することができる。

なお、本発明の物体認識装置及び物体搬送システムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、本発明は、画像Ａｉのうちの限定された観察領域Ｄｉ内で行われる画像処理によって物体認識情報Ｂｉを求めるものであり、物体ＯＢの種類、画像Ａｉの種類や画質、画像処理そのものの種類や処理内容、物体認識情報Ｂｉの種類や内容などには何ら制限を受けない。また、観察領域や基準範囲などの各領域や範囲の形状は、図示例では矩形や隅丸長方形などとなっているが、任意であり、何ら制限されるものではない。

１０…物体搬送システム、１１…パーツフィーダ、１１０…搬送体、１１１…搬送路、１２…リニアフィーダ、１２０…搬送体、１２１…搬送路、ＯＰＳ…排除用噴気口、ＯＰＲ…反転用噴気口、ＣＡ、ＣＡ１～ＣＡ３…搬送物、ＣＭ１，ＣＭ２…カメラ、ＣＬ１１，ＣＬ１２…コントローラ、ＤＴＵ…検査処理ユニット、ＤＰ１，ＤＰ２…表示装置、ＧＰ１，ＧＰ２…画像処理装置、ＧＭ１，ＧＭ２…画像処理メモリ、ＧＰＸ…撮影画像、ＧＰＹ…画像エリア、ＭＰＵ…演算処理装置、ＭＭ…主記憶装置、ＳＰ１，ＳＰ２…操作入力装置、ＲＡＭ…演算処理用メモリ、θ…主軸角（角度姿勢）、１００…物体認識装置、Ａ…画像取得手段、Ａｉ…画像、Ｂ…画像処理手段、Ｂｉ…物体認識情報、Ｂｉａ…物体認識範囲、Ｃ…移動態様予測手段、Ｃｉ…予測移動態様、Ｄ…観察領域設定手段、Ｄｉ…観察領域、ｄｉ…基準範囲、Ｅｉ…物体の移動態様、ＭＳ…物体移動状況

Claims (11)

1. 物体が存在し得る計測エリアの複数の画像を順次に取得する画像取得手段と、
   前記画像内に設定された観察領域に含まれる画像部分を処理して物体認識情報を求める画像処理手段と、
   前記観察領域に配置される前記物体の予測移動態様を求める移動態様予測手段と、
   前記予測移動態様に基づいて、次の前記画像に対する前記観察領域を設定する観察領域設定手段と、
   を具備し、
   前記画像処理手段は、初回の前記画像に対しては、前記物体が配置され得るように設定された既定の初回の前記観察領域において画像処理を実行し、前記物体認識情報を求め、
   前記観察領域設定手段は、既定の初回の前記予測移動態様に基づいて、次の前記画像に対する前記観察領域を設定する、
   物体認識装置。
2. 物体が存在し得る計測エリアの複数の画像を順次に取得する画像取得手段と、
   前記画像内に設定された観察領域に含まれる画像部分を処理して物体認識情報を求める画像処理手段と、
   前記観察領域に配置される前記物体の予測移動態様を求める移動態様予測手段と、
   前記予測移動態様に基づいて、次の前記画像に対する前記観察領域を設定する観察領域設定手段と、
   を具備し、
   前記計測エリアの画像内に設定された限定領域を画像処理することにより、前記物体が前記限定領域を通過したことを検出する物体通過判定手段をさらに具備し、
   前記画像処理手段は、前記物体通過判定手段により前記物体が前記限定領域を通過したことが検出されると、初回の前記画像に対しては、前記限定領域に対して既定の位置関係にある初回の前記観察領域において画像処理を実行する、
   物体認識装置。
3. 前記物体通過判定手段は、前記限定領域に前記物体が存在する第１の状態と、前記限定領域に前記物体が存在しない第２の状態とを検出可能であり、前記第１の状態から前記第２の状態に切り替わることにより前記物体が通過したことを判定する、
   請求項２に記載の物体認識装置。
4. 前記観察領域設定手段は、次の前記画像に対する前記観察領域を、前の前記画像に対する観察領域で得られた物体認識範囲を移動後の予測位置に配置した基準範囲に加えて、当該基準範囲の周囲に配置される周辺域を含むように拡大した領域となるように設定する、
   請求項１－３のいずれか一項に記載の物体認識装置。
5. 前記観察領域の前記基準範囲に対する拡大度合は、前記物体の過去の移動態様のばらつきの大小に応じて増減される、
   請求項４に記載の物体認識装置。
6. 前記移動態様予測手段は、前記物体の過去の移動態様に基づいて前記予測移動態様を求める、
   請求項１－５のいずれか一項に記載の物体認識装置。
7. 前記画像処理手段による画像処理と、前記移動態様予測手段により求められた前記予測移動態様に基づく前記観察領域設定手段による次の前記画像に対する観察領域の設定とを複数回繰り返すことにより、前記複数の画像について前記観察領域における画像処理により前記物体認識情報を得る、
   請求項１－６のいずれか一項に記載の物体認識装置。
8. 前記複数の画像に対する前記観察領域における画像処理により得られる前記物体認識情報に基づいて、前記物体の移動状況が求められる、
   請求項７に記載の物体認識装置。
9. 物体が存在し得る計測エリアの複数の画像を順次に取得する画像取得手段、
   前記画像内に設定された観察領域に含まれる画像部分を処理して物体認識情報を求める画像処理手段、
   前記観察領域に配置される前記物体の予測移動態様を求める移動態様予測手段、
   前記予測移動態様に基づいて、次の前記画像に対する前記観察領域を設定する観察領域設定手段、
   を有する物体認識装置と、
   前記物体を搬送路に沿って搬送する搬送装置と、
   前記物体認識情報に基づいて前記搬送装置を制御する搬送制御部と、を具備し、
   前記搬送制御部は、前記物体認識情報に含まれる前記物体の移動態様に応じて、前記搬送装置に設けられた前記物体の選別若しくは姿勢変更を行うための物体処理機構を制御する、
   物体搬送システム。
10. 前記物体処理機構は、前記物体を気流圧によって搬送路上から排除する物体排除処理部であり、
    前記物体処理機構の制御対象は、前記気流圧の作動タイミング若しくは作動圧である、
    請求項９に記載の物体搬送システム。
11. 前記物体処理機構は、前記物体に気流圧を与えることによって姿勢を変更する姿勢反転処理部であり、
    前記物体処理機構の制御対象は、前記気流圧の作動タイミング若しくは作動圧である、
    請求項９に記載の物体搬送システム。

Images