JP4809524B2 - トラッキング方法、トラッキングシステム、及びトラッキング装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、搬送体によって搬送される複数のワークを撮像し、当該撮像結果から認識された各ワークの位置座標に基づいて前記複数のワークのハンドリングを制御するトラッキング方法、トラッキングシステム、及びトラッキング装置に関する。
【０００２】
【従来の技術】
以下、従来のトラッキングシステム１００について図１を参照して説明する。図１（ａ）は、トラッキングシステム１００の全体構成を示す平面図、図１（ｂ）は、同システムの正面図である。図１に示すように、トラッキングシステム１００は、不規則に載置されたワークを搬送するコンベア２５と、コンベア２５によって搬送される複数のワークを所定の撮像領域内で上方から撮影するＣＣＤカメラ１１と、撮像情報からワークの位置、形状等を認識する視覚認識部１１２（図示略）と、第１コンベア２５ａの下流側に配置され、視覚認識部１１２によって認識されたワークの位置や形状に基づいてワークを所定の把持領域内で把持し、パレットＰに移載、整列させるロボット制御装置２０等から構成されている。
【０００３】
このような従来のトラッキングシステムとしては、例えば、特開平８−３２３６６９号公報に開示されているように、撮像領域の下流側の境界線上に位置するワークが次回の撮像領域に含まれるように各撮像領域を決定することにより、コンベア上の全てのワークに対して、連続的にその位置、姿勢等の認識を行う部品供給方法およびその装置が知られている。
【０００４】
【発明が解決しようとする課題】
しかしながら、視覚認識部１１２は、ＣＣＤカメラ１１がワークを撮影する度に、境界線上のワークを含む撮像領域内の全てのワークの画像情報から各ワークの位置座標や形状等を認識し、当該認識結果に基づいてワークが上記境界線上に位置するか否かを判別していた。また、境界線上にワークが存在する場合には、当該ワークの全形が後続の撮像領域に含まれるような位置に撮像領域を所定の距離移動させていた。
【０００５】
このため、特に境界線上に多数のワークが存在する場合には、境界線上に位置するワークの有無の判別時間や前後の撮像領域の距離間隔（以下、「撮像ピッチ」と称する）の算出時間等の画像取得に要する時間が増加するだけでなく、ワークの認識漏れが発生することもあった。
【０００６】
本発明の目的は、上記問題点を解決して、従来より高速且つ確実にワークを供給するトラッキング方法、トラッキングシステム、及びトラッキング装置を提供することである。
【０００７】
上記課題を解決するために、請求項１記載の発明は、
搬送体によって搬送される複数のワークを所定の撮像領域で撮像する撮像工程と、当該撮像結果から各ワークの位置座標を取得する座標取得工程と、前記位置座標に基づいて前記複数のワークのハンドリングを制御するトラッキング工程と、を実行するトラッキング方法において、前記撮像工程における第１撮像領域とその直後の第２撮像領域とが前記ワークの全形が収まる一定の幅で進行方向に重なるように連続的に撮像信号を出力する出力工程と、前記撮像領域内に全形を含むワークのみ位置座標を認識する視覚認識工程と、を含み、前記視覚認識工程は、前記ワークの長径を算出する算出工程と、前記第１撮像領域と前記第２撮像領域とが重なる部分の幅を、前記算出工程により算出された前記長径以上に設定する設定工程と、を含むことを特徴としている。
【０００８】
ここで、例えば視覚認識工程でワークの形状を自動認識して長径を算出する工程を付加した構成としてもよい。
また、単位時間に搬送体を搬送するワークの個数に応じて搬送速度を可変する構成としてもよい。
【０００９】
この請求項１記載の発明によれば、ワークの長径を算出して、第１撮像領域と第２撮像領域の重なる部分の幅を、ワークの長径以上にに設定するため、ワークの認識に取りこぼしが無くなり、撮像時に撮像領域の境界線上のワークを認識する必要はない。したがって、画像処理時間を短縮できるとともにワークの認識漏れを減らすことができる。また、搬送体の搬送速度を上げることが可能となり、トラッキング処理能力を向上させることができる。
【００１０】
また、請求項２記載の発明は、
搬送体によって搬送される複数のワークを撮像手段により撮像し、当該撮像結果から各ワークの位置座標を取得する画像処理装置と、前記位置座標に基づいて前記複数のワークのハンドリングを制御するトラッキング装置と、から構成されるトラッキングシステムにおいて、前記トラッキング装置は、前記撮像手段による第１撮像領域とその直後の第２撮像領域とが前記ワークの全形が収まる一定の幅で進行方向に重なるように連続的に撮像信号を出力する出力手段と、を備え、前記画像処理装置は、前記出力手段から出力される撮像信号に基づいて所定の撮像領域を撮像し、当該撮像領域内に全形を含むワークのみ位置座標を認識する視覚認識手段、を備え、前記視覚認識手段は、前記ワークの長径を算出する算出手段と、前記第１撮像領域と前記第２撮像領域とが重なる部分の幅を、前記算出工程により算出された前記長径以上に設定する設定手段と、を含むことを特徴としている。
【００１１】
したがって、請求項１記載の発明をトラッキングシステムとして実現することが可能となる。
【００１２】
さらに、請求項３記載の発明は、
画像処理装置の撮像手段によって取得される複数のワークの画像情報から認識される各ワークの位置座標に基づいて前記複数のワークのハンドリングを制御するトラッキング装置において、前記撮像手段による第１撮像領域とその直後の第２撮像領域とが前記ワークの全形が収まる一定の幅で進行方向に重なるように連続的に撮像信号を出力する出力手段と、を備え、前記画像処理装置は、前記出力手段から出力される撮像信号に基づいて所定の撮像領域を撮像し、当該撮像領域内に全形を含むワークのみ位置座標を認識する視覚認識手段、を備え、前記視覚認識手段は、前記ワークの長径を算出する算出手段と、前記第１撮像領域と前記第２撮像領域とが重なる部分の幅を、前記算出工程により算出された前記長径以上に設定する設定手段と、を含むことを特徴としている。
【００１３】
したがって、請求項１記載の発明をトラッキング装置として実現することが可能となる。
【００１４】
【発明の実施の形態】
以下、図を参照して、本発明を適用した好適な一実施の形態におけるトラッキングシステム１について説明する。
【００１５】
まず、図１〜図２を参照して構成について説明する。図１は、本実施の形態におけるトラッキングシステム１の概観図であり、（ａ）は平面図、（ｂ）は正面図である。本実施の形態におけるトラッキングシステム１の全体構造は、上記従来の技術において図１に示したトラッキングシステム１と同一であるため、従来技術からの改良点を除き同一の符合を付し、その概略構成の図示及び説明は省略する。
【００１６】
次に、図２は本実施の形態におけるトラッキングシステム１の要部構成を示すブロック図である。図２に示すように、画像処理装置１０は、ＣＣＤカメラ１１、視覚認識部１２、画像取得制御部１３、ワーク到着検知センサ１４から構成されている。
【００１７】
ＣＣＤ（Charge Coupled Device）カメラ１１は、例えば工業用テレビカメラ（ＩＴＶ）であり、図４に示すコンベア２５上の可視領域を撮像領域として画像情報を取得する。図４において、「Ｌ」は可視領域のｘ軸方向の幅、「ａ」は各撮像領域の重なり部分のｘ軸方向の幅を表す定数値である。
【００１８】
視覚認識部１２は、上記撮像領域内のワーク３の中から予め記憶装置２３に記憶されているワークデータ２３ａに誤差を含ませた値と一致するワークの陰影のみをワーク３の画像情報として抽出し、撮像領域の境界線上に位置するワーク（すなわち、撮像領域内に全形を含まないワーク）の画像情報は取得しない。また、視覚認識部１２は、取得された画像情報に基づいて、例えばパターンマッチング等の処理を行い、各ワークの重心位置座標（ｘ，ｙ）を算出し、当該算出結果を位置座標データとして画像取得制御部１３へ出力する。
【００１９】
画像取得制御部１３は、コンベア２５の搬送距離に応じてＣＰＵ２１から送信される入力信号に従って、視覚認識部１２へ画像情報を取り込むタイミングを決定する。ワーク到着検知センサ１４は、コンベア２５によって搬送されるワーク３の一端が撮像領域の境界線に到達した際に、画像取得制御部１３に対して到達信号を出力する。表示部１５（図示略）は、例えばＬＣＤ（Liquid Crystal Display）であり、画像取得制御部１３の指示に従って、ＣＣＤカメラ１１から取得された画像情報を表示させる。
【００２０】
また、ロボット制御装置２０は、以下の機能を有するＣＰＵ２１、ＳＲＡＭ２２、記憶装置２３、コンベア制御部２４、コンベア２５、ロボット制御部２６、バス２７により構成されている。ＣＰＵ２１は、記憶装置２３から所定のプログラムを読み出してＳＲＡＭ２２内のワークエリア２２ａ（図示略）に展開し、展開されたプログラムやワーク３の位置座標データ等の処理結果を一時的に格納し、当該プログラムに基づく各種処理を実行し、画像処理装置１０、ロボット制御装置２０の各部を集中制御する。
【００２１】
ＣＰＵ（Central Processing Unit）２１は、画像取得制御部１３から入力されるワーク３の位置座標データからワーク３のハンドリング順序を指示するハンドリング順序データを作成し、当該ハンドリング順序データをワーク３の位置座標データと共にハンドリングデータとしてロボット制御部２５へ送信すると同時にＳＲＡＭ２２に一時的に格納し、視覚認識部１２の画像取得の都度リアルタイムに更新する。また、画像取得制御部１３とロボット制御装置２０の各部とは、バス２７，２８を介して相互に各種信号の送受信を行う。
【００２２】
ＳＲＡＭ（Static Random Access Memory）２２は、ＣＰＵ２１が各種制御プログラムを実行する際に各種プログラムコードを展開するプログラムコード格納領域を形成するとともに、ＣＰＵ２１が各種処理を実行する際に処理されるワーク３のハンドリングデータ及び処理結果等を格納するワークエリア２２ａを有する。記憶装置２３には、上記プログラムやプログラムを実行する際に必要なワーク３の長径、形状等のワークデータ２３aが予め記憶されている。
【００２３】
コンベア制御部２４は、ＣＰＵ２１から入力されるワーク３の位置座標データに基づいて、ロボット２６ａがロスタイム無くワーク３を取り出せる最適な搬送速度を設定、維持するように、コンベアモータ２４ｂの駆動を制御する。また、コンベア２５は、互いに搬送方向の異なる第１コンベア２５ａ、第２コンベア２５ｃ、及び反転機構２５ｂを有し、ワーク３はループ状に形成されたコンベア２５上を等速で循環する。エンコーダ２４ａは、コンベア２５に取り付けられ、コンベアモータ２４bの回転量から第１コンベア２５ａのｘ方向への移動距離を測定し、測定結果をコンベア制御部２４へ出力する。
【００２４】
ロボット制御部２６は、ＳＲＡＭ２２に格納されるワーク３のハンドリングデータに基づいて、ロボット２６ａの駆動を制御する。ハンド２６ｂは、当該駆動制御に従って実際にワーク３を把持し、パレットＰへ移載する。この時、ハンド２６ｂは、把持センサーによりハンドリングが確実に行われているか否かを判断し、ＣＰＵ２１はワーク３の移載終了と同時に対応するハンドリングデータをワークエリア２２ａから削除する。
【００２５】
次に、上記構成を有するトラッキングシステム１の動作について説明する。まず、ＣＰＵ２１によって実行される位置座標検出処理について図４を参照しながら、図３に示すフローチャートに基づいて説明する。
【００２６】
図３に示すように、コンベア制御部２４は、コンベアモータ２４ｂを駆動させ、複数のワーク３が不規則に載置されたコンベア２５をｘ軸方向に搬送させる（ステップＳ１）。次に、ＣＰＵ２１は、ワークエリア２２ａにカウンタ「ｎ」の初期値として“ｎ＝１”を設定する（ステップＳ２）。次に、ＣＣＤカメラ１１は、１回目の画像情報として撮像領域１（図４参照）の画像情報を取得する（ステップＳ３）。
【００２７】
視覚認識部１２は、取得された画像情報を解析し、撮像領域１内のワーク３の位置座標データをＣＰＵ２１へ出力し、ＳＲＡＭ２２に一時的に格納する（ステップＳ４）。なお、この時撮像領域１の境界線上に位置するワーク（例えばワーク３ａ）の位置座標データは検出しない。
【００２８】
次に、ＣＰＵ２１は、エンコーダ２４ａによって算出されたコンベア２５の移動距離に基づいて、所定の撮像ピッチを「ｐ」としてコンベア２５が“ｐ＝Ｌ−ａ”移動したか否かを判定し（ステップＳ５）、信号入力の待機状態に入る。ここで、図４に示すように「Ｌ」は可視領域のｘ軸方向の幅を表し、「ａ」は各撮像領域の重なり部分のｘ軸方向の幅を表す。なお、「ａ」はワーク３の長径を「ｌ」として、“ｌ≦ａ＜Ｌ／２”を満たす定数である。
【００２９】
ステップＳ５において、コンベア２５が「ｐ」移動した時点（ステップＳ５；Ｙｅｓ）で、ＣＰＵ２１は画像取得制御部１３に対して撮像タイミング信号を出力する（ステップＳ６）。この時、画像取得制御部１３は、当該信号の受信待機状態に入っており、撮像タイミング信号の受信の有無を判定する（ステップＳ７）。
【００３０】
画像取得制御部１３が撮像タイミング信号を受信すると（ステップＳ７；Ｙｅｓ）、ＣＣＤカメラ１１は、２回目の画像情報として撮像領域２の画像情報を取得する（ステップＳ８）。視覚認識部１２は、取得された画像情報を解析し、撮像領域２内のワーク３の位置座標データをＣＰＵ２１へ出力し、ＳＲＡＭ２２に一時的に格納する（ステップＳ９）。
【００３１】
次に、ＣＰＵ２１は、ＳＲＡＭ２２のワークエリア２２ａのカウンタ「ｎ」に「１」を追加し、“ｎ＝ｎ＋１”とする（ステップＳ１０）。そして、再度ステップＳ５に戻り、撮像領域ｎ＋１と撮像領域ｎ＋２に対してステップＳ５〜ステップＳ９の処理を繰り返し実行する。そして、コンベア２５上の全てのワーク３の座標変換が終了した時点で上述した位置座標検出処理を終了する。
【００３２】
次に、上記処理に基づく具体的処理例として、図４を参照して本実施の形態における位置座標検出方法について説明する。図４は、本発明を適用した一実施の形態における位置座標検出工程の一例を示す図である。
【００３３】
図４において、撮像領域１と撮像領域２の重なり部分の幅ａをワーク３の長径「ｌ」以上に設定することにより、撮像領域１の境界線上に位置するワーク３ａは撮像領域２に全形を含む。このため、ワーク３ａは撮像領域１内のワークとしては認識されないが、撮像領域２内のワークとして認識される。
【００３４】
また、上述の動作を撮像領域ｎと撮像領域ｎ＋１に対して実行することにより、撮像ピッチｐは常時一定に保たれるため、撮像時に境界線上のワークの認識、撮像ピッチの算出、撮像領域の可変制御を行う必要はない。このため、画像処理時間を短縮できるとともにワークの認識漏れを防ぐことができる。これに伴って、コンベア２５の搬送速度を上げることが可能となり、トラッキングシステム１全体の処理能力を向上させることができる。
【００３５】
なお、本発明は、上記実施の形態における記述内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、本実施の形態においては、ワーク３の長径を予めオペレータが設定し、設定情報を記憶装置２３にワークデータ２３ａとして記憶させる構成としたが、例えば、視覚認識部１２がワーク３の形状を自動認識して長径を算出する機能を有する構成としてもよい。
【００３６】
また、コンベア２５の搬送速度は等速としたが、ワーク到着検知センサ１４によって検知され、単位時間に搬送されるワーク３の個数に応じて、変化または停止させる機能を有する構成としてもよい。
さらに、本実施の形態においては、画像処理装置１０は、ワーク３の画像情報を２次元で認識する構成としたが、画像処理の短縮時間を撮像時間に充てることにより、ワーク３の画像情報を３次元認識する構成としてもよい。また、ワーク３の形状は同一でなくてもよい。
【００３７】
【発明の効果】
以上より、本発明によれば、前後の撮像領域が前記ワークの全形が収まる幅で重なるため、ワークの認識に取りこぼしが無くなり、撮像時に撮像領域の境界線上のワークを認識する必要はない。また、前後の撮像ピッチは常時一定に保たれるため、撮像時に撮像ピッチの算出、及び撮像領域の可変制御を行う必要はない。したがって、画像処理時間を短縮できるとともにワークの認識漏れを減らすことができる。また、搬送体の搬送速度を上げることが可能となり、トラッキング処理能力を向上させることができる。
【図面の簡単な説明】
【図１】本実施の形態におけるトラッキングシステムの概観図であり、（ａ）は平面図であり、（ｂ）は正面図である。
【図２】トラッキングシステムの要部構成、及び接続構成を示すブロック図である。
【図３】図２のＣＰＵによって実行される位置座標検出処理を示すフローチャ−トである。
【図４】本実施の形態における位置座標検出工程の一例を示す図である。
【符号の説明】
１ トラッキングシステム
１０ 画像処理装置
１１ ＣＣＤカメラ
１２ 視覚認識部
１３ 画像取得制御部
１４ 部品到着検知センサ
１５ 表示部
２０ ロボット制御装置
２１ ＣＰＵ
２２ ＳＲＡＭ
２３ 記憶装置
２４ コンベア制御部
２５ コンベア
２６ ロボット制御部
３ ワーク

Claims (3)

1. 搬送体によって搬送される複数のワークを所定の撮像領域で撮像する撮像工程と、当該撮像結果から各ワークの位置座標を取得する座標取得工程と、前記位置座標に基づいて前記複数のワークのハンドリングを制御するトラッキング工程と、を実行するトラッキング方法において、
   前記撮像工程における第１撮像領域とその直後の第２撮像領域とが前記ワークの全形が収まる一定の幅で進行方向に重なるように連続的に撮像信号を出力する出力工程と、
   前記撮像領域内に全形を含むワークのみ位置座標を認識する視覚認識工程と、を含み、
   前記視覚認識工程は、前記ワークの長径を算出する算出工程と、前記第１撮像領域と前記第２撮像領域とが重なる部分の幅を、前記算出工程により算出された前記長径以上に設定する設定工程と、を含むことを特徴とするトラッキング方法。
2. 搬送体によって搬送される複数のワークを撮像手段により撮像し、当該撮像結果から各ワークの位置座標を取得する画像処理装置と、前記位置座標に基づいて前記複数のワークのハンドリングを制御するトラッキング装置と、から構成されるトラッキングシステムにおいて、
   前記トラッキング装置は、前記撮像手段による第１撮像領域とその直後の第２撮像領域とが前記ワークの全形が収まる一定の幅で進行方向に重なるように連続的に撮像信号を出力する出力手段、を備え、
   前記画像処理装置は、前記出力手段から出力される前記撮像信号に基づいて所定の撮像領域を撮像し、当該撮像領域内に全形を含むワークのみ位置座標を認識する視覚認識手段、を備え、
   前記視覚認識手段は、前記ワークの長径を算出する算出手段と、前記第１撮像領域と前記第２撮像領域とが重なる部分の幅を、前記算出工程により算出された前記長径以上に設定する設定手段と、を含むことを特徴とするトラッキングシステム。
3. 画像処理装置の撮像手段によって取得される複数のワークの画像情報から認識される各ワークの位置座標に基づいて前記複数のワークのハンドリングを制御するトラッキング装置において、
   前記撮像手段による第１撮像領域とその直後の第２撮像領域とが前記ワークの全形が収まる一定の幅で進行方向に重なるように連続的に撮像信号を出力する出力手段、を備え、
   前記画像処理装置は、前記出力手段から出力される撮像信号に基づいて所定の撮像領域を撮像し、当該撮像領域内に全形を含むワークのみ位置座標を認識する視覚認識手段、を備え、
   前記視覚認識手段は、前記ワークの長径を算出する算出手段と、前記第１撮像領域と前記第２撮像領域とが重なる部分の幅を、前記算出工程により算出された前記長径以上に設定する設定手段と、を含むことを特徴とするトラッキング装置。

Images