JP7374354B1 - アライメントシステム、アライメント方法及びプログラム - Google Patents

Abstract

アライメントシステム（１）は、識別対象を有するワーク（１０）を撮像した撮像画像から識別対象を検出する画像処理ユニット（４００）と、画像処理ユニット（４００）が検出した識別対象の実座標に基づいて、ワーク（１０）を移動させる駆動機器（１１１，１１２，１１３）を制御する動作制御ユニット（２００）と、を備える。画像処理ユニット（４００）は、駆動機器（１１１，１１２，１１３）の位置センサ出力から生成した位置情報に基づいて撮像画像の一部である予め定めた大きさを有する探索範囲を決定し、探索範囲の画像から識別対象を検出する。

Description

本開示は、アライメントシステム、アライメント方法及びプログラムに関する。

ＦＡ（Factory Automation）の分野において、制御対象物であるワークの位置を基準位置に合わせるアライメント技術が活用されている。例えば、ワークがアライメント用のマークを有しており、撮像装置により撮像されたワーク画像からマークを検出し、マークの位置を基準位置に合わせることにより位置合わせを行う制御システムがある（例えば、特許文献１）。

特許文献１に記載の制御システムにおいて、ワークは、移動機構を備えたステージ上に載置され、撮像された画像からワーク上の特徴部分の位置を特定している。この制御システムは、移動機構から取得する情報に基づいて速度を算出してワークの移動量を予測し、特徴部分の位置を推測することにより撮像画像の探索範囲を限定している。これにより、特徴部分の探索時間を削減でき、ワークを高速に位置決めすることができると説明されている。

特開２０１９－２１５６３３号公報

特許文献１に記載の制御システムは、移動機構から取得した各方向における過去の駆動量に基づいて速度を算出し、撮像の１回目と２回目の間のワークの移動量を予測して、２回目の撮像画像から探索範囲を限定しているが、移動量の予測計算により探索範囲の予測精度が劣化する可能性がある。

予測精度の劣化によりマークを検出できない場合には、撮像画像全範囲の再探索が必要となり、アライメント制御全体に要する時間が増大するという問題がある。また、マーク検出が不能となる状態を回避するために探索範囲を広げる場合には、探索時間が長くなり、処理量が増大するという問題がある。

本開示は上記事情に鑑みてなされたものであり、高速かつ高精度で位置決めすることができるアライメントシステム、アライメント方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本開示のアライメントシステムは、識別対象を有するワークを撮像した撮像画像から識別対象を検出する画像処理ユニットと、画像処理ユニットが検出した識別対象の撮像画像における位置を表す、基準座標系における実座標に基づいて、ワークを移動させる駆動機器を制御する動作制御ユニットと、を備える。画像処理ユニットは、駆動機器に備えられた位置センサから取得した位置情報を示す座標と識別対象の実座標との対応関係を示す定数行列を予め特定し、定数行列を用いて位置情報から算出する実座標の予測値である予測座標を含み、撮像画像の一部である予め定めた大きさを有する探索範囲を決定し、探索範囲の画像から識別対象を検出することを特徴とする。

本開示によれば、駆動機器の位置センサ出力から生成した位置情報に基づいて探索範囲を決定するため、高速かつ高精度で位置決めすることが可能となる。

実施形態１に係るアライメントシステムの全体構成例を示すブロック図 動作制御ユニットの構成例を示すブロック図 画像処理ユニットの構成例を示すブロック図 アライメント制御方法を説明する図 アライメント制御方法を説明する図 実施形態１に係るアライメントシステムの機能構成例を示すブロック図 実施形態１に係るアライメント制御処理を示すフローチャート 実施形態１に係る探索処理を示すフローチャート 探索範囲の例を示す図 探索角度範囲の例を示す図 伝送路遅延計測による同期方式を示す図 撮像装置のシャッタのタイミング制御を説明する図 実施形態２に係るアライメントシステムの機能構成例を示すブロック図 実施形態２に係るアライメント制御処理を示すフローチャート 実施形態２に係る探索処理を示すフローチャート 変形例１に係るアライメントシステムの機能構成例を示すブロック図 変形例１に係るアライメント制御処理を示すフローチャート 変形例１に係る探索処理を示すフローチャート 変形例３に係る識別対象の予測を説明する図 変形例３に係る識別対象の予測を説明する図 変形例４に係る粗探索を説明する図 変形例４に係る詳細探索を説明する図 変形例５に係る粗探索を説明する図 変形例５に係る詳細探索を説明する図 変形例６に係る探索処理を示すフローチャート

（実施形態１）
以下に、本開示を実施するための実施形態１について図面を参照して詳細に説明する。なお、図中同一又は相当する部分には同じ符号を付す。

図１は、実施形態１に係るアライメントシステム１の全体構成例を示すブロック図である。アライメントシステム１は、制御対象であるワーク１０を移動させるアライメント機構１００と、アライメント機構１００を制御する動作制御ユニット２００と、ワーク１０を撮像する撮像装置３００と、撮像装置３００が撮像した画像を処理する画像処理ユニット４００と、画像処理ユニット４００での処理に用いる各種設定を行う設定端末５００と、を備える。

アライメント機構１００には、各方向への駆動力を与えワーク１０を移動させる駆動機器１１１，１１２，１１３が接続されている。また、駆動機器１１１，１１２，１１３には、駆動制御装置１２１，１２２，１２３がそれぞれ接続されており、動作制御ユニット２００からの制御信号に基づいて、駆動制御装置１２１，１２２，１２３がそれぞれ駆動機器１１１，１１２，１１３を駆動させる。

駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、画像処理ユニット４００及び撮像装置３００は、互いに通信接続されている。通信手段は、イーサネット（登録商標）、ＣａｍｅｒａＬｉｎｋ、ＣｏａｘＰｒｅｓｓ（登録商標）、ＵＳＢ（Universal Serial Bus、登録商標）等、従来の任意の通信手段でよいが、同期性を担保するため、ＣＣ－Ｌｉｎｋ ＩＥ／ｆｉｅｌｄ（登録商標）、ＣＣ－Ｌｉｎｋ ＩＥ／ＴＳＮ（登録商標）等のイーサネットをベースとした産業用ネットワークが好適である。

アライメント機構１００は、ワーク１０を載置する載置台１０１を備え、載置台１０１を移動させる機構を有する。例えば、水平方向で互いに直交するＸ方向及びＹ方向に載置台を並進移動させることができ、また、水平面上の回転方向であるθ方向に載置台を回転移動させることができる。本実施形態では、アライメント機構１００に結合された駆動機器１１１がＸ方向に並進移動させ、駆動機器１１２がＹ方向に並進移動させ、駆動機器１１３がθ方向に回転移動させるとする。

駆動機器１１１,１１２,１１３は、アライメント機構１００を精密に駆動することのできる任意の駆動機器（アクチュエータ）であり、例えばサーボモータである。駆動制御装置１２１，１２２，１２３は、動作制御ユニット２００からの制御信号に基づいて、それぞれ、駆動機器１１１，１１２，１１３の駆動を制御する制御装置であり、例えばサーボアンプである。

駆動機器１１１，１１２，１１３は、内部又は外部に任意の位置センサを有しており、駆動機器１１１，１１２，１１３の駆動により実際に変化した位置を検出し出力する。位置センサは、例えばアクチュエータに付属されているエンコーダである。エンコーダの出力信号は、駆動制御装置１２１，１２２，１２３を介して動作制御ユニット２００に入力される。本実施形態では、駆動機器１１１，１１２，１１３がサーボモータであり、駆動制御装置１２１，１２２，１２３がサーボアンプであり、位置センサがエンコーダである場合について説明する。

動作制御ユニット２００は、駆動制御装置１２１，１２２，１２３に対して駆動機器１１１，１１２，１１３の動作に係る指令を行うモーションコントローラであり、例えばＰＬＣ（Programmable Logic Controller）を含む。動作制御ユニット２００は、駆動制御装置１２１，１２２，１２３及び画像処理ユニット４００から取得した情報に基づいて、指令を示す制御信号を生成し、駆動制御装置１２１，１２２，１２３に対して出力する。

動作制御ユニット２００は、図２に示すように、プロセッサ２１０、揮発性メモリ２２０、不揮発性メモリ２３０、クロック２４０、通信インタフェース２５０を備える。プロセッサ２１０と、揮発性メモリ２２０と、不揮発性メモリ２３０と、クロック２４０と、通信インタフェース２５０と、はバスＢ１を介して互いに通信接続されている。

プロセッサ２１０は、例えばＣＰＵ（Central Processing Unit：中央演算装置）であり、不揮発性メモリ２３０に記憶された制御プログラム２３１を読み込んで実行することにより、位置情報生成部２１１、移動量算出部２１２、指令部２１３として機能する。

プロセッサ２１０の位置情報生成部２１１は、駆動機器１１１，１１２，１１３の位置センサの出力信号に基づいて、ワーク１０が載置された載置台１０１の位置に対応する位置情報を生成する。移動量算出部２１２は、画像処理ユニット４００が撮像画像から検出した識別対象の位置に基づいて、ワーク１０のＸ方向、Ｙ方向及びθ方向の移動量を算出する。指令部２１３は、移動量算出部２１２が算出した移動量に基づく制御信号を駆動制御装置１２１，１２２，１２３に出力する。

揮発性メモリ２２０は、プロセッサ２１０が実行する演算処理の際に、高速でデータの読み書きが可能なワークメモリであり、例えば、ＲＡＭ（Random Access Memory）である。不揮発性メモリ２３０は、動作制御ユニット２００の各種機能を実現するための制御プログラム２３１と、制御プログラム２３１の実行時に使用されるパラメータ、過去の検出データ及び指令データを含む制御データ２３２と、を記憶する。不揮発性メモリ２３０は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の不揮発性半導体メモリ、磁気ディスク、又は、光ディスクである。

クロック２４０は、動作制御ユニット２００が有するクロック素子のクロック信号をカウントすることによりローカル時刻を計測し、さらに、駆動制御装置１２１，１２２，１２３、撮像装置３００、画像処理ユニット４００との同期を行う。これにより動作制御ユニット２００は、駆動制御装置１２１，１２２，１２３、撮像装置３００、画像処理ユニット４００と同期された時刻情報を有する。

通信インタフェース２５０は、動作制御ユニット２００が駆動制御装置１２１，１２２，１２３、撮像装置３００、画像処理ユニット４００と通信するためのインタフェースであり、例えば、ＣＣ－Ｌｉｎｋ ＩＥ／ｆｉｅｌｄ、ＣＣ－Ｌｉｎｋ ＩＥ／ＴＳＮ等の通信規格に準拠したインタフェースである。

撮像装置３００は、アライメント機構１００の上方からワーク１０を一定時間間隔で撮像する撮像装置であり、例えばアライメントシステム１のアライメント精度を実現させるのに十分な解像度を有するカメラである。撮像装置３００の数は任意であるが、アライメントのために用いる識別対象の数及び位置に応じて撮像装置３００の数は決定される。図１は、２つの撮像装置３００を備えた場合を示している。識別対象は、ワーク１０の位置を示す任意の対象でよく、例えば、ワーク１０上に付したアライメントマーク、ワーク１０の角端部、又は、載置台１０１の角端部である。

撮像装置３００も、駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、画像処理ユニット４００と同期された時刻情報と、駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、画像処理ユニット４００と通信するための通信インタフェースと、を有する。

画像処理ユニット４００は、撮像装置３００から取得した撮像画像に対して、互いに異なる探索方法の粗探索と詳細探索とにより、識別対象を検出する処理を行う。粗探索は、撮像装置３００から取得した撮像画像の全範囲で実行され、詳細探索は、粗探索の範囲より狭い探索範囲で実行される。画像処理ユニット４００は、詳細探索により識別対象が検出されたとき、動作制御ユニット２００に対して、識別対象の実座標を出力する。ここで実座標は、動作制御ユニット２００の移動量算出部２１２と整合の取れた基準座標における座標である。

画像処理ユニット４００は、図３に示すように、プロセッサ４１０、揮発性メモリ４２０、不揮発性メモリ４３０、クロック４４０、通信インタフェース４５０を備える。プロセッサ４１０と、揮発性メモリ４２０と、不揮発性メモリ４３０と、クロック４４０と、通信インタフェース４５０と、はバスＢ２を介して互いに通信接続されている。

プロセッサ４１０は、例えばＣＰＵ（Central Processing Unit：中央演算装置）であり、不揮発性メモリ４３０に記憶された制御プログラム４３１を読み込んで実行することにより、画像取得部４１１、範囲決定部４１２、探索部４１３として機能する。

プロセッサ４１０の画像取得部４１１は、撮像装置３００が撮像した画像を取得する。範囲決定部４１２は、動作制御ユニット２００の位置情報生成部２１１が生成した位置情報を含む情報に基づいて、画像取得部４１１が取得した撮像画像のうち、識別対象を探索する範囲を決定する。探索部４１３は、範囲決定部４１２が決定した探索範囲内の画像について識別対象の詳細探索を行い、識別対象を検出できたときは、識別対象の実座標を、動作制御ユニット２００に対して出力する。

揮発性メモリ４２０は、プロセッサ４１０が実行する演算処理の際に、高速でデータの読み書きが可能なワークメモリであり、例えば、ＲＡＭ（Random Access Memory）である。不揮発性メモリ４３０は、画像処理ユニット４００の各種機能を実現するための制御プログラム４３１と、制御プログラム４３１の実行時に使用されるパラメータ、過去の検出データを含む制御データ４３２と、を記憶する。不揮発性メモリ４３０は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の不揮発性半導体メモリ、磁気ディスク、又は、光ディスクである。

クロック４４０は、画像処理ユニット４００が有するクロック素子のクロック信号をカウントすることによりローカル時刻を計測し、さらに、駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、撮像装置３００との同期を行う。これにより画像処理ユニット４００は、駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、撮像装置３００と同期された時刻情報を有する。

通信インタフェース４５０は、画像処理ユニット４００が駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、撮像装置３００と通信するためのインタフェースであり、例えば、ＣＣ－Ｌｉｎｋ ＩＥ／ｆｉｅｌｄ、ＣＣ－Ｌｉｎｋ ＩＥ／ＴＳＮ等の通信規格に準拠したインタフェースである。

設定端末５００は、画像処理ユニット４００の制御プログラム４３１に対応したアプリケーションプログラムをインストールした端末であり、例えば、パーソナルコンピュータである。設定端末５００は、画像処理ユニット４００の不揮発性メモリ４３０に記憶されているパラメータの入力又は変更を含む画像処理ユニット４００の管理機能を有する。設定端末５００が画像処理ユニット４００と通信接続するための通信インタフェースは、画像処理ユニット４００が有するインタフェースに対応した任意のインタフェースであり、例えば、ＵＳＢインタフェース又はＲＳ２３２Ｃインタフェースである。

動作制御ユニット２００は、画像処理ユニット４００が検出した識別対象の実座標と、アライメント先の目標座標との差に基づく移動量を算出し、移動量に基づく制御信号を駆動制御装置１２１，１２２，１２３に対して出力する。

以上説明した構成を有するアライメントシステム１の動作について説明する。まず、前提となる、識別対象の位置に基づくアライメント方法の例について、図４，５を用いて説明する。図４，５は、識別対象がワーク１０の端部に付されたアライメントマーク１００１，１００２である場合のアライメント方法を説明する図である。

アライメントマーク１００１，１００２の形状は任意であるが、基準点の位置及び回転角度が明確に判別できる形状が好ましく、例えば、図４，５に示す十字のマークが好適である。また、アライメントマークの数は任意であり、図４に示すように１個でもよく、図５に示すようにワーク１０の対角の端部に２個のアライメントマーク１００１，１００２が付されていてもよい。

１個のアライメントマーク１００１を用いる場合は、１つの撮像装置３００で撮像範囲１３００の画像を取得する。２個のアライメントマーク１００１，１００２を用いる場合で、かつ１つの撮像範囲１３００で２個のアライメントマーク１００１，１００２を撮像できない場合は、２つの撮像装置３００で互いにずれた撮像範囲１３００の画像を取得する。

図４のように１つのアライメントマーク１００１を使用する場合は、アライメント先マーク１１０１の基準点の座標と、ワーク１０上のアライメントマーク１００１の基準点の座標と、アライメント先マーク１１０１とアライメントマーク１００１との角度差の３つの情報を用いる。

一方、図５のように２つのアライメントマーク１００１，１００２を使用する場合は、アライメント先マーク１１０１，１１０２の基準点の中点座標と、ワーク１０上のアライメントマーク１００１，１００２の基準点の中点座標と、アライメント先マーク１１０１，１１０２を結ぶ直線とアライメントマーク１００１，１００２を結ぶ直線との角度差の３つの情報を用いる。

図４，５のいずれの場合も、角度差Δθがθ軸の移動量となる。このため、動作制御ユニット２００は、図４に示すように、ワーク１０をアライメント機構１００のθ軸回転中心１２００を中心に角度Δθ回転した後の仮想マーク１２０１の基準点の仮想座標を求める。その後、仮想座標と、アライメント先マーク１１０１の目標座標と、の差により、Ｘ軸方向の移動量ΔＸ及びＹ軸方向の移動量ΔＹを計算する。このようにして得られたΔθ、ΔＸ、ΔＹの移動を実現する制御信号を、動作制御ユニット２００の指令部２１３が駆動制御装置１２１，１２２，１２３に送信することにより指令を行う。

図４に示すように、１つのアライメントマーク１００１を使用する方法は、十字マークのように、アライメントマーク１００１の回転を明確に判別できる場合に使用できる。一方、図５に示すように、２つのアライメントマーク１００１，１００２を使用する場合は、アライメントマーク自体の回転を検出する必要がないため、例えば、円のアライメントマークであってもワークの回転を検出できる。また、十分に離れた２点の検出によりθ方向の角度差Δθを算出するため高精度で制御ができる。

このようにして、動作制御ユニット２００が、識別対象であるアライメントマーク１００１，１００２の基準点の座標及び角度差に基づいてΔθ、ΔＸ、ΔＹを算出し、これらの値を用いて駆動制御装置１２１，１２２，１２３が駆動機器１１１，１１２，１１３を制御してワーク１０を移動させる。しかし、通常は、一度で目標座標との差が認容範囲内にならないことも多いため、識別対象の検出と駆動機器１１１，１１２，１１３の制御とが繰り返し実行される。

このような繰り返しの処理において、撮像装置３００による撮像画像から識別対象を探索する処理の負担が非常に大きい。よって、本実施形態に係るアライメントシステム１は、探索を実行する範囲を限定して処理負担を軽減させたものである。

以下、詳細の処理について、図６－８を用いて説明する。図６は、本実施形態に係るアライメントシステム１の機能構成例を示したブロック図であり、図７は、動作制御ユニット２００が実行するアライメント制御処理のフローチャートであり、図８は、画像処理ユニット４００が実行する探索処理のフローチャートである。

まず、動作制御ユニット２００は、ワーク１０を予め設定された概算目標位置まで移動させる指令を行う（図７、ステップＳ１０１）。具体的には、動作制御ユニット２００が、駆動制御装置１２１，１２２，１２３に対して、各方向の移動を実現させる制御信号を出力する。そして、制御信号に基づく駆動制御装置１２１，１２２，１２３の制御により駆動機器１１１，１１２，１１３が駆動し、ワーク１０を載置した載置台１０１が移動する。

移動終了後、動作制御ユニット２００は画像処理ユニット４００に対して、撮像画像の取得及び探索を指示するとともに（ステップＳ１０２）、駆動機器１１１，１１２，１１３が有する位置センサの出力に基づいて位置情報を生成し出力する（ステップＳ１０３）。その後、動作制御ユニット２００は、画像処理ユニット４００の探索終了まで待機する（ステップＳ１０４）。

ステップＳ１０２で動作制御ユニット２００から識別対象の探索処理を指示された画像処理ユニット４００は、図８に示す処理を実行する。ここでは撮像が初回であるため（ステップＳ２０１：Ｙｅｓ）、画像処理ユニット４００の画像取得部４１１は、撮像装置３００が撮像した撮像画像を取得する（ステップＳ２０２）。その後、探索部４１３が、識別対象の粗探索（ラフサーチ）を実行する（ステップＳ２０３）。

粗探索は、例えば、予め登録しておいたアライメントマーク１００１のパターンモデルを用いたパターンマッチング処理により行う。探索部４１３は、パターンマッチングの一致率が予め定めた閾値以上であったときのアライメントマーク１００１を検出し、アライメントマーク１００１の基準点の位置又は回転角度に基づいて、詳細探索の探索範囲を決定する（ステップＳ２０４）。このときの探索範囲の形状又は大きさは、アライメントマーク１００１の形状又は大きさに応じて予め設定されたものであり、設定端末５００へのユーザの入力により設定可能としてもよい。

例えば、図９Ａに示す十字のアライメントマーク１００１の場合には、パターンマッチングで基準点である中心の位置と十字の回転角度を特定し、アライメントマーク１００１の大きさに対して、予め定めた余裕分を追加した大きさの探索範囲１３０１を決定する。また、図９Ｂに示す角度に係る探索範囲（探索角度範囲）も決定する。

次に、探索部４１３は、ステップＳ２０４で決定した探索範囲内の画像に対して、詳細探索（ファインサーチ）を実行する（ステップＳ２０５）。詳細探索としては、例えば、エッジ検出を行い、正確な直線又は曲線を検出することにより、より正確な識別対象の実座標を取得することができる。ここで、識別対象の実座標は、識別対象の基準点の位置（ＸＹ座標）と回転角度（θ座標）を含む。

探索部４１３がステップＳ２０５の詳細探索で識別対象を検出できなかった場合は（ステップＳ２１２：Ｎｏ）、ステップＳ２０１に戻り、ステップＳ２０２～２０５の処理を繰り返す。一方、ステップＳ２０５の詳細探索で識別対象の検出に成功した場合は（ステップＳ２１２：Ｙｅｓ）、動作制御ユニット２００に対して、ステップＳ２０５で取得した識別対象の実座標を出力する（ステップＳ２１３）。

ここで図７のフローチャートに戻り、画像処理ユニット４００による探索処理が終了後（ステップＳ１０４：Ｙｅｓ）、動作制御ユニット２００は、画像処理ユニット４００より実座標を取得し（ステップＳ１０５）、目標座標との差を算出する。実座標と目標座標との差が閾値以下である場合は（ステップＳ１０６：Ｙｅｓ）、アライメント制御処理を終了する。ここで、目標座標は、アライメント先の座標であり、中心位置（ＸＹ座標）と回転角度（θ座標）を含む。

実座標と目標座標との差が閾値を超える場合は（ステップＳ１０６：Ｎｏ）、指令部２１３が、アライメント機構１００の位置を補正する指令を実行する（ステップＳ１０７；指令ステップ）。具体的には、実座標を目標座標に一致させる制御信号を駆動制御装置１２１，１２２，１２３に対して出力する。

駆動機器１１１，１１２，１１３の駆動終了後、ステップＳ１０２に戻る。動作制御ユニット２００は再度、撮像と探索を指示し（ステップＳ１０２）、位置情報を出力する（ステップＳ１０３）。

再び、図８のフローチャートに移り、撮像が２回目以降であり、前回検出成功しているため（ステップＳ２０１：Ｎｏ）、画像処理ユニット４００は、位置情報を取得する（ステップＳ２０６）。画像処理ユニット４００の範囲決定部４１２は、その時点の識別対象の予測座標の算出を行う（ステップＳ２０７）。

具体的には、範囲決定部４１２は、初回のアライメント制御時に動作制御ユニット２００から取得した位置情報と、初回の詳細探索で検出した実座標の対応関係を特定する。例えば、初回の位置情報のＸＹ座標が（ｘ_１，ｙ_１）で表され、実座標のＸＹ座標が（Ｘ_１，Ｙ_１）で表されるとき、これらの関係は、以下の式（１）の定数行列Ａで表される。

２回目のアライメント制御時に動作制御ユニット２００から取得した位置情報のＸＹ座標を（ｘ_２，ｙ_２）とすると、２回目の探索で用いる予測座標のＸＹ座標（Ｘ_２，Ｙ_２）は、式（１）で表される定数行列Ａを用いて、以下の式（２）で表すことができる。また、３回目以降を含むｎ回目についても同様に式（３）で表すことができる。

なお、位置情報と実座標の対応関係を表す定数行列Ａは、繰り返しのアライメント制御において取得する位置情報及び実座標に基づいて、毎回更新してもよく、又は、複数回の平均を用いてもよい。あるいは、事前のキャリブレーションにより、予め位置情報と実座標の対応関係を構築してもよい。例えば、識別対象として載置台１０１の角端部を用いたアライメント制御の場合には、実行毎の誤差が小さいため、このような事前のキャリブレーションが有効である。

このようにして、撮像画像から検出した識別対象の基準点のＸＹ座標と位置情報との対応関係を予め特定し、この対応関係を用いて新たに取得した位置情報からＸＹ座標を予測する（ステップＳ２０７）。その後、予測したＸＹ座標を中心とし、予め定めた大きさの探索範囲を決定する（ステップＳ２０８）。また、θ座標についても、同様に、詳細探索で検出した実座標と位置情報との対応関係を予め特定した上で、新たに取得した位置情報に基づいて識別対象の回転角度を示すθ座標の予測を行い（ステップＳ２０７）、予測したθ座標を中心とし、予め定めた角度幅の探索角度範囲を決定する（ステップＳ２０８）。なお、探索範囲は予測座標を中心とした範囲でなくてもよく、アライメント条件又は識別対象の形態によっては、予測座標を含む範囲を探索範囲としてもよい。

ここで、探索範囲の大きさは、設定端末５００へのユーザの入力により設定してもよく、自動で設定してもよい。例えば、探索範囲の大きさは、識別対象の形状又は大きさに対して、駆動機器１１１，１１２，１１３の移動速度に基づいて自動又は手動で設定した余裕分を追加した大きさであってもよい。あるいは、過去のアライメント制御結果に基づいて統計的に探索範囲の大きさを決定してもよく、例えば、識別対象の形状及び大きさに対して、過去の互いに対応する時点における、位置情報から算出した予測座標と、撮像画像から検出した実座標との差の平均値を余裕分として加えた大きさであってもよい。

つまり、範囲決定部４１２は、２回目以降でかつ前回検出を失敗していない場合には、ステップＳ２０３の粗探索を実行せずに、ステップＳ２０７で位置センサ出力に基づく位置情報から算出した予測座標を中心とする探索範囲を決定する。この位置情報に基づく探索範囲の決定処理は、ステップＳ２０３で実行した粗探索による探索範囲の決定処理と比較して、処理量が大幅に少ない。よって、毎回粗探索から行う従来のアライメント制御と比較して、高速制御が可能となる。

次に、画像取得部４１１が画像を取得し（ステップＳ２０９；画像取得ステップ）、取得した画像のうちステップＳ２０８で決定した探索範囲の画像について、簡易処理を行う（ステップＳ２１０）。簡易処理は、詳細探索を行う前の任意の処理であり、例えば、探索部４１３が、ステップＳ２０８で決定した探索範囲より広いが全範囲より限定した範囲での粗探索を行い、探索範囲を再決定してもよい。あるいは、ステップＳ２０７でＸＹ座標の予測座標を算出してステップＳ２０８でＸＹ座標における探索範囲を決定しておいた場合には、簡易処理として、θ座標の粗検索を行い探索角度範囲を決定してもよい。なお、簡易処理は省略してもよい。

その後、探索部４１３が、ステップＳ２０８で決定した探索範囲又はステップＳ２１０で決定した範囲について詳細探索を実行する（ステップＳ２１１：探索ステップ）。詳細探索の方法は、ステップＳ２０５と同じである。ステップＳ２１１で詳細探索を実行した結果、識別対象が検出できなかった場合は（ステップＳ２１２：Ｎｏ）、ステップＳ２０１に戻り、前回検出失敗であるため（ステップＳ２０１：Ｙｅｓ）ステップＳ２０２～２０５の処理を実行する。ここで、全範囲の粗探索からやり直すのは、詳細探索で検出失敗を繰り返すことにより、制御不能になるのを回避するためである。

ステップＳ２１１の詳細探索で識別対象の検出に成功した場合は（ステップＳ２１２：Ｙｅｓ）、動作制御ユニット２００に対して、ステップＳ２１１で取得した識別対象の実座標を出力する。

再度、図７のフローチャートに戻り、動作制御ユニット２００は、画像処理ユニット４００より実座標を取得し（ステップＳ１０５）、目標座標との差を算出する。実座標と目標座標との差が閾値以下である場合は（ステップＳ１０６：Ｙｅｓ）、アライメント処理を終了する。

実座標と目標座標との差が閾値を超える場合は（ステップＳ１０６：Ｎｏ）、指令部２１３がアライメント機構１００の位置を補正する指令を実行する（ステップＳ１０７）。具体的には、実座標を目標座標に一致させるための制御信号を駆動制御装置１２１，１２２，１２３に対して出力する。その後、ステップＳ１０２に戻り、処理を継続する。

以上説明したように、本実施形態に係るアライメントシステム１は、識別対象を有するワーク１０を撮像した画像から識別対象を検出する画像処理ユニット４００と、画像処理ユニット４００が検出した識別対象の実座標に基づいて、ワーク１０を移動させる駆動機器１１１，１１２，１１３を制御する動作制御ユニットと、を備える。画像処理ユニット４００は、駆動機器１１１，１１２，１１３の位置センサ出力に基づく位置情報と撮像画像から検出する識別対象の実座標との対応関係を予め特定し、この対応関係を用いて、次に取得する位置情報から識別対象の予測座標を算出し、この予測座標を含む探索範囲を決定し、探索範囲の画像から識別対象を検出することとした。これにより、全範囲の粗探索処理を省略でき高速かつ高精度で位置決めすることが可能となる。

（実施形態２）
以下に、本開示を実施するための実施形態２について図面を参照して詳細に説明する。なお、図中同一又は相当する部分には同じ符号を付す。

本実施形態２に係るアライメントシステム２の全体構成及び各構成部のハードウェア構成は実施形態１と同様である。本実施形態２に係るアライメントシステム２において、画像処理ユニット４００の画像取得部４１１が、転送範囲を指定した転送指示を行うことにより、撮像装置３００から撮像画像を取得し、転送範囲内の撮像画像について探索部４１３が探索処理を行う点が、実施形態１と異なる。

本実施形態においても、実施形態１と同様に、駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、画像処理ユニット４００及び撮像装置３００は、互いに通信接続されている。ただし、本実施形態は、実施形態１よりもさらに高い応答性を求められるため、ＣＣ－Ｌｉｎｋ ＩＥ／ｆｉｅｌｄ、ＣＣ－Ｌｉｎｋ ＩＥ／ＴＳＮ等の産業用ネットワークにより通信接続することが望ましい。

ＣＣ－Ｌｉｎｋ ＩＥ／ｆｉｅｌｄ、ＣＣ－Ｌｉｎｋ ＩＥ／ＴＳＮ等の産業用ネットワークは、同期性を担保するために、Ｈ／Ｗ機器にて一定以上の定時性を実現しつつ、統計的に伝送路遅延計測を行い、μ秒精度で機器間のタイミングを合わせる仕組みを有している。

伝送路遅延計測による同期方式は、マスタ局からデバイス局までの伝送路遅延測定値を利用して、より高精度の同期を実現する方式である。図１０に伝送路遅延計測による同期方式を示す。伝送路遅延計測方式では、同期ポイントで同期を行う。マスタ局４０から送信された伝送制御（ＭｙＳｔａｔｕｓ）フレームは距離が離れるにつれて遅延が生じる。

マスタ局４０は、各デバイス局５０、６０、７０から応答信号を受信したマスタ局時刻から各デバイス局５０、６０、７０における伝送路遅延時間を算出し、各デバイス局５０、６０、７０に送信する。同期ポイントは、マスタ局４０が伝送制御（ＭｙＳｔａｔｕｓ）フレームを送信してから一定時間（Ｔｓｙｎｃ）経過後の時刻である。各デバイス局５０、６０、７０は、伝送制御（ＭｙＳｔａｔｕｓ）フレームを受け取ってから、伝送路遅延時間を差し引いた時間であるＴｐｓ時間（Ｔｓｙｎｃ－遅延時間）後に同期を行う。

本実施形態では、この伝送路遅延計測方式を用いて、例えば動作制御ユニット２００をマスタ局４０として、駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、撮像装置３００及び画像処理ユニット４００のタイミング制御が行われる。つまり、駆動制御装置１２１，１２２，１２３、動作制御ユニット２００、撮像装置３００及び画像処理ユニット４００は、伝送路遅延時間が計測される産業用ネットワーク（通信線）で互いに通信接続されており、同期された時刻情報を有することとなる。

マスタ局４０である動作制御ユニット２００は、指示の送信時刻から最長の伝送路遅延時間を経過した後の特定時刻を同期ポイントとして設定する。そして、画像処理ユニット４００は、未来の特定時刻における予測座標を含む範囲を、転送範囲として決定し、撮像装置３００に対して特定時刻における撮像と、撮像した画像のうち転送範囲内の画像の転送と、を指示する。

さらに撮像装置３００についてはシャッタ速度も考慮したタイミング制御を行う必要がある。図１１は、撮像装置３００のシャッタのタイミング制御を説明する図である。同期ポイントの算出元である同期された時刻情報を用いて、画像処理ユニット４００から得た又は事前の設定情報に従って撮像装置３００が自動的に撮像タイミングを決定する。このとき、未来の特定時刻で撮像するために、画像処理ユニット４００は必要に応じて猶予時間内に先行した撮像指示を行うことができる。また、予約撮像のタイミングを露出時間範囲の中心を合わせることも有用である。

図１２は、本実施形態に係るアライメントシステム２の機能構成例を示したブロック図であり、図１３は、動作制御ユニット２００が実行するアライメント制御処理のフローチャートであり、図１４は、画像処理ユニット４００が実行する探索処理のフローチャートである。図１３，１４のフローチャートに沿って、アライメントシステム２の動作について説明する。

まず、動作制御ユニット２００は、ワーク１０を予め設定された概算目標位置まで移動させる指令を行う（図１３、ステップＳ１０１）。具体的には、動作制御ユニット２００が、駆動制御装置１２１，１２２，１２３に対して、各方向の移動を実現させる制御信号を出力する。そして、制御信号に基づく駆動制御装置１２１，１２２，１２３の制御により、駆動機器１１１，１１２，１１３が駆動し、ワーク１０を載置した載置台１０１が移動する。

移動指令後、動作制御ユニット２００は撮像装置３００における撮像時刻を時刻Ｔ_ｎ（ｎ＝１）に決定し（ステップＳ１２２）、画像処理ユニット４００に対して指定する。また、動作制御ユニット２００の位置情報生成部２１１は、駆動機器１１１，１１２，１１３が有する位置センサの出力に基づいて位置情報を生成し位置情報を出力する（ステップＳ１０３）。その後、動作制御ユニット２００は、画像処理ユニット４００の探索終了まで待機する（ステップＳ１０４）。

動作制御ユニット２００から位置情報を取得した画像処理ユニット４００は、図１４に示す処理を実行する。ここでは撮像が初回であるため（ステップＳ２０１：Ｙｅｓ）、画像処理ユニット４００の画像取得部４１１は、撮像装置３００に対して、時刻Ｔ_ｎ（ｎ＝１）における撮像と、全範囲の撮像画像の転送を指示する（ステップＳ２２１）。その後、画像取得部４１１は、全範囲の撮像画像を取得する（ステップＳ２２２）。

次に、画像処理ユニット４００の探索部４１３が、全範囲の撮影画像に対して、識別対象の粗探索（ラフサーチ）を実行する（ステップＳ２０３）。粗探索は、例えば、予め登録しておいたアライメントマーク１００１のパターンモデルを用いたパターンマッチング処理により行う。探索部４１３は、パターンマッチングの一致率が予め定めた閾値以上であったときのアライメントマーク１００１を識別対象として検出し、アライメントマーク１００１の基準点の位置又は回転角度に基づいて、詳細探索の探索範囲を決定する（ステップＳ２０４）。このときの探索範囲の形状又は大きさは、アライメントマーク１００１の形状又は大きさに基づいて予め決定されたものであり、設定端末５００へのユーザの入力により設定可能としてもよい。

次に、ステップＳ２０４で決定した探索範囲内の画像に対して、詳細探索（ファインサーチ）を実行する（ステップＳ２０５）。詳細探索は、例えば、エッジ検出を行い、正確な直線又は曲線を検出することにより、より正確な識別対象の実座標を取得することができる。ここで、識別対象の実座標は、識別対象の基準点の位置（ＸＹ座標）と回転角度（θ座標）を含む。

ステップＳ２０５の詳細探索で識別対象が検出できなかった場合は（ステップＳ２１２：Ｎｏ）、ステップＳ２０１に戻り、ステップＳ２２１，Ｓ２２２，Ｓ２０３～２０５の処理を繰り返す。一方、ステップＳ２０５の詳細探索で識別対象の検出に成功した場合は（ステップＳ２１２：Ｙｅｓ）、動作制御ユニット２００に対して、ステップＳ２０５で取得した識別対象の実座標を出力する（ステップＳ２１３）。

図１３のフローチャートに戻り、画像処理ユニット４００の探索処理が終了後（ステップＳ１０４：Ｙｅｓ）、動作制御ユニット２００は、画像処理ユニット４００より実座標を取得し（ステップＳ１０５）、目標座標との差を算出する。実座標と目標座標との差が閾値以下である場合は（ステップＳ１０６：Ｙｅｓ）、アライメント制御処理を終了する。ここで、目標座標は、アライメント先の座標であり、中心位置（ＸＹ座標）と回転角度（θ座標）を含む。

実座標と目標座標との差が閾値を超える場合は（ステップＳ１０６：Ｎｏ）、指令部２１３が、アライメント機構１００の位置を補正する指令を実行する（ステップＳ１０７；指令ステップ）。具体的には、実座標を目標座標に一致させるための制御信号を駆動制御装置１２１，１２２，１２３に対して出力する。

動作制御ユニット２００は、アライメント機構１００への補正指令後、ステップＳ１２２に戻り、撮像時刻を時刻Ｔ_ｎ（ｎ＝２）に決定し（ステップＳ１２２）、位置情報を出力し（ステップＳ１０３）、画像処理ユニット４００の探索処理が終了するまで待機する（ステップＳ１０４）。

再度、図１４のフローチャートに戻り、次の撮像が２回目以降であり、前回検出成功しているため（ステップＳ２０１：Ｎｏ）、画像処理ユニット４００は、撮像装置３００に対して、時刻Ｔ_ｎ（ｎ＝２）における撮像を指示する（ステップＳ２２３）。また、画像処理ユニット４００は動作制御ユニット２００から位置情報を取得する（ステップＳ２０６）。画像処理ユニット４００の範囲決定部４１２は、その時点の識別対象の座標の予測を行う（ステップＳ２０７）。

座標の予測方法は、実施形態１と同様であり、初回のアライメント制御時に動作制御ユニット２００から取得した位置情報と、初回の詳細探索で検出した実座標の対応関係を特定する。範囲決定部４１２は、特定した対応関係を用いて、ステップＳ２０６で取得した位置情報から識別対象の基準点のＸＹ座標の予測を行う（ステップＳ２０７）。その後、範囲決定部４１２は、ステップＳ２０７で予測したＸＹ座標を中心とし、予め定めた大きさの転送範囲を決定し、撮像装置３００に対して、転送範囲を指定した撮像画像の転送指示を行う。（ステップＳ２２６）。なお、転送範囲は予測したＸＹ座標を中心とした範囲でなくてもよく、アライメント条件又は識別対象の形態によっては、予測したＸＹ座標を含む範囲を転送範囲としてもよい。

ここで、転送範囲の大きさは、設定端末５００へのユーザの入力により設定してもよい。例えば、ロバスト性と処理速度とがトレードオフの関係にあるため、処理のぶれを許容しつつ平均処理速度を最大化することによりスループットを優先させる場合には転送範囲を小さく設定してもよい。一方、処理速度よりもジッター特性を優先させて処理時間を一定化したい場合には、転送範囲を大きく設定してもよい。

あるいは、転送範囲の大きさは、識別対象の形状又は大きさに対して、駆動機器１１１，１１２，１１３の移動速度に基づいて自動又は手動で設定した余裕分を追加した大きさであってもよい。あるいは、範囲決定部４１２が過去のアライメント制御結果に基づいて統計的に転送範囲の大きさを決定してもよく、例えば、識別対象の大きさに、過去の位置情報に基づいて算出した予測座標と、画像から検出した識別対象の実座標との差の平均値を余裕分として加えた大きさを転送範囲の大きさとしてもよい。

このように、撮像が２回目以降でかつ前回検出を失敗していない場合には、撮像装置３００は全範囲の画像を転送せずに、ステップＳ２２６で求めた、位置センサの位置情報に基づく予測座標を中心とする転送範囲の画像のみを転送する。ここで転送する画像のデータ容量は、ステップＳ２２１で転送する全範囲の画像のデータ量と比較して大幅に少ない。よって、毎回全範囲の画像を転送する場合と比較して、データの転送容量を削減でき転送時間も短縮され、また、全範囲の粗探索を実行しないため高速制御が可能となる。

ステップＳ２２６で転送指示することにより転送されてきた、転送範囲の画像を画像取得部４１１が取得し（ステップＳ２０９；画像取得ステップ）、探索部４１３が、転送範囲内の画像について簡易処理を行う（ステップＳ２１０）。簡易処理は、詳細探索を行う前の任意の処理であり、例えば、ステップＳ２０９で取得した転送範囲内の画像について粗探索を行い、探索範囲を決定してもよい。特に、θ座標の粗検索を簡易処理として行い、探索角度範囲を決定してもよい。なお、簡易処理は省略してもよい。

その後、ステップＳ２０９で取得した転送範囲内の画像について、又は、ステップＳ２１０で決定した探索範囲について詳細探索を実行する（ステップＳ２１１；探索ステップ）。詳細探索の方法は、ステップＳ２０５と同じである。ステップＳ２１１で詳細探索を実行した結果、識別対象が検出できなかった場合は（ステップＳ２１２：Ｎｏ）、ステップＳ２０１に戻り、前回検出失敗であるため（ステップＳ２０１：Ｙｅｓ）ステップＳ２２１，Ｓ２２２，Ｓ２０３～２０５の処理を実行する。ここで、全範囲の画像の粗探索からやり直すのは、詳細探索で検出失敗を繰り返すことにより、制御不能になるのを回避するためである。

ステップＳ２１１の詳細探索で識別対象の検出に成功した場合は（ステップＳ２１２：Ｙｅｓ）、動作制御ユニット２００に対して、ステップＳ２１１で取得した識別対象の実座標を出力する（ステップＳ２１３）。

再度、図１３のフローチャートに戻り、動作制御ユニット２００は、画像処理ユニット４００より実座標を取得し（ステップＳ１０５）、目標座標との差を算出する。実座標と目標座標との差が閾値以下である場合は（ステップＳ１０６：Ｙｅｓ）、アライメント処理を終了する。

実座標と目標座標との差が閾値を超える場合は（ステップＳ１０６：Ｎｏ）、指令部２１３が、アライメント機構１００の位置を補正する指令を実行する（ステップＳ１０７）。具体的には、実座標を目標座標に一致させるための制御信号を駆動制御装置１２１，１２２，１２３に対して出力する。その後、ステップＳ１２２に戻り、処理を継続する。

このようにして、画像処理ユニット４００の範囲決定部４１２が位置情報に基づいて画像の転送範囲を決定し、探索部４１３が撮像装置３００から転送される画像について詳細探索を行うとした。これにより、転送時間及び探索時間を大幅に短縮することができる。

なお、画像処理ユニット４００から撮像装置３００への転送範囲の指定は、撮像指示と共に転送範囲を含む撮像パラメータを指定する方法の他、事前に撮像装置３００に対して転送範囲を指定し、その後撮像トリガを撮像装置３００に出力してもよい。

前者の撮像指示と共に転送範囲指定を行う場合は、前述した伝送路遅延計測の同期方式を用いて、撮像装置３００の撮像と、位置情報の取得のタイミングを合わせることにより、待機時間を削減すると共に適切な転送範囲での探索が可能となる。一方、後者の事前に転送範囲を指定する場合は、撮像トリガのみを専用線で出力することにより、撮像タイミングを高精度に合わせることが可能となる。

また、図１４のステップＳ２２１で指定する全範囲の画像転送、及び、ステップＳ２２６で指定する転送範囲の画像転送は、撮像装置３００により画像を縮小して転送してもよい。縮小方法は、従来の任意の方法でよく、例えば、サブサンプリング又はビニングが用いられる。特にビニングは、処理が比較的軽く、画素信号のＳ／Ｎ比（Signal to Noise Ratio）を改善させる効果があり、縮小による解像度の低下に対して、位置認識精度の低下を抑えることができるため好適である。

ステップＳ２２６での転送指示により転送範囲の限定（トリミング）を行う際に、アライメント制御の早い段階で実座標と目標座標が離れている場合に転送範囲の限定と共に縮小を行い、実座標と目標座標との距離が一定の範囲内となり近づいてきた後に、縮小を行わない制御を行ってもよい。また、全範囲又は転送範囲内の画像の縮小を行う場合に、探索用のパターンモデルとして縮小データに合わせたモデルを予め用意しておき、探索部４１３はこのモデルを用いた粗探索又は詳細探索を行ってもよい。

また、ステップＳ２２６での転送指示により転送範囲の撮像画像を取得した後の詳細探索（ステップＳ２１１）に並行して、全範囲の撮像画像を取得しておいてもよい。ステップＳ２１１の詳細探索で識別対象が検出できなかった場合（ステップＳ２１２：Ｎｏ）の全範囲の撮像画像を取得する時間を削減することができる。この場合、詳細探索で識別対象が検出できた段階で、全範囲の撮像画像の転送停止又は転送画像の削除を行ってもよい。

以上説明したように、本実施形態に係るアライメントシステム２において、画像処理ユニット４００は、駆動機器１１１，１１２，１１３が有する位置情報と撮像画像から検出する識別対象の実座標との対応関係を予め特定し、この対応関係を用いて、次に取得する位置情報から識別対象の予測座標を算出し、この予測座標を含む画像の転送範囲を決定し、撮像装置３００から転送された転送範囲内の画像を詳細探索して識別対象を検出することとした。これにより、転送時間及び転送する画像の容量を削減でき、また、全範囲の画像の粗探索を省略できるため、高速かつ高精度でアライメント制御することが可能となる。

（変形例）
上記実施形態は、種々の変更が可能である。変形例について以下に述べる。

［変形例１］
実施形態１，２において、画像処理ユニット４００の範囲決定部４１２が、駆動機器１１１，１１２，１１３の位置センサ出力に基づく位置情報から算出した予測座標を含む範囲を、探索範囲又は転送範囲として決定するとした。しかし、探索範囲又は転送範囲を他の方法で決定してもよい。本変形例１は、探索範囲又は転送範囲を決定する他の方法について説明する。

本変形例は、駆動機器１１１，１１２，１１３の駆動に係る指令情報を、探索範囲又は転送範囲を決定するための予測座標の算出に用いる。具体的には、画像処理ユニットの範囲決定部４１２が指令情報に基づいて予測座標の算出を行い、予測座標を含む探索範囲又は転送範囲を決定する。

本変形例において、撮像装置３００の撮像と、指令情報に基づく駆動機器１１１，１１２，１１３の駆動と、位置センサ出力の取得と、のタイミング制御を、同期性を担保して行うことで、より高速な制御が可能となる。図１５は本変形例に係るアライメントシステム３の機能構成例を示したブロック図であり、図１６は本変形例に係る動作制御ユニット２００が実行するアライメント制御処理のフローチャートであり、図１７は画像処理ユニット４００が実行する探索処理のフローチャートである。

ここで、図１５－１７は、実施形態２の変形例であって、指令情報に基づいて画像の転送範囲を決定する形態を表しているが、実施形態１の変形例として、指令情報に基づいて画像の探索範囲を決定する形態も、同様に実現できる。以下、図１６，１７のフローチャートに沿って、本変形例に係るアライメントシステム３の動作について説明するが、実施形態２と同じ処理については説明を省略する。

まず、動作制御ユニット２００は、ワーク１０を予め設定された概算目標位置まで移動させる指令を行う（図１６、ステップＳ１０１）。このときの指令情報は、転送範囲の決定に用いるために、画像処理ユニット４００に渡される。その後、指令情報に係る制御信号に基づいて駆動機器１１１，１１２，１１３が駆動開始し、ワーク１０を載置した載置台１０１が移動する。

移動指令後、動作制御ユニット２００は撮像装置３００における撮像時刻を未来の特定時刻Ｔ_ｎ（ｎ＝１）を決定し（ステップＳ１２２）、画像処理ユニット４００に対して指定する。また、動作制御ユニット２００の位置情報生成部２１１は、駆動機器１１１，１１２，１１３が有する位置センサの出力に基づいて、時刻Ｔ_ｎにおける位置情報の記録を指定する（ステップＳ１２３）。その後、動作制御ユニット２００は、画像処理ユニット４００の探索終了まで待機する（ステップＳ１０４）。その後の画像処理ユニット４００の動作は、実施形態２と同様であり、図１７のステップＳ２２１，２２２，２０３－２０５，２１２，２１３の処理を実行する。

図１６のフローチャートに戻り、画像処理ユニット４００の探索処理が終了した時に（ステップＳ１０４：Ｙｅｓ）、動作制御ユニット２００の移動量算出部２１２が、画像処理ユニット４００より実座標を取得し（ステップＳ１０５）、位置情報生成部２１１が時刻Ｔ_ｎの位置センサ出力に基づいて位置情報を生成し記録する（ステップＳ１２４）。移動量算出部２１２は、実座標と目標座標との差を算出し、実座標と目標座標との差が閾値以下である場合は（ステップＳ１０６：Ｙｅｓ）、アライメント制御処理を終了する。

実座標と目標座標との差が閾値を超える場合は（ステップＳ１０６：Ｎｏ）、指令部２１３が、アライメント機構１００の位置を補正する指令を実行するが、このとき、ステップＳ１２４で記録した特定時刻Ｔ_ｎにおける位置情報を参照し、指令が示す位置と位置情報が示す実際の位置とのずれも補償した指令を実行する（ステップＳ１２５）。

指令部２１３によりアライメント機構１００への指令を実行した後、ステップＳ１２２に戻り、撮像時刻を時刻Ｔ_ｎ（ｎ＝２）に決定し（ステップＳ１２２）、特定時刻Ｔ_ｎ（ｎ＝２）の位置情報の記録を指定し（ステップＳ１２３）、画像処理ユニット４００の探索処理が終了するまで待機する（ステップＳ１０４）。

再度、図１７のフローチャートに移り、次の撮像が２回目以降であり、前回検出成功しているため（ステップＳ２０１：Ｎｏ）、画像処理ユニット４００は、撮像装置３００に対して、時刻Ｔ_ｎ（ｎ＝２）における撮像を指示する（ステップＳ２２３）。また、画像処理ユニット４００は動作制御ユニット２００から時刻Ｔ_ｎにおける指令情報を取得する（ステップＳ２２４）。画像処理ユニット４００の範囲決定部４１２は、その時点の識別対象の予測座標を算出する（ステップＳ２２５）。

範囲決定部４１２による予測座標の算出方法は、まず、実施形態２の位置情報に代えて初回のアライメント制御時の指令情報と、初回の詳細探索で検出した実座標と、の対応関係を特定する。範囲決定部４１２は、特定した対応関係を用いて、ステップＳ２２４で取得した特定時刻Ｔ_ｎの予定位置に係る指令情報から識別対象の基準点の予測座標（ＸＹ座標）の算出を行う（ステップＳ２２５）。対応関係を用いた予測方法は実施形態２と同様である。

その後、範囲決定部４１２は、ステップＳ２２５で予測したＸＹ座標を中心とし、予め定めた大きさの転送範囲を決定し、撮像装置３００に対して、決定した転送範囲内の画像の転送を指示する。（ステップＳ２２６）。なお、転送範囲は予測したＸＹ座標を中心とした範囲でなくてもよく、アライメント条件又は識別対象の形態によっては、予測したＸＹ座標を含む範囲を転送範囲としてもよい。

ステップＳ２２６で転送指示することにより転送されてきた、転送範囲の画像を画像取得部４１１が取得し（ステップＳ２０９）、簡易処理を行う（ステップＳ２１０）。その後、探索部４１３は、ステップＳ２０９で取得した転送範囲内の画像について、又は、ステップＳ２１０で簡易処理した画像について詳細探索を実行する（ステップＳ２１１）。ステップＳ２１１で詳細探索を実行した結果、識別対象が検出できなかった場合は（ステップＳ２１２：Ｎｏ）、ステップＳ２０１に戻り、前回検出失敗であるため（ステップＳ２０１：Ｙｅｓ）ステップＳ２２１，Ｓ２２２，Ｓ２０３－２０５の処理を実行する。

ステップＳ２１１の詳細探索で識別対象の検出に成功した場合は（ステップＳ２１２：Ｙｅｓ）、動作制御ユニット２００に対して、ステップＳ２１１で取得した識別対象の実座標を出力する（ステップＳ２１３）。その後の動作制御ユニット２００の処理は実施形態２と同様である。

このようにして、画像処理ユニット４００の範囲決定部４１２が動作制御ユニット２００の指令情報に基づいて画像の転送範囲を決定し、探索部４１３が撮像装置３００から転送される画像について詳細探索を行うとした。これにより、未来の予定位置に係る指令情報に基づいて探索範囲又は転送範囲を決定するため、より高効率なタイミング制御ができ、より高速のアライメント制御が可能となる。

［変形例２］
本変形例２は、探索範囲又は転送範囲を決定するための、さらに他の方法について説明する。実施形態１，２においては、範囲決定部４１２が、位置情報に基づいて算出した予測座標を中心とする探索範囲又は転送範囲を決定するとしたが、本変形例では、前回検出した実座標を中心とする探索範囲又は転送範囲を決定する。

具体的には、範囲決定部４１２は、位置情報又は指令情報を取得することなく、画像処理ユニット４００の探索部４１３による詳細探索で前回検出し、不揮発性メモリ２３０に記憶しておいた識別対象の基準点を中心とする範囲を転送範囲として決定する。あるいは、範囲決定部４１２は、記憶しておいた識別対象の基準点を中心とする範囲、又は、識別対象の回転角度を中心とする角度範囲を、探索範囲として決定する。なお、転送範囲又は探索範囲は前回検出した実座標を中心とした範囲でなくてもよく、アライメント条件又は識別対象の形態によっては、前回検出した実座標を含む範囲を転送範囲又は探索範囲としてもよい。

探索範囲又は転送範囲の大きさは、過去に検出した識別対象の実座標の移動速度に基づいて決定してもよい。あるいは、アライメント制御の設定パラメータに基づいて各駆動機器の移動速度に基づいて決定してもよい。例えば、最大移動速度に撮像装置３００の撮像間隔を乗じて決定した大きさにしてもよい。撮像間隔が短く設定されることにより撮像間隔間の移動距離が短い場合には、前回の検出結果を利用することで十分に探索範囲又は転送範囲を限定することができるため、実施形態１，２及び変形例１と比較して、処理を簡易化することが可能となる。

［変形例３］
本変形例３は、探索範囲又は転送範囲を決定するための、さらに他の方法について説明する。本変形例では、範囲決定部４１２は、探索部４１３による詳細探索で過去に検出した実座標の軌跡に基づいて探索範囲又は転送範囲を決定する。つまり、実施形態１，２のように位置情報又は指令情報を取得することなく、画像処理ユニット４００の探索部４１３による詳細探索で過去に検出し、不揮発性メモリ２３０に記憶しておいた識別対象の実座標の軌跡に基づいて予測座標を算出し、予測座標を中心とする範囲を探索範囲又は転送範囲として決定する。

具体的には、範囲決定部４１２は、識別対象の基準点のＸＹ座標の軌跡に基づいて予測したＸＹ座標を中心とし予め定めた大きさを有する範囲を転送範囲として決定する。あるいは、範囲決定部４１２は、識別対象の基準点のＸＹ座標の軌跡に基づいて予測したＸＹ座標を中心とし予め定めた大きさを有する範囲、又は、θ座標の軌跡に基づいて予測したθ座標を中心とする角度範囲を、探索範囲として決定する。図１８Ａ，Ｂは識別対象の予測を説明する図である。なお、転送範囲又は探索範囲は予測座標を中心とした範囲でなくてもよく、アライメント条件又は識別対象の形態によっては、予測座標を含む範囲を転送範囲又は探索範囲としてもよい。

予測座標（ＸＹθ座標）の算出は、前回以前２回分以上の時刻と、各時刻の実座標を用いて、撮像装置３００の撮像時における予測により行う。例えば、図１８Ａに示すように、前回と前々回の２回分のＸＹ座標のデータに基づいて線形予測して、撮像時におけるＸＹ座標を予測する。あるいは、図１８Ｂに示すように、前回と前々回と前々々回の３回分のＸＹ座標のデータに基づいて２次予測して、撮像時におけるＸＹ座標を予測する。

探索範囲又は転送範囲の大きさは、過去に検出した識別対象の実座標の移動速度に基づいて決定してもよい。あるいは、駆動機器１１１，１１２，１１３の移動速度に基づいて決定してもよい。例えば、最大移動速度に撮像装置３００の撮像間隔を乗じて決定した大きさにしてもよい。線形予測は、２次予測又はさらに高次の予測より、予測精度が悪くなるため、探索範囲又は転送範囲の大きさを大きくする必要がある。

また、探索範囲又は転送範囲の大きさは、過去の検出結果に対する誤差の統計的情報に基づいて決定してもよい。例えば、識別対象の形状及び大きさに対して、過去の互いに対応する時点における、実座標の軌跡に基づく予測座標と、撮像画像から検出した実座標との差の平均値を余裕分として加えた大きさであってもよい。

本変形例によれば、撮像間隔が長く撮像間隔間の移動距離が長い場合には、予測精度が向上し、探索範囲又は転送範囲を狭くすることが可能となる。

［変形例４］
実施形態１，２において、識別対象がワーク１０上に付されたアライメントマーク１００１，１００２である場合について説明したが、識別対象の形態に応じて、処理を一部変更してもよい。図１９Ａは本変形例に係る粗探索を説明する図であり、図１９Ｂは本変形例に係る詳細探索を説明する図である。

例えば、ワーク１２が図１９Ａに示すような多数の端子を有するＩＣ（Integrated Circuit）であって、識別対象がＩＣの端子である場合には、探索部４１３はパターンモデル１３１２を用いて、パターンマッチング処理を行うことにより粗探索を行う（図８、ステップＳ２０３）。

このとき、探索部４１３は、パターンマッチングの一致率が予め定めた閾値以上であったときのパターン１３１３の位置又は回転角度に基づいて、詳細探索の探索範囲１３１４を決定する（図８、ステップＳ２０４）。このパターンマッチングにおいて、図１９Ａに示すように、一致率が予め定めた閾値以上であるパターンが複数検出される場合があるが、その場合は一致率が最高である場合のパターン１３１３を特定して、探索範囲１３１４を決定してもよい。

図１９Ｂに示す例において、探索部４１３は、粗探索により特定したパターン１３１３から予め定めた位置関係を有する探索範囲１３１４を、詳細探索の探索範囲として決定する（図８、ステップＳ２０４）。探索部４１３は、ステップＳ２０４で決定した探索範囲について詳細探索を実行する（図８、ステップＳ２０５）。

ここで、実施形態１，２において、２回目以降の撮像であって、前回の検出に成功していた場合には（図８、ステップＳ２０１：Ｎｏ）、位置情報から算出した予測座標を含む探索範囲を決定して（図８、ステップＳ２０８）、詳細探索を実行する（図８、ステップＳ２１１）。しかし、図１９Ａに示したＩＣのように一定の精度で予測座標の算出が可能な場合は、位置情報に基づく予測座標の算出をすることなく、ステップＳ２０３の粗探索で決定した探索範囲を用いて、詳細探索を繰り返してもよい。そして、詳細探索による検出に失敗した場合のみ、粗探索による探索範囲の決定処理を行ってもよい。

本変形例によれば、識別対象の形態に応じて、処理を簡易化することが可能となる。なお、設定端末５００のアプリケーションにより、識別対象の形態を分類し、当該分類に適した探索処理方法を自動選択してもよい。

［変形例５］
本変形例５は、識別対象がさらに異なる形態である場合について説明する。図２０Ａは本変形例に係る粗探索を説明する図であり、図２０Ｂは本変形例に係る詳細探索を説明する図である。本変形例において、設定端末５００のプロセッサが、専用のアプリケーションプログラムを実行することにより、粗探索のモデル登録と、詳細探索のロジック生成を自動で行う。

例えば、ワーク１３が図２０Ａに示すようなレンズである場合には、設定端末５００のプロセッサは、撮像画像からレンズの外形を抽出しパターンモデル１３２２の登録を行う。さらにプロセッサは、パターンモデル１３２２の形状に基づいて詳細探索の探索ロジックを自動生成する。例えば、設定端末５００のプロセッサが、パターンモデル１３２２の形状が円弧を含むことを検出した場合には図２０Ｂに示すように、詳細探索のロジックとしてエッジを探索し、検出したエッジに対して円近似を行い、円の中心を基準点１３２３として検出するロジックを自動生成する。

画像処理ユニット４００は、設定端末５００のアプリケーションにより生成された粗探索のパターンモデルと詳細探索のロジックを用いて、実施形態１，２で説明した探索処理を実行する。本変形例によれば、識別対象の形態に応じて、最適な粗探索及び詳細探索を実行することができる。また、画像処理ユニット４００の探索処理を実行するための事前の設定を自動化することができ、ユーザの設定端末５００への設定入力の負担を軽減することが可能となる。

［変形例６］
実施形態１，２では、初回の撮像画像に対して粗探索を行い、粗探索の結果に基づいて決定した探索範囲の詳細探索を実行し、詳細探索の結果に基づき、次の詳細探索の探索範囲又は転送範囲を決定するための識別対象の予測座標を算出する。しかし、識別対象の座標の予測精度が十分高い場合には、アライメント制御の事前のキャリブレーションにより、初回の撮像画像に対する粗探索を省略してもよい。特に、ワーク１０を載置する載置台１０１の角端部を用いたアライメント制御の場合には、実行毎の誤差が小さいため、このような事前のキャリブレーションが有効である。

図２１は、初回の撮像画像に対する粗探索を省略した場合の探索処理のフローチャートである。画像取得部４１１が初回の撮像画像を取得した後（ステップＳ３０１）、範囲決定部４１２は、事前のキャリブレーション情報を用いて位置情報に基づいて識別対象の予測座標を算出する（ステップＳ３０２）。範囲決定部４１２が算出した予測座標を含む探索範囲を決定し（ステップＳ３０３）、決定した探索範囲について詳細探索を実行する（ステップＳ３０４）。

ステップＳ３０４の詳細探索で識別対象の実座標の検出に成功した場合は（ステップＳ３０５：Ｙｅｓ）、実座標は動作制御ユニット２００に対して出力され（ステップＳ３０９）、動作制御ユニット２００が、その実座標を用いて駆動機器１１１，１１２，１１３を制御する。ワーク１０の移動後、次の撮像画像について前回と同じ探索範囲について詳細探索を実行する。このように、詳細探索で検出成功した場合には、粗探索を実行せずに詳細探索を繰り返し実行する。

詳細探索を繰り返す中で、識別対象の検出に失敗した場合のみ（ステップＳ３０５：Ｎｏ）、粗探索を実行することにより（ステップＳ３０６）探索範囲を決定し（ステップＳ３０７）、決定した探索範囲において詳細探索を実行し（ステップＳ３０８）、実座標が出力される（ステップＳ３０９）。このように本変形例によれば、事前のキャリブレーション情報に基づいて詳細探索を繰り返し、識別対象が検出できなかったときのみ、粗探索を実行することとした。これにより、処理を簡易化することができ高速なアライメント制御が可能となる。

なお、上記実施形態及び変形例に示したハードウェア構成及びフローチャートは一例であり、任意に変更及び修正が可能である。例えば、上記実施形態及び変形例において、動作制御ユニット２００、撮像装置３００、画像処理ユニット４００及び設定端末５００は、独立した構成としたが、これらの少なくとも２つを一体化した構成でもよい。

また、上記実施形態及び変形例に示した探索処理は、任意に組み合わせて実行してもよい。また、設定端末５００により、上記実施形態及び変形例に係る探索処理のいずれかを選択可能にしてもよい。あるいは、画像処理ユニット４００が、ワークの種類、識別対象の形態等の条件に応じて上記実施形態及び変形例に係る探索処理のいずれかを自動選択してもよい。

また、上記実施形態及び変形例における動作制御ユニット２００と画像処理ユニット４００と、におけるプロセッサが実現する各機能の分担は一例であり、任意に分担を変更してもよい。また、動作制御ユニット２００又は画像処理ユニット４００のプロセッサが実現する各機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。

また、上記実施形態の動作を実行するためのプログラムを、コンピュータが読み取り可能なＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカード等の記録媒体に格納して配布し、プログラムをコンピュータにインストールすることにより、各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、又はＯＳとアプリケーションとの協同により実現する場合には、ＯＳ以外の部分のみを記録媒体に格納してもよい。

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。

１，２，３ アライメントシステム、１０，１２，１３ ワーク、１１ アライメント先、４０ マスタ局、５０，６０，７０ デバイス局、１００ アライメント機構、１０１ 載置台、１１１，１１２，１１３ 駆動機器、１２１，１２２，１２３ 駆動制御装置、２００ 動作制御ユニット、２１０ プロセッサ、２１１ 位置情報生成部、２１２ 移動量算出部、２１３ 指令部、２２０ 揮発性メモリ、２３０ 不揮発性メモリ、２３１ 制御プログラム、２３２ 制御データ、２４０ クロック、２５０ 通信インタフェース、３００ 撮像装置、４００ 画像処理ユニット、４１０ プロセッサ、４１１ 画像取得部、４１２ 範囲決定部、４１３ 探索部、４２０ 揮発性メモリ、４３０ 不揮発性メモリ、４３１ 制御プログラム、４３２ 制御データ、４４０ クロック、４５０ 通信インタフェース、５００ 設定端末、１００１，１００２ アライメントマーク、１１０１，１１０２ アライメント先マーク、１２００ θ軸回転中心、１２０１ 仮想マーク、１３００ 撮像範囲、１３０１，１３１４ 探索範囲、１３１２，１３２２ パターンモデル、１３１３ パターン、１３２３ 基準点。

Claims (8)

1. 識別対象を有するワークを撮像した撮像画像から前記識別対象を検出する画像処理ユニットと、
   前記画像処理ユニットが検出した前記識別対象の前記撮像画像における位置を表す、基準座標系における実座標に基づいて、前記ワークを移動させる駆動機器を制御する動作制御ユニットと、を備え、
   前記画像処理ユニットは、前記駆動機器に備えられた位置センサから取得した位置情報を示す座標と前記識別対象の前記実座標との対応関係を示す定数行列を予め特定し、前記定数行列を用いて前記位置情報から算出する前記実座標の予測値である予測座標を含み、前記撮像画像の一部である予め定めた大きさを有する探索範囲を決定し、前記探索範囲の画像から前記識別対象を検出する、
   アライメントシステム。
2. 前記駆動機器は前記ワークを載置した載置台を移動させるサーボモータであり、
   前記位置情報は、前記サーボモータに付属されたエンコーダの出力から生成した前記載置台の位置に対応する情報である、
   請求項１に記載のアライメントシステム。
3. 前記探索範囲は、前記識別対象の形状又は大きさに対して、前記駆動機器の移動速度に基づいて定めた余裕分を追加した大きさを有する、
   請求項１に記載のアライメントシステム。
4. 前記探索範囲は、前記識別対象の形状又は大きさに対して、過去の互いに対応する時点における、前記位置情報から算出した前記予測座標と、前記撮像画像から検出した前記実座標との差に基づいて定めた余裕分を追加した大きさを有する、
   請求項１に記載のアライメントシステム。
5. 前記実座標は、前記識別対象の回転角度を含み、
   前記画像処理ユニットは、前記位置情報から算出した前記予測座標を含み予め定めた角度幅の探索角度範囲内において探索することにより前記識別対象の回転角度を特定する、
   請求項１に記載のアライメントシステム。
6. 前記画像処理ユニットは、前記位置情報に基づいて決定した前記探索範囲の画像から詳細探索により前記識別対象を検出することができなかった場合に、前記撮像画像の全範囲において粗探索を行う、
   請求項１から５のいずれか１項に記載のアライメントシステム。
7. 識別対象を有するワークを撮像した撮像画像を探索し、前記識別対象を検出する探索ステップと、
   前記探索ステップで検出した前記識別対象の前記撮像画像における位置を表す、基準座標系における実座標に基づいて、前記ワークを移動させる駆動機器に対する指令を行う指令ステップと、を有し、
   前記探索ステップは、前記駆動機器に備えられた位置センサから取得した位置情報を示す座標と前記識別対象の前記実座標との対応関係を示す定数行列を予め特定し、前記定数行列を用いて前記位置情報から算出する前記実座標の予測値である予測座標を含み、前記撮像画像の一部である予め定めた大きさを有する探索範囲の画像から、前記識別対象を検出する、
   アライメント方法。
8. 識別対象を有するワークを撮像した撮像画像から前記識別対象を検出し、検出した前記識別対象の前記撮像画像における位置を表す、基準座標系における実座標に基づいて前記ワークのアライメント制御を行うアライメントシステムにおいて、前記撮像画像の画像処理を行うコンピュータを、
   前記アライメント制御を行う駆動機器に備えられた位置センサから取得した位置情報を示す座標と前記識別対象の前記実座標との対応関係を示す定数行列を予め特定し、前記定数行列を用いて前記位置情報から算出する前記実座標の予測値である予測座標を含み、前記撮像画像の一部である予め定めた大きさを有する探索範囲を決定し、決定した前記探索範囲の画像から、前記識別対象を検出する探索部として機能させるためのプログラム。

Images