JP7078895B2 - 制御システム、制御装置、画像処理装置およびプログラム - Google Patents

制御システム、制御装置、画像処理装置およびプログラム Download PDF

Info

Publication number
JP7078895B2
JP7078895B2 JP2018111387A JP2018111387A JP7078895B2 JP 7078895 B2 JP7078895 B2 JP 7078895B2 JP 2018111387 A JP2018111387 A JP 2018111387A JP 2018111387 A JP2018111387 A JP 2018111387A JP 7078895 B2 JP7078895 B2 JP 7078895B2
Authority
JP
Japan
Prior art keywords
movement
image
image processing
processing device
imaging operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018111387A
Other languages
English (en)
Other versions
JP2019215635A (ja
Inventor
博幸 枦山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018111387A priority Critical patent/JP7078895B2/ja
Priority to CN201910384647.1A priority patent/CN110581945B/zh
Publication of JP2019215635A publication Critical patent/JP2019215635A/ja
Application granted granted Critical
Publication of JP7078895B2 publication Critical patent/JP7078895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Control Of Position Or Direction (AREA)

Description

本技術は、対象物を位置決めするための制御システム、制御装置、画像処理装置およびプログラムに関する。
FA(ファクトリーオートメーション)において、対象物の位置を目標位置に合わせる技術(位置決め技術)が各種実用化されている。この際、目標位置に対する対象物の位置の偏差を計測する方法として、対象物を撮像することにより得られた画像を用いる方法がある。
特開2014-203365号公報(特許文献1)には、対象物の位置を変更する移動機構の移動中に対象物を撮像して画像データを取得し、画像データに含まれる特徴部分の位置に基づいて、対象物を目標位置に位置決めする制御システムが開示されている。
特開2014-203365号公報 特開2006-129236号公報
特許文献1に開示された技術では、移動中の対象物を撮像して得られた画像データを用いて特徴部分の位置が特定されるため、位置決めを高速化できる。しかしながら、移動中の対象物を撮像するため画像ブレが発生する。画像ブレが発生した画像データを用いて特徴部分の位置を特定する場合、特徴部分の位置精度が低下する。その結果、位置決め精度も低下する。
本発明は、上記の問題を鑑みてなされたものであり、その目的は、対象物を高精度に位置決めできる制御システム、制御装置、画像処理装置およびプログラムを提供することである。
本開示の一例によれば、対象物を移動させる移動機構を制御して、対象物の位置決めを行なう制御システムは、画像処理装置と、移動制御部と、推定部とを備える。画像処理装置は、対象物に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、対象物の特徴部分の位置を特定する。移動制御部は、画像処理装置によって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御する。推定部は、第1の撮像動作によって得られた画像に基づいて画像処理装置によって特定された特徴部分の位置と、移動機構からの情報および移動制御部によって生成される情報の少なくとも一方を含む参照情報とに基づいて、第1の撮像動作の次の第2の撮像動作における露光期間中の特徴部分の移動軌跡を推定する。画像処理装置は、移動軌跡に基づいて、第2の撮像動作によって得られた画像のブレ補正を行なう。
この開示によれば、移動機構からの情報および移動制御部によって生成される情報の少なくとも一方を含む参照情報は、移動機構の移動を直接的に示す情報である。そのため、推定部は、第2の撮像動作の露光期間における特徴部分の移動軌跡を精度良く推定できる。これにより、画像処理装置は、画像のブレ補正を精度良く行なうことができ、特徴部分の位置を精度良く特定できる。その結果、対象物を高精度に位置決めすることができる。
本開示の一例によれば、移動機構は、対象物を移動させるために駆動されるモータを含む。参照情報は、第1の撮像動作からのモータの駆動量を示す情報を含む。
この開示によれば、露光期間のモータの駆動量を示す情報は、第1の撮像動作からの移動機構の移動量を直接的に示す。そのため、推定部は、第2の撮像動作の露光期間における特徴部分の移動軌跡をより精度良く推定できる。
本開示の一例によれば、移動制御部は、制御周期ごとに移動機構に対する移動指令を生成する。参照情報は、第1の撮像動作以降に移動制御部によって生成された移動指令を示す情報を含む。
移動指令は、移動機構を移動させるための指令であり、移動機構の移動に直接的に関係する。そのため、この開示によれば、推定部は、第2の撮像動作の露光期間における特徴部分の移動軌跡をより精度良く推定できる。さらに、推定部は、露光期間の終了時刻と重なる制御周期の開始時刻において、当該露光期間における特徴部分の移動軌跡を推定することができる。すなわち、推定部は、露光期間の終了前に、移動軌跡を推定することができる。そのため、画像処理装置は、第2の撮像動作の終了後にブレ補正を即座に開始することができる。
本開示の一例によれば、移動制御部は、目標位置に対する画像処理装置によって特定された位置の偏差に基づいて移動機構の目標軌道を決定し、決定した目標軌道に従って移動するように移動機構を制御する。参照情報は、目標軌道を示す情報を含む。
この開示によっても、推定部は、露光期間の終了前に、移動軌跡を推定することができる。そのため、画像処理装置は、第2の撮像動作の終了後にブレ補正を即座に開始することができる。
本開示の一例によれば、移動制御部は、制御周期ごとに移動機構に対する速度指令を生成し、露光期間と重なる制御周期において、一定の速度指令を生成する。
この開示によれば、露光期間において、特徴部分は等速移動する。そのため、画像処理装置におけるブレ補正の処理に要する時間が短くなる。
本開示の一例によれば、移動機構は、並進移動する第1機構と、回転移動する第2機構とを含む。移動制御部は、露光期間において、第2機構を停止させる。
この開示によれば、画像処理装置は、回転のブレによるぼけを除去するブレ補正を行なう必要がない。そのため、画像処理装置におけるブレ補正の処理に要する時間が短くなる。
本開示の一例によれば、対象物を移動させる移動機構と、対象物に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、対象物の特徴部分の位置を特定するための画像処理装置とを制御して、対象物の位置決めを行なう制御装置は、移動制御部と、推定部と、指示部とを備える。移動制御部は、画像処理装置によって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御する。推定部は、第1の撮像動作によって得られた画像に基づいて画像処理装置によって特定された特徴部分の位置と、移動機構からの情報および移動制御部によって生成される情報の少なくとも一方を含む参照情報とに基づいて、第1の撮像動作の次の第2の撮像動作における露光期間中の特徴部分の移動軌跡を推定する。指示部は、移動軌跡に基づいて第2の撮像動作によって得られた画像のブレ補正を行なう画像処理装置に指示する。
本開示の一例によれば、画像処理装置は、対象物を移動させる移動機構を制御する制御装置からの指示に応じて、対象物に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、対象物の特徴部分の位置を特定する。制御装置は、画像処理装置によって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御する。画像処理装置は、推定部と、補正部とを備える、推定部は、第1の撮像動作によって得られた画像に基づいて画像処理装置によって特定された特徴部分の位置と、移動機構からの情報および制御装置によって生成される情報の少なくとも一方を含む参照情報とに基づいて、第1の撮像動作の次の第2の撮像動作における露光期間中の特徴部分の移動軌跡を推定する。補正部は、移動軌跡に基づいて、第2の撮像動作によって得られた画像のブレ補正を行なう。
本開示の一例によれば、対象物を移動させる移動機構を制御して、対象物の位置決めを行なう制御システムをサポートするためのプログラムは、コンピュータに、第1~第3のステップを実行させる。制御システムは、対象物に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、対象物の特徴部分の位置を特定するための画像処理装置を備える。第1ステップは、画像処理装置によって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御するステップである。第2ステップは、第1の撮像動作によって得られた画像に基づいて画像処理装置によって特定された特徴部分の位置と、移動機構からの情報および制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、第1の撮像動作の次の第2の撮像動作における露光期間中の特徴部分の移動軌跡を推定するステップである。第3ステップは、移動軌跡に基づいて第2の撮像動作によって得られた画像のブレ補正を行なう画像処理装置に指示するステップである。
これらの開示によって、画像処理装置は、画像のブレ補正を精度良く行なうことができ、対象物の位置を精度良く特定できる。その結果、対象物を高精度に位置決めすることができる。
本発明によれば、対象物を高精度に位置決めできる。
本実施の形態に係る制御システムの全体構成を示す模式図である。 本実施の形態に係る制御システムを構成する画像処理装置のハードウェア構成を示す模式図である。 実施の形態に係る制御システムを構成するモーションコントローラのハードウェア構成を示す模式図である。 図1に示される制御システムの機能構成を示すブロック図である。 ワークの移動量を推定する方法を説明する図である。 制御システムの位置決め処理の流れの一例を示すフローチャートである。 移動制御部による移動機構の制御処理の流れの一例を示すフローチャートである。 変形例3に係る制御システムの機能構成を示すブロック図である。 目標軌道の一例を示す図である。 目標軌道決定部における処理の流れを示すフローチャートである。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
§1 適用例
まず、本実施の形態に係る制御システムの一つの適用例について説明する。図1は、本実施の形態に係る制御システム1の全体構成を示す模式図である。図1に示す制御システム1は、画像処理を用いてアライメントを行う。アライメントは、典型的には、工業製品の製造過程などにおいて、対象物(以下、「ワーク」とも称す)を生産ラインの本来の位置に配置する処理などを意味する。このようなアライメントの一例として、制御システム1は、液晶パネルの生産ラインにおいて、ガラス基板であるワーク2に対する回路パターンの焼付処理前に、露光マスク4に対するワーク2の位置決めを制御する。ワーク2には、予め定められた位置に位置決め用の特徴部分であるマーク5a,5bが設けられている。制御システム1では、ワーク2上に設けられたマーク5b,5bを撮像し、撮像により得られた画像に対して画像処理を行うことで、ワーク2の位置決めを実現する。
制御システム1は、移動機構100と、ドライバユニット200と、視覚センサ300と、モーションコントローラ400とを備える。
移動機構100は、ワーク2を移動させる。移動機構100は、ワーク2を目標位置に配置できる機構であればどのような自由度のものであってもよい。移動機構100は、たとえば、水平方向の並進移動と回転移動とをワーク2に与えることができるXYθステージである。
図1に示す例の移動機構100は、Xステージ110Xと、Yステージ110Yと、θステージ110θと、サーボモータ120X,120Y,120θとを含む。図1に示す例では、サーボモータ120X,120Y,120θの各々は回転式モータで構成される。サーボモータ120Xは、Xステージ110XをX軸方向に沿って並進駆動する。サーボモータ120Yは、Yステージ110YをY軸方向に沿って並進駆動する。サーボモータ120θは、Z軸に平行な軸を中心にθステージ110θを回転駆動する。Xステージ110XとYステージ110Yとサーボモータ120X,120Yとは、並進移動する機構を構成する。θステージ110θとサーボモータ120θとは、回転移動する機構を構成する。
ドライバユニット200は、制御周期Tsごとに受ける移動指令に従って、移動機構100に対するフィードバック制御を行なう。図1に示されるように、ドライバユニット200は、サーボドライバ200X,200Y,200θを含む。サーボドライバ200Xは、Xステージ110Xの移動量が移動指令に近付くように、サーボモータ120Xに対してフィードバック制御を行なう。サーボドライバ200Yは、Yステージ110Yの移動量が移動指令に近付くように、サーボモータ120Yに対してフィードバック制御を行なう。サーボドライバ200θは、θステージ110θの移動量が移動指令に近付くように、サーボモータ120θに対してフィードバック制御を行なう。
視覚センサ300は、1つ以上のカメラ(図1の例では、カメラ302a,302b)と、画像処理装置304とを含む。画像処理装置304は、ワーク2に対する撮像周期Tbごとのカメラ302a,302bの撮像動作によって得られた画像を取得し、取得した画像に基づいて、ワーク2上のマーク5a,5bの位置を特定する。
モーションコントローラ400は、たとえばPLC(プログラマブルロジックコントローラ)であり、各種のFA制御を行なう。モーションコントローラ400は、画像処理装置304によって特定されたマーク5a,5bの位置に基づいて、ワーク2の位置が目標位置に近づくように移動機構100を制御する。具体的には、モーションコントローラ400は、制御周期Tsごとに、ワーク2の位置を目標位置に近づけるための移動指令を生成し、生成した移動指令をドライバユニット200に出力する。
モーションコントローラ400は、移動機構100からの情報に基づいて、カメラ302a,302bの露光期間におけるマーク5a,5bの移動軌跡を示す軌跡情報を生成する。移動機構100からの情報は、移動機構100の移動量を示す情報であり、たとえば、サーボモータ120X,120Y,120θの駆動量(ここでは回転量)を示すエンコーダ値である。
画像処理装置304は、モーションコントローラ400によって生成された軌跡情報を用いて、カメラ302a,302bによって撮像された画像のブレ補正を行なう。これにより、画像処理装置304は、ブレ補正が行なわれた画像に含まれるマーク5a,5bの位置を精度良く特定できる。その結果、ワーク2の位置決め精度を向上させることができる。
§2 具体例
次に、本実施の形態に係る制御システム1の具体例について説明する。
<2-1.画像処理装置のハードウェア構成>
図2は、本実施の形態に係る制御システムを構成する画像処理装置のハードウェア構成を示す模式図である。図2を参照して、画像処理装置304は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
より具体的には、画像処理装置304は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ310と、RAM(Random Access Memory)312と、表示コントローラ314と、システムコントローラ316と、I/O(Input Output)コントローラ318と、ハードディスク320と、カメラインターフェイス322と、入力インターフェイス324と、モーションコントローラインターフェイス326と、通信インターフェイス328と、メモリカードインターフェイス330とを含む。これらの各部は、システムコントローラ316を中心として、互いにデータ通信可能に接続される。
プロセッサ310は、システムコントローラ316との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
システムコントローラ316は、プロセッサ310、RAM312、表示コントローラ314、およびI/Oコントローラ318とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、画像処理装置304全体の処理を司る。
RAM312は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク320から読み出されたプログラムや、カメラ302a,302bによって取得された画像(画像データ)、画像に対する処理結果、およびワークデータなどを保持する。
表示コントローラ314は、表示部332と接続されており、システムコントローラ316からの内部コマンドに従って、各種の情報を表示するための信号を表示部332へ出力する。
I/Oコントローラ318は、画像処理装置304に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ318は、ハードディスク320と、カメラインターフェイス322と、入力インターフェイス324と、モーションコントローラインターフェイス326と、通信インターフェイス328と、メモリカードインターフェイス330と接続される。
ハードディスク320は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ310で実行される制御プログラム350に加えて、各種設定値などが格納される。このハードディスク320にインストールされる制御プログラム350は、メモリカード336などに格納された状態で流通する。なお、ハードディスク320に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
カメラインターフェイス322は、ワークを撮影することで生成された画像データを受付ける入力部に相当し、プロセッサ310とカメラ302a,302bとの間のデータ伝送を仲介する。カメラインターフェイス322は、カメラ302a,302bからの画像データをそれぞれ一時的に蓄積するための画像バッファ322a,322bを含む。複数のカメラに対して、カメラの間で共有できる単一の画像バッファを設けてもよいが、処理高速化のため、それぞれのカメラに対応付けて独立に複数配置することが好ましい。
入力インターフェイス324は、プロセッサ310とキーボード334、マウス、タッチパネル、専用コンソールなどの入力装置との間のデータ伝送を仲介する。
モーションコントローラインターフェイス326は、プロセッサ310とモーションコントローラ400との間のデータ伝送を仲介する。
通信インターフェイス328は、プロセッサ310と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス328は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
メモリカードインターフェイス330は、プロセッサ310と記録媒体であるメモリカード336との間のデータ伝送を仲介する。メモリカード336には、画像処理装置304で実行される制御プログラム350などが格納された状態で流通し、メモリカードインターフェイス330は、このメモリカード336から制御プログラムを読み出す。メモリカード336は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。あるいは、通信インターフェイス328を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置304にインストールしてもよい。
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係る制御プログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼び出して処理を実行するものであってもよい。
さらに、本実施の形態に係る制御プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る制御プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。
なお、代替的に、制御プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
<2-2.モーションコントローラのハードウェア構成>
図3は、実施の形態に係る制御システムを構成するモーションコントローラ400のハードウェア構成を示す模式図である。モーションコントローラ400は、チップセット412と、プロセッサ414と、不揮発性メモリ416と、主メモリ418と、システムクロック420と、メモリカードインターフェイス422と、通信インターフェイス428と、内部バスコントローラ430と、フィールドバスコントローラ438とを含む。チップセット412と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
プロセッサ414およびチップセット412は、典型的には、汎用的なコンピュータアーキテクチャに従う構成を有している。すなわち、プロセッサ414は、チップセット412から内部クロックに従って順次供給される命令コードを解釈して実行する。チップセット412は、接続されている各種コンポーネントとの間で内部的なデータを遣り取りするとともに、プロセッサ414に必要な命令コードを生成する。システムクロック420は、予め定められた周期のシステムクロックを発生してプロセッサ414に提供する。チップセット412は、プロセッサ414での演算処理の実行の結果得られたデータなどをキャッシュする機能を有する。
モーションコントローラ400は、記憶手段として、不揮発性メモリ416および主メモリ418を有する。不揮発性メモリ416は、プロセッサ414で実行される制御プログラム440に加えて、データ定義情報、ログ情報などを不揮発的に保持する。制御プログラム440は、記録媒体424などに格納された状態で流通する。主メモリ418は、揮発性の記憶領域であり、プロセッサ414で実行されるべき各種プログラムを保持するとともに、各種プログラムの実行時の作業用メモリとしても使用される。
モーションコントローラ400は、通信手段として、通信インターフェイス428および内部バスコントローラ430を有する。これらの通信回路は、データの送信および受信を行う。
通信インターフェイス428は、画像処理装置304との間でデータを遣り取りする。内部バスコントローラ430は、内部バスを介したデータの遣り取りを制御する。より具体的には、内部バスコントローラ430は、バッファメモリ436と、DMA(Dynamic Memory Access)制御回路432と、内部バス制御回路434とを含む。
メモリカードインターフェイス422は、モーションコントローラ400に対して着脱可能な記録媒体424とプロセッサ414とを接続する。
フィールドバスコントローラ438は、フィールドネットワークに接続するための通信インターフェイスである。モーションコントローラ400は、フィールドバスコントローラ438を介してサーボドライバ200X,200Y,200θと接続される。当該フィールドネットワークには、たとえば、EtherCAT(登録商標)、EtherNet/IP(登録商標)、CompoNet(登録商標)などが採用される。
<2-3.画像処理装置の機能構成>
図4は、図1に示される制御システム1の機能構成を示すブロック図である。画像処理装置304は、モーションコントローラ400から撮像トリガTRを受けると、撮像動作を行なうようにカメラ302a,302bを制御し、撮像動作によって得られた画像を取得する。図4に示されるように、画像処理装置304は、補正部32と位置特定部34とを含む。
<2-3-1.補正部>
補正部32は、モーションコントローラ400から受けた軌跡情報を用いて、カメラ302a,302bによって撮像された画像から画像ブレによるぼけを除去するブレ補正を行なう。軌跡情報は、露光期間中のマーク5a,5bの画像上の移動軌跡を示す情報である。
補正部32は、軌跡情報で示されるマーク5a,5bの移動軌跡に基づいて、たとえば特開2006-129236号公報(特許文献2)等に記載されている公知の技術を用いてブレ補正を行なう。
具体的には、補正部32は、マーク5aの移動軌跡に基づいて、点拡がり関数(Point Spread Function)を作成する。点拡がり関数は、画像ブレによるぼけのない画像から画像ブレによるぼけのある画像を生成するための空間フィルタである。補正部32は、点拡がり関数の逆特性を有する補正関数を求め、当該補正関数を用いて、カメラ302aの撮像動作によって得られた画像から画像ブレによるぼけを除去することができる。たとえば、補正部32は、露光開始時刻からの画像ブレによるぼけを画像から除去することにより、露光開始時刻のマーク5aの状態に近い画像を生成できる。同様にして、補正部32は、マーク5bの移動軌跡に基づいて、カメラ302bの撮像動作によって得られた画像に対してブレ補正を行なう。
<2-3-2.位置特定部>
位置特定部34は、カメラ302aによって撮像された画像に含まれるマーク5aの位置(以下、「計測位置PSa」という)を特定する。位置特定部34は、カメラ302bによって撮像された画像に含まれるマーク5bの位置(以下、「計測位置PSb」という)を特定する。位置特定部34は、公知のパターン認識技術を用いて、画像の中からマーク5a,5bを認識し、認識したマーク5a,5bの座標を計測する。マーク5a,5bの座標は、カメラ302a,302bのローカル座標系でそれぞれ示される。位置特定部34は、特定したマーク5aの計測位置PSa,PSbの座標をモーションコントローラ400に出力する。
位置特定部34は、補正部32がモーションコントローラ400から軌跡情報を受けている場合、補正部32によってブレ補正が行なわれた画像の中からマーク5a,5bをそれぞれ探索する。位置特定部34は、補正部32がモーションコントローラ400から軌跡情報を受けていない場合、カメラ302a,302bによって撮像された画像の中からマーク5a,5bを探索する。
<2-4.モーションコントローラの機能構成>
図4を参照して、モーションコントローラ400は、移動制御部41と、指示部45と、推定部46とを備える。移動制御部41と指示部45と推定部46とは、図3に示すプロセッサ414が制御プログラム440を実行することにより実現される。
また、図4に示されるように、移動機構100はエンコーダ130を含む。エンコーダ130は、サーボモータ120X,120Y,120θの移動量に応じたパルス信号をそれぞれ発生する。エンコーダ130は、サーボモータ120Xに対応するパルス信号に含まれるパルス数をカウントすることにより、初期位置からのXステージ110XのX方向の並進移動量をエンコーダ値PVmXとして計測する。パルス数のカウント値と移動量とは、所定の係数によって関係付けられる。そのため、エンコーダ130は、パルス数のカウント値に当該係数を乗ずることにより、移動量を計測できる。同様に、エンコーダ130は、初期位置からのYステージ110YのY方向の並進移動量をエンコーダ値PVmYとして計測するとともに、初期位置からのθステージ110θの回転移動量をエンコーダ値PVmθとして計測する。エンコーダ130は、制御周期Tsと同じ周期で、エンコーダ値PVmX,PVmY,PVmθを計測して出力する。
<2-3-1.移動制御部>
移動制御部41は、画像処理装置304によって特定された、マーク5aの計測位置PSaおよびマーク5bの計測位置PSbに基づいて、ワーク2の位置が目標位置SPに近づくように移動機構100を制御する。
ワーク2の目標位置SPは、生産工程ごとに予め決められている。たとえば、マーク5aとマーク5bとの中点が予め定められた座標に位置し、かつ、マーク5aとマーク5bとを結ぶ直線とX軸またはY軸とのなす角度が予め定められた角度となるようなワーク2の位置が目標位置SPとして設定される。
もしくは、カメラ302a,302bは、ワーク2のマーク5a,5bと合わせて、露光マスク4(図1参照)に設けられた2つの目標マークも撮像してもよい。この場合、撮像された画像に含まれる当該2つの目標マークの位置に応じて目標位置SPが設定される。たとえば、マーク5aが2つの目標マークの一方と一致し、かつ、マーク5bが2つの目標マークの他方と一致するようなワーク2の位置が目標位置SPとして設定される。
移動制御部41は、画像処理装置304によって特定されたマーク5aの計測位置PSaおよびマーク5bの計測位置PSbに基づいて、ワーク2の位置を目標位置SPに近づけるための移動指令を生成する。
計測位置PSa,PSbは、撮像周期Tbごとに特定される。一方、移動指令は、制御周期Tsごとに生成される。一例として、撮像周期Tbは、撮像状況などに応じて変動し、たとえば約60msである。制御周期Tsは、固定であり、たとえば1msである。このように、撮像周期Tbは、制御周期Tsよりも長い。そのため、画像処理装置304によって特定された計測位置PSa,PSbのみを用いて移動機構100が制御されると、オーバシュートおよび振動が生じやすくなる。このようなオーバシュートおよび振動を避けるため、移動制御部41は、計測位置PSa,PSbと、エンコーダ値PVmX,PVmY,PVmθとを用いて、ワーク2の推定位置PVを決定し、推定位置PVに基づいて制御指令を生成する。
図4に示されるように、移動制御部41は、位置決定部42と、減算部43と、演算部44とを含む。
位置決定部42は、画像処理装置304によって特定されたマーク5aの計測位置PSaおよびマーク5bの計測位置PSbとエンコーダ値PVmX,PVmY,PVmθとに基づいて、ワーク2の推定位置PVを制御周期Tsごとに決定する。推定位置PVの決定方法の詳細については、後述する動作例において説明する。
減算部43は、目標位置SPに対する推定位置PVの偏差を出力する。演算部44は、目標位置SPに対する推定位置PVの偏差が0に収束するように演算(たとえばP演算、PID演算など)を行ない、制御周期Tsごとに移動指令MVX、MVY,MVθを算出する。移動指令MVXは、Xステージ110Xに対する移動指令である。移動指令MVYは、Yステージ110Yに対する移動指令である。移動指令MVθは、θステージ110θに対する移動指令である。演算部44は、算出した移動指令MVX、MVY,MVθをサーボドライバ200X,200Y,200θにぞれぞれ出力する。移動指令MVX、MVY,MVθは、たとえば位置指令または速度指令である。
<2-3-2.指示部>
指示部45は、視覚センサ300に対して動作指示を出力する。指示部45は、撮像周期Tbに従って、撮像トリガTRを画像処理装置304に出力する。これにより、撮像トリガを受けた画像処理装置304は、カメラ302a,302bを制御して、予め設定された露光時間Taだけ露光させる。ただし、指示部45が撮像トリガTRを出力してからカメラ302a,302bが露光を開始するまで、一定の遅延時間が発生する。当該遅延時間は、予め実験等により確認されている。
さらに、指示部45は、推定部46によって後述する軌跡情報が生成されると、当該軌跡情報を用いて画像のブレ補正を行なうように画像処理装置304に指示する。
<2-3-3.推定部>
推定部46は、エンコーダ値PVmX,PVmY,PVmθに基づいて、カメラ302a,302bの露光期間における、ワーク2のマーク5a,5bの画像上の移動軌跡を推定する。以下、推定部46によるマーク5a,5bの画像上の移動軌跡の推定手順について説明する。
推定部46は、指示部45から撮像トリガTRが出力された時刻(以下、「トリガ出力時刻」という)に基づいて、カメラ302a,302bの各撮像タイミングにおける露光開始時刻と露光終了時刻とを算出する。具体的には、推定部46は、トリガ出力時刻に予め確認されている上記の遅延時間だけ経過した時刻を露光開始時刻として算出する。さらに、推定部46は、露光開始時刻から露光時間Taだけ経過した時刻を露光終了時刻として算出する。本実施の形態では、露光時間Taは、制御周期Tsの整数倍の時間である。
推定部46は、k回目(kは2以上の整数)の撮像動作の露光期間中における制御周期Ts間隔の複数の時刻を特定する。具体的には、露光時間Taが制御周期Tsのn倍である場合、推定部46は、k回目(kは2以上の整数)の撮像動作の露光開始時刻(以下、「時刻tk0」という)から露光終了時刻(以下、「時刻tkn」という)までのn+1個の時刻tki(iは、0~nの整数))を特定する。時刻tk(i+1)は、時刻tkiから制御周期Tsだけ経過した時刻である。
推定部46は、(k-1)回目の撮像動作の露光開始時刻(以下、「時刻t(k-1)」という)から時刻tki(iは、0~nの整数))までの間のワーク2の移動量Δpi=(ΔXi,ΔYi,Δθi)を推定する。ΔXiは、Xステージ110XのX方向の並進移動量を示す。ΔYiは、Yステージ110YのY方向の並進移動量を示す。Δθiは、θステージ110θの回転移動量を示す。
図5は、時刻t(k-1)から時刻tkiまでの間のワーク2の移動量を推定する方法を説明する図である。図5に示されるように、推定部46は、時刻t(k-1)におけるエンコーダ値PVm(k-1)と時刻tkiにおけるエンコーダ値PVm(ki)とに基づいて、移動量Δpiを推定する。なお、時刻tjにおけるPVm(j)は、(PVmX(j),PVmY(j),PVmθ(j))で表される。PVmX(j),PVmY(j),PVmθ(j)は、それぞれ時刻tjにおいてエンコーダ130から出力されるエンコーダ値PVmX,PVmY,PVmθである。もしくは、時刻tjとエンコーダ130の検出時刻とがずれている場合、PVmX(j)は、時刻tjに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmXの内挿補間値である。同様に、PVmY(j)は、時刻tjに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmYの内挿補間値である。PVmθ(j)は、時刻tjに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmθの内挿補間値である。内挿補間値の算出方法については後述する。
推定部46は、時刻t(k-1)におけるエンコーダ値PVm(k-1)と時刻tkiにおけるエンコーダ値PVm(ki)との差を、時刻t(k-1)0から時刻tkiまで間のワーク2の移動量Δpiとして推定する。つまり、推定部46は、以下の式(1)に従って、移動量Δpiを推定する。
Δpi=(ΔXi,ΔYi,Δθi)
=(PVmX(ki)-PVmX(k-1),PVmY(ki)-PVmY(k-1),PVmθ(ki)-PVmθ(k-1) ・・・式(1)
推定部46は、時刻tk0,・・・,tknについて、移動量Δp0,・・・,Δpnをそれぞれ推定する。
推定部46は、(k-1)回目の撮像動作で得られた画像から特定されたマーク5aの計測位置PSaと、移動量Δpiとに基づいて、時刻tkiにおけるマーク5aの予測位置PEaiを予測する。
推定部46は、画像処理装置304から受けた計測位置PSaの座標(カメラ302aのローカル座標系)をワールド座標系(移動機構100の機械座標系)の座標に変換する。推定部46は、カメラ302aのローカル座標系とワールド座標系とを対応付ける第1キャリブレーションデータを用いて、ワールド座標系における計測位置PSaのXY座標(xsa,ysa)を求める。
推定部46は、移動量Δpi=(ΔXi,ΔYi,Δθi)だけワーク2が移動したときの計測位置PSaから予測位置PEaiへの変換式を用いて、ワールド座標系における予測位置PEaiの座標を求める。変換式は、以下の式(2)に示される。
Eai=Ti(Rai(Sa)) ・・・式(2)
式(2)において、Saは、ワールド座標系における計測位置PSaのX座標xsaおよびY座標ysaの転置行列である(xsa,ysa)を示す。Ra( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSaとの距離と、θステージ110θの回転移動量Δθiとに基づいて定められる。Ti( )は、並進移動に対応する変換式を示し、Xステージ110Xの移動量ΔXiとYステージ110Yの移動量ΔYiと応じて定められる。Eaiは、ワールド座標系における予測位置PEaiのX座標xeaiおよびY座標yeaiの転置行列である(xeai,yeai)を示す。
推定部46は、第1キャリブレーションデータを用いて、ワールド座標系における予測位置PEaiの座標をカメラ302aに対応するローカル座標系の座標に逆変換する。これにより、推定部46は、ローカル座標系における予測位置PEaiの座標を得ることができる。このようにして、推定部46は、時刻tk0,・・・,tknについて、予測位置PEa0,・・・,PEanの座標をそれぞれ算出する。
同様の方法により、推定部46は、時刻tkiにおけるマーク5bの予測位置PEbiを予測する。つまり、推定部46は、画像処理装置304から受けた計測位置PSbの座標(カメラ302bのローカル座標系)をワールド座標系の座標に変換する。推定部46は、カメラ302bのローカル座標系とワールド座標系とを対応付ける第2キャリブレーションデータを用いて、ワールド座標系における計測位置PSbのXY座標(xsb,ysb)を求める。
推定部46は、移動量Δpi=(ΔXi,ΔYi,Δθi)だけワーク2が移動したときの計測位置PSbから予測位置PEbiへの変換式を用いて、ワールド座標系における予測位置PEbiの座標を求める。変換式は、以下の式(3)に示される。
Ebi=Ti(Rbi(Sb)) ・・・式(3)
式(3)において、Sbは、ワールド座標系における計測位置PSbのX座標xsbおよびY座標ysbの転置行列である(xsb,ysb)を示す。Rbi( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSbとの距離と、θステージ110θの回転移動量Δθiとに基づいて定められる。Ti( )は、並進移動に対応する変換式を示し、Xステージ110Xの移動量ΔXiとYステージ110Yの移動量ΔYiと応じて定められる。Ebiは、ワールド座標系における予測位置PEaiのX座標xebiおよびY座標yebiの転置行列である(xebi,yebi)を示す。
推定部46は、第2キャリブレーションデータを用いて、ワールド座標系における予測位置PEbiの座標をカメラ302bに対応するローカル座標系の座標に変換する。これにより、推定部46は、ローカル座標系における予測位置PEbiの座標を得ることができる。このようにして、推定部46は、時刻tk0,・・・,tknについて、予測位置PEb0,・・・,PEbnの座標をそれぞれ算出する。
予測位置PEa0,・・・,PEanの座標(ローカル座標系)は、時刻tk0,・・・,tknにおける画像上のマーク5aの予測位置の座標を示す。そのため、推定部46は、予測位置PEa0,・・・,PEanをこの順に繋ぐ軌跡を、k回目のカメラ302aの撮像動作の露光期間におけるマーク5aの画像上の移動軌跡として推定する。推定部46は、予測位置PEa0,・・・,PEanをこの順に繋ぐ軌跡を示す関数をマーク5aの軌跡情報として生成する。関数は、連続する2つの予測位置同士を結ぶ直線を示してもよいし、予測位置PEa0,・・・,PEanの近似曲線を示してもよい。
予測位置PEb0,・・・,PEbnの座標(ローカル座標系)は、時刻tk0,・・・,tknにおける画像上のマーク5bの予測位置の座標を示す。そのため、推定部46は、予測位置PEb0,・・・,PEbnをこの順に繋ぐ軌跡を、k回目のカメラ302bの撮像動作の露光期間におけるマーク5bの画像上の移動軌跡として推定する。推定部46は、予測位置PEb0,・・・,PEbnをこの順に繋ぐ軌跡を示す関数をマーク5bの軌跡情報として生成する。関数は、連続する2つの予測位置同士を結ぶ直線を示してもよいし、予測位置PEb0,・・・,PEbnの近似曲線を示してもよい。
なお、露光時間Taが制御周期Tsの1(=n)倍である場合、推定部46は、k回目の撮像動作の露光開始時刻(時刻tk0)および露光終了時刻(時刻tk1)におけるマーク5aの予測位置PEa0および予測位置PEa1をそれぞれ予測する。この場合、k回目のカメラ302aの撮像動作の露光期間におけるマーク5aの画像上の移動軌跡は、予測位置PEa0を始点とし、予測位置PEa1を終点とするベクトルによって示される。同様に、推定部46は、露光開始時刻(時刻tk0)および露光終了時刻(時刻tk1)におけるマーク5bの予測位置PEb0および予測位置PEb1をそれぞれ予測する。そして、k回目のカメラ302bの撮像動作の露光期間におけるマーク5bの画像上の移動軌跡は、予測位置PEb0を始点とし、予測位置PEb1を終点とするベクトルによって示される。
§3 動作例
<3-1.制御システムの位置決め処理の流れ>
図6を参照して、制御システム1の位置決め処理の流れの一例について説明する。図6は、制御システムの位置決め処理の流れの一例を示すフローチャートである。
まずステップS1において、モーションコントローラ400は、推定位置PVおよびエンコーダ値PVmX,PVmY,PVmθを初期化する。次にステップS2において、ワーク2が移動機構100上に載置されると、指示部45は、視覚センサ300に対して撮像トリガTRを出力する。これにより、移動機構100が停止した状態で、カメラ302a,302bは、ワーク2に対する1回目の撮像動作を行なう。
次にステップS3において、画像処理装置304は、カメラ302aの撮像動作によって得られた画像に含まれるマーク5aの計測位置PSaと、カメラ302bの撮像動作によって得られた画像に含まれるマーク5bの計測位置PSbとを特定する。次にステップS4において、移動制御部41は、移動機構100の移動制御を開始する。
次にステップS5において、移動制御部41は、目標位置SPに対する推定位置PVの偏差が閾値未満か否かを判断する。閾値は、要求される位置決め精度に応じて予め定められる。目標位置SPに対する推定位置PVの偏差が閾値未満である場合(ステップS5でYES)、移動制御部41は、移動機構100の移動制御を終了する。これにより、位置決め処理が終了する。
目標位置SPに対する推定位置PVの偏差が閾値未満でない場合(ステップS5でNO)、ステップS6~ステップS10の処理が撮像周期Tbごとに繰り返される。なお、ステップS6~S10の間にも、移動制御部41による移動制御が並行して実行される。
ステップS6において、指示部45は、現時刻が撮像トリガTRの出力時刻であるか否かを判断する。撮像トリガTRの出力時刻は、撮像周期Tbに従って定められている。現時刻が撮像トリガTRの出力時刻でない場合(ステップS6でNO)、処理はステップS5に戻る。
現時刻が撮像トリガTRの出力時刻である場合(ステップS6でYES)、指示部45は、撮像トリガTRを画像処理装置304に出力する。これにより、ステップS7において、撮像トリガTRを受けた画像処理装置304は、撮像するようにカメラ302a,302bを制御し、カメラ302a,302bによって撮像された画像を取得する。
次にステップS8において、推定部46は、カメラ302a,302bの露光期間中におけるマーク5a,5bの画像上の移動軌跡をそれぞれ推定し、推定した移動軌跡を示す軌跡情報を生成する。そして、指示部45は、生成された軌跡情報を用いて画像のブレ補正を行なうように、画像処理装置304に指示する。
次にステップS9において、画像処理装置304の補正部32は、軌跡情報を用いて、カメラ302a,302bによって撮像された画像のブレ補正を行なう。ステップS10において、位置特定部34は、ブレ補正が行なわれた画像に含まれるマーク5a,5bの計測位置PSa,PSbをそれぞれ特定する。ステップS10の後、処理はステップS5に戻る。
<3-2.移動制御部の処理>
図7は、移動制御部による移動機構の制御処理の流れの一例を示すフローチャートである。まずステップS11において、位置決定部42は、画像処理装置304によって特定された最新の計測位置PSa,PSbを取得する。ステップS12において、位置決定部42は、計測位置PSa,Psbの算出の元となる撮像時刻を取得する。たとえば、位置決定部42は、推定部46によって算出された露光開始時刻を撮像時刻として取得すればよい。
次にステップS13において、位置決定部42は、撮像時刻に近い複数の時刻のエンコーダ値PVmX,PVmY,PVmθを取得する。
次にステップS14において、位置決定部42は、複数の時刻のエンコーダ値PVmXの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsXとする。同様に、位置決定部42は、複数の時刻のエンコーダ値PVmYの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsYとする。位置決定部42は、複数の時刻のエンコーダ値PVmθの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsθとする。
具体的には、位置決定部42は、以下のようにして内挿補間値を算出する。検出時刻t(j)においてエンコーダ130によって検出されたエンコーダ値PVmXをエンコーダ値PVmX(j)とする。位置決定部42は、撮像時刻tviに近接する2つの時刻、例えば、時間軸上で、撮像時刻tviを挟む検出時刻t(q)と検出時刻t(q+1)とを特定する。
位置決定部42は、検出時刻t(q)のエンコーダ値PVmX(q)と、検出時刻t(q+1)のエンコーダ値PVmX(q+1)とを取得する。過去に検出されたエンコーダ値は、モーションコントローラ400の記憶部(たとえば不揮発性メモリ416または主メモリ418(図3参照))に記憶される。
位置決定部42は、エンコーダ値PVmX(q)とエンコーダ値PVmX(q+1)との内挿補間値を用いて、撮像時刻tviのエンコーダ値PVmsX(vi)を算出する。具体的には、位置決定部42は、次の式(4)を用いて、撮像時刻tviのエンコーダ値PVmsX(vi)を算出する。
PVmsX(vi)=PVmX(q)+Kk*(PVmX(q+1)-PVmX(q)) ・・・(4)
ここで、Kkは、内挿補間係数である。制御周期をTsとし、エンコーダ値PVmXの伝送遅延時間をTedとし、撮像トリガTRの伝送遅延時間をTsdとして、Ts-Ted≦Tsd<2Ts-Tedの場合、内挿補間係数Kkは、次の式(5)を用いて算出される。
Kk={Tsd-(Ts-Ted)}/Ts ・・・(5)
このような内挿補間値の算出方法を用いることによって、撮像時刻tviのエンコーダ値PVmsX(vi)を高精度に算出できる。同様にして、撮像時刻tviのエンコーダ値PVmsY(vi),PVmsθ(vi)が算出される。なお、撮像時刻がエンコーダ値の算出時刻と一致する場合には、このエンコーダ値をそのまま用いればよい。
次にステップS15において、位置決定部42は、最新の計測位置PSa,PSbと、撮像時刻以後のエンコーダ値PVmX,PVmY,PVmθと、撮像時刻のエンコーダ値PVmsX,PVmsY,PVmsθとを用いて、推定位置PVを算出する。
具体的には、X方向に(PVmX-PVmsX)だけ並進移動し、Y方向に(PVmY-PVmsY)だけ並進移動し、(PVmθ-PVmsθ)だけ回転移動するときのアフィン変換式に計測位置PSaを入力し、アフィン変換後の位置PSwaが算出される。同様に、当該アフィン変換式に計測位置PSbを入力し、アフィン変換後の位置PSwbが算出される。位置決定部42は、マーク5aが位置PSwaに位置し、マーク5bが位置PSwbに位置するときのワーク2の位置を推定位置PVとして決定する。つまり、位置決定部42は、位置PSwaと位置PSwbとの中点の座標と、位置PSwaと位置PSwbとを結ぶ直線とX軸またはY軸とのなす角度とを、推定位置PVを特定する情報として算出する。
次にステップS16において、演算部44は、目標位置SPに対する推定位置PVの偏差に基づいて、たとえばP演算により、移動指令MVX,MVY,MVθを生成して、サーボドライバ200X,200Y,200θにそれぞれ出力する。
このような処理を実行することによって、モーションコントローラ400は、画像処理による高精度な計測位置PSa,PSbが入力される時刻には、この高精度な計測位置PSa,PSbを用いて推定位置PVを算出し、高精度な位置決め制御を実現できる。ここで、計測位置PSa,PSbが入力される時間間隔は、撮像周期Tbであり、エンコーダ値PVmX,PVmY,PVmθが入力される制御周期Tsに比べて長い。しかしながら、時間軸上で隣り合う計測位置PSa,PSbの入力時刻間において、位置決定部42は、入力周期が短いエンコーダ値PVmX,PVmY,PVmθの入力時刻毎に、推定位置PVを決定して、移動機構100の移動制御を行う。これにより、高精度且つ短周期の位置決め制御が可能になる。さらに、位置決定部42は、上述の簡単な四則演算を用いる処理を行なう。そのため、簡素な構成および処理による高速且つ高精度な位置決めを実現できる。
<3-3.作用・効果>
以上のように、制御システム1は、画像処理装置304と移動制御部41とを備える。画像処理装置304は、ワーク2に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、ワーク2のマーク5a,5bの計測位置PSa,PSbをそれぞれ特定する。移動制御部41は、画像処理装置304によって特定された計測位置PSa,PSbに基づいて、ワーク2の位置が目標位置SPに近づくように移動機構100を制御する。さらに、制御システム1は、推定部46を備える。推定部46は、(k-1)回目の撮像動作によって得られた画像に基づいて特定された計測位置PSa,PSbと、移動機構100からの情報を含む参照情報とに基づいて、k回目の撮像動作における露光期間中のマーク5a,5bの移動軌跡を推定する。画像処理装置304は、マーク5a,5bの移動軌跡に基づいて、k回目の撮像動作によって得られた画像のブレ補正を行なう。
移動機構100からの情報は、移動機構100の移動を直接的に示す情報である。そのため、軌跡情報は、カメラ302a,302bの露光期間におけるマーク5a,5bの移動軌跡を精度良く示す。これにより、画像処理装置304は、画像のブレ補正を精度良く行なうことができ、マーク5a,5bの位置を精度良く特定できる。その結果、ワーク2を高精度に位置決めすることができる。
移動機構100からの情報は、ワーク2を移動させるために駆動されるサーボモータ120X,120Y,120θの回転量をそれぞれ示すエンコーダ値PVmX,PVmY,PVmθである。カメラ302a,302bの露光期間におけるエンコーダ値PVmX,PVmY,PVmθは、移動機構100の移動量を直接的に示す。そのため、推定部46によって生成される軌跡情報は、露光期間におけるマーク5a,5bの移動軌跡を精度良く示す。
§4 変形例
<4-1.変形例1>
推定部46は、(k-1)回目の撮像動作以降に移動制御部41によって生成された移動指令MVX,MVY,MVθを参照情報として取得し、移動指令MVX,MVY,MVθに基づいて、軌跡情報を生成してもよい。
ワーク2が載置された移動機構100は、移動指令MVX,MVY,MVθに従って移動する。そのため、(k-1)回目の撮像動作の露光開始時刻(時刻t(k-1))からk回目の撮像動作の露光期間中の時刻tki(iは、0~nの整数))までの期間におけるワーク2のX方向の並進移動量ΔXiは、当該期間に生成された移動指令MVXから推定される。同様に、時刻t(k-1)から時刻tkiまでの期間におけるワーク2のY方向の移動量ΔYiは、当該期間に生成された移動指令MVYから推定される。時刻t(k-1)から時刻tkiまでの期間におけるワーク2の回転移動量Δθiは、当該期間に生成された移動指令MVθから推定される。
推定部46は、たとえば移動指令MVXが速度指令であり、時刻tにおける移動指令MVXの値をMVX(t)とすると、以下の式(6)に従って、時刻t(k-1)から時刻tkiまでの期間におけるX方向の並進移動量ΔXiを算出する。制御周期Tsの間、MVX(t)は一定である。
Figure 0007078895000001
同様に、推定部46は、以下の式(7),(8)に従って、時刻t(k-1)から時刻tkiまでの期間における、Y方向の並進移動量ΔYiと、回転移動量Δθiとを算出する。式(7)において、MVY(t)は、時刻tにおける移動指令MVYの値を示す。式(8)において、MVθ(t)は、時刻tにおける移動指令MVθの値を示す。移動指令MVY,MVθは速度指令であり、MVY(t)およびMVθ(t)は、制御周期Tsの間、一定である。
Figure 0007078895000002
推定部46は、上記のようにして算出したΔXi,ΔYi,Δθiを用いて、移動軌跡を推定すればよい。
変形例1に係る制御システムによれば、露光終了時刻と重なる制御周期Tsの開始時刻において、推定部46は、軌跡情報を生成することができる。すなわち、推定部46は、露光終了時刻の前に、軌跡情報を生成することができる。そのため、画像処理装置304の補正部32は、カメラ302a,302bによって撮像された画像に対するブレ補正を即座に行なうことができる。これにより、撮像トリガTRが出力されてから計測位置PSa,PSbが特定されるまでの時間を短縮できる。
<4-2.変形例2>
推定部46は、k回目の撮像動作の露光期間中の時刻tki(iは、0~nの整数))を前半(時刻tki(iは、0~sの整数(sは1以上n未満の整数))と後半(時刻tki(iは、s+1~nの整数)とに分けてもよい。推定部46は、(k-1)回目の撮像動作の露光開始時刻(時刻t(k-1))から前半の時刻tki(iは、0~sの整数))までの期間におけるワーク2の移動量Δpiを、エンコーダ値を用いて算出する。推定部46は、時刻t(k-1)から後半の時刻tki(iは、s+1~nの整数))までの期間におけるワーク2の移動量Δpiを、変形例1と同様に移動指令MVX,MVY,MVθを用いて算出する。
これにより、軌跡情報によって示される移動軌跡は、変形例1に係る制御システムと比較して、マーク5a,5bの実軌跡により近くなる。その結果、画像処理装置304の補正部32によってブレ補正された画像がより鮮明となり、位置決め精度を高めることができる。さらに、変形例1と同様に、推定部46は、露光終了時刻の前に、軌跡情報を生成することができる。そのため、撮像トリガTRが出力されてから計測位置PSa,PSbが特定されるまでの時間を短縮できる。
<4-3.変形例3>
上記の説明では、移動制御部41は、推定位置PVが目標位置SPに近づくように、移動指令MVX,MVY,MVθを生成する。しかしながら、ワーク2をより滑らかに移動させるための移動機構100の目標軌道が決定され、決定された目標軌道に従って移動機構100が制御されてもよい。この場合、ワーク2は、決定された目標軌道に従って移動する。そのため、制御システムは、撮像トリガTRを出力する前に、目標軌道に基づいて、露光期間におけるマーク5a,5bの移動軌跡を示す軌道情報を生成することができる。これにより、変形例1,2と同様に、撮像トリガTRが出力されてから計測位置PSa,PSbが特定されるまでの時間を短縮できる。さらに、モーションコントローラは、撮像トリガTRと軌道情報とを同時に画像処理装置304に出力することができる。その結果、画像処理装置304とモーションコントローラ400との間の通信シーケンスを簡略化できる。
<4-3-1.制御システムの機能構成>
図8は、変形例3に係る制御システム1Aの機能構成を示すブロック図である。図8に示されるように、制御システム1Aは、図4に示す制御システム1と比較して、モーションコントローラ400の代わりにモーションコントローラ400Aを備える点で相違する。モーションコントローラ400Aは、モーションコントローラ400と比較して、移動制御部41および推定部46の代わりに、移動制御部41Aおよび推定部46Aをそれぞれ含む点で相違する。移動制御部41Aは、移動制御部41と比較して、位置決定部42、減算部43および演算部44の代わりに目標軌道決定部47および演算部44Aを備える点で相違する。
<4-3-1-1.目標軌道決定部>
目標軌道決定部47は、画像処理装置304によって特定された計測位置PSa,PSbと、目標位置SPとに基づいて、移動機構100の目標軌道を決定する。具体的には、以下のようにして目標軌道を決定する。
目標軌道決定部47は、画像処理装置304によって特定された計測位置PSa,PSbに基づいて、ワーク2の実位置を特定する。目標軌道決定部47は、特定したワーク2の実位置から目標位置SPに移動させるための移動機構100の必要移動距離Loを算出する。目標軌道決定部47は、移動機構100の必要移動距離Loを、X軸方向の必要移動距離LXとY軸方向の必要移動距離LYと回転方向の必要移動距離Lθに分解する。
目標軌道決定部47は、必要移動距離LXと、Xステージ110Xの目標位置SPXとに基づいて、Xステージ110Xの目標軌道TGXを決定する。目標軌道決定部47は、必要移動距離LYと、Yステージ110Yの目標位置SPYとに基づいて、Yステージ110Yの目標軌道TGYを決定する。目標軌道決定部47は、必要移動距離Lθと、θステージ110θの目標位置SPXとに基づいて、θステージ110θの目標軌道TGθを決定する。
図9は、目標軌道TGX,TGY,TGθの一例を示す図である。目標軌道TGXは、時刻tにおける目標軌道TGXの位置と目標位置SPXとの偏差の時間変化を示す関数LX(t)が5次以上の多次関数となるように決定される。関数LX(t)は、必要移動距離LXと時刻tとを少なくとも説明変数とする関数である。同様に、目標軌道TGYは、時刻tにおける目標軌道TGYの位置と目標位置SPYとの偏差の時間変化を示す関数LY(t)が5次以上の多次関数となるように決定される。目標軌道TGθは、時刻tにおける目標軌道TGθの位置と目標位置SPθとの偏差の時間変化を示す関数Lθ(t)が5次以上の多次関数となるように決定される。
目標軌道決定部47は、決定した目標軌道TGX,TGY,TGθと目標位置SPX,SPY,SPθとの偏差の時間変化をそれぞれ示す関数LX(t),LY(t),Lθ(t)を演算部44Aに出力する。関数LX(t),LY(t),Lθ(t)は、それぞれ目標軌道TGX,TGY,TGθを示す情報である。
目標軌道決定部47は、撮像周期Tbごとに、画像処理装置304によって特定されたワーク2の最新の実位置に従って、関数LX(t),LY(t),Lθ(t)を更新する。
<4-3-1-2.演算部>
演算部44Aは、関数LX(t),LY(t),Lθ(t)に基づいて、制御周期Tsごとに移動指令MVX、MVY,MVθをそれぞれ算出する。具体的には、演算部44Aは、関数LX(t)に現時刻tを代入することにより、目標位置SPXに対する目標軌道TGXにおける現時刻tの位置の偏差を算出する。演算部44Aは、算出した偏差に対してたとえばP演算を行なうことにより、移動指令MVXを算出する。演算部44Aは、同様の方法により、移動指令MVY,MVθを算出する。
<4-3-1-3.推定部>
推定部46Aは、目標軌道TGX,TGY,TGθを示す情報を参照情報として取得する。推定部46Aは、目標軌道TGX,TGY,TGθに基づいて、(k-1)回目の撮像動作の露光開始時刻(時刻t(k-1))からk回目の撮像動作の露光期間中の時刻tki(iは、0~nの整数))までの期間におけるワーク2の移動量Δpiを算出する。具体的には、図9に示されるように、推定部46Aは、目標軌道TGXにおける時刻t(k-1)から時刻tkiまでの移動量を、ワーク2のX方向の並進移動量ΔXiとして算出する。同様に、推定部46Aは、目標軌道TGYにおける時刻t(k-1)から時刻tkiまでの移動量を、ワーク2のY方向の並進移動量ΔYiとして算出する。推定部46Aは、目標軌道TGθにおける時刻t(k-1)から時刻tkiまでの移動量を、ワーク2の回転移動量Δθiとして算出する。
推定部46Aは、上記のようにして算出したΔXi,ΔYi,Δθiを用いて、移動軌跡を推定すればよい。
<4-3-2.目標軌道決定部の処理>
図10は、目標軌道決定部における処理の流れを示すフローチャートである。図10に示される処理は、撮像周期Tbごとに行なわれる。
ステップS21において、目標軌道決定部47は、マーク5a,5bの計測位置PSa,PSbを画像処理装置304からそれぞれ取得する。
ステップS22において、目標軌道決定部47は、マーク5a,5bの計測位置PSa,PSbに基づいて、ワーク2の実位置を特定する。そして、目標軌道決定部47は、特定したワーク2の実位置から目標位置SPに移動させるための、X軸方向の必要移動距離LXとY軸方向の必要移動距離LYと回転方向の必要移動距離Lθとを算出する。
ステップS23において、目標軌道決定部47は、必要移動距離LX,LY,Lθを補正する。当該補正は、移動機構100上におけるワーク2のすべりや、移動機構100の位置決め後における残留振動を抑制するために行なわれる。なお、ワーク2のすべりや残留振動が無視できる程度に小さい場合には、ステップS23は省略されてもよい。
ステップS23の補正方法は、以下の通りである。目標軌道決定部47は、エンコーダ130からのエンコーダ値に基づいて決定される移動機構100の実位置と、前回決定した目標軌道における現時刻の位置との位置偏差En(t)を誤差として算出する。位置偏差En(t)は、X軸方向の成分EnX(t)と、Y軸方向の成分EnY(t)と、回転方向の成分Enθ(t)とに分解される。
目標軌道決定部47は、必要移動距離LXを位置偏差EnX(t)で補正することにより、補正後の必要移動距離LXmを算出する。同様に、目標軌道決定部47は、必要移動距離LYを位置偏差EnY(t)で補正することにより、補正後の必要移動距離LYmを算出する。目標軌道決定部47は、必要移動距離Lθを位置偏差Enθ(t)で補正することにより、補正後の必要移動距離Lθmを算出する。
ステップS24において、目標軌道決定部47は、計測時刻tをゼロに初期化する。ステップS25において、目標軌道決定部47は、軌道時間Tを算出する。軌道時間Tは、目標軌道TGX,TGY,TGθの開始点から終了点まで移動機構100を移動するために要する時間を表わす。一例として、軌道時間Tは、以下の式(9)に基づいて算出される。
T=max{f(Amax),Tmin} ・・・(9)
上記式(9)に示される「Amax」は、最大加速度を表わす。「f()」は、最大加速度Amaxで必要移動距離を移動機構100に移動させた場合にかかる軌道時間を求めるための関数である。「Tmin」は、所定の最小軌道時間である。「max(α,β)」は、数値α,βの内から最大値を取得するための関数である。
上記式(9)により、軌道時間Tは、最小軌道時間Tmin未満にならないように決められる。最小軌道時間Tminが設けられていなければ、必要移動距離Lが非常に小さい場合に、移動機構100が目標位置にすぐに到達してしまうので、次の撮像タイミングまでの時間を無駄にすることになる。しかしながら、最小軌道時間Tminが設けられることで、必要移動距離Loが非常に小さい場合に、移動機構100は、最大加速度よりも低い加速度で移動することとなり、移動機構100は、滑らかに移動することができる。一例として、最小軌道時間Tminは、平均撮像間隔に対して一定の割合(たとえば、50%)を乗じることで算出される。
ステップS26において、目標軌道決定部47は、ステップS23で得られた必要移動距離LXm,LYm,Lθmと、ステップS25で算出された軌道時間Tとに基づいて、目標軌道TGX,TGY,TGθをそれぞれ決定する。
具体的には、目標軌道決定部47は、目標軌道TGXの位置と目標位置SPXとの偏差の時間変化を示す関数LX(t)が以下の式(10)で表されるように、目標軌道TGXを決定する。目標軌道決定部47は、目標軌道TGYの位置と目標位置SPYとの偏差の時間変化を示す関数LY(t)が以下の式(11)で表されるように、目標軌道TGYを決定する。目標軌道決定部47は、目標軌道TGθの位置と目標位置SPθとの偏差の時間変化を示す関数Lθ(t)が以下の式(12)で表されるように、目標軌道TGXを決定する。
LX(t)=LXm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(10)
LY(t)=LYm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(11)
Lθ(t)=Lθm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(12)
式(10)~(12)に示されるように、関数LX(t),LY(t),Lθ(t)は、必要移動距離LXm,LYm,Lθmと時刻tとを少なくとも説明変数とし、目標位置SpX,SPY,SPθとの偏差を目的変数とする多次関数である。
なお、上記の式(10)~(12)に示す関数LX(t),LY(t),Lθ(t)は、5次関数であるが、関数LX(t),LY(t),Lθ(t)は、6次以上の多次関数であってもよい。
最大加速度Amaxが与えられた場合、軌道時間Tは、下記式(13)~式(15)で計算される。なお、式(10)において、Lmは、LXm,LYm,Lθmである。
f(Amax)=C*Lm/Amax ・・・(13)
=60C(2C -3C+1) ・・・(14)
=0.5-31/2/6 ・・・(15)
このようにして、目標軌道決定部47は、計測位置PSa,PSbが特定されるたびに、移動機構100が目標位置SPに到達するまでの間の目標軌道TGX,TGY,TGθをそれぞれ示す関数LX(t),LY(t),Lθ(t)を一括して算出する。
<4-4.変形例4>
ワーク2が一定速度で移動している場合、画像処理装置304の補正部32におけるブレ補正の処理に要する時間が短くなる。そのため、移動制御部41は、カメラ302a,302bの露光期間において生成する移動指令MVX,MVY,MVθを、一定の速度指令とすることが好ましい。
<4-5.変形例5>
一般に、並進および回転の両方のブレによるぼけを除去するブレ補正よりも並進のブレによるぼけのみを除去するブレ補正の方が処理に要する時間が短い。そのため、移動制御部41は、カメラ302a,302bの露光期間において回転移動しないように移動機構100を制御することが好ましい。つまり、移動制御部41は、移動機構100のうち回転移動する機構であるθステージ110θとサーボモータ120θとを停止させる。具体的には、移動制御部41は、移動指令MVθが位置指令である場合、露光期間に生成する移動指令MVθを一定値とする。もしくは、移動制御部41は、移動指令MVθが速度指令である場合、露光期間に生成する移動指令MVθを0とする。
変形例4と変形例5とを組み合わせることにより、移動機構100は、カメラ302a,302bの露光期間において、等速直線移動する。これにより、補正部32によるブレ補正の処理に要する時間をさらに短くすることができる。この場合、露光期間におけるマーク5aの移動軌跡を示す軌跡情報は、露光開始時刻のマーク5aの位置を始点とし、露光終了時刻のマーク5aの位置を終点とする移動ベクトルによって示される。同様に、露光期間におけるマーク5bの移動軌跡を示す軌跡情報は、露光開始時刻のマーク5bの位置を始点とし、露光終了時刻のマーク5bの位置を終点とする移動ベクトルによって示される。そのため、推定部46による軌跡情報の生成に要する時間も短くすることができる。
<4-6.その他の変形例>
上記の説明では、移動機構100はXYθテーブルとした。しかしながら、移動機構100は、θXYテーブル、UVWテーブル、XYテーブル、XYZテーブル、多関節ロボットなどであってもよい。
上記の説明では、ワーク2に設けられたマーク5a,5bをワーク2の特徴部分として用いて、ワーク2が位置決めされる。しかしながら、ワーク2の他の部分をワーク2の特徴部分として用いて、ワーク2が位置決めされてもよい。たとえば、ワーク2に設けられたネジまたはネジ穴をワーク2の特徴部分として用いてもよい。もしくは、ワーク2の角部をワーク2の特徴部分として用いてもよい。
上記の説明では、推定部46,46Aは、モーションコントローラ400,400Aにそれぞれ含まれるものとした。しかしながら、推定部46,46Aは、画像処理装置304に含まれていてもよい。この場合、画像処理装置304に含まれる推定部46は、移動機構100からの情報であるエンコーダ値PVmX,PVmY,PVmθを取得して、軌跡情報を生成する。もしくは、画像処理装置304に含まれる推定部46は、移動制御部41によって生成された情報である移動指令MVX,MVY,MVθを取得して、軌跡情報を生成する。もしくは、画像処理装置304に含まれる推定部46Aは、移動制御部41Aによって生成された、目標軌道TGX,TGY,TGθを示す情報(関数LX(t),LY(t),Lθ(t)を取得して、軌跡情報を生成する。
サーボモータ120X,120Y,120θは、回転式モータではなく、リニアモータであってもよい。また、エンコーダ130は、リニアエンコーダであってもよい。この場合、推定部46は、モータの駆動量を示す情報として直線軸の位置を示す情報を取得し、取得した情報に基づいて、移動量Δpを推定すればよい。
§5 付記
以上のように、本実施の形態および変形例は以下のような開示を含む。
(構成1)
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)であって、
前記対象物(2)に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、前記対象物(2)の特徴部分(5a,5b)の位置を特定するための画像処理装置(304)と、
前記画像処理装置(304)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(41,41A)と、
第1の撮像動作によって得られた画像に基づいて前記画像処理装置(304)によって特定された前記特徴部分の位置と、前記移動機構(100)からの情報および前記移動制御部(41,41A)によって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分(5a,5b)の移動軌跡を推定するための推定部(46,46A)とを備え、
前記画像処理装置(304)は、前記移動軌跡に基づいて、前記第2の撮像動作によって得られた画像のブレ補正を行なう、制御システム(1,1A)。
(構成2)
前記移動機構(100)は、前記対象物(2)を移動させるために駆動されるモータ(120X,120Y,120θ)を含み、
前記参照情報は、前記第1の撮像動作からの前記モータ(120X,120Y,120θ)の駆動量を示す情報を含む、構成1に記載の制御システム(1)。
(構成3)
前記移動制御部(41)は、制御周期ごとに前記移動機構(100)に対する移動指令を生成し、
前記参照情報は、前記第1の撮像動作以降に前記移動制御部(41)によって生成された移動指令を示す情報を含む、構成1に記載の制御システム(1)。
(構成4)
前記移動制御部(41A)は、前記目標位置に対する前記画像処理装置(304)によって特定された位置の偏差に基づいて前記移動機構(100)の目標軌道を決定し、決定した前記目標軌道に従って移動するように前記移動機構(100)を制御し、
前記参照情報は、前記目標軌道を示す情報を含む、構成1に記載の制御システム(1A)。
(構成5)
前記移動制御部(41,41A)は、
制御周期ごとに前記移動機構(100)に対する速度指令を生成し、
前記露光期間と重なる前記制御周期において、一定の速度指令を生成する、構成1から4のいずれかに記載の制御システム(1,1A)。
(構成6)
前記移動機構(100)は、並進移動する第1機構(110X,110Y,120X,120Y)と、回転移動する第2機構(110θ,120θ)とを含み、
前記移動制御部(41,41A)は、前記露光期間において、前記第2機構(110θ,120θ)を停止させる、構成1から5のいずれかに記載の制御システム(1,1A)。
(構成7)
対象物(2)を移動させる移動機構(100)と、前記対象物(2)に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、前記対象物の特徴部分(5a,5b)の位置を特定するための画像処理装置(304)とを制御して、前記対象物(2)の位置決めを行なう制御装置であって、
前記画像処理装置(304)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(41,41A)と、
第1の撮像動作によって得られた画像に基づいて前記画像処理装置(304)によって特定された前記特徴部分の位置と、前記移動機構(100)からの情報および前記移動制御部(41,41A)によって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分(5a,5b)の移動軌跡を推定するための推定部(46,46A)と、
前記移動軌跡に基づいて前記第2の撮像動作によって得られた画像のブレ補正を行なう前記画像処理装置(304)に指示するための指示部(45)とを備える、制御装置。
(構成7’)
構成1から6のいずれかの制御システム(1,1A)に用いられる制御装置(400,400A)であって、
前記移動制御部(41,41A)と、
前記推定部(46,46A)と、
前記移動軌跡に基づいて前記第2の撮像動作によって得られた画像のブレ補正を行なう前記画像処理装置(304)に指示するための指示部(45)とを備える、制御装置(400,400A)。
(構成8)
対象物(2)を移動させる移動機構(100)を制御する制御装置(400,400A)からの指示に応じて、前記対象物(2)に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、前記対象物の特徴部分(5a,5b)の位置を特定するための画像処理装置(304)であって、
前記制御装置(400,400A)は、前記画像処理装置(304)によって特定された特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御し、
前記画像処理装置(304)は、
第1の撮像動作によって得られた画像に基づいて前記画像処理装置(304)によって特定された前記特徴部分の位置と、前記移動機構(100)からの情報および前記制御装置(400,400A)によって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分(5a,5b)の移動軌跡を推定するための推定部(46,46A)と、
前記移動軌跡に基づいて、前記第2の撮像動作によって得られた画像のブレ補正を行なうための補正部(32)とを備える、画像処理装置(304)。
(構成8’)
構成1から6のいずれかの制御システム(1,1A)に用いられる画像処理装置(304)であって、
前記推定部(46,46A)と、
前記移動軌跡に基づいて、前記第2の撮像動作によって得られた画像のブレ補正を行なうための補正部(32)とを備える、画像処理装置(304)。
(構成9)
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)をサポートするためのプログラム(440)であって、
前記制御システム(1,1A)は、前記対象物(2)に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、前記対象物の特徴部分(5a,5b)の位置を特定するための画像処理装置(304)を備え、
コンピュータに、
前記画像処理装置(304)によって特定された特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
第1の撮像動作によって得られた画像に基づいて前記画像処理装置(304)によって特定された前記特徴部分の位置と、前記移動機構(100)からの情報および前記制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分(5a,5b)の移動軌跡を推定するステップと、
前記移動軌跡に基づいて前記第2の撮像動作によって得られた画像のブレ補正を行なう前記画像処理装置(304)に指示するステップとを実行させる、プログラム(440)。
(構成9’)
構成1から6のいずれかの制御システム(1,1A)をサポートするためのプログラムであって、
コンピュータに、
前記画像処理装置(304)によって特定された位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
第1の撮像動作によって得られた画像に基づいて前記画像処理装置(304)によって特定された前記特徴部分の位置と、前記移動機構(100)からの情報および前記制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分(5a,5b)の移動軌跡を推定するステップと、
前記移動軌跡に基づいて前記第2の撮像動作によって得られた画像のブレ補正を行なう前記画像処理装置(304)に指示するステップとを実行させる、プログラム。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合せても、実施することが意図される。
1,1A 制御システム、2 ワーク、4 露光マスク、5a,5b マーク、32 補正部、34 位置特定部、41,41A 移動制御部、42 位置決定部、43 減算部、44,44A 演算部、45 指示部、46,46A 推定部、47 目標軌道決定部、100 移動機構、110X Xステージ、110Y Yステージ、110θ θステージ、120X,120Y,120θ サーボモータ、130 エンコーダ、200 ドライバユニット、200X,200Y,200θ サーボドライバ、300 視覚センサ、302a,302b カメラ、304 画像処理装置、310,414 プロセッサ、312 RAM、314 表示コントローラ、316 システムコントローラ、318 I/Oコントローラ、320 ハードディスク、322 カメラインターフェイス、322a,322b 画像バッファ、324 入力インターフェイス、326 モーションコントローラインターフェイス、328,428 通信インターフェイス、330,422 メモリカードインターフェイス、332 表示部、334 キーボード、336 メモリカード、350,440 制御プログラム、400,400A モーションコントローラ、412 チップセット、416 不揮発性メモリ、418 主メモリ、420 システムクロック、424 記録媒体、430 内部バスコントローラ、432 DMA制御回路、434 内部バス制御回路、436 バッファメモリ、438 フィールドバスコントローラ。

Claims (9)

  1. 対象物を少なくとも回転移動させる移動機構を制御して、前記対象物の位置決めを行なう制御システムであって、
    前記対象物に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、前記対象物の特徴部分の位置を特定するための画像処理装置と、
    前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するための移動制御部と、
    第1の撮像動作によって得られた画像に基づいて前記画像処理装置によって特定された前記特徴部分の位置と前記回転移動の回転中心との距離と、前記移動機構からの情報および前記移動制御部によって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分の移動軌跡を推定するための推定部とを備え、
    前記画像処理装置は、前記移動軌跡に基づいて、前記第2の撮像動作によって得られた画像のブレ補正を行なう、制御システム。
  2. 前記移動機構は、前記対象物を移動させるために駆動されるモータを含み、
    前記参照情報は、前記第1の撮像動作からの前記モータの駆動量を示す情報を含む、請求項1に記載の制御システム。
  3. 前記移動制御部は、制御周期ごとに前記移動機構に対する移動指令を生成し、
    前記参照情報は、前記第1の撮像動作以降に前記移動制御部によって生成された移動指令を示す情報を含む、請求項1に記載の制御システム。
  4. 前記移動制御部は、前記目標位置に対する前記画像処理装置によって特定された位置の偏差に基づいて前記移動機構の目標軌道を決定し、決定した前記目標軌道に従って移動するように前記移動機構を制御し、
    前記参照情報は、前記目標軌道を示す情報を含む、請求項1に記載の制御システム。
  5. 前記移動制御部は、
    制御周期ごとに前記移動機構に対する速度指令を生成し、
    前記露光期間と重なる前記制御周期において、一定の速度指令を生成する、請求項1から4のいずれか1項に記載の制御システム。
  6. 前記移動機構は、並進移動する第1機構と、回転移動する第2機構とを含み、
    前記移動制御部は、前記露光期間において、前記第2機構を停止させる、請求項1から5のいずれか1項に記載の制御システム。
  7. 対象物を少なくとも回転移動させる移動機構と、前記対象物に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、前記対象物の特徴部分の位置を特定するための画像処理装置とを制御して、前記対象物の位置決めを行なう制御装置であって、
    前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するための移動制御部と、
    第1の撮像動作によって得られた画像に基づいて前記画像処理装置によって特定された前記特徴部分の位置と前記回転移動の回転中心との距離と、前記移動機構からの情報および前記移動制御部によって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分の移動軌跡を推定するための推定部と、
    前記移動軌跡に基づいて前記第2の撮像動作によって得られた画像のブレ補正を行なう前記画像処理装置に指示するための指示部とを備える、制御装置。
  8. 対象物を少なくとも回転移動させる移動機構を制御する制御装置からの指示に応じて、前記対象物に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、前記対象物の特徴部分の位置を特定するための画像処理装置であって、
    前記制御装置は、前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御し、
    前記画像処理装置は、
    第1の撮像動作によって得られた画像に基づいて前記画像処理装置によって特定された前記特徴部分の位置と前記回転移動の回転中心との距離と、前記移動機構からの情報および前記制御装置によって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分の移動軌跡を推定するための推定部と、
    前記移動軌跡に基づいて、前記第2の撮像動作によって得られた画像のブレ補正を行なうための補正部とを備える、画像処理装置。
  9. 対象物を少なくとも回転移動させる移動機構を制御して、前記対象物の位置決めを行なう制御システムをサポートするためのプログラムであって、
    前記制御システムは、前記対象物に対する撮像周期ごとの撮像動作によって得られる画像を取得し、取得した画像に基づいて、前記対象物の特徴部分の位置を特定するための画像処理装置を備え、
    コンピュータに、
    前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するステップと、
    第1の撮像動作によって得られた画像に基づいて前記画像処理装置によって特定された前記特徴部分の位置と前記回転移動の回転中心との距離と、前記移動機構からの情報および前記制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、前記第1の撮像動作の次の第2の撮像動作における露光期間中の前記特徴部分の移動軌跡を推定するステップと、
    前記移動軌跡に基づいて前記第2の撮像動作によって得られた画像のブレ補正を行なう前記画像処理装置に指示するステップとを実行させる、プログラム。
JP2018111387A 2018-06-11 2018-06-11 制御システム、制御装置、画像処理装置およびプログラム Active JP7078895B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018111387A JP7078895B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置、画像処理装置およびプログラム
CN201910384647.1A CN110581945B (zh) 2018-06-11 2019-05-09 控制系统、控制装置、图像处理装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018111387A JP7078895B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置、画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2019215635A JP2019215635A (ja) 2019-12-19
JP7078895B2 true JP7078895B2 (ja) 2022-06-01

Family

ID=68810804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018111387A Active JP7078895B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置、画像処理装置およびプログラム

Country Status (2)

Country Link
JP (1) JP7078895B2 (ja)
CN (1) CN110581945B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021025164A1 (ja) 2019-08-08 2021-02-11
JP7052840B2 (ja) * 2020-08-18 2022-04-12 オムロン株式会社 位置特定装置、位置特定装置の制御方法、情報処理プログラム、および記録媒体
JP2022043871A (ja) 2020-09-04 2022-03-16 オムロン株式会社 制御装置、制御システムおよびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129236A (ja) 2004-10-29 2006-05-18 Sanyo Electric Co Ltd リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014017690A (ja) 2012-07-10 2014-01-30 Canon Inc 撮像装置
JP2014203365A (ja) 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2377409A (en) * 2001-07-13 2003-01-15 Dek Int Gmbh Screen printing alignment and inspection apparatus having at least two workpiece imaging units
JP4859205B2 (ja) * 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN107888828B (zh) * 2017-11-22 2020-02-21 杭州易现先进科技有限公司 空间定位方法及装置、电子设备、以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129236A (ja) 2004-10-29 2006-05-18 Sanyo Electric Co Ltd リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014017690A (ja) 2012-07-10 2014-01-30 Canon Inc 撮像装置
JP2014203365A (ja) 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法

Also Published As

Publication number Publication date
CN110581945B (zh) 2021-02-23
JP2019215635A (ja) 2019-12-19
CN110581945A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
JP7078894B2 (ja) 制御システム、制御装置、画像処理装置およびプログラム
JP6167622B2 (ja) 制御システムおよび制御方法
JP7078895B2 (ja) 制御システム、制御装置、画像処理装置およびプログラム
JP7143643B2 (ja) 位置決めシステム、監視装置、監視方法およびプログラム
KR102537029B1 (ko) 제어 장치 및 제어 방법
JP6950631B2 (ja) 位置決めシステム、制御方法およびプログラム
JP6813000B2 (ja) 制御システム、制御方法およびプログラム
JP6919622B2 (ja) 制御システム、制御方法、および制御プログラム
JP7172151B2 (ja) 制御システム、制御装置およびプログラム
JP7020262B2 (ja) 制御システム、制御方法およびプログラム
CN111886556B (zh) 控制系统、控制方法以及计算机可读存储介质
JP6919623B2 (ja) 制御システム、制御方法、および制御プログラム
JP7258259B1 (ja) アライメントシステム、アライメント方法及びプログラム
JP7374354B1 (ja) アライメントシステム、アライメント方法及びプログラム
JP7374353B1 (ja) アライメントシステム、アライメント方法及びプログラム
JP7059968B2 (ja) 制御装置および位置合わせ装置
JP6922829B2 (ja) 制御システム、制御方法、および制御プログラム
WO2021261024A1 (ja) ロボット制御システム、制御プログラムおよび制御方法
US11999068B2 (en) Control device and alignment device
WO2021261025A1 (ja) ロボット制御システム、制御プログラムおよび制御方法
JP2022006927A (ja) ロボット制御システム、制御プログラムおよび制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220503

R150 Certificate of patent or registration of utility model

Ref document number: 7078895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150