JP7172151B2 - 制御システム、制御装置およびプログラム - Google Patents

制御システム、制御装置およびプログラム Download PDF

Info

Publication number
JP7172151B2
JP7172151B2 JP2018111386A JP2018111386A JP7172151B2 JP 7172151 B2 JP7172151 B2 JP 7172151B2 JP 2018111386 A JP2018111386 A JP 2018111386A JP 2018111386 A JP2018111386 A JP 2018111386A JP 7172151 B2 JP7172151 B2 JP 7172151B2
Authority
JP
Japan
Prior art keywords
movement
imaging
imaging timing
timing
latest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018111386A
Other languages
English (en)
Other versions
JP2019215634A (ja
Inventor
佳英 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018111386A priority Critical patent/JP7172151B2/ja
Priority to CN201910384145.9A priority patent/CN110581944B/zh
Publication of JP2019215634A publication Critical patent/JP2019215634A/ja
Application granted granted Critical
Publication of JP7172151B2 publication Critical patent/JP7172151B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position Or Direction (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本技術は、対象物を位置決めするための制御システム、制御装置およびプログラムに関する。
FA(ファクトリーオートメーション)において、対象物の位置を目標位置に合わせる技術(位置決め技術)が各種実用化されている。この際、目標位置に対する対象物の位置の偏差を計測する方法として、対象物を撮像することにより得られた画像を用いる方法がある。
特開2014-203365号公報(特許文献1)には、対象物の位置を変更する移動機構の移動中に対象物を撮像して画像データを取得し、画像データに含まれる特徴部分の位置に基づいて、対象物を目標位置に位置決めする制御システムが開示されている。
特開2014-203365号公報
特許文献1に開示された技術では、移動中の対象物を撮像して得られた画像データを用いて特徴部分の位置が特定されるため、位置決めを高速化できる。しかしながら、移動中の対象物を撮像するため画像ブレが発生する。画像ブレ量が大きい画像を用いて特徴部分の位置を特定する場合、特徴部分の位置精度が低下する。そのため、対象物の位置決め精度が低下する。
本発明は、上記の問題を鑑みてなされたものであり、その目的は、対象物の位置決め精度の低下を抑制できる制御システム、制御装置およびプログラムを提供することである。
本開示の一例によれば、対象物を移動させる移動機構を制御して、対象物の位置決めを行なう制御システムは、視覚センサと、移動制御部と、推定部と、撮像制御部とを備える。視覚センサは、対象物を撮像タイミングごとに撮像することにより画像を取得し、当該画像に基づいて、対象物の特徴部分の位置を特定する。移動制御部は、視覚センサによって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御する。推定部は、最新の撮像タイミングで撮像された画像から視覚センサによって特定された特徴部分の最新の位置と、移動機構からの情報および移動制御部によって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける特徴部分の移動速度を推定する。撮像制御部は、移動速度が閾値未満である場合に撮像予定タイミングで撮像させ、移動速度が閾値を超える場合に撮像予定タイミングで撮像させないように、視覚センサを制御する。
この開示によれば、画像ブレ量の大きい画像の撮像を回避することができ、当該画像による位置決め精度の低下を抑制できる。
本開示の一例によれば、移動機構は、対象物を移動させるために駆動されるモータを含む。参照情報は、最新の撮像タイミングからのモータの駆動量を示す情報を含む。
最新の撮像タイミングからのモータの駆動量を示す情報は、最新の撮像タイミングからの移動機構の移動量を直接的に示す。そのため、この開示によれば、推定部は、特徴部分の移動速度を精度良く推定することができる。
本開示の一例によれば、移動制御部は、制御周期ごとに移動機構に対する移動指令を生成する。参照情報は、最新の撮像タイミング以降に移動制御部によって生成された移動指令を示す情報を含む。
移動指令は、移動機構を移動させるための指令であり、移動機構の移動に直接的に関係する。そのため、この開示によれば、推定部は、特徴部分の移動速度を精度良く推定することができる。
本開示の一例によれば、移動制御部は、最新の位置に基づいて移動機構の目標軌道を決定し、決定した目標軌道に従って移動するように移動機構を制御する。参照情報は、目標軌道を示す情報を含む。
目標軌道は、移動機構が移動すべき軌道を示し、移動機構の移動に直接的に関係する。そのため、この開示によれば、推定部は、特徴部分の移動速度を精度良く推定することができる。
本開示の一例によれば、制御装置は、対象物を移動させる移動機構と、対象物を撮像することにより画像を取得し、当該画像に基づいて、対象物の特徴部分の位置を特定するための視覚センサとを制御して、対象物の位置決めを行なう。制御装置は、移動制御部と、推定部と、撮像制御部とを備える。移動制御部は、視覚センサによって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御する。推定部は、最新の撮像タイミングで撮像された画像から視覚センサによって特定された特徴部分の最新の位置と、移動機構からの情報および移動制御部によって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける特徴部分の移動速度を推定する。撮像制御部は、移動速度が閾値未満である場合に撮像予定タイミングで撮像させ、移動速度が閾値を超える場合に撮像予定タイミングで撮像させないように、視覚センサを制御する。
本開示の一例によれば、対象物を移動させる移動機構を制御して、対象物の位置決めを行なう制御システムをサポートするためのプログラムは、コンピュータに、第1~第3のステップを実行させる。制御システムは、対象物を撮像することにより画像を取得し、当該画像に基づいて、対象物の特徴部分の位置を特定するための視覚センサを備える。第1のステップは、視覚センサによって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御するステップである。第2のステップは、最新の撮像タイミングで撮像された画像から視覚センサによって特定された特徴部分の最新の位置と、移動機構からの情報および制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける特徴部分の移動速度を推定するステップである。第3のステップは、移動速度が閾値未満である場合に撮像予定タイミングで撮像させ、移動速度が閾値を超える場合に撮像予定タイミングで撮像させないように、視覚センサを制御するステップである。
これらの開示によって、画像ブレ量の大きい画像の撮像を回避することができ、当該画像による位置決め精度の低下を抑制できる。
本発明によれば、対象物の位置決め精度の低下を抑制できる。
本実施の形態に係る制御システムの全体構成を示す模式図である。 本実施の形態に係る制御システムを構成する画像処理装置のハードウェア構成を示す模式図である。 実施の形態に係る制御システムを構成するモーションコントローラのハードウェア構成を示す模式図である。 図1に示される制御システムの機能構成を示すブロック図である。 撮像タイミングから第1中間タイミングまでの間のワークの移動量を推定する方法を説明する図である。 制御システムの位置決め処理の流れの一例を示すフローチャートである。 移動制御部による移動機構の制御処理の流れの一例を示すフローチャートである。 変形例1における移動速度Va,Vbの推定方法を説明する図である。 変形例3に係る制御システム1Aの機能構成を示すブロック図である。 目標軌道TGX,TGY,TGθの一例を示す図である。 目標軌道決定部における処理の流れを示すフローチャートである。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
§1 適用例
まず、本実施の形態に係る制御システムの一つの適用例について説明する。図1は、本実施の形態に係る制御システム1の全体構成を示す模式図である。図1に示す制御システム1は、画像処理を用いてアライメントを行う。アライメントは、典型的には、工業製品の製造過程などにおいて、対象物(以下、「ワーク」とも称す)を生産ラインの本来の位置に配置する処理などを意味する。このようなアライメントの一例として、制御システム1は、液晶パネルの生産ラインにおいて、ガラス基板であるワーク2に対する回路パターンの焼付処理前に、露光マスク4に対するワーク2の位置決めを制御する。ワーク2には、予め定められた位置に位置決め用の特徴部分であるマーク5a,5bが設けられている。制御システム1は、ワーク2上に設けられたマーク5a,5bを撮像し、撮像により得られた画像に対して画像処理を行うことで、ワーク2の位置決めを実現する。
制御システム1は、移動機構100と、ドライバユニット200と、視覚センサ300と、モーションコントローラ400とを備える。
移動機構100は、ワーク2を移動させる。移動機構100は、ワーク2を目標位置に配置できる機構であればどのような自由度のものであってもよい。移動機構100は、たとえば、水平方向の並進移動と回転移動とをワーク2に与えることができるXYθステージである。
図1に示す例の移動機構100は、Xステージ110Xと、Yステージ110Yと、θステージ110θと、サーボモータ120X,120Y,120θとを含む。図1に示す例では、サーボモータ120X,120Y,120θの各々は回転式モータで構成される。サーボモータ120Xは、Xステージ110XをX軸方向に沿って並進駆動する。サーボモータ120Yは、Yステージ110YをY軸方向に沿って並進駆動する。サーボモータ120θは、Z軸に平行な軸を中心にθステージ110θを回転駆動する。
ドライバユニット200は、制御周期Tsごとに受ける移動指令に従って、移動機構100に対するフィードバック制御を行なう。図1に示されるように、ドライバユニット200は、サーボドライバ200X,200Y,200θを含む。サーボドライバ200Xは、Xステージ110Xの移動量が移動指令に近付くように、サーボモータ120Xに対してフィードバック制御を行なう。サーボドライバ200Yは、Yステージ110Yの移動量が移動指令に近付くように、サーボモータ120Yに対してフィードバック制御を行なう。サーボドライバ200θは、θステージ110θの移動量が移動指令に近付くように、サーボモータ120θに対してフィードバック制御を行なう。
視覚センサ300は、撮像タイミングごとにワーク2を撮像することにより画像を取得し、当該画像に基づいて、ワーク2のマーク5a,5bの位置を特定する。撮像タイミングは、予め定められた撮像周期Tbによって決定される。視覚センサ300は、1つ以上のカメラ(図1の例では、カメラ302a,302b)と、カメラ302a,302bが撮像した画像に対して画像処理を行なうことにより、画像に含まれるマーク5a,5bの位置を特定する画像処理装置304とを含む。
モーションコントローラ400は、たとえばPLC(プログラマブルロジックコントローラ)であり、各種のFA制御を行なう。制御装置であるモーションコントローラ400は、視覚センサ300によって特定されたマーク5a,5bの位置に基づいて、ワーク2の位置が目標位置に近づくように移動機構100を制御する。具体的には、モーションコントローラ400は、制御周期Tsごとに、ワーク2の位置を目標位置に近づけるための移動指令を生成し、生成した移動指令をドライバユニット200に出力する。
モーションコントローラ400は、最新の撮像タイミングで撮像された画像から視覚センサ300によって特定されたマーク5a,5bの最新の位置と、移動機構100を制御する際に生成される情報である移動指令とに基づいて、視覚センサ300の次の撮像予定タイミングにおけるマーク5a,5bの移動速度を推定する。
モーションコントローラ400は、推定した移動速度が閾値未満である場合に撮像予定タイミングで撮像させ、推定した移動速度が閾値を超える場合に撮像予定タイミングで撮像させないように、視覚センサ300を制御する。
これにより、画像ブレ量の大きい画像の撮像を回避することができ、当該画像による位置決め精度の低下を抑制できる。
§2 具体例
次に、本実施の形態に係る制御システム1の具体例について説明する。
<2-1.画像処理装置のハードウェア構成>
図2は、本実施の形態に係る制御システムを構成する画像処理装置のハードウェア構成を示す模式図である。図2を参照して、画像処理装置304は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
より具体的には、画像処理装置304は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ310と、RAM(Random Access Memory)312と、表示コントローラ314と、システムコントローラ316と、I/O(Input Output)コントローラ318と、ハードディスク320と、カメラインターフェイス322と、入力インターフェイス324と、モーションコントローラインターフェイス326と、通信インターフェイス328と、メモリカードインターフェイス330とを含む。これらの各部は、システムコントローラ316を中心として、互いにデータ通信可能に接続される。
プロセッサ310は、システムコントローラ316との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
システムコントローラ316は、プロセッサ310、RAM312、表示コントローラ314、およびI/Oコントローラ318とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、画像処理装置304全体の処理を司る。
RAM312は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク320から読み出されたプログラムや、カメラ302a,302bによって取得された画像(画像データ)、画像に対する処理結果、およびワークデータなどを保持する。
表示コントローラ314は、表示部332と接続されており、システムコントローラ316からの内部コマンドに従って、各種の情報を表示するための信号を表示部332へ出力する。
I/Oコントローラ318は、画像処理装置304に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ318は、ハードディスク320と、カメラインターフェイス322と、入力インターフェイス324と、モーションコントローラインターフェイス326と、通信インターフェイス328と、メモリカードインターフェイス330と接続される。
ハードディスク320は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ310で実行される制御プログラム350に加えて、各種設定値などが格納される。このハードディスク320にインストールされる制御プログラム350は、メモリカード336などに格納された状態で流通する。なお、ハードディスク320に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
カメラインターフェイス322は、ワークを撮影することで生成された画像データを受付ける入力部に相当し、プロセッサ310とカメラ302a,302bとの間のデータ伝送を仲介する。カメラインターフェイス322は、カメラ302a,302bからの画像データをそれぞれ一時的に蓄積するための画像バッファ322a,322bを含む。複数のカメラに対して、カメラの間で共有できる単一の画像バッファを設けてもよいが、処理高速化のため、それぞれのカメラに対応付けて独立に複数配置することが好ましい。
入力インターフェイス324は、プロセッサ310とキーボード334、マウス、タッチパネル、専用コンソールなどの入力装置との間のデータ伝送を仲介する。
モーションコントローラインターフェイス326は、プロセッサ310とモーションコントローラ400との間のデータ伝送を仲介する。
通信インターフェイス328は、プロセッサ310と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス328は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
メモリカードインターフェイス330は、プロセッサ310と記録媒体であるメモリカード336との間のデータ伝送を仲介する。メモリカード336には、画像処理装置304で実行される制御プログラム350などが格納された状態で流通し、メモリカードインターフェイス330は、このメモリカード336から制御プログラムを読み出す。メモリカード336は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。あるいは、通信インターフェイス328を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置304にインストールしてもよい。
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係る制御プログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼び出して処理を実行するものであってもよい。
さらに、本実施の形態に係る制御プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る制御プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。
なお、代替的に、制御プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
<2-2.モーションコントローラのハードウェア構成>
図3は、実施の形態に係る制御システムを構成するモーションコントローラ400のハードウェア構成を示す模式図である。モーションコントローラ400は、チップセット412と、プロセッサ414と、不揮発性メモリ416と、主メモリ418と、システムクロック420と、メモリカードインターフェイス422と、通信インターフェイス428と、内部バスコントローラ430と、フィールドバスコントローラ438とを含む。チップセット412と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
プロセッサ414およびチップセット412は、典型的には、汎用的なコンピュータアーキテクチャに従う構成を有している。すなわち、プロセッサ414は、チップセット412から内部クロックに従って順次供給される命令コードを解釈して実行する。チップセット412は、接続されている各種コンポーネントとの間で内部的なデータを遣り取りするとともに、プロセッサ414に必要な命令コードを生成する。システムクロック420は、予め定められた周期のシステムクロックを発生してプロセッサ414に提供する。チップセット412は、プロセッサ414での演算処理の実行の結果得られたデータなどをキャッシュする機能を有する。
モーションコントローラ400は、記憶手段として、不揮発性メモリ416および主メモリ418を有する。不揮発性メモリ416は、プロセッサ414で実行される制御プログラム440に加えて、データ定義情報、ログ情報などを不揮発的に保持する。制御プログラム440は、記録媒体424などに格納された状態で流通する。主メモリ418は、揮発性の記憶領域であり、プロセッサ414で実行されるべき各種プログラムを保持するとともに、各種プログラムの実行時の作業用メモリとしても使用される。
モーションコントローラ400は、通信手段として、通信インターフェイス428および内部バスコントローラ430を有する。これらの通信回路は、データの送信および受信を行う。
通信インターフェイス428は、画像処理装置304との間でデータを遣り取りする。内部バスコントローラ430は、データの遣り取りを制御する。より具体的には、内部バスコントローラ430は、バッファメモリ436と、DMA(Dynamic Memory Access)制御回路432と、内部バス制御回路434とを含む。
メモリカードインターフェイス422は、モーションコントローラ400に対して着脱可能な記録媒体424とプロセッサ414とを接続する。
フィールドバスコントローラ438は、フィールドネットワークに接続するための通信インターフェイスである。モーションコントローラ400は、フィールドバスコントローラ438を介してサーボドライバ200X,200Y,200θと接続される。当該フィールドネットワークには、たとえば、EtherCAT(登録商標)、EtherNet/IP(登録商標)、CompoNet(登録商標)などが採用される。
<2-3.画像処理装置の機能構成>
図4は、図1に示される制御システムの機能構成を示すブロック図である。図4に示されるように、画像処理装置304は、画像取得部32と、位置特定部34とを含む。
画像取得部32は、モーションコントローラ400から撮像トリガTRを受けると、撮像するようにカメラ302a,302bを制御し、カメラ302a,302bから所定サイズの画像を取得する。
位置特定部34は、カメラ302aによって撮像された画像に含まれるマーク5aの位置(以下、「計測位置PSa」という)を特定する。位置特定部34は、カメラ302bによって撮像された画像に含まれるマーク5bの位置(以下、「計測位置PSb」という)を特定する。位置特定部34は、公知のパターン認識技術を用いて、画像の中からマーク5a,5bを認識し、認識したマーク5a,5bの座標を計測する。当該座標は、カメラ302a,302b各々のローカル座標系で示される。位置特定部34は、特定したマーク5aの計測位置PSaの座標と、特定したマーク5bの計測位置PSbの座標とをモーションコントローラ400に出力する。
<2-4.モーションコントローラの機能構成>
図4に示されるように、モーションコントローラ400は、移動制御部41と、推定部45と、撮像制御部46とを備える。移動制御部41と推定部45と撮像制御部46とは、図3に示すプロセッサ414が制御プログラム440を実行することにより実現される。
また、図4に示されるように、移動機構100はエンコーダ130を含む。エンコーダ130は、サーボモータ120X,120Y,120θの移動量に応じたパルス信号をそれぞれ発生する。エンコーダ130は、サーボモータ120Xに対応するパルス信号に含まれるパルス数をカウントすることにより、初期位置からのXステージ110XのX方向の並進移動量をエンコーダ値PVmXとして計測する。パルス数のカウント値と移動量とは、所定の係数によって関係付けられる。そのため、エンコーダ130は、パルス数のカウント値に当該係数を乗ずることにより、移動量を計測できる。同様に、エンコーダ130は、初期位置からのYステージ110YのY方向の並進移動量をエンコーダ値PVmYとして計測するとともに、初期位置からのθステージ110θの回転移動量をエンコーダ値PVmθとして計測する。エンコーダ130は、制御周期Tsと同じ周期で、エンコーダ値PVmX,PVmY,PVmθを計測して出力する。
<2-4-1.移動制御部>
移動制御部41は、視覚センサ300によって特定された、マーク5aの最新の計測位置PSaおよびマーク5bの最新の計測位置PSbに基づいて、ワーク2の位置が目標位置SPに近づくように移動機構100を制御する。
ワーク2の目標位置SPは、生産工程ごとに予め決められている。たとえば、マーク5aとマーク5bとの中点が予め定められた座標に位置し、かつ、マーク5aとマーク5bとを結ぶ直線とX軸またはY軸とのなす角度が予め定められた角度となるようなワーク2の位置が目標位置SPとして設定される。
もしくは、カメラ302a,302bは、ワーク2のマーク5a,5bと合わせて、露光マスク4(図1参照)に設けられた2つの目標マークも撮像してもよい。この場合、撮像された画像に含まれる当該2つの目標マークの位置に応じて目標位置SPが設定される。たとえば、マーク5aが2つの目標マークの一方と一致し、かつ、マーク5bが2つの目標マークの他方と一致するようなワーク2の位置が目標位置SPとして設定される。
移動制御部41は、視覚センサ300によって特定されたマーク5aの最新の計測位置PSaおよびマーク5bの最新の計測位置PSbに基づいて、ワーク2の位置を目標位置SPに近づけるための移動指令を生成する。
計測位置PSa,PSbが特定される周期は、最短でも撮像周期Tbである。一方、移動指令は、制御周期Tsごとに生成される。一例として、撮像周期Tbは、たとえば約60msであり、制御周期Tsは、たとえば1msである。このように、撮像周期Tbは、制御周期Tsよりも長い。そのため、視覚センサ300によって特定された計測位置PSa,PSbのみを用いて移動機構100が制御されると、オーバシュートおよび振動が生じやすくなる。このようなオーバシュートおよび振動を避けるため、移動制御部41は、計測位置PSa,PSbと、エンコーダ値PVmX,PVmY,PVmθとを用いて、ワーク2の推定位置PVを決定し、推定位置PVに基づいて制御指令を生成する。過去に検出されたエンコーダ値PVmX,PVmY,PVmθは、モーションコントローラ400の記憶部(たとえば不揮発性メモリ416または主メモリ418(図3参照))に記憶される。
図4に示されるように、移動制御部41は、位置決定部42と、減算部43と、演算部44とを含む。
位置決定部42は、視覚センサ300によって特定されたマーク5aの最新の計測位置PSaおよびマーク5bの最新の計測位置PSbとエンコーダ値PVmX,PVmY,PVmθとに基づいて、ワーク2の推定位置PVを制御周期Tsごとに決定する。推定位置PVの決定方法の詳細については、後述する動作例において説明する。
減算部43は、目標位置SPに対する推定位置PVの偏差を出力する。演算部44は、目標位置SPに対する推定位置PVの偏差が0に収束するように演算(たとえばP演算、PID演算など)を行ない、制御周期Tsごとに移動指令MVX、MVY,MVθを算出する。移動指令MVXは、Xステージ110Xに対する移動指令である。移動指令MVYは、Yステージ110Yに対する移動指令である。移動指令MVθは、θステージ110θに対する移動指令である。演算部44は、算出した移動指令MVX、MVY,MVθをサーボドライバ200X,200Y,200θにぞれぞれ出力する。移動指令MVX、MVY,MVθは、位置指令または速度指令である。
<2-4-2.推定部>
推定部45は、最新の計測位置PSa,PSbと、移動制御部41によって生成される移動指令MVX,MVY,MVθとに基づいて、次の撮像予定タイミングtkにおける画像上の、マーク5aの移動速度Vaとマーク5bの移動速度Vbとを推定する。撮像予定タイミングtkは、撮像周期Tbに従って予め定められる。推定部45は、撮像予定タイミングtkよりも制御周期Tsのq倍(qは、1以上の整数である)の期間だけ前の第1中間タイミングtm1において、移動速度Va,Vbを推定する。制御周期Tsのq倍が撮像周期Tbよりも十分に小さくなるように、qは予め定められる。qは、たとえば1、2または3である。以下、推定部45の具体的な処理方法について説明する。
まず、推定部45は、視覚センサ300がワーク2を撮像した最新の撮像タイミングt(k-1)から第1中間タイミングtm1までの間のワーク2の移動量Δp1=(ΔX1,ΔY1,Δθ1)を推定する。ΔX1は、Xステージ110XのX方向の並進移動量を示す。ΔY1は、Yステージ110YのY方向の並進移動量を示す。Δθ1は、θステージ110θの回転移動量を示す。
なお、撮像タイミングt(k-1)から次の撮像予定タイミングtkまでの期間は、撮像周期Tbと一致する場合もあれば、撮像周期Tbの2以上の整数倍の期間と一致する場合もある。撮像予定タイミングにおいて撮像を中止するように視覚センサ300が制御される場合があるからである。
図5は、撮像タイミングt(k-1)から第1中間タイミングtm1までの間のワーク2の移動量を推定する方法を説明する図である。図5に示されるように、推定部45は、撮像タイミングt(k-1)におけるエンコーダ値PVm(k-1)と第1中間タイミングtm1におけるエンコーダ値PVm(m1)とに基づいて、移動量Δp1を推定する。なお、タイミングtiにおけるPVm(i)は、(PVmθ(i),PVmX(i),PVmY(i))で表される。PVmθ(i),PVmX(i),PVmY(i)は、それぞれタイミングtiにおいてエンコーダ130から出力されるエンコーダ値PVmθ,PVmX,PVmYである。もしくは、タイミングtiとエンコーダ130の検出時刻とがずれている場合、PVmX(i)は、タイミングtiに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmXの内挿補間値である。同様に、PVmY(j)は、時刻tjに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmYの内挿補間値である。PVmθ(j)は、時刻tjに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmθの内挿補間値である。内挿補間値の算出方法については後述する。
推定部45は、撮像タイミングt(k-1)におけるエンコーダ値PVm(k-1)と第1中間タイミングtm1におけるエンコーダ値PVm(m1)との差を、撮像タイミングt(k-1)から第1中間タイミングtm1まで間のワーク2の移動量Δp1として推定する。つまり、推定部45は、以下の式(1)に従って、移動量Δp1を推定する。
Δp1=(ΔX1,ΔY1,Δθ1)
=(PVmX(m1)-PVmX(k-1),PVmY(m1)-PVmY(k-1),PVmθ(m1)-PVmθ(k-1)) ・・・式(1)。
次に、推定部45は、第1中間タイミングtm1における、マーク5aの位置(以下、「推定位置PM1a」という)およびマーク5bの位置(以下、「推定位置PM1b」という)を推定する。まず、推定位置PM1aの推定方法について説明する。
推定部45は、画像処理装置304から受けた計測位置PSaの座標(カメラ302aのローカル座標系)をワールド座標系(移動機構100の機械座標系)の座標に変換する。推定部45は、カメラ302aのローカル座標系とワールド座標系とを対応付ける第1キャリブレーションデータを用いて、ワールド座標系における計測位置PSaのXY座標(xsa,ysa)を求める。
推定部45は、移動量Δp1=(ΔX1,ΔY1,Δθ1)だけワーク2が移動したときの計測位置PSaから推定位置PM1aへの変換式を用いて、ワールド座標系における推定位置PM1aの座標を求める。変換式は、以下の式(2)に示される。
Sa’=T(Ra(Sa)) ・・・式(2)
式(2)において、Saは、ワールド座標系における計測位置PSaのX座標xsaおよびY座標ysaの転置行列である(xsa,ysa)を示す。Ra( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSaとの距離と、撮像タイミングt(k-1)からのθステージ110θの回転移動量とに基づいて定められる。ここでは、回転移動量としてΔθ1が用いられる。T( )は、並進移動に対応する変換式を示し、撮像タイミングt(k-1)からの、Xステージ110XおよびYステージ110Yの並進移動量に応じて定められる。ここでは、並進移動量としてΔX1およびΔY1が用いられる。Sa’は、ワーク2を移動量Δp1だけ移動させたときの、ワールド座標系におけるマーク5aの位置のX座標,Y座標の転置行列を示す。ここでは、Sa’は、推定位置PM1aのX座標xm1aおよびY座標ym1aの転置行列である(xm1a,ym1a)を示す。
推定部45は、第1キャリブレーションデータを用いて、ワールド座標系における推定位置PM1aの座標をカメラ302aに対応するローカル座標系の座標に逆変換する。これにより、推定部45は、ローカル座標系における推定位置PM1aの座標を得ることができる。
同様の方法により、推定部45は、第1中間タイミングtm1におけるマーク5bの推定位置PM1bを予測する。つまり、推定部45は、画像処理装置304から受けた計測位置PSbの座標(カメラ302bのローカル座標系)をワールド座標系の座標に変換する。推定部45は、カメラ302bのローカル座標系とワールド座標系とを対応付ける第2キャリブレーションデータを用いて、ワールド座標系における計測位置PSbのXY座標(xsb,ysb)を求める。
推定部45は、移動量Δp1=(ΔX1,ΔY1,Δθ1)だけワーク2が移動したときの計測位置PSbから推定位置PM1bへの変換式を用いて、ワールド座標系における推定位置PM1bの座標を求める。変換式は、以下の式(3)に示される。
Sb’=T(Rb(Sb)) ・・・式(3)
式(3)において、Sbは、ワールド座標系における計測位置PSbのX座標xsbおよびY座標ysbの転置行列である(xsb,ysb)を示す。Rb( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSbとの距離と、撮像タイミングt(k-1)からのθステージ110θの回転移動量とに基づいて定められる。ここでは、回転移動量としてΔθ1が用いられる。T( )は、並進移動に対応する変換式を示し、撮像タイミングt(k-1)からの、Xステージ110XおよびYステージ110Yの並進移動量と応じて定められる。ここでは、並進移動量としてΔX1およびΔY1が用いられる。Sb’は、ワーク2を移動量Δp1だけ移動させたときの、ワールド座標系におけるマーク5bの位置のX座標,Y座標の転置行列を示す。ここでは、Sb’は、推定位置PM1bのX座標xm1bおよびY座標ym1bの転置行列である(xm1b,ym1b)を示す。
推定部45は、第2キャリブレーションデータを用いて、ワールド座標系における推定位置PM1bの座標をカメラ302bに対応するローカル座標系の座標に逆変換する。これにより、推定部45は、ローカル座標系における推定位置PM1bの座標を得ることができる。
第1中間タイミングtm1から撮像予定タイミングtkまでの期間は、制御周期Tsの1~数倍である。そのため、当該期間において移動指令の変化量はわずかである。すなわち、第1中間タイミングtm1における移動指令が撮像予定タイミングtkまで継続されるとみなしてもよい。
そのため、推定部45は、第1中間タイミングtm1におけるマーク5aの推定位置PM1aのX座標,Y座標を上記の式(2)のSaに代入することにより、撮像予定タイミングtkにおける位置(以下、「予測位置PEa」という)を予測する。この場合、式(2)におけるRa( )は、θステージ110θの回転中心と第1中間タイミングtm1における推定位置PM1aとの距離と、第1中間タイミングtm1における移動指令MVθと、第1中間タイミングtm1から撮像予定タイミングtkまでの時間とに基づいて定められる。T( )は、第1中間タイミングtm1における移動指令MVX,MVYと、第1中間タイミングtm1から撮像予定タイミングtkまでの時間とに応じて定められる。
推定部45は、第1キャリブレーションデータを用いて、ワールド座標系における予測位置PEaの座標をカメラ302aに対応するローカル座標系の座標に逆変換する。これにより、推定部45は、ローカル座標系における予測位置PEaの座標を得ることができる。
同様に、推定部45は、第1中間タイミングtm1におけるマーク5bの推定位置PM1bのX座標,Y座標を上記の式(3)のSbに代入することにより、撮像予定タイミングtkにおける位置(以下、「予測位置PEb」という)を予測する。この場合、式(3)におけるRa( )は、θステージ110θの回転中心と第1中間タイミングtm1における推定位置PM1bとの距離と、第1中間タイミングtm1における移動指令MVθと、第1中間タイミングtm1から撮像予定タイミングtkまでの時間とに基づいて定められる。T( )は、第1中間タイミングtm1における移動指令MVX,MVYと、第1中間タイミングtm1から撮像予定タイミングtkまでの時間とに応じて定められる。
推定部45は、第2キャリブレーションデータを用いて、ワールド座標系における予測位置PEbの座標をカメラ302bに対応するローカル座標系の座標に逆変換する。これにより、推定部45は、ローカル座標系における予測位置PEbの座標を得ることができる。
推定部45は、以下の式(4)(5)に従って、撮像予定タイミングtkにおける画像上の、マーク5aの移動速度Vaおよびマーク5bの移動速度Vbを推定する。
Va=(PEa-PM1a)/(tk-tm1) ・・・式(4)
Vb=(PEb-PM1b)/(tk-tm1) ・・・式(5)
式(4)において、「PEa-PM1a」は、予測位置PEaと推定位置PM1aとの距離を示し、予測位置PEaと推定位置PM1aとのローカル座標系におけるX座標,Y座標に基づいて算出される。式(5)において、「PEb-PM1b」は、予測位置PEbと推定位置PM1bとの距離を示し、予測位置PEbと推定位置PM1bとのローカル座標系におけるX座標,Y座標に基づいて算出される。「tk-tm1」は、第1中間タイミングtm1から撮像予定タイミングtkまでの時間を示す。
このようにして、推定部45は、次の撮像予定タイミングtkよりも前の第1中間タイミングtm1において、撮像予定タイミングtkにおける画像上のマーク5a,5bの移動速度Va,Vbをそれぞれ推定する。
<2-4-3.撮像制御部>
撮像制御部46は、視覚センサ300の動作を制御する。撮像制御部46は、上位の制御装置から位置決め処理の開始指示を受けると、撮像周期Tbに従って、撮像トリガTR(撮像指示)を画像処理装置304に出力する。具体的には、撮像制御部46は、位置決め処理の開始指示を受けると、1回目の撮像トリガTRを出力する。その後、撮像制御部46は、撮像周期Tbだけ経過するたびに、2回目以降の撮像トリガTRを出力する。
ただし、撮像制御部46は、推定部45によって推定された移動速度Va,Vbに基づいて、撮像トリガTRの出力の可否を判断する。撮像制御部46は、移動速度Va,Vbが予め定められた閾値Th1未満である場合に次の撮像予定タイミングtkで撮像トリガTRを出力し、移動速度Va,Vbの少なくとも一方が閾値Th1を超える場合に撮像予定タイミングtkで撮像トリガTRを出力しない。すなわち、撮像制御部46は、移動速度Va,Vbが閾値Th1未満である場合に撮像予定タイミングtkで撮像させ、移動速度Va,Vbの少なくとも一方が閾値Th1を超える場合に撮像予定タイミングtkで撮像させないように、視覚センサ300を制御する。
閾値Th1は、画像ブレによるぼけに起因する計測位置PSa,PSbの計測誤差の許容上限値に応じて、実験的または理論的に定められる。すなわち、許容上限値の計測誤差が生じるときの、画像上のマーク5a,5bの移動速度が閾値Th1として予め定められる。
§3 動作例
<3-1.制御システムの位置決め処理の流れ>
図6を参照して、制御システム1の位置決め処理の流れの一例について説明する。図6は、制御システムの位置決め処理の流れの一例を示すフローチャートである。
まずステップS1において、モーションコントローラ400は、推定位置PVおよびエンコーダ値PVmX,PVmY,PVmθを初期化する。次に、ワーク2が移動機構100上に載置されると、撮像制御部46は、画像処理装置304に対して1回目の撮像トリガTRを出力する。これにより、ステップS2において、カメラ302a,302bは、移動機構100が停止した状態で、ワーク2を撮像する。
次にステップS3において、画像処理装置304は、カメラ302aによって撮像された画像に含まれるマーク5aの計測位置PSaと、カメラ302bによって撮像された画像に含まれるマーク5bの計測位置PSbとを特定する。次にステップS4において、移動制御部41は、移動機構100の移動制御を開始する。
次にステップS5において、移動制御部41は、目標位置SPに対する推定位置PVの偏差が閾値Th2未満か否かを判断する。閾値Th2は、要求される位置決め精度に応じて予め定められる。目標位置SPに対する推定位置PVの偏差が閾値Th2未満である場合(ステップS5でYES)、移動制御部41は、移動機構100の移動制御を終了する。これにより、位置決め処理が終了する。
目標位置SPに対する推定位置PVの偏差が閾値Th2未満でない場合(ステップS5でNO)、ステップS6~ステップS12の処理が撮像周期Tbごとに繰り返される。なお、ステップS6~S12の間にも、移動制御部41による移動制御が並行して実行される。
ステップS6において、推定部45は、現時刻が次の撮像予定タイミングtkより制御周期Tsのq倍前の第1中間タイミングtm1であるか否かを判断する。現時刻が第1中間タイミングtm1でない場合(ステップS6でNO)、処理はステップS5に戻る。
現時刻が第1中間タイミングtm1である場合(ステップS6でYES)、ステップS7において、推定部45は、撮像予定タイミングtkにおける画像上のマーク5a,5bの移動速度Va,Vbをそれぞれ推定する。
次にステップS8において、撮像制御部46は、移動速度Va,Vbが閾値Th1未満であるが否かを判断する。
移動速度Va,Vbが閾値Th1未満である場合(ステップS8でYES)、撮像制御部46は、撮像予定タイミングtkにおいて、撮像トリガTRを画像処理装置304に出力する(ステップS9)。ステップS10において、画像処理装置304の画像取得部32は、撮像するようにカメラ302a,302bを制御し、カメラ302a,302bによって撮像された画像を取得する。ステップS11において、位置特定部34は、画像に含まれるマーク5a,5bの計測位置PSa,PSbをそれぞれ特定する。
次にステップS12において、次の撮像予定タイミングが更新される。具体的には、モーションコントローラ400は、更新前の撮像予定タイミングtkから撮像周期Tbだけ経過した時刻を次の撮像予定タイミングtkとして設定する。ステップS12の後、処理はステップS5に戻る。
移動速度Va,Vbの少なくとも一方が閾値Th1以上である場合も(ステップS8でNO)、処理はステップS12に移る。すなわち、更新前の撮像予定タイミングtkにおいて、撮像トリガTRが出力されず、視覚センサ300は、ワーク2を撮像しない。
<3-2.移動制御部の処理>
図7は、移動制御部による移動機構の制御処理の流れの一例を示すフローチャートである。まずステップS21において、位置決定部42は、画像処理装置304によって特定された最新の計測位置PSa,PSbを取得する。位置決定部42は、上記の第1キャリブレーションデータ,第2キャリブレーションデータを用いて、画像処理装置304から受けた計測位置PSa,PSbの座標(ローカル座標系)をワールド座標系の座標にそれぞれ変換する。
ステップS22において、位置決定部42は、最新の撮像時刻を取得する。位置決定部42は、たとえば、最新の撮像トリガTRが出力された時刻を撮像時刻として取得する。もしくは、撮像トリガTRが出力されてからカメラ302a,302bが露光開始するまでの遅延時間を考慮して、位置決定部42は、撮像トリガTRが出力された時刻から遅延時間だけ経過した時刻を撮像時刻として取得してもよい。
次にステップS23において、位置決定部42は、撮像時刻に近い複数の時刻のエンコーダ値PVmX,PVmY,PVmθを取得する。
次にステップS24において、位置決定部42は、複数の時刻のエンコーダ値PVmXの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsXとする。同様に、位置決定部42は、複数の時刻のエンコーダ値PVmYの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsYとする。位置決定部42は、複数の時刻のエンコーダ値PVmθの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsθとする。
具体的には、位置決定部42は、以下のようにして内挿補間値を算出する。検出時刻t(n)においてエンコーダ130によって検出されたエンコーダ値PVmXをエンコーダ値PVmX(n)とする。位置決定部42は、撮像時刻tviに近接する2つの時刻、例えば、時間軸上で、撮像時刻tviを挟む検出時刻t(n-k)と検出時刻t(n-k+1)とを特定する。
位置決定部42は、検出時刻t(n-k)のエンコーダ値PVmX(n-k)と、検出時刻t(n-k+1)のエンコーダ値PVmX(n-k+1)とを取得する。
位置決定部42は、エンコーダ値PVmX(n-k)とエンコーダ値PVmX(n-k+1)との内挿補間値を用いて、撮像時刻tviのエンコーダ値PVmsX(vi)を算出する。具体的には、位置決定部42は、次の式(6)を用いて、撮像時刻tviのエンコーダ値PVmsX(vi)を算出する。
PVmsX(vi)=PVmX(n-k)+Kk*(PVmX(n-k+1)-PVmX(n-k)) ・・・(6)
ここで、Kkは、内挿補間係数である。制御周期をTsとし、エンコーダ値PVmXの伝送遅延時間をTedとし、撮像トリガTRの伝送遅延時間をTsdとして、Ts-Ted≦Tsd<2Ts-Tedの場合、内挿補間係数Kkは、次の式(7)を用いて算出される。
Kk={Tsd-(Ts-Ted)}/Ts ・・・(7)
このような内挿補間値の算出方法を用いることによって、撮像時刻tviのエンコーダ値PVmsX(vi)を高精度に算出できる。同様にして、撮像時刻tviのエンコーダ値PVmsY(vi),PVmsθ(vi)が算出される。なお、撮像時刻がエンコーダ値の算出時刻と一致する場合には、このエンコーダ値をそのまま用いればよい。
次にステップS25において、位置決定部42は、最新の計測位置PSa,PSaと、撮像時刻以後のエンコーダ値PVmX,PVmY,PVmθと、撮像時刻のエンコーダ値PVmsX,PVmsY,PVmsθとを用いて、推定位置PVを算出する。
具体的には、X方向に(PVmX-PVmsX)だけ並進移動し、Y方向に(PVmY-PVmsY)だけ並進移動し、(PVmθ-PVmsθ)だけ回転移動するときのアフィン変換式に計測位置PSaを入力し、アフィン変換後の位置PSwaが算出される。同様に、当該アフィン変換式に計測位置PSbを入力し、アフィン変換後の位置PSwbが算出される。位置決定部42は、マーク5aが位置PSwaに位置し、マーク5bが位置PSwbに位置するときのワーク2の位置を推定位置PVとして決定する。つまり、位置決定部42は、位置PSwaと位置PSwbとの中点の座標と、位置PSwaと位置PSwbとを結ぶ直線とX軸またはY軸とのなす角度とを、推定位置PVを特定する情報として算出する。
次にステップS26において、演算部44は、目標位置SPに対する推定位置PVの偏差に基づいて、たとえばP演算により、移動指令MVX,MVY,MVθを生成して、サーボドライバ200X,200Y,200θにそれぞれ出力する。
このような処理を実行することによって、モーションコントローラ400は、画像処理による高精度な計測位置PSa,PSbが入力される時刻には、この高精度な計測位置PSa,PSbを用いて推定位置PVを算出し、高精度な位置決め制御を実現できる。ここで、計測位置PSa,PSbが入力される時間間隔は、撮像周期Tbであり、エンコーダ値PVmX,PVmY,PVmθが入力される制御周期Tsに比べて長い。しかしながら、時間軸上で隣り合う計測位置PSa,PSbの入力時刻間において、位置決定部42は、入力周期が短いエンコーダ値PVmX,PVmY,PVmθの入力時刻毎に、推定位置PVを決定して、移動機構100の移動制御を行う。これにより、高精度且つ短周期の位置決め制御が可能になる。さらに、位置決定部42は、上述の簡単な四則演算を用いる処理を行なう。そのため、簡素な構成および処理による高速且つ高精度な位置決めを実現できる。
<3-3.作用・効果>
以上のように、制御システム1は、視覚センサ300と、移動制御部41と、推定部45と、撮像制御部46とを備える。視覚センサ300は、ワーク2を撮像タイミングごとに撮像することにより画像を取得し、画像に基づいて、ワーク2のマーク5a,5bの計測位置PSa,PSbをそれぞれ特定する。移動制御部41は、視覚センサ300によって特定された計測位置PSa,PSbに基づいて、ワーク2の位置が目標位置に近づくように移動機構100を制御する。推定部45は、最新の撮像タイミングt(k-1)で撮像された画像から特定された最新の計測位置PSa,PSbと、参照情報とに基づいて、次の撮像予定タイミングtkにおけるマーク5a,5bの移動速度Va,Vbをそれぞれ推定する。参照情報は、移動機構100からの情報および移動制御部41によって生成される情報を含む。撮像制御部46は、移動速度Va,Vbが閾値Th1未満である場合に撮像予定タイミングtkで撮像させ、移動速度Va,Vbが閾値Th1を超える場合に撮像予定タイミングtkで撮像させないように、視覚センサ300を制御する。
これにより、画像ブレ量の大きい画像の撮像を回避することができ、当該画像による位置決め精度の低下を抑制できる。
参照情報は、撮像タイミングt(k-1)からのサーボモータ120X,120Y,120θの駆動量(ここでは、回転量)をそれぞれ示すエンコーダ値PVmX,PVmY,PVmθを含む。さらに、参照情報は、撮像タイミングt(k-1)以降に移動制御部41によって生成された移動指令MVX,MVY,MVθを含む。具体的には、参照情報は、第1中間タイミングtm1で生成された移動指令MVX,MVY,MVθを含む。
エンコーダ値PVmX,PVmY,PVmθは、移動機構100の移動量を直接的に示す。また、移動機構100は、移動指令MVX,MVY,MVθに従って移動する。そのため、ワーク2のマーク5a,5bも、移動指令MVX,MVY,MVθに従って移動する。したがって、推定部45は、撮像予定タイミングtkにおけるマーク5a,5bの移動速度Va,Vbをそれぞれ精度良く推定することができる。
§4 変形例
<4-1.変形例1>
推定部45は、撮像タイミングt(k-1)から第1中間タイミングtm1までに出力されたエンコーダ値PVmX,PVmY,PVmθに基づいて、次の撮像予定タイミングtkにおけるマーク5a,5bの移動速度Va,Vbを推定してもよい。
図8は、変形例1における移動速度Va,Vbの推定方法を説明する図である。図8に示されるに、推定部45は、撮像タイミングt(k-1)から第2中間タイミングtm2までの間のワーク2の移動量Δp2=(ΔX2,ΔY2,Δθ2)を推定する。第2中間タイミングtm2は、第1中間タイミングtm1よりも制御周期Tsのr倍(rは、1以上の整数である)の期間だけ前のタイミングである。rは、たとえば1、2または3である。移動量Δp2を推定する方法は、移動量Δp1を推定する方法と同じである。すなわち、推定部45は、撮像タイミングt(k-1)におけるエンコーダ値PVm(k-1)と、第2中間タイミングtm2におけるエンコーダ値PVm(m2)=(PVmX(m2),PVmY(m2),PVmθ(m2))との差を、移動量Δp2として推定する。
推定部45は、第2中間タイミングtm2における、マーク5aの位置(以下、「推定位置PM2a」という)およびマーク5bの位置(以下、「推定位置PM2b」という)を推定する。
具体的には、推定部45は、最新の計測位置PSaと推定した移動量Δp2とを用いて、上記の式(2)に従って、推定位置PM2aを推定する。このとき、Ra( )は、θステージ110θの回転中心と計測位置PSaとの距離と、撮像タイミングt(k-1)からのθステージ110θの回転移動量Δθ2とに基づいて定められる。T( )は、撮像タイミングt(k-1)からの、Xステージ110Xの並進移動量ΔX2およびYステージ110Yの並進移動量ΔY2に応じて定められる。
推定部45は、最新の計測位置PSbと推定した移動量Δp2とを用いて、上記の式(3)に従って、推定位置PM2bを推定する。このとき、Ra( )は、θステージ110θの回転中心と計測位置PSbとの距離と、撮像タイミングt(k-1)からのθステージ110θの回転移動量Δθ2とに基づいて定められる。T( )は、撮像タイミングt(k-1)からの、Xステージ110Xの並進移動量ΔX2およびYステージ110Yの並進移動量ΔY2に応じて定められる。
第1中間タイミングtm1から撮像予定タイミングtkまでの期間は、制御周期Tsの1~数倍である。そのため、当該期間においてマーク5a,5bの移動速度はほとんど変化しない。したがって、推定部45は、第2中間タイミングtm2から第1中間タイミングtm1までの画像上のマーク5a,5bの移動速度を、撮像予定タイミングtkにおける画像上の移動速度Va,Vbとしてそれぞれ推定する。すなわち、推定部45は、以下の式(8)(9)に従って、撮像予定タイミングtkにおける画像上のマーク5aの移動速度Vaおよびマーク5bの移動速度Vbを推定する。
Va=(PM1a-PM2a)/(tm1-tm2) ・・・(8)
Vb=(PM1b-PM2b)/(tm1-tm2) ・・・(9)
式(8)において、「PM1a-PM2a」は、推定位置PM1aと推定位置PM2aとの距離を示す。式(9)において、「PM1b-PM2b」は、推定位置PM1bと推定位置PM2bとの距離を示す。「tm1-tm2」は、第2中間タイミングtm2から第1中間タイミングtm1までの時間を示す。
このようにして、推定部45は、次の撮像予定タイミングtkよりも前の第1中間タイミングtm1において、撮像予定タイミングtkにおけるマーク5a,5bの移動速度Va,Vbをそれぞれ推定する。
<4-2.変形例2>
上記の説明では、撮像タイミングt(k-1)から第1中間タイミングtm1までの間のワーク2の移動量Δp1は、エンコーダ値PVmX,PVmY,PVmθに基づいて推定された。しかしながら、推定部45は、撮像タイミングt(k-1)から第1中間タイミングtm1までの期間に生成された移動指令MVX,MVY,MVθに基づいて、当該期間におけるワーク2の移動量Δp1を推定してもよい。
ワーク2が載置された移動機構100は、移動指令MVX,MVY,MVθに従って移動する。そのため、撮像タイミングt(k-1)から第1中間タイミングtm1までの期間におけるワーク2のX方向の並進移動量ΔX1は、当該期間に生成された移動指令MVXから推定される。同様に、撮像タイミングt(k-1)から第1中間タイミングtm1までの期間におけるワーク2のY方向の並進移動量ΔY1は、当該期間に生成された移動指令MVYから推定される。撮像タイミングt(k-1)から第1中間タイミングtm1までの期間におけるワーク2の回転移動量Δθ1は、当該期間に生成された移動指令MVθから推定される。
推定部45は、たとえば移動指令MVXが速度指令であり、時刻tにおける移動指令MVXの値をMVX(t)とすると、以下の式(10)に従って、並進移動量ΔX1を算出する。制御周期Tsの間、MVX(t)は一定である。
Figure 0007172151000001
同様に、推定部45は、以下の式(11),(12)に従って、撮像タイミングt(k-1)から第1中間タイミングtm1までの期間における、Y方向の並進移動量ΔY1と、回転移動量Δθ1とを算出する。式(11)において、MVY(t)は、時刻tにおける移動指令MVYの値を示す。式(12)において、MVθ(t)は、時刻tにおける移動指令MVθの値を示す。移動指令MVY,MVθは速度指令であり、MVY(t)およびMVθ(t)は、制御周期Tsの間、一定である。
Figure 0007172151000002
このようにして、推定部45は、撮像タイミングt(k-1)から第1中間タイミングtm1までに生成された移動指令MVX,MVY,MVθに基づいて、次の撮像予定タイミングtkにおけるマーク5a,5bの移動速度Va,Vbを推定してもよい。
<4-3.変形例3>
上記の説明では、移動制御部41は、推定位置PVが目標位置SPに近づくように、移動指令MVX,MVY,MVθを生成する。しかしながら、ワーク2をより滑らかに移動させるための移動機構100の目標軌道が決定され、決定された目標軌道に従って移動機構100が制御されてもよい。この場合、決定された目標軌道に基づいて、撮像予定タイミングtkにおける画像上のマーク5a,5bの移動速度Va,Vbが推定されてもよい。
<4-3-1.制御システムの機能構成>
図9は、変形例3に係る制御システム1Aの機能構成を示すブロック図である。図9に示されるように、制御システム1Aは、図4に示す制御システム1と比較して、モーションコントローラ400の代わりにモーションコントローラ400Aを備える点で相違する。モーションコントローラ400Aは、モーションコントローラ400と比較して、移動制御部41および推定部45の代わりに、移動制御部41Aおよび推定部45Aをそれぞれ含む点で相違する。移動制御部41Aは、移動制御部41と比較して、位置決定部42、減算部43および演算部44の代わりに目標軌道決定部47および演算部44Aを備える点で相違する。
<4-3-1-1.目標軌道決定部>
目標軌道決定部47は、画像処理装置304によって特定されたマーク5aの計測位置PSaおよびマーク5bの計測位置PSbと、目標位置SPとに基づいて、移動機構100の目標軌道を決定する。具体的には、以下のようにして目標軌道を決定する。
目標軌道決定部47は、最新の計測位置PSa,PSbに基づいて、撮像タイミングt(k-1)におけるワーク2の実位置を特定する。目標軌道決定部47は、特定したワーク2の実位置から目標位置SPに移動させるための移動機構100の必要移動距離Loを算出する。目標軌道決定部47は、移動機構100の必要移動距離Loを、X軸方向の必要移動距離LXとY軸方向の必要移動距離LYと回転方向の必要移動距離Lθに分解する。
目標軌道決定部47は、必要移動距離LXと、Xステージ110Xの目標位置SPXとに基づいて、Xステージ110Xの目標軌道TGXを決定する。目標軌道決定部47は、必要移動距離LYと、Yステージ110Yの目標位置SPYとに基づいて、Yステージ110Yの目標軌道TGYを決定する。目標軌道決定部47は、必要移動距離Lθと、θステージ110θの目標位置SPθとに基づいて、θステージ110θの目標軌道TGθを決定する。
図10は、目標軌道TGX,TGY,TGθの一例を示す図である。目標軌道TGXは、時刻tにおける目標軌道TGXの位置と目標位置SPXとの偏差の時間変化を示す関数LX(t)が5次以上の多次関数となるように決定される。関数LX(t)は、必要移動距離LXと時刻tとを少なくとも説明変数とする関数である。同様に、目標軌道TGYは、時刻tにおける目標軌道TGYの位置と目標位置SPYとの偏差の時間変化を示す関数LY(t)が5次以上の多次関数となるように決定される。目標軌道TGθは、時刻tにおける目標軌道TGθの位置と目標位置SPθとの偏差の時間変化を示す関数Lθ(t)が5次以上の多次関数となるように決定される。
目標軌道決定部47は、決定した目標軌道TGX,TGY,TGθと目標位置SPX,SPY,SPθとの偏差の時間変化をそれぞれ示す関数LX(t),LY(t),Lθ(t)を演算部44Aに出力する。関数LX(t),LY(t),Lθ(t)は、それぞれ目標軌道TGX,TGY,TGθを示す情報である。
目標軌道決定部47は、撮像周期Tbごとに、画像処理装置304によって特定されたマーク5a,5bの最新の計測位置PSa,PSbに従って、関数LX(t),LY(t),Lθ(t)を更新する。
<4-3-1-2.演算部>
演算部44Aは、関数LX(t),LY(t),Lθ(t)に基づいて、制御周期Tsごとに移動指令MVX、MVY,MVθをそれぞれ算出する。具体的には、演算部44Aは、関数LX(t)に現時刻tを代入することにより、目標位置SPXに対する目標軌道TGXにおける現時刻tの位置の偏差を算出する。演算部44Aは、算出した偏差に対してたとえばP演算を行なうことにより、移動指令MVXを算出する。演算部44Aは、同様の方法により、移動指令MVY,MVθを算出する。
<4-3-1-3.推定部>
推定部45Aは、目標軌道決定部47によって決定された目標軌道TGX,TGY,TGθに基づいて、撮像タイミングt(k-1)から第1中間タイミングtm1までのワーク2の移動量Δp1を推定する。具体的には、図10に示されるように、推定部45Aは、目標軌道TGXにおける撮像タイミングt(k-1)から第1中間タイミングtm1までの移動量を、ワーク2のX方向の並進移動量ΔX1として算出する。同様に、推定部45Aは、目標軌道TGYにおける撮像タイミングt(k-1)から第1中間タイミングtm1までの移動量を、ワーク2のY方向の並進移動量ΔY1として算出する。推定部45Aは、目標軌道TGθにおける撮像タイミングt(k-1)から第1中間タイミングtm1までの移動量を、ワーク2の回転移動量Δθ1として算出する。
推定部45Aは、最新の計測位置PSaと推定した移動量Δp1とを用いて、上記の式(2)に従って、第1中間タイミングtm1におけるマーク5aの推定位置PM1aを推定する。推定部45Aは、最新の計測位置PSbと推定した移動量Δp1とを用いて、上記の式(3)に従って、第1中間タイミングtm1におけるマーク5bの推定位置PM1bを推定する。
さらに、推定部45Aは、目標軌道TGX,TGY,TGθに基づいて、撮像タイミングt(k-1)から撮像予定タイミングtkまでのワーク2の移動量Δpk=(ΔXk,ΔYk,Δθk)を推定する。具体的には、推定部45Aは、目標軌道TGXにおける撮像タイミングt(k-1)から撮像予定タイミングtkまでの移動量を、ワーク2のX方向の並進移動量ΔXkとして算出する。同様に、推定部45Aは、目標軌道TGYにおける撮像タイミングt(k-1)から撮像予定タイミングtkまでの移動量を、ワーク2のY方向の並進移動量ΔYkとして算出する。推定部45Aは、目標軌道TGθにおける撮像タイミングt(k-1)から撮像予定タイミングtkまでの移動量を、ワーク2の回転移動量Δθkとして算出する。
推定部45Aは、最新の計測位置PSaのX座標xsaおよびY座標ysaを上記の式(2)の右辺に代入することにより、撮像予定タイミングtkにおけるマーク5aの予測位置PEaを推定する。このとき、Ra( )は、θステージ110θの回転中心と計測位置PSaとの距離と、撮像タイミングt(k-1)からのθステージ110θの回転移動量Δθkとに基づいて定められる。T( )は、撮像タイミングt(k-1)からの、Xステージ110Xの並進移動量ΔXkおよびYステージ110Yの並進移動量ΔYkに応じて定められる。
同様に、推定部45Aは、最新の計測位置PSbのX座標xsbおよびY座標ysbを上記の式(3)の左辺に代入することにより、撮像予定タイミングtkにおけるマーク5bの予測位置PEbを推定する。このとき、Ra( )は、θステージ110θの回転中心と計測位置PSbとの距離と、撮像タイミングt(k-1)からのθステージ110θの回転移動量Δθkとに基づいて定められる。T( )は、撮像タイミングt(k-1)からの、Xステージ110Xの並進移動量ΔXkおよびYステージ110Yの並進移動量ΔYkに応じて定められる。
推定部45Aは、上記の式(4),(5)に従って、撮像予定タイミングtkにおける、マーク5aの移動速度Vaおよびマーク5bの移動速度Vbを推定する。
<4-3-2.目標軌道決定部の処理>
図11は、目標軌道決定部における処理の流れを示すフローチャートである。図11に示される処理は、画像処理装置304によってマーク5a,5bの計測位置PSa,PSbが特定されるたびに行なわれる。
ステップS31において、目標軌道決定部47は、マーク5a,5bの計測位置PSa,PSbを画像処理装置304から取得する。
ステップS32において、目標軌道決定部47は、マーク5a,5bの計測位置PSa,PSbに基づいて、ワーク2の実位置を特定する。そして、目標軌道決定部47は、特定したワーク2の実位置から目標位置SPに移動させるための、X軸方向の必要移動距離LXとY軸方向の必要移動距離LYと回転方向の必要移動距離Lθとを算出する。
ステップS33において、目標軌道決定部47は、必要移動距離LX,LY,Lθを補正する。当該補正は、移動機構100上におけるワーク2のすべりや、移動機構100の位置決め後における残留振動を抑制するために行なわれる。なお、ワーク2のすべりや残留振動が無視できる程度に小さい場合には、ステップS33は省略されてもよい。
ステップS33の補正方法は、以下の通りである。目標軌道決定部47は、エンコーダ130からのエンコーダ値に基づいて決定される移動機構100の実位置と、前回決定した目標軌道における現時刻の位置との位置偏差En(t)を誤差として算出する。位置偏差En(t)は、X軸方向の成分EnX(t)と、Y軸方向の成分EnY(t)と、回転方向の成分Enθ(t)とに分解される。
目標軌道決定部47は、必要移動距離LXを位置偏差EnX(t)で補正することにより、補正後の必要移動距離LXmを算出する。同様に、目標軌道決定部47は、必要移動距離LYを位置偏差EnY(t)で補正することにより、補正後の必要移動距離LYmを算出する。目標軌道決定部47は、必要移動距離Lθを位置偏差Enθ(t)で補正することにより、補正後の必要移動距離Lθmを算出する。
ステップS34において、目標軌道決定部47は、計測時刻tをゼロに初期化する。ステップS35において、目標軌道決定部47は、軌道時間Tを算出する。軌道時間Tは、目標軌道TGX,TGY,TGθの開始点から終了点まで移動機構100を移動するために要する時間を表わす。一例として、軌道時間Tは、以下の式(13)に基づいて算出される。
T=max{f(Amax),Tmin} ・・・(13)
上記式(13)に示される「Amax」は、最大加速度を表わす。「f()」は、最大加速度Amaxで必要移動距離を移動機構100に移動させた場合にかかる軌道時間を求めるための関数である。「Tmin」は、所定の最小軌道時間である。「max(α,β)」は、数値α,βの内から最大値を取得するための関数である。
上記式(13)により、軌道時間Tは、最小軌道時間Tmin未満にならないように決められる。最小軌道時間Tminが設けられていなければ、必要移動距離Loが非常に小さい場合に、移動機構100が目標位置にすぐに到達してしまうので、次の撮像タイミングまでの時間を無駄にすることになる。しかしながら、最小軌道時間Tminが設けられることで、必要移動距離Loが非常に小さい場合に、移動機構100は、最大加速度よりも低い加速度で移動することとなり、移動機構100は、滑らかに移動することができる。一例として、最小軌道時間Tminは、平均撮像間隔に対して一定の割合(たとえば、50%)を乗じることで算出される。
ステップS36において、目標軌道決定部47は、ステップS33で得られた必要移動距離LXm,LYm,Lθmと、ステップS35で算出された軌道時間Tとに基づいて、目標軌道TGX,TGY,TGθをそれぞれ決定する。
具体的には、目標軌道決定部47は、目標軌道TGXの位置と目標位置SPXとの偏差の時間変化を示す関数LX(t)が以下の式(14)で表されるように、目標軌道TGXを決定する。目標軌道決定部47は、目標軌道TGYの位置と目標位置SPYとの偏差の時間変化を示す関数LY(t)が以下の式(15)で表されるように、目標軌道TGYを決定する。目標軌道決定部47は、目標軌道TGθの位置と目標位置SPθとの偏差の時間変化を示す関数Lθ(t)が以下の式(16)で表されるように、目標軌道TGθを決定する。
LX(t)=LXm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(14)
LY(t)=LYm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(15)
Lθ(t)=Lθm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(16)
式(14)~(16)に示されるように、関数LX(t),LY(t),Lθ(t)は、必要移動距離LXm,LYm,Lθmと時刻tとを少なくとも説明変数とし、目標位置SpX,SPY,SPθとの偏差を目的変数とする多次関数である。
なお、上記の式(14)~(16)に示す関数LX(t),LY(t),Lθ(t)は、5次関数であるが、関数LX(t),LY(t),Lθ(t)は、6次以上の多次関数であってもよい。
最大加速度Amaxが与えられた場合、軌道時間Tは、下記式(17)~(19)で計算される。なお、式(17)において、Lmは、LXm,LYm,Lθmである。
f(Amax)=C*Lm/Amax ・・・(17)
=60C(2C -3C+1) ・・・(18)
=0.5-31/2/6 ・・・(19)
このようにして、目標軌道決定部47は、計測位置PSa,PSbが特定されるたびに、移動機構100が目標位置SPに到達するまでの間の目標軌道TGX,TGY,TGθをそれぞれ示す関数LX(t),LY(t),Lθ(t)を一括して算出する。
<4-4.その他の変形例>
上記の説明では、移動機構100はXYθテーブルとした。しかしながら、移動機構100は、θXYテーブル、UVWテーブル、XYテーブル、XYZテーブル、多関節ロボットなどであってもよい。
上記の説明では、ワーク2に設けられたマーク5a,5bをワーク2の特徴部分として用いてワーク2が位置決めされる。しかしながら、ワーク2の他の部分をワーク2の特徴部分として用いてワーク2が位置決めされてもよい。たとえば、ワーク2に設けられたネジまたはネジ穴をワーク2の特徴部分として用いてもよい。もしくは、ワーク2の角部をワーク2の特徴部分として用いてもよい。
サーボモータ120X,120Y,120θは、回転式モータではなく、リニアモータであってもよい。また、エンコーダ130は、リニアエンコーダであってもよい。この場合、推定部45は、モータの駆動量を示す情報として直線軸の位置を示す情報を取得し、取得した情報に基づいて、移動量Δp1を推定すればよい。
§5 付記
以上のように、本実施の形態および変形例は以下のような開示を含む。
(構成1)
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)であって、
前記対象物(2)を撮像タイミングごとに撮像することにより画像を取得し、当該画像に基づいて、前記対象物(2)の特徴部分(5a,5b)の位置を特定するための視覚センサ(300)と、
前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(41,41A)と、
最新の撮像タイミングで撮像された画像から前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の最新の位置と、前記移動機構(100)からの情報および前記移動制御部(41,41A)によって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける前記特徴部分(5a,5b)の移動速度を推定するための推定部(45,45A)と、
前記移動速度が閾値未満である場合に前記撮像予定タイミングで撮像させ、前記移動速度が閾値を超える場合に前記撮像予定タイミングで撮像させないように、前記視覚センサ(300)を制御するための撮像制御部(46)とを備える、制御システム(1,1A)。
(構成2)
前記移動機構(100)は、前記対象物(2)を移動させるために駆動されるモータを含み、
前記参照情報は、前記最新の撮像タイミングからの前記モータの駆動量を示す情報を含む、構成1に記載の制御システム(1)。
(構成3)
前記移動制御部(41,41A)は、制御周期ごとに前記移動機構(100)に対する移動指令を生成し、
前記参照情報は、前記最新の撮像タイミング以降に前記移動制御部(41,41A)によって生成された移動指令を示す情報を含む、構成1または2に記載の制御システム(1)。
(構成4)
前記移動制御部(41A)は、前記最新の位置に基づいて前記移動機構(100)の目標軌道を決定し、決定した前記目標軌道に従って移動するように前記移動機構(100)を制御し、
前記参照情報は、前記目標軌道を示す情報を含む、構成1に記載の制御システム(1A)。
(構成5)
対象物(2)を移動させる移動機構(100)と、前記対象物(2)を撮像することにより画像を取得し、当該画像に基づいて、前記対象物(2)の特徴部分(5a,5b)の位置を特定するための視覚センサ(300)とを制御して、前記対象物(2)の位置決めを行なう制御装置(400)であって、
前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(41,41A)と、
最新の撮像タイミングで撮像された画像から前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の最新の位置と、前記移動機構(100)からの情報および前記移動制御部(41,41A)によって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける前記特徴部分(5a,5b)の移動速度を推定するための推定部(45,45A)と、
前記移動速度が閾値未満である場合に前記撮像予定タイミングで撮像させ、前記移動速度が閾値を超える場合に前記撮像予定タイミングで撮像させないように、前記視覚センサ(300)を制御するための撮像制御部(46)とを備える、制御装置(400)。
(構成5’)
構成1から4のいずれかの制御システム(1,1A)に用いられる制御装置(400)であって、
前記移動制御部(41,41A)と、
前記推定部(45,45A)と、
前記撮像制御部(46)とを備える、制御装置。
(構成6)
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)をサポートするためのプログラムであって、
前記制御システム(1,1A)は、前記対象物(2)を撮像することにより画像を取得し、当該画像に基づいて、前記対象物(2)の特徴部分(5a,5b)の位置を特定するための視覚センサ(300)を備え、
コンピュータに、
前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
最新の撮像タイミングで撮像された画像から前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の最新の位置と、前記移動機構(100)からの情報および前記制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける前記特徴部分(5a,5b)の移動速度を推定するステップと、
前記移動速度が閾値未満である場合に前記撮像予定タイミングで撮像させ、前記移動速度が閾値を超える場合に前記撮像予定タイミングで撮像させないように、前記視覚センサ(300)を制御するステップとを実行させる、プログラム。
(構成6’)
構成1から4のいずれかの制御システム(1,1A)をサポートするためのプログラムであって、
コンピュータに、
前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
最新の撮像タイミングで撮像された画像から前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の最新の位置と、前記移動機構(100)からの情報および前記制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける前記特徴部分(5a,5b)の移動速度を推定するステップと、
前記移動速度が閾値未満である場合に前記撮像予定タイミングで撮像させ、前記移動速度が閾値を超える場合に前記撮像予定タイミングで撮像させないように、前記視覚センサ(300)を制御するステップとを実行させる、プログラム。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合せても、実施することが意図される。
1,1A 制御システム、2 ワーク、4 露光マスク、5a,5b マーク、32 画像取得部、34 位置特定部、41,41A 移動制御部、42 位置決定部、43 減算部、44,44A 演算部、45,45A 推定部、46 撮像制御部、47 目標軌道決定部、100 移動機構、110X Xステージ、110Y Yステージ、110θ θステージ、120X,120Y,120θ サーボモータ、130 エンコーダ、200 ドライバユニット、200X,200Y,200θ サーボドライバ、300 視覚センサ、302a,302b カメラ、304 画像処理装置、310,414 プロセッサ、312 RAM、314 表示コントローラ、316 システムコントローラ、318 I/Oコントローラ、320 ハードディスク、322 カメラインターフェイス、322a,322b 画像バッファ、324 入力インターフェイス、326 モーションコントローラインターフェイス、328,428 通信インターフェイス、330,422 メモリカードインターフェイス、332 表示部、334 キーボード、336 メモリカード、350,440 制御プログラム、400,400A モーションコントローラ、412 チップセット、416 不揮発性メモリ、418 主メモリ、420 システムクロック、424 記録媒体、430 内部バスコントローラ、432 DMA制御回路、434 内部バス制御回路、436 バッファメモリ、438 フィールドバスコントローラ。

Claims (5)

  1. 対象物に対して並進移動と回転移動とを行わせる移動機構を制御して、前記対象物の位置を目標位置に合わせる制御システムであって、
    前記対象物は、予め定められた位置に設けられる特徴部分を有し、
    前記制御システムは、
    撮像指示を受けたことに応じて、前記対象物を撮像することにより画像を取得し、当該画像に対して前記特徴部分のパターンを用いたパターン認識を実行することにより、前記特徴部分の位置を特定する視覚センサと、
    前記視覚センサによって特定された前記特徴部分の位置から推定される前記対象物の位置と前記目標位置との偏差を求め、前記偏差を0に収束させる移動指令を生成し、生成した移動指令を前記移動機構に出力して、前記対象物の位置が前記目標位置に近づくように前記移動機構を制御する移動制御部と、
    最新の撮像タイミングで撮像された画像から前記視覚センサによって特定された前記特徴部分の最新の位置と、前記移動機構の駆動量に関する第1情報および前記移動制御部によって生成される前記移動指令に関する第2情報の少なくとも一方を含む参照情報とに基づいて、前記最新の撮像タイミングから予め定められた撮像周期だけ経過した次の撮像予定タイミングにおける前記特徴部分の移動速度を推定する推定部と、
    前記移動速度が閾値未満である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力し、前記移動速度が閾値以上である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力しない撮像制御部とを備え、
    前記推定部は、
    前記回転移動の回転中心と前記最新の位置との間の距離と、前記参照情報とを用いて、前記最新の撮像タイミングから前記撮像予定タイミングまでの期間における2つの時点の前記特徴部分の位置を計算し、
    前記2つの時点の前記特徴部分の位置間の距離を前記2つの時点の時間差で除算することにより前記移動速度を計算する、制御システム。
  2. 前記移動機構は、前記対象物を移動させるために駆動されるモータを含み、
    前記参照情報は、前記第1情報を含み、
    前記第1情報は、前記最新の撮像タイミングからの前記モータの駆動量を示す情報を含む、請求項1に記載の制御システム。
  3. 前記移動制御部は、前記撮像周期よりも短い制御周期ごとに前記移動指令を生成し、
    前記参照情報は、前記第2情報を含み、
    前記第2情報は、前記最新の撮像タイミング以降に前記移動制御部によって生成された前記移動指令を示す情報を含む、請求項1または2に記載の制御システム。
  4. 対象物に対して並進移動と回転移動とを行わせる移動機構と、視覚センサとを制御して、前記対象物の位置を目標位置に合わせる制御装置であって、
    前記対象物は、予め定められた位置に設けられる特徴部分を有し、
    前記視覚センサは、撮像指示を受けたことに応じて、前記対象物を撮像することにより画像を取得し、当該画像に対して前記特徴部分のパターンを用いたパターン認識を実行することにより、前記特徴部分の位置を特定し、
    前記制御装置は、
    前記視覚センサによって特定された前記特徴部分の位置から推定される前記対象物の位置と前記目標位置との偏差を求め、前記偏差を0に収束させる移動指令を生成し、生成した移動指令を前記移動機構に出力して、前記対象物の位置が前記目標位置に近づくように前記移動機構を制御する移動制御部と、
    最新の撮像タイミングで撮像された画像から前記視覚センサによって特定された前記特徴部分の最新の位置と、前記移動機構の駆動量に関する情報および前記移動制御部によって生成される前記移動指令に関する情報の少なくとも一方を含む参照情報とに基づいて、前記最新の撮像タイミングから予め定められた撮像周期だけ経過した次の撮像予定タイミングにおける前記特徴部分の移動速度を推定する推定部と、
    前記移動速度が閾値未満である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力し、前記移動速度が閾値以上である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力しない撮像制御部とを備え、
    前記推定部は、
    前記回転移動の回転中心と前記最新の位置との間の距離と、前記参照情報とを用いて、前記最新の撮像タイミングから前記撮像予定タイミングまでの期間における2つの時点の前記特徴部分の位置を計算し、
    前記2つの時点の前記特徴部分の位置間の距離を前記2つの時点の時間差で除算することにより前記移動速度を計算する、制御装置。
  5. 対象物に対して並進移動と回転移動とを行わせる移動機構と視覚センサとを備える制御システムに、前記対象物の位置を目標位置に合わせさせるプログラムであって、
    前記対象物は、予め定められた位置に設けられる特徴部分を有し、
    前記視覚センサは、撮像指示を受けたことに応じて、前記対象物を撮像することにより画像を取得し、当該画像に対して前記特徴部分のパターンを用いたパターン認識を実行することにより、前記特徴部分の位置を特定し、
    前記プログラムは、コンピュータに、
    前記視覚センサによって特定された前記特徴部分の位置から推定される前記対象物の位置と前記目標位置との偏差を求め、前記偏差を0に収束させる移動指令を生成し、生成した移動指令を前記移動機構に出力して、前記対象物の位置が前記目標位置に近づくように前記移動機構を制御するステップと、
    最新の撮像タイミングで撮像された画像から前記視覚センサによって特定された前記特徴部分の最新の位置と、前記移動機構の駆動量に関する情報および前記移動指令に関する情報の少なくとも一方を含む参照情報とに基づいて、前記最新の撮像タイミングから予め定められた撮像周期だけ経過した次の撮像予定タイミングにおける前記特徴部分の移動速度を推定するステップと、
    前記移動速度が閾値未満である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力し、前記移動速度が閾値以上である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力しないステップとを実行させ、
    前記推定するステップは、
    前記回転移動の回転中心と前記最新の位置との間の距離と、前記参照情報とを用いて、前記最新の撮像タイミングから前記撮像予定タイミングまでの期間における2つの時点の前記特徴部分の位置を計算するステップと、
    前記2つの時点の前記特徴部分の位置間の距離を前記2つの時点の時間差で除算することにより前記移動速度を計算するステップとを含む、プログラム。
JP2018111386A 2018-06-11 2018-06-11 制御システム、制御装置およびプログラム Active JP7172151B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018111386A JP7172151B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置およびプログラム
CN201910384145.9A CN110581944B (zh) 2018-06-11 2019-05-09 控制系统、控制装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018111386A JP7172151B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2019215634A JP2019215634A (ja) 2019-12-19
JP7172151B2 true JP7172151B2 (ja) 2022-11-16

Family

ID=68810799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018111386A Active JP7172151B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置およびプログラム

Country Status (2)

Country Link
JP (1) JP7172151B2 (ja)
CN (1) CN110581944B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7305588B2 (ja) * 2020-03-19 2023-07-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 データ流通制御装置、方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203365A (ja) 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06258051A (ja) * 1993-03-06 1994-09-16 Taiyo Yuden Co Ltd マーク検出方法
US7499584B2 (en) * 2004-10-21 2009-03-03 Mitutoyo Corporation Smear-limit based system and method for controlling vision systems for consistently accurate and high-speed inspection
CN101893894B (zh) * 2010-06-30 2012-01-04 上海交通大学 可重构微型移动机器人集群定位跟踪系统
KR101826068B1 (ko) * 2011-07-04 2018-02-07 삼성디스플레이 주식회사 유기층 증착 장치
JP5987205B2 (ja) * 2011-08-10 2016-09-07 富士機械製造株式会社 電子回路部品装着機の位置決め不良検出方法
CN104427114A (zh) * 2013-09-03 2015-03-18 中兴通讯股份有限公司 拍摄方法、装置及移动终端
CN105827951B (zh) * 2016-01-29 2019-05-17 维沃移动通信有限公司 一种运动对象拍照方法及移动终端
JP6779721B2 (ja) * 2016-09-14 2020-11-04 キヤノン株式会社 検出装置、検出方法、リソグラフィ装置、および物品の製造方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203365A (ja) 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法

Also Published As

Publication number Publication date
CN110581944A (zh) 2019-12-17
CN110581944B (zh) 2022-10-11
JP2019215634A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
JP7078894B2 (ja) 制御システム、制御装置、画像処理装置およびプログラム
JP6167622B2 (ja) 制御システムおよび制御方法
CN110581945B (zh) 控制系统、控制装置、图像处理装置以及存储介质
CN111185901A (zh) 机器人装置
JP7143643B2 (ja) 位置決めシステム、監視装置、監視方法およびプログラム
TW202029879A (zh) 控制裝置及控制方法
JP7172151B2 (ja) 制御システム、制御装置およびプログラム
CN111886556B (zh) 控制系统、控制方法以及计算机可读存储介质
JP6950631B2 (ja) 位置決めシステム、制御方法およびプログラム
JP6813000B2 (ja) 制御システム、制御方法およびプログラム
TW202021754A (zh) 自動定位方法以及自動控制裝置
CN111902785B (zh) 控制系统、控制方法以及计算机可读存储介质
US20220134570A1 (en) Control device and alignment device
JP7020262B2 (ja) 制御システム、制御方法およびプログラム
JP7040567B2 (ja) 制御装置、制御装置の制御方法、情報処理プログラム、および記録媒体
JP7052840B2 (ja) 位置特定装置、位置特定装置の制御方法、情報処理プログラム、および記録媒体
CN111210469B (zh) 基于数字图像相关技术的机器人机加工位移参量测量方法
CN111868658B (zh) 控制系统、控制方法以及计算机可读存储介质
JP2024019166A (ja) アライメントシステム、アライメント方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R150 Certificate of patent or registration of utility model

Ref document number: 7172151

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150