JP7078894B2 - 制御システム、制御装置、画像処理装置およびプログラム - Google Patents

制御システム、制御装置、画像処理装置およびプログラム Download PDF

Info

Publication number
JP7078894B2
JP7078894B2 JP2018111385A JP2018111385A JP7078894B2 JP 7078894 B2 JP7078894 B2 JP 7078894B2 JP 2018111385 A JP2018111385 A JP 2018111385A JP 2018111385 A JP2018111385 A JP 2018111385A JP 7078894 B2 JP7078894 B2 JP 7078894B2
Authority
JP
Japan
Prior art keywords
movement
imaging timing
image processing
unit
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018111385A
Other languages
English (en)
Other versions
JP2019215633A (ja
Inventor
佳英 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018111385A priority Critical patent/JP7078894B2/ja
Priority to CN201910384650.3A priority patent/CN110581946B/zh
Publication of JP2019215633A publication Critical patent/JP2019215633A/ja
Application granted granted Critical
Publication of JP7078894B2 publication Critical patent/JP7078894B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position Or Direction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本技術は、対象物を位置決めするための制御システム、制御装置、画像処理装置およびプログラムに関する。
FA(ファクトリーオートメーション)において、対象物の位置を目標位置に合わせる技術(位置決め技術)が各種実用化されている。この際、目標位置に対する対象物の位置の偏差を計測する方法として、対象物を撮像することにより得られた画像を用いる方法がある。
特開2014-203365号公報(特許文献1)には、対象物の位置を変更する移動機構の移動中に対象物を撮像して画像データを取得し、画像データに含まれる特徴部分の位置に基づいて、対象物を目標位置に位置決めする制御システムが開示されている。
特開2014-203365号公報
特許文献1に開示された技術では、対象物を撮像して得られた画像の全域を探索範囲として特徴部分が探索され、特徴部分の位置が特定される。そのため、特徴部分の位置の特定に要する時間が長くなり、位置決めの速度が低下する。
本発明は、上記の問題を鑑みてなされたものであり、その目的は、対象物を高速に位置決めできる制御システム、制御装置、画像処理装置およびプログラムを提供することである。
本開示の一例によれば、対象物を移動させる移動機構を制御して、対象物の位置決めを行なう制御システムは、画像処理装置と、移動制御部と、推定部と、決定部とを備える。画像処理装置は、対象物を撮像する撮像部によって撮像タイミングごとに得られる画像の中から、対象物の特徴部分を探索し、特徴部分の位置を特定する。移動制御部は、画像処理装置によって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御する。推定部は、移動機構からの第1情報および移動制御部によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の対象物の移動量を推定する。決定部は、第1撮像タイミングで撮像された画像から画像処理装置によって特定された特徴部分の第1位置と移動量とに基づいて、第2撮像タイミングにおける特徴部分の位置を予測し、予測した位置を含む探索範囲を決定する。画像処理装置は、第2撮像タイミングで撮像された画像のうち探索範囲の中から特徴部分を探索して、特徴部分の第2位置を特定する。
この開示によれば、画像処理装置は、画像の全域から特徴部分を探索する場合に比べて、特徴部分の位置を高速に特定することができる。その結果、制御システムは、対象物を高速に位置決めできる。
本開示の一例によれば、移動機構は、対象物を移動させるために駆動されるモータを含む。推定部は、第1撮像タイミングから第2撮像タイミングまでの間のモータの駆動量を示す第1情報に基づいて、移動量を推定する。
この開示によれば、第1撮像タイミングから第2撮像タイミングまでの間のモータの駆動量を示す第1情報は、第1撮像タイミングから第2撮像タイミングまでの間における移動機構の移動量を直接的に示す。そのため、推定部は、対象物の移動量を精度良く推定することができる。
本開示の一例によれば、移動機構は、対象物を移動させるために駆動されるモータを含む。移動制御部は、制御周期ごとに移動機構に対する移動指令を生成する。推定部は、第1撮像タイミングから第1撮像タイミングと第2撮像タイミングとの間の中間タイミングまでの間のモータの駆動量を示す第1情報と、中間タイミングから第2撮像タイミングまでの間にフィードバック制御部によって生成された移動指令を示す第2情報とに基づいて、移動量を推定する。
この開示によれば、第2撮像タイミングと重なる制御周期の開始時刻において、推定部は、第1撮像タイミングから第2撮像タイミングまでの間における移動機構の移動量を推定することができる。そのため、決定部は、第2撮像タイミングの前に、探索範囲を決定できる。その結果、画像処理装置は、撮像部による撮像終了後に、探索範囲から特徴部分を探索する処理を即座に開始することができる。
本開示の一例によれば、移動制御部は、目標位置に対する対象物の位置の偏差に基づいて移動機構の目標軌道を決定し、決定した目標軌道に従って移動するように移動機構を制御する。推定部は、目標軌道を示す第2情報に基づいて、移動量を推定する。
この開示によっても、決定部は、第2撮像タイミングの前に、探索範囲を決定できる。そのため、画像処理装置は、撮像部による撮像終了後に、探索範囲から特徴部分を探索する処理を即座に開始することができる。
本開示の一例によれば、制御システムは、画像取得範囲が探索範囲となるように撮像部に指示するための指示部をさらに備える。
この開示によれば、特徴部分が含まれる可能性のほとんどない範囲を撮像する必要がなくなり、撮像部における撮像処理に要する時間を短縮できる。
本開示の一例によれば、決定部は、移動量が大きいほど探索範囲のサイズを大きくする。
移動量が大きい場合、決定部によって予測される位置の誤差が大きくなる。この開示によれば、移動量が大きいほど探索範囲のサイズを大きくすることにより、特徴部分が探索範囲から外れることを抑制できる。
本開示の一例によれば、制御装置は、対象物を移動させる移動機構と、対象物を撮像する撮像部によって撮像タイミングごとに得られた画像の中から、対象物の特徴部分を探索し、特徴部分の位置を特定するための画像処理装置とを制御して、対象物の位置決めを行なう。制御装置は、移動制御部と、推定部と、決定部と、指示部とを備える。移動制御部は、画像処理装置によって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御する。推定部は、移動機構からの第1情報および移動制御部によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の対象物の移動量を推定する。決定部は、第1撮像タイミングで撮像された画像から画像処理装置によって特定された特徴部分の位置と移動量とに基づいて、第2撮像タイミングにおける特徴部分の位置を予測し、予測した位置を含む探索範囲を決定する。指示部は、第2撮像タイミングで撮像された画像のうち探索範囲の中から特徴部分を探索するように画像処理装置に指示する。
本開示の一例によれば、対象物を撮像することにより得られた画像に基づいて対象物の特徴部分の位置を特定する画像処理装置は、受付部と、位置特定部とを備える。受付部は、探索範囲の指定を受け付ける。位置特定部は、画像のうちの探索範囲の中から特徴部分を探索し、特徴部分の位置を特定する。
本開示の一例によれば、対象物を移動させる移動機構を制御して、対象物の位置決めを行なう制御システムをサポートするためのプログラムは、コンピュータに、第1~第4のステップを実行させる。制御システムは、撮像タイミングごとに対象物を撮像することにより得られた画像の中から対象物の特徴部分を探索し、特徴部分の位置を特定するための画像処理装置を備える。第1のステップは、画像処理装置によって特定された特徴部分の位置に基づいて、対象物の位置が目標位置に近づくように移動機構を制御するステップである。第2のステップは、移動機構からの第1情報および第1のステップによって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の対象物の移動量を推定するステップである。第3のステップは、第1撮像タイミングで撮像された画像から画像処理装置によって特定された特徴部分の位置と移動量とに基づいて、第2撮像タイミングにおける特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するステップである。第4のステップは、第2撮像タイミングで撮像された画像のうち探索範囲の中から特徴部分を探索するように画像処理装置に指示するステップである。
これらの開示によって、画像処理装置は、画像の全域から特徴部分を探索する場合に比べて、特徴部分の位置を高速に特定することができる。その結果、対象物を高速に位置決めできる。
本発明によれば、対象物を高速に位置決めできる。
本実施の形態に係る制御システムの全体構成を示す模式図である。 第1撮像タイミングで撮像された画像から特定されたマークの位置と、第2撮像タイミングにおけるマークの予測位置と、探索範囲との関係を示す図である。 本実施の形態に係る制御システムを構成する画像処理装置のハードウェア構成を示す模式図である。 実施の形態に係る制御システムを構成するモーションコントローラのハードウェア構成を示す模式図である。 図1に示される制御システムの機能構成を示すブロック図である。 撮像タイミングt(k-1)から撮像タイミングtkまでの間のワークの移動量Δpを推定する方法を説明する図である。 制御システムの位置決め処理の流れの一例を示すフローチャートである。 移動制御部による移動機構の制御処理の流れの一例を示すフローチャートである。 前半移動量Δp1を推定する方法を説明する図である。 変形例3に係る制御システムの機能構成を示すブロック図である。 目標軌道TGX,TGY,TGθの一例を示す図である。 目標軌道決定部における処理の流れを示すフローチャートである。 変形例6における探索範囲の決定方法を示す図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
§1 適用例
まず、本実施の形態に係る制御システムの一つの適用例について説明する。図1は、本実施の形態に係る制御システム1の全体構成を示す模式図である。図1に示す制御システム1は、画像処理を用いてアライメントを行う。アライメントは、典型的には、工業製品の製造過程などにおいて、対象物(以下、「ワーク」とも称す)を生産ラインの本来の位置に配置する処理などを意味する。このようなアライメントの一例として、制御システム1は、液晶パネルの生産ラインにおいて、ガラス基板であるワーク2に対する回路パターンの焼付処理前に、露光マスク4に対するワーク2の位置決めを制御する。ワーク2には、予め定められた位置に位置決め用の特徴部分であるマーク5a,5bが設けられている。制御システム1は、ワーク2上に設けられたマーク5a,5bを撮像し、撮像により得られた画像に対して画像処理を行うことで、ワーク2の位置決めを実現する。
制御システム1は、移動機構100と、ドライバユニット200と、視覚センサ300と、モーションコントローラ400とを備える。
移動機構100は、ワーク2を移動させる。移動機構100は、ワーク2を目標位置に配置できる機構であればどのような自由度のものであってもよい。移動機構100は、たとえば、水平方向の並進移動と回転移動とをワーク2に与えることができるXYθステージである。
図1に示す例の移動機構100は、Xステージ110Xと、Yステージ110Yと、θステージ110θと、サーボモータ120X,120Y,120θとを含む。図1に示す例では、サーボモータ120X,120Y,120θの各々は回転式モータで構成される。サーボモータ120Xは、Xステージ110XをX軸方向に沿って並進駆動する。サーボモータ120Yは、Yステージ110YをY軸方向に沿って並進駆動する。サーボモータ120θは、Z軸に平行な軸を中心にθステージ110θを回転駆動する。
ドライバユニット200は、制御周期Tsごとに受ける移動指令に従って、移動機構100に対するフィードバック制御を行なう。図1に示されるように、ドライバユニット200は、サーボドライバ200X,200Y,200θを含む。サーボドライバ200Xは、Xステージ110Xの移動量が移動指令に近付くように、サーボモータ120Xに対してフィードバック制御を行なう。サーボドライバ200Yは、Yステージ110Yの移動量が移動指令に近付くように、サーボモータ120Yに対してフィードバック制御を行なう。サーボドライバ200θは、θステージ110θの移動量が移動指令に近付くように、サーボモータ120θに対してフィードバック制御を行なう。
視覚センサ300は、1つ以上のカメラ(図1の例では、カメラ302a,302b)と、カメラ302a,302bが撮像した画像に対して画像処理を行なうことにより、画像に含まれるマーク5a,5bの位置を特定する画像処理装置304とを含む。すなわち、画像処理装置304は、ワーク2を撮像する撮像部であるカメラ302a,302bから得られた画像の中からマーク5a,5bをそれぞれ探索し、マーク5a,5bの位置を特定する。
モーションコントローラ400は、たとえばPLC(プログラマブルロジックコントローラ)であり、各種のFA制御を行なう。制御装置であるモーションコントローラ400は、画像処理装置304によって特定されたマーク5a,5bの位置に基づいて、ワーク2の位置が目標位置に近づくように移動機構100を制御する。具体的には、モーションコントローラ400は、制御周期Tsごとに、ワーク2の位置を目標位置に近づけるための移動指令を生成し、生成した移動指令をドライバユニット200に出力する。
モーションコントローラ400は、移動機構100からの情報に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間のワーク2の移動量を推定する。移動機構100からの情報は、たとえば、サーボモータ120X,120Y,120θの駆動量(ここでは回転量)を示すエンコーダ値である。
モーションコントローラ400は、第1撮像タイミングで撮像された画像から画像処理装置304によって特定されたマーク5aの位置と推定された移動量とに基づいて、第2撮像タイミングにおけるマーク5aの位置(以下、「予測位置」という)を予測する。同様に、モーションコントローラ400は、第1撮像タイミングで撮像された画像から画像処理装置304によって特定されたマーク5bの位置と推定された移動量とに基づいて、第2撮像タイミングにおけるマーク5bの予測位置を予測する。モーションコントローラ400は、マーク5aの予測位置を含む探索範囲と、マーク5bの予測位置を含む探索範囲とを決定する。
モーションコントローラ400は、第2撮像タイミングでカメラ302aによって撮像された画像のうち探索範囲の中からマーク5aを探索するように画像処理装置304に指示する。同様に、モーションコントローラ400は、第2撮像タイミングでカメラ302bによって撮像された画像のうち探索範囲の中からマーク5bを探索するように画像処理装置304に指示する。
図2は、第1撮像タイミングで撮像された画像から特定されたマークの位置と、第2撮像タイミングにおけるマークの予測位置と、探索範囲との関係を示す図である。モーションコントローラ400は、第1撮像タイミングから第2撮像タイミングまでの間のワーク2の移動量Δpを推定する。
図2に示されるように、画像処理装置304は、第1撮像タイミングでカメラ302aによって撮像された画像50aから、マーク5aの位置(「以下、「計測位置PSa」という)を特定する。モーションコントローラ400は、計測位置PSaと移動量Δpとに基づいて、第2撮像タイミングにおけるマーク5aの位置(以下、「予測位置PEa」)を予測する。モーションコントローラ400は、予測位置PEaを含む探索範囲(以下、「探索範囲SRa」という)を決定する。
同様に、画像処理装置304は、第1撮像タイミングでカメラ302bによって撮像された画像50bから、マーク5bの位置(「以下、「計測位置PSb」という)を特定する。モーションコントローラ400は、計測位置PSbと移動量Δpとに基づいて、第2撮像タイミングにおけるマーク5bの位置(以下、「予測位置PEb」という)を予測する。モーションコントローラ400は、予測位置PEbを含む探索範囲(以下、「探索範囲SRb」という)を決定する。
画像処理装置304は、第2撮像タイミングでカメラ302aによって撮像された画像のうち探索範囲SRaの中からマーク5aを探索して、マーク5aの位置を特定する。同様に、画像処理装置304は、第2撮像タイミングでカメラ302bによって撮像された画像のうち探索範囲SRbの中からマーク5bを探索して、マーク5bの位置を特定する。
これにより、画像処理装置304は、画像の全域からマーク5a,5bを探索する場合に比べて、マーク5a,5bの位置を高速に特定することができる。その結果、制御システム1は、ワーク2を高速に位置決めできる。
§2 具体例
次に、本実施の形態に係る制御システム1の具体例について説明する。
<2-1.画像処理装置のハードウェア構成>
図3は、本実施の形態に係る制御システムを構成する画像処理装置のハードウェア構成を示す模式図である。図3を参照して、画像処理装置304は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
より具体的には、画像処理装置304は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ310と、RAM(Random Access Memory)312と、表示コントローラ314と、システムコントローラ316と、I/O(Input Output)コントローラ318と、ハードディスク320と、カメラインターフェイス322と、入力インターフェイス324と、モーションコントローラインターフェイス326と、通信インターフェイス328と、メモリカードインターフェイス330とを含む。これらの各部は、システムコントローラ316を中心として、互いにデータ通信可能に接続される。
プロセッサ310は、システムコントローラ316との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
システムコントローラ316は、プロセッサ310、RAM312、表示コントローラ314、およびI/Oコントローラ318とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、画像処理装置304全体の処理を司る。
RAM312は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク320から読み出されたプログラムや、カメラ302a,302bによって取得された画像(画像データ)、画像に対する処理結果、およびワークデータなどを保持する。
表示コントローラ314は、表示部332と接続されており、システムコントローラ316からの内部コマンドに従って、各種の情報を表示するための信号を表示部332へ出力する。
I/Oコントローラ318は、画像処理装置304に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ318は、ハードディスク320と、カメラインターフェイス322と、入力インターフェイス324と、モーションコントローラインターフェイス326と、通信インターフェイス328と、メモリカードインターフェイス330と接続される。
ハードディスク320は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ310で実行される制御プログラム350に加えて、各種設定値などが格納される。このハードディスク320にインストールされる制御プログラム350は、メモリカード336などに格納された状態で流通する。なお、ハードディスク320に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
カメラインターフェイス322は、ワークを撮影することで生成された画像データを受付ける入力部に相当し、プロセッサ310とカメラ302a,302bとの間のデータ伝送を仲介する。カメラインターフェイス322は、カメラ302a,302bからの画像データをそれぞれ一時的に蓄積するための画像バッファ322a,322bを含む。複数のカメラに対して、カメラの間で共有できる単一の画像バッファを設けてもよいが、処理高速化のため、それぞれのカメラに対応付けて独立に複数配置することが好ましい。
入力インターフェイス324は、プロセッサ310とキーボード334、マウス、タッチパネル、専用コンソールなどの入力装置との間のデータ伝送を仲介する。
モーションコントローラインターフェイス326は、プロセッサ310とモーションコントローラ400との間のデータ伝送を仲介する。
通信インターフェイス328は、プロセッサ310と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス328は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
メモリカードインターフェイス330は、プロセッサ310と記録媒体であるメモリカード336との間のデータ伝送を仲介する。メモリカード336には、画像処理装置304で実行される制御プログラム350などが格納された状態で流通し、メモリカードインターフェイス330は、このメモリカード336から制御プログラムを読み出す。メモリカード336は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。あるいは、通信インターフェイス328を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置304にインストールしてもよい。
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係る制御プログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼び出して処理を実行するものであってもよい。
さらに、本実施の形態に係る制御プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る制御プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。
なお、代替的に、制御プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
<2-2.モーションコントローラのハードウェア構成>
図4は、実施の形態に係る制御システムを構成するモーションコントローラ400のハードウェア構成を示す模式図である。モーションコントローラ400は、チップセット412と、プロセッサ414と、不揮発性メモリ416と、主メモリ418と、システムクロック420と、メモリカードインターフェイス422と、通信インターフェイス428と、内部バスコントローラ430と、フィールドバスコントローラ438とを含む。チップセット412と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
プロセッサ414およびチップセット412は、典型的には、汎用的なコンピュータアーキテクチャに従う構成を有している。すなわち、プロセッサ414は、チップセット412から内部クロックに従って順次供給される命令コードを解釈して実行する。チップセット412は、接続されている各種コンポーネントとの間で内部的なデータを遣り取りするとともに、プロセッサ414に必要な命令コードを生成する。システムクロック420は、予め定められた周期のシステムクロックを発生してプロセッサ414に提供する。チップセット412は、プロセッサ414での演算処理の実行の結果得られたデータなどをキャッシュする機能を有する。
モーションコントローラ400は、記憶手段として、不揮発性メモリ416および主メモリ418を有する。不揮発性メモリ416は、プロセッサ414で実行される制御プログラム440に加えて、データ定義情報、ログ情報などを不揮発的に保持する。制御プログラム440は、記録媒体424などに格納された状態で流通する。主メモリ418は、揮発性の記憶領域であり、プロセッサ414で実行されるべき各種プログラムを保持するとともに、各種プログラムの実行時の作業用メモリとしても使用される。
モーションコントローラ400は、通信手段として、通信インターフェイス428および内部バスコントローラ430を有する。これらの通信回路は、データの送信および受信を行う。
通信インターフェイス428は、画像処理装置304との間でデータを遣り取りする。内部バスコントローラ430は、データの遣り取りを制御する。より具体的には、内部バスコントローラ430は、バッファメモリ436と、DMA(Dynamic Memory Access)制御回路432と、内部バス制御回路434とを含む。
メモリカードインターフェイス422は、モーションコントローラ400に対して着脱可能な記録媒体424とプロセッサ414とを接続する。
フィールドバスコントローラ438は、フィールドネットワークに接続するための通信インターフェイスである。モーションコントローラ400は、フィールドバスコントローラ438を介してサーボドライバ200X,200Y,200θと接続される。当該フィールドネットワークには、たとえば、EtherCAT(登録商標)、EtherNet/IP(登録商標)、CompoNet(登録商標)などが採用される。
<2-3.画像処理装置の機能構成>
図5は、図1に示される制御システムの機能構成を示すブロック図である。図5に示されるように、画像処理装置304は、画像取得部32と、受付部34と、位置特定部36とを含む。
画像取得部32は、モーションコントローラ400から撮像トリガTRを受けると、撮像するようにカメラ302a,302bを制御し、カメラ302a,302bから所定サイズの画像を取得する。
受付部34は、カメラ302aによって撮像された画像に対する探索範囲SRaの指示をモーションコントローラ400から受け付ける。受付部34は、カメラ302bによって撮像された画像に対する探索範囲SRbの指示をモーションコントローラ400から受け付ける。
位置特定部36は、カメラ302aによって撮像された画像の中からマーク5aを探索し、マーク5aの計測位置PSaを特定する。位置特定部36は、カメラ302bによって撮像された画像の中からマーク5bを探索し、マーク5bの計測位置PSbを特定する。位置特定部36は、公知のパターン認識技術を用いて、画像の中からマーク5a,5bを認識し、認識したマーク5a,5bの座標を計測する。当該座標は、カメラ302a,302b各々のローカル座標系で示される。位置特定部36は、特定したマーク5aの計測位置PSaの座標と、特定したマーク5bの計測位置PSbの座標とをモーションコントローラ400に出力する。
位置特定部36は、受付部34がマーク5aの探索範囲SRaの指示を受け付けている場合、カメラ302aによって撮像された画像のうち当該探索範囲SRaの中からマーク5aを探索する。位置特定部36は、受付部34がマーク5aの探索範囲SRaの指示を受け付けていない場合、カメラ302aによって撮像された画像の全域からマーク5aを探索する。同様に、位置特定部36は、受付部34がマーク5bの探索範囲SRbの指示を受け付けている場合、カメラ302bによって撮像された画像のうち当該探索範囲SRbの中からマーク5bを探索する。位置特定部36は、受付部34がマーク5bの探索範囲SRbの指示を受け付けていない場合、カメラ302bによって撮像された画像の全域からマーク5bを探索する。
<2-4.モーションコントローラの機能構成>
図5に示されるように、モーションコントローラ400は、指示部41と、推定部42と、範囲決定部43と、移動制御部44とを備える。指示部41と推定部42と範囲決定部43と移動制御部44とは、図4に示すプロセッサ414が制御プログラム440を実行することにより実現される。
また、図5に示されるように、移動機構100はエンコーダ130を含む。エンコーダ130は、サーボモータ120X,120Y,120θの移動量に応じたパルス信号をそれぞれ発生する。エンコーダ130は、サーボモータ120Xに対応するパルス信号に含まれるパルス数をカウントすることにより、初期位置からのXステージ110XのX方向の並進移動量をエンコーダ値PVmXとして計測する。パルス数のカウント値と移動量とは、所定の係数によって関係付けられる。そのため、エンコーダ130は、パルス数のカウント値に当該係数を乗ずることにより、移動量を計測できる。同様に、エンコーダ130は、初期位置からのYステージ110YのY方向の並進移動量をエンコーダ値PVmYとして計測するとともに、初期位置からのθステージ110θの回転移動量をエンコーダ値PVmθとして計測する。エンコーダ130は、制御周期Tsと同じ周期で、エンコーダ値PVmX,PVmY,PVmθを計測して出力する。
<2-4-1.指示部>
指示部41は、画像処理装置304に対して動作指示を出力する。指示部41は、上位の制御装置から位置決め処理の開始指示を受けると、撮像周期Tbに従って、撮像トリガTR(撮像指示)を画像処理装置304に出力する。具体的には、指示部41は、上位の制御装置から位置決め処理の開始指示を受けると、1回目の撮像トリガTRを出力する。その後、指示部41は、撮像周期Tbだけ経過するたびに、2回目以降の撮像トリガTRを出力する。
指示部41は、2回目以降の撮像トリガTRに応じて撮像された画像について、範囲決定部43によって決定された探索範囲SRa,SRbの中からマーク5a,5bをそれぞれ探索するように画像処理装置304に指示する。
<2-4-2.推定部>
推定部42は、(k-1)回目(kは2以上の整数)の撮像トリガTRに対応する撮像タイミングt(k-1)からk回目の撮像トリガTRに対応する撮像タイミングtkまでの間のワーク2の移動量Δp=(ΔX,ΔY,Δθ)を推定する。ΔXは、Xステージ110XのX方向の並進移動量を示す。ΔYは、Yステージ110YのY方向の並進移動量を示す。Δθは、θステージ110θの回転移動量を示す。
図6は、撮像タイミングt(k-1)から撮像タイミングtkまでの間のワーク2の移動量を推定する方法を説明する図である。図6に示されるように、推定部42は、撮像タイミングt(k-1)におけるエンコーダ値PVm(k-1)と撮像タイミングtkにおけるエンコーダ値PVm(k)とに基づいて、移動量Δpを推定する。なお、タイミングtiにおけるPVm(i)は、(PVmX(i),PVmY(i),PVmθ(i))で表される。PVmX(i),PVmY(i),PVmθ(i)は、それぞれタイミングtiにおいてエンコーダ130から出力されるエンコーダ値PVmX,PVmY,PVmθである。もしくは、タイミングtiとエンコーダ130の検出時刻とがずれている場合、PVmX(i)は、タイミングtiに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmXの内挿補間値である。同様に、PVmY(j)は、時刻tjに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmYの内挿補間値である。PVmθ(j)は、時刻tjに近接する2つの検出時刻にエンコーダ130から出力されるエンコーダ値PVmθの内挿補間値である。内挿補間値の算出方法については後述する。
指示部41が撮像トリガTRを出力してから、カメラ302a,302bが露光を開始するまで一定の遅延時間が発生する。当該遅延時間は、予め実験等により確認されている。推定部42は、撮像トリガTRを出力してから当該遅延時間だけ経過した時刻を撮像タイミングとして特定する。
推定部42は、撮像タイミングt(k-1)におけるエンコーダ値PVm(k-1)と撮像タイミングtkにおけるエンコーダ値PVm(k)との差を、撮像タイミングt(k-1)から撮像タイミングtkまで間のワーク2の移動量Δpとして推定する。つまり、推定部42は、以下の式(1)に従って、移動量Δpを推定する。
Δp=(ΔX,ΔY,Δθ)
=(PVmX(k)-PVmX(k-1),PVmY(k)-PVmY(k-1),PVmθ(k)-PVmθ(k-1)) ・・・式(1)。
<2-4-3.範囲決定部>
範囲決定部43は、撮像タイミングt(k-1)で撮像された画像から特定されたマーク5aの計測位置PSaと、推定部42によって推定された移動量Δpとに基づいて、撮像タイミングtkにおけるマーク5aの予測位置PEaを予測する。以下、範囲決定部43による予測位置PEaの予測手順について説明する。
範囲決定部43は、画像処理装置304から受けた計測位置PSaの座標(カメラ302aのローカル座標系)をワールド座標系(移動機構100の機械座標系)の座標に変換する。範囲決定部43は、カメラ302aのローカル座標系とワールド座標系とを対応付ける第1キャリブレーションデータを用いて、ワールド座標系における計測位置PSaのXY座標(xsa,ysa)を求める。
範囲決定部43は、移動量Δp=(ΔX,ΔY,Δθ)だけワーク2が移動したときの計測位置PSaから予測位置PEaへの変換式を用いて、ワールド座標系における予測位置PEaの座標を求める。変換式は、以下の式(2)に示される。
Ea=T(Ra(Sa)) ・・・式(2)
式(2)において、Saは、ワールド座標系における計測位置PSaのX座標xsaおよびY座標ysaの転置行列である(xsa,ysa)を示す。Ra( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSaとの距離と、θステージ110θの回転移動量Δθとに基づいて定められる。T( )は、並進移動に対応する変換式を示し、Xステージ110Xの移動量ΔXとYステージ110Yの移動量ΔYと応じて定められる。Eaは、ワールド座標系における予測位置PEaのX座標xeaおよびY座標yeaの転置行列である(xea,yea)を示す。
範囲決定部43は、第1キャリブレーションデータを用いて、ワールド座標系における予測位置PEaの座標をカメラ302aに対応するローカル座標系の座標に逆変換する。これにより、範囲決定部43は、ローカル座標系における予測位置PEaの座標を得ることができる。
同様の方法により、範囲決定部43は、撮像タイミングtkにおけるマーク5bの予測位置PEbを予測する。つまり、範囲決定部43は、画像処理装置304から受けた計測位置PSbの座標(カメラ302bのローカル座標系)をワールド座標系の座標に変換する。範囲決定部43は、カメラ302bのローカル座標系とワールド座標系とを対応付ける第2キャリブレーションデータを用いて、ワールド座標系における計測位置PSbのXY座標(xsb,ysb)を求める。
範囲決定部43は、移動量Δp=(ΔX,ΔY,Δθ)だけワーク2が移動したときの計測位置PSbから予測位置PEbへの変換式を用いて、ワールド座標系における予測位置PEbの座標を求める。変換式は、以下の式(3)に示される。
Eb=T(Rb(Sb)) ・・・式(3)
式(3)において、Sbは、ワールド座標系における計測位置PSbのX座標xsbおよびY座標ysbの転置行列である(xsb,ysb)を示す。Rb( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSbとの距離と、θステージ110θの回転移動量Δθとに基づいて定められる。T( )は、並進移動に対応する変換式を示し、Xステージ110Xの移動量ΔXとYステージ110Yの移動量ΔYと応じて定められる。Ebは、ワールド座標系における予測位置PEbのX座標xebおよびY座標yebの転置行列である(xeb,yeb)を示す。
範囲決定部43は、第2キャリブレーションデータを用いて、ワールド座標系における予測位置PEbの座標をカメラ302bに対応するローカル座標系の座標に変換する。これにより、範囲決定部43は、ローカル座標系における予測位置PEbの座標を得ることができる。
範囲決定部43は、予測位置PEaを含む所定サイズの範囲を、マーク5a用の探索範囲SRaとして決定する。たとえば、範囲決定部43は、予測位置PEaを中心とする矩形状の範囲を探索範囲SRaとして決定する。範囲決定部43は、予測位置PEbを含む所定サイズの範囲を、マーク5b用の探索範囲SRbとして決定する。たとえば、範囲決定部43は、予測位置PEbを中心とする矩形状の範囲を探索範囲SRbとして決定する。
探索範囲SRa,SRbの所定サイズは、マーク5a,5bのサイズよりもわずかに大きく、カメラ302a,302bによって撮像される画像サイズよりも小さい。探索範囲SRa,SRbのサイズとマーク5a,5bのサイズとの差(マージン)は、予測位置PEa,PEbの誤差を考慮して予め定められる。誤差の要因は、計測位置PSa,PSbの計測誤差、カメラ302a,302bの座標系と移動機構100の座標系との対応関係を示すキャリブレーションの誤差、移動機構100の誤差などが挙げられる。
範囲決定部43は、探索範囲SRaを示す第1範囲情報と、探索範囲SRbを示す第2範囲情報とを指示部41に出力する。第1範囲情報および第2範囲情報は、たとえば矩形状の探索範囲の4頂点のXY座標値(ローカル座標系)である。第1範囲情報を受けた指示部41は、k回目の撮像トリガTRに対応してカメラ302aが撮像した画像のうち、第1範囲情報で示される探索範囲SRaの中からマーク5aを探索するように画像処理装置304に指示する。第2範囲情報を受けた指示部41は、k回目の撮像トリガTRに対応してカメラ302bが撮像した画像のうち、第2範囲情報で示される探索範囲SRbの中からマーク5bを探索するように画像処理装置304に指示する。
<2-4-4.移動制御部>
移動制御部44は、画像処理装置304によって特定された、マーク5aの計測位置PSaおよびマーク5bの計測位置PSbに基づいて、ワーク2の位置が目標位置SPに近づくように移動機構100を制御する。
ワーク2の目標位置SPは、生産工程ごとに予め決められている。たとえば、マーク5aとマーク5bとの中点が予め定められた座標に位置し、かつ、マーク5aとマーク5bとを結ぶ直線とX軸またはY軸とのなす角度が予め定められた角度となるようなワーク2の位置が目標位置SPとして設定される。
もしくは、カメラ302a,302bは、ワーク2のマーク5a,5bと合わせて、露光マスク4(図1参照)に設けられた2つの目標マークも撮像してもよい。この場合、撮像された画像に含まれる当該2つの目標マークの位置に応じて目標位置SPが設定される。たとえば、マーク5aが2つの目標マークの一方と一致し、かつ、マーク5bが2つの目標マークの他方と一致するようなワーク2の位置が目標位置SPとして設定される。
移動制御部44は、画像処理装置304によって特定されたマーク5aの計測位置PSaおよびマーク5bの計測位置PSbに基づいて、ワーク2の位置を目標位置SPに近づけるための移動指令を生成する。
計測位置PSa,PSbは、撮像周期Tbごとに特定される。一方、移動指令は、制御周期Tsごとに生成される。一例として、撮像周期Tbは、撮像状況などに応じて変動し、たとえば約60msである。制御周期Tsは、固定であり、たとえば1msである。このように、撮像周期Tbは、制御周期Tsよりも長い。そのため、画像処理装置304によって特定された計測位置PSa,PSbのみを用いて移動機構100が制御されると、オーバシュートおよび振動が生じやすくなる。このようなオーバシュートおよび振動を避けるため、移動制御部44は、計測位置PSa,PSbと、エンコーダ値PVmX,PVmY,PVmθとを用いて、ワーク2の推定位置PVを決定し、推定位置PVに基づいて制御指令を生成する。
図5に示されるように、移動制御部44は、位置決定部45と、減算部46と、演算部47とを含む。
位置決定部45は、画像処理装置304によって特定されたマーク5aの計測位置PSaおよびマーク5bの計測位置PSbとエンコーダ値PVmX,PVmY,PVmθとに基づいて、ワーク2の推定位置PVを制御周期Tsごとに決定する。推定位置PVの決定方法の詳細については、後述する動作例において説明する。
減算部46は、目標位置SPに対する推定位置PVの偏差を出力する。演算部47は、目標位置SPに対する推定位置PVの偏差が0に収束するように演算(たとえばP演算、PID演算など)を行ない、制御周期Tsごとに移動指令MVX、MVY,MVθを算出する。移動指令MVXは、Xステージ110Xに対する移動指令である。移動指令MVYは、Yステージ110Yに対する移動指令である。移動指令MVθは、θステージ110θに対する移動指令である。演算部47は、算出した移動指令MVX、MVY,MVθをサーボドライバ200X,200Y,200θにぞれぞれ出力する。移動指令MVX、MVY,MVθは、たとえば位置指令または速度指令である。
§3 動作例
<3-1.制御システムの位置決め処理の流れ>
図7を参照して、制御システム1の位置決め処理の流れの一例について説明する。図7は、制御システムの位置決め処理の流れの一例を示すフローチャートである。
まずステップS1において、モーションコントローラ400は、推定位置PVおよびエンコーダ値PVmX,PVmY,PVmθを初期化する。次にステップS2において、ワーク2が移動機構100上に載置されると、指示部41は、画像処理装置304に対して1回目の撮像トリガTRを出力する。これにより、移動機構100が停止した状態で、カメラ302a,302bは、ワーク2を撮像する。
次にステップS3において、画像処理装置304は、カメラ302aによって撮像された画像に含まれるマーク5aの計測位置PSaと、カメラ302bによって撮像された画像に含まれるマーク5bの計測位置PSbとを特定する。次にステップS4において、移動制御部44は、移動機構100の移動制御を開始する。
次にステップS5において、移動制御部44は、目標位置SPに対する推定位置PVの偏差が閾値未満か否かを判断する。閾値は、要求される位置決め精度に応じて予め定められる。目標位置SPに対する推定位置PVの偏差が閾値未満である場合(ステップS5でYES)、移動制御部44は、移動機構100の移動制御を終了する。これにより、位置決め処理が終了する。
目標位置SPに対する推定位置PVの偏差が閾値未満でない場合(ステップS5でNO)、ステップS6~ステップS11の処理が撮像周期Tbごとに繰り返される。なお、ステップS6~S11の間にも、移動制御部44による移動制御が並行して実行される。
ステップS6において、指示部41は、現時刻が撮像トリガTRの出力時刻であるか否かを判断する。撮像トリガTRの出力時刻は、撮像周期Tbに従って、予め定められる。現時刻が撮像トリガTRの出力時刻でない場合(ステップS6でNO)、処理はステップS5に戻る。
現時刻が撮像トリガTRの出力時刻である場合(ステップS6でYES)、指示部41は、撮像トリガTRを画像処理装置304に出力する。これにより、ステップS7において、撮像トリガTRを受けた画像処理装置304の画像取得部32は、撮像するようにカメラ302a,302bを制御し、カメラ302a,302bによって撮像された画像を取得する。
ステップS7と並行してステップS8およびS9が行なわれる。ステップS8において、推定部42は、撮像タイミングt(k-1)から撮像タイミングtkまでのワーク2の移動量Δpを推定する。ステップS9において、範囲決定部43は、計測位置PSaと移動量Δpとに基づいて探索範囲SRaを決定するとともに、計測位置PSbと移動量Δpとに基づいて探索範囲SRbを決定する。
次にステップS10において、指示部41は、探索範囲SRa,SRbの中からマーク5a,5bをそれぞれ探索するように画像処理装置304に指示する。これにより、画像処理装置304の位置特定部36は、探索範囲SRa,SRbの中からマーク5a,5bをそれぞれ探索する。ステップS11において、位置特定部36は、探索されたマーク5a,5bの計測位置PSa,PSbをそれぞれ特定する。ステップS11の後、処理はステップS5に戻る。
<3-2.移動制御部の処理>
図8は、移動制御部による移動機構の制御処理の流れの一例を示すフローチャートである。まずステップS21において、位置決定部45は、画像処理装置304によって特定された最新の計測位置PSa,PSbを取得する。位置決定部45は、上記の第1キャリブレーションデータ,第2キャリブレーションデータを用いて、画像処理装置304から受けた計測位置PSa,PSbの座標(ローカル座標系)をワールド座標系の座標にそれぞれ変換する。
ステップS22において、位置決定部45は、撮像タイミングt(k-1)の時刻(撮像時刻)を取得する。位置決定部45は、撮像トリガTRが出力されてから所定の遅延時間だけ経過した時刻を撮像時刻として特定する。
次にステップS23において、位置決定部45は、撮像時刻に近い複数の時刻のエンコーダ値PVmX,PVmY,PVmθを取得する。
次にステップS24において、位置決定部45は、複数の時刻のエンコーダ値PVmXの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsXとする。同様に、位置決定部45は、複数の時刻のエンコーダ値PVmYの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsYとする。位置決定部45は、複数の時刻のエンコーダ値PVmθの内挿補間値を算出し、当該内挿補間値を撮像時刻のエンコーダ値PVmsθとする。
具体的には、位置決定部45は、以下のようにして内挿補間値を算出する。検出時刻t(n)においてエンコーダ130によって検出されたエンコーダ値PVmXをエンコーダ値PVmX(n)とする。位置決定部45は、撮像時刻tviに近接する2つの時刻、例えば、時間軸上で、撮像時刻tviを挟む検出時刻t(n-k)と検出時刻t(n-k+1)とを特定する。
位置決定部45は、検出時刻t(n-k)のエンコーダ値PVmX(n-k)と、検出時刻t(n-k+1)のエンコーダ値PVmX(n-k+1)とを取得する。過去に検出されたエンコーダ値は、モーションコントローラ400の記憶部(たとえば不揮発性メモリ416または主メモリ418(図4参照))に記憶される。
位置決定部45は、エンコーダ値PVmX(n-k)とエンコーダ値PVmX(n-k+1)との内挿補間値を用いて、撮像時刻tviのエンコーダ値PVmsX(vi)を算出する。具体的には、位置決定部45は、次の式(4)を用いて、撮像時刻tviのエンコーダ値PVmsX(vi)を算出する。
PVmsX(vi)=PVmX(n-k)+Kk*(PVmX(n-k+1)-PVmX(n-k)) ・・・(4)
ここで、Kkは、内挿補間係数である。制御周期をTsとし、エンコーダ値PVmXの伝送遅延時間をTedとし、撮像トリガTRの伝送遅延時間をTsdとして、Ts-Ted≦Tsd<2Ts-Tedの場合、内挿補間係数Kkは、次の式(5)を用いて算出される。
Kk={Tsd-(Ts-Ted)}/Ts ・・・(5)
このような内挿補間値の算出方法を用いることによって、撮像時刻tviのエンコーダ値PVmsX(vi)を高精度に算出できる。同様にして、撮像時刻tviのエンコーダ値PVmsY(vi),PVmsθ(vi)が算出される。なお、撮像時刻がエンコーダ値の算出時刻と一致する場合には、このエンコーダ値をそのまま用いればよい。
次にステップS25において、位置決定部45は、最新の計測位置PSa,PSaと、撮像時刻以後のエンコーダ値PVmX,PVmY,PVmθと、撮像時刻のエンコーダ値PVmsX,PVmsY,PVmsθとを用いて、推定位置PVを算出する。
具体的には、X方向に(PVmX-PVmsX)だけ並進移動し、Y方向に(PVmY-PVmsY)だけ並進移動し、(PVmθ-PVmsθ)だけ回転移動するときのアフィン変換式に計測位置PSaを入力し、アフィン変換後の位置PSwaが算出される。同様に、当該アフィン変換式に計測位置PSbを入力し、アフィン変換後の位置PSwbが算出される。位置決定部45は、マーク5aが位置PSwaに位置し、マーク5bが位置PSwbに位置するときのワーク2の位置を推定位置PVとして決定する。つまり、位置決定部45は、位置PSwaと位置PSwbとの中点の座標と、位置PSwaと位置PSwbとを結ぶ直線とX軸またはY軸とのなす角度とを、推定位置PVを特定する情報として算出する。
次にステップS26において、演算部47は、目標位置SPに対する推定位置PVの偏差に基づいて、たとえばP演算により、移動指令MVX,MVY,MVθを生成して、サーボドライバ200X,200Y,200θにそれぞれ出力する。
このような処理を実行することによって、モーションコントローラ400は、画像処理による高精度な計測位置PSa,PSbが入力される時刻には、この高精度な計測位置PSa,PSbを用いて推定位置PVを算出し、高精度な位置決め制御を実現できる。ここで、計測位置PSa,PSbが入力される時間間隔は、撮像周期Tbであり、エンコーダ値PVmX,PVmY,PVmθが入力される制御周期Tsに比べて長い。しかしながら、時間軸上で隣り合う計測位置PSa,PSbの入力時刻間において、位置決定部45は、入力周期が短いエンコーダ値PVmX,PVmY,PVmθの入力時刻毎に、推定位置PVを決定して、移動機構100の移動制御を行う。これにより、高精度且つ短周期の位置決め制御が可能になる。さらに、位置決定部45は、上述の簡単な四則演算を用いる処理を行なう。そのため、簡素な構成および処理による高速且つ高精度な位置決めを実現できる。
<3-3.作用・効果>
以上のように、制御システム1は、画像処理装置304と移動制御部44とを備える。画像処理装置304は、ワーク2を撮像するカメラ302a,302bによって撮像タイミングごとに得られる画像の中から、ワーク2の特徴部分であるマーク5a,5bを探索し、マーク5a,5bの計測位置PSa,PSbをそれぞれ特定する。移動制御部44は、画像処理装置304によって特定された計測位置PSa,PSbに基づいて、ワーク2の位置が目標位置SPに近づくように移動機構100を制御する。さらに、制御システム1は、推定部42と範囲決定部43とを備える。推定部42は、移動機構100からの情報に基づいて、撮像タイミングt(k-1)から次の撮像タイミングtkまでの間のワーク2の移動量Δpを推定する。範囲決定部43は、撮像タイミングt(k-1)で撮像された画像から特定された計測位置PSa,PSbと移動量Δpとに基づいて、撮像タイミングtkにおけるマーク5a、5bの位置をそれぞれ予測する。範囲決定部43、予測したマーク5a、5bの位置を含む探索範囲SRa,SRbをそれぞれ決定する。画像処理装置304は、撮像タイミングtkで撮像された画像のうち探索範囲SRa,SRbの中からマーク5a,5bをそれぞれ探索して、マーク5a,5bの位置を特定する。
これにより、画像処理装置304は、画像の全域からマーク5a,5bを探索する場合に比べて、マーク5a,5bの位置を高速に特定することができる。その結果、制御システム1は、ワーク2を高速に位置決めできる。
移動機構100からの情報は、ワーク2を移動させるために駆動されるサーボモータ120X,120Y,120θの回転量をそれぞれ示すエンコーダ値PVmX,PVmY,PVmθである。カメラ302a,302bの露光期間におけるエンコーダ値PVmX,PVmY,PVmθは、露光期間における移動機構100の移動量を直接的に示す。そのため、推定部42は、撮像タイミングt(k-1)から撮像タイミングtkまでの間のワーク2の移動量Δpを精度良く推定することができる。
§4 変形例
<4-1.変形例1>
推定部42は、撮像タイミングt(k-1)から撮像タイミングtkまでの間に生成された移動指令MVX,MVY,MVθに基づいて、当該期間におけるワーク2の移動量Δpを推定してもよい。
ワーク2が載置された移動機構100は、移動指令MVX,MVY,MVθに従って移動する。そのため、撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるワーク2のX方向の並進移動量ΔXは、当該期間に生成された移動指令MVXから推定される。同様に、撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるワーク2のY方向の並進移動量ΔYは、当該期間に生成された移動指令MVYから推定される。撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるワーク2の回転移動量Δθは、当該期間に生成された移動指令MVθから推定される。
推定部42は、たとえば移動指令MVXが速度指令であり、時刻tにおける移動指令MVXの値をMVX(t)とすると、以下の式(6)に従って、撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるX方向の並進移動量ΔXを算出する。制御周期Tsの間、MVX(t)は一定である。
Figure 0007078894000001
同様に、推定部42は、以下の式(7),(8)に従って、撮像タイミングt(k-1)から撮像タイミングtkまでの期間における、Y方向の並進移動量ΔYと、回転移動量Δθとを算出する。式(7)において、MVY(t)は、時刻tにおける移動指令MVYの値を示す。式(8)において、MVθ(t)は、時刻tにおける移動指令MVθの値を示す。移動指令MVY,MVθは速度指令であり、MVY(t)およびMVθ(t)は、制御周期Tsの間、一定である。
Figure 0007078894000002
変形例1に係る制御システムによれば、撮像タイミングtkと重なる制御周期Tsの開始時刻において、推定部42は、撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるワーク2の移動量Δpを推定できる。すなわち、推定部42は、撮像タイミングtkの前に、ワーク2の移動量Δpを推定できる。そのため、画像処理装置304の位置特定部36は、カメラ302a,302bによって撮像された画像に対するマーク5a,5bのそれぞれの探索を即座に行なうことができる。これにより、撮像トリガTRが出力されてから計測位置PSa,PSbが特定されるまでの時間を短縮できる。
さらに、モーションコントローラ400は、撮像トリガTRと探索範囲SRa,SRbとを同時に画像処理装置304に出力することができる。そのため、画像処理装置304とモーションコントローラ400との間の通信シーケンスを簡略化できる。
<4-2.変形例2>
推定部42は、撮像タイミングt(k-1)から中間タイミングtmまでの間のワーク2の移動量(以下、「前半移動量Δp1」という)と、中間タイミングtmから撮像タイミングtkまでの間のワーク2の移動量(以下、「後半移動量Δp2」という)とを推定してもよい。中間タイミングtmは、撮像タイミングt(k-1)と撮像タイミングtkとの間のタイミングである。推定部42は、前半移動量Δp1と後半移動量Δp2とを合わせて、撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるワーク2の移動量Δpを推定する。
図9は、前半移動量Δp1を推定する方法を説明する図である。図7に示されるように、推定部42は、撮像タイミングt(k-1)におけるエンコーダ値PVm(k-1)と中間タイミングtmにおけるエンコーダ値PVm(m)とに基づいて、前半移動量Δp1を推定する。つまり、推定部42は、以下の式(9)に従って、前半移動量Δp1を推定する。
Δp1=(ΔX1,ΔY1,Δθ1)
=(PVmX(m)-PVmX(k-1),PVmY(m)-PVmY(k-1),PVmθ(m)-PVmθ(k-1)) ・・・式(9)。
さらに、推定部42は、中間タイミングtmから撮像タイミングtkまでの期間と重なる制御周期Tsにおいて生成された移動指令MVX,MVY,MVθに基づいて、後半移動量Δp2=(ΔX2,ΔY2,Δθ2)を推定する。推定部42は、上記<4-1.変形例1>で説明した方法に従って後半移動量Δp2を生成すればよい。
推定部42は、以下の式(10)に従って、移動量Δpを推定する。
Δp=Δp1+Δp2
=(ΔX1+ΔX2,ΔY1+ΔY2,Δθ1+Δθ2) ・・・式(10)。
これにより、推定部42によって推定される移動量Δpは、変形例1に係る制御システムと比較して、ワーク2の実移動量により近くなる。その結果、範囲決定部43は、探索範囲SRa,SRbを精度良く決定することができる。変形例1と同様に、推定部42は、撮像タイミングtkの前に、ワーク2の移動量Δpを推定できる。これにより、撮像トリガTRが出力されてから計測位置PSa,PSbが特定されるまでの時間を短縮できる。
さらに、モーションコントローラ400は、撮像トリガTRと探索範囲SRa,SRbとを同時に画像処理装置304に出力することができる。そのため、画像処理装置304とモーションコントローラ400との間の通信シーケンスを簡略化できる。
なお、中間タイミングtmから撮像タイミングtkまでの期間が微小である場合(たとえば、制御周期Tsの数倍程度の時間である場合)、当該期間において移動指令はほとんど変化しない。すなわち、中間タイミングtmにおける移動指令が撮像タイミングtkまで継続されるとみなしてもよい。そこで、範囲決定部43は、前半移動量Δp1に従って、中間タイミングtmにおけるマーク5aの予測位置を予測する。次に、範囲決定部43は、中間タイミングtmにおけるマーク5aの予測位置を上記の式(2)のSaに代入することにより、撮像タイミングtkにおける予測位置PEaを予測してもよい。この場合、式(2)におけるRa( )は、θステージ110θの回転中心と中間タイミングtmにおけるマーク5aの位置との距離と、中間タイミングtmにおける移動指令MVθと、中間タイミングtmから撮像タイミングtkまでの時間とに基づいて定められる。T( )は、中間タイミングtmにおける移動指令MVX,MVYと、中間タイミングtmから撮像タイミングtkまでの時間とに応じて定められる。
同様に、範囲決定部43は、前半移動量Δp1に従って、中間タイミングtmにおけるマーク5bの予測位置を予測する。次に、範囲決定部43は、中間タイミングtmにおけるマーク5bの予測位置を上記の式(3)のSbに代入することにより、撮像タイミングtkにおける予測位置PEbを予測してもよい。
<4-3.変形例3>
上記の説明では、移動制御部44は、推定位置PVが目標位置SPに近づくように、移動指令MVX,MVY,MVθを生成する。しかしながら、ワーク2をより滑らかに移動させるための移動機構100の目標軌道が決定され、決定された目標軌道に従って移動機構100が制御されてもよい。この場合、ワーク2は、決定された目標軌道に従って移動する。そのため、制御システムは、撮像タイミングtkの前に、目標軌道に基づいて、撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるワーク2の移動量Δpを推定することができる。これにより、変形例1,2と同様に、撮像トリガTRが出力されてから計測位置PSa,PSbが特定されるまでの時間を短縮できる。
さらに、モーションコントローラ400は、撮像トリガTRと探索範囲SRa,SRbとを同時に画像処理装置304に出力することができる。そのため、画像処理装置304とモーションコントローラ400との間の通信シーケンスを簡略化できる。
<4-3-1.制御システムの機能構成>
図10は、変形例3に係る制御システム1Aの機能構成を示すブロック図である。図10に示されるように、制御システム1Aは、図4に示す制御システム1と比較して、モーションコントローラ400の代わりにモーションコントローラ400Aを備える点で相違する。モーションコントローラ400Aは、モーションコントローラ400と比較して、推定部42および移動制御部44の代わりに、推定部42Aおよび移動制御部44Aをそれぞれ含む点で相違する。移動制御部44Aは、移動制御部44と比較して、位置決定部45、減算部46および演算部47の代わりに目標軌道決定部48および演算部47Aを備える点で相違する。
<4-3-1-1.目標軌道決定部>
目標軌道決定部48は、画像処理装置304によって特定されたマーク5aの計測位置PSaおよびマーク5bの計測位置PSbと、目標位置SPとに基づいて、移動機構100の目標軌道を決定する。具体的には、以下のようにして目標軌道を決定する。
目標軌道決定部48は、計測位置PSa,PSbに基づいて、撮像タイミングt(k-1)におけるワーク2の実位置を特定する。目標軌道決定部48は、特定したワーク2の実位置から目標位置SPに移動させるための移動機構100の必要移動距離Loを算出する。目標軌道決定部48は、移動機構100の必要移動距離Loを、X軸方向の必要移動距離LXとY軸方向の必要移動距離LYと回転方向の必要移動距離Lθに分解する。
目標軌道決定部48は、必要移動距離LXと、Xステージ110Xの目標位置SPXとに基づいて、Xステージ110Xの目標軌道TGXを決定する。目標軌道決定部48は、必要移動距離LYと、Yステージ110Yの目標位置SPYとに基づいて、Yステージ110Yの目標軌道TGYを決定する。目標軌道決定部48は、必要移動距離Lθと、θステージ110θの目標位置SPθとに基づいて、θステージ110θの目標軌道TGθを決定する。
図11は、目標軌道TGX,TGY,TGθの一例を示す図である。目標軌道TGXは、時刻tにおける目標軌道TGXの位置と目標位置SPXとの偏差の時間変化を示す関数LX(t)が5次以上の多次関数となるように決定される。関数LX(t)は、必要移動距離LXと時刻tとを少なくとも説明変数とする関数である。同様に、目標軌道TGYは、時刻tにおける目標軌道TGYの位置と目標位置SPYとの偏差の時間変化を示す関数LY(t)が5次以上の多次関数となるように決定される。目標軌道TGθは、時刻tにおける目標軌道TGθの位置と目標位置SPθとの偏差の時間変化を示す関数Lθ(t)が5次以上の多次関数となるように決定される。
目標軌道決定部48は、決定した目標軌道TGX,TGY,TGθと目標位置SPX,SPY,SPθとの偏差の時間変化をそれぞれ示す関数LX(t),LY(t),Lθ(t)を演算部47Aに出力する。関数LX(t),LY(t),Lθ(t)は、それぞれ目標軌道TGX,TGY,TGθを示す情報である。
目標軌道決定部48は、撮像周期Tbごとに、画像処理装置304によって特定されたマーク5a,5bの最新の計測位置PSa,PSbに従って、関数LX(t),LY(t),Lθ(t)を更新する。
<4-3-1-2.演算部>
演算部47Aは、関数LX(t),LY(t),Lθ(t)に基づいて、制御周期Tsごとに移動指令MVX、MVY,MVθをそれぞれ算出する。具体的には、演算部47Aは、関数LX(t)に現時刻tを代入することにより、目標位置SPXに対する目標軌道TGXにおける現時刻tの位置の偏差を算出する。演算部47Aは、算出した偏差に対してたとえばP演算を行なうことにより、移動指令MVXを算出する。演算部47Aは、同様の方法により、移動指令MVY,MVθを算出する。
<4-3-1-3.推定部>
推定部42Aは、目標軌道決定部48によって決定された目標軌道TGX,TGY,TGθに基づいて、撮像タイミングt(k-1)から撮像タイミングtkまでのワーク2の移動量Δpを推定する。具体的には、図11に示されるように、推定部42Aは、目標軌道TGXにおける撮像タイミングt(k-1)から撮像タイミングtkまでの移動量を、ワーク2のX方向の並進移動量ΔXとして算出する。同様に、推定部42Aは、目標軌道TGYにおける撮像タイミングt(k-1)から撮像タイミングtkまでの移動量を、ワーク2のY方向の並進移動量ΔYとして算出する。推定部42Aは、目標軌道TGθにおける撮像タイミングt(k-1)から撮像タイミングtkまでの移動量を、ワーク2の回転移動量Δθとして算出する。
<4-3-2.目標軌道決定部の処理>
図12は、目標軌道決定部における処理の流れを示すフローチャートである。図12に示される処理は、画像処理装置304によってマーク5a,5bの計測位置PSa,PSbが特定されるたびに行なわれる。
ステップS31において、目標軌道決定部48は、マーク5a,5bの計測位置PSa,PSbを画像処理装置304から取得する。
ステップS32において、目標軌道決定部48は、マーク5a,5bの計測位置PSa,PSbに基づいて、ワーク2の実位置を特定する。そして、目標軌道決定部48は、特定したワーク2の実位置から目標位置SPに移動させるための、X軸方向の必要移動距離LXとY軸方向の必要移動距離LYと回転方向の必要移動距離Lθとを算出する。
ステップS33において、目標軌道決定部48は、必要移動距離LX,LY,Lθを補正する。当該補正は、移動機構100上におけるワーク2のすべりや、移動機構100の位置決め後における残留振動を抑制するために行なわれる。なお、ワーク2のすべりや残留振動が無視できる程度に小さい場合には、ステップS33は省略されてもよい。
ステップS33の補正方法は、以下の通りである。目標軌道決定部48は、エンコーダ130からのエンコーダ値に基づいて決定される移動機構100の実位置と、前回決定した目標軌道における現時刻の位置との位置偏差En(t)を誤差として算出する。位置偏差En(t)は、X軸方向の成分EnX(t)と、Y軸方向の成分EnY(t)と、回転方向の成分Enθ(t)とに分解される。
目標軌道決定部48は、必要移動距離LXを位置偏差EnX(t)で補正することにより、補正後の必要移動距離LXmを算出する。同様に、目標軌道決定部48は、必要移動距離LYを位置偏差EnY(t)で補正することにより、補正後の必要移動距離LYmを算出する。目標軌道決定部48は、必要移動距離Lθを位置偏差Enθ(t)で補正することにより、補正後の必要移動距離Lθmを算出する。
ステップS34において、目標軌道決定部48は、計測時刻tをゼロに初期化する。ステップS35において、目標軌道決定部48は、軌道時間Tを算出する。軌道時間Tは、目標軌道TGX,TGY,TGθの開始点から終了点まで移動機構100を移動するために要する時間を表わす。一例として、軌道時間Tは、以下の式(11)に基づいて算出される。
T=max{f(Amax),Tmin} ・・・(11)
上記式(11)に示される「Amax」は、最大加速度を表わす。「f()」は、最大加速度Amaxで必要移動距離を移動機構100に移動させた場合にかかる軌道時間を求めるための関数である。「Tmin」は、所定の最小軌道時間である。「max(α,β)」は、数値α,βの内から最大値を取得するための関数である。
上記式(11)により、軌道時間Tは、最小軌道時間Tmin未満にならないように決められる。最小軌道時間Tminが設けられていなければ、必要移動距離Loが非常に小さい場合に、移動機構100が目標位置にすぐに到達してしまうので、次の撮像タイミングまでの時間を無駄にすることになる。しかしながら、最小軌道時間Tminが設けられることで、必要移動距離Loが非常に小さい場合に、移動機構100は、最大加速度よりも低い加速度で移動することとなり、移動機構100は、滑らかに移動することができる。一例として、最小軌道時間Tminは、平均撮像間隔に対して一定の割合(たとえば、50%)を乗じることで算出される。
ステップS36において、目標軌道決定部48は、ステップS33で得られた必要移動距離LXm,LYm,Lθmと、ステップS35で算出された軌道時間Tとに基づいて、目標軌道TGX,TGY,TGθをそれぞれ決定する。
具体的には、目標軌道決定部48は、目標軌道TGXの位置と目標位置SPXとの偏差の時間変化を示す関数LX(t)が以下の式(12)で表されるように、目標軌道TGXを決定する。目標軌道決定部48は、目標軌道TGYの位置と目標位置SPYとの偏差の時間変化を示す関数LY(t)が以下の式(13)で表されるように、目標軌道TGYを決定する。目標軌道決定部48は、目標軌道TGθの位置と目標位置SPθとの偏差の時間変化を示す関数Lθ(t)が以下の式(14)で表されるように、目標軌道TGθを決定する。
LX(t)=LXm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(12)
LY(t)=LYm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(13)
Lθ(t)=Lθm*[1-(t/T){10-15(t/T)+6(t/T)}]・・・(14)
式(12)~(14)に示されるように、関数LX(t),LY(t),Lθ(t)は、必要移動距離LXm,LYm,Lθmと時刻tとを少なくとも説明変数とし、目標位置SpX,SPY,SPθとの偏差を目的変数とする多次関数である。
なお、上記の式(12)~(14)に示す関数LX(t),LY(t),Lθ(t)は、5次関数であるが、関数LX(t),LY(t),Lθ(t)は、6次以上の多次関数であってもよい。
最大加速度Amaxが与えられた場合、軌道時間Tは、下記式(15)~式(17)で計算される。なお、式(15)において、Lmは、LXm,LYm,Lθmである。
f(Amax)=C*Lm/Amax ・・・(15)
=60C(2C -3C+1) ・・・(16)
=0.5-31/2/6 ・・・(17)
このようにして、目標軌道決定部48は、計測位置PSa,PSbが特定されるたびに、移動機構100が目標位置SPに到達するまでの間の目標軌道TGX,TGY,TGθをそれぞれ示す関数LX(t),LY(t),Lθ(t)を一括して算出する。
<4-4.変形例4>
撮像タイミングtkよりも前に探索範囲SRa,SRbが決定される上記の変形例1~3では、指示部41は、画像取得範囲が探索範囲SRaとなるようにカメラ302aに指示し、画像取得範囲が探索範囲SRbとなるようにカメラ302bに指示してもよい。具体的には、指示部41は、撮像トリガTRと合わせて探索範囲SRa,SRbを画像取得部32に出力する。画像取得部32は、画像取得範囲が探索範囲SRaとなるようにカメラ302aを制御するとともに、画像取得範囲が探索範囲SRbとなるようにカメラ302bを制御する。このように、指示部41は、画像取得部32を介して、カメラ302a,302bに画像取得範囲を指示する。
これにより、マーク5a,5bが含まれる可能性のほとんどない範囲を撮像する必要がなくなり、カメラ302a,302bにおける撮像処理に要する時間を短縮できる。
<4-5.変形例5>
上記の説明では、範囲決定部43は、所定サイズの探索範囲SRa,SRbを決定する。しかしながら、範囲決定部43は、推定部42,42Aによって推定された移動量Δpが大きいほど探索範囲SRa,SRbのサイズを大きくしてもよい。移動量Δpが大きい場合、範囲決定部43によって予測される予測位置PEa,PEbの誤差が大きくなる。そのため、移動量Δpが大きいほど探索範囲SRa,SRbのサイズを大きくすることにより、マーク5a,5bが探索範囲SRa,SRbから外れることを抑制できる。
<4-6.変形例6>
範囲決定部43は、撮像タイミングtkにおけるマーク5a,5bの姿勢も予測し、予測した姿勢に応じて、探索範囲SRa,SRbの姿勢を決定してもよい。
図13は、変形例6における探索範囲の決定方法を示す図である。範囲決定部43は、撮像タイミングt(k-1)におけるマーク5aの計測姿勢ΘSaと推定部42によって推定された回転移動量Δθとに基づいて、撮像タイミングtkにおけるマーク5aの予測姿勢ΘEaを予測する。範囲決定部43は、ΘEa=ΘSa+Δθに従って、予測姿勢ΘEaを予測すればよい。同様に、範囲決定部43は、撮像タイミングt(k-1)におけるマーク5bの計測姿勢ΘSbと推定部42,42Aによって推定された回転移動量Δθとに基づいて、撮像タイミングtkにおけるマーク5bの予測姿勢ΘEbを予測する。範囲決定部43は、ΘEb=ΘSb+Δθに従って、予測姿勢ΘEbを予測すればよい。
範囲決定部43は、図13に示されるように、予測姿勢ΘEa,ΘEbを考慮して、探索範囲SRa,SRbの姿勢を決定する。
<4-7.その他の変形例>
上記の説明では、移動機構100はXYθテーブルとした。しかしながら、移動機構100は、θXYテーブル、UVWテーブル、XYテーブル、XYZテーブル、多関節ロボットなどであってもよい。
上記の説明では、ワーク2に設けられたマーク5a,5bをワーク2の特徴部分として用いてワーク2が位置決めされる。しかしながら、ワーク2の他の部分をワーク2の特徴部分として用いてワーク2が位置決めされてもよい。たとえば、ワーク2に設けられたネジまたはネジ穴をワーク2の特徴部分として用いてもよい。もしくは、ワーク2の角部をワーク2の特徴部分として用いてもよい。
上記の説明では、推定部42(または推定部42A)および範囲決定部43は、モーションコントローラに含まれるものとした。しかしながら、推定部42(または推定部42A)および範囲決定部43は、画像処理装置304に含まれていてもよい。この場合、画像処理装置304に含まれる推定部42は、移動機構100からの情報であるエンコーダ値PVmX,PVmY,PVmθをモーションコントローラ400から取得して、移動量Δpを推定する。もしくは、画像処理装置304に含まれる推定部42は、移動制御部44によって生成された情報である移動指令MVX,MVY,MVθをモーションコントローラ400から取得して、移動量Δpを推定する。もしくは、画像処理装置304に含まれる推定部42Aは、移動制御部44Aによって生成された、目標軌道TGX,TGY,TGθを示す情報(関数LX(t),LY(t),Lθ(t)をモーションコントローラ400Aから取得して、移動量Δpを推定する。
サーボモータ120X,120Y,120θは、回転式モータではなく、リニアモータであってもよい。また、エンコーダ130は、リニアエンコーダであってもよい。この場合、推定部42は、モータの駆動量を示す情報として直線軸の位置を示す情報を取得し、取得した情報に基づいて、移動量Δpを推定すればよい。
§5 付記
以上のように、本実施の形態および変形例は以下のような開示を含む。
(構成1)
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)であって、
前記対象物(2)を撮像する撮像部によって撮像タイミングごとに得られる画像の中から、前記対象物(2)の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置(304)と、
前記画像処理装置(304)によって特定された前記特徴部分の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(44,44A)と、
前記移動機構(100)からの第1情報および前記移動制御部(44,44A)によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物(2)の移動量を推定するための推定部(42,42A)と、
前記第1撮像タイミングで撮像された画像から前記画像処理装置(304)によって特定された前記特徴部分の第1位置と前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するための決定部(43)とを備え、
前記画像処理装置(304)は、前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索して、前記特徴部分の第2位置を特定する、制御システム(1,1A)。
(構成2)
前記移動機構(100)は、前記対象物(2)を移動させるために駆動されるモータ(120X,120Y,120θ)を含み、
前記推定部(42)は、前記第1撮像タイミングから前記第2撮像タイミングまでの間の前記モータの駆動量を示す前記第1情報に基づいて、前記移動量を推定する、構成1に記載の制御システム(1)。
(構成3)
前記移動機構(100)は、前記対象物(2)を移動させるために駆動されるモータを含み、
前記移動制御部(44)は、制御周期ごとに前記移動機構(100)に対する移動指令を生成し、
前記推定部(42)は、前記第1撮像タイミングから前記第1撮像タイミングと前記第2撮像タイミングとの間の中間タイミングまでの間の前記モータの駆動量を示す前記第1情報と、前記中間タイミングから前記第2撮像タイミングまでの間に前記フィードバック制御部によって生成された移動指令を示す前記第2情報とに基づいて、前記移動量を推定する、構成1に記載の制御システム(1)。
(構成4)
前記移動制御部(44A)は、前記目標位置に対する前記対象物(2)の位置の偏差に基づいて前記移動機構(100)の目標軌道を決定し、決定した前記目標軌道に従って移動するように前記移動機構(100)を制御し、
前記推定部(42A)は、前記目標軌道を示す前記第2情報に基づいて、前記移動量を推定する、構成1に記載の制御システム(1A)。
(構成5)
画像取得範囲が前記探索範囲となるように前記撮像部に指示するための指示部(41)をさらに備える、構成3または4に記載の制御システム(1,1A)。
(構成6)
前記決定部(43)は、前記移動量が大きいほど前記探索範囲のサイズを大きくする、構成1から5のいずれかに記載の制御システム(1,1A)。
(構成7)
対象物(2)を移動させる移動機構(100)と、前記対象物(2)を撮像する撮像部によって撮像タイミングごとに得られた画像の中から、前記対象物(2)の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置(304)とを制御して、前記対象物(2)の位置決めを行なう制御装置であって、
前記画像処理装置(304)によって特定された前記特徴部分の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(44,44A)と、
前記移動機構(100)からの第1情報および前記移動制御部(44,44A)によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物(2)の移動量を推定するための推定部(42,42A)と、
前記第1撮像タイミングで撮像された画像から前記画像処理装置(304)によって特定された前記特徴部分の位置と前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するための決定部(43)と、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置(304)に指示するための指示部(41)とを備える、制御装置(400,400A)。
(構成7’)
構成1から6のいずれかの制御システム(1,1A)に用いられる制御装置(400,400A)であって、
前記移動制御部(44,44A)と、
前記推定部(42,42A)と、
前記決定部(43)と、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置(304)に指示するための指示部(41)とを備える、制御装置(400,400A)。
(構成8)
対象物(2)を撮像することにより得られた画像に基づいて前記対象物(2)の特徴部分の位置を特定する画像処理装置(304)であって、
探索範囲の指定を受け付けるための受付部(32)と、
前記画像のうちの前記探索範囲の中から前記特徴部分を探索し、前記特徴部分の位置を特定するための位置特定部(34)とを備える、画像処理装置(304)。
(構成8’)
構成1から6のいずれかの制御システム(1,1A)に用いられる画像処理装置(304)であって、
探索範囲の指定を受け付けるための受付部(32)と、
前記画像のうちの前記探索範囲の中から前記特徴部分を探索し、前記特徴部分の位置を特定するための位置特定部(34)とを備える、画像処理装置(304)。
(構成9)
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)をサポートするためのプログラム(440)であって、
前記制御システム(1,1A)は、撮像タイミングごとに前記対象物(2)を撮像することにより得られた画像の中から前記対象物(2)の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置(304)を備え、
コンピュータに、
前記画像処理装置(304)によって特定された前記特徴部分の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
前記移動機構(100)からの第1情報および前記制御するステップによって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物(2)の移動量を推定するステップと、
前記第1撮像タイミングで撮像された画像から前記画像処理装置(304)によって特定された前記特徴部分の位置と前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するステップと、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置(304)に指示するステップとを実行させる、プログラム(440)。
(構成9’)
構成1から6のいずれかの制御システム(1,1A)をサポートするためのプログラム(440)であって、
コンピュータに、
前記画像処理装置(304)によって特定された前記特徴部分の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
前記移動機構(100)からの第1情報および前記制御するステップによって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物(2)の移動量を推定するステップと、
前記第1撮像タイミングで撮像された画像から前記画像処理装置(304)によって特定された前記特徴部分の位置と前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するステップと、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置(304)に指示するステップとを実行させる、プログラム(440)。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合せても、実施することが意図される。
1,1A 制御システム、2 ワーク、4 露光マスク、5a,5b マーク、32 画像取得部、34 受付部、36 位置特定部、41 指示部、42,42A 推定部、43 範囲決定部、44,44A 移動制御部、45 位置決定部、46 減算部、47,47A 演算部、48 目標軌道決定部、50a,50b 画像、100 移動機構、110X Xステージ、110Y Yステージ、110θ θステージ、120X,120Y,120θ サーボモータ、130 エンコーダ、200 ドライバユニット、200X,200Y,200θ サーボドライバ、300 視覚センサ、302a,302b カメラ、304 画像処理装置、310,414 プロセッサ、312 RAM、314 表示コントローラ、316 システムコントローラ、318 I/Oコントローラ、320 ハードディスク、322 カメラインターフェイス、322a,322b 画像バッファ、324 入力インターフェイス、326 モーションコントローラインターフェイス、328,428 通信インターフェイス、330,422 メモリカードインターフェイス、332 表示部、334 キーボード、336 メモリカード、350,440 制御プログラム、400,400A モーションコントローラ、412 チップセット、416 不揮発性メモリ、418 主メモリ、420 システムクロック、424 記録媒体、430 内部バスコントローラ、432 DMA制御回路、434 内部バス制御回路、436 バッファメモリ、438 フィールドバスコントローラ。

Claims (8)

  1. 対象物を少なくとも回転移動させる移動機構を制御して、前記対象物の位置決めを行なう制御システムであって、
    前記対象物を撮像する撮像部によって撮像タイミングごとに得られる画像の中から、前記対象物の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置と、
    前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するための移動制御部と、
    前記移動機構からの第1情報および前記移動制御部によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物の移動量を推定するための推定部と、
    前記第1撮像タイミングで撮像された画像から前記画像処理装置によって特定された前記特徴部分の第1位置と前記回転移動の回転中心との距離と、前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するための決定部とを備え、
    前記画像処理装置は、前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索して、前記特徴部分の第2位置を特定する、制御システム。
  2. 前記移動機構は、前記対象物を移動させるために駆動されるモータを含み、
    前記推定部は、前記第1撮像タイミングから前記第2撮像タイミングまでの間の前記モータの駆動量を示す前記第1情報に基づいて、前記移動量を推定する、請求項1に記載の制御システム。
  3. 前記移動機構は、前記対象物を移動させるために駆動されるモータを含み、
    前記移動制御部は、制御周期ごとに前記移動機構に対する移動指令を生成し、
    前記推定部は、前記第1撮像タイミングから前記第1撮像タイミングと前記第2撮像タイミングとの間の中間タイミングまでの間の前記モータの駆動量を示す前記第1情報と、
    前記中間タイミングから前記第2撮像タイミングまでの間に前記移動制御部によって生成された移動指令を示す前記第2情報とに基づいて、前記移動量を推定する、請求項1に記載の制御システム。
  4. 前記移動制御部は、前記目標位置に対する前記対象物の位置の偏差に基づいて前記移動機構の目標軌道を決定し、決定した前記目標軌道に従って移動するように前記移動機構を制御し、
    前記推定部は、前記目標軌道を示す前記第2情報に基づいて、前記移動量を推定する、請求項1に記載の制御システム。
  5. 画像取得範囲が前記探索範囲となるように前記撮像部に指示するための指示部をさらに備える、請求項3または4に記載の制御システム。
  6. 前記決定部は、前記移動量が大きいほど前記探索範囲のサイズを大きくする、請求項1から5のいずれか1項に記載の制御システム。
  7. 対象物を少なくとも回転移動させる移動機構と、前記対象物を撮像する撮像部によって撮像タイミングごとに得られた画像の中から、前記対象物の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置とを制御して、前記対象物の位置決めを行なう制御装置であって、
    前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するための移動制御部と、
    前記移動機構からの第1情報および前記移動制御部によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物の移動量を推定するための推定部と、
    前記第1撮像タイミングで撮像された画像から前記画像処理装置によって特定された前記特徴部分の位置と前記回転移動の回転中心との距離と、前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するための決定部と、
    前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置に指示するための指示部とを備える、制御装置。
  8. 対象物を少なくとも回転移動させる移動機構を制御して、前記対象物の位置決めを行なう制御システムをサポートするためのプログラムであって、
    前記制御システムは、撮像タイミングごとに前記対象物を撮像することにより得られた画像の中から前記対象物の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置を備え、
    コンピュータに、
    前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するステップと、
    前記移動機構からの第1情報および前記制御するステップによって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物の移動量を推定するステップと、
    前記第1撮像タイミングで撮像された画像から前記画像処理装置によって特定された前記特徴部分の位置と前記回転移動の回転中心との距離と、前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するステップと、
    前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置に指示するステップとを実行させる、プログラム。
JP2018111385A 2018-06-11 2018-06-11 制御システム、制御装置、画像処理装置およびプログラム Active JP7078894B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018111385A JP7078894B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置、画像処理装置およびプログラム
CN201910384650.3A CN110581946B (zh) 2018-06-11 2019-05-09 控制系统、控制装置、图像处理装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018111385A JP7078894B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置、画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2019215633A JP2019215633A (ja) 2019-12-19
JP7078894B2 true JP7078894B2 (ja) 2022-06-01

Family

ID=68810773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018111385A Active JP7078894B2 (ja) 2018-06-11 2018-06-11 制御システム、制御装置、画像処理装置およびプログラム

Country Status (2)

Country Link
JP (1) JP7078894B2 (ja)
CN (1) CN110581946B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220111526A (ko) * 2021-02-02 2022-08-09 자이메드 주식회사 실시간 생체 이미지 인식 방법 및 장치
CN114684611B (zh) * 2022-04-29 2023-04-25 深圳格芯集成电路装备有限公司 检测设备
WO2024023976A1 (ja) * 2022-07-27 2024-02-01 三菱電機株式会社 アライメントシステム、アライメント方法及びプログラム
WO2024023975A1 (ja) * 2022-07-27 2024-02-01 三菱電機株式会社 アライメントシステム、アライメント方法及びプログラム
WO2024023974A1 (ja) * 2022-07-27 2024-02-01 三菱電機株式会社 アライメントシステム、アライメント方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295416A (ja) 2003-03-26 2004-10-21 Matsushita Electric Works Ltd 画像処理装置
JP2014203365A (ja) 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法
JP2014211404A (ja) 2013-04-22 2014-11-13 株式会社ノビテック モーションキャプチャー方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
JP6984130B2 (ja) * 2017-01-17 2021-12-17 オムロン株式会社 画像処理装置、制御システム、画像処理装置の制御方法、制御プログラム、および記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295416A (ja) 2003-03-26 2004-10-21 Matsushita Electric Works Ltd 画像処理装置
JP2014203365A (ja) 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法
JP2014211404A (ja) 2013-04-22 2014-11-13 株式会社ノビテック モーションキャプチャー方法

Also Published As

Publication number Publication date
CN110581946B (zh) 2021-05-14
JP2019215633A (ja) 2019-12-19
CN110581946A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
JP7078894B2 (ja) 制御システム、制御装置、画像処理装置およびプログラム
JP6167622B2 (ja) 制御システムおよび制御方法
CN111185901A (zh) 机器人装置
JP7078895B2 (ja) 制御システム、制御装置、画像処理装置およびプログラム
JP2004001122A (ja) ピッキング装置
JP2019119027A (ja) ロボットシステムの制御方法、およびロボットシステム
EP3602214B1 (en) Method and apparatus for estimating system error of commissioning tool of industrial robot
JP6950631B2 (ja) 位置決めシステム、制御方法およびプログラム
TW202029879A (zh) 控制裝置及控制方法
JP7031204B2 (ja) 制御装置、制御装置の制御方法、情報処理プログラム、および記録媒体
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
JP7172151B2 (ja) 制御システム、制御装置およびプログラム
JP6919622B2 (ja) 制御システム、制御方法、および制御プログラム
CN111886556B (zh) 控制系统、控制方法以及计算机可读存储介质
JP7020262B2 (ja) 制御システム、制御方法およびプログラム
JP7374354B1 (ja) アライメントシステム、アライメント方法及びプログラム
JP7258259B1 (ja) アライメントシステム、アライメント方法及びプログラム
JP7374353B1 (ja) アライメントシステム、アライメント方法及びプログラム
WO2019208107A1 (ja) 制御システム、制御方法、および制御プログラム
WO2023013739A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
WO2023013698A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP7040567B2 (ja) 制御装置、制御装置の制御方法、情報処理プログラム、および記録媒体
JP7059968B2 (ja) 制御装置および位置合わせ装置
JP7188481B2 (ja) 位置検出装置およびプログラム
JP3028789B2 (ja) 認識分解能計測方法、およびボンディング装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220503

R150 Certificate of patent or registration of utility model

Ref document number: 7078894

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150