JP6838672B2 - アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体 - Google Patents

アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体 Download PDF

Info

Publication number
JP6838672B2
JP6838672B2 JP2020069231A JP2020069231A JP6838672B2 JP 6838672 B2 JP6838672 B2 JP 6838672B2 JP 2020069231 A JP2020069231 A JP 2020069231A JP 2020069231 A JP2020069231 A JP 2020069231A JP 6838672 B2 JP6838672 B2 JP 6838672B2
Authority
JP
Japan
Prior art keywords
actuator
sensor output
command value
intermediate data
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020069231A
Other languages
English (en)
Other versions
JP2020110916A (ja
Inventor
大谷 拓
拓 大谷
博之 柳
博之 柳
泰明 阿部
泰明 阿部
勇樹 谷保
勇樹 谷保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2020069231A priority Critical patent/JP6838672B2/ja
Publication of JP2020110916A publication Critical patent/JP2020110916A/ja
Application granted granted Critical
Publication of JP6838672B2 publication Critical patent/JP6838672B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Analysis (AREA)

Description

本発明は、アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体に関する。
従来、センサ出力信号に基づいてアクチュエータを駆動させるシステムの開発が進んでいる。
特許文献1、および特許文献2では、センサによるワーク(物体)の検出時間の短縮化により、アクチュエータ駆動完了までの期間の短縮を実現している。特許文献3では、ワーク(物体)の移送失敗回数を減らすことにより、上記期間の短縮を実現している。
特開2014−237188号公報(2014年12月18日公開) 特開2011−133273号公報(2011年7月7日公開) 特開2008−87074号公報(2008年4月17日公開)
しかしながら、特許文献1〜3のいずれにおいても、下記の問題(1)および(2)に起因して、システム制御の性能が不十分であるという問題が発生する。
(1)物体の情報の取得が完了した後にアクチュエータの駆動が開始される。換言すれば、アクチュエータの駆動開始タイミングが遅い。このことが、物体の情報の取得からアクチュエータの駆動完了までの期間の短縮の妨げとなっていた。
(2)一般に、物体の情報の取得に用いられるセンサおよびアクチュエータは所定の制御周期で制御が行われている。このため、センサでの検出タイミングと、アクチュエータでの駆動タイミングとにはタイムラグが生じるため、アクチュエータの高精度な制御ができなかった。
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、アクチュエータ制御の高性能化が可能なアクチュエータ制御システム、センサ装置、および制御装置を提供することにある。
上記の課題を解決するために、本発明のアクチュエータ制御システムは、センサ出力信号に基づいてアクチュエータの駆動を制御するアクチュエータ制御システムであって、前記センサ出力信号に対して演算を行うセンサ出力演算部と、前記センサ出力演算部による演算の最終結果である最終データを転送すると共に、前記最終データの送信よりも前に中間データを転送する転送制御部と、前記転送制御部が転送した前記中間データおよび前記最終データに基づいて、前記アクチュエータを駆動するための指令値を演算する指令値演算部とを備えていることを特徴としている。
上記の構成において、センサ出力演算部は、演算内容によっては最終データの演算完了までに時間がかかることがある。これに対して、上記の構成によれば、指令値演算部は、最終データの受信よりも前のタイミングで中間データを受信することが可能となる。よって、指令値演算部は、センサ出力演算部における最終データの演算完了より前に取得した中間データに基づく演算を行うことが可能となる。したがって、アクチュエータの制御をより高速に、または、より高精度に行うことが可能となる。
また、前記指令値演算部は、前記中間データに基づいて前記アクチュエータを予備的に駆動させるための予備指令値を演算することが好ましい。
上記の構成によれば、中間データに基づく予備指令値によってアクチュエータを予備的に駆動させることが可能となる。すなわち、センサ出力演算部における最終データの演算完了より前の時点から、アクチュエータの駆動制御を開始することが可能となり、制御の高速化を実現できる。
また、本発明のアクチュエータ制御システムは、前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、前記センサ出力演算部は、第1の精度で前記対象物体の位置を検出する第1位置検出処理と、前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理と、を実行し、前記中間データは、前記第1位置検出処理による検出結果であることが好ましい。
上記の構成では、第1位置検出処理において、比較的精度の低い位置検出を高速に行った後に、第2位置検出処理において、より精度の高い位置検出を行っている。よって、最初から高い精度で位置検出を行うよりも、高速に位置検出を行うことができる。
また、第1位置検出処理の結果を中間データとして予備指令値が算出され、センサ出力演算部における最終データの演算完了より前の時点から、アクチュエータの駆動制御を開始することが可能となる。すなわち、比較的精度の低い位置検出結果に基づいてアクチュエータの駆動を開始させ、その後精度の高い位置検出結果に基づいて精確な位置へのアクチュエータの駆動を完了させることができるので、高精度の制御を高速に行うことが可能となる。
また、本発明のアクチュエータ制御システムは、センサ出力信号に基づいてアクチュエータの駆動を制御するアクチュエータ制御システムであって、前記センサ出力信号に対して演算を行うセンサ出力演算部と、前記センサ出力演算部による演算の最終結果である最終データを転送すると共に、前記最終データの送信よりも前に中間データを転送する転送制御部と、前記転送制御部が転送した前記中間データおよび前記最終データに基づいて、前記中間データと前記最終データとの差に応じて、前記アクチュエータを駆動するための指令値を演算すると共に、前記中間データに基づいて、前記アクチュエータを予備的に駆動させるための予備指令値を演算する指令値演算部とを備えており、前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、前記センサ出力演算部は、1回の撮像に対して、第1の精度で前記対象物体の位置を検出する第1位置検出処理と、前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理と、の両方を実行し、前記中間データは、前記第1位置検出処理による検出結果であり、前記最終データは、前記第2位置検出処理による検出結果であり、前記中間データと前記最終データとは、互いに同じセンサ出力信号の演算結果であり、1回の撮像に対して、前記転送制御部は、前記中間データと前記最終データとの両方を転送し、前記指令値演算部は、前記指令値と前記予備指令値との両方を演算することを特徴としてもよい。
また、本発明のアクチュエータ制御システムは、前記センサ出力信号が、前記対象物体を複数の角度から撮像して得られた複数の撮像画像の信号であり、前記センサ出力演算部は、前記第1位置検出処理として、前記複数の画像のそれぞれから前記対象物体を二次元座標として検出し、前記第2位置検出処理として、複数の前記二次元座標に基づいて前記対象物体の三次元座標を検出することが好ましい。
上記の構成によれば、第1位置検出処理によって対象物体を検出した時点でアクチュエータの駆動を開始し、その後、第2位置検出処理による三次元座標に基づいて、三次元位置に関するアクチュエータの精確な駆動を完了させることができる。ここで、第2位置検出処理における三次元座標の算出は比較的演算時間が長くかかるものであるが、第1位置検出処理結果に基づいてアクチュエータの駆動を開始させることによって、制御の高速化を実現することができる。
また、前記中間データは、前記センサ出力信号が出力された時刻の情報であり、前記指令値演算部は、前記時刻の情報を参照して前記指令値を演算することが好ましい。
上記の構成によれば、センサ出力信号が出力された時点と、アクチュエータの駆動時点とでタイムラグがあったとしても、これを考慮して指令値演算部は指令値を演算することが可能となる。よって、より精度の高いアクチュエータの制御を実現することができる。
また、センサの出力とアクチュエータの制御との同期をとるために、これらを有線により接続する構成も考えられるが、上記の構成によれば、このような有線接続のための配線を設ける必要はない。よって、設備を簡素化することができるとともに、各設備の配置の自由度を向上させることができる。
また、本発明のセンサ装置は、センサ出力信号に基づいてアクチュエータの駆動を制御するためのセンサ装置であって、前記センサ出力信号に対して演算を行うセンサ出力演算部と、前記センサ出力演算部による演算の最終結果である最終データを転送すると共に、前記最終データの送信よりも前に中間データを転送する転送制御部と、を備えており、前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、前記センサ出力演算部は、1回の撮像に対して、第1の精度で前記対象物体の位置を検出する第1位置検出処理と、前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理と、の両方を実行し、前記中間データは、前記第1位置検出処理による検出結果であり、前記最終データは、前記第2位置検出処理による検出結果であり、前記中間データと前記最終データとは、互いに同じセンサ出力信号の演算結果であり、1回の撮像に対して、前記転送制御部は、前記中間データと前記最終データとの両方を転送することを特徴としている。
また、本発明のセンサ装置は、前記センサ出力信号が、前記対象物体を複数の角度から撮像して得られた複数の撮像画像の信号であり、前記センサ出力演算部は、前記第1位置検出処理として、前記複数の画像のそれぞれから前記対象物体を二次元座標として検出し、前記第2位置検出処理として、複数の前記二次元座標に基づいて前記対象物体の三次元座標を検出することが好ましい。
また、本発明の制御装置は、センサ出力信号に基づいてアクチュエータの駆動を制御するための制御装置であって、前記センサ出力信号に対する演算の中間データおよび最終データに基づいて、前記中間データと前記最終データとの差に応じて、前記アクチュエータを駆動するための指令値を演算すると共に、前記中間データに基づいて、前記アクチュエータを予備的に駆動させるための予備指令値を演算する指令値演算部を備えており、前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、前記中間データは、第1の精度で前記対象物体の位置を検出する第1位置検出処理による検出結果であり、前記最終データは、前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理による検出結果であり、1回の撮像に対して、前記指令値演算部は、前記指令値と前記予備指令値との両方を演算することを特徴としている。
また、本発明のアクチュエータ制御方法は、センサ出力信号に基づいてアクチュエータの駆動を制御するアクチュエータ制御方法であって、前記センサ出力信号に対して演算を行うセンサ出力演算工程と、前記センサ出力演算工程による演算の最終結果である最終データを転送すると共に、前記最終データの送信よりも前に中間データを転送する転送制御工程と、前記転送制御工程において転送された前記中間データおよび前記最終データに基づいて、前記アクチュエータを駆動するための指令値を演算する指令値演算工程とを含んでいることを特徴としている。
上記の構成によれば、本発明のアクチュエータ制御システムと同様の効果を奏するアクチュエータ制御方法を実現することができる。
また、本発明のアクチュエータ制御方法は、センサ出力信号に基づいてアクチュエータの駆動を制御するアクチュエータ制御方法であって、前記センサ出力信号に対して演算を行うセンサ出力演算工程と、前記センサ出力演算工程による演算の最終結果である最終データを転送すると共に、前記最終データの送信よりも前に中間データを転送する転送制御工程と、前記転送制御工程において転送された前記中間データおよび前記最終データに基づいて、前記中間データと前記最終データとの差に応じて、前記アクチュエータを駆動するための指令値を演算すると共に、前記中間データに基づいて、前記アクチュエータを予備的に駆動させるための予備指令値を演算する指令値演算工程とを含んでおり、前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、前記センサ出力演算工程は、1回の撮像に対して、第1の精度で前記対象物体の位置を検出する第1位置検出処理と、前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理と、の両方を実行し、前記中間データは、前記第1位置検出処理による検出結果であり、前記最終データは、前記第2位置検出処理による検出結果であり、前記中間データと前記最終データとは、互いに同じセンサ出力信号の演算結果であり、1回の撮像に対して、前記転送制御工程は、前記中間データと前記最終データとの両方を転送し、前記指令値演算工程は、前記指令値と前記予備指令値との両方を演算することを特徴としてもよい。
なお、本発明のアクチュエータ制御システムとしてコンピュータを機能させるための情報処理プログラムであって、前記各部としてコンピュータを機能させるための情報処理プログラムについても、本発明の範疇に含まれる。また、当該情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体についても、本発明の範疇に含まれる。
本発明は、アクチュエータ制御の高性能化が可能であるという効果を奏する。
本発明のアクチュエータ制御システムを備えたシステムの一例を示す概略図である。 本発明のアクチュエータ制御システムを備えたシステムの別の例を示す概略図である。 本発明のアクチュエータ制御システムを備えたシステムのさらに別の例を示す概略図である。 本発明の一実施形態に係るアクチュエータ制御システムのブロック図である。 センサ出力演算部による演算の一例を示す図であり、(a)は高速かつ低精度の演算を示しており、(b)は低速かつ高精度の演算を示している。 経過時間に対する、アクチュエータの駆動対象の対象物体方向への移動速度の関係を示すグラフである。 図4に示すアクチュエータ制御システムの動作の流れを示すタイミングチャートである。 図4に示すアクチュエータ制御システムの動作の流れを示す別のタイミングチャートである。 本発明の別の実施形態に係るアクチュエータ制御システムのブロック図である。 図9に示すアクチュエータ制御システムの動作の流れを示すタイミングチャートである。 本発明のさらに別の実施形態に係るアクチュエータ制御システムのブロック図である。 (a)〜(c)は、ILO統合コンポの適用による利点を説明するイメージ図である。
以下、本発明を実施するための形態について、図1〜図12を参照して説明する。なお、説明の便宜上、先の説明にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
図1は、アクチュエータ制御システム100を備えたシステム1000を示す概略図である。システム1000は、アクチュエータ制御システム100、アクチュエータ4、アクチュエータの駆動対象5(以下、単に「駆動対象5」と称する)、HMI6、およびコンベヤ7を備えている。アクチュエータ制御システム100は、センサ部1aおよび1b(但し、後述する物体情報取得部22は除く)、制御装置2、ならびに駆動回路3を備えている。なお、システム1000において、駆動対象5は、対象物体8を掴んで移動させるロボット5aである。
センサ部1aおよび1bはそれぞれ、対象物体8の位置や形状を検出するセンサヘッド、およびその周辺回路によって構成されている。なお、後述するように、当該センサヘッドと当該周辺回路とは、別体で設けられていてもよい。システム1000において、センサ部1aは、対象物体8が目の前を通過したかどうかを検出しており、センサ部1bは、対象物体8が目の前を通過したことをセンサ部1aが検出したことをトリガーとして、撮像を行う。
制御装置2は、例えばPLC(Programmable Logic Controller)によって構成されている。制御装置2は、センサ部1aおよび1bから供給されたデータに基づいて、アクチュエータ4の駆動を制御するための指令値を演算し、駆動回路3に供給するものである。
駆動回路3は、制御装置2から供給された指令値に基づいて、アクチュエータ4の駆動を制御するものである。アクチュエータ4は、駆動回路3によって駆動され、駆動対象5に動力を与えるものである。駆動対象5は、アクチュエータ4によって機械的に動作されるものであり、システム1000においては上述したとおり対象物体8を掴んで移動させるロボット5aである。HMI6は、タッチパネル式の表示入力装置であり、ユーザは、HMI6を介して制御装置2を操作したり、制御装置2の動作状態を確認したりすることができる。コンベヤ7は、制御装置2によって駆動され、自身に載せられた対象物体8を輸送するものである。
図2は、アクチュエータ制御システム101を備えたシステム1001を示す概略図である。システム1001は、アクチュエータ制御システム101、アクチュエータ4、駆動対象5、チップ突き上げ部材9、およびチップ取得ヘッド10を備えている。アクチュエータ制御システム101は、センサ部1(但し、後述する物体情報取得部22は除く)、制御装置2、および駆動回路3を備えている。なお、システム1001において、駆動対象5は、アクチュエータ4によって機械的に動作されるステージ5bである。
センサ部1は、ウエハ11に形成された、対象物体8(ここでは、取得対象チップ)の位置や形状を検出するものである。制御装置2は、センサ部1から供給されたデータに基づいて、アクチュエータ4の駆動を制御するための指令値を演算し、駆動回路3に供給するものである。システム1001においては、対象物体8をチップ取得ヘッド10の直下に導き、チップ取得ヘッド10の直下に導かれた対象物体8を、チップ突き上げ部材9によって下方から突き上げる。チップ取得ヘッド10は、自身の直下にて突き上げられた対象物体8を取得するものである。
なお、ステージ5bは、図2のXw軸、Yw軸、Zw軸、およびθw軸の4軸に沿って移動する。また、図2には、チップ突き上げ部材9が移動する軸であるPw軸、およびチップ取得ヘッド10が移動する軸の1つであるXs軸を併せて示している。
図3は、アクチュエータ制御システム102を備えたシステム1002を示す概略図である。システム1002は、アクチュエータ制御システム102、アクチュエータ4、および駆動対象5を備えている。アクチュエータ制御システム102は、センサ部1(但し、後述する物体情報取得部22は除く)、制御装置2、および駆動回路3を備えている。なお、システム1002において、駆動対象5は、対象物体8を掴んで移動させるロボット5aである。
センサ部1は、センサ部1が撮像した画像から対象物体8を検出し、対象物体8の三次元座標を検出することができるものである。つまり、センサ部1が撮像した複数の画像(対象物体を複数の角度から撮像して得られた複数の撮像画像)のそれぞれから対象物体8を二次元座標として検出し、これら複数の二次元座標に基づいて対象物体8の三次元座標を検出することができる。
図4は、アクチュエータ制御システム200のブロック図である。アクチュエータ制御システム200は、アクチュエータ制御システム100およびアクチュエータ制御システム102のいずれかとして特に好適に利用可能である。
アクチュエータ制御システム200は、センサ部21(但し、後述する物体情報取得部22は除く)、制御装置2、および駆動回路3を備えている。
センサ部21は、センサ部1、または、センサ部1aおよび1bによって構成されている。センサ部21は、物体情報取得部22、センサ出力演算部23、および転送制御部24を備えている。
物体情報取得部22は、対象物体8(図1参照)の情報を取得する。具体的に、物体情報取得部22は、対象物体8を撮像し、対象物体8の撮像画像の信号を取得する。アクチュエータ制御システム200においては、当該信号を、センサ出力信号として用いている。
センサ出力演算部23は、物体情報取得部22から対象物体8の撮像画像の信号が供給される。センサ出力演算部23は、自身に供給された当該信号に対して演算を行う。
ここで、センサ出力演算部23の演算の一例について、図5を参照して説明する。図5は、センサ出力演算部23による演算の一例を示す図である。
図5の(a)には、第1位置検出処理としてのラフサーチを示している。ラフサーチにおいては、撮像画像31から第1の精度で対象物体8の位置を検出する。具体的に、このラフサーチにおいては、撮像画像31を複数の領域に分割(図5の(a)では16分割)し、当該複数の領域のうち対象物体8の中心位置を含む領域32を検出する。このラフサーチは、対象物体8の位置を大まかに検出することを目的としており、検出が比較的高速である一方、第1の精度自体は比較的低い。ここでは、ラフサーチによって得られた対象物体8の位置の座標を(x1,y1)とする。
図5の(b)には、第2位置検出処理としてのファインサーチを示している。ファインサーチにおいては、撮像画像31から第2の精度で対象物体8の位置を検出する。具体的に、このファインサーチにおいては、領域32を複数の領域に分割(図5の(b)では16分割)し、対象物体8の中心位置がどの領域に含まれるかを認識することにより、対象物体8の位置を正確に検出する。このファインサーチは、対象物体8の位置をラフサーチより正確に検出することを目的としており、第2の精度自体は第1の精度より高い一方、ラフサーチと比較して検出が低速である。ここでは、ファインサーチによって得られた対象物体8の位置の座標を(x2,y2)とする。
その他、ラフサーチの方法として、画像を圧縮して小さくして処理をすることも可能である。この場合、ラフサーチの際には、圧縮した小さな画像に対して処理を行い、ファインサーチの際には、圧縮前の画像に対して処理を行う。
また、その他、ファインサーチの方法として、パターンマッチングする際のパターン数を多くするということも可能である。ラフサーチでは少ない数のパターンとマッチングを行い、ファインサーチではより多くの数のパターンとマッチングを行うことで精度が向上する。
転送制御部24は、センサ出力演算部23による演算の最終結果である最終データを転送すると共に、この最終データの送信よりも前に中間データを転送する。ここでは、中間データは、ラフサーチによる検出結果である座標(x1,y1)を示すデータであり、最終データは、ファインサーチによる検出結果である座標(x2,y2)を示すデータであるものとする。
制御装置2は、指令値演算部25、および記憶部26を備えている。記憶部26には、中間データ演算プログラム27、および最終データ演算プログラム28が格納されている。
指令値演算部25は、例えばCPUによって構成されており、転送制御部24が転送した中間データおよび最終データに基づいて、アクチュエータ4を駆動するための指令値を演算する。
具体的に、座標(x1,y1)を示す中間データが供給されると、指令値演算部25は、記憶部26から中間データ演算プログラム27を読み出す。そして、指令値演算部25は、当該中間データに基づいて、アクチュエータ4を予備的に駆動させるための予備指令値を演算する。この予備指令値は、駆動対象5を、上記座標(x1,y1)と対応する位置に移動させる指令値である。指令値演算部25は、この予備指令値を駆動回路3に供給し、駆動回路3は、供給された予備指令値に基づいてアクチュエータ4の駆動を制御する。
その後、座標(x2,y2)を示す最終データが供給されると、指令値演算部25は、記憶部26から最終データ演算プログラム28を読み出す。そして、指令値演算部25は、上記中間データおよび当該最終データに基づいて、アクチュエータ4を駆動させるための指令値を演算する。この指令値は、上記予備指令値に基づいて既に実行されたアクチュエータ4の駆動制御を考慮した上で、駆動対象5を、上記座標(x2,y2)と対応する位置に移動させる指令値である。この指令値は、上記座標(x1,y1)と上記座標(x2,y2)との差に応じて、駆動対象5の状態(位置、速度、加速度)を変化させ得るものであり、差が小さければ低速で、差が大きければ高速で駆動対象5を動かすように、アクチュエータ4の駆動を制御する。指令値演算部25は、この指令値を駆動回路3に供給し、駆動回路3は、供給された指令値に基づいてアクチュエータ4の駆動を制御する。
センサ出力演算部23は、演算内容によっては最終データの演算完了までに時間がかかることがある。これに対して、指令値演算部25は、最終データの受信よりも前のタイミングで中間データを受信することが可能となる。よって、指令値演算部25は、センサ出力演算部23における最終データの演算完了より前に取得した中間データに基づく演算を行うことが可能となる。したがって、アクチュエータ4の制御をより高速に、または、より高精度に行うことが可能となる。
また、アクチュエータ制御システム200においては、中間データに基づく予備指令値によってアクチュエータ4を予備的に駆動させることが可能となる。すなわち、センサ出力演算部23における最終データの演算完了より前の時点から、アクチュエータ4の駆動制御を開始することが可能となり、制御の高速化を実現できる。
また、アクチュエータ制御システム200においては、ラフサーチにおいて、比較的精度の低い位置検出を高速に行った後に、ファインサーチにおいて、より精度の高い位置検出を行っている。よって、最初から高い精度で位置検出を行うよりも、高速に位置検出を行うことができる。
また、ラフサーチの結果を中間データとして予備指令値が算出され、センサ出力演算部23における最終データの演算完了より前の時点から、アクチュエータ4の駆動制御を開始することが可能となる。すなわち、比較的精度の低い位置検出結果に基づいてアクチュエータ4の駆動を開始させ、その後精度の高い位置検出結果に基づいて精確な位置へのアクチュエータ4の駆動を完了させることができるので、高精度の制御を高速に行うことが可能となる。
図6は、経過時間に対する、駆動対象5の対象物体8方向への移動速度の関係を示すグラフである。
時刻t1は、予備指令値に基づくアクチュエータ4の駆動制御が開始したタイミングである。時刻t2は、指令値に基づくアクチュエータ4の駆動制御が開始したタイミングである。時刻t3は、アクチュエータ4の駆動制御が終了したタイミングである。
アクチュエータ4は、時刻t1から駆動対象5の移動を開始し、駆動対象5の移動速度が所定の速度vaに到達するまで、一定の加速度で駆動対象5を加速させる。図6において、駆動対象5の移動速度が速度vaに到達したタイミングは、時刻taである。
アクチュエータ4は、時刻taから時刻t2までの間、一定の速度(すなわち、速度va)で駆動対象5を移動させる。
アクチュエータ4は、時刻t2から駆動対象5の移動を加速させ、駆動対象5の移動速度が所定の速度vbに到達するまで、一定の加速度で駆動対象5を加速させる。図6において、駆動対象5の移動速度が速度vbに到達したタイミングは、時刻tbである。
アクチュエータ4は、時刻tbから時刻tcまでの間、一定の速度(すなわち、速度vb)で駆動対象5を移動させる。
アクチュエータ4は、時刻tcから駆動対象5の移動を減速させ、駆動対象5の移動速度が0に到達するまで、一定の加速度で駆動対象5を減速させる。図6において、駆動対象5の移動速度が0に到達したタイミングは、時刻t3である。
図7は、アクチュエータ制御システム200の動作の流れを示すタイミングチャートである。なお、センサ部21および制御装置2における具体的な処理の流れについては、図4を参照して説明したとおりであるため、ここでは省略している。また、駆動回路3の動作の内容については、アクチュエータ4の駆動制御の内容に直接的に影響を及ぼすものではないので、図7においては駆動回路3についての図示を省略している。
まず、制御装置2は、センサ部21に対して撮像指示を送信する(ステップS1)。続いて、センサ部21は、制御装置2に対して中間データを転送する(ステップS2)。続いて、制御装置2は、当該中間データに基づいて予備指令値を演算し、この予備指令値に基づいてアクチュエータ4の駆動を予備的に制御する(ステップS3)。続いて、センサ部21は、制御装置2に対して最終データを転送する(ステップS4)。続いて、制御装置2は、上記中間データおよび当該最終データに基づいて指令値を演算し、この指令値に基づいてアクチュエータ4の駆動を制御する(ステップS5)。最後に、アクチュエータ4は、駆動完了の旨、制御装置2に通知する(ステップS6)。
ここで、センサ部21がセンサ部1aおよび1bによって構成されている場合の、アプリケーションの具体例について説明する。
センサ部1aおよび1bという2つのセンサ部を用いる場合、ラフサーチによる検出結果として、対象物体8の二次元座標である座標(x1,y1)の他、対象物体8の三次元座標(x1,y1,z1)、および対象物体8の姿勢が挙げられる。座標(x1,y1)は、主に対象物体8の有無を判定するためのものである。三次元座標(x1,y1,z1)は、主に駆動対象5としてのロボット5aにより対象物体8を掴む場所を大まかに決定するためのものである。対象物体8の姿勢は、主にロボット5aにより対象物体8を掴む方法を大まかに決定するためのものである。アクチュエータ制御システム200においては、座標(x1,y1)のデータ、三次元座標(x1,y1,z1)のデータ、対象物体8の姿勢のデータ、またはこれらのうち2つ以上の組み合わせを、中間データとして用いることができる。
図8は、アクチュエータ制御システム200の動作の流れを示す別のタイミングチャートである。図8は、上記アプリケーションの具体例に係るタイミングチャートの一例であると言える。なお、センサ部21および制御装置2における具体的な処理の流れについては、図4を参照して説明したとおりであるため、ここでは省略している。また、駆動回路3の動作の内容については、アクチュエータ4の駆動制御の内容に直接的に影響を及ぼすものではないので、図8においては駆動回路3についての図示を省略している。
図8に示すタイミングチャートにおいては、センサ部21による対象物体8の撮像、ラフサーチ、およびファインサーチが、この順に行われている。そして、駆動対象5としてのロボット5aにより対象物体8を掴むことに関する一連の作業であるピッキングの開始タイミングが、ラフサーチの終了直後となっている。これは、アクチュエータ制御システム200による予備指令値に基づくアクチュエータ4の駆動制御によって、ラフサーチの終了直後に、ロボット5aを対象物体8に向けて移動させることができるためである。ピッキングは、ファインサーチの完了後、アクチュエータ制御システム200による指令値に基づくアクチュエータ4の駆動制御が完了するまで続く。その後、対象物体8を所定の位置に運ぶ一連の作業であるプレイスが行われる。
図8に示すタイミングチャートによれば、上記アプリケーションの具体例に係るアクチュエータ制御システム200においては、ファインサーチとピッキングとが同時に行われるタイミングが存在している。このため、ファインサーチ時間とピッキング時間との合計を小さくすることができるため、アクチュエータ4を高速に制御することができる。
図9は、アクチュエータ制御システム300のブロック図である。アクチュエータ制御システム300は、アクチュエータ制御システム101として特に好適に利用可能である。
アクチュエータ制御システム300は、センサ部21(但し、物体情報取得部22は除く)、制御装置2a、および駆動回路3を備えている。
制御装置2aは、指令値演算部25a、および記憶部26aを備えている。記憶部26aには、最終データ演算プログラム28、および同期プログラム29が格納されている。
指令値演算部25aは、例えばCPUによって構成されており、転送制御部24が転送した中間データおよび最終データに基づいて、アクチュエータ4を駆動するための指令値を演算する。
具体的に、アクチュエータ制御システム300において、中間データは、物体情報取得部22から対象物体8の撮像画像の信号(センサ出力信号)が出力された時刻(撮像時刻)の情報のデータである。そして、当該中間データ、および、アクチュエータ4から供給されるアクチュエータ4の制御情報が供給されると、指令値演算部25aは、記憶部26aから同期プログラム29を読み出す。なお、アクチュエータ4の制御情報には、駆動対象5の現在位置を示す情報、およびアクチュエータ4が信号を保持するラッチ時刻が含まれている。そして、指令値演算部25aは、当該中間データおよび当該制御情報に基づいて、センサ部21とアクチュエータ4との同期をとる。
その後、座標(x2,y2)を示す最終データが供給されると、指令値演算部25aは、記憶部26aから最終データ演算プログラム28を読み出す。指令値演算部25aが記憶部26aから最終データ演算プログラム28を読み出した後の動作は、指令値演算部25が記憶部26から最終データ演算プログラム28を読み出した後の動作と同様である。
アクチュエータ制御システム300においては、物体情報取得部22から対象物体8の撮像画像の信号が出力された時点と、アクチュエータ4の駆動時点とでタイムラグがあったとしても、これを考慮して指令値演算部25aは指令値を演算することが可能となる。よって、より精度の高いアクチュエータ4の制御を実現することができる。
また、センサ部21の出力とアクチュエータ4の制御との同期をとるために、これらを有線により接続する構成も考えられるが、アクチュエータ制御システム300においては、このような有線接続のための配線を設ける必要はない。よって、設備を簡素化することができるとともに、各設備の配置の自由度を向上させることができる。
図10は、アクチュエータ制御システム300の動作の流れを示すタイミングチャートである。なお、センサ部21および制御装置2aにおける具体的な処理の流れについては、図9を参照して説明したとおりであるため、ここでは省略している。また、駆動回路3の動作の内容については、アクチュエータ4の駆動制御の内容に直接的に影響を及ぼすものではないので、図10においては駆動回路3についての図示を省略している。
まず、制御装置2aは、センサ部21に対して撮像指示を送信する(ステップS1a)。このとき、制御装置2aは、アクチュエータ4からアクチュエータ4の制御情報(現在位置、ラッチ時刻)を取り込む(ステップS11)。続いて、センサ部21は、制御装置2aに対して中間データを転送する(ステップS2a)。このとき、制御装置2aは、アクチュエータ4からアクチュエータ4の制御情報(現在位置、ラッチ時刻)を取り込む(ステップS21)。続いて、センサ部21は、制御装置2aに対して最終データを転送する(ステップS4a)。このとき、制御装置2aは、アクチュエータ4からアクチュエータ4の制御情報(現在位置、ラッチ時刻)を取り込む(ステップS31)。続いて、制御装置2aは、上記中間データおよび当該最終データに基づいて指令値を演算し、この指令値に基づいてアクチュエータ4の駆動を制御する(ステップS5a)。最後に、アクチュエータ4は、駆動完了の旨、駆動回路3を介して制御装置2aに通知してもよい。
ステップS11、ステップS21、およびステップS31は、所定の制御周期に従って行われている。そして、ステップS1a、ステップS2a、およびステップS4aが、それぞれ、ステップS11、ステップS21、およびステップS31と同期している。ここで、制御装置2aは、ステップS2aおよびステップS21のタイミングで、撮像時刻の情報と、アクチュエータ4の現在位置およびラッチ時刻の情報を得ることができるので、ステップS4aおよびステップS31のタイミングよりも前から指令値の演算を開始することができる。よって、処理の高速化を図ることができる。
図11は、アクチュエータ制御システム400のブロック図である。アクチュエータ制御システム400は、アクチュエータ制御システム100およびアクチュエータ制御システム102のいずれかとして特に好適に利用可能である。
アクチュエータ制御システム400は、ILO統合コンポ41を備えている。
センサヘッド40は、物体情報取得部22を備えている。ILO統合コンポ41は、センサ出力演算部23、転送制御部24、制御装置2、および駆動回路3を備えている。つまり、アクチュエータ制御システム400においては、センサヘッド40を構成する物体情報取得部22と、センサヘッド40の周辺回路を構成するセンサ出力演算部23および転送制御部24とが、互いに別体で設けられている。
ILO統合コンポ41を構成して、制御ロジックの統合および再構築が図られたアクチュエータ制御システム400においては、装置サイズの小型化、ならびに制御の高速、高精度、および簡単化が可能となる。特に、アクチュエータ制御システム400においては、スループットの高速化、非同期制御の同期化、および上述した中間データの共有化等を期待することができる。
なお、アクチュエータ制御システム400は、アクチュエータ制御システム200に対して、物体情報取得部22と、センサ出力演算部23および転送制御部24とが、互いに別体で設けられている構成を適用したものである。アクチュエータ制御システム300に対しても同様に、物体情報取得部22と、センサ出力演算部23および転送制御部24とが、互いに別体で設けられている構成を適用することができる。
図12の(a)〜(c)は、ILO統合コンポ41の適用による利点を説明するイメージ図である。
図12の(a)のシステム500は、アクチュエータ制御システム200または300を搭載したシステムの一例である。この場合、駆動対象5であるロボット5aの移動速度を考慮した結果、ロボット5aは4台必要となるものとする。
図12の(b)のシステム501は、システム500に対して、制御装置2、および制御装置2の動作に直接的に関連する部材を1つの集積回路に設けた例である。この場合、駆動対象5であるロボット5aの移動速度を考慮した結果、ロボット5aが2台あれば、システム500と同等の速度での作業が可能であると考えられる。
図12の(c)のシステム502は、アクチュエータ制御システム400を搭載したシステムの一例である。この場合、駆動対象5であるロボット5aの移動速度を考慮した結果、ロボット5aが1台あれば、システム500と同等の速度での作業が可能であると考えられる。
なお、中間データを用いた技術として、下記も考えられる。
すなわち、従来、ファイバセンサの受光量に対する閾値を人手で調整していたので、環境(明るさ)が変化したときに再調整が必要であるという課題があった。そこで、ファイバセンサの受光量を中間データとして使用し、これを制御装置で活用することで、閾値の自動調整を行うことができる。これにより、閾値調整の自動化(フィードバックで提供)、環境変動へのロバスト性向上、ファイバセンサの故障を設備予兆によって早期検出する、といった効果が期待できる。受光量を制御装置や表示装置によって見える化すれば、当該設備予兆による早期検出が可能となる。
アクチュエータ制御システム200、300、および400の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、アクチュエータ制御システム200、300、および400は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
2、2a 制御装置
4 アクチュエータ
8 対象物体
23 センサ出力演算部
24 転送制御部
25、25a 指令値演算部
31 撮像画像
100、101、102、200、300、400 アクチュエータ制御システム

Claims (8)

  1. センサ出力信号に基づいてアクチュエータの駆動を制御するアクチュエータ制御システムであって、
    前記センサ出力信号に対して演算を行うセンサ出力演算部と、
    前記センサ出力演算部による演算の最終結果である最終データを転送すると共に、前記最終データの送信よりも前に中間データを転送する転送制御部と、
    前記転送制御部が転送した前記中間データおよび前記最終データに基づいて、前記中間データと前記最終データとの差に応じて、前記アクチュエータを駆動するための指令値を演算すると共に、前記中間データに基づいて、前記アクチュエータを予備的に駆動させるための予備指令値を演算する指令値演算部とを備えており、
    前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、
    前記センサ出力演算部は、1回の撮像に対して、
    第1の精度で前記対象物体の位置を検出する第1位置検出処理と、
    前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理と、
    の両方を実行し、
    前記中間データは、前記第1位置検出処理による検出結果であり、
    前記最終データは、前記第2位置検出処理による検出結果であり、
    前記中間データと前記最終データとは、互いに同じセンサ出力信号の演算結果であり、
    1回の撮像に対して、
    前記転送制御部は、前記中間データと前記最終データとの両方を転送し、
    前記指令値演算部は、前記指令値と前記予備指令値との両方を演算することを特徴とするアクチュエータ制御システム。
  2. 前記センサ出力信号が、前記対象物体を複数の角度から撮像して得られた複数の撮像画像の信号であり、
    前記センサ出力演算部は、
    前記第1位置検出処理として、前記複数の画像のそれぞれから前記対象物体を二次元座標として検出し、
    前記第2位置検出処理として、複数の前記二次元座標に基づいて前記対象物体の三次元座標を検出することを特徴とする請求項1に記載のアクチュエータ制御システム。
  3. センサ出力信号に基づいてアクチュエータの駆動を制御するためのセンサ装置であって、
    前記センサ出力信号に対して演算を行うセンサ出力演算部と、
    前記センサ出力演算部による演算の最終結果である最終データを転送すると共に、前記最終データの送信よりも前に中間データを転送する転送制御部と、を備えており、
    前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、
    前記センサ出力演算部は、1回の撮像に対して、
    第1の精度で前記対象物体の位置を検出する第1位置検出処理と、
    前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理と、
    の両方を実行し、
    前記中間データは、前記第1位置検出処理による検出結果であり、
    前記最終データは、前記第2位置検出処理による検出結果であり、
    前記中間データと前記最終データとは、互いに同じセンサ出力信号の演算結果であり、
    1回の撮像に対して、前記転送制御部は、前記中間データと前記最終データとの両方を転送することを特徴とするセンサ装置。
  4. 前記センサ出力信号が、前記対象物体を複数の角度から撮像して得られた複数の撮像画像の信号であり、
    前記センサ出力演算部は、
    前記第1位置検出処理として、前記複数の画像のそれぞれから前記対象物体を二次元座標として検出し、
    前記第2位置検出処理として、複数の前記二次元座標に基づいて前記対象物体の三次元座標を検出することを特徴とする請求項3に記載のセンサ装置。
  5. センサ出力信号に基づいてアクチュエータの駆動を制御するための制御装置であって、
    前記センサ出力信号に対する演算の中間データおよび最終データに基づいて、前記中間データと前記最終データとの差に応じて、前記アクチュエータを駆動するための指令値を演算すると共に、前記中間データに基づいて、前記アクチュエータを予備的に駆動させるための予備指令値を演算する指令値演算部を備えており、
    前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、
    前記中間データは、第1の精度で前記対象物体の位置を検出する第1位置検出処理による検出結果であり、
    前記最終データは、前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理による検出結果であり、
    1回の撮像に対して、前記指令値演算部は、前記指令値と前記予備指令値との両方を演算することを特徴とする制御装置。
  6. センサ出力信号に基づいてアクチュエータの駆動を制御するアクチュエータ制御方法であって、
    前記センサ出力信号に対して演算を行うセンサ出力演算工程と、
    前記センサ出力演算工程による演算の最終結果である最終データを転送すると共に、前記最終データの送信よりも前に中間データを転送する転送制御工程と、
    前記転送制御工程において転送された前記中間データおよび前記最終データに基づいて、前記中間データと前記最終データとの差に応じて、前記アクチュエータを駆動するための指令値を演算すると共に、前記中間データに基づいて、前記アクチュエータを予備的に駆動させるための予備指令値を演算する指令値演算工程とを含んでおり、
    前記センサ出力信号が、対象物体を撮像して得られた撮像画像の信号であり、
    前記センサ出力演算工程は、1回の撮像に対して、
    第1の精度で前記対象物体の位置を検出する第1位置検出処理と、
    前記第1の精度よりも高い精度で前記対象物体の位置を検出する第2位置検出処理と、
    の両方を実行し、
    前記中間データは、前記第1位置検出処理による検出結果であり、
    前記最終データは、前記第2位置検出処理による検出結果であり、
    前記中間データと前記最終データとは、互いに同じセンサ出力信号の演算結果であり、
    1回の撮像に対して、
    前記転送制御工程は、前記中間データと前記最終データとの両方を転送し、
    前記指令値演算工程は、前記指令値と前記予備指令値との両方を演算することを特徴とするアクチュエータ制御方法。
  7. 請求項1または2に記載のアクチュエータ制御システムとしてコンピュータを機能させるための情報処理プログラムであって、前記各部としてコンピュータを機能させるための情報処理プログラム。
  8. 請求項7に記載の情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2020069231A 2020-04-07 2020-04-07 アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体 Active JP6838672B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020069231A JP6838672B2 (ja) 2020-04-07 2020-04-07 アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020069231A JP6838672B2 (ja) 2020-04-07 2020-04-07 アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016082096A Division JP2017189856A (ja) 2016-04-15 2016-04-15 アクチュエータ制御システム、アクチュエータ制御方法、情報処理プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2020110916A JP2020110916A (ja) 2020-07-27
JP6838672B2 true JP6838672B2 (ja) 2021-03-03

Family

ID=71666720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020069231A Active JP6838672B2 (ja) 2020-04-07 2020-04-07 アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体

Country Status (1)

Country Link
JP (1) JP6838672B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134573A (ja) * 1987-11-19 1989-05-26 Kawasaki Heavy Ind Ltd 画像処理方法
JPH06137828A (ja) * 1992-10-29 1994-05-20 Kajima Corp 障害物位置検出方法
JP2003211381A (ja) * 2002-01-16 2003-07-29 Denso Wave Inc ロボット制御装置
DE102007060653A1 (de) * 2007-12-15 2009-06-18 Abb Ag Positionsermittlung eines Objektes
JP5316563B2 (ja) * 2011-02-15 2013-10-16 オムロン株式会社 画像処理装置および画像処理システム
JP5849403B2 (ja) * 2011-02-15 2016-01-27 セイコーエプソン株式会社 ロボットコントローラー、ロボット、及び、ロボットシステム
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法

Also Published As

Publication number Publication date
JP2020110916A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
WO2017179452A1 (ja) アクチュエータ制御システム、アクチュエータ制御方法、情報処理プログラム、および記録媒体
KR101494117B1 (ko) 전동기 제어 시스템 및 통신 방법
JP3002097B2 (ja) ビジュアルトラッキング方法
CN106406223B (zh) 机床与机器人的实时干扰确认系统
US10496079B2 (en) Control device and control method
US10860010B2 (en) Information processing apparatus for estimating behaviour of driving device that drives control target, information processing method and computer readable recording medium
US8843232B2 (en) Control method for a complex consisting of a plurality of multiaxial handling devices arranged in succession and/or side by side, and also data storage medium, control system and complex
JP4935369B2 (ja) サーボシステム
CN110253563B (zh) 控制装置、控制方法以及存储介质
JP6838672B2 (ja) アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体
US20190101893A1 (en) Information processing device, information processing method, and computer-readable recording medium
JP4980292B2 (ja) 異なる通信周期で複数のアンプと通信する数値制御システム
CN110262291B (zh) 控制装置、控制方法以及存储介质
JP3873685B2 (ja) 多軸同期制御装置、多軸同期制御方法および多軸同期制御プログラム
WO2022265642A1 (en) Robotic sytems and methods used to update training of a neural network based upon neural network outputs
US20240142954A1 (en) Communication system with ordered command data sets
JP7559381B2 (ja) 数値制御装置、数値制御装置の制御方法、及び工作機械
CN111699078A (zh) 机器人的运行
JP7040567B2 (ja) 制御装置、制御装置の制御方法、情報処理プログラム、および記録媒体
JP2019215634A (ja) 制御システム、制御装置およびプログラム
JP7052840B2 (ja) 位置特定装置、位置特定装置の制御方法、情報処理プログラム、および記録媒体
WO2020049765A1 (ja) 移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステム
US20230367629A1 (en) Method for Transferring a Software Application from a First to a Second Data Processing Device
CN118654671A (zh) 轨迹生成系统、轨迹生成方法和非暂时性存储介质
CN118829511A (zh) 用于安装部件组件的机器人系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R150 Certificate of patent or registration of utility model

Ref document number: 6838672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150