JP7791009B2 - 制御パラメータ調整方法、プログラムおよび記録媒体 - Google Patents

Description

本明細書で開示される主題は、制御パラメータ調整方法、プログラムおよび記録媒体に関する。

製造業の分野においては、経験またはノウハウに基づいて、装置を制御する制御パラメータ等を調整し、所望の目的を達成する事象が多くある。例えば、連続する柔軟媒体（以下、「ウェブ」と称する。）に対して記録する印刷装置において、高精度にウェブを搬送するためには、例えば、モータ制御のＰＩＤパラメータを調整する必要がある。上記のような調整は従来、技術者が試行錯誤で行っており、工数を要する。そのため、パラメータ調整の工数削減が課題となっている。

近年、こうしたパラメータ調整に機械学習を取り入れて自動化する動きがある。例えば、特許文献１（特開２０１９－０９８４３９号公報）では、制御対象のロボットの加減速動作時に発生する振動が所定の閾値以下となるように、機械学習を用いて加減速パラメータが調整されている。

特開２０１９－０９８４３９号公報

パラメータ調整に機械学習を活用する場合、機械学習モデルの訓練データ取得のために、「実際に装置を動かす」もしくは「装置のシミュレータモデルを作成し、動かす」ことが必要となる。「実際に装置を動かす」場合、教師あり学習や教師なし学習を行う際には事前にデータを取得する必要がある。しかしながら、所望の精度を得るために、どの程度の量のデータが必要になるか事前に把握することは困難である。

一方、強化学習やベイズ最適化といった手法の場合には、能動的にデータを取得するため、事前に必要なデータの量を把握する必要性は下がるが、所望の精度に達するために必要なデータ量が実際に装置を動かすには非現実的な量となってしまう場合があり、データ取得コストが問題となってしまう。

「装置モデルのシミュレータモデルを作成し、動かす」場合には、データ取得コストの問題は低下する。しかしながら、制御対象を物理モデルで定式化し、精度よく装置を再現するシミュレータの構築は困難である。

上記問題に対し、簡易な機械学習モデルで装置挙動をシミュレートするシミュレータモデルをまず作成し、その後、実機を用いつつモデルの訓練を進めるといった手法も提案されている。しかしながら、機械学習に基づくシミュレータモデルは、汎用性や適用範囲が必ずしも明確ではない。例えば、印刷装置において、ウェブの種類や環境変化などの状況変化が発生することによって、制御パラメータを最適化できない場合には、再度、学習済のシミュレータモデルを構築する必要があるため、シミュレータモデルを用いて制御パラメータを効率良く調整することが困難であった。

本発明の目的は、シミュレータモデルを用いて搬送装置の制御パラメータを効率良く調整することができる技術を提供することにある。

上記課題を解決するため、第１態様は、ウェブを搬送する搬送装置を制御するための制御パラメータを調整する制御パラメータ調整方法であって、ａ）第１の制御パラメータで搬送装置を動作させた場合の搬送特性を計測する工程と、ｂ）制御パラメータを入力とし、搬送特性を出力とする複数のシミュレータモデルを用いて、前記第１の制御パラメータに対する前記搬送特性を予測する工程と、ｃ）前記工程ａ）によって計測された搬送特性と、前記工程ｂ）によって予測された搬送特性とに基づいて、前記複数のシミュレータモデルの中から対象シミュレータモデルを選択する工程と、ｄ）前記対象シミュレータモデルを用いて、搬送特性が許容範囲となる制御パラメータを予測する工程と、ｅ）前記工程ｄ）によって予測された制御パラメータで前記搬送装置を動作させた場合の搬送特性を計測する工程と、ｆ）前記工程ｅ）によって計測された搬送特性が許容範囲から外れる場合、計測された搬送特性を訓練データとして、前記対象シミュレータモデルを訓練する工程とを含む。

第２態様は、第１態様の制御パラメータ調整方法であって、前記工程ｃ）において選択される前記対象シミュレータモデルは、前記複数のシミュレータモデルのうち、前記工程ａ）によって計測された搬送特性と差異が最も小さい搬送特性を出力するシミュレータモデルである。

第３態様は、第１態様または第２態様の制御パラメータ調整方法であって、前記搬送装置の搬送特性が許容範囲に入るまで、前記工程ｄ）から前記工程ｆ）までが繰り返し実行される。

第４態様は、第３態様の制御パラメータ調整方法であって、前記工程ｄ）は、強化学習またはベイズ最適化のアルゴリズムに基づいて実行される。

第５態様は、第１態様から第４態様のいずれか１つの制御パラメータ調整方法であって、前記複数のシミュレータモデルは、制御パラメータを入力として、前記ウェブの張力変動値をそれぞれ出力する。

第６態様は、コンピュータが実行可能なプログラムであって、第１態様から第５態様のいずれか１つの制御パラメータ調整方法を前記コンピュータに実行させる。

第７態様は、コンピュータが読取可能な記録媒体であって、第６態様のプログラムが記録されている。

第１態様の制御パラメータ調整方法によると、搬送装置の状況変化が発生した場合でも、複数のシミュレータモデルの中から選択される対象シミュレータモデルを訓練することにより、その状況変化に対応したシミュレータモデルを取得できる。したがって、シミュレータモデルを用いた制御パラメータの調整を効率良く行うことができる。

第２態様の制御パラメータ調整方法によると、状況変化が発生した搬送装置に近い挙動を示す対象シミュレータモデルが選択され、当該対象シミュレータが必要に応じて訓練される。これにより、状況変化に対応するシミュレータモデルを効率良く構築できる。

第３態様の制御パラメータ調整方法によると、新たに取得される訓練データを用いて対象シミュレータモデルが訓練されることにより、対象シミュレータモデルを用いて最適な制御パラメータを予測できるようになる。

第４態様の制御パラメータ調整方法によると、強化学習またはベイズ最適化のアルゴリズムに基づいて、訓練データを自動で取得し、その訓練データを用いて対象シミュレータモデルを訓練できる。

実施形態に係る搬送装置の構成を示す図である。 制御部の構成を示す図である。 搬送装置において実行されるシミュレータモデルの作成処理の流れを示す図である。 搬送装置が動作可能なＰＩパラメータ範囲からサンプリングしたサンプリング点を示す図である。 シミュレータモデルの出力結果を示す図である。 搬送装置において実行されるシミュレータモデルの微調整処理の流れを示す図である。 搬送装置において実行されるＰＩパラメータの再調整処理の流れを示す図である。

以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、この実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。図面においては、理解容易のため、必要に応じて各部の寸法や数が誇張又は簡略化して図示されている場合がある。

＜１． 実施形態＞
図１は、実施形態に係る搬送装置１を示す図である。搬送装置１は、長尺帯状のウェブ９を、ウェブ９の長手方向に沿う既定の搬送経路に沿って搬送する。ウェブ９は、例えば、印刷用紙、樹脂製フィルムまたは金属箔である。搬送装置１は、巻出ローラ１１と、複数の搬送ローラ１２１と、２つのニップローラ１２２，１２３と、張力測定ローラ１２４と、巻取ローラ１３と、複数のモータ１４と、張力計１５と、制御部２とを備える。

巻出ローラ１１は、巻回されたウェブ９を送り出す。巻取ローラ１３は、巻出ローラ１１から送り出されたウェブ９を巻き取る。複数の搬送ローラ１２１、ニップローラ１２２，１２３および張力測定ローラ１２４は、巻出ローラ１１と巻取ローラ１３の間の搬送経路上に配置されており、ウェブ９をそれぞれ支持する。

各モータ１４は、巻出ローラ１１と、ニップローラ１２２，１２３と、巻取ローラ１３とにそれぞれ接続されている。モータ１４が接続された各ローラは、モータ１４の駆動力を受けて、搬送経路に直交する回転軸を中心として回転することにより、ウェブ９を搬送経路の下流に向けて搬送する。モータ１４は、制御部２と電気的に接続されている。

ニップローラ１２２，１２３は、ウェブ９の両側の面に接触してウェブ９を把持しつつ、モータ１４の駆動力によって能動的に回転する。ニップローラ１２３は、ニップローラ１２２よりも搬送経路の下流に位置する。

張力測定ローラ１２４は、ウェブ９の搬送経路において、ニップローラ１２２とニップローラ１２３の間に位置する。張力計１５は、ウェブ９に掛かる張力を測定する装置であり、張力測定ローラ１２４がウェブ９から受ける力を計測する。張力計１５は、制御部２と通信可能に接続されている。

図２は、制御部２の構成を示す図である。制御部２は、搬送装置１の各部の動作を制御する。制御部２は、プロセッサ２１と、記憶部２３と、ディスプレイ２５と、入力デバイス２７とを備える。プロセッサ２１は、例えばＣＰＵ等で構成される。記憶部２３は、ＲＡＭまたはハードディスクドライブなどで構成される。ディスプレイ２５は、各種情報を表示する。入力デバイス２７は、キーボード、マウスまたはタッチパネルなどで構成される。記憶部２３、ディスプレイ２５および入力デバイス２７は、バスを介してプロセッサ２１と電気的に接続されている。

記憶部２３は、プログラム２３１およびシミュレータモデル２３５を記憶する。プログラム２３１は、記録媒体Mによって提供される。記録媒体Ｍは、プログラム２３１を、コンピュータである制御部２によって読取可能に記録している。記録媒体Ｍは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、ＤＶＤ（Digital Versatile Disc）などの光学ディスク、磁気ディスクである。

制御部２のプロセッサ２１は、記憶部２３からプログラム２３１を読み出し、プログラム２３１にしたがって動作する。これにより、搬送装置１の各部の動作が制御され、搬送装置１において、各処理が実行される。

図１中、破線で示すように、制御部２は、各モータ１４および張力計１５と、それぞれ電気的に接続されている。制御部２は、各モータ１４の動作を制御することにより、各ローラの回転速度を制御する。制御部２は、例えば、ニップローラ１２３の回転速度を、ニップローラ１２２の回転速度よりも大きくすることによって、ウェブ９に張力を付与する。ウェブ９に適度な張力が付与されることにより、搬送中におけるウェブ９の弛みや皺の発生が抑制される。また、制御部２は、張力計１５の出力に基づいて、張力変動値を計測する。

例えば、搬送装置１は、印刷装置に組み込まれていてもよい。この場合、ニップローラ１２２，１２３の間に、インクジェット方式でインクを吐出するヘッドが配置されてもよい。

制御部２は、後述するように、シミュレータモデル２３５の作成、および、シミュレータモデル２３５を用いた制御パラメータの調整を行う。シミュレータモデル２３５は、後述するように、制御パラメータを入力とし、搬送装置１の搬送特性を出力とする。

シミュレータモデル２３５は、例えば、ガウス過程回帰モデルである。なお、シミュレータモデル２３５は、ガウス過程回帰モデルに限定されるものではなく、ニューラルネットワークまたはサポートベクターマシン（ＳＶＭ）など、任意の機械学習モデルを適用し得る。また、後述するシミュレータモデル２３５の追加訓練において、ベイズ最適化を用いる場合には、ベイズ的なモデルが採用される。

制御パラメータは、具体的には、制御部２がニップローラ１２３のモータ１４をＰＩ制御するときのＰＩパラメータ（ＰゲインおよびＩゲイン）である。また、搬送特性は、具体的には、張力計１５によって検出される張力変動値である。

＜シミュレータモデルの作成処理＞
図３は、搬送装置１において実行されるシミュレータモデル２３５の作成処理の流れを示す図である。例えば、搬送装置１の立ち上げ時等において、シミュレータモデル２３５が１つも存在しない場合、図３に示すシミュレータモデルの作成処理が実行される。制御部２のプロセッサ２１は、記憶部２３からプログラム２３１に従って動作することによって、図３に示す各工程を実行する。

まず、制御部２は、搬送装置１が設計上動作することが可能なＰＩパラメータ範囲から、訓練用データとして計測するＰＩパラメータのセットをサンプリングする（サンプリング工程Ｓ１１）。なお、サンプリングのアルゴリズムとして、例えば、モンテカルロサンプリングを適用できる。

図４は、搬送装置１が動作可能なＰＩパラメータ範囲からサンプリングしたサンプリング点を示す図である。図４に示す例では、ＰＩパラメータ範囲を、Ｐゲインが０．２以上０．８以下、Ｉゲインが０．０以上０．４以下とし、その範囲内でサンプリングされたＰＩパラメータ毎に、張力変動値が測定される。

なお、サンプリング工程Ｓ１１において、サンプリング点数およびサンプリング手法は、任意に設定できる。例えば、出力の精度が低い場合、サンプリング点数を増加してもよい。また、サンプリング対象のＰＩパラメータ数が多い場合、ラテン方格サンプリングを適用してもよい。

制御部２は、サンプリング工程Ｓ１１においてサンプリングした各ＰＩパラメータに基づいて搬送装置１を動作させるとともに、ウェブ９の張力変動値を計測する（計測工程Ｓ１２）。これにより、各ＰＩパラメータに対する張力変動値がそれぞれ取得される。

制御部２は、各ＰＩパラメータを入力とし、計測工程Ｓ１２で得られる各張力変動値を出力とする複数の訓練データを用いて、未学習のシミュレータモデル２３５を訓練する（訓練工程Ｓ１３）。これにより、学習済のシミュレータモデル２３５が作成される。

図５は、シミュレータモデル２３５の出力結果を示す図である。図５に示すように、学習済のシミュレータモデル２３５は、訓練工程Ｓ１３により、各入力（ＰＩパラメータ）に対して、張力変動値を出力するように訓練される。

＜シミュレータモデル２３５の微調整＞
図６は、搬送装置１において実行されるシミュレータモデル２３５の微調整処理の流れを示す図である。図３に示す作成処理で作成されたシミュレータモデル２３５の精度を高めるため、図６に示す微調整処理が行われる。制御部２のプロセッサ２１は、記憶部２３のプログラム２３１に従って動作することによって、図６に示す各工程を実行する。

まず、制御部２は、シミュレータモデル２３５を用いて、出力である張力変動値が最適な値となる最適ＰＩパラメータを予測する（予測工程Ｓ２１）。予測工程Ｓ２１の後、制御部２は、予測された最適ＰＩパラメータに基づいてウェブ搬送を行い、ウェブ搬送時の張力変動値を計測する（計測工程Ｓ２２）。

計測工程Ｓ２２の後、制御部２は、計測された張力変動値が目標とする許容範囲に入るか判定する（判定工程Ｓ２３）。計測された張力変動値が許容範囲に入る場合（判定工程Ｓ２３においてＹｅｓ）、制御部２は、シミュレータモデル２３５の微調整を終了する。計測された張力変動値が許容範囲から外れる場合（判定工程Ｓ２３においてＮｏ）、制御部２は、予測された最適ＰＩパラメータと、計測された張力変動値とを訓練データとして、シミュレータモデル２３５を追加訓練する（追加訓練工程Ｓ２４）。追加訓練工程Ｓ２４の後、制御部２は、再び予測工程Ｓ２１を実行する。すなわち、計測される張力変動値が許容範囲となるまで、制御部２は、予測工程Ｓ２１から追加訓練工程Ｓ２４までを繰り返し実行する。

なお、予測工程Ｓ２１では、最適ＰＩパラメータを予測するアルゴリズムとして、強化学習が用いられてもよい。また、強化学習のエージェントとしては、例えば、ＳＡＣ（Soft-Actor-Critic）を適用できる。また、報酬関数としては、例えば、下記のように正規化したものを適用できる。
張力変動値が目標未達の場合：－１
張力変動値が目標達成の場合：１

なお、最適ＰＩパラメータの予測アルゴリズムとして、ベイズ最適化が用いられてもよい。また、報酬関数についても、上記のものに限定されない。例えば、計測工程Ｓ２２において計測された張力変動値から特徴量が算出され、算出された特徴量が報酬とされてもよい。

制御部２は、図３および図６に示すフローを複数回実行することにより、複数の学習済のシミュレータモデルを構築する。なお、各シミュレータモデル２３５を構築する際に、搬送装置１の搬送条件が変更されてもよい。例えば、ウェブ９の種類の変更が変更されることにより、ウェブ９の種類毎の搬送装置１の挙動を示すシミュレータモデル２３５が作成される。

＜ＰＩパラメータの再調整＞
図７は、搬送装置１において実行されるＰＩパラメータの再調整処理の流れを示す図である。制御部２のプロセッサ２１は、記憶部２３のプログラム２３１に従って動作することにより、図７に示す各工程を実行する。

まず、制御部２は、状況変化が発生したかどうか判定する（判定工程Ｓ３１）。状況変化とは、例えば、搬送装置１において搬送されるウェブ９の種類の変更、または、ウェブ９の搬送条件（搬送速度など）、環境変化などである。また、制御部２は、張力計１５によって計測される張力変動値が許容範囲から外れる場合に、状況変化が発生したと判定してもよい。また、ユーザによる所定の指示入力に基づいて、制御部２は、状況変化の発生を判定してもよい。

状況変化が発生した場合（判定工程Ｓ３１においてＹｅｓ）、制御部２は、既存のＰＩパラメータに基づいて、ウェブ搬送を行うとともに、張力変動値を計測する（計測工程Ｓ３２）。また、制御部２は、複数のシミュレータモデル２３５で構成されるシミュレータアンサンブルを用いて、既存のＰＩパラメータに対する張力変動値を予測する（予測工程Ｓ３３）。

制御部２は、計測工程Ｓ３２で得られる張力変動値の実測値と、予測工程Ｓ３３で得られる各シミュレータモデル２３５の出力値との差異を算出する（差異算出工程Ｓ３４）。この差異は、例えば、カルバック・ライブラー（ＫＬ）距離である。ただし、差異は、その他の値（例えば、ワッサースタイン距離など）であってもよい。

差異算出工程Ｓ３４の後、制御部２は、複数のシミュレータモデル２３５のうち、差異が最も小さかったシミュレータモデル２３５を選択する（選択工程Ｓ３５）。以下、選択されたシミュレータモデル２３５を、「対象シミュレータモデル２３５」と称する。制御部２は、対象シミュレータモデル２３５を用いて、出力値である張力変動値が最適な値となる最適ＰＩパラメータを予測する（予測工程Ｓ３６）。予測工程Ｓ３６において適用されるアルゴリズムは、予測工程Ｓ２１において適用されるアルゴリズム（例えば、強化学習）と同じであってもよい。

予測工程Ｓ３６の後、制御部２は、予測された最適ＰＩパラメータに基づいてウェブ搬送を行いつつ、張力変動値を計測する（計測工程Ｓ３７）。計測工程Ｓ３７の後、制御部２は、計測された張力変動値が目標とする許容範囲に入るか判定する（判定工程Ｓ３８）。計測された張力変動値が許容範囲に入る場合（判定工程Ｓ３８においてＹｅｓ）、制御部２は、ＰＩパラメータの再調整処理を終了する。この場合、予測工程Ｓ３６で予測された最適ＰＩパラメータに基づいてウェブ搬送が行われることによって、張力変動値を許容範囲内にすることができる。

予測工程Ｓ３６において計測された張力変動値が許容範囲から外れる場合（判定工程Ｓ３８においてＮｏ）、制御部２は、予測された最適ＰＩパラメータと、計測された張力変動値とのセットを新たな訓練データとし、対象シミュレータモデル２３５を追加訓練する（追加訓練工程Ｓ３９）。追加訓練工程Ｓ３９の後、制御部２は、再び予測工程Ｓ３６を実行する。すなわち、計測される張力変動値が許容範囲となるまで、予測工程Ｓ３６から追加訓練工程Ｓ３９までを繰り返し実行する。

ウェブ９の種類変更に応じてＰＩパラメータの再調整を行う場合、変更前後でウェブ９の特性があまり変わらない（具体的には、ヤング率の差が小さい）場合には、一般的にはＰＩパラメータの変更量は小さい。一方、変更前後でウェブ９の特性が大きく変わる場合には、一般的に、ＰＩパラメータの変更量が大きくなる。ここで、シミュレータモデル２３５の変化は、モデルの内部パラメータ（線形モデルの場合は、重み係数およびバイアス）の変化で表される。このため、変更前後でウェブ９の特性があまり変わらない場合、その変更に対応するために必要となるシミュレータモデル２３５の内部パラメータの変更量は、比較的小さくて済む。

図７に示すＰＩパラメータの再調整処理では、予め構築された複数のシミュレータモデル２３５の中から、状況変化した搬送装置１の状態に近い対象シミュレータモデル２３５を用いて、再訓練が行われる。このため、未学習のシミュレータモデルを一から訓練する場合と比較して、訓練データ数を削減できる。搬送装置１の状況変化に対して、シミュレータモデルの内部パラメータの調整で対応するため、シミュレータモデルの再設計が不要である。したがって、状況変化に対応した搬送装置１の挙動を表すシミュレータモデルを効率良く構築できるため、シミュレータモデルを用いたＰＩパラメータの再調整を効率良く行うことができる。

また、予測工程Ｓ３６から追加訓練工程Ｓ３９において、強化学習またはベイズ最適化等の学習アルゴリズムが適用される。これにより、必要な訓練データを自動で取得できる。

＜２． 変形例＞
以上、実施形態について説明してきたが、本発明は上記のようなものに限定されるものではなく、様々な変形が可能である。

上記実施形態では、制御パラメータがＰＩパラメータである場合について説明したが、その他のパラメータ（ＰＩＤパラメータなど）であってもよい。また、上記実施形態では、搬送特性がウェブ９の張力変動値である場合について説明したが、その他の物理量であってもよい。例えば、搬送特性は、搬送速度（ウェブ９の移動速度）やウェブ９の蛇行量等であってもよい。

この発明は詳細に説明されたが、上記の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。上記各実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせたり、省略したりすることができる。

１ 搬送装置
２ 制御部
９ ウェブ
２３１ プログラム
２３５ シミュレータモデル
Ｍ 記録媒体

Claims (7)

1. ウェブを搬送する搬送装置を制御するための制御パラメータを調整する制御パラメータ調整方法であって、
   ａ） 既存の制御パラメータで搬送装置を動作させた場合の搬送特性を計測する工程と、
   ｂ） 制御パラメータを入力とし、搬送特性を出力とする複数のシミュレータモデルを用いて、前記既存の制御パラメータに対する前記搬送特性を予測する工程と、
   ｃ） 前記工程ａ）によって計測された搬送特性と、前記工程ｂ）によって予測された搬送特性とに基づいて、前記複数のシミュレータモデルの中から対象シミュレータモデルを選択する工程と、
   ｄ） 前記対象シミュレータモデルを用いて、搬送特性が許容範囲となる制御パラメータを予測する工程と、
   ｅ） 前記工程ｄ）によって予測された制御パラメータで前記搬送装置を動作させた場合の搬送特性を計測する工程と、
   ｆ） 前記工程ｅ）によって計測された搬送特性が許容範囲から外れる場合、計測された搬送特性を訓練データとして、前記対象シミュレータモデルを訓練する工程と、
   を含む、制御パラメータ調整方法。
2. 請求項１に記載の制御パラメータ調整方法であって、
   前記工程ｃ）において選択される前記対象シミュレータモデルは、前記複数のシミュレータモデルのうち、前記工程ａ）によって計測された搬送特性と差異が最も小さい搬送特性を出力するシミュレータモデルである、制御パラメータ調整方法。
3. 請求項１または請求項２に記載の制御パラメータ調整方法であって、
   前記搬送装置の搬送特性が許容範囲に入るまで、前記工程ｄ）から前記工程ｆ）までが繰り返し実行される、制御パラメータ調整方法。
4. 請求項３に記載の制御パラメータ調整方法であって、
   前記工程ｄ）は、強化学習またはベイズ最適化のアルゴリズムに基づいて実行される、制御パラメータ調整方法。
5. 請求項１から請求項４のいずれか１項に記載の制御パラメータ調整方法であって、
   前記複数のシミュレータモデルは、制御パラメータを入力として、前記ウェブの張力変動値をそれぞれ出力する、制御パラメータ調整方法。
6. コンピュータが実行可能なプログラムであって、
   請求項１から請求項５のいずれか１項に記載の制御パラメータ調整方法を前記コンピュータに実行させる、プログラム。
7. コンピュータが読取可能な記録媒体であって、請求項６に記載のプログラムが記録されている、記録媒体。