JP6947029B2 - 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム - Google Patents

制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP6947029B2
JP6947029B2 JP2017524608A JP2017524608A JP6947029B2 JP 6947029 B2 JP6947029 B2 JP 6947029B2 JP 2017524608 A JP2017524608 A JP 2017524608A JP 2017524608 A JP2017524608 A JP 2017524608A JP 6947029 B2 JP6947029 B2 JP 6947029B2
Authority
JP
Japan
Prior art keywords
information
output
controlled object
input
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017524608A
Other languages
English (en)
Other versions
JPWO2016203757A1 (ja
Inventor
義男 亀田
義男 亀田
学 楠本
学 楠本
謙一郎 福司
謙一郎 福司
振斌 許
振斌 許
岳夫 野崎
岳夫 野崎
石田 尚志
尚志 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016203757A1 publication Critical patent/JPWO2016203757A1/ja
Application granted granted Critical
Publication of JP6947029B2 publication Critical patent/JP6947029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)

Description

本発明は、制御対象に対する予測制御を行う制御装置と、それを使用する情報処理装置と、制御方法と、コンピュータ・プログラムに関する。
この種の制御装置には、制御対象に対し、将来の制御量を予測して制御する予測制御を行う予測制御装置がある。
予測制御は、制御対象の動作結果を予測する制御モデルを用いて、アクチュエータの操作量に対する制御対象の制御量の変化を予測し、最適なアクチュエータの操作量を決定する制御方法である。その応用分野は、産業用プロセス制御、居住空間における環境制御、農林水産物施設における環境制御および移動体制御などがある。
ここで、関連技術としては、例えば以下の特許文献がある。
特許文献1は、過去から現在までの計測値の時系列データと、アクチュエータの操作量指令値の過去から未来までの時系列データとを入力として、制御モデルを同定する方法を開示している。
特許文献2は、実操業のプロセスデータを収集し、収集したデータを用いて、オンラインで制御モデルを同定する方法を開示している。
特開2001−249705号公報 特許第5569079号公報
しかしながら、特許文献1および特許文献2に提案されている技術は、制御対象が実稼働時にデータを収集する必要がある。そのため、これらの技術は、未稼働の制御対象に適用することができない。
そこで、本発明は、未稼働の制御対象に適用することが可能な制御装置等の提供を主たる目的とする。
上記の目的を達成すべく、本発明の一態様に係る制御装置は、以下の構成を備える。
即ち、本発明の一態様に係る制御装置は、
記憶手段と、アクチュエータの操作の統計量を基に、シミュレーションを行い、その操作に対する出力に関する情報を求めて、求めた情報を前記記憶手段に保存するシミュレーション手段と、
前記情報を基に学習し、その結果として得られる予測モデルを前記記憶手段に保存する学習手段と、
前記予測モデルを参照して制御問題を生成する生成手段と、
を備える。
同目的を達成する本発明の一態様に係る情報処理装置は、
上記制御装置と、
前記制御問題を処理する処理手段と、
前記処理手段により求められた情報を出力する出力手段と
を備える。
同目的を達成する本発明の一態様に係る制御方法は、
アクチュエータの操作の統計量を基にシミュレーションを行い、その操作に対する出力に関する情報を求めて、求めた情報を記憶手段に保存し、
前記情報を基に学習し、その結果として得られる予測モデルを前記記憶手段に保存し、
前記予測モデルを参照して制御問題を生成する。
更に、同目的は、上記構成を有する制御装置、情報処理装置、或いは、制御方法を、コンピュータによって実現するためのコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても達成される。
上記の本発明によれば、未稼働の制御対象に適用することが可能な制御装置等を提供することができるという効果がある。
本発明の第1の実施形態に係る制御装置の構成を示すブロック図である。 本発明の第2の実施形態に係る制御装置の構成を示すブロック図である。 本発明の第2の実施形態に係る制御装置の動作を示すフローチャートである。 本発明の第2の実施形態に係るシミュレーションデータベースの一例を示す図である。 本発明の第2の実施形態に係る学習データベースの一例を示す図である。 本発明の第2の実施形態に係る予測モデルデータベースの一例を示す図である。 本発明の第2の実施形態に係る制御問題の一例を示す図である。 本発明の第3の実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第3の実施形態を実現可能なコンピュータのハードウェア構成を例示的に説明する図である。 本発明の第3の実施形態を実現可能なコンピュータのハードウェア構成を例示的に説明する図である。 本発明の第4の実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第5の実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第6の実施形態に係る情報処理装置の構成を示すブロック図である。
次に、本発明を実施する形態について図面を参照して詳細に説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る制御装置10の構成を示すブロック図である。
制御装置10は、シミュレーション部11と、学習部12と、生成部13と、記憶部14とを含む。
シミュレーション部11は、アクチュエータの操作の統計量を基に、シミュレーションを行い、その操作に対する出力に関する情報を求める。そして、シミュレーション部11は、その情報を記憶部14に保存する。アクチュエータは、制御対象に作用を与えるデバイス、回路などの装置である。
学習部12は、シミュレーション部11が保存した情報を基に、制御対象の入力値とそれに対する将来の出力値の関係性を学習する。そして、学習部12は、その結果として得られる予測モデルを記憶部14に保存する。予測モデルは、例えば、将来の出力を目的変数とし、説明変数に制御対象の入力を含む関数である。
生成部13は、記憶部14に保存された予測モデルを参照して制御問題を生成する。制御問題は、例えば、多次元連立方程式(不等式)で表現される多変数の最小化(最大化)問題である。
以上、説明したように、第1の実施形態には、未稼働の制御対象に適用することが可能な制御装置等を提供することができるという効果がある。
その理由は、本実施形態に係る制御装置10は、シミュレーションによって生成したデータを学習して制御問題を生成するからである。
<第2の実施形態>
次に上述した第1の実施形態に係る制御装置10を基本とする第2の実施形態について説明する。図2は、本発明の第2の実施形態に係る制御装置101の構成を示すブロック図である。ただし、図2に示す構成は、一例であって、本発明は、図2に示す制御装置101に限定されない。
制御装置101は、シミュレーションデータベース105と、シミュレーション部110と、学習データベース115と、学習部120と、予測モデルデータベース125と、生成部130とを含む(図2において、「データベース」(Database)は、「DB」と表記する。これは、以下の図でも同様である。)。
シミュレーションデータベース105は、少なくとも、シミュレーションに用いるアクチュエータの操作の統計量を保持する。アクチュエータは、制御対象に作用を与える装置である。アクチュエータは、具体的には、モータ、ヒーター、または、照明などである。アクチュエータの操作は、例えば、モータをある速度で回転させること、ヒーターにより発熱させること、または、照明により照度を上げることである。そのときのアクチュエータの操作量は、アクチュエータに入力する値(入力値、指令値)である電流、電圧などの制御入力で決まる。統計量は、指令値の分布の特徴を表すもので、例えば、最小値、最大値、平均値、または、標準偏差などである。
シミュレーションデータベース105は、上述の統計量のほかに、制御対象の入力値(制御入力)と出力値との間の関係性を定めた関数または方程式(これらをシミュレーションモデルとも言う)、シミュレーションステップ時間、シミュレーション終了時間を記憶してもよい。シミュレーションステップ時間は、制御対象への各入力値に対するシミュレーションの実行間隔である。シミュレーションデータベース105が記憶する統計量は、制御入力の最小値と最大値、制御入力がとりうる確率分布、および、制御対象の初期状態を表す情報を含んでもよい。さらに、将来起こりうる経時変化を考慮して、シミュレーションデータベース105は、現時点からの制御入力の時間変化を表す情報を保持してもよい。
シミュレーション部110は、シミュレーションデータベース105を参照してシミュレーションを実行する。その実行結果として、シミュレーション部110は、制御対象の入力に対する出力と状態をそれぞれ表す情報を出力する。
シミュレーション部110は、出力した情報を学習データベース115に保存する。
学習データベース115は、制御対象の入力と、出力と、状態をそれぞれ表す情報を、シミュレーションステップ時間ごとに保持する。入力を表す情報は、制御対象へ外部から与えられる変数であり、入力変数という。入力変数の値は入力値(指令値)である。また、出力を表す情報は、制御対象から外部に取り出される(外部から観測される)変数であり、出力変数という。出力変数の値は、出力値である。さらに、状態を表す情報は、制御対象の内部にある変数であり、状態変数という。外部から観測可能な状態変数は、出力変数であり、かつ状態変数でもあるということになるが、ここでは簡単のために、このような変数は、出力変数と分類し、外部から観測できない変数を状態変数とする。
学習部120は、学習データベース115を参照し、制御対象の入力値とそれに対する将来の出力の予測値との関係性を学習する。そして、学習部120は、その関係性を表現した予測モデルを生成する。そして、学習部120は、予測モデルを予測モデルデータベース125に保存する。
一般に、シミュレーションモデルは、高次の微分方程式である。そして、シミュレーションモデルは、広範な入力条件に対応できるようにあらゆる動作を表現するため、複雑な数式である。そのため、この数式を実際の制御モデル(制御則)として用いることは、実用的でない。一方、予測モデルは、想定する動作を表現するように限定するため、あらゆる動作を表現するシミュレーションモデルに比べて、単純な数式である。予測モデルは、将来の出力値を目的変数とし、説明変数に制御入力を含む関数である。特に、予測モデルが区分線形関数である場合に、その予測モデルは、容易に制御則として用いることが可能である。
生成部130は、予測モデルデータベース125に保存された予測モデルである関数を参照して、制御問題を生成する。制御問題は、多次元連立方程式(不等式)で表現される多変数の最小化(最大化)問題として定式化される。制御問題は、より具体的には、(整数混合)線形計画問題や(整数混合)二次計画問題として定式化される。
次に、本発明の第2の実施形態の動作について説明する。
図3は、本発明の第2の実施形態に係る制御装置101の動作を示すフローチャートである。
はじめに、シミュレーション部110は、シミュレーションデータベース105を参照することにより、制御対象の入力値と、状態変数の初期値とを決定する。シミュレ-ション部110は、制御対象の入力値と、状態変数の初期値とを、シミュレーションデータベース105に格納された最小値と最大値の間で一様にランダムに生成してもよい。あるいは、シミュレ-ション部110は、制御対象の入力値と、状態変数の初期値とを、シミュレーションデータベース105に格納された確率分布に従ってランダムに生成してもよい。あるいは、シミュレ-ション部110は、シミュレーションデータベース105に保存された値を、状態変数の初期値として、使用してもよい。
それから、シミュレ-ション部110は、その決定した値を基に、シミュレーションを実行する(ステップS110)。
シミュレーションが完了した後に、シミュレーション部110は、シミュレーション結果である制御対象の入力値と、出力値と、内部状態を表す情報とを学習データベース115に保存する(ステップS115)。
学習部120は、学習データベース115を参照し、制御対象の入力値とそれに対する将来の出力値(予測値)の関係性を学習し、予測モデルを出力する(ステップS120)。関係性の学習は、例えば、回帰分析により行う。本実施形態では、特に、線形回帰分析を想定している。但し、関係性を学習する方法は、これに限らず、一般に知られた他の方法を用いてもよい。学習結果である予測モデルは、将来の出力を目的変数とし、説明変数に制御対象の入力を含む関数である。
学習を完了した後、学習部120は、学習結果である予測モデルを予測モデルデータベース125に保存する(ステップS125)。
生成部130は、予測モデルデータベース125を参照し、制御装置100の外部から与えられる設定値を取り込んで制御問題を生成する(ステップS130)。設定値は、制御対象の制御したい変数(目的変数)における、望ましい値である。例えば、部屋が制御対象である場合、制御したい変数は、室温である。そして、室温を20℃にしたい場合、制御装置100は、設定値として、20℃を与えられる。制御問題は、予測モデルデータベース125に保存された関数に、設定値と、制御対象の状態を表す情報値とを代入することにより得られる、制御対象への制御入力を変数とした多次元連立方程式(不等式)の最小化(最大化)問題である。制御対象を部屋とした場合、状態を表す情報は、部屋の温度、湿度、または照度等である。その値は、学習データベース115に保存された情報から得ることができる。予測モデルが区分線形関数である場合、制御問題は、複数の線形連立方程式(不等式)になる。特に、最適化の評価関数が線形である場合、制御問題は、線形計画問題に帰着できる。
以上により、本発明の第2の実施形態の動作の説明が完了する。
次に、制御対象が園芸施設である場合を例として、それぞれのデータベースの構成について説明する。
図4は、本発明の第2の実施形態に係るシミュレーションデータベース105の一例を示す図である。シミュレーションデータベース105は、シミュレーションテーブルと、入力変数テーブルと、状態変数テーブルとを含む。
図4によれば、シミュレーションテーブルは、シミュレーションステップ時間が1分であり、1440分(1日に相当)までシミュレーションを行うことを示す情報を含む。温度Tと湿度Hに関して、微分方程式で表現されたシミュレーションモデルを用いてシミュレーションが実行される。
統計量を記憶する入力変数テーブルは、制御対象への入力変数の名前と、それぞれの統計値とを含む。図4の入力変数テーブルを参照すると、入力変数uHとuWは、アクチュエータの操作の量(指令値)を表す変数である。そして、入力変数uHとuWのそれぞれの値は、例えば、ヒーターと窓開度の指令値に対応する。この場合、アクチュエータは、ヒーターと、窓(厳密にいうと窓を開閉させるためのモータ)である。そして、アクチュエータの操作の統計量は、最小値、最大値、平均値および標準偏差である。
統計量を記憶する状態変数テーブルは、制御対象の状態変数の名前と、その状態変数が取り得る一組以上の初期値とを含む。
図5は、本発明の第2の実施形態に係る学習データベース115の一例を示す図である。学習データベース115は、シミュレーションステップ時間(1分)ごとに、入力変数と、出力変数と、状態変数とを保持している。入力変数uHとuWは、例えば、それぞれ、ヒーター指令値(Offや強中弱などを表す値)と、窓開度指令値(窓を何%開けるかを表す値)を表す。出力変数TとHは、それぞれ施設中央で高さが1.5m付近における温度と湿度を表す。状態変数T1とH1は、それぞれ施設中央で地表面付近における温度と湿度を表す。例えば、図5の2行目のレコードに示すように、1分後に、入力変数uHの値であるヒーター指令値を「2」に、入力変数uWの値である窓開度指令値を「4」にした場合について説明する。このとき、図5に示す学習データベース115によれば、施設中央で、高さが1.5m付近の温度と湿度は、出力変数T、Hに対応し、それぞれの値は19.9℃と80%になる。また、地表付近の温度と湿度は、状態変数T1とH1に対応し、それぞれの値は22.6℃と90%になる。
図6は、本発明の第2の実施形態に係る予測モデルデータベース125の一例を示す図である。予測モデルデータベース125は、将来の複数の予測に対応する複数の予測モデルである関数を記憶する。例えば、現在の時間をtとすると、現在から1分後(t+1)の施設中央で高さが1.5m付近の温度の予測値T(t+1)は、現在のヒーター指令値uH(t)に「3」を掛けた値と、現在の窓開度指令値uW(t)に「2.1」を掛けた値と、施設中央で高さが1.5m付近の現在の温度T(t)に「0.8」を掛けた値とを足し合わせた値である。
図7は、本発明の第2の実施形態に係る制御問題の一例を示す図である。図6に示した予測モデルデータベース125を参照して、図7に示した制御問題を作成する手順について説明する。例えば、現在の時間をtとして、設定値は、1分後および2分後に希望する温度と湿度として、T(t+1)=21.1、T(t+2)=17.8、H(t+1)=52.8、H(t+2)=37.4とする。さらに、状態を表す値は、学習データベース115を参照して、T(t)=20.0、H(t)=80.0とする。図6に示した予測モデルデータベース125にこれらの6個の値を代入すると、図7に示す線形計画問題が、制御問題として得られる。ここで、制御問題は、入力変数(uH(t)、uW(t)、uH(t+1)およびuW(t+1))の和を最小化すべき目的関数としている。図7に示した4つの式を連立方程式として解くと、uH(t)、uW(t)、uH(t+1)およびuW(t+1)は、求められる。この例では、入力変数の数と等式の数が同じであるため、等式条件のみで入力変数の値は確定する。しかし、一般的には、制御問題は、等式を満たし、かつ、目的関数が最小である値を求める問題になる。等式の数よりも入力変数の数が多い場合、それぞれの入力変数の値は、確定しない。そのため、目的関数を最小化する入力変数の値が解となる。
以上、説明したように、第2の実施形態には、未稼働の(将来の)制御対象に適用することが可能な制御装置等を提供することができるという効果がある。
その理由は、本実施形態に係る制御装置101は、シミュレーションデータベース105を参照してシミュレーションを実行し、シミュレーション実行結果を保存した学習データベース115を参照して学習し、学習結果を保存した予測モデルデータベース125を参照して制御問題を生成するからである。
さらに、制御装置101は、実稼働時に収集したデータでなく、シミュレーションによって得たデータを基に、制御問題を生成するため、実稼働時に変化する範囲の外を対象とする制御にも適用することが可能である。
<第3の実施形態>
次に上述した第2の実施形態に係る制御装置101を基本とする第3の実施形態について説明する。図8は、本発明の第3の実施形態に係る情報処理装置100の構成を示すブロック図である。ただし、図8に示す構成は、一例であって、本発明は、図8に示す情報処理装置100に限定されない。
図8を参照すると、情報処理装置100は、制御装置101と、処理装置102とを含む。制御装置101は、第2の実施形態と同様であるため、説明を省略する。
処理装置102は、処理部140と、出力部150とを含む。
処理部140は、制御装置101の生成部130で生成された制御問題の解を導出する。そのために、処理部140は、既存の解法アルゴリズムやそれを実装したソルバー(アプリケーションプログラム)を用いることができる。
制御問題の解を導出する前に、処理部140は、第2の実施形態において制御装置101の生成部130で行うとしていた以下の処理を、生成部130の代わりに、行ってもよい。すなわち、処理部140は、予測モデルデータベース125に保存された関数に、設定値の一部または全部を代入してもよい。また、処理部140は、予測モデルデータベース125に保存された関数に、制御対象の状態を表す情報値の一部または全部を代入してもよい。
出力部150は、処理部140の結果である制御問題の解を出力する。出力部150は、例えば、処理装置102に内蔵されたディスプレイである。あるいは、出力部150は、無線LAN(Local Area Network)により通信可能に処理装置102に接続されたディスプレイであってもよい。
なお、情報処理装置100、制御装置101および処理装置102は、CPU(Central Processing Unit)とプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。
図9は、本発明の第3の実施形態の情報処理装置100を実現可能なコンピュータ100Aの構成を例示的に説明する図である。
情報処理装置100のハードウェア構成であるコンピュータ100Aは、CPU310と、ハードディスクやメモリ等の記憶部(記憶媒体)320と、他の装置等と通信を行う通信部330と、キーボード等の入力操作部340と、ディスプレイ等の表示部350とを含む。CPU310は、記憶部320を制御し、コンピュータプログラムを実行することで、シミュレーション部110、学習部120、生成部130、処理部140および出力部150の機能を実現する。コンピュータプログラムは、記憶部320に記憶されていてもよい。なお、コンピュータ100Aは、単一のCPU310で、シミュレーション部110と、学習部120と、生成部130と、処理部140および出力部150の機能を実現するのではなく、複数のCPUを用いてこれらの機能を実現してもよい。記憶部320は、シミュレーションデータベース105と、学習データベース115と、予測モデルデータベース125とを含む。なお、コンピュータ100Aは、単一の記憶手段320にそれらのデータベースを含むのではなく、複数の記憶手段320にデータベースを分散させてもよい。入力手段340は、ユーザ等からの入力を受け付ける。出力手段350は、ユーザ等へ結果を出力する。なお、通信手段330は、他の装置から制御問題等を受信し、他の装置へ結果を送信してもよい。
図10は、本発明の第3の実施形態の情報処理装置100を実現可能なコンピュータシステム100Bの構成を例示的に説明する図である。コンピュータシステム100Bに含まれるコンピュータ101Bとコンピュータ102Bは、通信経路335を介して接続されている。通信経路335は、有線であっても無線であってもよい。
コンピュータ101Bは、CPU310Aと、ハードディスクやメモリ等の記憶部(記憶媒体)320と、他の装置等と通信を行う通信部330Aと、キーボード等の入力操作部340Aと、ディスプレイ等の表示部350Aとを含む。CPU310Aは、記憶部320を制御し、コンピュータプログラムを実行することで、シミュレーション部110、学習部120および生成部130の機能を実現する。コンピュータプログラムは、記憶部320に記憶されていてもよい。記憶部320は、シミュレーションデータベース105と、学習データベース115と、予測モデルデータベース125とを含む。
コンピュータ102Bは、CPU310Bと、他の装置等と通信を行う通信部330Bと、キーボード等の入力操作部340Bと、ディスプレイ等の表示部350Bとを含む。CPU310Bは、コンピュータプログラムを実行することで、処理部140および出力部150の機能を実現する。
コンピュータシステム100Bは、コンピュータ101Bとコンピュータ102Bを別々の場所に配置してもよい。例えば、コンピュータ101Bは、データセンターに配置し、コンピュータ102Bは、制御対象の近くに配置してもよい。また、コンピュータシステム100Bは、一つのコンピュータ101Bに複数のコンピュータ102Bを接続する構成としてもよい。
以上、説明したように、第3の実施形態には、未稼働の制御対象に適用することが可能な情報処理装置等を提供することができるという効果がある。
その理由は、本実施形態に係る情報処理装置100は、第2の実施形態により生成した制御問題に対して、その解を導出し、導出した解を出力するからである。
<第4の実施形態>
次に上述した第3の実施形態に係る情報処理装置100を基本とする第4の実施形態について説明する。
図11は、本発明の第4の実施形態に係る情報処理装置1001の構成を示すブロック図である。図11を参照すると、本発明の第4の実施形態の情報処理装置1001は、制御対象2001に接続されている。図11に示す情報処理装置1001は、制御装置と処理装置が分かれた構成としていないが、図8に示した情報処理装置100のように制御装置と処理装置とに分かれる構成として実現してもよい。以降に示す図12および図13も同様である。
制御対象2001は、駆動部210を含む。
駆動部210は、情報処理装置1001の出力部150から出力される値を基に、アクチュエータ(図示しない)を駆動する。アクチュエータを駆動する操作は、個々のアクチュエータごとにあらかじめ設定されており、その設定された内容に従って、行われる。例えば、出力部150による出力値が10である場合、駆動部210は、モータを10秒間オンにする。また、例えば、駆動部210は、モータの入力電圧を10ボルトに設定するとしてもよい。
以上、説明したように、第4の実施形態には、未稼働の制御対象に適用することが可能な情報処理装置等を提供することができるという効果がある。
その理由は、本実施形態に係る情報処理装置1001は、第3の実施形態によって得られた制御問題の解を基に、制御対象2001の駆動部210がアクチュエータを駆動するからである。
<第5の実施形態>
次に上述した第4の実施形態に係る情報処理装置1001を基本とする第5の実施形態について説明する。
図12は、本発明の第5の実施形態に係る情報処理装置1002の構成を示すブロック図である。図12を参照すると、本発明の第5の実施形態の情報処理装置1002は、制御対象2002に接続されている。
制御対象2002は、駆動部210と、測定部220とを含む。
駆動部210は、第4の実施形態と同様であるため、説明を省略する。
測定部220は、制御対象2002の稼働時に、制御対象2002の出力値と状態、および、制御対象2002へ入力した入力値を測定する。そして、測定部220は、それらの測定した値を学習データベース115に追加して保存する。
学習部120は、データが追加された学習データベース115を参照して再び学習を行い、予測モデルを作成する。そして、学習部120は、その予測モデルを予測モデルデータベース125に保存する。
再び学習するタイミングは、例えば、あらかじめ決めた周期でも、学習データベース115に追加されたデータ量がある値を超えた時でも、あるいは、情報処理装置1002の外部から再学習することを要求する信号を受け取った時でもよい。
以上、説明したように、第5の実施形態には、未稼働の制御対象に適用することが可能な情報処理装置等を提供することができるという効果がある。
その理由は、本実施形態に係る制御装置1002は、測定部220が測定した値を基に、学習部120が再び学習を行うことにより、測定した値を反映した予測モデルを作成するからである。これにより、情報処理装置1002は、シミュレーションによって生成されたデータを学習して作成した予測モデルを、より現実に即した内容にすることが可能である。
<第6の実施形態>
次に上述した第5の実施形態に係る情報処理装置1002を基本とする第6の実施形態について説明する。
図13は、本発明の第6の実施形態に係る情報処理装置1003の構成を示すブロック図である。図13を参照すると、本発明の第6の実施形態の情報処理装置1003は、本発明の第5の実施形態の情報処理装置1002に、さらに、判定部160を含む。
判定部160は、処理部140で求められた入力値に対して、予測モデルを用いて計算された予測値と、制御対象2003の測定部220で測定された値とを比較し、そのかい離があらかじめ定められた値を超えた時に再学習が必要であると判定する。
判定部160により再学習が必要であると判定された場合、学習部120は、学習データベース115を参照して、学習する。そして、学習部120は、学習した結果を、予測モデルデータベース125に保存する。
以上、説明したように、第6の実施形態には、未稼働の制御対象に適用することが可能な情報処理装置等を提供することができるという効果がある。
その理由は、本実施形態に係る情報処理装置1003は、予測モデルを用いて計算した予測値と、測定部220が測定した値がかい離している場合に、測定部220が測定した値を基に、学習部120が再学習を行うことにより、測定した値を反映した予測モデルを作成するからである。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2015年6月18日に出願された日本出願特願2015−122486を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10 制御装置
11 シミュレーション部
12 学習部
13 生成部
14 記憶部
100 情報処理装置
100A、101B、102B コンピュータ
100B コンピュータシステム
101 制御装置
102 処理装置
105 シミュレーションデータベース
110 シミュレーション部
115 学習データベース
120 学習部
125 予測モデルデータベース
130 生成部
140 処理部
150 出力部
160 判定部
210 駆動部
220 測定部
310、310A、310B CPU
320 記憶部
330、330A、330B 通信部
335 通信経路
340、340A、340B 入力操作部
350、350A、350B 表示部
1001、1002、1003 情報処理装置
2001、2002、2003 制御対象

Claims (10)

  1. 記憶手段と、
    制御対象に作用を与えるアクチュエータの操作の統計量を基に、前記操作を入力とした前記制御対象の動作のシミュレーションによる前記制御対象の出力に関する情報を求めて、前記制御対象の入力に関する情報と求めた前記制御対象の出力に関する情報とを前記記憶手段に保存するシミュレーション手段と、
    前記情報を基に学習することにより得られる、前記制御対象の入力と出力の予測値との関係性を表す予測モデルを前記記憶手段に保存する学習手段と、
    前記予測モデルを参照して制御問題を生成する生成手段と、
    を備えた制御装置。
  2. 前記予測モデルは、ある時刻の制御対象の出力を目的変数とし、前記時刻以前の制御対象の入力を説明変数に含む関数から成る
    請求項1記載の制御装置。
  3. 前記関数は、区分線形関数である
    請求項2記載の制御装置。
  4. 前記アクチュエータの操作の統計量は、前記アクチュエータの操作の最小値、最大値または確率分布のいずれかを含む
    請求項1乃至3の何れか一項に記載の制御装置。
  5. 前記制御問題を処理する処理手段と、
    前記処理手段により求められた出力情報を出力する出力手段と
    請求項1乃至4の何れか一項に記載の制御装置と
    を備えた情報処理装置。
  6. 前記出力手段が出力した前記出力情報を基に前記アクチュエータの操作を行う装置に接続された請求項5記載の情報処理装置。
  7. 前記アクチュエータの操作を行った時の情報を測定した測定情報を前記記憶手段に追加し、追加後の前記記憶手段に保存された測定情報を参照して、前記学習手段が再学習することにより前記予測モデルを作成する請求項6記載の情報処理装置。
  8. 前記処理手段が処理した結果と、前記測定情報とを比較し、再学習の要否を判定する判定手段をさらに備え、
    前記判定手段により再学習が必要と判定された場合に、前記学習手段が再学習することにより前記予測モデルを作成する請求項7記載の情報処理装置。
  9. 制御対象に作用を与えるアクチュエータの操作の統計量を基に、前記操作を入力とした前記制御対象の動作のシミュレーションによる前記制御対象の出力に関する情報を求めて、前記制御対象の入力に関する情報と求めた前記制御対象の出力に関する情報とを記憶手段に保存し、
    前記情報を基に学習することにより得られる、前記制御対象の入力と出力の予測値との関係性を表す予測モデルを前記記憶手段に保存し、
    前記予測モデルを参照して制御問題を生成する
    制御方法。
  10. 記憶手段を備えるコンピュータに、
    制御対象に作用を与えるアクチュエータの操作の統計量を基に、前記操作を入力とした前記制御対象の動作のシミュレーションによる前記制御対象の出力に関する情報を求めて、前記制御対象の入力に関する情報と求めた前記制御対象の出力に関する情報とを前記記憶手段に保存するシミュレーション機能と、
    前記情報を基に学習することにより得られる、前記制御対象の入力と出力の予測値との関係性を表す予測モデルを前記記憶手段に保存する学習機能と、
    前記予測モデルを参照して制御問題を生成する生成機能と
    を実行させる
    コンピュータ・プログラム。
JP2017524608A 2015-06-18 2016-06-13 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム Active JP6947029B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015122486 2015-06-18
JP2015122486 2015-06-18
PCT/JP2016/002843 WO2016203757A1 (ja) 2015-06-18 2016-06-13 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラムが格納されているコンピュータ読み取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2016203757A1 JPWO2016203757A1 (ja) 2018-05-24
JP6947029B2 true JP6947029B2 (ja) 2021-10-13

Family

ID=57545826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524608A Active JP6947029B2 (ja) 2015-06-18 2016-06-13 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム

Country Status (2)

Country Link
JP (1) JP6947029B2 (ja)
WO (1) WO2016203757A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143019A1 (ja) * 2017-01-31 2018-08-09 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記録媒体
WO2020121551A1 (ja) * 2018-12-12 2020-06-18 日本電信電話株式会社 マルチデバイス連携制御装置、マルチデバイス連携制御方法およびマルチデバイス連携制御プログラム、並びに、学習装置、学習方法および学習プログラム
JP7358251B2 (ja) * 2020-01-17 2023-10-10 株式会社荏原製作所 めっき支援システム、めっき支援装置、めっき支援プログラムおよびめっき実施条件決定方法
EP3916496A1 (en) * 2020-05-29 2021-12-01 ABB Schweiz AG An industrial process model generation system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4536666B2 (ja) * 2006-02-13 2010-09-01 出光興産株式会社 Pid制御器の最適調整システム及び最適調整方法
JP4573783B2 (ja) * 2006-03-08 2010-11-04 株式会社日立製作所 プラントの制御装置と制御方法及び火力発電プラントとその制御方法
JP5077831B2 (ja) * 2008-09-25 2012-11-21 横河電機株式会社 プラント制御システムおよびプラント制御方法
JP2010191535A (ja) * 2009-02-16 2010-09-02 Mazda Motor Corp 車両用サスペンションの設計支援装置、車両用サスペンションの設計支援方法、及び車両用サスペンションの設計支援プログラム
JP2013109711A (ja) * 2011-11-24 2013-06-06 Yokogawa Electric Corp プラントモデル生成装置およびプラント運転支援システム
JP5768834B2 (ja) * 2013-04-12 2015-08-26 横河電機株式会社 プラントモデル管理装置及び方法

Also Published As

Publication number Publication date
JPWO2016203757A1 (ja) 2018-05-24
WO2016203757A1 (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
Böhmer et al. Autonomous learning of state representations for control: An emerging field aims to autonomously learn state representations for reinforcement learning agents from their real-world sensor observations
Reynoso-Meza et al. Controller tuning using evolutionary multi-objective optimisation: current trends and applications
JP6947029B2 (ja) 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム
US20170372224A1 (en) Deep learning for imputation of industrial multivariate time-series
CN111144580B (zh) 一种基于模仿学习的层级强化学习训练方法和装置
JP2005523534A (ja) 自動的ニューラルネットモデル発生及びメインテナンス
Nowé et al. A gentle introduction to reinforcement learning
JP2018528511A (ja) 生産システムにおける出力効率の最適化
CN115135463A (zh) 工业系统的预测模型学习方法、装置和系统
Hafez et al. Topological Q-learning with internally guided exploration for mobile robot navigation
O’Dowd et al. The distributed co-evolution of an on-board simulator and controller for swarm robot behaviours
CN114529010A (zh) 一种机器人自主学习方法、装置、设备及存储介质
Dilokthanakul et al. Deep reinforcement learning with risk-seeking exploration
Theodoropoulos et al. Cyber-physical systems in non-rigid assemblies: A methodology for the calibration of deformable object reconstruction models
JP7060130B1 (ja) 運用支援装置、運用支援方法及びプログラム
Contardo et al. Learning states representations in pomdp
Owda et al. Using artificial neural network techniques for prediction of electric energy consumption
Madureira Ensemble reinforcement learning to forecast time series data: a performance analysis
Devidze et al. Informativeness of Reward Functions in Reinforcement Learning
Przybył et al. The method of the evolutionary designing the elastic controller structure
Zeng et al. Learning evolving Mamdani fuzzy systems based on parameter optimization
Chen et al. Building a Belief–Desire–Intention agent for modeling neural networks
CN115293334B (zh) 基于模型的高样本率深度强化学习的无人设备控制方法
White Guided policy search for a lightweight industrial robot arm
JP2019219756A (ja) 制御装置、制御方法、プログラム、ならびに、情報記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210830

R150 Certificate of patent or registration of utility model

Ref document number: 6947029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150