JP7280609B2 - 制御装置、学習装置、制御方法、学習方法、及びプログラム - Google Patents

制御装置、学習装置、制御方法、学習方法、及びプログラム Download PDF

Info

Publication number
JP7280609B2
JP7280609B2 JP2019173265A JP2019173265A JP7280609B2 JP 7280609 B2 JP7280609 B2 JP 7280609B2 JP 2019173265 A JP2019173265 A JP 2019173265A JP 2019173265 A JP2019173265 A JP 2019173265A JP 7280609 B2 JP7280609 B2 JP 7280609B2
Authority
JP
Japan
Prior art keywords
wing
model
control amount
load
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019173265A
Other languages
English (en)
Other versions
JP2021049841A (ja
Inventor
大地 和田
圭佑 木村
英晶 村山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Aerospace Exploration Agency JAXA
Original Assignee
Japan Aerospace Exploration Agency JAXA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Aerospace Exploration Agency JAXA filed Critical Japan Aerospace Exploration Agency JAXA
Priority to JP2019173265A priority Critical patent/JP7280609B2/ja
Priority to PCT/JP2020/030640 priority patent/WO2021059787A1/ja
Publication of JP2021049841A publication Critical patent/JP2021049841A/ja
Application granted granted Critical
Publication of JP7280609B2 publication Critical patent/JP7280609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C3/00—Wings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C9/00—Adjustable control surfaces or members, e.g. rudders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G05B11/01—Automatic controllers electric
    • G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Feedback Control In General (AREA)
  • Aerodynamic Tests, Hydrodynamic Tests, Wind Tunnels, And Water Tanks (AREA)

Description

特許法第３０条第２項適用 国立大学法人東京大学によって平成３１年１月２３日に発行された平成３０年度東京大学大学院工学系研究科システム創成学専攻修士論文「ひずみ情報を用いた多舵面翼の舵角最適化への深層強化学習の適用」にて公開
特許法第３０条第２項適用 国立大学法人東京大学（東京都文京区本郷七丁目３番１号）において平成３１年１月２９日に開催された平成３０年度東京大学大学院工学系研究科システム創成学専攻修士論文発表会にて公開
特許法第３０条第２項適用 一般社団法人日本航空宇宙学会によって令和１年８月７日に発行された第６１回構造強度に関する講演論文集「１Ａ０４ 光ファイバひずみ分布計測と深層強化学習による翼の構造負荷低減技術」にて公開
特許法第３０条第１項適用 長野市生涯学習センター（長野市大字鶴賀問御所町１２７１－３）において令和１年８月７日に開催された第６１回構造強度に関する講演会（講演会１日目 Ａ会場 １１：００～１１：２０ １Ａ０４）にて公開
本発明は、制御装置、学習装置、制御方法、学習方法、及びプログラムに関する。
航空機の翼や風力タービンのブレード等の構造物にかかる荷重の分布を同定するために、それら構造物のひずみを計測し、計測したひずみから荷重を同定する技術が知られている。例えば、非特許文献１、２に記載された技術は、翼の構造物に張り巡らせた光ファイバセンサを用いて、その構造物のひずみを検出し、検出したひずみを基に機械学習を行うことで、高精度且つ安定して荷重分布を同定している。
Daichi WADA and Masato TAMAYAMA. "Wing Load and Angle of Attack Identification by Integrating Optical Fiber Sensing and Neural Network Approach in Wind Tunnel Test." Appl. Sci. 2019, 9(7), 1461: doi:10.3390/app9071461. Daichi WADA, Yohei SUGIMOTO, Hideaki MURAYAMA, Hirotaka IGAWA and Toshiya NAKAMURA. "Investigation of Inverse Analysis and Neural Network Approaches for Identifying Distributed Load using Distributed Strains." Trans. Japan Soc. Aero. Space Sci. Vol. 62, No. 3, pp. 151－161, 2019: doi:10.2322/tjsass.62.151.
従来の技術を用いて、例えば、総揚力を一定に保ちながら、翼にかかるモーメントや応力を低減するような目標を達成するために、合理的な判断に基づいて翼にかかる荷重分布をリアルタイムに制御することが望まれている。しかしながら、従来の技術では、この点について十分に検討されておらず、翼への構造的負荷を低減させることができない場合があった。
本発明は、このような事情を考慮してなされたものであり、翼への構造的負荷を低減させることができる制御装置、学習装置、制御方法、学習方法、及びプログラムを提供することを目的の一つとする。
本発明の一態様は、構造物の翼に設けられた光ファイバセンサによって検出された前記翼のひずみを示す情報と、前記構造物の可動翼の制御量を示す情報とを取得する取得部と、前記取得部により取得された情報が示す前記ひずみ及び前記制御量に基づいて、前記翼の荷重及び迎角を決定する第１決定部と、状態変数が入力されると、前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するように学習されたモデルに、前記第１決定部により決定された前記荷重及び前記迎角と、前記取得部により取得された情報が示す前記制御量とのうち一部または全部を前記状態変数として入力し、前記状態変数を入力した前記モデルの出力結果に基づいて前記可動翼の制御量を決定する第２決定部と、前記第２決定部により決定された前記制御量に基づいて、前記可動翼を制御する制御部と、を備える制御装置である。
本発明の一態様によれば、翼への構造的負荷を低減させることができる。
実施形態の制御装置を備える航空機の構成の一例を示す図である。 実施形態の制御装置の構成の一例を示す図である。 実施形態の制御部の一連の処理の流れの一例を示すフローチャートである。 第１モデルを模式的に示す図である。 第２モデルを模式的に示す図である。 実施形態の学習装置の構成の一例を示す図である。 実施形態の制御部の一連の処理の流れの一例を示すフローチャートである。 実施形態の制御部の一連の処理の流れの他の例を示すフローチャートである。
以下、図面を参照し、本発明の制御装置、学習装置、制御方法、学習方法、及びプログラムの実施形態について説明する。
［航空機の構成］
図１は、実施形態の制御装置１００を備える航空機１の構成の一例を示す図である。図示のように、航空機１は、例えば、主翼１０と、垂直尾翼１２と、水平尾翼１４と、制御装置１００とを備える。図中Ｘ、Ｙ、Ｚ軸は、機体固定座標系を表しており、Ｘ軸は、ロール軸を表し、Ｙ軸はピッチ軸を表し、Ｚ軸はヨー軸を表している。航空機１は、「構造物」の一例である。
主翼１０は、航空機１の重量を支える揚力を発生させる翼である。例えば、主翼１０には、フラップＦＬ１～ＦＬ８と、光ファイバセンサＳＦＢと、圧力センサＳＰとが設けられる。主翼１０は、「構造物の翼」の一例である。
フラップＦＬ１～ＦＬ８は、主翼１０の揚力を増大させる可動翼である。以下、これらフラップＦＬ１～ＦＬ８を区別しない場合、まとめてフラップＦＬと称して説明する。なお、主翼１０には、フラップＦＬに加えて、更に、機体をロールさせるためのエルロン（補助翼）や、揚力を減少させるためのスポイラーといった他の可動翼が設けられてもよい。エルロンは、いずれかのフラップＦＬであってもよいし、フラップＦＬとは別に設けられた可動翼であってもよい。
光ファイバセンサＳＦＢは、例えば、主翼１０の少なくとも片面（例えば上面）の数か所にライン状に設けられる。光ファイバセンサＳＦＢの各ラインは、例えば、主翼１０の主桁と後桁に沿って（Ｙ軸方向に沿って）取り付けられる。また、光ファイバセンサＳＦＢには、例えば、各ライン上において、ＦＢＧ（Fiber Bragg Grating）が設置され、数［ｍｍ］から数十［ｃｍ］程度の間隔でひずみがセンシングされる。これによって、光ファイバセンサＳＦＢは、主翼１０の数十箇所から数千箇所のひずみを離散的な分布として検出することができる。
圧力センサＳＰは、例えば、ピトー静圧管であり、主翼１０にかかる圧力を検出する。例えば、圧力センサＳＰは、主翼１０のスパンセグメントの中央に、Ｘ軸方向に沿って一次元のアレイ状に配置される。具体的には、圧力センサＳＰは、主翼１０の上面側の十数箇所に設置され、主翼１０の下面側の十数箇所に設置される。圧力センサＳＰは、検出した圧力値を主翼１０の断面内で積分することで主翼１０にかかる荷重分布を検出する。
垂直尾翼１２及び水平尾翼１４は、航空機１の機体の重心から離れた位置（例えば機体の末端）に設けられる。垂直尾翼１２には、例えば、Ｚ軸周りの機体の動きを制御するための方向舵が設けられてよい。また。水平尾翼１４には、例えば、Ｙ軸周りの機体の動きを制御するための昇降舵が設けられてよい。
［制御装置の構成］
図２は、実施形態の制御装置１００の構成の一例を示す図である。図示のように、制御装置１００は、例えば、通信部１０２と、駆動部１０４と、制御部１１０と、記憶部１３０とを備える。
通信部１０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークを介して外部装置と無線通信する。ネットワークには、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などが含まれてよい。外部装置には、例えば、後述する学習装置２００が含まれる。
駆動部１０４は、例えば、サーボモータ等のアクチュエータである。駆動部１０４は、主翼１０に設けられたフラップＦＬや、エルロン、スポイラーといった可動翼を駆動する。また、駆動部１０４は、垂直尾翼１２に設けられた方向舵や、水平尾翼１４に設けられた昇降舵を駆動してもよい。
制御部１１０は、例えば、取得部１１２と、制御量決定部１１４と、駆動制御部１１６とを備える。制御量決定部１１４は、「第１決定部」及び「第２決定部」の一例である。
制御部１１０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、第１モデルデータＤ１や、第２モデルデータＤ２などを格納する。第１モデルデータＤ１及び第２モデルデータＤ２は、例えば、ネットワークを介して学習装置２００から記憶部１３０にインストールされてもよいし、制御装置１００のドライブ装置に接続された可搬型の記憶媒体から記憶部１３０にインストールされてもよい。
第１モデルデータＤ１は、第１モデルＭＤＬ１を定義した情報（プログラムまたはデータ構造）である。第１モデルＭＤＬ１は、例えば、主翼１０のひずみ分布と、主翼１０の可動翼の制御量とが入力されると、主翼１０の荷重分布と迎角αを出力するように学習されたモデルである。このようなモデルは、例えば、入力層と、少なくとも一つの中間層（隠れ層）と、出力層とを含む複数のニューラルネットワークが多段に構成されたモデルによって実現されてよい。制御量には、例えば、舵角が含まれる。以下、一例として、制御量が舵角であるものとして説明する。
第２モデルデータＤ２は、第２モデルＭＤＬ２を定義した情報（プログラムまたはデータ構造）である。第２モデルＭＤＬ２は、例えば、強化学習において扱われる行動価値関数Ｑ（ｓｔ，ａｔ）の近似関数を学習したモデルである。行動価値関数Ｑ（ｓｔ，ａｔ）とは、ある時刻ｔのある環境状態ｓｔの下で、ある行動ａｔを選択したときの価値を関数として表したものである。従って、第２モデルＭＤＬ２は、環境状態ｓｔが入力されると、環境状態ｓｔの下で取り得ることが可能な一つまたは複数の行動（行動変数）ａｔのそれぞれの価値（Ｑ値ともいう）を出力する。第２モデルＭＤＬ２は、例えば、入力層と、複数の中間層（隠れ層）と、出力層とを含むニューラルネットワークによって実現されてよい。このように、行動価値関数Ｑ（ｓｔ，ａｔ）をニューラルネットワークに近似関数として学習させる手法は、深層強化学習の一つの手法であるＤＱＮ（Deep Q-Network）と呼ばれる。
第１モデルデータＤ１及び第２モデルデータＤ２には、例えば、ニューラルネットワークを構成する複数の層のそれぞれに含まれるユニットが互いにどのように結合されるのかという結合情報や、結合されたユニット間で入出力されるデータに付与される結合係数などの各種情報が含まれる。結合情報とは、例えば、各層に含まれるユニット数や、各ユニットの結合先のユニットの種類を指定する情報、各ユニットを実現する活性化関数、隠れ層のユニット間に設けられたゲートなどの情報を含む。ユニットを実現する活性化関数は、例えば、正規化線形関数（ＲｅＬＵ関数）であってもよいし、シグモイド関数や、ステップ関数、その他の関数などであってもよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ユニット間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、例えば、ニューラルネットワークの隠れ層において、ある層のユニットから、より深い層のユニットにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
［運用時（ランタイム）の処理フロー］
以下、フローチャートに即して制御部１１０の運用時の一連の処理の流れを説明する。運用とは、予め学習された第１モデルＭＤＬ１及び第２モデルＭＤＬ２の出力結果を用いて、主翼１０の可動翼を制御する動作の状態を表す。図３は、実施形態の制御部１１０の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。
まず、取得部１１２は、光ファイバセンサＳＦＢから、主翼１０のひずみ分布を示す情報（以下、ひずみ情報と称する）を取得するとともに、駆動部１０４から、主翼１０の可動翼の舵角を示す情報（以下、舵角情報と称する）を取得する（ステップＳ１００）。
ひずみ情報及び舵角情報は、例えば、多次元のベクトルである。以下、ひずみ情報のベクトルのことを「ひずみベクトルξ（→）」と称し、舵角情報のベクトルのことを「舵角ベクトルδ（→）」と称して説明する。（→）はベクトル記号を表している。
ひずみベクトルξ（→）には、例えば、主桁に沿って設けられた光ファイバセンサＳＦＢの各ＦＢＧが検出したひずみ値と、後桁に沿って設けられた光ファイバセンサＳＦＢの各ＦＢＧが検出したひずみ値とのそれぞれが要素値として含まれる。
舵角ベクトルδ（→）には、例えば、フラップＦＬ１～ＦＬ８のそれぞれの舵角値が要素値として含まれる。また、舵角ベクトルδ（→）には、エルロンやスポイラーといった他の可動翼の舵角値が要素として含まれてもよい。
なお、ひずみ情報及び舵角情報は、ベクトル、すなわち一階のテンソルに限られず、二階以上のテンソルであってもよい。
次に、制御量決定部１１４は、取得部１１２によって取得されたひずみベクトルξ（→）と舵角ベクトルδ（→）とを、予め学習された第１モデルＭＤＬ１に入力する（ステップＳ１０２）。
図４は、第１モデルＭＤＬ１を模式的に示す図である。図示のように、例えば、第１モデルＭＤＬ１は、モデルＭＤＬ１－１とモデルＭＤＬ１－２が多段に構成される。モデルＭＤＬ１－１とモデルＭＤＬ１－２とは、それぞれニューラルネットワークである。
前段のモデルＭＤＬ１－１には、ひずみベクトルξ（→）と、舵角ベクトルδ（→）とが入力される。前段のモデルＭＤＬ１－１は、これらベクトルが入力されると、主翼１０にかかる荷重の分布値を要素とするベクトル（以下、荷重ベクトルＦ（→）と称する）を出力する。
後段のモデルＭＤＬ１－２には、前段のモデルＭＤＬ１－１の出力結果である荷重ベクトルＦ（→）に加えて、更に、前段のモデルＭＤＬ１－１にも入力された舵角ベクトルδ（→）が入力される。後段のモデルＭＤＬ１－２は、荷重ベクトルＦ（→）と舵角ベクトルδ（→）とが入力されると、主翼１０の迎角αを、０階のテンソル、すなわちスカラとして出力する。
図３のフローチャートの説明に戻る。制御量決定部１１４は、第１モデルＭＤＬ１にひずみ情報であるひずみベクトルξ（→）と舵角情報である舵角ベクトルδ（→）とを入力すると、その第１モデルＭＤＬ１の前段のモデルＭＤＬ１－１から、その出力結果である荷重分布を示す情報（以下、荷重分布情報と称する）を取得し、後段のモデルＭＤＬ１－２から、その出力結果である迎角αを示す情報（以下、迎角情報と称する）を取得する（ステップＳ１０４）。
次に、制御量決定部１１４は、取得した荷重分布情報が示す荷重分布の総和と、目標とする荷重分布の総和との差分（以下、総荷重差ΔＦｓｕｍと称する）を算出する（ステップＳ１０６）。荷重分布の総和とは、例えば、荷重ベクトルＦ（→）に要素として含まれる全ての荷重値の総和である。目標とする荷重分布とは、例えば、航空機１が水平飛行を保つために、主翼１０が受け持つ必要のある総荷重であってよい。
次に、制御量決定部１１４は、舵角ベクトルδ（→）、迎角α、荷重ベクトルＦ（→）、総荷重差ΔＦｓｕｍのうち一部または全部（好ましくは全部）を状態変数ｓとして第２モデルＭＤＬ２に入力する（ステップＳ１０８）。すなわち、状態変数ｓは、舵角ベクトルδ（→）、迎角α、荷重ベクトルＦ（→）、総荷重差ΔＦｓｕｍのうち一部または全部が要素として含まれる多次元ベクトルである。
図５は、第２モデルＭＤＬ２を模式的に示す図である。図示の例のように、第２モデルＭＤＬ２には、舵角ベクトルδ（→）、迎角α、荷重ベクトルＦ（→）、総荷重差ΔＦｓｕｍのうち一部または全部を含む状態変数ｓが入力される。第２モデルＭＤＬ２は、状態変数ｓが入力されると、その状態変数ｓの下で取り得ることが可能な一つまたは複数の行動ａのそれぞれの価値Ｑ（ｓ，ａ）を出力する。状態変数ｓの下で取り得ることが可能な行動ａが複数存在する場合、複数の行動ａのそれぞれに価値が存在する。従って、行動価値Ｑ（ｓ，ａ）は、次元数（＝要素数）が行動ａの数と同じ多次元ベクトルによって表される。以下、この多次元ベクトルをＱ（ｓ，ａ）（→）として説明する。
行動ａは、例えば、以下の３つの選択肢の中から選択される。なお、これら（１）～（３）の３つの選択肢は、あくまでも一例であり、一部が省略されてもよいし、別の選択肢が加えられてもよい。
（１）可動翼の舵角を変更しない。
（２）可動翼の舵角をプラス１度大きくする。
（３）可動翼の舵角をマイナス１度小さくする。
例えば、制御対象とする可動翼が８つのフラップＦＬ１～ＦＬ８である場合、フラップＦＬ１～ＦＬ８のそれぞれについて、（１）～（３）の選択肢の中からいずれか一つが選択される。この場合、第２モデルＭＤＬ２によって出力される行動価値Ｑ（ｓ，ａ）（→）は、２４次元のベクトルとなる。これによって、制御対象とする全ての可動翼の舵角が、ある一つの処理周期の中で一度に決定される。
なお、（１）の選択肢の行動は、可動翼の翼面に交差する方向に関して、その翼面の一方の面である第１面側（舵角のプラス側）と他方の面である第２面側（舵角のマイナス側）とのいずれにも可動翼を動かさないこと、と定義されてもよい。また、（２）の選択肢の行動は、可動翼の翼面に交差する方向に関して、第１面側に可動翼を動かすこと、と定義されてもよい。（３）の選択肢の行動は、可動翼の翼面に交差する方向に関して、第２面側に可動翼を動かすこと、と定義されてもよい。
図３のフローチャートの説明に戻る。制御量決定部１１４は、第２モデルＭＤＬ２によって行動価値Ｑ（ｓ，ａ）（→）が出力されると、その行動価値Ｑ（ｓ，ａ）（→）を取得する（ステップＳ１１０）。そして、制御量決定部１１４は、取得した行動価値Ｑ（ｓ，ａ）（→）に基づいて、制御対象の各可動翼の舵角を決定する（ステップＳ１１２）。
例えば、制御対象の可動翼として、フラップＦＬ１に着目したとする。この場合、行動価値Ｑ（ｓ，ａ）（→）には、フラップＦＬ１に対して、（１）の行動ａを起こしたときの価値と、（２）の行動ａを起こしたときの価値と、（３）の行動ａを起こしたときの価値とが要素値として含まれることになる。例えば、制御量決定部１１４は、フラップＦＬ１に対するこれらの３つの行動ａの中から、最も価値が高い行動ａを選択する。この際、制御量決定部１１４は、Epsilon-Greedy法のように、ある確率εで全ての行動ａの中から無作為に行動を選択し、残りの確率（１－ε）で最も価値の高い行動ａを選択してもよい。
そして、制御量決定部１１４は、各可動翼について決定した行動ａを基に、次の周期ｔ＋１に可動翼がとるべき舵角を決定する。
次に、駆動制御部１１６は、制御量決定部１１４によって決定された舵角に基づいて、駆動部１０４に含まれる各アクチュエータを制御して、可動翼を駆動する（ステップＳ１１４）。具体的には、駆動制御部１１６は、制御量決定部１１４によって決定された舵角（制御量）から各アクチュエータの操作量を決定し、その決定した操作量で各アクチュエータを制御することで、可動翼を駆動する。これによって本フローチャートの処理が終了する。
［学習装置の構成］
以下、第１モデルＭＤＬ１及び第２モデルＭＤＬ２を学習する学習装置２００について説明する。学習装置２００は、単一の装置であってもよいし、ＷＡＮやＬＡＮといったネットワークを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。すなわち、学習装置２００は、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。
図６は、実施形態の学習装置２００の構成の一例を示す図である。図示のように、例えば、学習装置２００は、通信部２０２と、制御部２１０と、記憶部２３０とを備える。
通信部２０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークを介して制御装置１００等の外部装置と無線通信する。
制御部２１０は、例えば、取得部２１２と、学習部２１４とを備える。制御部２１０の構成要素は、例えば、ＣＰＵやＧＰＵなどのプロセッサが記憶部２３０に格納されたプログラムを実行することにより実現される。また、制御部２１０の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
記憶部２３０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどにより実現される。記憶部２３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、上述した第１モデルデータＤ１及び第２モデルデータＤ２と、第３モデルデータＤ３と、教師データＤ４とを格納する。
第３モデルデータＤ３は、第３モデルＭＤＬ３を定義した情報（プログラムまたはデータ構造）である。第３モデルＭＤＬ３は、深層強化学習を行うためのシミュレータであり、上述した運用時には使用されない。
第３モデルＭＤＬ３は、例えば、可動翼の舵角を表す舵角ベクトルδ（→）と、主翼１０の迎角αとが入力されると、主翼１０の荷重分布を表す荷重ベクトルＦ（→）を出力するように学習されたモデルである。このようなモデルは、例えば、入力層と、少なくとも一つの中間層（隠れ層）と、出力層とを含むニューラルネットワークによって実現されてよい。
また、第３モデルＭＤＬ３は、後述する風洞試験の結果を表すデータであってもよい。例えば、試験者が、可動翼の舵角と主翼１０の迎角αとを任意に決定して風洞試験を行い、その試験中に主翼１０の荷重分布を観測したとする。この場合、第３モデルＭＤＬ３は、可動翼の舵角と主翼１０の迎角αとのデータセットに対して、観測された主翼１０の荷重分布が対応付けられたテーブルデータなどであってよい。また、第３モデルＭＤＬ３は、テーブルデータの代わりに、入力値である可動翼の舵角及び主翼１０の迎角αと、出力値である主翼１０の荷重分布との関係性を関数式等で定義した数値モデルであってもよい。
第３モデルＭＤＬ３がニューラルネットワークで実現される場合、第３モデルデータＤ３には、第１モデルデータＤ１や第２モデルデータＤ２と同様に、結合情報などの各種情報が含まれてよい。
教師データＤ４は、第１モデルＭＤＬ１を学習（訓練）するためのデータである。例えば、教師データＤ４は、ひずみ情報であるひずみベクトルξ（→）と、舵角情報である舵角ベクトルδ（→）とに対して、第１モデルＭＤＬ１が出力すべき正解の荷重ベクトルＦ（→）と迎角αとが教師ラベル（ターゲットともいう）として対応付けられたデータである。このような教師データＤ４は、例えば、風洞試験を行うことで得られてよい。
例えば、風洞試験を行う試験室内に、航空機１の主翼１０と同じもの、或いは光ファイバセンサＳＦＢ及び圧力センサＳＰが設けられた類似模型の翼を、ターンテーブル等の回動可能な試験装置の上に載置する。そして、試験室内に気流を発生させている間、回動可能な試験装置の回転角を１度ずつ変更しながら、可動翼を駆動させる。この結果、気流が発生している環境下（既知の荷重が加えられる環境下）において、可動翼の舵角に応じて変化し得る翼のひずみと荷重が、光ファイバセンサＳＦＢ及び圧力センサＳＰによって検出されることになる。このように、風洞試験によって、航空機１が飛行しているときと同じ環境を仮想的に作り出すことで、教師データＤ４は生成されてよい。
［学習時（トレーニング）の処理フロー］
以下、フローチャートに即して制御部２１０の学習時の一連の処理の流れを説明する。学習とは、運用時に参照される第１モデルＭＤＬ１及び第２モデルＭＤＬ２を学習（訓練）する動作の状態を表す。図７は、実施形態の制御部２１０の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、第１モデルＭＤＬ１を学習する際に所定の周期で繰り返し行われてよい。また、学習装置２００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
まず、取得部２１２は、記憶部２３０に格納された教師データＤ４から、教師ラベルに対応付けられたひずみベクトルξ（→）及び舵角ベクトルδ（→）を取得する（ステップＳ２００）。
次に、学習部２１４は、取得部２１２によって取得されたひずみベクトルξ（→）及び舵角ベクトルδ（→）を、未学習の第１モデルＭＤＬ１に入力する（ステップＳ２０２）。
次に、学習部２１４は、第１モデルＭＤＬ１から、荷重分布情報と迎角情報とを取得する（ステップＳ２０４）。
次に、学習部２１４は、Ｓ２００の処理で第１モデルＭＤＬ１に入力したひずみベクトルξ（→）及び舵角ベクトルδ（→）に対して、教師ラベルとして対応付けられていた荷重ベクトルＦ（→）と、第１モデルＭＤＬ１が荷重分布情報として出力した荷重ベクトルＦ（→）との差分を算出するとともに、教師ラベルとして対応付けられていた迎角αと、第１モデルＭＤＬ１が迎角情報として出力した迎角αとの差分を算出する（ステップＳ２０６）。
次に、学習部２１４は、荷重ベクトルＦ（→）の差分と、迎角αの差分が小さくなるように、第１モデルＭＤＬ１を学習する（ステップＳ２０８）。例えば、学習部２１４は、各差分が小さくなるように、第１モデルＭＤＬ１のパラメータである重み係数やバイアス成分などを確率的勾配降下法などを用いて決定（更新）する。
学習部２１４は、学習した第１モデルＭＤＬ１を記憶部２３０に第１モデルデータＤ１として記憶させる。
このように、学習部２１４は、Ｓ２００からＳ２０８の処理を繰り返し行い（イタレーションを行い）、第１モデルＭＤＬ１を学習する。そして、学習部２１４は、十分に学習した学習済みの第１モデルＭＤＬ１を定義した第１モデルデータＤ１を、例えば、通信部２０２を介して制御装置１００に送信する。これによって本フローチャートの処理が終了する。
図８は、実施形態の制御部２１０の一連の処理の流れの他の例を示すフローチャートである。本フローチャートの処理は、例えば、第２モデルＭＤＬ２を学習する際に所定の周期で繰り返し行われてよい。また、学習装置２００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
まず、取得部２１２は、ある周期（時刻）ｔにおける主翼１０またはそれの類似模型の翼の状態変数ｓ（ｔ）を取得する（ステップＳ３００）。ここでの状態変数ｓ（ｔ）は、運用時において第２モデルＭＤＬ２に入力される変数と同じものである。例えば、運用時のＳ１０８の処理において、第２モデルＭＤＬ２に、舵角ベクトルδ（→）、迎角α、荷重ベクトルＦ（→）、総荷重差ΔＦｓｕｍの全部を含む状態変数ｓ（ｔ）が入力される場合、学習時のＳ３００の処理において、これら全てを含む状態変数ｓ（ｔ）が取得される。
次に、学習部２１４は、取得部２１２によって取得された状態変数ｓ（ｔ）を、第２モデルＭＤＬ２に入力する（ステップＳ３０２）。
次に、学習部２１４は、第２モデルＭＤＬ２が行動価値Ｑ（ｓ，ａ）（→）を出力すると、その行動価値Ｑ（ｓ，ａ）（→）を第２モデルＭＤＬ２から取得する（ステップＳ３０４）。
次に、学習部２１４は、取得した行動価値Ｑ（ｓ，ａ）（→）に基づいて、状態変数ｓの下で取り得ることが可能な一つまたは複数の行動の中から、最適な行動ａを選択する（ステップＳ３０６）。最適な行動ａとは、例えば、最も価値が高くなる行動であってもよいし、Epsilon-Greedy法に基づく行動であってもよい。Epsilon-Greedy法を採用して最適な行動ａを選択する場合、学習部２１４は、本フローチャートの処理が繰り返されるごとに（イタレーションの回数が増えるごとに）、確率εを小さくしてよい。また、最適な行動ａは、遺伝的アルゴリズムのルーレット選択の手法を用いて選択してもよいし、ボルツマン分布を利用したソフトマックス手法を用いて選択してもよい。
次に、学習部２１４は、選択した行動を表す行動変数ａを、学習済みの第３モデルＭＤＬ３に入力する（ステップＳ３０８）。すなわち、学習部２１４は、制御対象の各可動翼が次の周期ｔ＋１において取るべき舵角を要素とした舵角ベクトルδ（→）を、学習済みの第３モデルＭＤＬ３に入力する。また、この際、学習部２１４は、第２モデルＭＤＬ２が出力した次の周期ｔ＋１の舵角ベクトルδ（→）に加えて、現在の周期ｔの迎角α、すなわち、Ｓ３０２の処理で第２モデルＭＤＬ２に対して状態変数ｓとして入力した迎角αを第３モデルＭＤＬ３にも入力する。
次に、学習部２１４は、次の周期ｔ＋１における主翼１０の状態変数ｓ´を表す情報として、第３モデルＭＤＬ３から、次の周期ｔ＋１における荷重分布情報（すなわち荷重ベクトルＦ（→））を取得する（ステップＳ３１０）。
次に、学習部２１４は、状態変数ｓ´として取得した荷重ベクトルＦ（→）に基づいて総荷重差ΔＦｓｕｍを計算し、計算した総荷重差ΔＦｓｕｍと、舵角ベクトルδ（→）と、迎角αと、荷重ベクトルＦ（→）とのうち一部または全部を状態変数ｓ´として第２モデルＭＤＬ２に入力する（ステップＳ３１２）。第２モデルＭＤＬ２に入力する状態変数ｓ´に含まれる迎角αは、現在の周期ｔにおける迎角αであってよい。すなわち、学習部２１４は、Ｓ３００の処理で取得した周期ｔにおける迎角αの値をそのまま引き継ぎ、状態変数ｓ´として第２モデルＭＤＬ２に入力してよい。
次に、学習部２１４は、Ｓ３０６の処理で選択した行動ａに対する報酬を計算する（ステップＳ３１４）。例えば、学習部２１４は、数式（１）に基づいて、現在の周期ｔにおける報酬ｒ（ｔ）を計算してよい。
Figure 0007280609000001
式中のＭは、荷重分布から計算される翼根モーメントを表し、Ｆｓｕｍは、主翼１０に分布した荷重の総和を表している。学習部２１４は、所定条件を満たす場合、報酬ｒ（ｔ）をゼロする。所定条件には、数式（１）に示すように、総荷重差ΔＦｓｕｍの絶対値が、ある許容範囲の上限値（例えば５［Ｎ（ニュートン）］）を超えること、又は時刻ｔにおける翼根モーメントＭ（ｔ）が、初期時刻の翼根モーメントＭ（ｔ＝０）の１．２倍を超えること、が含まれてよい。初期時刻とは、例えば、制御装置１００が航空機１の構造負荷を低減する制御（つまり運用時の制御）を開始する前の水平飛行状態の時刻である。また、所定条件には、更に、総荷重差ΔＦｓｕｍの絶対値が、ある許容範囲の下限値未満となること、が含まれてもよい。
また、学習部２１４は、所定条件を満たさない場合、報酬ｒ（ｔ）を、所定条件を満たす場合よりも大きくする。すなわち、学習部２１４は、総荷重差ΔＦｓｕｍの絶対値が、許容範囲の上限値以下であり、且つ時刻ｔにおける翼根モーメントＭ（ｔ）が、初期時刻の翼根モーメントＭ（ｔ＝０）の１．２倍以下となる場合、報酬ｒ（ｔ）をゼロよりも大きい値とする。また、所定条件に、総荷重差ΔＦｓｕｍの絶対値が、許容範囲の下限値未満となることが含まれる場合、学習部２１４は、総荷重差ΔＦｓｕｍの絶対値が許容範囲内であり、且つ時刻ｔにおける翼根モーメントＭ（ｔ）が、初期時刻の翼根モーメントＭ（ｔ＝０）の１．２倍以下となる場合に、報酬ｒ（ｔ）をゼロよりも大きい値としてよい。
具体的には、学習部２１４は、所定条件を満たさない場合、報酬ｒ（ｔ）を、時刻ｔにおける翼根モーメントＭ（ｔ）と初期時刻の翼根モーメントＭ（ｔ＝０）との差と、時刻ｔにおける荷重分布の総和Ｆｓｕｍ（ｔ）と初期時刻における荷重分布の総和Ｆｓｕｍ（ｔ＝０）との商とに基づく値とする。
なお、学習部２１４は、報酬ｒ（ｔ）を、翼根モーメントの差と、荷重分布の総和の商とに基づく値にする代わりに、翼根モーメントＭ（ｔ）及び翼根モーメントＭ（ｔ＝０）の差と、荷重分布の総和Ｆｓｕｍ（ｔ）及び荷重分布の総和Ｆｓｕｍ（ｔ＝０）の差とに基づく値にしてもよい。荷重分布の総和Ｆｓｕｍ（ｔ）及び荷重分布の総和Ｆｓｕｍ（ｔ＝０）の差は、例えば、Ｆｓｕｍ（ｔ）－Ｆｓｕｍ（ｔ＝０）の絶対値であってよい。
また、学習部２１４は、数式（２）に基づいて、計算した報酬ｒ（ｔ）に対して負の報酬（ペナルティ）を付与してもよい。
Figure 0007280609000002
式中のΣΔδ（→）は、制御対象の全ての可動翼のそれぞれについて、前回時刻ｔ－１の可動翼の舵角と、現在時刻ｔの可動翼の舵角との差分を求めたときに、その求めた各可動翼の舵角の差分の絶対値を全て足し合わせたときの総和を表している。
例えば、学習部２１４は、各可動翼の舵角の差分の絶対値の総和ΣΔδ（→）に対して、任意の重み係数（数式（２）では一例として重み係数を３としている）を乗算し、その総和ΣΔδ（→）と重み係数との積を、Ｓ３１２の処理で計算した報酬ｒ（ｔ）から減算する。これによって、第２モデルＭＤＬ２は、制御対象とする複数の可動翼の中で、可動させる可動翼の数が多いほど、報酬ｒ（ｔ）が小さくなるように学習される。この結果、舵面（可動翼）を頻繁に可動させることなく、効率的に舵面を制御することができる。
次に、学習部２１４は、計算した報酬ｒ（ｔ）と、状態変数ｓ´を入力した際に第２モデルＭＤＬ２が出力する行動価値Ｑ（ｓ´，ａ´）と、状態変数ｓを入力した際に第２モデルＭＤＬ２が出力する行動価値Ｑ（ｓ，ａ）とに基づいて、第２モデルＭＤＬ２を学習する（ステップＳ３１６）。
例えば、学習部２１４は、第２モデルＭＤＬ２を用いて、次の時刻ｔ＋１において取り得ることが可能な複数の行動ａ´のそれぞれについて行動価値Ｑ（ｓ´，ａ´）を求め、複数の行動ａ´のそれぞれに対応する行動価値Ｑ（ｓ´，ａ´）の中から最大値maxＱ（ｓ´，ａ´）を選択する。学習部２１４は、選択した行動価値maxＱ（ｓ´，ａ´）に対して、割引率γと呼ばれる重み係数（０＜γ＜１）を乗算し、更に、報酬ｒ（ｔ）を加算する。
そして、学習部２１４は、ｒ（ｔ）＋γmaxＱ（ｓ´，ａ´）と、Ｑ（ｓ，ａ）との差分が小さくなるように、第２モデルＭＤＬ２を学習する。例えば、学習部２１４は、ｒ（ｔ）＋γmaxＱ（ｓ´，ａ´）とＱ（ｓ，ａ）との差分が小さくなるように、第２モデルＭＤＬ２のパラメータである重み係数やバイアス成分などを確率的勾配降下法などを用いて決定（更新）する。Ｑ（ｓ，ａ）は、「第１価値」の一例であり、Ｑ（ｓ´，ａ´）は、「第２価値」の一例である。
学習部２１４は、学習した第２モデルＭＤＬ２を記憶部２３０に第２モデルデータＤ２として記憶させる。
このように、学習部２１４は、Ｓ３００からＳ３１６の処理を繰り返し行い（イタレーションを行い）、第２モデルＭＤＬ２を学習する。そして、学習部２１４は、十分に学習した学習済みの第２モデルＭＤＬ２を定義した第２モデルデータＤ２を、例えば、通信部２０２を介して制御装置１００に送信する。これによって本フローチャートの処理が終了する。
以上説明した実施形態によれば、制御装置１００は、航空機１の主翼１０のひずみを示す情報であるひずみベクトルξ（→）と、航空機１のフラップＦＬやエルロンといった可動翼の舵角を示す情報である舵角ベクトルδ（→）とを取得し、取得したひずみベクトルξ（→）と舵角ベクトルδ（→）とを、予め学習された第１モデルＭＤＬ１に入力し、これらベクトルを入力した第１モデルＭＤＬ１の出力結果に基づいて、主翼１０の荷重分布と迎角αを決定する。制御装置１００は、決定した主翼１０の荷重分布を示す荷重ベクトルＦ（→）と、主翼１０の総荷重差ΔＦｓｕｍと、主翼１０の迎角αと、フラップＦＬ等の可動翼の舵角ベクトルδ（→）とのうち一部または全部を、予め学習された第２モデルＭＤＬ２に状態変数ｓとして入力し、状態変数ｓを入力した第２モデルＭＤＬ２の出力結果に基づいて可動翼の制御量を決定する。そして、制御装置１００は、決定した制御量に基づいて、可動翼を制御する。これによって、例えば、航空機１の総揚力を一定に保ちながら、主翼１０の構造的負荷（例えば翼根モーメントＭ）を低減することができる。
なお、上述した実施形態では、第１モデルＭＤＬ１を利用して、ひずみベクトルξ（→）と舵角ベクトルδ（→）とから、荷重ベクトルＦ（→）と迎角αとを決定するものとして説明したがこれに限られない。例えば、ひずみベクトルξ（→）及び舵角ベクトルδ（→）と、荷重ベクトルＦ（→）及び迎角αとの相関関係などが近似式やテーブルで表される場合、第１モデルＭＤＬ１を実現するためのニューラルネットワークを利用する代わりに、それら近似式やテーブルを利用して、ひずみベクトルξ（→）と舵角ベクトルδ（→）とから、荷重ベクトルＦ（→）と迎角αとを決定してもよい。つまり、第１モデルＭＤＬ１は、第３モデルＭＤＬ３と同様に、テーブルデータや近似式であってもよい。
また、上述した実施形態では、第１モデルＭＤＬ１に入力される制御量が、主翼１０の可動翼の舵角であるものとして説明したがこれに限られない。例えば、制御量には、舵角に加えて、或いは代えて、スイープ角度やツイスト角度などが含まれてよい。スイープ角度は、ヨー軸（Ｚ軸）周りに可動翼を回動させたときのピッチ軸（Ｙ軸）とのなす角度である。ツイスト角度は、ピッチ軸（Ｙ軸）周りに可動翼を回動させたときのロール軸（Ｘ軸）とのなす角度である。
また、上述した実施形態では、第２モデルＭＤＬ２が、環境状態ｓｔが入力されると、環境状態ｓｔの下で取り得ることが可能な一つまたは複数の行動（行動変数）ａｔのそれぞれの価値（＝行動価値Ｑ（ｓ，ａ））を出力するように学習されるものとして説明したがこれに限れらない。例えば、第２モデルＭＤＬ２は、行動価値Ｑ（ｓ，ａ）を出力する代わりに、行動変数ａｔを出力するように学習されてもよい。
また、上述した実施形態では、制御装置１００が、航空機１の主翼１０のひずみを示す情報であるひずみベクトルξ（→）と、航空機１のフラップＦＬやエルロンといった可動翼の舵角を示す情報である舵角ベクトルδ（→）とを取得し、予め学習された第１モデルＭＤＬ１や第２モデルＭＤＬ２を用いて、取得したひずみベクトルξ（→）と舵角ベクトルδ（→）とから、航空機１の可動翼の制御量を決定するものとして説明したがこれに限られない。
［可動翼付きタービンブレード］
例えば、制御装置１００は、風力発電装置が備えるタービンブレードや潮流発電装置が備えるタービンブレードの構造的負荷を低減するために、深層強化学習を適用して、各種タービンブレードの制御量を決定してもよい。この場合、タービンブレードには、主翼１０のように、光ファイバセンサＳＦＢが設けられるものとする。風力発電装置及び潮流発電装置は、「構造物」の他の例であり、タービンブレードは、「構造物の翼」の他の例である。
例えば、タービンブレードに、気流や水流を制御するためにフラップが設けられる場合がある。この場合、上述した実施形態の説明において、航空機１の主翼をタービンブレードに置き換え、航空機１のフラップＦＬやエルロンといった可動翼をタービンブレードのフラップに置き換えてよい。
すなわち、制御装置１００は、風力発電装置や潮流発電装置のタービンブレードに設けられた光ファイバセンサＳＦＢによって検出されたタービンブレードのひずみを示すひずみベクトルξ（→）と、そのタービンブレードのフラップの舵角を示す舵角ベクトルδ（→）とを取得する。
制御装置１００は、取得したひずみベクトルξ（→）と舵角ベクトルδ（→）とを、予め学習された第１モデルＭＤＬ１に入力し、これらベクトルを入力した第１モデルＭＤＬ１の出力結果に基づいて、タービンブレードの荷重分布と迎角αを決定する。
制御装置１００は、決定したタービンブレードの荷重分布を示す荷重ベクトルＦ（→）と、タービンブレードの総荷重差ΔＦｓｕｍと、タービンブレードの迎角αと、フラップの舵角ベクトルδ（→）とのうち一部または全部を、予め学習された第２モデルＭＤＬ２に状態変数ｓとして入力し、状態変数ｓを入力した第２モデルＭＤＬ２の出力結果に基づいてフラップの制御量を決定する。
そして、制御装置１００は、決定した制御量に基づいてフラップを制御する。これによって、タービンブレードによる気流や水流の受け方を適切に変えることができるため、タービンブレードの構造的負荷を低減したり、発電装置の発電効率を上げたりすることができる。
［可変ピッチのタービンブレード］
また、例えば、タービンブレードが可変ピッチブレードである場合も考えられる。この場合、タービンブレードそのものが可動翼として機能する。すなわち、タービンブレードが、航空機１でいうところの主翼と可動翼との両方の機能を兼ねている。
このような場合、制御装置１００の取得部１１２は、タービンブレードに設けられた光ファイバセンサＳＦＢから、タービンブレードのひずみ分布を示すひずみベクトルξ（→）を取得するとともに、タービンブレードをピッチ軸周りに回動させるアクチュエータから、タービンブレードのピッチ角度を示す角度ベクトルδ＃（→）を取得する。
制御量決定部１１４は、取得部１１２によってタービンブレードのひずみベクトルξ（→）及び角度ベクトルδ＃（→）が取得されると、それらひずみベクトルξ（→）及び角度ベクトルδ＃（→）を、予め学習された第１モデルＭＤＬ１に入力する。
例えば、第１モデルＭＤＬ１は、上述した実施形態で説明したように、学習装置２００によって事前にトレーニングされているものとする。具体的には、学習装置２００の学習部２１４は、教師データを用いて、タービンブレードのひずみベクトルξ（→）及び角度ベクトルδ＃（→）が入力されると、タービンブレードにかかる荷重分布を示す荷重ベクトルＦ（→）と、タービンブレードの迎角αとを出力するように、第１モデルＭＤＬ１を学習する。これによって、第１モデルＭＤＬ１は、タービンブレードのひずみベクトルξ（→）及び角度ベクトルδ＃（→）が入力されると、タービンブレードの荷重ベクトルＦ（→）と迎角αとを出力するようになる。
制御量決定部１１４は、ひずみベクトルξ（→）及び角度ベクトルδ＃（→）を入力した第１モデルＭＤＬ１から、タービンブレードの荷重ベクトルＦ（→）と迎角αとを取得する。
制御量決定部１１４は、取得した荷重ベクトルＦ（→）が示す荷重分布の総和と、目標とする荷重分布の総和との差分である総荷重差ΔＦｓｕｍを算出する。
制御量決定部１１４は、タービンブレードの角度ベクトルδ＃（→）、迎角α、荷重ベクトルＦ（→）、総荷重差ΔＦｓｕｍのうち一部または全部（好ましくは全部）を状態変数ｓとして第２モデルＭＤＬ２に入力する。第２モデルＭＤＬ２は、上述した実施形態で説明したように、学習装置２００によって事前にトレーニングされているものとする。すなわち、第２モデルＭＤＬ２は、角度ベクトルδ＃（→）、迎角α、荷重ベクトルＦ（→）、総荷重差ΔＦｓｕｍのうち一部または全部が状態変数ｓとして入力されると、その状態変数ｓに応じてとるべき行動の価値Ｑ（ｓ，ａ）（→）を出力するように学習される。
制御量決定部１１４は、第２モデルＭＤＬ２によって行動価値Ｑ（ｓ，ａ）（→）が出力されると、その行動価値Ｑ（ｓ，ａ）（→）を取得する。そして、制御量決定部１１４は、取得した行動価値Ｑ（ｓ，ａ）（→）に基づいて、タービンブレードのピッチ角度を決定する。
駆動制御部１１６は、制御量決定部１１４によって決定されたピッチ角度に基づいてアクチュエータを制御して、タービンブレードをピッチ軸周りに回動させる。これによって、タービンブレードが可変ピッチブレードであっても、タービンブレードによる気流や水流の受け方を適切に変えることができるため、タービンブレードの構造的負荷を低減したり、発電装置の発電効率を上げたりすることができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…航空機、１０…主翼、１２…垂直尾翼、１４…水平尾翼、１００…制御装置、１０２…通信部、１０４…駆動部、１１０…制御部、１１２…取得部、１１４…制御量決定部、１１６…駆動制御部、１３０…記憶部、２００…学習装置、２０２…通信部、２１０…制御部、２１２…取得部、２１４…学習部、２３０…記憶部、ＭＤＬ１…第１モデル、ＭＤＬ２…第２モデル、ＭＤＬ３…第３モデル

Claims (16)

  1. 構造物の翼に設けられた光ファイバセンサによって検出された前記翼のひずみを示す情報と、前記構造物の可動翼の制御量を示す情報とを取得する取得部と、
    前記取得部により取得された情報が示す前記ひずみ及び前記制御量に基づいて、前記翼の荷重及び迎角を決定する第１決定部と、
    状態変数が入力されると、前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するように学習されたモデルに、前記第１決定部により決定された前記荷重及び前記迎角と、前記取得部により取得された情報が示す前記制御量とのうち一部または全部を前記状態変数として入力し、前記状態変数を入力した前記モデルの出力結果に基づいて前記可動翼の制御量を決定する第２決定部と、
    前記第２決定部により決定された前記制御量に基づいて、前記可動翼を制御する制御部と、
    を備える制御装置。
  2. 前記第１決定部は、前記ひずみ及び前記制御量が入力されると、前記翼の荷重及び迎角を出力するように学習された第２モデルに、前記取得部により取得された情報が示す前記ひずみ及び前記制御量を入力し、前記ひずみ及び前記制御量を入力した前記第２モデルの出力結果に基づいて前記翼の前記荷重及び前記迎角を決定する、
    請求項１に記載の制御装置。
  3. 構造物の可動翼の制御量、前記構造物の翼の荷重、及び前記構造物の翼の迎角のうち一部または全部を含む情報を取得する取得部と、
    深層強化学習を用いて、前記取得部により取得された情報を状態変数として入力すると、入力された前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するようにモデルを学習する学習部と、を備え、
    前記取得部は、ある第１時刻における前記制御量、前記荷重、及び前記迎角のうち一部または全部を含む第１情報と、前記第１時刻よりも将来の第２時刻における前記制御量、前記荷重、及び前記迎角のうち一部または全部を含む第２情報とを取得し、
    前記学習部は、前記第１情報を前記モデルに入力したときに前記モデルが出力した価値を表す第１価値と、前記第２情報を前記モデルに入力したときに前記モデルが出力した価値を表す第２価値と、前記第１価値を基に選択した行動に対する報酬とに基づいて、前記モデルを学習する、
    学習装置。
  4. 前記学習部は、
    前記第１価値を基に、前記可動翼の翼面に交差する方向に関して前記翼面の一方の面である第１面側に前記可動翼を動かすこと、前記方向に関して前記翼面の他方の面である第２面側に前記可動翼を動かすこと、前記方向に関して前記可動翼を前記第１面側と前記第２面側とのいずれにも動かさないこと、の中からいずれかの行動を選択し、
    前記選択した行動に対する前記報酬を算出し、
    前記第１価値と、前記第２価値と、前記算出した報酬とに基づいて、前記モデルを学習する、
    請求項３に記載の学習装置。
  5. 前記学習部は、対象時刻における前記翼の荷重が許容範囲の上限値を超える、前記対象時刻における前記翼の荷重が前記許容範囲の下限値未満となる、又は前記対象時刻における前記翼のモーメントが初期時刻における前記翼のモーメントを超える所定条件を満たす場合、前記報酬をゼロとする、
    請求項３または４に記載の学習装置。
  6. 前記学習部は、前記所定条件を満たさない場合、前記所定条件を満たす場合よりも前記報酬を大きくする、
    請求項５に記載の学習装置。
  7. 前記学習部は、前記所定条件を満たさない場合、前記報酬を、前記対象時刻における前記翼のモーメントと前記初期時刻における前記翼のモーメントとの差と、前記対象時刻における前記翼の荷重と前記初期時刻における前記翼の荷重との商とに基づく値とする、
    請求項６に記載の学習装置。
  8. 前記学習部は、前記所定条件を満たさない場合、前記報酬を、前記対象時刻における前記翼のモーメントと前記初期時刻における前記翼のモーメントとの差と、前記対象時刻における前記翼の荷重と前記初期時刻における前記翼の荷重との差とに基づく値とする、
    請求項６に記載の学習装置。
  9. 前記可動翼には、可動位置が互いに異なる複数の翼片が含まれ、
    前記学習部は、対象時刻において、可動させる前記翼片の数が多いほど、前記対象時刻における前記報酬を小さくする、
    請求項３から８のうちいずれか一項に記載の学習装置。
  10. 構造物の可動翼に設けられた光ファイバセンサによって検出された前記可動翼のひずみを示す情報と、前記可動翼の制御量を示す情報とを取得する取得部と、
    前記取得部により取得された情報が示す前記ひずみ及び前記制御量に基づいて、前記可動翼の荷重及び迎角を決定する第１決定部と、
    状態変数が入力されると、前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するように学習されたモデルに、前記第１決定部により決定された前記荷重及び前記迎角と、前記取得部により取得された情報が示す前記制御量とのうち一部または全部を前記状態変数として入力し、前記状態変数を入力した前記モデルの出力結果に基づいて前記可動翼の制御量を決定する第２決定部と、
    前記第２決定部により決定された前記制御量に基づいて、前記可動翼を制御する制御部と、
    を備える制御装置。
  11. コンピュータが、
    構造物の翼に設けられた光ファイバセンサによって検出された前記翼のひずみを示す情報と、前記構造物の可動翼の制御量を示す情報とを取得し、
    取得した情報が示す前記ひずみ及び前記制御量に基づいて、前記翼の荷重及び迎角を決定し、
    状態変数が入力されると、前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するように学習されたモデルに、決定した前記荷重及び前記迎角と、取得した情報が示す前記制御量とのうち一部または全部を前記状態変数として入力し、
    前記状態変数を入力した前記モデルの出力結果に基づいて前記可動翼の制御量を決定し、
    決定した前記制御量に基づいて、前記可動翼を制御する、
    制御方法。
  12. コンピュータが、
    構造物の可動翼に設けられた光ファイバセンサによって検出された前記可動翼のひずみを示す情報と、前記可動翼の制御量を示す情報とを取得し、
    取得した情報が示す前記ひずみ及び前記制御量に基づいて、前記可動翼の荷重及び迎角を決定し、
    状態変数が入力されると、前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するように学習されたモデルに、決定した前記荷重及び前記迎角と、取得した情報が示す前記制御量とのうち一部または全部を前記状態変数として入力し、
    前記状態変数を入力した前記モデルの出力結果に基づいて前記可動翼の制御量を決定し、
    決定した前記制御量に基づいて、前記可動翼を制御する、
    制御方法。
  13. コンピュータが、
    構造物の可動翼の制御量、前記構造物の翼の荷重、及び前記構造物の翼の迎角のうち一部または全部を含む情報を取得し、
    深層強化学習を用いて、前記取得した情報を状態変数として入力すると、入力された前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するようにモデルを学習し、
    ある第１時刻における前記制御量、前記荷重、及び前記迎角のうち一部または全部を含む第１情報と、前記第１時刻よりも将来の第２時刻における前記制御量、前記荷重、及び前記迎角のうち一部または全部を含む第２情報とを取得し、
    前記第１情報を前記モデルに入力したときに前記モデルが出力した価値を表す第１価値と、前記第２情報を前記モデルに入力したときに前記モデルが出力した価値を表す第２価値と、前記第１価値を基に選択した行動に対する報酬とに基づいて、前記モデルを学習する、
    学習方法。
  14. コンピュータに、
    構造物の翼に設けられた光ファイバセンサによって検出された前記翼のひずみを示す情報と前記構造物の可動翼の制御量を示す情報とを取得すること、
    取得した情報が示す前記ひずみ及び前記制御量に基づいて、前記翼の荷重及び迎角を決定すること、
    状態変数が入力されると、前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するように学習されたモデルに、決定した前記荷重及び前記迎角と、取得した情報が示す前記制御量とのうち一部または全部を前記状態変数として入力すること、
    前記状態変数を入力した前記モデルの出力結果に基づいて前記可動翼の制御量を決定すること、及び
    決定した前記制御量に基づいて、前記可動翼を制御すること、
    を実行させるためのプログラム。
  15. コンピュータに、
    構造物の可動翼に設けられた光ファイバセンサによって検出された前記可動翼のひずみを示す情報と、前記可動翼の制御量を示す情報とを取得すること、
    取得した情報が示す前記ひずみ及び前記制御量に基づいて、前記可動翼の荷重及び迎角を決定すること、
    状態変数が入力されると、前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するように学習されたモデルに、決定した前記荷重及び前記迎角と、取得した情報が示す前記制御量とのうち一部または全部を前記状態変数として入力すること、
    前記状態変数を入力した前記モデルの出力結果に基づいて前記可動翼の制御量を決定すること、及び
    決定した前記制御量に基づいて、前記可動翼を制御すること、
    を実行させるためのプログラム。
  16. コンピュータに、
    構造物の可動翼の制御量、前記構造物の翼の荷重、及び前記構造物の翼の迎角のうち一部または全部を含む情報を取得すること、
    深層強化学習を用いて、前記取得した情報を状態変数として入力すると、入力された前記状態変数に応じてとるべき行動の価値又は前記行動を示す変数を出力するようにモデルを学習すること、
    ある第１時刻における前記制御量、前記荷重、及び前記迎角のうち一部または全部を含む第１情報と、前記第１時刻よりも将来の第２時刻における前記制御量、前記荷重、及び前記迎角のうち一部または全部を含む第２情報とを取得すること、及び
    前記第１情報を前記モデルに入力したときに前記モデルが出力した価値を表す第１価値と、前記第２情報を前記モデルに入力したときに前記モデルが出力した価値を表す第２価値と、前記第１価値を基に選択した行動に対する報酬とに基づいて、前記モデルを学習すること、
    を実行させるためのプログラム。
JP2019173265A 2019-09-24 2019-09-24 制御装置、学習装置、制御方法、学習方法、及びプログラム Active JP7280609B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019173265A JP7280609B2 (ja) 2019-09-24 2019-09-24 制御装置、学習装置、制御方法、学習方法、及びプログラム
PCT/JP2020/030640 WO2021059787A1 (ja) 2019-09-24 2020-08-12 制御装置、学習装置、制御方法、学習方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019173265A JP7280609B2 (ja) 2019-09-24 2019-09-24 制御装置、学習装置、制御方法、学習方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021049841A JP2021049841A (ja) 2021-04-01
JP7280609B2 true JP7280609B2 (ja) 2023-05-24

Family

ID=75156769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019173265A Active JP7280609B2 (ja) 2019-09-24 2019-09-24 制御装置、学習装置、制御方法、学習方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7280609B2 (ja)
WO (1) WO2021059787A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022014485A1 (ja) * 2020-07-14 2022-01-20
CN113777919B (zh) * 2021-08-13 2023-11-17 哈尔滨工程大学 一种基于nsga-ⅱ遗传算法的自抗扰控制的串级燃气轮机功率控制方法
JP2023175366A (ja) * 2022-05-30 2023-12-12 国立研究開発法人宇宙航空研究開発機構 制御装置、制御方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086468A (ja) 2017-11-09 2019-06-06 株式会社Ｎｔｔファシリティーズ 制振制御システム、制振制御方法、振動解析装置及び振動解析方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4422152C2 (de) * 1994-06-27 2000-02-03 Daimler Chrysler Aerospace Verfahren und Anordnung zum Optimieren der aerodynamischen Wirkung eines Tragflügels
US9227721B1 (en) * 2011-10-07 2016-01-05 The United States of America as represented by the Administrator of the National Aeronautics & Space Administration (NASA) Variable camber continuous aerodynamic control surfaces and methods for active wing shaping control
JP6706235B2 (ja) * 2017-11-02 2020-06-03 株式会社Ｓｕｂａｒｕ 航空機の制御システム、航空機の制御方法及び航空機

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086468A (ja) 2017-11-09 2019-06-06 株式会社Ｎｔｔファシリティーズ 制振制御システム、制振制御方法、振動解析装置及び振動解析方法

Also Published As

Publication number Publication date
JP2021049841A (ja) 2021-04-01
WO2021059787A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
JP7280609B2 (ja) 制御装置、学習装置、制御方法、学習方法、及びプログラム
CN113111430B (zh) 基于非线性气动力降阶的弹性飞机飞行动力学建模方法
Goetzendorf-Grabowski et al. Stability analysis using SDSA tool
US11629694B2 (en) Wind turbine model based control and estimation with accurate online models
CN103930940B (zh) 能悬停航空器的旋翼尾流在航空器本身上产生的空气动力载荷的效应的实时模拟系统及其方法
Siddiqui et al. Lab-scale, closed-loop experimental characterization, model refinement, and validation of a hydrokinetic energy-harvesting ocean kite
CN113885320B (zh) 一种基于混合量子鸽群优化的飞行器随机鲁棒控制方法
Fasel et al. Aeroservoelastic optimization of morphing airborne wind energy wings
Verma et al. Aircraft parameter estimation using ELM network
US20220229948A1 (en) Simulation of the behavior of a vehicle in a fluid by Hamiltonian neural network
Yang et al. Optimization and control application of sensor placement in aeroservoelastic of UAV
CN117436322B (zh) 基于叶素理论的风力机叶片气动弹性仿真方法和介质
Moens et al. Multi‐point optimization of shapes and settings of high‐lift system by means of evolutionary algorithm and Navier‐Stokes equations
Díaz-Casás et al. Wind turbine design through evolutionary algorithms based on surrogate CFD methods
Reel et al. Using computational fluid dynamics to generate complex aerodynamic database for VTOL aircraft
Poland Modelling aeroelastic deformation of soft wing membrane kites
US20220319257A1 (en) Aircraft motion observer configured for use in electric aircraft
Mocsányi et al. Grid and polytopic LPV modeling of aeroelastic aircraft for co-design
Ben Mosbah et al. Artificial Neural Networks-Extended Great Deluge Model to predict Actuators Displacements for a Morphing Wing Tip System.
Wada et al. Smart wing load alleviation through optical fiber sensing, load identification, and deep reinforcement learning
Haughn et al. MFC Morphing Aileron Control With Intelligent Sensing
Paulson et al. The rapid development of bespoke small unmanned aircraft: A proposed design loop
Mosbah et al. New methodology combining neural network and extended great deluge algorithms for the ATR-42 wing aerodynamics analysis
Mkhoyan et al. On-line black-box aerodynamic performance optimization for a morphing wing with distributed sensing and control
Rashid et al. Knowledge-based aerodynamic estimation of airships

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20191024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230502

R150 Certificate of patent or registration of utility model

Ref document number: 7280609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150