JP7021928B2

JP7021928B2 - 制御システム

Info

Publication number: JP7021928B2
Application number: JP2017242901A
Authority: JP
Inventors: 信康金川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2022-02-17
Anticipated expiration: 2037-12-19
Also published as: US20210173936A1; US11609999B2; JP2019109754A; WO2019124044A1

Description

本発明は、制御装置が制御対象に対して制御出力を与える制御システムに関し、特に、安全性を考慮した制御システムに関する。

自動車の自動運転を初めとする制御の自動化は、人間による操作を低減することにより人為的誤りに起因する事故を低減し、安全性を向上させることが可能である。より高度な制御を実現するために制御装置へ人工知能を導入する試みもなされている。人工知能に代表されるような高度な自動制御は、人間と同等あるいはそれ以上に高度制御を実現する可能性がある。

自動車を制御対象とするような事故の可能性があるような分野へ人工知能に代表されるような高度な制御を導入する場合、制御対象の安全性を確保することが重要である。

特許文献１には、「自動運転車両の走行制御計画の安全性を適確に評価することを可能とする走行制御計画評価装置を提供する。自動運転車両の走行制御計画の安全性を評価する走行制御計画評価装置１０である。この装置１０は、ある時刻において自動運転車両の周辺車両が取る可能性がある行動を推定する行動推定手段１６ａと、ある時刻における周辺車両の存在位置と行動推定手段１６ａにより推定した行動とに基づいて、ある時刻より未来の周辺車両の存在位置を予測する存在位置予測手段１６ｂと、存在位置予測手段１６ｂにより予測した周辺車両の存在位置と、自動運転車両の走行制御計画による存在位置とに基づいて、走行制御計画の安全性を評価する評価手段２０と、を備える」ことが開示されている。

特開２００８－１１７０８２号公報

人工知能による制御出力は、機械学習の結果であるため予測が困難な場合がある。制御出力の予測が困難な場合に制御対象の安全動作をいかにして確保するかが課題となる。また、制御装置に入力を与えるために通信ネットワークに接続すればウィルスやハッキングなどのサイバーアタック、ソフトウェアやハードウェアのバグに起因する制御装置の誤動作を防止するといった制御装置の正常制御の維持も課題となる。

制御システムのセキュリティ確保の見地では、制御装置に脆弱性が発見されたら、脆弱性を解消するために、セキュリティパッチなどによりソフトウェアプログラムを速やかにバージョンアップすることが好ましい。しかし、ソフトウェアプログラムのバージョンアップを行う場合には、バージョンアップ後に制御装置の制御対象に対する制御が適切に行われることを検証することが必要である。

本発明の一つの目的は、制御装置の正常制御と制御対象の安全動作の実現を可能にする技術を提供することである。

本発明の一態様による制御システムは、所定の入力に応じて、制御対象に出力する制御出力を生成する自動制御部と、前記制御出力の安全性を複数の検証レベルで検証可能に構成された安全検証制御部と、前記自動制御部の正常性に関する状態を管理し、該状態に応じて前記安全検証制御部における前記制御出力の安全性の検証レベルを選択する検証レベル選択部と、を有する。

本発明の一態様によれば、制御装置の正常制御と制御対象の安全動作を実現することができる。

制御システムの構成の実施の一形態を示すブロック図である。図１に示した自動制御部及び安全検証制御部の第１の実施の形態を示すブロック図である。図２に示した安全検証部の動作と等価のメモリの構成例を示す図である。図２に示した自動制御部及び安全検証制御部を図１に示した制御システムに適用した構成例を示す図である。図１～図４に示した制御システムにおける状態遷移の実施例を示す図である。図１～図４に示した制御システムにおいて経験ベース安全検証をオンラインでも学習する場合の状態遷移の実施例を示す図である。図１～図４に示した制御システムの動作例を説明するための図である。図１～図４に示した制御システムの動作例を説明するための図である。図１～図４に示した制御システムの動作例を説明するための図である。図１～図４に示した制御システムの動作例を説明するための図である。図１～図４に示した制御システムの動作例を説明するための図である。図１に示した自動制御部及び安全検証制御部の第２の実施の形態を示すブロック図である。図１２に示した安全検証部の動作と等価のメモリの構成例を示す図である。図１２に示した自動制御部及び安全検証制御部を用いた制御システムの構成例を示す図である。図１４に示した制御システムが安全検証強化緩和状態Ｓ０の場合の制御出力の出力選択方法の一例を示す図である。図１４に示した制御システムが安全検証強化状態Ｓ１または安全検証強化継続状態Ｓ２の場合の制御出力の出力選択方法の一例を示す図である。動作不良可能性発見をトリガーとした場合の状態遷移の実施例を示す図である。図１７に示した状態遷移において経験ベース安全検証をオンラインでも学習する場合の状態遷移の実施例を示す図である。

以下に実施の形態について図面を参照して説明する。

（第１の実施の形態）
図１は、第1の実施の形態における制御システムのブロック図である。

本形態における制御システムは図１に示すように、自動制御部１０と、安全検証制御部２０と、検証レベル選択部３０とを有する。

自動制御部１０は、所定の入力１に応じて、制御対象に出力する制御出力４を生成する。

安全検証制御部２０は、制御出力４の安全性を複数の検証レベルで検証可能に構成されている。

検証レベル選択部３０は、自動制御部１０の正常性に関する状態を管理し、その状態に応じ安全検証制御部２０における安全検証レベルを選択する。

上記のように構成された制御システムにおいては、自動制御部１の脆弱性が検出された場合、またはセキュリティパッチを実施した場合には、安全検証制御部２0における安全検証を通常よりも強化する。これにより、セキュリティパッチを実施以前には安全検証の強化によりサイバー攻撃による異常動作を検出できる確率を高め、セキュリティパッチを実施以降には安全検証の強化によりセキュリティパッチのバグによる異常動作を検出できる確率を高めることができる。その後、セキュリティパッチの検証が完了した場合、安全検証の強化を解除し、通常の安全検証に戻す。これにより、安全検証のフォルスポジティブ（正常であるのに異常であると誤検出してしまうこと）の確率を下げることができる。

また、動作中に、経験ベース安全検証機能として安全検証制御部２0における検証方法の学習をしている場合には、脆弱性が検出されたりセキュリティパッチを実施したりすると、経験ベース安全検証機能の学習を停止し、その後、セキュリティパッチの検証が完了すると、経験ベース安全検証機能の学習を再開する。これにより、サイバーアタックによる誤った学習を防止し、セキュリティパッチを実施以降にはセキュリティパッチのバグによる誤った学習を防止することができる。

また、上記安全検証制御部２０は、複数の検証レベルのそれぞれの検証結果に基づいて制御した制御出力を出力するように構成されている。検証レベル選択部３０は、自動制御部１０の正常性に関する状態に応じて、安全検証制御部２０から出力される制御出力のうちいずれかを選択して記制御対象へ出力する。これにより、適切に選択された安全検証レベルで検証され、その検証結果に基づいて制御された制御出力を制御対象に出力することができる。

図２は、図１に示した自動制御部１０及び安全検証制御部２０の第１の実施の形態を示すブロック図である。

本形態における自動制御部１０は、図２に示すように、所定の入力１に応じて自動制御出力２を生成して出力する。

本形態における安全検証制御部２０は、図２に示すように、安全検証部２１とＡＮＤゲート２２とから構成される。安全検証部２１は、自動制御部１０への入力１と自動制御部１０から出力された自動制御出力２とが入力され、これら入力１と自動制御出力２とに基づいて制御出力４の安全性を検証し、検証結果（ＯＫ／ＮＧ）を出力する。さらに過去の値からの状態遷移にも着目した（遷移チェック付の）場合には、１サンプル前（ｚ^－１）の過去の入力１および自動制御出力２も入力され、それらに対応する検証結果（ＯＫ／ＮＧ）を出力する。

上記のように構成された自動制御部１０及び安全検証制御部２０においては、自動制御部１０に入力１が入力されると、自動制御部１０において、制御対象に出力する制御出力４となる自動制御出力２が生成され、自動制御出力２が、安全検証制御部２０の安全検証部２１とＡＮＤゲート２２に入力される。すると、安全検証部２１において、自動制御部１０への入力１と自動制御部１０から出力された自動制御出力２とに基づいて制御出力４の安全性が検証され、その検証結果（ＯＫ／ＮＧ）が出力され、ＡＮＤゲート２２に入力される。そして、ＡＮＤゲート２２において、検証結果が良好となるＯＫである場合は、自動制御出力２の安全性が確認されたとして自動制御出力２が安全制限出力３として出力され、検証結果が不良となるＮＧである場合は、自動制御出力２の安全性に問題があるとして自動制御出力２が出力されない。

図３は、図２に示した安全検証部２１の動作と等価のメモリの構成例を示す図である。

図２に示した安全検証部２１の動作は図３に示すように、ＣＡＭ（Content Addressable Memory、連想記憶メモリ）と等価で、入力１及び自動制御出力２、さらには遷移チェック付の場合には過去の入力１及び自動制御出力２の組み合わせをエントリーとして、それらに対応した検証出力（ＯＫ／ＮＧ）が出力される。

本形態においては、安全検証制御部２０により自動制御部１０からの危険な出力を防止でき、動作の安全性を向上できる。なお、自動制御部１０に、深層学習や機械学習などの人工知能を導入することにより、人知を超えた制御性能を実現することが期待されるが、人知を超えるがゆえに、安全に関してのアカウンタビリティ（説明責任、説明性）を向上させることが望ましい。そこで本形態のように安全検証制御部２０を付加することで、人工知能による人知を超えた高度な制御を安全に実現することが可能となる。

図４は、図２に示した自動制御部１０及び安全検証制御部２０を図１に示した制御システムに適用した構成例を示す図である。

図４に示すように、本構成例においては、複数の安全検証部２１－１～２１－ｎとＡＮＤゲート２２－１～２２－ｎとからなる安全検証制御部が、複数の安全検証制御部２０－１～２０－ｎが多段に接続されることで、制御出力の安全性を複数の検証レベルで検証可能に構成されている。検証レベル選択部３０は、自動制御部１０の正常性に関する状態（安全検証を緩和すべき状態または安全検証を強化すべき状態）に応じてスイッチＳＷ２を制御することで、ＡＮＤゲート２２－１～２２－ｎのいずれかから出力される安全制限出力を選択し、選択した安全制限出力を制御出力４として出力する。これにより、検証レベル選択部３０は、自動制御部１０の正常性に関する状態に応じた検証レベルで安全検証制御部２０に制御出力４の安全性を検証させることになる。

なお、多段に接続された安全検証制御部２０－１～２０－ｎとして互いに同じ判定論理を実装した場合には、安全検証制御部２０－１～２０－ｎは冗長系として機能し、いずれかが故障した場合でも、制御出力４を安全のために制限する機能を確保することができる。また、安全検証制御部２０－１～２０－ｎに異なる判定論理を実装した場合には、設計多様化の効果により判定論理に依存する検出漏れを防ぐことが可能となる。特に、安全検証制御部２０－１～２０－ｎのうち少なくとも１つに深層学習などの人工知能による判定論理、さらに少なくとも１つにルールに基づく判定論理をそれぞれ実装することで、人工知能による人知を超えた異常（危険事象）検出と、確実なルールに基づくアカウンタビリティ（説明責任、説明性）を両立させることが可能となる。

図５は、図１～図４に示した制御システムにおける状態遷移の実施例を示す図である。

図１～図４に示した制御システムにおいては、図５に示すように、初期状態では第１の検証レベルとなる安全検証緩和状態Ｓ０にあり、自動制御部１０に脆弱性が発見された場合は、脆弱性による誤動作を検出するために安全検証を強化する第２の検証レベルとなる安全検証強化状態Ｓ１に遷移する。脆弱性を解消するための自動制御部１０にセキュリティパッチを実施した後に、セキュリティパッチのバグによる誤動作を検出するために安全検証の強化を継続する第３の検証レベルとなる安全検証強化継続状態Ｓ２に遷移する。その後セキュリティパッチを実施した自動制御部１０について安全検証を網羅的に完了するか、代数的なシミュレーションによる形式検証を完了して脆弱性が解消した後に再び安全検証緩和状態Ｓ０に戻る。なお、第２の検証レベルとなる安全検証強化状態Ｓ１と、第３の検証レベルとなる安全検証強化継続状態Ｓ２とは共通であってもよい。

安全検証制御部２０は、これら安全検証緩和状態Ｓ０、安全検証強化状態Ｓ１及び安全検証強化継続状態Ｓ２に応じた検証レベルで制御出力４の安全性を検証可能に構成されており、検証レベル選択部３０が、安全検証緩和状態Ｓ０、安全検証強化状態Ｓ１及び安全検証強化継続状態Ｓ２に応じた検証レベルで、安全検証制御部２０に制御出力４の安全性を検証させることになる。

これにより、自動制御部１０の正常性に関する状態に基づいて、制御出力４の安全性を検証させることができるようになる。

なお、脆弱性が発見されたという事象は、制御システム自らが安全検証機能により検出した異常動作からサーバーアタックとそれに対する脆弱性を検出する場合や、複数の制御システムを管理する管理センタを有し、管理センタから通信路を介して通知される場合が考えられる。後者の場合、管理センタでは、管理する複数の制御システムからの誤動作情報からサーバーアタックとそれに対する脆弱性を検出する。

図６は、図１～図４に示した制御システムにおいて経験ベース安全検証をオンラインでも学習する場合の状態遷移の実施例を示す図である。

図１～図４に示した制御システムにおいては、安全検証制御部２０における制御出力の安全性の検証方法を学習する学習部を有する構成とすることも考えられる。

その場合、学習部は、図６に示すように、通常検証状態となる初期状態の安全検証緩和状態Ｓ０では経験ベース安全検証学習を開始し、安全検証強化状態Ｓ１では脆弱性による誤った学習を防止するために経験ベース安全検証学習を停止する。安全検証強化継続状態Ｓ２では、脆弱性はセキュリティパッチにより対策されたものの、セキュリティパッチの検証が済んでいないので、セキュリティパッチのバグによる誤った学習を防止するために経験ベース安全検証学習を停止したままとする。その後、安全検証緩和状態Ｓ０では脆弱性対策のためのセキュリティパッチの検証が済んでいるので経験ベース安全検証学習を再開する。

これにより、学習部において安全検証制御部２０における検証方法を学習するにあたり、脆弱性等によって誤った学習をすることを防止できるようになる。

以下に、上述した制御システムにおける実際の動作について説明する。

図７～図１１は、図１～図４に示した制御システムの動作例を説明するための図である。なお、夫々の動作例において、時刻ｔ１に脆弱性が発見され、安全検証強化状態Ｓ１に遷移し、時刻ｔ２にセキュリティパッチを実施した後に安全検証強化継続状態Ｓ２に遷移し、時刻ｔ３にセキュリティパッチの検証が完了して安全検証強化緩和状態Ｓ０に戻るものとする。本実施形態により安全検証を強化した場合の制御システムの動作を実線で、安全検証を強化しなかった場合の制御システムの動作を破線で示す。

図７に示すように、ｔｅ１，ｔｅ１’においてシステムが許容できる故障１が発生し、ｔｅ２においてシステムが許容できない故障２が発生した場合は、安全検証が強化されていれば、制御出力４によってｔｅ１において念のため制御動作を停止して出力を安全状態にする。ここで、安全状態の出力はシステムの用途に依存し、例えば鉄道制御においては動力を切って、ブレーキをかけることにより安全状態を維持できる。自動運転に代表されるように自動車においては、緩やかにブレーキをかけて、緩やかに減速しながら停止するか、人間の操作による人為的オーバーライドの優先度を上げるか、陽に人為的オーバーライドに切り替える。

一方、安全検証が強化されなかった場合には、制御出力４によって破線で示すように出力を継続することができるが、図８に示すようにサイバーアタックを受けた場合には安全検証が強化されていないために危険事象発生の恐れがある。すなわち、検証レベル選択部３０は、サイバーアタックに対する自動制御部１０の脆弱性に基づいて、自動制御部１０の正常性に関する状態を管理していることになる。

また、時刻ｔｅ２においてシステムが許容できない故障２が発生した場合には、通常の（緩和された）安全検証により異常が検出され、制御動作を停止して出力を安全状態にする。

また、図８に示すように、セキュリティパッチを実施する時刻ｔ２以前の時刻ｔａ１においてサイバーアタックがあった場合、安全検証が強化されていれば、異常を検出して制御出力４によって制御動作を停止して出力を安全状態にすることができるが、安全検証が強化されなかった場合には異常を検出できずに危険事象が発生する。

なお、図９に示すように、セキュリティパッチを実施する時刻ｔ２以降の時刻ｔａ１においてサイバーアタックがあった場合にはサイバーアタックの影響を受けないので、危険事象は発生しないが、念のため動作を停止することで安全性を確保している。

また、図１０に示すように、時刻ｔｘ１においてセキュリティパッチのバグが顕在化した場合、安全検証が強化されていれば、異常を検出して制御出力４によって制御動作を停止して出力を安全状態にすることができるが、安全検証が強化されなければ、異常を検出できずに危険事象が発生する。

図１１においては、安全検証強化状態Ｓ１及び安全検証強化継続状態Ｓ２において安全検証を強化し、経験ベース安全検証の学習を停止した場合のシステムの動作を実線で、安全検証を強化せずに経験ベース安全検証の学習を停止しなかった場合のシステムの動作を破線で示している。

本例では、時刻ｔｅ３において発生した故障３が、時刻ｔａ１におけるサイバーアタックの結果発生した危険事象と同じ危険事象を発生する場合を想定している。本例によれば、時刻ｔａ１におけるサイバーアタック発生時に安全検証を強化し、経験ベース安全検証の学習を停止していれば、該サイバーアタックの結果発生した危険事象を見逃すことも無く出力を安全状態にすることができる上、時刻ｔｅ３において発生した故障３が生じる危険事象を正常と判断して出力を継続して危険事象を発生してしまうこともない。

一方、時刻ｔａ１におけるサイバーアタック発生時に安全検証を強化せずに、経験ベース安全検証の学習も停止しない場合には、時刻ｔａ１におけるサイバーアタックの結果発生した危険事象を経験ベース安全検証機能が正常な実績として学習してしまい、時刻ｔｅ３において発生した故障３が生じる危険事象を正常と判断して出力を継続して危険事象を発生してしまうことになる。

本形態においては、自動制御部１０の状態に応じて安全処理を実行するので制御装置の正常制御と制御対象の安全動作を実現することが可能となる。

（第２の実施の形態）
図１２は、第２の実施の形態における自動制御部１０及び安全検証制御部２０のブロック図である。

本形態は図１２に示すように、図２に示したものに対して、安全検証制御部２０の構成が異なるものである。本形態における安全検証制御部２０は、安全検証部２１と制限値選択回路２３とから構成される。

安全検証部２１は、制御出力４の許容される上限値となる制御出力上限及び下限値となる制御出力下限を有しており、自動制御部１０への入力１と自動制御部１０から出力された自動制御出力２とが入力され、これら入力１と自動制御出力２に対応する制御出力上限及び制御出力下限を出力する。さらに過去の値からの状態遷移にも着目した（遷移チェック付の）場合には、１サンプル前（ｚ^－１）の過去の入力１および自動制御出力２も入力され、それらに対応する制御出力上限及び制御出力下限を出力する。

制限値選択回路２３は、安全制限出力３として入力された自動制御出力２が制御出力上限と制御出力下限の間にある場合には自動制御出力２を出力し、入力された自動制御出力２が制御出力上限を超えている場合は制御出力上限以下に制限した値を出力し、入力された自動制御出力２が制御出力下限を下回っている場合は制御出力下限以上に制限した値を制御出力４となる安全制限出力３として出力する。

これにより、自動制御部１０から出力された自動制御出力２が、制御出力４の許容される制御出力上限と制御出力下限との間の範囲外となる場合でも、制御出力上限と制御出力下限との間の範囲内となる安全制限出力３を出力することができる。

さらに、安全検証部２１は、自動制御出力２の安全検証結果をステータスとして出力する。ステータスは、制御出力下限と制御出力上限の範囲内である場合はＯＫ、制御出力下限と制御出力上限の範囲外であるが制御出力下限と制御出力上限の間の値が存在する場合、すなわち、制御出力下限＜制御出力上限が成り立つ場合は、ＯＫｗ／ｌｉｍｉｔ、また、制御出力下限と制御出力上限の間の値が存在しない場合、すなわち、制御出力下限＜制御出力上限が成り立たない場合はＮＧの３値とする。

図１３は、図１２に示した安全検証部２１の動作と等価のメモリの構成例を示す図である。

図１２に示した安全検証部２１の動作は図１３に示すように、ＣＡＭ（Content Addressable Memory、連想記憶メモリ）と等価で、入力１及び自動制御出力２、さらには遷移チェック付の場合には過去の入力１及び自動制御出力２の組み合わせをエントリーとして、それらに対応した制御出力上限及び制御出力下限が出力される。

図１４は、図１２に示した自動制御部１０及び安全検証制御部２０を用いた制御システムの構成例を示す図である。

図１４に示すように、本構成例においては、図１２に示した自動制御部１０及び安全検証制御部２０からなる複数の検証部を冗長に有し、検証レベル選択部として出力選択部４０が設けられている。複数の検証部においては、それぞれを構成する自動制御部１０－１～１０ｎから出力される制御出力４の安全性を検証してこの検証結果に基づいて制御出力を制御する。出力選択部４０においては、制限値選択回路２３－１～２３－ｎからのステータスに基づき、自動制御部１０－１～１０ｎの正常性に関する状態に応じて、制限値選択回路２３－１～２３－ｎから出力される安全制限出力３－１～３－ｎのうち１つを選択して制御出力４として出力する。また、出力選択部４０は、人間の操作入力による制御出力となる操作量情報１２と、人間の操作入力の優先度を示す優先度情報１３とが与えられ、優先度情報１３が、自動制御部１０－１～１０－ｎよりも人間の操作入力を優先することを示している場合は、人間による操作量情報１２に応じて制限値選択回路２３－ｏから出力される安全制限出力３－ｏによる制御出力４を出力する。その際、例えば、人間による操作量情報１２に応じた安全制限出力３－ｏが所定の範囲外となる場合、反力が強くなるなどの制御をすることで、人間が操作した場合にその旨を認識することができる。

このように、複数の検証部を冗長に有することで、複数の検証部のいずれかが故障した場合でも、制御出力４を安全のために制限する機能を確保することができる。また、人間による操作量情報１２に応じた制御出力４を優先して出力することができる。

図１５は、図１４に示した制御システムが安全検証強化緩和状態Ｓ０の場合の制御出力４の出力選択方法の一例を示す図であり、図１６は、図１４に示した制御システムが安全検証強化状態Ｓ１または安全検証強化継続状態Ｓ２の場合の制御出力４の出力選択方法の一例を示す図である。

出力選択部４０は、自動制御部１０－１～１０－ｎのステータスが同じ場合には実現上選択する優先順位を自動制御部１０－１＞自動制御部１０－ｎとする。その結果、図１５に示す例では、case 1：自動制御部１０－１のステータスがＯＫならば自動制御出力２－１が選択される。Case 2：自動制御部１０－１のステータスがＮＧで、自動制御部１０－２のステータスがＯＫならば自動制御出力２－２が選択される。Case 3：自動制御部１０－１～１０－（ｎ－１）のステータスがＮＧで、自動制御部１０－ｎのステータスがＯＫならば自動制御出力２－ｎが選択される。Case 4、Case 5：自動制御部１０－１のステータスがＯＫ／ｗ limitで、他の自動制御部のステータスがＯＫ以外（ＯＫ／ｗ limitまたはＮＧ）ならば自動制御出力２－１が出力制限されて選択される。Case 6、Case 7：自動制御部１０－１のステータスがＮＧで、自動制御部１０－２のステータスがＯＫ／ｗ limitで、他の自動制御部のステータスがＯＫ以外（ＯＫ／ｗ limitまたはＮＧ）ならば自動制御出力２－２が出力制限されて選択される。Case 8：自動制御部１０－１～１０－（ｎ－１）のステータスがＮＧで、自動制御部１０－ｎのステータスがＯＫ／ｗ limitならば自動制御出力２－ｎが出力制限されて選択される。Case 9：自動制御部１０－１～１０－ｎのステータスがＮＧの場合には出力が停止される。Case 10：人間の操作によるオーバーライドの優先度情報１３が１で、オーバーライドのステータスがＯＫの場合にはオーバーライドの操作量情報１２が選択される。Case 11：オーバーライドの優先度情報１３が１で、オーバーライドのステータスがＯＫ／ｗ limitならばオーバーライドの操作量情報１２が出力制限されて選択される。Case 12：オーバーライドの優先度情報１３が２ならばオーバーライドの操作量情報１２が出力制限されずに選択される。

また、図１６に示す例においては、安全検証を強化しているためCase 4-7：ステータスがＯＫ／ｗ limitである自動制御出力は選択せずに出力を停止する。

図１４に示した制御システムにおいては、自動制御部１０－１～１０－ｎのそれぞれに単一の安全検証制御部２０－１～２０－ｎが設けられているが、図４に示したように、１つの自動制御部１０に複数の安全検証制御部２０－１～２０－ｎが多重に設けられている場合は、多重化したいずれかの安全検証機能でＮＧとなった場合に出力を停止する構成や、フォルスネガティブ（正常なのに異常（危険）と誤判断してしまう事象）の確率が低い安全検証制御部２０でＯＫ、またはＯＫ／ｗ limitならば、フォルスネガティブの確率が高い安全検証制御部２０でＮＧとなっても概フォルスネガティブと誤判断してしまう事象の確率が低い安全検証制御部２０における検証結果に基づいて安全制限出力３を出力する構成が考えられる。

図１７は、第2の実施の形態による制御システムにおいて動作不良可能性発見をトリガーとした場合の状態遷移の例を示す図である。図１８は、図１７に示した状態遷移において経験ベース安全検証をオンラインでも学習する場合の状態遷移の実施例を示す図である。

上述した制御システムにおいては、図１７及び図１８に示すように、動作不良可能性発見という事象をトリガーとして、状態を遷移させることも考えられる。なお、動作不良可能性発見とは、脆弱性の発見に加えて、運用開始後の不良箇所の発見などの事象が含まれる。すなわち、検証レベル選択部３０においては、自動制御部１０のハードウェアあるいはソフトウェアに内在する動作不良原因に基づいて自動制御部１０の正常性に関する状態を管理することも考えられる。

なお、動作不良可能性発見という事象は、脆弱性発見と同様に、制御システム自らが安全検証制御部により検出した異常動作から動作不良可能性発見を検出する場合と、複数の制御システムを管理する管理センタを有し、センタから通信路を介して通知される場合が考えられる。後者の場合、管理センタでは、管理する複数の制御システムからの誤動作情報から動作不良可能性発見を検出する。

なお、上述した実施形態は例示であり、これらに限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。例えば、各実施形態を適宜組み合わせることができる。また、いずれかの実施形態に記載した構成は、明示した組合せ以外に組み合わせることもできる。

１…入力、２…自動制御出力、３…安全制限出力、４…制御出力、１０…自動制御部、２０…安全検証制御部、２１…安全検証部、２２…ＡＮＤゲート、２３…制限値選択回路、３０…検証レベル選択部、４０…出力選択部

Claims

所定の入力に応じて、制御対象に出力する制御出力を生成する自動制御部と、
前記制御出力の安全性を複数の検証レベルで検証可能に構成された安全検証制御部と、
前記自動制御部の正常性に関する状態を管理し、該状態に応じて前記安全検証制御部における前記制御出力の安全性の検証レベルを選択する検証レベル選択部と、を有する制御システム。
前記安全検証制御部は、前記複数の検証レベルのそれぞれの検証結果に基づいて制御した前記制御出力を出力するように構成され、
前記検証レベル選択部は、前記自動制御部の正常性に関する状態に応じて、前記安全検証制御部から出力される前記制御出力のうちいずれかを選択して前記制御対象へ出力する、
請求項１に記載の制御システム。
前記安全検証制御部は、第１の検証レベルと、該第１の検証レベルよりも検証を強化した第２の検証レベルと、該第２の検証レベルよりも検証を強化した第３の検証レベルとのいずれかで前記制御出力の安全性を検証可能に構成され、
前記検証レベル選択部は、前記自動制御部が正常な制御が可能なときは通常検証状態として前記第１の検証レベルを選択し、前記通常検証状態において前記自動制御部の脆弱性が発見された場合は検証強化状態として前記第２の検証レベルを選択し、前記検証強化状態において前記脆弱性に対する対策が実行された場合は検証強化継続状態として前記第３の検証レベルを選択し、前記検証強化継続状態で前記対策が実行された後の前記自動制御部の正常な制御が確認された場合は前記通常検証状態として前記第１の検証レベルを選択する、
請求項１に記載の制御システム。
前記安全検証制御部は、前記検証結果が良好である場合は制御対象に前記制御出力を出力し、前記検証結果が不良である場合は前記制御対象への前記制御出力の出力を停止する、
請求項２に記載の制御システム。
前記安全検証制御部は、前記制御出力の許容される上限値及び下限値を有し、前記検証結果において前記制御出力が前記上限値を超えている場合は前記制御対象へ前記上限値以下に制限した制御出力を出力し、前記検証結果において前記制御出力が前記下限値を下回っている場合は前記制御対象へ前記下限値以上に制限した制御出力を出力する、
請求項２に記載の制御システム。
前記安全検証制御部は、多段に接続されることで、前記制御出力の安全性を複数の検証レベルで検証可能に構成されている、
請求項２に記載の制御システム。
前記自動制御部が複数あり、
前記安全検証制御部は、前記制御出力の安全性を互いに異なる検証レベルで検証し、検証結果に基づいて前記制御出力を制御する複数の検証部を有し、
前記検証レベル選択部は、前記自動制御部の正常性に関する状態に応じて、前記複数の検証部からの制御出力のうちいずれかを選択して前記制御対象に出力する、
請求項２に記載の制御システム。
前記検証レベル選択部は、人間の操作入力による制御出力と、前記人間の操作入力の優先度を示す優先度情報と、が更に与えられ、前記優先度情報が前記自動制御部よりも前記人間の操作入力を優先することを示している場合は、前記人間の操作入力による制御出力を前記制御対象に出力する、
請求項７に記載の制御システム。
前記第２の検証レベルと前記第３の検証レベルとが共通である、請求項３に記載の制御システム。
前記安全検証制御部における制御出力の安全性の検証方法を学習する学習部を有し、
前記学習部は、前記通常検証状態において前記検証方法の学習を行い、前記検証強化状態及び前記検証強化継続状態において前記検証方法の学習を停止する、
請求項３に記載の制御システム。
前記検証レベル選択部は、サイバーアタックに対する前記自動制御部の脆弱性に基づいて前記自動制御部の正常性に関する状態を管理する、
請求項１に記載の制御システム。
前記検証レベル選択部は、前記自動制御部のハードウェアあるいはソフトウェアに内在する動作不良原因に基づいて前記自動制御部の正常性に関する状態を管理する、
請求項１に記載の制御システム。