JP7241522B2 - 運転監視システム、運転監視方法、および制御プログラム - Google Patents

Description

本発明は、判定装置により出力された判定結果の適否を検証する検証装置等に関する。

従来、設備等の監視対象に異常が発生しているか否かを、該監視対象から受信したデータに基づいて機械的に判定する技術の開発が行われている（例えば、特許文献１を参照）。また、機械学習された判定装置を用いて、上記異常の発生を検知する技術の開発も進められている（例えば、特許文献２を参照）。

特開２００４－２６５００９号公報 特開２０１０－１９１５５６号公報

しかしながら、一般に、機械的な判定を行う判定装置について、判定に用いられる判定基準およびアルゴリズム等の信頼性を保証および評価することは難しく、そのような判定装置の使用開始後の初期段階においては特に難しい。

本発明の一態様は、判定装置による判定結果を検証し、判定装置の信頼性を向上し得る技術を実現することにある。

上記の課題を解決するために、本発明の一態様における検証装置は、監視対象に係る異常についての外部への発報可否を、上記監視対象に係るデータに基づき判定する判定装置の判定結果を検証するための検証装置であって、或る時点における上記監視対象の状態が異常であり発報可と上記判定装置により判定された場合における、上記発報の実行可否について判定を行う複数の判定者による人判定結果を取得する人判定結果取得部と、上記人判定結果取得部にて取得した上記複数の判定者のそれぞれによる上記人判定結果を統合して、上記判定装置による判定結果の適否を判断する適否判断部と、を備えている。

上記の構成によれば、判定装置による判定結果について、複数の判定者（人）による人判定結果を統合して適否を判断することができる。例えば、上記判定結果の適否を複数の判定者の多数決によって判断する。これにより、判定装置による判定結果を、複数の判定者によって多面的な視点から検証することができ、判定装置が実行する判定処理の正確性を比較的客観的に評価することができる。その結果、上記検証装置は、判定装置による判定処理の信頼性（判定結果の適否）を評価（検証）することができる。換言すれば、上記検証装置は、判定装置による判定結果の適否について、人判定結果に基づいて保証することができる。

また、本発明の一態様における検証装置では、上記複数の判定者のそれぞれについて、所定の重み付けが予め設定されており、上記適否判断部は、上記複数の判定者のそれぞれに設定された上記重み付けに基づいて上記人判定結果を統合して判定することにより、上記判定装置による判定結果の適否を判断することが好ましい。

上記の構成によれば、上記重み付けは、例えば、経験年数や判定項目への精通レベルに応じて任意に予め設定することができる。これにより、上記検証装置は、判定装置による判定結果の適否をより正確に検証することができる。

また、本発明の一態様における検証装置は、上記複数の判定者のうち特定の判定者が、特定判定者として予め設定されており、上記適否判断部は、上記特定判定者によって上記発報の実行否と判定された場合には上記判定装置による判定結果を不適と判断することが好ましい。

上記の構成によれば、上記特定判定者は、例えば、経験年数や判定項目への精通レベルに応じて任意に予め設定することができる。上記適否判断部は、上述の重み付けに基づいて上記人判定結果を統合して判定した結果が上記発報の実行可となっていたとしても、上記特定判定者によって上記発報の実行否と判定された場合には、上記判定装置による判定結果を不適と判断する。これにより、検証装置は、判定装置による判定結果の適否をより一層正確に検証することができる。

また、本発明の一態様における検証装置は、上記異常の種類別に、上記複数の判定者のそれぞれの重み付け、または上記特定判定者が設定されることが好ましい。

上記の構成によれば、異常の種類に対応して、上記重み付けまたは上記特定判定者が設定される。そのため、検証装置は、異常の種類毎に、判定装置による判定結果の適否をより正確に検証することができる。

また、本発明の一態様における検証装置は、上記判定装置により発報可と判定された場合に、上記監視対象の上記状態に関する判定対象データを上記複数の判定者に提示する提示部をさらに備え、上記提示部は、上記複数の判定者のそれぞれが参照可能な複数の端末に、上記判定対象データを送信し、上記人判定結果取得部は、上記端末から上記人判定結果を受信することが好ましい。

上記の構成によれば、複数の判定者は、端末が通信可能となっていれば、時間および場所に関わらず上記判定対象データを受け取ることができる。そのため、複数の判定者は、自由度の比較的高い状態（時間的、空間的な制約が少ない状態）にて、迅速に判定を行うことができる。また、複数の判定者が互いの判定結果を参照不可とすることができ、この場合、各判定者における判定に、他者の判定結果を参照したことに起因するバイアスが生じることを防止することができる。よって、検証装置は、判定装置による判定結果の適否をより正確に、かつ利便性良く検証することができる。

また、本発明の一態様における検証装置は、上記人判定結果取得部は、上記提示部が上記異常に関する上記判定対象データを送信した時点から所定の時間経過するまでの期間に受け付けた当該異常に関する上記人判定結果を上記適否判断部による判断に用い、上記所定の時間の経過後に受け付けた上記人判定結果を上記適否判断部による判断に用いないことが好ましい。

上記の構成によれば、判定装置による判定結果についての検証および警報の発報を比較的早期に行い易くすることができる。

上記の課題を解決するために、本発明の一態様により提供される教師データは、監視対象に係るデータを取得し、上記監視対象に係る異常についての外部への発報可否を、機械学習により生成された学習モデルを用いて判定する判定装置に適用される、上記学習モデルを構築または更新するための教師データであって、或る時点における上記監視対象の状態が異常であり発報可と上記判定装置により判定された場合における、上記状態に係る異常の外部への発報可否を複数の判定者のそれぞれによる人判定結果を統合して判定した統合判定結果と、上記統合判定結果に紐付けられた上記状態に関する状態情報と、を含む構造を有し、上記学習モデルを構築または更新する処理に用いられる。

上記の構成によれば、機械学習により生成された学習モデルを用いる判定装置の判定結果について、複数の判定者（人）による人判定結果を統合して、上記学習モデルを構築または更新する処理に用いられる教師データを提供することができる。複数の判定者（人）による人判定結果に基づく教師データを用いることにより、上記学習モデルの精度を向上させることができるとともに、信頼性を高めることができる。

上記の課題を解決するために、本発明の一態様における教師データ生成装置は、監視対象に係るデータを取得し、上記監視対象に係る異常についての外部への発報可否を、機械学習により生成された学習モデルを用いて判定する判定装置に適用される、上記学習モデルを構築または更新するための教師データを生成する教師データ生成装置であって、上記監視対象に係るデータを取得するデータ取得部と、或る時点における上記監視対象の状態が異常であり発報可と上記判定装置により判定された場合に、上記状態に係る異常の外部への発報可否を複数の判定者のそれぞれによる人判定結果を統合して判定する発報可否判定部と、（ｉ）上記データ取得部が取得した上記監視対象の上記状態に関するデータと（ｉｉ）上記発報可否判定部の判定結果とが紐付けられた、上記教師データを生成するデータ生成部と、を備えている。

上記の構成によれば、機械学習により生成された学習モデルを用いる判定装置における学習モデルを構築または更新する処理に用いられる教師データとして、上記発報可否判定部の判定結果（複数の判定者のそれぞれによる人判定結果を統合して判定した結果）を含む教師データを生成することができる。上記教師データを用いることにより、上記学習モデルの精度を向上させることができるとともに、信頼性を高めることができる。

上記の課題を解決するために、本発明の一態様における異常判定装置は、監視対象に係るデータを取得するデータ取得部と、或る時点における上記監視対象の状態に係る異常についての外部への発報可否を、上記データ取得部が取得した上記監視対象の上記状態に関するデータに基づき、機械学習により生成された学習モデルを用いて判定する判定部と、を備え、上記学習モデルの生成における機械学習は、少なくとも以下の構成（１）および構成（２）が紐付けられた構造を有するデータを教師データとして用いた、教師あり学習である。

（１）上記データ取得部が取得した監視対象の上記状態に関するデータ
（２）上記状態に係る異常の外部への発報可否を複数の判定者のそれぞれによる人判定結果を統合して判定した統合判定結果。

上記の構成によれば、機械学習により生成された学習モデルは、（ｉ）監視対象における異常の発生が疑われる状態に関するデータと、（ｉｉ）該データに係る人判定結果を統合して判定した統合判定結果と、が紐付けられた教師データを用いた機械学習が行われる。これにより、教師データの信頼性を高めることができ、学習モデルの精度を向上させることができる。そのため、異常判定装置は、監視対象の状態に係る異常について外部への発報可否を、上記学習モデルを用いて精度良く判定することができる。

また、上記の課題を解決するために、本発明の一態様として、上記検証装置に対応する検証方法、上記教師データ生成装置に対応する教師データ生成方法、および上記異常判定装置に対応する異常判定方法も提供される。これらの方法によれば、前述した各装置と同様の効果を奏する。

本発明の一態様は、上記検証装置としてコンピュータを機能させるための制御プログラムであってもよい。このような制御プログラムによれば、上記検証装置と同様の効果を奏する。

本発明の一態様によれば、判定装置による判定結果を検証し、判定装置の信頼性を向上し得る技術を実現することができる。

本発明の実施形態１における運転監視システムの概要を示す図である。 上記運転監視システムの概略的な構成を示すブロック図である。 上記運転監視システムにおける処理の流れを示すフローチャートである。 監視データの一例について示すグラフであり、（ａ）は水温、（ｂ）はｐＨ、（ｃ）はアンモニア濃度、（ｄ）は膜間差圧、の時間変化をそれぞれ示している。 本発明の実施形態２における運転監視システムの概略的な構成を示すブロック図である。 上記運転監視システムにおける処理の流れを示すフローチャートである。 本発明の実施形態３における運転監視システムの概略的な構成を示すブロック図である。

〔実施形態１〕
本発明の一実施形態について、図１～３に基づいて説明すれば、以下のとおりである。

本実施形態では、設備の運転状態を監視する運転監視システムであって、サーバに本発明の一態様における検証装置および判定装置が備えられている運転監視システムについて説明する。なお、本実施形態における運転監視システムはあくまで例示であり、運転監視システムの具体的な態様は特に限定されない。種々の運転監視システムに含まれる判定装置における機械的な判定結果の適否を検証（判定装置の信頼性を評価）するために、本発明の一態様における検証装置を適用することができる。

（運転監視システムの概要）
先ず、本発明の一態様における検証装置についての理解を容易にするために、運転監視システムの一例の概要について図１を用いて概略的に説明する。図１は、本実施形態における運転監視システム１の概要を示す図である。

図１に示すように、運転監視システム１は、設備（監視対象）２、サーバ３、判定者群４、および報告対象者５を含んでいる。サーバ３には、後述するように本実施形態における判定装置（異常判定装置）および検証装置が含まれている。

設備２には、複数の制御機器２ａが設けられている。各制御機器２ａは、自身の運転状況を示すデータをサーバ３に送信する。複数の制御機器２ａから送信されるデータの束を監視データＩｎｆ１と称すると、設備２からサーバ３に監視データＩｎｆ１が送信される。

サーバ３では、受信した監視データＩｎｆ１に基づいて、設備２の運転状態（換言すれば、各制御機器２ａの運転状態）を監視する。詳しくは後述するが、サーバ３は、設備２に異常が発生しているか否かを監視データＩｎｆ１に基づいて判定する判定装置を備えており、必要に応じて、異常が発生している旨の警報ＡＬを報告対象者５に発報する。報告対象者５は、例えば運転監視システム１によって提供される、設備２の運転に異常が発生したことを通知するサービスを契約しているユーザ（契約会社）である。或いは、報告対象者５は、例えば、上記サービスを提供しているプロバイダの監視員（オペレータ）であってもよい。

ここで、従来、監視データＩｎｆ１に基づいて判定装置が実行する機械的な判定の信頼性を向上させるための各種の技術が開発されている。例えば、特許文献１に記載の技術では、設備の状態を複数の簡易診断手段で診断し、その診断結果の多数決により簡易診断結果を決定する。また、特許文献２に記載の技術では、複数の識別器を用いて観測データを評価し、各識別器による評価結果の多数決により設備に異常が生じているか否かを判定する。しかし、これまでのところ、判定装置による機械的な判定の信頼性を充分に高くすることは困難であった。例えば、従来の判定装置では、監視データＩｎｆ１に基づいて、警報の発報が不要な種類の設備状態（例えば、設備に異常が生じているか否かを人が判定した場合には警報を発報しないであろう設備状態）についても、報告対象者５に警報ＡＬを発報し得る。

また、近年、上記判定装置に機械学習モデル（本明細書において単に学習モデルと称することがある）を適用して、該判定装置における判定の精度を向上させることが試みられている。しかし、この種の技術では次のような問題が生じ得る。すなわち、上記判定装置に学習モデルを導入して運転監視システムを動作させると、初期段階では、学習データの不足による問題が生じる場合がある。また、運転監視システムの運営者は、上記学習モデルの事前学習が充分であるか否か、学習モデルの導入直後から正しい判定ができるか否か、といった不安を抱えることになる。

本発明者らは、上記のような問題点に鑑み鋭意検討を行った。その結果、以下のような新たな着想を得て本願発明を実現するに至った。すなわち、機械による判定と人による当該判定の検証とをシステム的に融合させるように、上記のような判定装置の判定結果を検証する装置を新たに設ける。具体的には、本発明の一態様における運転監視システム１は、判定装置による機械的な判定結果の適否について、人による判定結果に基づいて検証する検証装置（本実施形態ではサーバ３に含まれている）を含んでいる。なお、本明細書において、人による判定結果を人判定結果と称することがある。

上記検証装置に対応して、本実施形態における運転監視システム１には、判定者群４が含まれ、この判定者群４は、設備２の運転管理について専門的な能力を有する複数の判定者４ａを含む。

本実施形態における運転監視システム１では、サーバ３は、設備２に異常が発生した旨の警報を報告対象者５に発報すべきと判定装置によって判定された場合、その旨を判定者群４に送信する。詳しくは後述するが、判定者群４における各判定者４ａは、判定装置による判定に用いられたデータに基づいて判定結果の適否を選択し、選択結果をサーバ３に返信する。なお、本明細書において、サーバ３と判定者群４との間の通信データを人判定情報Ｉｎｆ２と称することがある。そして、サーバ３では、判定装置による判定結果が判定者群４によって支持された場合には報告対象者５に警報ＡＬを発報し、一方で、支持されなかった場合には警報ＡＬを発報しないように警報ＡＬの送信制御が行われる。

これにより、運転監視システム１によれば、サーバ３から報告対象者５に不要な警報ＡＬが発報されることを防止することができる。また、上記のような人判定結果に基づいて、判定装置の信頼性を評価することができる。そして、人判定結果に基づいて、判定装置における判定アルゴリズムの精度を向上させることができる。なお、判定装置が機械的な判定に用いる具体的なアルゴリズムは特に限定されず、本明細書において、判定アルゴリズムとは、各種の機械学習モデル、エキスパートシステム、ファジィ推論、線形制御システム、等を含む意味で用いる。

なお、運転監視システム１における監視データＩｎｆ１および警報ＡＬの情報通信に用いられる通信ネットワークの具体的態様は特に限定されず、有線通信および無線通信を適宜用いることができる。人判定情報Ｉｎｆ２の通信についても特に限定されないが、具体的な態様については後述する。

（運転監視システムの詳細）
以上に概要を説明した本実施形態における運転監視システム１について、図２を用いて詳細に説明すれば以下のとおりである。図２は、運転監視システム１の概略的な構成を示すブロック図である。

図２に示すように、運転監視システム１は、設備２、判定装置１０、検証装置２０、判定者群４、および報告対象者５を含んでいる。本実施形態では、判定装置１０および検証装置２０は、上述のサーバ３内に設けられている。但し、判定装置１０および検証装置２０が設けられている場所は特に限定されるものではなく、両者は別々の場所に設けられていてもよく、或いは判定装置１０および検証装置２０が一体の装置となっていてもよい。

設備２に含まれる複数の制御機器２ａは、例えばシステムバス２ｂによって通信可能に接続されており、監視データＩｎｆ１は、システムバス２ｂを介して判定装置１０に送信される。なお、複数の制御機器２ａがそれぞれ、判定装置１０と直接的に通信可能となっていてもよい。

判定装置１０は、受信部１１、判定部１２、および送信制御部１３を備えている。判定装置１０は、設備（監視対象）２に係る異常について報告対象者５（外部）への発報可否を、監視データＩｎｆ１に基づき判定する装置である。

また、検証装置２０は、人判定結果取得部２１、適否判断部２２、および記憶部２３を備えている。記憶部２３には、判定者設定データ２３１および異常種類情報２３２が記憶されている。

判定装置１０および検証装置２０における各部の詳細について、以下、運転監視システム１の動作の説明と合わせて説明する。図３は、運転監視システム１における処理の流れを示すフローチャートである。

図２および図３に示すように、先ず、受信部１１は、設備２から監視データＩｎｆ１を受信する（ステップ１；以下Ｓ１のように略記する）。監視データＩｎｆ１は、例えば所定の時間間隔で設備２から送信されてよく、その内容は特に限定されるものではない。監視データＩｎｆ１は、例えば、或る制御機器２ａにおけるセンサの測定値（センサ値）、カメラにて撮像された画像、等を含む。

設備２は、例えば水処理施設である。また、設備２は、具体的な態様は限定されないが、大規模な装置であってもよく、例えば、排水処理を行う膜分離装置であってもよい。以下では、設備２として膜分離装置を用いる場合について説明する。この場合、受信部１１は、監視データＩｎｆ１として、水温、ｐＨ、アンモニア濃度、膜間差圧、溶解酸素濃度、酸化還元電位、濾過水量、活性汚泥浮遊物質の濃度、散気風量、等の各種のデータを受信する。

次いで、判定部１２は、監視データＩｎｆ１に基づいて、設備２に異常が発生しているか否かを所定の判定アルゴリズムに基づいて判定する。この判定アルゴリズムは、判定部１２によって実行可能なように提供される、例えばソフトウェアである。判定アルゴリズムは、一部または全てをハードウェアとして提供されてもよい。

判定部１２によって設備２の状態が正常であると判定された場合（Ｓ２でＮＯ）、Ｓ１の処理に戻る。一方、判定部１２によって設備２の状態が異常であると判定された場合（Ｓ２でＹＥＳ）、送信制御部１３は、検証装置２０にその旨の情報を送信する（Ｓ３）。送信制御部１３から検証装置２０に送信される情報は、設備２の上記状態に係る監視データＩｎｆ１を含んでいてもよい。また、該情報は、検証装置２０の動作を要求する信号であってもよい。

検証装置２０における人判定結果取得部２１は、判定者群４との間でデータを送受信する。これにより、人判定結果取得部２１は、或る時点における設備２の状態が異常であり発報可と判定装置１０により判定された場合における、上記発報の実行可否について、複数の判定者４ａによる人判定結果（人判定情報Ｉｎｆ２）を取得する（Ｓ４：人判定結果取得ステップ）。

具体的には、人判定結果取得部２１は、送信制御部１３から送信されたデータを受信すると、判定者群４に判定装置１０による判定結果の適否について判定を要求する判定要求データを送信する。この判定要求データは、設備２の上記状態に関する監視データＩｎｆ１であってよく、監視データＩｎｆ１の中から抽出されたデータであってもよい。或いは、人判定結果取得部２１は、判定者群４に判定を求める旨の連絡（通知）を行うようになっていてもよく、この場合、各判定者４ａは、設備２の管理システムまたは判定装置１０にアクセスして、各種の監視データＩｎｆ１を閲覧するようになっていてもよい。

判定者群４に含まれる判定者４ａの数は特に限定されるものではない。通常、この複数の判定者４ａは予め設定される。各判定者４ａは、判定部１２による判定結果の適否について検討し、その判定結果を支持するか否か（すなわち、警報ＡＬの発報が適か否か）という人判定結果を人判定結果取得部２１に送信する。なお、各判定者４ａは、例えば或る管理室内にいる設備の運転員であってもよく、この場合、例えば各判定者４ａが共通して使用する端末に判定要求データが受信されるようになっていてもよい。各判定者４ａは、共通の端末を交替で使用して、人判定結果を人判定結果取得部２１に送信してもよい。

また、各判定者４ａは、様々な場所にて判定要求データを受信してもよく、この場合、人判定結果取得部２１と判定者群４との間における情報通信の具体的な態様は特に限定されるものではない。例えば、通信手段はメールであってよく、スマートフォンにインストールされたアプリを用いてもよい。判定者４ａは、パーソナルコンピュータ、タブレット、スマートフォン、等の各種の端末を用いて、人判定結果を人判定結果取得部２１に送信することができる。

次いで、適否判断部２２は、人判定結果に基づいて、判定装置における判定結果の適否について判断する（Ｓ５：適否判断ステップ）。適否判断部２２は、例えば、人判定結果において、適と判定した判定者４ａが過半数であった場合、判定装置における判定結果を適と判断する。適否判断部２２にて適と判断された場合（Ｓ５でＹＥＳ）、検証装置２０から判定装置１０にその旨の信号が送信されることにより、送信制御部１３は、報告対象者５に警報ＡＬを発報する。

一方で、適否判断部２２にて否と判断された場合（Ｓ５でＮＯ）、検証装置２０から判定装置１０にその旨の信号が送信され、送信制御部１３は、警報ＡＬの発報を中止する処理を行う。

なお、適否判断部２２における判断基準は適宜設定されてよく、特に限定されるものではない。例えば、適否判断部２２は、記憶部２３に記憶されている判定者設定データ２３１を用いて判断を行ってもよい。判定者設定データ２３１には、例えば、複数の判定者４ａのそれぞれについて、予め設定された重み付けの情報が格納されている。適否判断部２２は、上記重み付けを考慮して、人判定結果に基づく総合判断を行うことが好ましい。上記重み付けは、例えば、判定者４ａの経験年数や判定対象データへの精通レベルに応じて予め任意に設定することができる。これにより、適否判断部２２は、判定装置１０による判定結果の適否をより正確に検証することができる。

また、判定者設定データ２３１には、例えば、上記重み付けの設定に加えて、または上記重み付けの設定とは独立して、判定者群４のうち特定の判定者４ａを特定判定者として予め設定した情報が格納されていてもよい。適否判断部２２は、上記特定判定者によって上記発報の実行否と判定された場合には、上記重み付けおよび多数決の結果に関わらず判定装置１０による判定結果を不適と判断するようになっていることが好ましい。上記特定判定者は、例えば、判定者４ａの経験年数や判定対象データへの精通レベルに応じて予め任意に設定することができる。これにより、適否判断部２２は、判定装置１０による判定結果の適否をより一層正確に検証することができる。

さらに、例えば、適否判断部２２は、判定者設定データ２３１に加えて異常種類情報２３２を用いて判断を行うようになっていてもよい。異常種類情報２３２には、例えば、判定装置１０が判定し得る異常の種類についての情報が格納されている。異常の種類としては、例えば設備２が膜分離装置である場合、処理水質異常、槽内環境異常、膜濾過異常、等が挙げられる。異常種類情報２３２および判定者設定データ２３１を用いることにより、上記異常の種類別に、上記複数の判定者のそれぞれの重み付け、または上記特定判定者を予め設定することができる。これにより、適否判断部２２は、異常の種類毎に、判定装置１０による判定結果の適否をより正確に検証することができる。なお、異常種類情報２３２および判定者設定データ２３１は１つのデータベースとして記憶部２３に格納されていてもよい。

次いで、上記Ｓ５にて適および否のいずれと判断されたかに関わらず、適否判断部２２による判断結果に基づいて、判定装置１０における判定部１２の調整が行われる（Ｓ７）。つまり、適否判断部２２によって、否（警報ＡＬを発報しない）と判断された場合には、判定部１２による判定に用いられた設備２の状態に係るデータ（判定時点の監視データＩｎｆ１）と、適否判断部２２の判断結果とを用いて、判定部１２における判定アルゴリズムを修正（更新）する。また、適否判断部２２によって、「適」と判断された場合においても、判定部１２における判定アルゴリズムを調整してもよい。これにより、判定部１２による判定の精度を向上させることができる。なお、上記Ｓ７の処理は行われなくともよい。

以上に説明した、検証装置２０が実行する処理（検証方法）は、以下のように整理することができる。すなわち、本発明の一態様における検証方法は、設備２に係る異常についての報告対象者５への発報（警報ＡＬの送信）可否を、設備２に係るデータに基づき判定する判定装置１０の判定結果を検証する検証方法であって、或る時点における設備２の状態が異常であり発報可（発報すべき）と判定装置１０により判定された場合における、上記発報の実行可否について判定を行う複数の判定者４ａによる人判定結果（人判定情報Ｉｎｆ２）を取得する人判定結果取得ステップと、上記人判定結果取得ステップにて取得した上記複数の判定者４ａのそれぞれによる人判定情報Ｉｎｆ２を統合して、判定装置１０による判定結果の適否を判断する適否判断ステップと、を含む。

〔適用例１〕
以下、本実施形態における運転監視システム１を用いて判定装置１０の判定結果に対する検証処理を行った場合の具体例（適用例）について説明する。ここでは、設備２は膜分離装置であるとする。

例えば、判定者群４として、５人の判定者４ａ（判定者Ａ～Ｅとする）を予め設定する。本適用例では、適否判断部２２は、多数決により人判定情報Ｉｎｆ２の総合判断を行い、判定装置１０による判定の適否を判断する。例えば、判定装置１０において異常であると判定された２０のパターン（異常判定パターン）について、本実施形態における運転監視システム１を適用した結果を下表１に示す。

表１に示すように、判定者Ａ～Ｅのうち過半数が適（○）と判定した判定パターン１～１２について、適否判断部２２は、総合判定の結果に基づいて、判定装置１０による判定結果が適（○）であると判断する。

本明細書において、上記異常判定パターンの具体的内容は発明の本質的な事項ではなく、記載の冗長化を避けるために詳細に説明することは省略するが、一例について図４を用いて説明すれば以下のとおりである。図４は、監視データＩｎｆ１の一例について示すグラフであり、（ａ）は水温、（ｂ）はｐＨ、（ｃ）はアンモニア濃度、（ｄ）は膜間差圧、の時間変化をそれぞれ示している。

図４の（ａ）～（ｄ）に示すように、例えば、ｐＨ、アンモニア濃度、膜間差圧において、正常な状態とは異なるピークが検出される場合がある。このような場合において、判定装置１０の判定部１２は、設備２に異常が発生したと判定し得る。これらのピークが発生した時点における設備２の状態には、報告対象者５に警報ＡＬを発報すべき状態もあれば、警報ＡＬの発報が不要な状態もある。

上記判定パターンの一例としては、監視データＩｎｆ１に基づいて、図４の（ｂ）～（ｄ）に示すような異常なピークが生じたと判定部１２が判定した場合が挙げられる。なお、判定部１２は、監視データＩｎｆ１に含まれる個々のデータに基づいて判定を行ってもよく、複数のデータを組み合わせて総合的に判定を行ってもよい。また、判定者Ａ～Ｅは、判定部１２によって異常であると判定された設備２の状態に係る複数のデータを参照して、判定装置１０の判定結果の適否について判定を行うことができる。判定部１２による判定の根拠として用いられたデータと判定者４ａが判定の際に参照したデータとは互いに同じであってもよく、互いに異なっていてもよい。また、判定者４ａは、判定部１２による判定の根拠となったデータよりも多種のデータを参照してもよい。

〔適用例２〕
また、例えば、適用例２における適否判断部２２は、重み付けを考慮した多数決により人判定情報Ｉｎｆ２の総合判断を行い、判定装置１０による判定の適否を判断する。上記適用例１と同じ２０種の異常判定パターンについて、本適用例２における運転監視システム１を適用した結果を下表２に示す。ここでは、判定者Ａ～Ｅのそれぞれについて、表２に示すように重み付け（ウェイト）を設定している。なお、重み付けの設定および適否の総合判定における基準設定は一例であって、これらは適宜変更することができる。

表２に示すように、判定者Ａ～Ｅのうち過半数が適（○）と判定した判定パターン（１～１２）であっても、重み付けを考慮することによって、例えば判定パターン１０～１２について、ウェイト合計が６０未満であることから判定装置１０による判定結果が否（×）であると総合判定される。一方で、単純な多数決（３票以上の判定基準）では否（×）と判断される判定パターン１３について、本適用例では適（○）であると総合判定される。

適否判断部２２は、上記のような総合判定の結果に基づいて、判定装置１０による判定結果の適否を判断する。

〔適用例３〕
また、例えば、適用例３における適否判断部２２は、重み付けを考慮した多数決を行うとともに、特定判定者を設定して、人判定情報Ｉｎｆ２の総合判断を行い、判定装置１０による判定の適否を判断する。上記適用例１と同じ２０種の異常判定パターンについて、本適用例３における運転監視システム１を適用した結果を下表３に示す。ここでは、判定者Ａを特定判定者として設定している。

表３に示すように、判定者Ａ～Ｅのうち過半数が適（○）と判定した判定パターン（１～１２）であっても、判定者Ａによって発報の実行否と判定された場合には判定装置１０による判定結果が不適（×）であると総合判定する。また、ウェイト合計６０以上となった判定パターン（５、９）であっても、判定者Ａによって発報の実行否と判定された場合には判定装置１０による判定結果が不適（×）であると総合判定する。適否判断部２２は、上記のような総合判定の結果に基づいて、判定装置１０による判定結果の適否を判断する。

判定者Ａがトリガとなることによって、上記適用例１および適用例２とは判断結果が異なる判定パターン（例えば、判定パターン５、９）が存在する。このように、本適用例３における検証装置では、熟練した判定者Ａによる判断を尊重して、判定装置１０による判定結果を評価することができる。

〔変形例〕
（ａ）上記実施形態１における適否判断部２２は、人判定情報Ｉｎｆ２に基づいて多数決による総合判定を行うようになっていたが、適否判断部２２における処理はこれに限定されない。一変形例では、適否判断部２２は、複数の判定者４ａのそれぞれによる人判定結果を統合して判定装置１０による判定結果の適否を判断する際に、特定判定者による判断結果のみに基づいて、上記判定結果の適否を判断するようになっていてもよい。

（ｂ）また、他の変形例では、検証装置２０は、複数の判定者４ａが設備２の異常度合を点数で評価するようになっていてもよい。この場合、適否判断部２２は、複数の判定者４ａの点数の合計が予め設定された基準点を超えるか否かにより、判定装置１０による判定の適否を判断するようになっていてもよい。

（ｃ）また、上記実施形態１における適用例１～３では、判定者群４として５名の判定者４ａが予め設定されており、適否判断部２２は判定者群４における全員の回答結果を用いて総合判断を行っていた。一変形例では、人判定結果取得部２１は、判定者群４から、回答の先着順に人判定情報Ｉｎｆ２を受け付けるようになっていてもよい。例えば、判定者群４として１０名の判定者４ａが予め設定され、人判定結果取得部２１が受信した回答の数が５になった時点における人判定情報Ｉｎｆ２を用いて、適否判断部２２は総合判断を行うようになっていてもよい。これにより、回答可能な担当者が少ない場合（例えば深夜、休日等）においても、適否判断部２２による処理を行い易くすることができる。

（ｄ）人判定結果取得部２１は、判定者群４に対して、判定装置１０によって異常が発生したと判定された設備２の状態について示す画像を送信するようになっていてもよい。この画像は、例えばグラフを示す画像が含まれていてもよく、カメラにて撮像された画像が含まれていてもよい。この場合、判定者４ａは、上記画像を確認して、判定部１２の判定結果について適否を判定すればよい。

〔実施形態２〕
本発明の他の実施形態について、図５および図６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図５は、本実施形態における運転監視システム１Ａの概略的な構成を示すブロック図である。図５に示すように、本実施形態における運転監視システム１Ａは、検証装置２０Ａを備え、検証装置２０Ａには提示部２４が含まれている。また、検証装置２０Ａでは、記憶部２３に制限情報２３３が記憶されている。この提示部２４および制限情報２３３について、運転監視システム１Ａの動作の説明と合わせて以下に説明する。図６は、運転監視システム１Ａにおける処理の流れを示すフローチャートである。

図６に示すように、Ｓ１～Ｓ３まで、前記実施形態１にて説明したことと同様の処理が行われ、次いで、提示部２４は、送信制御部１３から、設備２の状態が異常であり発報可と判定装置１０により判定された旨の情報を受信する。そして、提示部２４は、設備２の上記状態に関する判定対象データＩｎｆ３を複数の判定者４ａに提示する。具体的には、提示部２４は、複数の判定者４ａのそれぞれが参照可能な複数の端末４ｂに判定対象データＩｎｆ３を送信する（Ｓ１１）。この端末４ｂの具体的な態様は特に限定されない。

次いで、判定者４ａは、端末４ｂを用いて、判定装置１０による判定結果の適否について判定し、その結果（回答）を端末４ｂに入力する（Ｓ１２）。これにより、人判定結果取得部２１は、複数の端末４ｂから人判定情報Ｉｎｆ２を受信する（Ｓ４）。以降の処理は、前記実施形態１にて説明したＳ５～Ｓ７の処理と同様である。

本実施形態における検証装置２０Ａによれば、複数の判定者４ａは、端末４ｂが通信可能となっていれば、時間および場所に関わらず判定対象データＩｎｆ３を受け取ることができる。また、複数の判定者４ａが互いに異なる場所にて、互いに異なる端末４ｂに回答を入力する場合、複数の判定者４ａは、判定結果を互いに参照不可とすることができる。そのため、各判定者４ａにおける判定に、他者の判定結果を参照したことに起因するバイアスが生じることを防止することができる。その結果、検証装置２０Ａは、判定装置１０による判定結果の適否をより正確に検証することができる。

また、本実施形態における人判定結果取得部２１は、上記Ｓ１２において、制限情報２３３を参照して処理を行ってもよい。制限情報２３３は、例えば時間制限に関する情報である。

これにより、複数の判定者４ａによる回答に制限時間（例えば、１時間以内）を設定することができる。例えば、制限時間内に回答を行うことができなかった判定者４ａが存在する場合、適否判断部２２は、該判定者４ａを除いて総合判断を行う。例えば、上記実施形態１における適用例２のように、判定者Ａ～Ｅにおける重み付けの合計点が１００点であるとする。そして、例えば判定者Ａ～Ｃから制限時間内に回答が得られたとする。この場合、適否判断部２２は、合計点の最大を８０点とし、過半数の基準を５０点に設定して、総合判定を行う。

以上のように、本実施形態における検証装置２０Ａでは、人判定結果取得部２１は、提示部２４が判定対象データＩｎｆ３を送信した時点から所定の時間経過するまでの期間に受け付けた当該異常に関する上記人判定結果を適否判断部２２による判断に用いる。一方で、上記所定の時間の経過後に受け付けた上記人判定結果を適否判断部２２による判断に用いない。

これにより、適否判断部２２は、判定装置１０による判定結果についての検証を比較的早期に行い易くすることができる。その結果、設備２が警報ＡＬを発報すべき状態である場合、判定装置１０から報告対象者５への警報ＡＬの発報を比較的早期に行うことができる。

〔実施形態３〕
本発明の他の実施形態について、図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態１および実施形態２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図７は、本実施形態における運転監視システム１Ｂの概略的な構成を示すブロック図である。図７に示すように、本実施形態における運転監視システム１Ｂは、判定装置１０Ｂおよび検証装置２０Ｂを備えている。判定装置１０Ｂは、判定部１２に代替して判定部１２ｂを備えているとともに、機械学習により生成された学習モデル１４および更新部１５を備えている。学習モデル１４は学習済みモデルと称することもできる。検証装置２０Ｂには、データ取得部２６およびデータ生成部２７が含まれている。また、検証装置２０Ｂでは、記憶部２３に教師データ２３４が記憶されている。

判定装置１０Ｂにおける判定部１２ｂは、監視データＩｎｆ１に基づいて、学習モデル１４を用いて設備２に異常が生じているか否か判定を行う。この学習モデル１４の具体的な態様については特に限定されない。学習モデル１４は、例えばサポートベクタマシン、ニューラルネットワーク等で有り得る。ニューラルネットワークとしては、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよいし、再帰的処理を含むリカレントニューラルネットワーク（RNN: Recurrent Neural Network）を用いてもよい。

判定部１２ｂによる判定処理は、設備２から受信する監視データＩｎｆ１に画像が含まれており、該画像に基づいて設備２の状態を判断する場合等に、特に好適に実行することができる。例えば、制御機器２ａがポンプであって、内視鏡等を用いて該ポンプ内部を撮像した画像に基づいて、判定部１２ｂが判定を行うとする。この場合、判定部１２ｂは、羽根および胴体等に発生した錆の状態について、異常な状態であるか否か判定を行うことができる。

ここで、従来、学習モデルを用いる判定処理における判定結果の信頼性を充分に高めることは難しい。本実施形態における運転監視システム１Ｂでは、判定装置１０Ｂによる判定結果の適否について、複数の判定者４ａによる判定が行われ、機械的な判定と人的な判定とを融合させて、設備２の状態について警報ＡＬの発報可否を判断する。そのため、警報ＡＬの不要な発報を効果的に防止することができる。

検証装置２０Ｂにおけるデータ取得部２６は、判定装置１０Ｂによる判定結果および当該判定に係る監視データＩｎｆ１を受信する。そして、人判定結果取得部２１は、複数の判定者４ａのそれぞれから人判定情報Ｉｎｆ２を取得する（データ取得ステップ）。そして、適否判断部（発報可否判定部）２２は、取得した人判定情報Ｉｎｆ２を統合して、上記状態に係る異常の報告対象者５への発報可否（判定装置１０Ｂによる判定結果の適否）を判断する（発報可否判定ステップ）。

データ生成部２７は、データ取得部２６が取得した設備２の上記状態に関する監視データＩｎｆ１と、適否判断部２２の判定結果とを紐付けることにより、教師データ２３４を生成する（データ生成ステップ）。教師データ２３４は、適否判断部２２により人判定結果を統合して判定した結果である統合判定結果と、該統合判定結果に紐付けられた設備２の状態に関する状態情報と、を含む構造を有している。

教師データ２３４の具体的な態様としては、様々なものが有り得るが、例えば以下のようなものであってよい。例えば、設備２に含まれる或る制御機器２ａにおける計測値の挙動が、他の制御機器２ａに比較して異常であってセンサの故障の可能性が高いような場合、適否判断部２２は、統合判定結果に基づいて、設備２の全体としては異常がないものとして判断する。一例では、教師データ２３４は、上記のような設備２の状態に関する状態情報と、統合判定結果（異常ではない）とが紐付けられた構造を有するデータである。

教師データ２３４は、更新部１５に送信され、更新部１５は、教師データ２３４を用いて学習モデル１４を更新する。なお、教師データ２３４は、学習モデル１４を構築するために用いることもできる。

本実施形態における検証装置２０Ｂは、教師データ２３４を生成する教師データ生成装置であるといえる。

検証装置２０Ｂによれば、機械学習により生成された学習モデル１４を用いる判定装置１０Ｂの判定結果について、複数の判定者４ａによる人判定結果を統合して、学習モデル１４を構築または更新する処理に用いられる教師データ２３４を提供することができる。この教師データ２３４を用いることにより、学習モデル１４の精度を向上させることができる。その結果、判定装置１０Ｂによる判定処理の信頼性を高めることができる。

また、検証装置２０Ｂが実行する処理（教師データ生成方法）は、以下のように整理することができる。すなわち、本発明の一態様における教師データ生成方法は、設備２に係るデータを取得し、設備２に係る異常について報告対象者５への発報可否を、機械学習により生成された学習モデル１４を用いて判定する判定装置１０Ｂに適用される、学習モデル１４を構築または更新するための教師データ２３４を生成する方法である。そして、本発明の一態様における教師データ生成方法は、（ｉ）設備２に係るデータを取得するデータ取得ステップと、（ｉｉ）或る時点における設備２の状態が異常であり発報可と判定装置１０Ｂにより判定された場合に、上記状態に係る異常の報告対象者５への発報可否を複数の判定者４ａのそれぞれによる人判定結果を統合して判定する発報可否判定ステップと、（ｉｉｉ）上記データ取得ステップにて取得した設備２の上記状態に関するデータと、上記発報可否判定ステップにおける判定結果とが紐付けられた、教師データ２３４を生成するデータ生成ステップと、を含む。

上記教師データ生成方法によれば、検証装置２０Ｂと同様の効果を奏する。

また、以上のような教師データ２３４を用いた教師あり学習により生成された学習モデル１４を用いる判定部１２ｂを備える判定装置１０Ｂについて、以下のように整理することができる。すなわち、判定装置（異常判定装置）１０Ｂは、設備２に係るデータを取得する受信部１１と、或る時点における設備２の状態に係る異常について報告対象者５への発報可否を、受信部１１が取得した設備２の上記状態に関するデータに基づき、機械学習により生成された学習モデル１４を用いて判定する判定部１２ｂと、を備える。学習モデル１４の生成における機械学習は、少なくとも以下の構成（１）および構成（２）が紐付けられた構造を有するデータを教師データ２３４として用いた、教師あり学習である。
（１）データ取得部２６が取得した設備２の上記状態に関するデータ
（２）上記状態に係る異常の報告対象者５への発報可否を複数の判定者４ａのそれぞれによる人判定結果を統合して判定した統合判定結果。

上記の構成によれば、機械学習により生成された学習モデル１４は、（ｉ）設備２における異常の発生が疑われる状態に関するデータと、（ｉｉ）該データに係る人判定結果を統合して判定した統合判定結果と、が紐付けられた教師データ２３４を用いた機械学習が行われる。これにより、教師データ２３４の信頼性を高めることができ、学習モデル１４の精度を向上させることができる。そのため、判定装置１０Ｂは、設備２の状態に係る異常について報告対象者５への発報可否を、学習モデル１４を用いて精度良く判定することができる。

また、判定装置１０Ｂが実行する処理（異常判定方法）は、以下のように整理することができる。すなわち、本発明の一態様における異常判定方法は、設備２に係るデータを取得するデータ取得ステップと、或る時点における設備２の状態に係る異常について報告対象者５への発報可否を、上記データ取得ステップにて取得した設備２の上記状態に関するデータに基づき、機械学習により生成された学習モデル１４を用いて判定する判定ステップと、を含む。

上記異常判定方法によれば、判定装置１０Ｂと同様の効果を奏する。

〔ソフトウェアによる実現例〕
判定装置１０・１０Ｂおよび検証装置２０・２０Ａ・２０Ｂの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、判定装置１０・１０Ｂおよび検証装置２０・２０Ａ・２０Ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔附記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

２ 設備（監視対象）
５ 報告対象者（外部）
１０ 判定装置
１０Ｂ 判定装置（異常判定装置）
２０・２０Ａ 検証装置
２０Ｂ 検証装置（教師データ生成装置）
２１ 人判定結果取得部
２２ 適否判断部（発報可否判定部）
２４ 提示部
２６ データ取得部
２７ データ生成部
２３４ 教師データ

Claims (10)

1. 監視対象に係る異常についての外部への発報可否を上記監視対象に係るデータに基づき判定する判定装置と、上記判定装置の判定結果を検証するための検証装置と、を含む運転監視システムであって、
   上記検証装置は、
   或る時点における上記監視対象の状態が異常であり発報可と上記判定装置により判定された場合に、予め設定された複数の判定者のそれぞれに上記発報の実行の可否について判定を要求して、上記発報の実行が可であるか否かについての各判定者の判定結果である人判定結果を、複数の上記判定者のそれぞれから取得する人判定結果取得部と、
   上記人判定結果取得部にて複数の上記判定者のそれぞれから取得した複数の上記人判定結果を統合して、上記時点における上記監視対象の状態について、異常であり発報可であるという上記判定装置の判定結果が適または不適のいずれであるか判断する適否判断部と、を備え、
   上記判定装置は、上記適否判断部から受信した信号に基づいて、上記適否判断部にて上記判定装置の判定結果が適であると判断された場合に外部への発報を実行し、上記適否判断部にて上記判定装置の判定結果が不適であると判断された場合には外部への発報を実行しない、送信制御部を備えることを特徴とする運転監視システム。
2. 上記複数の判定者のそれぞれについて、所定の重み付けが予め設定されており、
   上記適否判断部は、上記複数の判定者のそれぞれに設定された上記重み付けに基づいて上記人判定結果を統合して、上記判定装置の判定結果が適または不適のいずれであるか判定することにより、上記判定装置による判定結果の適否を判断することを特徴とする請求項１に記載の運転監視システム。
3. 上記複数の判定者のうち特定の判定者が、特定判定者として予め設定されており、
   上記適否判断部は、仮に上記特定判定者であるか否かの区別なく複数の上記人判定結果を統合したときの判断結果に関わらず、上記特定判定者によって上記発報の実行が否であると判定された場合に、上記判定装置による判定結果を不適と判断することを特徴とする請求項２に記載の運転監視システム。
4. 上記監視対象に関して上記判定装置が判定し得る異常の種類についての異常種類情報が設定されており、
   上記異常種類情報には、上記異常の種類別に予め設定された、上記複数の判定者のそれぞれの重み付けまたは上記特定判定者の情報が含まれ、
   上記適否判断部は、上記異常種類情報を用いて、上記判定装置の判定結果である異常の種類に対応して上記判定結果が適または不適のいずれであるか判断することを特徴とする請求項３に記載の運転監視システム。
5. 上記判定装置により発報可と判定された場合に、上記監視対象の上記状態に関する判定対象データを上記複数の判定者に提示する提示部をさらに備え、
   上記提示部は、上記複数の判定者のそれぞれが参照可能な複数の端末に、上記判定対象データを送信し、
   上記人判定結果取得部は、上記端末から上記人判定結果を受信することを特徴とする請求項１～４のいずれか一項に記載の運転監視システム。
6. 上記人判定結果取得部は、上記提示部が上記異常に関する上記判定対象データを送信した時点から所定の時間経過するまでの期間に受け付けた当該異常に関する上記人判定結果を上記適否判断部による判断に用い、上記所定の時間の経過後に受け付けた上記人判定結果を上記適否判断部による判断に用いないことを特徴とする請求項５に記載の運転監視システム。
7. 上記判定装置は、上記監視対象に係るデータに基づき上記監視対象に係る異常についての外部への発報可否を所定の判定アルゴリズムに基づいて判定する判定部を備え、
   上記判定アルゴリズムは、上記適否判断部にて上記判定装置の判定結果が不適であると判断された場合、上記判定部による判定に用いられた上記監視対象に係るデータと当該データについての上記適否判断部による判断結果とを用いて修正されることを特徴とする請求項１～６のいずれか一項に記載の運転監視システム。
8. 監視対象に係る異常についての外部への発報可否を上記監視対象に係るデータに基づき判定する判定ステップと、上記判定ステップにおける判定結果を検証する検証ステップと、を含む運転監視方法であって、
   上記検証ステップは、
   或る時点における上記監視対象の状態が異常であり発報可と上記判定ステップにて判定された場合に、予め設定された複数の判定者のそれぞれに上記発報の実行の可否について判定を要求して、上記発報の実行が可であるか否かについての各判定者の判定結果である人判定結果を、複数の上記判定者のそれぞれから取得する人判定結果取得ステップと、
   上記人判定結果取得ステップにて複数の上記判定者のそれぞれから取得した複数の上記人判定結果を統合して、上記時点における上記監視対象の状態について、異常であり発報可であるという上記判定ステップにおける判定結果が適または不適のいずれであるか判断する適否判断ステップと、を含み、
   上記適否判断ステップにて上記判定結果が適であると判断された場合に外部への発報を実行し、上記適否判断ステップにて上記判定結果が不適であると判断された場合には外部への発報を実行しない、送信制御ステップをさらに含むことを特徴とする運転監視方法。
9. 請求項１～７のいずれか一項に記載の運転監視システムにおける上記検証装置としてコンピュータを機能させるための制御プログラム。
10. 請求項１～７のいずれか一項に記載の運転監視システムにおける上記判定装置としてコンピュータを機能させるための制御プログラム。

Images