JP7021053B2 - 監視システム、プログラム、及び記憶媒体 - Google Patents

Description

本発明の実施形態は、監視システム、プログラム、及び記憶媒体に関する。

モデルを用いて装置のコンディションを判定するシステムがある。このシステムについて、判定の精度の向上が求められている。

特開２０１８－１１９９２４号公報

本発明の実施形態は、判定の精度を向上できる監視システム、プログラム、及び記憶媒体を提供する。

実施形態に係る監視システムは、処理部を含む。前記処理部は、第１検出器から出力された第１データを受け付ける。前記第１検出器は、装置に起因する信号を検出する。前記処理部は、前記第１検出器の状態又は前記装置が設けられた環境を示す第１値が第１状態のとき、第１モデル及び前記第１データを用いて前記装置のコンディションを判定する第１判定を実施する。前記処理部は、前記第１値が前記第１状態とは異なる第２状態のとき、前記第１モデルとは異なる第２モデル及び前記第１データを用いて前記装置のコンディションを判定する第２判定を実施する。

図１は、第１実施形態に係る監視システムの構成を表す模式図である。 図２は、第１実施形態に係る監視システムによる処理を表すフローチャートである。 図３は、第１実施形態に係る監視システムによる処理を表すフローチャートである。 図４は、第１実施形態の第１変形例に係る監視システムの構成を示す模式図である。 図５（ａ）～図５（ｄ）は、第１実施形態の第１変形例に係る監視システムにおける処理を説明する模式図である。 図６（ａ）及び図６（ｂ）は、第１実施形態の第１変形例に係る監視システムにおける処理を説明する模式図である。 図７は、第１実施形態の第２変形例に係る監視システムの構成を表す模式図である。 図８（ａ）～図８（ｃ）は、第１実施形態の第２変形例に係る監視システムにおける処理を説明する模式図である。 図９は、第１実施形態の第２変形例に係る監視システムにおける処理を説明する模式図である。 図１０は、第２実施形態に係る監視システムの構成を表す模式図である。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
図面は模式的または概念的なものであり、各部分の厚さと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、第１実施形態に係る監視システムの構成を表す模式図である。
図１に示す第１実施形態に係る監視システム１００は、例えば、装置のコンディションを監視するために用いられる。

図１に示すように、第１実施形態に係る監視システム１００は、処理部１０を含む。図１の例では、監視システム１００は、出力部２０、及びモデル記憶部３０をさらに含む。

処理部１０は、例えば、受付部１１、算出部１２、判定部１３、及び判断部１４を含む。処理部１０は、例えば、中央演算処理装置（ＣＰＵ）からなる処理回路を含む。

受付部１１は、第１検出器から出力された第１検出データＤ１と、第２検出器から出力された第２検出データＤ２と、を受け付ける。第１検出データＤ１は、例えば、時系列データである。第１検出データＤ１は、値であっても良い。第２検出データＤ２は、例えば、値である。第２検出データＤ２は、時系列データであっても良い。以降では、第１検出データＤ１が時系列データであり、第２検出データＤ２が値である例について説明する。

第１検出器は、装置に起因する「信号」を検出する。「信号」は、測定可能な任意の物理量を含む。例えば、「信号」は、装置から発生した、音、振動、光、及び電波の少なくともいずれかを含む。「信号」は、装置で反射された、音、振動、光、及び電波の少なくともいずれかを含んでも良い。

例えば、第１検出器は、マイクロフォン（マイク）を含む。例えば、監視対象の装置は、プレス機又は回転機である。第１検出器は、プレス機が加工対象をプレスしたときの音、又は回転機が回転しているときの音を検出する。第１検出器は、その音に基づくデータを処理部１０へ出力する。
第１検出器は、加速度センサ、振動センサ、又はAcoustic Emission(AE)センサを含んでも良い。例えば、第１検出器は、装置が動くときの加速度又は振動を検出する。
第１検出器は、電波センサを含んでも良い。電波センサは、例えば、電波を放射し、装置からの反射波を検出する。電波センサは、例えばドップラーセンサであり、装置の動きを検出する。
第１検出器は、光又は超音波を用いた測距センサを含んでも良い。測距センサは、測距センサと装置との間の距離を計測することで、装置の位置又は動きを検出する。
第１検出器は、イメージセンサを含んでも良い。例えば、イメージセンサは、装置で反射された可視光を検出する。イメージセンサは、撮像装置（例えばカメラ）に含まれても良い。撮像装置は、イメージセンサで検出された可視光に基づいて、画像を生成しても良い。イメージセンサは、赤外光を検出しても良い。撮像装置は、イメージセンサで検出された赤外光に基づいて、画像を生成しても良い。

第２検出器は、第１検出器の状態又は監視対象の装置が設けられた環境を検出する。例えば、第２検出器は、第１検出器に取り付けられた加速度センサを含む。第２検出器は、第１検出器の姿勢、位置、及び動きの少なくともいずれかを検出し、姿勢、位置、及び動きの少なくともいずれかを示す値を処理部１０へ出力する。
第２検出器は、温度センサ、湿度センサ、又は気圧センサを含んでも良い。第２検出器は、温度、湿度、又は気圧などの、監視対象の装置が設けられた環境を検出し、環境を示す値を処理部１０へ出力する。

受付部１１が受け付ける第１検出データＤ１は、第１検出器から処理部１０へ直接送信されても良い。第１検出器から出力されたデータが別の処理部で加工され、第１検出データＤ１が生成されても良い。受付部１１が受け付ける第２検出データＤ２は、第２検出器から処理部１０へ直接送信されても良い。第２検出器から出力されたデータが別の処理部で加工され、第２検出データＤ２が生成されても良い。

受付部１１は、第１検出データＤ１を受け付けると、第１検出データＤ１を算出部１２へ送信する。算出部１２は、モデル記憶部３０を参照する。モデル記憶部３０は、例えば第１モデルを記憶する。算出部１２は、第１モデル及び第１検出データＤ１を用いて、装置のコンディションを示す評価値を算出する。

第１モデルは、例えば、数理モデル又は物理モデルである。一例として、第１モデルは、ニューラルネットワークである。第１モデルは、装置の稼働開始時又はメンテナンス直後に、第１検出器によって検出されたデータを用いて学習される。典型的には、稼働開始時又はメンテナンス直後は、装置のコンディションが良い。すなわち、第１モデルは、装置のコンディションが良いときの第１検出データを用いて学習される。例えば、第１モデルは、入力層と出力層に同じデータを用いて学習される。学習された第１モデルは、オートエンコーダとして機能する。

以降では、第１モデルを生成したときの装置のコンディションを「良い」という。また、装置のコンディションが良いことを「正常」という。

算出部１２は、第１検出器から出力された時系列の第１検出データＸ（Ｘ_ｔ１、Ｘ_ｔ２、Ｘ_ｔ３、・・・Ｘ_ｔｎ）を第１モデルに入力し、第１モデルから出力された出力データＹ（Ｙ_ｔ１、Ｙ_ｔ２、Ｙ_ｔ３、・・・Ｙ_ｔｎ）を得る。Ｘ_ｔｉ（ｉ＝１、２、３・・・ｎ）は、第１検出データＸに含まれる時刻ｔｉにおける値である。Ｙ_ｔｉは、Ｘ_ｔｉを第１モデルに入力した際に出力された値である。

装置が正常であれば、第１モデルからは、第１検出データと類似した出力データが得られる。装置が異常であれば、第１モデルからは、第１検出データと類似しない出力データが得られる。算出部１２は、第１検出データと出力データとの差の二乗平均平方根（ＲＭＳＥ）を計算する。（数１）は、ＲＭＳＥの計算式を示す。ＲＭＳＥにより算出された値を、評価値とする。装置のコンディションが第１モデルの生成時に比べて悪くなるほど、評価値は大きくなる。

上述した例の他、第１モデルとして、Long Short Term Memory(LSTM)構造を有する中間層を含む再帰型ニューラルネットワークが用いられても良い。例えば、再帰型ニューラルネットワークは、装置のコンディションの予測モデルとして生成される。算出部１２は、ある時刻に第１検出器から出力された時系列のデータＸ１（Ｘ_ｔ１、Ｘ_ｔ２、Ｘ_ｔ３、・・・Ｘ_ｔｎ）を第１モデルに入力する。算出部１２は、第１モデルから出力された出力データＹ２（Ｙ_ｔ２、Ｙ_ｔ３、Ｙ_ｔ４、・・・Ｙ_ｔｎ＋１）を得る。出力データＹ２は、その後の時刻において第１検出器から出力される時系列データのＸ２（Ｘ_ｔ２、Ｘ_ｔ３、Ｘ_ｔ４、・・・Ｘ_ｔｎ＋１）の予測値である。装置のコンディションが良ければ、Ｘ２は、出力データＹ２と類似する。装置のコンディションが悪いほど、Ｘ２と出力データＹ２との類似性は、低下する。算出部１２は、第１検出データＸ２と出力データＹ２との差の二乗平均平方根（ＲＭＳＥ）を評価値とする。

算出部１２は、評価値を判定部１３へ送信する。判定部１３は、評価値に基づいて、装置のコンディションを判定する。例えば、評価値が大きいほど、装置のコンディションが悪いことを示す。判定部１３は、評価値と第１閾値とを比較する。評価値が第１閾値未満のとき、判定部１３は、装置が第１コンディションであると判定する。

第１コンディションは、例えば、良いコンディションに対応する。評価値が第１閾値以上のとき、判定部１３は、装置が第２コンディションであると判定する。第２コンディションは、第１コンディションよりも劣っていることを示す。第２コンディションは、例えば、悪いコンディションに対応する。以降では、評価値が第１閾値以上のときの装置のコンディションを「悪い」という。また、装置のコンディションが悪いことを「異常」という。

判定部１３は、判定結果を出力部２０へ送信する。出力部２０は、判定結果をユーザが認識可能な態様で出力する。出力部２０は、例えば、モニタ、プリンタ、スピーカ、及び光源の少なくともいずれかを含む。モニタ又はプリンタは、判定結果を示す文字、記号、及び数値の少なくともいずれかをユーザへ表示する。スピーカは、例えば、判定結果を示す信号音、音楽、又は音声を発する。光源から発せられる光は、例えば、判定結果に応じて、発光パターン、強度、及び色の少なくともいずれかが変化する。

受付部１１は、第２検出器から送信された第２検出データＤ２を受け付けると、第２検出データＤ２を判断部１４へ送信する。判断部１４は、第２検出データＤ２に基づいて、第１モデルを用いた評価値の算出が適切か判断する。

第１モデルを用いた計算が不適切と判断すると、モデル記憶部３０に記憶されたモデルが更新される。例えば、モデルの更新では、第１モデルとは異なる第２モデルが新たに生成される。又は、第２モデルは、第１モデルの再学習により生成されても良い。

例えば、判断部１４は、第１モデルの使用が不適切であることを示す判断結果を外部に送信する。外部の計算部は、この判断結果を受信すると、第２モデルを生成し、モデル記憶部３０に記憶する。又は、ユーザは、当該判断結果を確認すると、外部の計算部に第２モデルを生成させ、第２モデルをモデル記憶部３０に記憶する。

第２検出器から処理部１０へ継続して第２検出データＤ２が送られても良い。例えば、受付部１１は、第１検出データＤ１を算出部１２へ送信するときのみ、判断部１４へ第２検出データＤ２を送信する。この方法によれば、評価値を算出するタイミングで、第１モデルの使用が適切か判断できる。

例えば、第２モデルがモデル記憶部３０に記憶されると、第１モデルは消去される。算出部１２は、モデル記憶部３０に記憶された第２モデルと、第１検出データＤ１と、を用いて、装置のコンディションを示す評価値を算出する。

又は、モデル記憶部３０への第２モデルの記憶後、モデル記憶部３０には、第１モデルと第２モデルの両方が存在しても良い。例えば、判断部１４による判断結果は、算出部１２へ送信される。算出部１２は、判断部１４による判断結果に基づき、第１モデル及び第２モデルの一方を選択し、選択したモデルを用いて評価値を算出する。

第１実施形態の効果を説明する。
あるモデルを用いて装置のコンディションを判定する際、典型的には、次の方法が採用される。まず、装置のコンディションが良いときに、装置から検出される信号を用いてモデルを生成する。以後は、このモデルと、装置から検出される信号と、を用いて評価値を算出する。評価値は、装置のコンディションに応じて変化するため、評価値に基づいて装置のコンディションを判定することができる。

一方で、評価値は、装置のコンディションだけではなく、第１検出器の状態によっても変化する。例えば、第１検出器がマイクのときは、マイクの向きが変化すると、マイクで検出されるデータが変化する。第１検出器の状態が変化して評価値が変化すると、装置のコンディションが良いにも拘わらず、コンディションが悪いと判定される可能性がある。

この課題について、第１検出器の状態が変化したときには、第１検出器の状態を元に戻す方法も考えられる。しかし、第１検出器は、高い所や危険な装置の近くに取り付けられることがある。この場合、第１検出器の状態を元に戻すことは容易では無い。第１検出器を正確に元の状態に戻すことも容易では無い。

さらに、評価値は、装置が設けられた環境によっても変化する。例えば、気密性の低い空間又は建物の外に装置が設けられるときは、季節の変化などにより、装置が設けられた空間の温度、湿度、又は気圧が大きく変化しうる。これらが変化すると、マイクへの音の伝わり方が変化する。この結果、マイクで検出されるデータが変化する。装置が設けられた環境の変化を補正して評価値を算出することは、容易では無い。

別の方法として、評価値の算出に用いるモデルを定期的に更新する方法もある。しかし、この方法では、モデルの更新が必要では無い場合にも、モデルが更新される。このため、モデルの更新のための計算量が、無用に増大する。

第１実施形態に係る監視システム１００では、第２検出器から出力されたデータを利用する。例えば、第２検出器から、第１検出器の状態又は前記装置が設けられた環境を示す第１値が出力される。監視システム１００では、第１値に応じて、評価値の算出に用いられるモデルが決定される。

例えば、処理部１０は、ある時刻において、第１検出器から出力された第１データを受け付ける。処理部１０は、第１値が第１状態のとき、第１判定を実施する。第１判定において、処理部１０は、第１モデル及び第１データを用いて装置のコンディションを判定する。処理部１０は、第１値が第１状態とは異なる第２状態のとき、第２判定を実施する。第２判定において、処理部１０は、第２モデル及び第１データを用いて装置のコンディションを判定する。これにより、第１検出器の状態又は装置が設けられた環境が変化したときでも、装置のコンディションをより正確に判定できる。モデルの更新に必要な計算量を、低減できる。

処理部１０は、例えば、第１値を予め設定された第２閾値と比較する。第１状態は、第１値が第２閾値未満である状態に対応する。第２状態は、第１値が第２閾値以上である状態に対応する。

監視システム１００による監視の対象は、例えば、製造現場、建設現場、発電所、受変電所、オフィス、住宅、又は医療機関などに設けられた装置である。第１実施形態に係る監視システム１００を用いることで、これらの装置のコンディションをより正確に判定できる。

上述した例では、プレス機及び回転機の監視について説明した。監視システム１００により、建築物の外に設置された太陽光パネルなどが監視されても良い。例えば、第１検出器は、赤外センサを含む。第１検出器は、太陽光パネルから発せられる赤外光を検出する。例えば、第１検出器によって検出された赤外光を基に、画像が生成される。赤外光の強度は、物体の温度の４乗に比例する。このため、赤外光に基づく画像は、温度の影響を大きく受ける。温度が季節又は天候に応じて変化すると、赤外光に基づく画像も変化する。第２検出器は、温度センサを含む。第２検出器により、太陽光パネルが設けられた場所の温度（気温）が検出される。監視システム１００は、温度を示す値の状態に応じて、評価値に算出に用いるモデルを変更する。これにより、季節及び天候が変化しても、太陽光パネルのコンディションをより正確に判定できる。

図２及び図３は、第１実施形態に係る監視システムによる処理を表すフローチャートである。

図２は、処理部１０が第１検出器から出力された第１データを受け付けたときの処理を表す。受付部１１が第１データを受け付けると（ステップＳ１）、算出部１２はモデル記憶部３０に記憶された第１モデルを参照する（ステップＳ２）。算出部１２は、第１モデル及び第１データを用いて評価値を算出する（ステップＳ３）。判定部１３は、評価値に基づいて装置のコンディションを判定する（ステップＳ４）。出力部２０は、判定結果を出力する（ステップＳ５）。

図３は、処理部１０が第２検出器から出力された第１値を受け付けたときの処理を表す。受付部１１が第１値を受け付けると（ステップＳ１１）、判断部１４は、第１値が第２状態か判断する（ステップＳ１２）。第１値が第２状態であると、計算部によりモデルが更新される（ステップＳ１３）。例えば、第１モデルとは別に生成された第２モデルが、モデル記憶部３０に記憶される。

処理部１０は、装置のコンディションの判定に用いたモデルを示す情報を出力しても良い。例えば、処理部１０は、第１値が第１状態のとき、第１情報を出力する。処理部１０は、第１値が第２状態のとき、第２モデルを示す第２情報を出力する。これにより、ユーザは、装置のコンディションの判定に、どのモデルが用いられているかを知ることができる。

処理部１０は、モデル記憶部３０のモデルが更新された際に、モデルが更新されたことを示す情報を出力しても良い。ユーザは、モデルが更新されたことを容易に確認できる。処理部１０は、第２検出器から出力された第１値を出力しても良い。例えば、ユーザは、第１値に基づいてモデルが更新されていることを容易に確認できる。

処理部１０は、第１検出器から出力されたデータを出力しても良い。これにより、例えば、監視システム１００による判定に加えて、ユーザが第１検出器から出力されたデータに基づいて装置のコンディションを判定できる。

処理部１０は、評価値を出力しても良い。すなわち、処理部１０は、第１値が第１状態のとき、第１データ及び第１モデルを用いて算出された第１評価値を出力する。処理部１０は、第１値が第２状態のとき、第１データ及び第２モデルを用いて算出された第２評価値を出力する。これにより、例えば、ユーザは評価値に基づいてより具体的な装置のコンディションを知ることができる。

例えば、判断部１４は、算出部１２により新しい評価値が算出される際に、第１モデルの使用が適切か判断する。判断部１４は、第２検出器から出力された第１値に加えて、新しい評価値を用いて第１モデルの使用が適切か判断しても良い。
例えば、判断部１４は、第１値が第２閾値以上であると、新しい評価値に拘わらず、モデルの更新を決定する。
判断部１４は、第１値が第２閾値未満のとき、第１値が第３閾値以上か判断する。第３閾値は、第２閾値より小さい。第１値が第２閾値未満であり第３閾値以上のとき、判断部１４は、新しい評価値と、１つ前の評価値と、を参照する。判断部１４は、新しい評価値と、１つ前の評価値と、の差が、第４閾値以上のとき、モデルの更新を決定する。
この処理によれば、モデルの更新の必要性をより正確に判断できる。モデルが適切に更新されることで、装置のコンディションをより正確に判定できる。

処理部１０は、第１検出器の状態を示すデータ及び装置が設けられた環境を示すデータの両方を受け付けても良い。例えば、処理部１０は、第１検出器の状態を示す第１値及び装置が設けられた環境を示す第２値を受け付ける。処理部１０は、第１値及び第２値が第１状態のとき、第１モデル及び第１データを用いて装置のコンディションを判定する第１判定を実施する。処理部１０は、第１値及び第２値の少なくともいずれかが第２状態のとき、第２モデル及び第１データを用いて装置のコンディションを判定する第２判定を実施する。この処理によれば、装置のコンディションをより正確に判定できる。

例えば、判断部１４は、第１値を閾値と比較し、第２値を別の閾値と比較する。第１状態は、第１値が閾値未満であり、第２値が別の閾値未満である場合に対応する。第２状態は、第１値が閾値以上である場合、第２値が別の閾値以上である場合、又は第１値が閾値以上であり且つ第２値が別の閾値以上である場合に対応する。

図４は、第１実施形態の第１変形例に係る監視システムの構成を示す模式図である。
図４に示す第１変形例に係る監視システム１１０は、第１検出器４０、第１検出データ処理部４１、第２検出器５０、第２検出データ処理部５１、及び計算部６０をさらに含む。

第１検出器４０は、上述した通り、装置に起因する信号を検出する。第１検出データ処理部４１は、第１検出器４０により検出されたデータを処理する。第１検出データ処理部４１は、処理した第１検出データＤ１を処理部１０へ送信する。

第２検出器５０は、上述した通り、第１検出器の状態又は監視対象の装置が設けられた環境を検出する。第２検出データ処理部５１は、第２検出器５０により検出されたデータを処理する。第２検出データ処理部５１は、処理した第２検出データＤ２を処理部１０へ送信する。

例えば、第１検出データ処理部４１は、さらに、計算部６０へ第１検出データＤ１を送信する。計算部６０は、判断部１４から送信された判断結果に基づき、モデルを更新する。例えば、判断部１４は、第１モデルが不適切と判断する。計算部６０は、その判断結果を受信すると、受信したときの第１検出データＤ１を用いて、モデルを更新する。

例えば、計算部６０は、判断結果を受信したときの第１検出データＤ１を、モデルの入力層及び出力層に設定し、モデルを学習させる。すなわち、一例として、計算部６０は、オートエンコーダとして機能する別のモデルを生成する。計算部６０は、生成したモデルをモデル記憶部３０に記憶する。

監視システム１１０では、例えば以下の処理が実行される。
処理部１０は、第１検出データ処理部４１から出力された第１データを受け付ける。処理部１０は、第２検出データ処理部５１から出力された第１値を受け付ける。処理部１０は、第１値が第１状態のとき、第１モデル及び第１データを用いて装置のコンディションを判定する第１判定を実施する。処理部１０は、第１値が第２状態のとき、第１検出器４０から出力された別のデータ（第３データ）を用いて、第２モデルを生成する。処理部１０は、第２モデルの生成後に、第２モデル及び第１データを用いて装置のコンディションを判定する第２判定を実施する。

第１検出器４０、第１検出データ処理部４１、第２検出器５０、及び第２検出データ処理部５１について、具体例を参照して説明する。

具体的な一例として、第１検出器４０は、マイクである。第１検出器４０は、例えば、定常音を検出してデータ（電気信号）に変換する。定常音とは、音の大きさの変動及び周波数の変動が僅かな音、又はこれらの変動が無い音である。

第１検出データ処理部４１は、前処理部４１ａ、窓がけ処理部４１ｂ、及びフーリエ変換部４１ｃを含む。前処理部４１ａは、第１検出器４０により検出されたデータを、Ｋ／２サンプル毎のフレームに分割する。Ｋは、偶数である。フレームに分割されたデータは、窓がけ処理部４１ｂに送られる。窓がけ処理部４１ｂは、分割されたデータと、窓関数であるｗ（ｔ）と、を乗算する。第ｎフレームの入力信号ｙ_ｎ（ｔ）（ｔ＝０、１、・・・Ｋ／２－１）に対するｗ（ｔ）で窓がけされた信号は、（数２）で表される。

窓がけ処理部４１ｂは、連続する２フレームの一部をオーバラップして窓がけしても良い。オーバラップ長は、フレーム長の５０％とする。ｔ＝０、１、・・・Ｋ／２－１に対して、（数３）で得られる左辺が、窓がけ処理部４１ｂの出力となる。

窓がけ処理部４１ｂは、実数信号に対して、左右対称窓関数を用いても良い。連続する２フレームの５０％をオーバラップして窓がけする例を説明する。窓がけ処理部４１ｂは、ｗ（ｔ）として、例えば、（数３）に示すハニング窓を用いる。

他の窓関数として、ハミング窓、カイザー窓、又はブラックマン窓が用いられても良い。窓がけされた出力は、フーリエ変換部４１ｃに送信される。フーリエ変換部４１ｃは、窓がけ処理部４１ｂから出力されたデータを、周波数スペクトルに変換する。周波数スペクトルは、振幅スペクトルと位相スペクトルに分離され、第１検出データＤ１として処理部１０に送信される。振幅スペクトルの代わりにパワースペクトルが用いられても良い。

第１検出データ処理部４１は、窓がけ処理部４１ｂ及びフーリエ変換部４１ｃを含んでいなくても良い。この場合、前処理部４１ａによりフレーム分割された時間領域波形が処理部１０へ送信される。

第１検出器４０は、ショット音を検出してデータに変化しても良い。例えば、第１検出器４０がプレス機から発生する音を検出する場合、ショット音とは、プレスに起因して発生する音である。この場合、前処理部４１ａは、第１検出器４０により検出されたデータから、ショット音を含む区間を抽出する。

図５（ａ）～図５（ｄ）、図６（ａ）、及び図６（ｂ）は、第１実施形態の第１変形例に係る監視システムにおける処理を説明する模式図である。

図５（ａ）は、基準波形を示す。例えば、ショット音の基準波形とその時間の長さが、予め登録される。図５（ｂ）は、第１検出器４０から送信されたデータを示す。図５（ａ）及び図５（ｂ）において、横軸は時間ｔを表し、縦軸は音の大きさｓを表す。前処理部４１ａは、図５（ａ）に示す基準波形と、図５（ｂ）に示すデータと、の間の相互相関係数を算出する。図５（ｃ）は、各時間ｔにおける相互相関係数ｃを表す。

基準波形と類似する波形が出現するタイミングで、相互相関係数値の値は高くなる。前処理部４１ａは、相互相関係数が極大であり、且つ所定の閾値を超えるタイミングを起点に設定する。前処理部４１ａは、起点から所定の時間長さのデータを、図５（ｂ）に示すデータから抽出する。図５（ｄ）は、前処理部４１ａにより抽出されたデータを示す。

以降は、抽出されたデータに対して、上述した例と同様に、窓がけ処理部４１ｂ及びフーリエ変換部４１ｃによる処理が行われる。

図６（ａ）は、第１モデルが生成されたときの第２検出器５０の状態を示す。例えば、第２検出器５０は、Ｘ軸、Ｙ軸、及びＺ軸の３軸の加速度を検出する。第１モデルが生成されたとき、Ｘ軸及びＹ軸は水平面に沿い、Ｚ軸は鉛直方向に沿っている。

図６（ｂ）は、時間ｔと各軸方向の加速度Ａとの関係を示す。時刻ｔ０から時刻ｔ１までは、Ｚ軸方向の加速度が、Ｘ軸方向及びＹ軸方向の加速度よりも大きい。時刻ｔ１で第１検出器４０の姿勢が変化すると、各軸方向の加速度が変化する。

例えば、第２検出データ処理部５１は、第２検出器５０から送信された信号を用いて、各軸方向における加速度を算出する。第２検出データ処理部５１は、最新の加速度Ｖ_０からＮ個前に検出された加速度Ｖ_Ｎまでの平均値Ａ１を算出する。第２検出データ処理部５１は、１個前の加速度Ｖ_１からＮ＋１個前に検出された加速度Ｖ_Ｎ＋１までの平均値Ａ２を算出する。第２検出データ処理部５１は、平均値Ａ１と平均値Ａ２との差を、処理部１０へ出力する。

判断部１４は、平均値Ａ１と平均値Ａ２との差（第１値）を、所定の第２閾値と比較する。判断部１４は、第１値が第２閾値以上であると、第１モデルの使用が適切では無いと判断する。

第１検出データ処理部４１は、例えば、処理回路を含む。第１検出データ処理部４１は、第１検出器４０に組み込まれても良い。又は、上述した第１検出データ処理部４１による処理は、処理部１０によって実行されても良い。
第２検出データ処理部５１は、例えば、処理回路を含む。第２検出データ処理部５１は、第２検出器５０に組み込まれても良い。又は、上述した第２検出データ処理部５１による処理は、処理部１０によって実行されても良い。
計算部６０は、例えば、処理回路を含む。計算部６０による処理は、処理部１０によって実行されても良い。

図７は、第１実施形態の第２変形例に係る監視システムの構成を表す模式図である。
図７に示す第２変形例に係る監視システム１２０では、処理部１０は、補正部１５をさらに含む。算出部１２は、評価値を算出すると、補正部１５に送信する。補正部１５は、評価値を、それよりも過去の評価値に基づいて補正する。

図８（ａ）～図８（ｃ）及び図９は、第１実施形態の第２変形例に係る監視システムにおける処理を説明する模式図である。
図８（ａ）～図８（ｃ）及び図９は、時間ｔと評価値Ｅとの関係を示すグラフである。

図８（ａ）の例では、時間ｔが経過するほど、評価値Ｅが増大している。このような特性は、例えば、装置の経年劣化により生じる。例えば、判断部１４が、時刻ｔ２で第１モデルの使用が不適切と判断する。計算部６０により第２モデルが生成され、モデル記憶部３０に記憶する。この場合、時刻ｔ２以降で算出された評価値Ｅ０は、ゼロに近い値となる。

図８（ａ）の例では、評価値Ｅ１は、第１閾値ｔｈ１よりも小さいが、ゼロよりは大きい値である。すなわち、評価値Ｅ１の算出時には、装置のコンディションが良いときに比べて、装置のコンディションが劣化している。例えば、評価値Ｅ１の算出時に装置のコンディションが劣化していても、その算出時の第１検出データを用いて第２モデルが生成される。第２モデルに基づく評価値では、時刻ｔ２以前の装置のコンディションの劣化が評価値に反映されない。この結果、本来の評価値は第１閾値ｔｈ１以上であるにも拘わらず、第２モデルに基づく評価値が第１閾値ｔｈ１未満となる可能性がある。

例えば、算出部１２が、第２モデル及び第１データを用いて第２評価値を算出する。補正部１５は、この第２評価値を補正する。例えば、第２モデルが生成され、第１データ及び第２モデルを用いて第２評価値が算出されると、補正部１５は、基準評価値を参照する。基準評価値は、第２モデルの生成前に算出された過去の評価値である。すなわち、基準評価値は、第２モデルの生成前に処理部１０へ送信された第１検出データ（第２データ）と、第１モデルと、を用いて算出される。例えば、基準評価値は、第２評価値の１つ前の評価値である。

補正部１５は、基準評価値に基づいて、第２評価値を補正する。例えば、補正部１５は、算出された評価値に、基準評価値を加える。図８（ｂ）は、この処理の結果を示す。図８（ｂ）の評価値Ｅ０は、基準評価値Ｅ１を加えた結果を示す。補正部１５の処理により、評価値に基づく装置のコンディションをより正確に判定できる。

補正部１５は、基準評価値を含む過去の複数の評価値の近似式を計算しても良い。補正部１５は、この近似式を用いて評価値を補正する。例えば図８（ｃ）に示すように、補正部１５は、評価値Ｅ０を補正する際、過去の評価値Ｅ１～Ｅ５を参照する。補正部１５は、過去の評価値Ｅ１～Ｅ５と時間ｔとの関係を表す近似式ＡＰを算出する。補正部１５は、近似式ＡＰを用いて、時刻ｔ２以降の評価値Ｅ０を補正する。この処理によれば、装置のコンディションをより正確に反映した示す評価値を得ることができる。評価値に基づく装置のコンディションを、より正確に判定できる。

図８（ｃ）では、近似式が１次関数の例を示した。補正部１５により算出される近似式は、２次以上の関数でも良い。例えば図９に示すように、複数の評価値に基づき、二次関数の近似式ＡＰが算出されても良い。

典型的には、装置のコンディションの経年による劣化は、図９に示すように、初期のころは緩やかである。その後、装置のコンディションの劣化が始まると、劣化の度合いは急激に増大していくことが知られている。近似式を用いることで、コンディションの変化が大きい場合でも、評価値に基づいて装置のコンディションをより正確に判定できるようになる。

図１０は、第２実施形態に係る監視システムの構成を表す模式図である。
図１０に示す第２実施形態に係る監視システム２００は、処理部１０を含む。図１０に示す例では、監視システム２００は、出力部２０、モデル記憶部３０、第２検出器５０、第２検出データ処理部５１、計算部６０、撮像部７０、及び撮像データ処理部７１をさらに含む。

撮像部７０は、監視対象の物品を撮影し、画像を生成する。撮像部７０は、例えば、カメラを含む。撮像部７０は、赤外センサを含んでも良い。撮像部７０は、生成した画像Ｐを、処理部１０へ送信する。画像は、例えば、カラー画像である。画像は、複数の画素を含む。各画素は、例えば、赤、緑、及び青の少なくともいずれかで表される。各画素は、輝度信号と、青色成分の差分信号と、赤色成分の差分信号と、によって表されても良い。又は、画像は、グレイスケールで表されても良い。

撮像部７０は、画像を撮像データ処理部７１に送信しても良い。例えば、撮像データ処理部７１は、画像の一部の切り出し、歪みの補正、拡大、縮小、回転、グレイスケール化、又は二値化などの処理を適宜行う。撮像データ処理部７１は、処理した画像Ｐを処理部１０へ送信する。

受付部１１は、画像Ｐを受け付ける。算出部１２は、モデル記憶部３０に記憶された第１モデルと、画像Ｐと、を用いて評価値を算出する。第１モデルは、例えば第１実施形態と同様に、オートエンコーダである。算出部１２は、画像Ｐを１次元配列データに変換して第１モデルに入力する。評価値の算出後は、監視システム１２０と同様に、判定部１３が評価値に基づいて物品のコンディションを判定する。

判断部１４は、監視システム１００と同様に、第２検出データＤ２に基づいて、第１モデルを用いた評価値の算出が適切か判断する。第１モデルの使用が不適切と判断されると、計算部６０は、第１モデルとは異なる第２モデルを生成する。

例えば、処理部１０は、撮像部７０から出力された第１画像と、第２検出器５０から出力された第１値と、を受け付ける。処理部１０は、第１値が第１状態のとき、第１判定を実施する。第１判定において、処理部１０は、第１モデル及び第１画像を用いて物品のコンディションを判定する。処理部１０は、第１値が第１状態とは異なる第２状態のとき、第２判定を実施する。第２判定において、処理部１０は、第２モデル及び第１画像を用いて物品のコンディションを判定する。

第２実施形態の効果を説明する。
物品の画像に基づいて物品のコンディションを判定する際、撮像部７０の状態が評価値に影響を与える。例えば、撮像部７０の位置又は姿勢が変化すると、物品の撮影される部分が変化する。撮影される部分が変化すると、画像が変わるため、評価値も変化する。この結果、実際には、物品のコンディションが良いにも拘わらず、コンディションが悪いと判定される可能性がある。

この課題について、過去の画像に基づいて、撮影された画像を補正する方法がある。例えば、撮影された画像中の特徴点と、過去の画像中の特徴点と、を一致するように、撮影された画像を補正する方法がある。しかし、この方法では、物品の表面に形状又は色などの特徴が少ないときには、補正が困難である。例えば、金属板、半導体基板、木材などの表面の特定の部分における傷を調べるときには、上述した補正方法は適用できない。
他には、画像中の物品以外の背景を利用して補正する方法もある。しかし、物品のコンディションをより精度良く判定するために、物品の一部を拡大して撮影することがある。又は、画像の一部を切り出して判定に用いることがある。これらの場合、画像には、背景が含まれない可能性がある。

実施形態に係る監視システム２００では、第２検出器５０から、撮像部７０の状態を示す第１値が出力される。監視システム２００では、第１値に応じて、評価値の算出に用いられるモデルが決定される。例えば、処理部１０は、上述した通り、第１値が第１状態のとき、第１判定を実施し、第１値が第２状態のとき、第２判定を実施する。これにより、撮像部７０の状態が変化したときでも、物品のコンディションをより正確に判定できる。モデルの更新に必要な計算量を、低減できる。

処理部１０は、例えば、第１実施形態に係る監視システム１００と同様に、判定結果、モデルの更新を示す情報、評価値、及び第１値の少なくともいずれかを出力する。処理部１０は、画像を出力しても良い。

監視システム２００において、第２検出器５０は、物品が設けられた環境を検出しても良い。処理部１０は、撮像部７０の状態又は物品が設けられた環境を示す第１値の入力を受け付けても良い。処理部１０は、撮像部７０の状態を示すデータ及び物品が設けられた環境を示すデータの両方を受け付けても良い。例えば、処理部１０は、撮像部７０の状態を示す第１値及び物品が設けられた環境を示す第２値を受け付ける。処理部１０は、第１値及び第２値が第１状態のとき、第１モデル及び第１データを用いて物品のコンディションを判定する第１判定を実施する。処理部１０は、第１値及び第２値の少なくともいずれかが第２状態のとき、第２モデル及び第１データを用いて物品のコンディションを判定する第２判定を実施する。この処理によれば、物品のコンディションをより正確に判定できる。

以上で説明した各実施形態によれば、装置又は物品のコンディションをより正確に判定できる監視システム及び監視方法を提供できる。

上記の種々のデータの処理は、例えば、プログラム（ソフトウェア）に基づいて実行される。例えば、コンピュータが、このプログラムを記憶し、このプログラムを読み出すことにより、上記の種々の情報の処理が行われる。

上記の種々の情報の処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、または、他の記録媒体に記録されても良い。

例えば、記録媒体に記録された情報は、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

記録媒体からコンピュータ（または組み込みシステム）にインストールされたプログラムに基づいてコンピュータ上で稼働している種々のソフトウェアにおいて、上記の情報の処理の少なくとも一部が実施されても良い。このソフトウェアは、例えば、ＯＳ（オペレーティングシステム）などを含む。このソフトウェアは、例えば、ネットワーク上で動作するミドルウェアなどを含んでも良い。

実施形態に係る記録媒体は、上記の種々の情報の処理をコンピュータに実行させることのできるプログラムを記憶している。実施形態に係る記録媒体には、プログラムをＬＡＮまたはインターネットなどによりダウンロードして記憶された記録媒体も含まれる。複数の記録媒体に基づいて、上記の処理が行われても良い。

実施形態に係るコンピュータは、１つ又は複数の装置（例えばパーソナルコンピュータなど）を含む。実施形態に係るコンピュータは、ネットワークにより接続された複数の装置を含んでも良い。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、監視システムに含まれる処理部、出力部、モデル記憶部、第１検出器、第２検出器、計算部、撮像部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。

また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した監視システム、監視方法、プログラム、及び記憶媒体を基にして、当業者が適宜設計変更して実施し得る全ての監視システム、監視方法、プログラム、及び記憶媒体も、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 処理部、 １１ 受付部、 １２ 算出部、 １３ 判定部、 １４ 判断部、 １５ 補正部、 ２０ 出力部、 ３０ モデル記憶部、 ４０ 第１検出器、 ４１ 第１検出データ処理部、 ４１ａ 前処理部、 ４１ｂ 窓がけ処理部、 ４１ｃ フーリエ変換部、 ５０ 第２検出器、 ５１ 第２検出データ処理部、 ６０ 計算部、 ７０ 撮像部、 ７１ 撮像データ処理部、 １００、１１０、１２０、２００ 監視システム、 Ａ 加速度、 ＡＰ 近似式、 Ｄ１ 第１検出データ、 Ｄ２ 第２検出データ、 Ｅ、Ｅ０～Ｅ５ 評価値、 Ｐ 画像、 Ｓ１～Ｓ５、Ｓ１１～Ｓ１３ ステップ、 ｔ 時間

Claims (13)

1. 装置に起因する信号を検出する第１検出器から出力された第１データを受け付ける処理部であって、
   前記第１検出器の状態を示す第１値が第１状態のとき、第１モデル及び前記第１データを用いて前記装置のコンディションを判定する第１判定を実施し、
   前記第１値が前記第１状態とは異なる第２状態のとき、前記第１モデルとは異なる第２モデル及び前記第１データを用いて前記装置のコンディションを判定する第２判定を実施する、
   前記処理部を備えた監視システム。
2. 前記処理部は、前記第１値が前記第１状態のとき、前記第１モデルを示す第１情報を出力し、前記第１値が前記第２状態のとき、前記第２モデルを示す第２情報を出力する、請求項１記載の監視システム。
3. 前記処理部は、前記第１情報及び前記第２情報のいずれかと、前記第１値と、を出力する請求項２記載の監視システム。
4. 前記処理部は、前記第１データをさらに出力する請求項３記載の監視システム。
5. 前記処理部は、
   前記第１値が前記第１状態のとき、前記第１データ及び前記第１モデルを用いて算出された、前記装置のコンディションを示す第１評価値を出力し、
   前記第１値が前記第２状態のとき、前記第１データ及び前記第２モデルを用いて算出された、前記装置のコンディションを示す第２評価値を出力する、
   請求項１～４のいずれか１つに記載の監視システム。
6. 前記処理部は、
   前記第１値が前記第１状態のとき、前記第１判定において前記第１評価値に基づいて前記装置のコンディションを判定し、
   前記第１値が前記第２状態のとき、前記第２判定において前記第２評価値に基づいて前記装置のコンディションを判定する、
   請求項５記載の監視システム。
7. 前記処理部は、前記第１値が前記第２状態のとき、前記第２判定の前に前記第１検出器から出力された第２データと、前記第１モデルと、を用いて算出された基準評価値を参照し、前記基準評価値に基づいて前記第２評価値を補正する請求項５又は６に記載の監視システム。
8. 前記処理部は、前記第１値が前記第２状態のとき、前記第１検出器から出力された第３データを用いて、前記第２判定の前に前記第２モデルを生成する請求項１～６のいずれか１つに記載の監視システム。
9. 装置に起因する信号を検出する第１検出器から出力された第１データを受け付ける処理部であって、
   前記第１検出器の状態又は前記装置が設けられた環境を示す第１値が第１状態のとき、第１モデル及び前記第１データを用いて前記装置のコンディションを判定する第１判定を実施し、
   前記第１値が前記第１状態とは異なる第２状態のとき、前記第１モデルとは異なる第２モデル及び前記第１データを用いて前記装置のコンディションを判定する第２判定を実施し、
   前記第１値が前記第１状態のとき、前記第１データ及び前記第１モデルを用いて算出された、前記装置のコンディションを示す第１評価値を出力し、
   前記第１値が前記第２状態のとき、前記第２判定の前に前記第１検出器から出力された第２データと、前記第１モデルと、を用いて算出された基準評価値を参照し、前記基準評価値に基づいて、前記第１データ及び前記第２モデルを用いて算出された前記装置のコンディションを示す第２評価値を補正して出力する、
   前記処理部を備えた監視システム。
10. 装置から発生した信号を検出する第１センサにより出力された第１データを受け付ける処理部であって、
    前記第１センサの状態を示す第１値が第１状態のとき、第１モデルと前記第１データとを用いて判定された、前記装置のコンディションを示す第１判定結果を出力し、
    前記第１値が前記第１状態とは異なる第２状態のとき、前記第１モデルとは異なる第２モデルと前記第１データとを用いて判定された、前記装置のコンディションを示す第２判定結果を出力する、
    前記処理部を備えた監視システム。
11. 物品の画像を生成する撮像部から出力された第１画像と、前記撮像部の状態を示す第１値と、の入力を受け付ける処理部であって、
    前記第１値が第１状態のとき、第１モデル及び前記第１画像を用いて前記物品のコンディションを判定する第１判定を実施し、
    前記第１値が前記第１状態とは異なる第２状態のとき、前記第１モデルとは異なる第２モデル及び前記第１画像を用いて前記物品のコンディションを判定する第２判定を実施する、
    前記処理部を備えた監視システム。
12. 処理部に、
    装置に起因する信号を検出する第１検出器から出力された第１データを受け付けさせ、
    前記第１検出器の状態を示す第１値が第１状態のとき、第１モデル及び前記第１データを用いて前記装置のコンディションを判定する第１判定を実施させ、
    前記第１値が前記第１状態とは異なる第２状態のとき、前記第１モデルとは異なる第２モデル及び前記第１データを用いて前記装置のコンディションを判定する第２判定を実施させる、
    プログラム。
13. 請求項１２に記載のプログラムを記憶した記憶媒体。

Images