JP6936650B2 - モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法 - Google Patents

モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法 Download PDF

Info

Publication number
JP6936650B2
JP6936650B2 JP2017145268A JP2017145268A JP6936650B2 JP 6936650 B2 JP6936650 B2 JP 6936650B2 JP 2017145268 A JP2017145268 A JP 2017145268A JP 2017145268 A JP2017145268 A JP 2017145268A JP 6936650 B2 JP6936650 B2 JP 6936650B2
Authority
JP
Japan
Prior art keywords
image data
model
color tone
image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017145268A
Other languages
English (en)
Other versions
JP2019028591A (ja
JP2019028591A5 (ja
Inventor
野村　真澄
真澄 野村
浩毅 立石
浩毅 立石
素志 高須
素志 高須
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Power Ltd
Original Assignee
Mitsubishi Power Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017145268A priority Critical patent/JP6936650B2/ja
Application filed by Mitsubishi Power Ltd filed Critical Mitsubishi Power Ltd
Priority to CN201880049103.3A priority patent/CN110998654B/zh
Priority to DE112018003815.7T priority patent/DE112018003815T5/de
Priority to PCT/JP2018/026457 priority patent/WO2019021855A1/ja
Priority to US16/631,742 priority patent/US11416705B2/en
Priority to KR1020207001770A priority patent/KR102395357B1/ko
Publication of JP2019028591A publication Critical patent/JP2019028591A/ja
Publication of JP2019028591A5 publication Critical patent/JP2019028591A5/ja
Application granted granted Critical
Publication of JP6936650B2 publication Critical patent/JP6936650B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Description

本発明は、モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法に関する。
特許文献１には、予め監視対象の過去の正常時の画像の学習により正常規範画像を生成し、監視対象を撮像した画像と正常規範画像とを比較して監視対象の正常性を判定する技術が開示されている。
特許文献２には、機械学習に係るモデルの学習時において、教師データである画像にフィルタ処理、トリミング処理および回転処理を行うことで、ラベル付けを行う手間を省きつつ教師データを増加させる技術が開示されている。
特開平７−７８２３９号公報 特開２０１６−６２５２４号公報
特許文献１に記載の発明において、正常規範画像を生成するためには、監視対象の正常時の画像を大量に用意する必要がある。一方で、監視対象の正常性の判定を早期に実施したいという要望があり、この場合には学習のために十分な画像を用意することができないことがある。
本発明の目的は、教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができるモデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法を提供することにある。
本発明の第１の態様によれば、モデル学習装置は、正常な監視対象が撮像された画像データを取得する画像取得部と、前記画像データの撮像時の環境の状態量を特定する状態特定部と、前記画像データに対して、前記監視対象の環境の正常な状態量の変化範囲を超えない所定の範囲に係る変化後の複数の状態量それぞれについて、前記特定された撮像時の状態量からの変化量に基づいて色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する画像処理部と、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように前記モデルを学習させる学習部とを備える。
本発明の第２の態様によれば、第１の態様に係るモデル学習装置は、前記画像データが、前記監視対象の温度によって色調が異なる熱画像を含み、前記画像処理部は、前記画像データの色調を、前記監視対象の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成するものであってよい。
本発明の第３の態様によれば、第２の態様に係るモデル学習装置は、前記画像データが撮像されたときの前記監視対象の環境温度を示す温度データを取得する温度取得部と、前記画像データと前記温度データとに基づいて、温度変化と色調の補正値との関係を特定する補正値特定部と、をさらに備え、前記画像処理部は、前記画像データに対して、前記補正値特定部が特定した前記関係に基づいて特定される前記補正値を用いた画像処理を行うものであってよい。
本発明の第４の態様によれば、第１から第３の何れかの態様に係るモデル学習装置は、前記画像処理部が、前記画像データの色調を、前記監視対象の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成するものであってよい。
本発明の第５の態様によれば、第１から第４の何れかの態様に係るモデル学習装置は、前記画像データを分割して複数の分割画像データを生成する分割部をさらに備え、前記画像処理部は、前記複数の分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するものであってよい。
本発明の第６の態様によれば、学習済みモデルの生成方法は、コンピュータが、正常な監視対象が撮像された画像データを取得するステップと、前記コンピュータが、前記画像データの撮像時の環境の状態量を特定するステップと、前記コンピュータが、前記画像データに対して、前記監視対象の環境の正常な状態量の変化範囲を超えない所定の範囲に係る変化後の複数の状態量それぞれについて、前記特定された撮像時の状態量からの変化量に基づいて色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、前記コンピュータが、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させることで学習済みモデルを生成するステップとを有する。
本発明の第７の態様によれば、プログラムは、コンピュータに、正常な監視対象が撮像された画像データを取得するステップと、前記画像データの撮像時の環境の状態量を特定するステップと、前記画像データに対して、前記監視対象の環境の正常な状態量の変化範囲を超えない所定の範囲に係る変化後の複数の状態量それぞれについて、前記特定された撮像時の状態量からの変化量に基づいて色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させるステップとを実行させる。
本発明の第８の態様によれば、監視方法は、コンピュータが、正常な監視対象が撮像された第１画像データを取得するステップと、前記コンピュータが、前記第１画像データの撮像時の環境の状態量を特定するステップと、前記コンピュータが、前記第１画像データに対して、前記監視対象の環境の正常な状態量の変化範囲を超えない所定の範囲に係る変化後の複数の状態量それぞれについて、前記特定された撮像時の状態量からの変化量に基づいて色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、前記コンピュータが、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させることで学習済みモデルを生成するステップと、前記コンピュータが、前記監視対象が撮像された第２の画像データを取得するステップと、前記コンピュータが、前記学習済みモデルを用いて、前記第２の画像データから前記監視対象の正常性の判定に用いられる値を算出するステップと、前記コンピュータが、算出された前記値を用いて、前記監視対象の正常性を判定するステップとを有する。
上記態様のうち少なくとも１つの態様によれば、モデル学習装置は、教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定させることができる。
第１の実施形態に係る監視システムの構成を示す概略図である。 第１の実施形態に係る監視装置の構成を示す概略ブロック図である。 第１の実施形態に係る監視装置による学習済みモデルの生成方法を示すフローチャートである。 第１の実施形態に係る監視装置による正常性の判定方法を示すフローチャートである。 第３の実施形態に係る監視装置の構成を示す概略ブロック図である。 第３の実施形態に係る画像データの分割例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
〈定義〉
「特定する」とは、第１の値を用いて複数の値を取り得る第２の値を定めることである。例えば、「特定する」は、第１の値から第２の値を算出すること、テーブルを参照して第１の値に対応する第２の値を読み出すこと、第１の値をクエリとして第２の値を検索すること、第１の値に基づいて複数の候補の中から第２の値を選択することを含む。
「取得する」とは、新たに値を得ることである。例えば、「取得する」は、値を受信すること、値の入力を受け付けること、テーブルから値を読み出すこと、値を算出すること、値を計測することを含む。
〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る監視システムの構成を示す概略図である。
第１の実施形態に係る監視システム１０は、近傍法に基づいて画像データから監視対象１００の正常性を判定する。近傍法は、複数の標本データの中から、対象データの近傍の標本データを抽出し、抽出した標本データに基づいて、正常性を判定する手法である。近傍法の例としては、ｋ近傍法、局所外れ値法などが挙げられる。
監視システム１０は、撮像装置２００と、監視装置３００とを備える。
撮像装置２００は、監視対象１００を撮像し、可視画像データ、赤外画像データ、および熱画像データを得る。可視画像データは、監視対象１００によって反射された可視光の計測によって得られる画像データである。赤外画像データは、撮像装置２００が投光し、監視対象１００によって反射された赤外線の計測によって得られる画像データである。熱画像データは、監視対象１００から放射される赤外線の計測によって得られる画像データである。撮像装置２００は、画像データを一定周期ごとに撮像する。
監視装置３００は、撮像装置２００が撮像した画像データに基づいて、監視対象１００の正常性を判定する。
図２は、第１の実施形態に係る監視装置の構成を示す概略ブロック図である。
監視装置３００は、画像取得部３０１、温度取得部３０２、履歴記憶部３０３、補正値特定部３０４、画像処理部３０５、学習部３０６、モデル記憶部３０７、推論処理部３０８、判定部３０９、出力制御部３１０を備える。
画像取得部３０１は、撮像装置２００が撮像した可視画像データ、赤外画像データ、および熱画像データを取得する。
履歴記憶部３０３は、画像データと撮像時刻とを関連付けて記憶する。履歴記憶部３０３が記憶する画像データは、すべて正常な監視対象１００が撮像された画像データである。
温度取得部３０２は、撮像装置２００が画像データを撮像した時刻における監視対象１００の環境温度を示す温度データを取得する。例えば、温度取得部３０２は、ネットワークを介して監視対象１００が設置された地域の気象情報を取得する。
補正値特定部３０４は、画像データの画像処理に用いる補正値を特定する。具体的には、補正値特定部３０４は、履歴記憶部３０３が記憶する可視画像データに基づいて、監視対象１００の環境照度に応じて可視画像データの色調を変化させるためのガンマ補正値を特定する。つまり、補正値特定部３０４は、履歴記憶部３０３が記憶する可視画像データに基づいて、可視画像データの平均明度の増分とガンマ補正値との関係を特定する。可視画像データは、環境照度が低いほど、明度が低く、かつコントラストが低くなる。また、補正値特定部３０４は、履歴記憶部３０３が記憶する熱画像データに基づいて、環境温度に応じて熱画像データの色調を変化させるためのガンマ補正値を特定する。つまり、補正値特定部３０４は、履歴記憶部３０３が記憶する熱画像データに基づいて、温度の増分とガンマ補正値との関係を特定する。熱画像データは、温度が低いほど、明度が低くなる。
画像処理部３０５は、画像データに複数の異なる画像処理を行うことで、複数の複製画像データを生成する。画像処理の例としては、平滑化処理、ガンマ補正、エッジ抽出、平行移動、回転などが挙げられる。ガンマ補正は、色調変更を伴う画像処理の一例である。例えば、画像処理部３０５は、Ａ個の画像データについて、Ｂパターンの平滑化処理、Ｃパターンのガンマ補正、Ｄパターンの平行移動、Ｅパターンの回転を行うことで、Ａ×Ｂ×Ｃ×Ｄ×Ｅ個の複製画像データを生成する。画像処理部３０５は、監視対象１００の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行う。例えば、画像処理部３０５は、熱画像の画像処理を行う場合に、画像データの色調を、所定期間の最高気温から最低気温までの温度範囲内で変化させるように画像処理を行う。また例えば、画像処理部３０５は、可視画像の画像処理を行う場合に、画像データの色調を、照明のオンからオフまでの照度範囲内で変化させるように画像処理を行う。
学習部３０６は、履歴記憶部３０３が記憶する画像データと、画像処理部３０５が生成した複製画像データとを教師データとして、モデルを学習させる。すなわち、学習部３０６は、近傍法の標本データとして、画像取得部３０１に入力された画像データと、画像処理部３０５が生成した複製画像データとをモデル記憶部３０７に記憶させる。複数の複製画像データを含む標本データ群は、学習済みモデルの一例である。
モデル記憶部３０７は、学習部３０６によって学習されたモデルを記憶する。
推論処理部３０８は、モデル記憶部３０７が記憶するモデルを用いて、画像取得部３０１に入力された画像データから、監視対象１００の正常性を示す指標値を算出する。指標値は、監視対象１００が異常である可能性が高いほど大きい値となる。
判定部３０９は、推論処理部３０８が算出した指標値と閾値とを比較することで、監視対象１００の正常性を判定する。判定部３０９は、指標値が閾値未満である場合に、監視対象１００の正常であると判定する。判定部３０９は、指標値が閾値以上である場合に、監視対象１００の異常であると判定する。
出力制御部３１０は、判定部３０９による判定結果を出力装置に出力させる。出力装置の例としては、ディスプレイ、プリンタ、スピーカなどが挙げられる。
次に、第１の実施形態に係る監視装置の動作について説明する。監視装置３００の画像取得部３０１は、学習済みモデルを作成する前に、撮像装置２００から画像データを取得し、撮像時刻に関連付けて履歴記憶部３０３に記録する。これにより、監視装置３００は、履歴記憶部３０３に複数の画像データを記憶させる。このとき、監視装置３００は、画像データのうち、黒つぶれ（blocked up shadows）または白とび（blown out highlights）により監視対象１００の像を再現できないものを除外しておくとよい。
図３は、第１の実施形態に係る監視装置による学習済みモデルの生成方法を示すフローチャートである。
監視装置３００の温度取得部３０２は、履歴記憶部３０３が記憶する画像データの撮像時刻における監視対象１００の環境温度を示す温度データを取得する（ステップＳ１）。補正値特定部３０４は、履歴記憶部３０３が記憶する複数の熱画像データの色調と、当該熱画像データの撮像時における環境温度とに基づいて、温度の増分とガンマ補正値との関係を特定する（ステップＳ２）。例えば、補正値特定部３０４は、２つの熱画像データについて、明度の差が最小となるようなガンマ補正値を求め、さらに当該２つの熱画像データにおける環境温度差を求めることで、ガンマ補正値と温度の増分との関係を求めることができる。また補正値特定部３０４は、履歴記憶部３０３が記憶する複数の可視画像データの色調に基づいて、平均明度の増分とガンマ補正値との関係を特定する（ステップＳ３）。
画像処理部３０５は、温度取得部３０２が取得した温度データ、または他の気象データに基づいて、現在時刻を起点とした所定期間（例えば、２か月間）における最高気温と最低気温を特定する（ステップＳ４）。画像処理部３０５は、履歴記憶部３０３が記憶する熱画像データのそれぞれについて、その熱画像データに係る環境温度から、最高気温と最低気温との範囲を所定数に分割した各温度までの増分に対応するガンマ補正値をそれぞれ用いてガンマ補正を行うことで、複数の複製画像データを生成する（ステップＳ５）。例えば、最高気温が１０℃であり、最低気温が−１０℃であり、ある熱画像データに係る環境温度が０℃であり、最高気温と最低気温とを５分割する場合、画像処理部３０５は、増分−１０℃に対応するガンマ補正値、増分−５℃に対応するガンマ補正値、増分５℃に対応するガンマ補正値、増分１０℃に対応するガンマ補正値を用いて、熱画像データのガンマ補正を行うことで、４個の複製画像データを生成する。
画像処理部３０５は、履歴記憶部３０３が記憶する可視画像データに基づいて、平均明度の最大値と最小値とを特定する（ステップＳ６）。画像処理部３０５は、履歴記憶部３０３が記憶する可視画像データのそれぞれについて、その可視画像データの平均明度から、平均明度の範囲を所定数に分割した各明度までの増分に対応するガンマ補正値をそれぞれ用いてガンマ補正を行うことで、複数の複製画像データを生成する（ステップＳ７）。
画像処理部３０５は、履歴記憶部３０３が記憶する各画像データ、および各複製画像データについて、少なくとも平滑化処理を含むその他の画像処理を行うことで、さらに複数の複製画像データを生成する（ステップＳ８）。
学習部３０６は、履歴記憶部３０３が記憶する画像データおよび画像処理部３０５が生成した複数の複製画像データを教師データとしてモデルを学習させ（ステップＳ９）、学習済みモデルをモデル記憶部３０７に記録する（ステップＳ１０）。
モデル記憶部３０７に学習済みモデルが記憶されると、監視装置３００は、一定周期に係るタイミングごとに、監視対象１００の正常性判定処理を行う。図４は、第１の実施形態に係る監視装置による正常性の判定方法を示すフローチャートである。
監視装置３００の画像取得部３０１は、撮像装置２００から画像データを取得する（ステップＳ５１）。次に、画像処理部３０５は、取得した画像データを平滑化する（ステップＳ５２）。推論処理部３０８は、モデル記憶部３０７が記憶する学習済みモデルに、平滑化された画像データを入力することで、指標値を算出する（ステップＳ５３）。
例えば、推論処理部３０８は、ｋ近傍法により指標値を算出する場合、以下の処理を行う。推論処理部３０８は、学習済みモデルを構成する標本データのそれぞれについて、取得された画像データとの距離を算出する。推論処理部３０８は、算出した距離が最も短いｋ個の標本データに係る距離の代表値を、指標値として特定する。
例えば、推論処理部３０８は、局所外れ値因子法により指標値を算出する場合、以下の処理を行う。推論処理部３０８は、学習済みモデルを構成する標本データのそれぞれについて、取得された画像データとの距離を算出する。推論処理部３０８は、算出した距離が最も短いｋ個の標本データの密度を算出する。推論処理部３０８は、ｋ個の標本データに係る距離の代表値を算出した密度に基づいて正規化した値を、指標値として特定する。
標本データと取得された画像データとの距離、標本データの密度、および指標値は、「監視対象の正常性の判定に用いられる値」の一例である。
次に、判定部３０９は、指標値が閾値未満であるか否かを判定する（ステップＳ５４）。指標値が閾値未満である場合（ステップＳ５４：ＹＥＳ）、判定部３０９は、監視対象１００が正常であると判定する（ステップＳ５５）。他方、指標値が閾値以上である場合（ステップＳ５４：ＮＯ）、判定部３０９は、監視対象１００が異常であると判定する（ステップＳ５６）。
そして、出力制御部３１０は、判定部３０９の判定結果を、出力装置に出力させる（ステップＳ５７）。
このように、第１の実施形態に係る監視装置３００は、正常な監視対象が撮像された画像データに対して、監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成し、これらを教師データとしてモデルを学習させる。これにより、監視装置３００は、少ない画像データから多量の教師データを生成することができる。したがって、第１の実施形態に係る監視システム１０によれば、もとの教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができる。なお、第１の実施形態では、色調の変更を伴う異なる画像処理として、ガンマ補正値を異ならせたガンマ補正を用いたが、これに限られない。例えば、他の実施形態においては、補正値を異ならせたコントラスト補正、明度補正など、他の画像処理を実施してもよい。
第１の実施形態に係る画像処理部３０５は、熱画像データの色調を、監視対象１００の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、複数の複製画像データを生成する。これにより、画像処理部３０５は、実際に観測されていない環境温度における監視対象１００の状態を表す熱画像データを生成することができる。また、補正値特定部３０４は、画像データと撮像時の環境温度とに基づいて、温度変化と色調の補正値との関係を特定する。これにより、監視装置３００は、目的の温度に対応する色調になるように画像処理を行うことができる。
第１の実施形態に係る画像処理部３０５は、可視画像データの色調を、監視対象１００の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、複数の複製画像データを生成する。これにより、画像処理部３０５は、実際に観測されていない照明環境における監視対象１００の状態を表す可視画像データを生成することができる。
また、第１の実施形態に係る監視装置３００は、学習済みモデルとして監視対象１００の正常時の状態を学習する。つまり、第１の実施形態に係る監視装置３００においては、教師データとして正常時の監視装置３００が写る画像データのみを用い、異常時の監視装置３００が写る画像データを用いない。したがって、監視装置３００は、各画像データを教師データとして用いるにあたり、正常か異常かを示すラベルを付する必要がない。
ところで、監視対象１００の監視を継続することで、撮像装置２００によって撮像される画像データの数は次第に増加する。したがって、モデル記憶部３０７が記憶するモデルを学習部３０６が適宜更新することで、学習済みモデルを構成するオリジナルの（複製画像データでない）画像データの数が増加する。オリジナルの画像データは、複製画像データと比較して教師データとしての信頼性が高い。そのため、監視装置３００は、入力される画像データの近傍の標本データを選択する際に、複製画像データと比較してオリジナルの画像データが選択されやすいようにモデルを形成してもよい。例えば、学習部３０６は、標本データの数が所定数に達した状態で新たにオリジナルの画像データを取得した場合に、オリジナルの画像データを標本データに加えるとともに、複製画像データである標本データを削除することで、学習済みモデルを更新してよい。また例えば、推論処理部３０８は、標本データの選択時に、オリジナルの画像データの距離に１未満の重みを乗算することで、オリジナルの画像データが選択されやすいようにしてもよい。ただし、推論処理部３０８は、選択した標本データを用いて指標値を算出するとき、重みを加味しない距離に基づいて指標値を算出する。
〈第２の実施形態〉
第１の実施形態に係る監視システム１０は、近傍法に基づいて画像データから監視対象１００の正常性を判定する。これに対し、第２の実施形態に係る監視システム１０は、ニューラルネットワークに基づいて画像データから監視対象１００の正常性を判定する。
第２の実施形態に係る監視装置３００は、第１の実施形態とモデル記憶部３０７が記憶するモデル、ならびに学習部３０６、推論処理部３０８および判定部３０９の処理が異なる。
モデル記憶部３０７は、入力層、中間層、および出力層からなるニューラルネットワークモデルを記憶する。入力層および出力層のノード数は、画像データの画素数と等しい。学習済みモデルは、入力層に入力された画像データを圧縮した後に復元して出力するオートエンコーダとして機能する。学習済みモデルが出力する画像データは、「監視対象の正常性の判定に用いられる値」の一例である。
学習部３０６は、履歴記憶部３０３が記憶する画像データと、画像処理部３０５が生成した複製画像データとを教師データとして、モデルを学習させる。すなわち、学習部３０６は、モデル記憶部３０７が記憶するモデルの入力層と出力層に教師データを入力し、入力層と中間層の各ノードにおける重み係数と活性化関数とを学習させる。教師データは、いずれも正常時における監視対象１００が写った画像データである。そのため、学習済みモデルは、入力された画像データから、正常時における監視対象１００が写った画像データを出力するように学習される。つまり、異常時における監視対象１００が写った画像データが学習済みモデルに入力されることで、学習済みモデルが、オリジナルの画像データより正常に近い監視対象１００が写った画像データを出力することが期待される。
推論処理部３０８は、モデル記憶部３０７が記憶する学習済みモデルを用いて、画像取得部３０１に入力された画像データから、画像データを再生成する。学習済みモデルは、正常時における監視対象１００が写った画像データに基づいて学習されているため、入力した画像データと再生成された画像データとの差は、監視対象１００が異常である可能性が高いほど大きくなる。
判定部３０９は、推論処理部３０８が再生成した画像データと入力した画像データとの差を算出し、当該差を閾値と比較することで、監視対象１００の正常性を判定する。判定部３０９は、再生成した画像データと入力した画像データとの差が閾値未満である場合に、監視対象１００の正常であると判定する。判定部３０９は、指標値が閾値以上である場合に、監視対象１００の異常であると判定する。
このように、第２の実施形態に係る監視装置３００は、第１の実施形態に係る監視装置３００と同様に、もとの教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができる。
なお、第２の実施形態に係る学習済みモデルは、再生成された画像を出力するが、これに限られない。例えば、他の実施形態においては、学習済みモデルが再生成した画像データと入力した画像データとの差を出力してもよい。この場合、再生成した画像データと入力した画像データとの差は、「監視対象の正常性の判定に用いられる値」の一例である。
ところで、監視対象１００の監視を継続し、モデル記憶部３０７が記憶するモデルを学習部３０６が適宜更新することで、学習済みモデルの学習に用いられる画像データに係る環境温度の最大値から最小値までの範囲は広くなっていく。例えば、学習が半年間続けられると、学習済みモデルは、夏季の監視対象１００を写す画像データで学習され、さらに冬季の監視対象１００を写す画像データでも学習される。この場合、例えば監視対象１００が過熱状態にある熱画像データを入力として学習済みモデルに画像データを再生成させると、入力した画像データと再生成された画像データとの差が閾値以下となる可能性がある。これは、学習済みモデルが夏季の画像データを用いて学習された結果、夏季の正常時の温度に係る画像データとして再生成されてしまうことによる。そのため、監視装置３００は、常に所定期間に係る画像データによって学習されるように学習モデルを更新してもよい。例えば、学習部３０６は、定期的に、履歴記憶部３０３が記憶する画像データのうち最新の所定期間に撮像されたものを用いてモデルを学習させ、古いモデルに上書きしてモデル記憶部３０７に記録してもよい。
〈第３の実施形態〉
第３の実施形態に係る監視システム１０は、監視対象１００のうち異常が生じている箇所を出力する。
図５は、第３の実施形態に係る監視装置の構成を示す概略ブロック図である。
第３の実施形態に係る監視装置３００は、第１、第２の実施形態の構成に加え、さらに分割部３１１と異常特定部３１２とを備える。
図６は、第３の実施形態に係る画像データの分割例を示す図である。
分割部３１１は、画像取得部３０１が取得した画像データを複数の領域に分割し、分割画像データを生成する。例えば、分割部３１１は、画像データを縦に４等分、横に４等分した１６個の分割画像データを生成する。画像処理部３０５は、各分割画像データについて画像処理を行い、複製画像データを生成する。
学習部３０６は、分割部３１１によって分割される複数の領域のそれぞれについて、分割画像データおよび複製画像データを教師データとして、モデルを学習させる。モデル記憶部３０７は、分割される領域ごとに、学習済みモデルを記憶する。
推論処理部３０８は、分割部３１１によって分割された分割画像データを、それぞれ対応する学習済みモデルに入力することで、各領域の指標値を算出する。判定部３０９は、各領域の指標値と閾値とを比較し、少なくとも１つの領域について指標値が閾値以上となる場合に、監視対象１００が異常であると判定する。異常特定部３１２は、指標値が閾値以上となった領域を特定することで、監視対象１００のうち異常が生じている箇所を特定する。出力制御部３１０は、異常特定部３１２によって特定された箇所を示す情報を出力装置に出力させる。
このように、第３の実施形態によれば、監視装置３００は、画像データを分割して複数の分割画像データを生成し、分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する。これにより、監視装置３００は、画像データに基づいて、異常が生じている箇所を特定することができる。
〈変形例〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、監視装置３００がモデルの学習およびモデルに基づく推論を行うが、これに限らない。例えば、他の実施形態では、モデル学習装置と監視装置３００とが別個に設けられ、モデル学習装置がモデルの学習を行い、監視装置３００がモデルに基づく推論を行ってもよい。
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
上述の監視装置３００は、コンピュータ９００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置９０２または補助記憶装置９０３に確保する。
補助記憶装置９０３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。補助記憶装置９０３は、コンピュータ９００のバスに直接接続された内部メディアであってもよいし、インタフェース９０４または通信回線を介してコンピュータ９００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の記憶媒体である。
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１０ 監視システム
１００ 監視対象
２００ 撮像装置
３００ 監視装置
３０１ 画像取得部
３０２ 温度取得部
３０３ 履歴記憶部
３０４ 補正値特定部
３０５ 画像処理部
３０６ 学習部
３０７ モデル記憶部
３０８ 推論処理部
３０９ 判定部
３１０ 出力制御部
３１１ 分割部
３１２ 異常特定部

Claims (10)

  1. 正常な監視対象が撮像された画像データを取得する画像取得部と、
    前記画像データの撮像時の環境の状態量を特定する状態特定部と、
    前記画像データに対して、前記監視対象の環境の正常な状態量の変化範囲を超えない所定の範囲に係る変化後の複数の状態量それぞれについて、前記特定された撮像時の状態量からの変化量に基づいて色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する画像処理部と、
    前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させる学習部と
    を備えるモデル学習装置。
  2. 前記画像データは、前記監視対象の温度によって色調が異なる熱画像を含み、
    前記画像処理部は、前記画像データの色調を、前記監視対象の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成する
    請求項１に記載のモデル学習装置。
  3. 前記画像データが撮像されたときの前記監視対象の環境温度を示す温度データを取得する温度取得部と、
    前記画像データと前記温度データとに基づいて、温度変化と色調の補正値との関係を特定する補正値特定部と、
    をさらに備え、
    前記画像処理部は、前記画像データに対して、前記補正値特定部が特定した前記関係に基づいて特定される前記補正値を用いた画像処理を行う
    請求項２に記載のモデル学習装置。
  4. 前記画像処理部は、前記画像データの色調を、前記監視対象の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成する
    請求項１から請求項３のいずれか１項に記載のモデル学習装置。
  5. 前記画像データを分割して複数の分割画像データを生成する分割部をさらに備え、
    前記画像処理部は、前記複数の分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する
    請求項１から請求項４のいずれか１項に記載のモデル学習装置。
  6. コンピュータが、正常な監視対象が撮像された画像データを取得するステップと、
    前記コンピュータが、前記画像データの撮像時の環境の状態量を特定するステップと、
    前記コンピュータが、前記画像データに対して、前記監視対象の環境の正常な状態量の変化範囲を超えない所定の範囲に係る変化後の複数の状態量それぞれについて、前記特定された撮像時の状態量からの変化量に基づいて色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、
    前記コンピュータが、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させることで学習済みモデルを生成するステップと
    を有する学習済みモデルの生成方法。
  7. コンピュータに、
    正常な監視対象が撮像された画像データを取得するステップと、
    前記画像データの撮像時の環境の状態量を特定するステップと、
    前記画像データに対して、前記監視対象の環境の正常な状態量の変化範囲を超えない所定の範囲に係る変化後の複数の状態量それぞれについて、前記特定された撮像時の状態量からの変化量に基づいて色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、
    前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させるステップと
    を実行させるためのプログラム。
  8. コンピュータが、正常な監視対象が撮像された第１画像データを取得するステップと、
    前記コンピュータが、前記第１画像データの撮像時の環境の状態量を特定するステップと、
    前記コンピュータが、前記第１画像データに対して、前記監視対象の環境の正常な状態量の変化範囲を超えない所定の範囲に係る変化後の複数の状態量それぞれについて、前記特定された撮像時の状態量からの変化量に基づいて色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、
    前記コンピュータが、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させることで学習済みモデルを生成するステップと、
    前記コンピュータが、前記監視対象が撮像された第２の画像データを取得するステップと、
    前記コンピュータが、前記学習済みモデルを用いて、前記第２の画像データから前記監視対象の正常性の判定に用いられる値を算出するステップと、
    前記コンピュータが、算出された前記値を用いて、前記監視対象の正常性を判定するステップと
    を有する監視方法。
  9. 正常な監視対象が撮像された画像データを取得する画像取得部と、
    前記画像データに対して、前記監視対象の環境の正常な変化範囲を超えない所定の範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する画像処理部と、
    前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させる学習部と
    を備え、
    前記画像データは、前記監視対象の温度によって色調が異なる熱画像を含み、
    前記画像処理部は、前記画像データの色調を、前記監視対象の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成する
    モデル学習装置。
  10. 正常な監視対象が撮像された画像データを取得する画像取得部と、
    前記画像データに対して、前記監視対象の環境の正常な変化範囲を超えない所定の範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する画像処理部と、
    前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させる学習部と
    を備え、
    前記画像処理部は、前記画像データの色調を、前記監視対象の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成する
    モデル学習装置。
JP2017145268A 2017-07-27 2017-07-27 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法 Active JP6936650B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017145268A JP6936650B2 (ja) 2017-07-27 2017-07-27 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
DE112018003815.7T DE112018003815T5 (de) 2017-07-27 2018-07-13 Modelllernvorrichtung, verfahren für eine gelerntes-modell-erzeugung, programm, gelerntes modell, überwachungsvorrichtung, und überwachungsverfahren
PCT/JP2018/026457 WO2019021855A1 (ja) 2017-07-27 2018-07-13 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
US16/631,742 US11416705B2 (en) 2017-07-27 2018-07-13 Model learning device, method for learned model generation, program, learned model, monitoring device, and monitoring method
CN201880049103.3A CN110998654B (zh) 2017-07-27 2018-07-13 模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法
KR1020207001770A KR102395357B1 (ko) 2017-07-27 2018-07-13 모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017145268A JP6936650B2 (ja) 2017-07-27 2017-07-27 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法

Publications (3)

Publication Number Publication Date
JP2019028591A JP2019028591A (ja) 2019-02-21
JP2019028591A5 JP2019028591A5 (ja) 2020-08-13
JP6936650B2 true JP6936650B2 (ja) 2021-09-22

Family

ID=65040658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017145268A Active JP6936650B2 (ja) 2017-07-27 2017-07-27 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法

Country Status (6)

Country Link
US (1) US11416705B2 (ja)
JP (1) JP6936650B2 (ja)
KR (1) KR102395357B1 (ja)
CN (1) CN110998654B (ja)
DE (1) DE112018003815T5 (ja)
WO (1) WO2019021855A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050973A2 (en) * 2018-08-22 2020-03-12 Florent Technologies, Llc Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input
WO2021234782A1 (ja) * 2020-05-18 2021-11-25 日本電信電話株式会社 画像処理装置、方法およびプログラム
KR102452394B1 (ko) * 2020-06-11 2022-10-11 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법
WO2022024165A1 (ja) * 2020-07-27 2022-02-03 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
JP2022055229A (ja) * 2020-09-28 2022-04-07 横河電機株式会社 監視用デバイス、学習装置、方法およびプログラム
CN112985263B (zh) * 2021-02-09 2022-09-23 中国科学院上海微系统与信息技术研究所 一种弓网几何参数检测方法、装置及设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778239A (ja) 1993-09-08 1995-03-20 Mitsubishi Heavy Ind Ltd プラントの異常監視装置
US20060284895A1 (en) * 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
JP4828459B2 (ja) * 2007-03-22 2011-11-30 公益財団法人鉄道総合技術研究所 パッシブ赤外線法によるコンクリート構造物の剥離検知方法及びそのための赤外線カメラ
JP4369961B2 (ja) * 2007-03-23 2009-11-25 株式会社日立製作所 異常検知装置及び異常検知プログラム
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP5834850B2 (ja) * 2011-12-02 2015-12-24 ソニー株式会社 撮像装置、色補正方法および色補正プログラム
JP5821590B2 (ja) * 2011-12-06 2015-11-24 富士ゼロックス株式会社 画像識別情報付与プログラム及び画像識別情報付与装置
CN102609962B (zh) * 2012-01-18 2014-05-07 中国人民解放军61517部队 热红外图像模拟方法
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
JP6435740B2 (ja) 2014-09-22 2018-12-12 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム
CN105748046B (zh) * 2016-02-05 2018-10-12 福建农林大学 基于红外热像图的温度信息监测方法及其系统
SE539630C2 (en) * 2016-02-24 2017-10-24 Fingerprint Cards Ab Method and system for controlling an electronic device
CN106874926A (zh) * 2016-08-04 2017-06-20 阿里巴巴集团控股有限公司 基于图像特征的业务异常检测方法及装置
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 外観検査装置、照明装置、撮影照明装置
KR101947782B1 (ko) * 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법

Also Published As

Publication number Publication date
CN110998654A (zh) 2020-04-10
US20200184265A1 (en) 2020-06-11
US11416705B2 (en) 2022-08-16
KR20200017521A (ko) 2020-02-18
CN110998654B (zh) 2024-03-26
KR102395357B1 (ko) 2022-05-06
DE112018003815T5 (de) 2020-04-09
JP2019028591A (ja) 2019-02-21
WO2019021855A1 (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JP6936650B2 (ja) モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
US11108575B2 (en) Training models for IOT devices
US20220277225A1 (en) Method and device for detecting anomalies, corresponding computer program and non-transitory computer-readable medium
JP6277818B2 (ja) 機械学習装置、機械学習方法、及びプログラム
US11902396B2 (en) Model tiering for IoT device clusters
US11468261B2 (en) Information processing apparatus, image processing method, and computer-readable recording medium recording image processing program
JP6646234B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
US11412574B2 (en) Split predictions for IoT devices
JP2020042737A (ja) モデル更新支援システム
CN105700819A (zh) 用于网络数据存储的方法和系统
CN114450646A (zh) 用于使用深度学习来检测风力涡轮操作异常的系统和方法
JP2020160804A (ja) 情報処理装置、プログラム及び情報処理方法
JP2020101948A (ja) 行動認識システム及び行動認識方法
CN112949590B (zh) 一种跨域行人重识别模型构建方法及构建系统
WO2022044297A1 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
US20240311704A1 (en) Computer-implemented method, computer program, and device for generating a data-based model copy in a sensor
JP2018005405A (ja) 情報処理装置および情報処理方法
WO2024009661A1 (ja) 推定システム、推定方法、および推定プログラム
JP2022106059A (ja) 機械学習装置及び故障判定装置
EP3659321A1 (en) Tiered data processing for iot device clusters
JP7225444B2 (ja) モデル更新支援システム
JP2009134342A (ja) 機能仕様書自動生成装置
JP2023142113A (ja) 情報処理装置及びプログラム
CN118823025A (zh) 基于细胞分裂谱系关系的细胞分裂状态检测方法
JP2693301B2 (ja) 自己修復システムを有する画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210827

R150 Certificate of patent or registration of utility model

Ref document number: 6936650

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150