JP7391907B2 - 異常検出装置、異常検出方法、および異常検出プログラム - Google Patents
異常検出装置、異常検出方法、および異常検出プログラム Download PDFInfo
- Publication number
- JP7391907B2 JP7391907B2 JP2021042811A JP2021042811A JP7391907B2 JP 7391907 B2 JP7391907 B2 JP 7391907B2 JP 2021042811 A JP2021042811 A JP 2021042811A JP 2021042811 A JP2021042811 A JP 2021042811A JP 7391907 B2 JP7391907 B2 JP 7391907B2
- Authority
- JP
- Japan
- Prior art keywords
- score map
- abnormality
- data
- correction
- normal data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 74
- 230000005856 abnormality Effects 0.000 claims description 189
- 238000012937 correction Methods 0.000 claims description 105
- 238000004364 calculation method Methods 0.000 claims description 77
- 230000002159 abnormal effect Effects 0.000 description 27
- 239000013598 vector Substances 0.000 description 19
- 238000000034 method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000010365 information processing Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
本発明の実施形態は、異常検出装置、異常検出方法、および異常検出プログラムに関する。
画像などの入力データの異常を検出するシステムが知られている。例えば、正常なデータのみを教示として学習した自己符号器を用いて、画像内の対象領域の差分処理を行うことで、異常検出を行う技術が開示されている。また、例えば、事前学習したCNN(Convolution Neural Network)の特徴空間における差分を利用することで、異常検出を行う技術が開示されている。これらのシステムでは、入力データ内に異常が含まれているか、否かを、データ単位で判定し、データ内の異常箇所を特定し、位置ごとの異常度合いを表示する。
N. Cohen, Y. Hoshen. "Transformer-Based Anomaly Segmentation." arXiv.org, 2020.
しかし、従来技術では、入力データに含まれる異常と間違えやすい正常な箇所を、異常として検出する場合があった。すなわち、従来技術では、システムが異常箇所と正常箇所を区別できないことがあったため、異常検出精度の向上を図ることは困難であった。
実施形態の異常検出装置は、異常スコアマップ算出部と、補正用スコアマップ算出部と、補正部と、を備える。異常スコアマップ算出部は、入力データの異常度を表す異常スコアマップを算出する。補正用スコアマップ算出部は、正常データセットに含まれる1または複数の正常データの特徴の差分を用いて、異常スコアマップを補正するための少なくとも1以上の補正用スコアマップを算出する。補正部は、補正用スコアマップを用いて異常スコアマップを補正する。
以下に添付図面を参照して、本実施形態の異常検出装置、異常検出方法、および異常検出プログラムを詳細に説明する。
図1は、本実施形態の異常検出装置10の一例を示す模式図である。
異常検出装置10は、入力データの異常を検出する装置である。
入力データとは、異常を検出する対象のデータである。入力データは、例えば、画像データである。本実施形態では、入力データが、画像データである形態を一例として説明する。
異常検出装置10は、記憶部20と、通信部22と、処理部24と、表示部26と、を備える。記憶部20と、通信部22と、処理部24と、表示部26とは、通信可能に接続されている。
記憶部20は、各種のデータを記憶する。記憶部20は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部20は、異常検出装置10の外部に設けられた記憶装置であってもよい。また、記憶部20は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、LAN(Local Area Network)やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部20を、複数の記憶媒体から構成してもよい。
本実施形態では、記憶部20は、正常データセットを記憶する。
正常データセットは、1または複数の正常データの群からなる。正常データとは、異常箇所を含まないデータである。正常データは、例えば、画像データである。本実施形態では、正常データが、画像データである形態を一例として説明する。
なお、本実施形態では、入力データおよび正常データが、画像データである形態を一例として説明する。しかし、異常検出装置10は、画像データ以外の様々なデータの異常検出に適用可能である。例えば、入力データおよび正常データは、時系列映像、音声信号、人体の姿勢をグラフとして記述したスケルトンデータ、など、観測値をスカラー、ベクトルまたは多次元テンソルとして表現可能なデータであれば、何れであってもよい。
また、正常データは、入力データと同じ分類に属するデータであればよい。データの分類とは、データを予め定めた規則に従って複数のグループに分類したときの、各分類を意味する。データの分類は、例えば、画像データ、時系列映像、音声信号、スケルトンデータ、などである。
すなわち、本実施形態では、入力データおよび正常データが、画像データである形態を一例として説明する。
記憶部20には、入力データと同じ被写体を撮影した撮影画像の画像データであって、且つ、異常箇所を含まない画像データが、正常データとして予め記憶されていることが好ましい。
例えば、入力データである撮影画像の被写体が、欠損部を有する物体である場合を想定する。例えば、物体が歯車である場合、欠損部を有する歯車の撮影画像が、入力データであった場合を想定する。この場合、正常データセットは、欠損部を有さない歯車の1または複数の撮影画像を、正常データとして含む。
また、入力データである撮影画像の被写体が、ある場所の風景である場合を想定する。例えば、入力データが、ある場所の風景を撮影した映像の、1フレーム分の撮影画像であった場合を想定する。この場合、正常データセットは、入力データと同じ場所の風景を異常の無い時刻に撮影した映像の、1または複数フレーム分の撮影画像を、正常データとして含む。
通信部22は、ネットワークなどの公知の通信網を介して他の情報処理装置と通信する。
処理部24は、各種の情報処理を実行する。処理部24の詳細は後述する。
表示部26は、各種の情報を表示する。表示部26は、例えば、ディスプレイ、投影装置、などである。なお、異常検出装置10は、ユーザによる操作指示を受付ける入力部を更に備えた構成であってもよい。入力部は、例えば、キーボード、マウス、マイクロフォン、などである。また、表示部26と入力部とを一体的に構成し、タッチパネルとして構成してもよい。
なお、記憶部20および処理部24の少なくとも一方を、ネットワークおよび通信部22を介して接続されたサーバ装置などの外部の情報処理装置に搭載した構成としてもよい。また、処理部24に含まれる後述する機能部の少なくとも1つを、ネットワークおよび通信部22を介して処理部24に接続された、サーバ装置などの外部の情報処理装置に搭載してもよい。
次に、処理部24について詳細に説明する。
処理部24は、特徴量算出部24Aと、異常スコアマップ算出部24Bと、選択部24Cと、補正用スコアマップ算出部24Dと、補正部24Eと、表示制御部24Fと、を有する。
特徴量算出部24A、異常スコアマップ算出部24B、選択部24C、補正用スコアマップ算出部24D、補正部24E、および表示制御部24Fの少なくとも1つは、例えば、1または複数のプロセッサにより実現される。例えば、上記各部は、CPU(Central Processing Unit)などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のIC(Integrated Circuit)などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち1つを実現してもよいし、各部のうち2以上を実現してもよい。
特徴量算出部24Aは、正常データセットに含まれる1または複数の正常データの各々、および、入力データ、のそれぞれの特徴量を算出する。
本実施形態では、特徴量算出部24Aは、通信部22を介して外部の情報処理装置から入力データを取得する。また、特徴量算出部24Aは、記憶部20から正常データセットを取得する。そして、特徴量算出部24Aは、正常データおよび入力データのそれぞれの特徴量を算出する。
特徴量は、例えば、特徴量マップ、および、特徴量ベクトル、の少なくとも一方を含む。本実施形態では、特徴量算出部24Aは、特徴量マップおよび特徴量ベクトルの双方を、特徴量として算出する形態を一例として説明する。
特徴量マップとは、正常データおよび入力データの各々の位置ごとの特徴値を、スカラーまたはベクトルとして抽出したものである。上述したように、本実施形態では、正常データおよび入力データが画像データである場合を一例として説明する。この場合、特徴量マップの例として、例えば、特徴量マップは、画像データに含まれる各画素の各々の画素値を、特徴値として表したマップがある。また、特徴量マップは、例えば、画像データを事前学習済みCNNに入力した時の、中間層で出力される特徴量マップである。
事前学習済みCNNとは、任意の大規模なデータセットを利用して学習したCNNである。事前学習済みCNNとして、例えば、ImageNetデータセットを利用して、画像分類タスクを学習したCNNがある。
特徴量ベクトルとは、正常データおよび入力データの各々が表す特徴を、ベクトルとして記述したものである。特徴量ベクトルには、例えば、画像データを事前学習済みCNNに入力した時の、全結合層で出力される特徴量ベクトルがある。
特徴量算出部24Aは、正常データセットに含まれる1または複数の正常データの各々の特徴量、および、入力データの特徴量を、選択部24Cへ出力する。また、特徴量算出部24Aは、入力データの特徴量を、異常スコアマップ算出部24Bへ出力する。
なお、特徴量算出部24Aは、算出した正常データの特徴量を、算出に用いた正常データに対応付けて記憶部20へ記憶してもよい。この記憶処理により、特徴量算出部24Aは、既に特徴量を算出済の正常データについては、特徴量の算出を省略することができる。
また、特徴量算出部24Aは、入力データと同じ分類の被写体を撮影した撮影画像の画像データであって、且つ、異常箇所を含まない1または複数の画像データを記憶部20から検索し、正常データセットとして用いてもよい。入力データと同じ被写体を撮影した撮影画像の検索には、公知の画像処理技術などを用いればよい。そして、特徴量算出部24Aは、検索した正常データセットに含まれる正常データの特徴量を算出してもよい。
また、特徴量算出部24Aは、通信部22を介して外部の情報処理装置から正常データセットを取得し、特徴量を算出してもよい。また、特徴量算出部24Aは、記憶部20に予め記憶された入力データを取得し、特徴量を算出してもよい。
次に、異常スコアマップ算出部24Bについて説明する。異常スコアマップ算出部24Bは、入力データの異常度を表す異常スコアマップを算出する。
異常スコアマップとは、入力データの各位置の各々の異常度を表すデータである。例えば、入力データが画像データである場合、異常スコアマップは、入力データの画素ごとに異常度を規定したデータである。
異常スコアマップ算出部24Bは、特徴量算出部24Aから受付けた、入力データの特徴量を用いて、異常スコアマップを生成する。例えば、異常スコアマップ算出部24Bは、特徴量算出部24Aで算出された特徴量マップである、入力データを構成する画素の各々の特徴値を用いて、画素の各々ごとの異常度を表す異常スコアマップを算出する。
異常スコアマップ算出部24Bは、任意の公知の方法で、入力データから異常スコアマップを算出すればよい。例えば、異常スコアマップ算出部24Bは、非特許文献1と同様にして、異常スコアマップを算出すればよい。具体的には、例えば、異常スコアマップ算出部24Bは、正常データセットに含まれる正常データの各々と、入力データと、を事前学習済CNNに入力したときの、中間層で出力される特徴量マップの差分を、異常スコアマップとして算出すればよい。
異常スコアマップ算出部24Bは、算出した異常スコアマップを、補正部24Eへ出力する。
次に、選択部24Cについて説明する。選択部24Cは、正常データセットに含まれる1または複数の正常データを、参照データとして選択する。
選択部24Cは、正常データセットに含まれる正常データから、入力データに特徴が類似する少なくとも1以上の正常データを、参照データとして選択する。特徴とは、特徴量算出部24Aで算出された特徴量、および、データの取得条件、の少なくとも一方である。
特徴量とは、上述したように、特徴量ベクトルおよび特徴量マップの少なくとも一方を意味する。
特徴量が類似する正常データを参照データとして選択する場合を説明する。この場合、選択部24Cは、例えば、正常データセットに含まれる1または複数の正常データの内、特徴量ベクトルが入力データの特徴量ベクトルに類似する正常データを、類似度の降順にk個選択する。kは、1以上の整数である。選択する個数であるk個は、予め定めればよい。類似度の降順は、特徴量ベクトル同士の距離の昇順に相当する。すなわち、選択部24Cは、正常データセット内の各々の正常データのうち、入力データとの特徴量ベクトルの距離が短いほど、類似度が高いものとして、k個の正常データを参照データとして選択する。類似度や距離としては、例えば、正規化相互相関や、ユークリッド距離を使用すればよい。
また、選択部24Cは、特徴量ベクトルとして、例えば、特徴量マップの一部を一次元のベクトルとして並べたものを利用して、正常データを選択してもよい。この場合、選択部24Cは、入力データの特徴量マップと、正常データの特徴量マップと、を用いて、同じ要素位置の特徴値同士の類似度を比較する。要素位置とは、例えば、画素位置を意味する。そして、選択部24Cは、類似度の降順にk個の正常データを、参照データとして選択すればよい。類似度や距離としては、例えば、正規化相互相関や、ユークリッド距離を使用すればよい。
なお、選択部24Cは、入力データとの特徴量の類似度が予め定めた閾値以上の、1または複数の正常データを、参照データとして選択してもよい。
取得条件が入力データに類似する正常データを参照データとして選択する場合を説明する。
取得条件とは、正常データおよび入力データの、取得タイミング、取得環境、取得元、および、種類、の少なくとも1つである。
取得タイミングとは、正常データおよび入力データの各々が取得されたタイミングを意味する。正常データおよび入力データが画像データである場合、取得タイミングは、例えば、撮影タイミングである。正常データおよび入力データが音声信号である場合、取得タイミングは、例えば、音声の発生タイミングである。
取得環境とは、正常データおよび入力データの各々が取得されたときの環境を意味する。環境とは、場所、状況、明るさ、気象条件、などである。正常データおよび入力データが画像データである場合、取得環境は、画像データの撮影時の撮影環境を意味する。
取得元とは、正常データおよび入力データの各々の取得元を意味する。例えば、正常データおよび入力データが画像データである場合、取得元とは、正常データおよび入力データの各々を撮影したカメラの特定情報である。正常データおよび入力データが音声信号である場合、取得元は、例えば、音声の発話者などの音源の特定情報である。
種類とは、正常データおよび入力データの種類を意味する。例えば、正常データおよび入力データが音声信号である場合、種類は、音声の言語を表す情報である。
取得条件を特徴として用いる場合、選択部24Cは、例えば、以下の方法で正常データを選択すればよい。
選択部24Cは、例えば、正常データセットに含まれる複数の正常データのうち、入力データの取得条件との類似度が閾値以上の正常データ、または、入力データの取得条件との類似度が降順に予め定められた数の正常データを、参照データとして選択する。
なお、選択部24Cでは、正常データおよび入力データの各々の取得条件を取得し、正常データの選択に用いればよい。選択部24Cは、記憶部20から取得条件を取得してもよいし、通信部22を介して外部の情報処理装置から取得条件を取得してもよい。また、選択部24Cは公知の処理方法を用いて正常データおよび入力データの各々を解析することで、取得条件を取得してもよい。
取得条件の類似度が閾値以上である、とは、例えば、撮影場所が重複する、撮影タイミングが予め定めた期間内、などである。
具体的には、例えば、入力データが、風景を撮影した映像の1フレーム分の撮影画像の画像データであった場合を想定する。また、正常データセットに含まれる正常データが、入力データと同一の風景について、異常の無い時刻に撮影された映像の複数のフレームの各々の撮影画像の画像データであった場合を想定する。この場合、選択部24Cは、複数の正常データの内、入力データである撮影画像のフレームの撮影時刻に近い順にk個のフレームの正常データを、参照データとして選択する。
選択部24Cは、選択したk個の参照データを、補正用スコアマップ算出部24Dおよび表示制御部24Fへ出力する。
補正用スコアマップ算出部24Dは、選択部24Cにより参照データとして出力された1または複数の正常データ、もしくは正常データセットに含まれる1または複数の正常データの特徴量マップ同士の差分を用いて、少なくとも1以上の補正用スコアマップを算出する。すなわち、本実施形態では、補正用スコアマップ算出部24Dは、入力データを用いずに、1または複数の正常データの特徴量マップ同士の差分を用いて、補正用スコアマップを算出する。
特徴とは、上述したように、特徴量および取得条件の少なくとも一方である。特徴量とは、上述したように、特徴量マップおよび特徴量ベクトルの少なくとも一方である。本実施形態では、補正用スコアマップ算出部24Dは、正常データの特徴量マップ特徴の差分を用いて、補正用スコアマップを算出する形態を一例として説明する。
補正用スコアマップとは、異常スコアマップを補正するためマップである。詳細には、補正用スコアマップは、異常スコアマップにおける各位置の各々の異常度を補正するためのスコアマップである。すなわち、補正用スコアマップは、異常スコアマップ算出部24Bで算出された異常スコアマップの、異常箇所の検出精度を改善するために用いられる。
正常データの特徴量マップの差分は、正常なデータ中の位置の各々ごとの、データ中の構造の変動の大きさを表す。このため、正常データの差分を用いて補正用スコアマップを算出することで、補正用スコアマップ算出部24Dは、データ中に写っている構造の変動が大きい位置ほど高いスコアを表す、補正用スコアマップを算出することができる。
本実施形態では、補正用スコアマップ算出部24Dは、選択部24Cで選択された参照データの特徴量マップの差分に基づいて、差分が大きいほど高いスコアを表す補正用スコアマップを算出する。
選択部24Cで選択された参照データの数が、1つであった場合を想定する。すなわち、上記kが“1”であった場合を想定する。この場合、補正用スコアマップ算出部24Dは、参照データの特徴量マップにおける、互いに異なる位置間の差分を、位置ごとに算出する。例えば、補正用スコアマップ算出部24Dは、参照データにおける、異なる画素間の特徴の差分を、画素ごとに算出する。そして、補正用スコアマップ算出部24Dは、差分の大きい画素ほど高いスコアを表す、補正用スコアマップを算出する。
一方、選択部24Cで選択された参照データの数が、2以上であった場合を想定する。すなわち、上記kが、“2”以上の整数であった場合を想定する。
この場合、補正用スコアマップ算出部24Dは、複数の参照データの各々について、他の参照データとの特徴の差が大きいほど高いスコアを表す、補正用スコアマップを算出する。例えば、参照データが画像データであった場合を想定する。この場合、補正用スコアマップ算出部24Dは、複数の参照データの各々について、他の参照データとの特徴量マップの値の差を画素ごとに算出する。そして、補正用スコアマップ算出部24Dは、特徴量マップの値の差が大きい画素ほど、高いスコアを表す補正用スコアマップを、複数の参照データの各々ごとに算出する。
このため、k個の参照データが選択された場合、補正用スコアマップ算出部24Dは、k個の補正用スコアマップを算出する。
詳細には、例えば、補正用スコアマップ算出部24Dは、k個の参照データの内、ある1個の参照データJkと、残りのk-1個の参照データの各々と、の特徴量マップ同士の差分を利用して、以下の手順で補正用スコアマップを算出する。
まず、補正用スコアマップ算出部24Dは、k個の内の1個の参照データJkにおける各位置の各々の特徴値と、残りのk-1個の参照データの各々における対応する各位置の各々の特徴値の内の最も類似する特徴値と、の間の差分を算出する。類似の度合い、および、差分の算出には、例えば、正規化相互相関や、ユークリッド距離を利用すればよい。
例えば、ユークリッド距離に基づく補正用スコアマップの算出は、以下の式(1)で表される。
式(1)中、Jkは、k個の内の1個の参照データを表す。S(Jk)は、参照データJkに対応する補正用スコアマップを表す。F(Jk)は、特徴量算出部24Aで参照データJkから算出した特徴量マップを表す。F(Jk)pは、データ中の座標pにおける特徴値または特徴量ベクトルである。
NM(F(Jk)p)は、参照データJk以外の全ての参照データの各々の特徴量マップの各々の、全ての座標の特徴量ベクトルの中から、参照データJkの特徴量マップF(Jk)に類似する特徴量ベクトルを、座標pの各々ごとに、類似度の降順にM個選択する演算を意味する。
補正用スコアマップ算出部24Dが、式(1)を用いて補正用スコアマップを算出することで、参照データJk中の各位置の各々ごとに、他の参照データ中の特徴には無い位置ほど高いスコアを表す、補正用スコアマップが得られる。すなわち、参照データJk中で高いスコアを表す位置ほど、複数の正常データ中で変動が大きい位置であるといえる。
上述したように、1または複数の正常データの特徴量マップ同士の差分は、正常なデータ中の位置の各々ごとの、データ構造の変動の大きさを表す。例えば、一枚の撮影画像中の建物の影と路面との境界部は、正常な画像同士でも撮影時期が異なれば、変動が大きくなる。他にも、樹木や茂みなどの細かいテクスチャ部分は、正常なデータ構造であるにもかかわらず、撮影タイミングや撮影の仕方によってテクスチャにずれが生じ、変動が発生しやすい。このような、正常データ間でも変動が大きい構造は、正常であるにもかかわらず異常と誤識別されやすい。
そこで、本実施形態の補正用スコアマップ算出部24Dは、1の参照データと他の参照データの各々との差分を表す補正用スコアマップを算出する。このため、補正用スコアマップ算出部24Dは、データ中の構造の変動の大きい位置ほど高いスコアを表す、補正用スコアマップを算出することができる。また、補正用スコアマップ算出部24Dは、1つの参照データから補正用スコアマップを算出する場合についても、データ中の構造の変動の大きい位置ほど高いスコアを表す、補正用スコアマップを算出することができる。
補正用スコアマップ算出部24Dは、算出したk個の補正用スコアマップを、補正部24Eへ出力する。
補正部24Eは、補正用スコアマップを用いて、異常スコアマップを補正する。補正部24Eによって補正された異常スコアマップを、補正異常スコアマップと称して説明する。補正部24Eは、例えば、式(2)を用いて、異常スコアマップを補正する。
補正部24Eは、式(2)を用いることで、異常スコアマップにおける座標pの各々の位置の異常度を、補正用スコアマップの対応する位置のスコアで補正し、補正結果を、参照データごとに投票する。
これらの処理により、補正部24Eは、異常スコアマップにおける、入力データ中で異常である異常箇所については異常度を維持したままとする。そして、補正部24Eは、異常スコアマップにおける、入力データ中では正常な構造であるにも拘らず変動が大きいために誤って高い異常度を設定された箇所について、異常度が小さくなるように補正する。
上述したように、正常データである参照データの特徴量マップの差分は、正常なデータ中の位置の各々ごとの、データ構造の変動の大きさを表す。このため、補正用スコアマップは、データ構造の変動の大きい位置ほど高いスコアを表す。補正部24Eは、補正用スコアマップを用いて異常スコアマップを補正することで、異常スコアマップにおける、正常データ同士で変動の大きい正常箇所の異常度を、補正することができる。このため、補正部24Eは、本来は異常箇所でない箇所での過剰検出を減らし、異常検出精度を向上させた、補正異常スコアマップを生成することができる。
すなわち、補正部24Eは、正常な箇所を異常として検出する過検出の抑制された、補正異常スコアマップを生成することができる。
表示制御部24Fは、補正異常スコアマップを表示部26へ表示する。このため、表示制御部24Fは、入力データに含まれる異常箇所をユーザに可視化して提供することができる。
なお、表示制御部24Fは、補正異常スコアマップを異常度に応じた表示形態で表示部26へ表示することが好ましい。例えば、表示制御部24Fは、異常度が高いほど、より注視を促す表示形態で表した、補正異常スコアマップを表示する。例えば、表示制御部24Fは、補正異常スコアマップについて、異常度が高い箇所ほど赤く、異常度が低い箇所ほど青くなるように着色したヒートマップを、表示部26へ表示する。このとき、表示制御部24Fは、ヒートマップを透過表示し、入力データ上に重ねて表示してもよい。
これにより、ユーザは、表示部26を視認することで、入力データ中の各位置における異常度を容易に確認することができる。
なお、表示制御部24Fは、補正異常スコアマップにおける異常度が閾値以上の箇所を、矩形などによって囲んで強調して表示してもよい。
また、表示制御部24Fは、補正異常スコアマップと参照データとを、表示部26へ表示してもよい。例えば、表示制御部24Fは、補正異常スコアマップと、参照データと、の双方を並べて表示部26へ表示してもよい。また、表示制御部24Fは、複数の参照データの全てを表示部26へ表示してもよいし、1つの参照データを表示部26へ表示してもよい。また、表示制御部24Fは、入力データに最も類似する1つの参照データを、表示部26へ表示してもよい。
補正異常スコアマップと参照データとを表示部26へ表示することで、ユーザは、異常箇所を含む入力データと、該入力データが異常箇所を含まない正常な場合の様相と、を容易に確認することができる。
なお、表示制御部24Fは、補正異常スコアマップについて、更に後処理を行ってもよい。例えば、表示制御部24Fは、補正異常スコアマップについて、予め定められた対象領域を強調して表示する補正処理を、後処理として実行してもよい。対象領域は、例えば、入力データに含まれる特定の物、特定の物体の領域、などであるが、これらに限定されない。
次に、入力データの異常検出に係る、全体の流れの概要の一例を説明する。図2は、異常検出の概要の流れの説明図である。
異常スコアマップ算出部24Bは、入力データ34から異常スコアマップ40を算出する(ステップS1)。
選択部24Cは、正常データセット30に含まれる正常データ32の内、入力データ34に特徴が類似する正常データ32を、参照データ36として選択する(ステップS2)。補正用スコアマップ算出部24Dは、k個の参照データ36から、k個の補正用スコアマップ38を算出する(ステップS3)。
補正部24Eは、補正用スコアマップ38を用いて異常スコアマップ40を補正し、補正異常スコアマップ42を生成する(ステップS4)。
表示制御部24Fは、補正異常スコアマップ42を表示部26へ表示する。
次に、異常検出装置10の処理部24で実行される情報処理の流れを説明する。
図3は、異常検出装置10で実行される情報処理の流れの一例を示すフローチャートである。
特徴量算出部24Aが、正常データセット30に含まれる1または複数の正常データ32の各々の特徴量を算出する(ステップS100)。また、特徴量算出部24Aは、入力データ34の特徴量を算出する(ステップS102)。
異常スコアマップ算出部24Bは、ステップS102で算出された入力データ34の特徴量を用いて、異常スコアマップ40を算出する(ステップS104)。
選択部24Cは、正常データセット30に含まれる正常データ32から、入力データ34に特徴が類似する正常データ32を、参照データ36として選択する(ステップS106)。
補正用スコアマップ算出部24Dは、ステップS106で選択された参照データ36を用いて、補正用スコアマップ38を算出する(ステップS108)。
補正部24Eは、ステップS108で算出された補正用スコアマップ38を用いて、ステップS104で算出された異常スコアマップ40を補正する(ステップS110)。ステップS110の処理によって、異常スコアマップ40は、補正異常スコアマップ42に補正される。
表示制御部24Fは、ステップS110で生成された補正異常スコアマップ42を、表示部26へ表示する(ステップS112)。そして、本ルーチンを終了する。
以上説明したように、本実施形態の異常検出装置10は、異常スコアマップ算出部24Bと、補正用スコアマップ算出部24Dと、補正部24Eと、を備える。異常スコアマップ算出部24Bは、入力データ34の異常度を表す異常スコアマップ40を算出する。補正用スコアマップ算出部24Dは、正常データセット30に含まれる1または複数の正常データ32の特徴量マップの差分を用いて、異常スコアマップ40を補正するための少なくとも1以上の補正用スコアマップ38を算出する。補正部24Eは、補正用スコアマップ38を用いて異常スコアマップ40を補正する。
ここで、従来技術では、入力データ34における、正常な構造の箇所ではあるが、変動の大きい構造の箇所は、正常であるにもかかわらず異常箇所と誤判定する場合があった。これは、入力データ34中の、正常な構造だがデータ間で変動の大きい構造の箇所は、異常度が大きくなりやすく、異常と誤って過剰検出されやすいためである。
例えば、入力データ34が撮影画像である場合、撮影画像に含まれるエッジの位置や、撮影画像に含まれる撮影時間帯などによって変動の大きい部分は、正常であるにも拘らず、異常箇所と誤判定される場合があった。撮影時間帯などによって変動の大きい部分は、例えば、時間帯によって明るさの変化する場所などである。このため、従来技術では、正常な箇所を異常箇所と判定する過検出が発生する場合があった。
また、従来技術では、データ中の異常箇所検出において、正常クラスと異常クラスの識別は困難であった。この一因としては、データ中の異常箇所の様相は多種多様であり、正常箇所についても、データ間で様相の変動が大きく、正常クラスと異常クラスとで、統計分布上の識別境界があいまいになるためである。様相とは、データ中に現れる見た目、外見、を意味する。
また、従来技術では、多くの場合、入力データ34中の異常箇所を抽出するために、入力データ34中の位置ごとに異常度合いを算出していた。この時、データ間で正常箇所の変動が大きい場合、正常箇所と異常箇所の異常度が同程度以上の数値として算出されることとなる。このため、従来技術では、本来の正常箇所と異常箇所とを正しく見分けることができず、過剰検出が発生することがあった。
また、例えば、画像内の対象領域を限定することで、画像全体での過剰検出を抑制する技術が開示されている。しかし、このような従来技術では、対象領域の内部での過剰検出を抑制する仕組みが無かった。
また、事前学習済みCNNの特徴空間における差分を利用する技術が開示されている。しかし、この従来技術では、過剰検出を抑制する仕組みが無く、依然として変動が大きい正常箇所を異常と誤検出する可能性があった。
一方、本実施形態の異常検出装置10では、正常データ32の特徴量マップの差分から算出した補正用スコアマップ38を用いて、入力データ34の異常スコアマップ40を補正する。正常データ32の特徴量マップの差分は、正常なデータである正常データ中の位置の各々ごとの、データ構造の変動の大きさを表す。このため、補正用スコアマップ38は、正常データ32において、変動の大きい構造の箇所であるほどスコアが高く、変動の小さい構造の箇所であるほどスコアの低いマップとなる。
異常検出装置10では、このような補正用スコアマップ38を用いて、異常スコアマップ40を補正する。このため、異常検出装置10では、入力データ34に含まれる、正常な構造の箇所ではあるが変動の大きい構造の箇所が正常と判定されるように、異常スコアマップ40の異常度を補正することができる。すなわち、異常検出装置10では、正常データ32の特徴量マップの差分から算出した補正用スコアマップ38を用いることで、入力データ34のける変動の大きい構造の箇所の異常度が小さくなるように、異常スコアマップ40を補正することができる。
すなわち、本実施形態の異常検出装置10では、正常データの特徴の差分を利用し、変動の大きい正常箇所での異常度に補正をかける事で、本来は異常箇所でない箇所での過剰検出を減らし、異常検出精度を向上させることができる。
従って、本実施形態の異常検出装置10は、異常検出精度の向上を図ることができる。
また、本実施形態の異常検出装置10では、選択部24Cが、正常データセット30に含まれる正常データ32から、入力データ34に特徴が類似する少なくとも1以上の正常データ32を、参照データ36として選択する。そして、補正用スコアマップ算出部24Dは、参照データ36の特徴の差分に基づいて、差分が大きいほど高いスコアを表す補正用スコアマップ38を算出する。
このように、本実施形態の異常検出装置10では、選択部24Cが、入力データ34に特徴が類似する正常データ32を、参照データ36として選択する。このため、選択部24Cは、入力データ34の目的関数を評価しつつ、特定の正常データ32を選択することができる。このため、選択部24Cは、参照データ36を用いない場合に比べて、入力データ34のタスクの目的に沿った正常データ32を選択することができる。よって、異常検出装置10では、入力データ34における、正常データ32において変動の大きい位置の異常度を、精度よく補正することができる。よって、本実施形態の異常検出装置10は、上記効果に加えて、異常検出精度の向上を更に図ることができる。
また、本実施形態では、表示制御部24Fが、補正異常スコアマップ42を表示部26へ表示する。
このため、本実施形態の異常検出装置10では、入力データ34の位置ごとの異常度を目視で容易に確認可能に提供することができる。
また、本実施形態では、表示制御部24Fは、補正異常スコアマップ42および参照データ36を、表示部26へ表示する。
このため、本実施形態の異常検出装置10では、入力データ34の異常度に加えて、入力データ34が正常な場合にどのように見えるか、その様相を確認可能に提供することができる。
次に、上記実施形態の異常検出装置10のハードウェア構成の一例を説明する。
図4は、上記実施形態の異常検出装置10のハードウェア構成図の一例である。
上記実施形態の異常検出装置10は、CPU86などの制御装置と、ROM(Read Only Memory)88やRAM(Random Access Memory)90やHDD(ハードディスクドライブ)92などの記憶装置と、各種機器とのインターフェースであるI/F部82と、出力情報などの各種情報を出力する出力部80と、ユーザによる操作を受付ける入力部94と、各部を接続するバス96とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
上記実施形態の異常検出装置10では、CPU86が、ROM88からプログラムをRAM90上に読み出して実行することにより、上記各部がコンピュータ上で実現される。
なお、上記実施形態の異常検出装置10で実行される上記各処理を実行するためのプログラムは、HDD92に記憶されていてもよい。また、上記実施形態の異常検出装置10で実行される上記各処理を実行するためのプログラムは、ROM88に予め組み込まれて提供されていてもよい。
また、上記実施形態の異常検出装置10で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の異常検出装置10で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の異常検出装置10で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
また、本実施形態の異常検出装置10は、異常検知の過程で異常スコアマップ40を算出する任意の異常検出器に適用可能である。すなわち、異常スコアマップ算出部24Bには、任意の異常検出器を設置してもよい。本実施形態の異常検出装置10の上記機能部をモジュールとして任意の異常検出器に適用することで、異常と間違えやすい正常な構造の過検出を抑制することができる。また、本実施形態の異常検出装置10における上記機能部のモジュールは、モジュール自体の学習も不要であり、容易にかつ効果的に異常検出精度の向上を図ることが出来る。
なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 異常検出装置
24B 異常スコアマップ算出部
24C 選択部
24D 補正用スコアマップ算出部
24E 補正部
24F 表示制御部
26 表示部
24B 異常スコアマップ算出部
24C 選択部
24D 補正用スコアマップ算出部
24E 補正部
24F 表示制御部
26 表示部
Claims (12)
- 入力データの異常度を表す異常スコアマップを算出する異常スコアマップ算出部と、
正常データセットに含まれる1または複数の正常データの特徴の差分を用いて、前記異常スコアマップを補正するための少なくとも1以上の補正用スコアマップを算出する補正用スコアマップ算出部と、
前記補正用スコアマップを用いて前記異常スコアマップを補正する補正部と、
を備える異常検出装置。 - 前記入力データに特徴が類似する少なくとも1以上の前記正常データを参照データとして選択する選択部を備え、
前記補正用スコアマップ算出部は、
前記参照データの特徴の差分に基づいて、差分が大きいほど高いスコアを表す前記補正用スコアマップを算出する、
請求項1に記載の異常検出装置。 - 前記選択部は、
複数の前記参照データを選択し、
前記補正用スコアマップ算出部は、
複数の前記参照データの各々について、他の前記参照データとの特徴の差が大きいほど高いスコアを表す前記補正用スコアマップを算出する、
請求項2に記載の異常検出装置。 - 前記選択部は、
前記正常データセットに含まれる複数の前記正常データの内、前記特徴である特徴量および取得条件の少なくとも一方が前記入力データに類似する前記正常データを、前記参照データとして選択する、
請求項2または請求項3に記載の異常検出装置。 - 前記取得条件は、
前記正常データおよび前記入力データの、取得タイミング、取得環境、取得元、および、種類、の少なくとも1つである、
請求項4に記載の異常検出装置。 - 前記選択部は、
前記正常データセットに含まれる複数の正常データのうち、前記入力データの前記取得条件との類似度が閾値以上の前記正常データ、または、前記入力データの前記取得条件との類似度が降順に予め定められた数の前記正常データ、を、前記参照データとして選択する、
請求項4または請求項5に記載の異常検出装置。 - 前記補正用スコアマップを用いて補正された前記異常スコアマップである補正異常スコアマップを表示部へ表示する表示制御部を備える、
請求項1~請求項6の何れか1項に記載の異常検出装置。 - 前記表示制御部は、
前記補正異常スコアマップを異常度に応じた表示形態で前記表示部へ表示する、
請求項7に記載の異常検出装置。 - 前記表示制御部は、
前記補正異常スコアマップと参照データとを前記表示部へ表示する、
請求項7または請求項8に記載の異常検出装置。 - 前記入力データおよび前記正常データは、画像データである、
請求項1~請求項9の何れか1項に記載の異常検出装置。 - 入力データの異常度を表す異常スコアマップを算出するステップと、
正常データセットに含まれる1または複数の正常データの特徴の差分を用いて、前記異常スコアマップを補正するための少なくとも1以上の補正用スコアマップを算出するステップと、
前記補正用スコアマップを用いて前記異常スコアマップを補正するステップと、
を含む異常検出方法。 - 入力データの異常度を表す異常スコアマップを算出するステップと、
正常データセットに含まれる1または複数の正常データの特徴の差分を用いて、前記異常スコアマップを補正するための少なくとも1以上の補正用スコアマップを算出するステップと、
前記補正用スコアマップを用いて前記異常スコアマップを補正するステップと、
をコンピュータに実行させるための異常検出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021042811A JP7391907B2 (ja) | 2021-03-16 | 2021-03-16 | 異常検出装置、異常検出方法、および異常検出プログラム |
US17/400,299 US20220301140A1 (en) | 2021-03-16 | 2021-08-12 | Anomaly detection device, anomaly detection method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021042811A JP7391907B2 (ja) | 2021-03-16 | 2021-03-16 | 異常検出装置、異常検出方法、および異常検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022142588A JP2022142588A (ja) | 2022-09-30 |
JP7391907B2 true JP7391907B2 (ja) | 2023-12-05 |
Family
ID=83283784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021042811A Active JP7391907B2 (ja) | 2021-03-16 | 2021-03-16 | 異常検出装置、異常検出方法、および異常検出プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220301140A1 (ja) |
JP (1) | JP7391907B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023007260A (ja) * | 2021-07-01 | 2023-01-18 | 株式会社日立製作所 | 計算機及び外観検査方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6216024B1 (ja) | 2016-11-15 | 2017-10-18 | 株式会社Preferred Networks | 学習済モデル生成方法及び信号データ判別装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10861415B2 (en) * | 2018-08-14 | 2020-12-08 | Facebook Technologies, Llc | Display device with throughput calibration |
US10937230B2 (en) * | 2019-03-29 | 2021-03-02 | Apical Limited | Image processing |
KR102681317B1 (ko) * | 2019-07-16 | 2024-07-03 | 메소 스케일 테크놀러지즈, 엘엘시 | 분석 장치, 방법, 및 시약 |
WO2021256321A1 (ja) * | 2020-06-17 | 2021-12-23 | ソニーグループ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US11379466B2 (en) * | 2020-08-18 | 2022-07-05 | Accenture Global Solutions Limited | Data accuracy using natural language processing |
TW202303275A (zh) * | 2021-06-30 | 2023-01-16 | 艾斯邁科技股份有限公司 | 決定光罩上瑕疵的方法與製作光罩的瑕疵分布圖的方法 |
-
2021
- 2021-03-16 JP JP2021042811A patent/JP7391907B2/ja active Active
- 2021-08-12 US US17/400,299 patent/US20220301140A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6216024B1 (ja) | 2016-11-15 | 2017-10-18 | 株式会社Preferred Networks | 学習済モデル生成方法及び信号データ判別装置 |
Non-Patent Citations (1)
Title |
---|
Niv Cohen,外1名,Transformer-Based Anomaly Segmentation,[online],2020年12月10日,[2023年10月13日検索],インターネット<URL:https://arxiv.org/pdf/2005.02357v2.pdf> |
Also Published As
Publication number | Publication date |
---|---|
JP2022142588A (ja) | 2022-09-30 |
US20220301140A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11256955B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US10216979B2 (en) | Image processing apparatus, image processing method, and storage medium to detect parts of an object | |
JP6032921B2 (ja) | 物体検出装置及びその方法、プログラム | |
US9773322B2 (en) | Image processing apparatus and image processing method which learn dictionary | |
US20130142392A1 (en) | Information processing device and method, program, and recording medium | |
US20170301093A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP4533836B2 (ja) | 変動領域検出装置及びその方法 | |
JP5457606B2 (ja) | 画像処理方法及び装置 | |
US20130070105A1 (en) | Tracking device, tracking method, and computer program product | |
JP4745207B2 (ja) | 顔特徴点検出装置及びその方法 | |
Führ et al. | Combining patch matching and detection for robust pedestrian tracking in monocular calibrated cameras | |
WO2018154709A1 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
JP7159384B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10692215B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US9256792B2 (en) | Image processing apparatus, image processing method, and program | |
JP7438702B2 (ja) | 類似領域検出装置、類似領域検出方法およびプログラム | |
JP7391907B2 (ja) | 異常検出装置、異常検出方法、および異常検出プログラム | |
JP6511950B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2019244536A1 (ja) | 物体追跡装置、物体追跡システム、および物体追跡方法 | |
JP4595834B2 (ja) | 動きベクトル検出方法及び装置 | |
US11983242B2 (en) | Learning data generation device, learning data generation method, and learning data generation program | |
US11716448B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7358269B2 (ja) | 物体検出装置、物体検出システム、および、物体検出方法 | |
JP6468642B2 (ja) | 情報端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231122 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7391907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |