JP7498863B2 - 異常の検出および位置特定を行うための自己教師あり学習 - Google Patents
異常の検出および位置特定を行うための自己教師あり学習 Download PDFInfo
- Publication number
- JP7498863B2 JP7498863B2 JP2023528523A JP2023528523A JP7498863B2 JP 7498863 B2 JP7498863 B2 JP 7498863B2 JP 2023528523 A JP2023528523 A JP 2023528523A JP 2023528523 A JP2023528523 A JP 2023528523A JP 7498863 B2 JP7498863 B2 JP 7498863B2
- Authority
- JP
- Japan
- Prior art keywords
- cropped image
- image
- training
- data processing
- cropped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title description 17
- 230000004807 localization Effects 0.000 title description 7
- 238000012549 training Methods 0.000 claims description 95
- 230000003190 augmentative effect Effects 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 46
- 238000010801 machine learning Methods 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000002547 anomalous effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 230000003362 replicative effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 description 18
- 231100000241 scar Toxicity 0.000 description 16
- 230000003416 augmentation Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000002950 deficient Effects 0.000 description 4
- 239000003623 enhancer Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本開示は、異常の検出および位置特定を行うための自己教師あり学習に関する。
機械学習モデルを用いた異常検出は、正常なインスタンスで見られるものとは異なる異常パターンおよび欠陥パターンを含むインスタンスを検出することを目的とする。製造欠陥の検出、医用画像の解析およびビデオ監視を含む異常検出に対して、コンピュータビジョンの異なる応用領域からの多くの問題が存在している。典型的な教師あり分類問題とは異なり、異常検出問題は、いくつかの特別な課題に直面している。第1に、問題の性質によって、ラベルされたまたはラベルされていない大量の異常データを得ることが困難である。第2に、高解像度の画像において欠陥部分が小さく、微妙であり得るため、正常パターンと異常パターンとの違いは、しばしば微小である。
本開示の一態様は、機械学習モデルを訓練するための方法を提供する。方法は、データ処理ハードウェアにおいて、訓練サンプルのセットを取得することを含む。方法は、1つ以上の訓練反復の各訓練反復中に、訓練サンプルのセット内の各訓練サンプルに対して、データ処理ハードウェアが、訓練サンプルをトリミングすることによって、第1のトリミング画像を生成することを含む。また、方法は、データ処理ハードウェアが、訓練サンプルをトリミングすることによって、第1のトリミング画像とは異なる第2のトリミング画像を生成することと、データ処理ハードウェアが、第2のトリミング画像の第1の部分を複製することとを含む。また、方法は、データ処理ハードウェアが、第2のトリミング画像の複製された第1の部分を第2のトリミング画像の第2の部分に重ねることによって、増強された第2のトリミング画像を形成することを含む。第1の部分は、第2の部分とは異なる。また、モデルは、データ処理ハードウェアが、第1のトリミング画像および増強された第2のトリミング画像を用いて機械学習モデルを訓練することを含む。
詳細な説明
機械学習モデルを用いた異常検出は、正常なインスタンスで見られるものとは異なる異常パターンおよび欠陥パターンを含むインスタンスを検出することを目的とする。製造欠陥の検出、医用画像の解析およびビデオ監視を含む異常検出に対して、コンピュータビジョンの異なる応用領域からの多くの問題が存在している。典型的な教師あり分類問題とは異なり、異常検出問題は、いくつかの特別な課題に直面している。第1に、問題の性質によって、ラベルされたまたはラベルされていない大量の異常データを得ることが困難である。第2に、高解像度の画像において欠陥部分が小さく、微妙であり得るため、正常パターンと異常パターンとの違いは、しばしば微小である。
Claims (11)
- 機械学習モデルを訓練するための方法であって、前記方法は、
データ処理ハードウェアにおいて、訓練サンプルのセットを取得することと、
1つ以上の訓練反復の各訓練反復中に、前記訓練サンプルのセット内の各訓練サンプルに対して、
前記データ処理ハードウェアが、前記訓練サンプルをトリミングすることによって、第1のトリミング画像を生成することと、
前記データ処理ハードウェアが、前記訓練サンプルをトリミングすることによって、前記第1のトリミング画像とは異なる第2のトリミング画像を生成することと、
前記データ処理ハードウェアが、前記第2のトリミング画像の第1の部分を複製することと、
前記データ処理ハードウェアが、前記第2のトリミング画像の前記複製された第1の部分を前記第2のトリミング画像の第2の部分に重ねることによって、増強された第2のトリミング画像を形成することとを含み、前記第1の部分は、前記第2の部分とは異なり、前記方法はさらに、
前記データ処理ハードウェアが、前記第1のトリミング画像および前記増強された第2のトリミング画像を用いて前記機械学習モデルを訓練することを含む、方法。 - 前記第2のトリミング画像の前記複製された第1の部分は、可変の長さおよび可変の幅を有する矩形の形状を有する、請求項1に記載の方法。
- 前記第2のトリミング画像の前記複製された第1の部分を前記第2のトリミング画像の前記第2の部分に重ねることは、
前記第2のトリミング画像の前記第2の部分に対して前記第2のトリミング画像のランダムな位置を選択することと、
前記選択されたランダムな位置で、前記第2のトリミング画像の前記複製された第1の部分を重ねることとを含む、請求項1または2に記載の方法。 - 前記第1のトリミング画像および前記増強された第2のトリミング画像を用いて前記機械学習モデルを訓練することは、
前記第1のトリミング画像の第1の交差エントロピー損失を決定することと、
前記増強された第2のトリミング画像の第2の交差エントロピー損失を決定することと、
前記第1の交差エントロピー損失および前記第2の交差エントロピー損失に基づいて、総交差エントロピー損失を決定することとを含む、請求項1から3のいずれかに記載の方法。 - 前記総交差エントロピー損失は、前記第1の交差エントロピー損失と前記第2の交差エントロピー損失との合計を含む、請求項4に記載の方法。
- 前記訓練サンプルのセット内の各訓練サンプルは、ラベル付けされていない、請求項1から5のいずれかに記載の方法。
- 前記機械学習モデルは、畳み込みニューラルネットワークを含む、請求項1から6のいずれかに記載の方法。
- 前記機械学習モデルは、画像データ内の異常パターンを検出するように構成されている、請求項1から7のいずれかに記載の方法。
- 前記第2のトリミング画像の前記複製された第1の部分を前記第2のトリミング画像の前記第2の部分に重ねる前に、前記データ処理ハードウェアが、前記第2のトリミング画像の前記複製された第1の部分を回転させることをさらに含む、請求項1から8のいずれかに記載の方法。
- 前記第2のトリミング画像の前記複製された第1の部分を前記第2のトリミング画像の前記第2の部分に重ねる前に、前記データ処理ハードウェアが、カラージッタを前記第2のトリミング画像の前記複製された第1の部分に適用することをさらに含む、請求項1から9のいずれかに記載の方法。
- データ処理ハードウェアと、
前記データ処理ハードウェアと通信するメモリハードウェアとを備え、前記メモリハードウェアは、前記データ処理ハードウェア上で実行されると、前記データ処理ハードウェアに請求項1から10のいずれか1項に記載の方法を実行させる命令を記憶する、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063113780P | 2020-11-13 | 2020-11-13 | |
US63/113,780 | 2020-11-13 | ||
PCT/US2021/059030 WO2022103993A1 (en) | 2020-11-13 | 2021-11-11 | Self-supervised learning for anomaly detection and localization |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023549606A JP2023549606A (ja) | 2023-11-28 |
JP7498863B2 true JP7498863B2 (ja) | 2024-06-12 |
Family
ID=78824984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023528523A Active JP7498863B2 (ja) | 2020-11-13 | 2021-11-11 | 異常の検出および位置特定を行うための自己教師あり学習 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11941084B2 (ja) |
EP (1) | EP4244826A1 (ja) |
JP (1) | JP7498863B2 (ja) |
KR (1) | KR20230104253A (ja) |
CN (1) | CN116508069A (ja) |
WO (1) | WO2022103993A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11843623B2 (en) * | 2021-03-16 | 2023-12-12 | Mitsubishi Electric Research Laboratories, Inc. | Apparatus and method for anomaly detection |
CN116052094B (zh) * | 2023-03-07 | 2023-06-09 | 浙江华是科技股份有限公司 | 一种船舶检测方法、系统及计算机存储介质 |
CN116777906B (zh) * | 2023-08-17 | 2023-11-14 | 常州微亿智造科技有限公司 | 工业检测中的异常检测方法、异常检测装置 |
CN117351432B (zh) * | 2023-12-04 | 2024-02-23 | 环球数科集团有限公司 | 一种用于景区游客的多目标识别模型的训练系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020061066A (ja) | 2018-10-12 | 2020-04-16 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
US20200117953A1 (en) | 2018-10-11 | 2020-04-16 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102459853B1 (ko) * | 2017-11-23 | 2022-10-27 | 삼성전자주식회사 | 디스패리티 추정 장치 및 방법 |
CN110276362A (zh) * | 2018-03-13 | 2019-09-24 | 富士通株式会社 | 训练图像模型的方法和装置以及分类预测方法和装置 |
US10853934B2 (en) * | 2018-09-19 | 2020-12-01 | Indus.Ai Inc | Patch-based scene segmentation using neural networks |
US20230168513A1 (en) * | 2020-06-19 | 2023-06-01 | Hes Ip Holdings, Llc | Image display systems for eyebox expansion and methods of making the same |
-
2021
- 2021-11-11 JP JP2023528523A patent/JP7498863B2/ja active Active
- 2021-11-11 CN CN202180076405.1A patent/CN116508069A/zh active Pending
- 2021-11-11 WO PCT/US2021/059030 patent/WO2022103993A1/en active Application Filing
- 2021-11-11 KR KR1020237019129A patent/KR20230104253A/ko unknown
- 2021-11-11 EP EP21820772.8A patent/EP4244826A1/en active Pending
- 2021-11-11 US US17/454,605 patent/US11941084B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200117953A1 (en) | 2018-10-11 | 2020-04-16 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
JP2020061066A (ja) | 2018-10-12 | 2020-04-16 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220156521A1 (en) | 2022-05-19 |
KR20230104253A (ko) | 2023-07-07 |
JP2023549606A (ja) | 2023-11-28 |
WO2022103993A1 (en) | 2022-05-19 |
US11941084B2 (en) | 2024-03-26 |
EP4244826A1 (en) | 2023-09-20 |
CN116508069A (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7498863B2 (ja) | 異常の検出および位置特定を行うための自己教師あり学習 | |
US11610346B2 (en) | Image reconstruction using machine learning regularizers | |
Zavrtanik et al. | Reconstruction by inpainting for visual anomaly detection | |
US20220058446A1 (en) | Image processing method and apparatus, terminal, and storage medium | |
Venegas-Andraca et al. | Processing images in entangled quantum systems | |
US20190205700A1 (en) | Multiscale analysis of areas of interest in an image | |
US10114733B1 (en) | System and method for automated testing of user interface software for visual responsiveness | |
US11223543B1 (en) | Reconstructing time series datasets with missing values utilizing machine learning | |
US20200034279A1 (en) | Deep machine learning in software test automation | |
CN109961423B (zh) | 一种基于分类模型的肺结节检测方法、服务器及存储介质 | |
CN113939844A (zh) | 基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统 | |
CN109688285A (zh) | 重组和修复撕裂的图像碎片 | |
Ogawa et al. | Effect of augmented datasets on deep convolutional neural networks applied to chest radiographs | |
CN115136192A (zh) | 对模型的输入实例的分布外检测 | |
Presenti et al. | Automatic anomaly detection from X-ray images based on autoencoders | |
Doorenbos et al. | Data invariants to understand unsupervised out-of-distribution detection | |
US20210118133A1 (en) | System, method, apparatus and computer program product for the detection and classification of different types of skin lesions | |
Sun et al. | Improving explainable ai with patch perturbation-based evaluation pipeline: a covid-19 x-ray image analysis case study | |
Hogeweg et al. | Foreign object detection and removal to improve automated analysis of chest radiographs | |
US20230084240A1 (en) | Neural-network-based mapping of potential leakage pathways of subsurface carbon dioxide storage | |
US20230237662A1 (en) | Dual-level model for segmentation | |
US20210209405A1 (en) | Binomial subsample data augmented cnn for image classification | |
CN108460413A (zh) | 图像处理方法、神经网络的训练方法、装置以及设备 | |
CN114902283A (zh) | 用于光学相干断层扫描分割的深度学习 | |
TWI765475B (zh) | 圖像瑕疵檢測方法、裝置、電腦裝置及介質 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230726 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7498863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |