JP7268367B2 - 学習装置、学習方法および学習プログラム - Google Patents
学習装置、学習方法および学習プログラム Download PDFInfo
- Publication number
- JP7268367B2 JP7268367B2 JP2019014035A JP2019014035A JP7268367B2 JP 7268367 B2 JP7268367 B2 JP 7268367B2 JP 2019014035 A JP2019014035 A JP 2019014035A JP 2019014035 A JP2019014035 A JP 2019014035A JP 7268367 B2 JP7268367 B2 JP 7268367B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- generator
- discriminator
- state
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図1は、実施例1にかかる異常検出装置10を説明する図である。図1に示すように、異常検出装置10は、学習フェーズにおいて、GANにより生成器と識別器とを学習し、予測フェーズにおいて、学習済みの識別器を用いて、予測対象の画像データに対して異常検知を実行する学習装置の一例である。
図6は、実施例1にかかる異常検出装置10の機能構成を示す機能ブロック図である。図6に示すように、異常検出装置10は、通信部11、記憶部12、制御部20を有する。
図8は、実施例1にかかる学習処理の流れを示すフローチャートである。図8に示すように、学習処理が指示されると、学習処理部30は、生成器と識別器を初期化する(S101)。
図9は、実施例1にかかる検出処理の流れを示すフローチャートである。図9に示すように、検出処理が指示されると、検出部50は、保存された識別器を読み込む(S201)。続いて、検出部50は、対象データを識別器に入力して、対象データの異常を判定(識別)する(S202)。
上述したように、異常検出装置10は、例えば医療における検出したい異常データが正常データの分布から大きく外れたところには出現しないことに着目し、学習途中の生成器を用いて識別器の再学習を実行する。この結果、異常検出装置10は、正常なデータの周辺に存在すると期待される異常データを網羅的に生成可能な生成器を用いて識別器を再学習することができるので、識別器の識別範囲を拡張することができる。
例えば、学習処理を終了するタイミングは、所定数以上の学習データを用いた学習が完了した時点や識別器の損失が閾値未満となった時点など、任意に設定することができる。また、医療用の画像データに限らず、不正侵入や危険物持ち込みなどを判定する各種分野に適用することができる。
上記実施例では、学習完了後に、識別器を再学習する例を説明したが、これに限定されるものではない。例えば、識別器は、通常のGANによる学習と、一時的に保存された学習途中の生成器を用いて学習とを並行して実行することもできる。つまり、保存した生成器がすでに生成可能な異常データを再び生成する生成器の保存を抑制するために、学習途中でも、識別器の学習に保存した生成器を用いる。このようにすることで、学習時間を短縮できるとともに、識別器の学習を補正しながら学習できるので、識別器の識別性能の向上を図ることもできる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図16は、ハードウェア構成例を説明する図である。図16に示すように、異常検出装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図16に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 正常データDB
14 途中情報DB
15 学習結果DB
20 制御部
30 学習処理部
31 生成器学習部
32 識別器学習部
33 一時保存部
40 再学習部
50 検出部
Claims (8)
- 画像データを生成する生成器と、
本物の画像データと生成された画像データとを識別する識別器と、
学習過程において、前記生成器が前記識別器の識別誤差を最大化するように学習するとともに、前記生成器が生成するデータを用いて、前記識別器が前記識別誤差を最小化するように学習する学習処理を実行する学習部と、
前記学習過程における第1の状態よりも前の状態である第2の状態の前記生成器が生成するデータを用いて、前記第1の状態の前記生成器が生成したデータで学習した前記識別器の再学習を実行する再学習部と
を有することを特徴とする学習装置。 - 前記第2の状態は、前記第1の状態より前の状態であって、前記識別器の損失が閾値以上になった後、再び前記閾値未満となったときの状態であることを特徴とする請求項1に記載の学習装置。
- 前記識別器は、第1の識別器と、前記第1の識別器よりも学習速度が速い第2の識別器とを含み、
前記学習処理は、前記生成器が前記第1の識別器の識別誤差を最大化するように学習するとともに、前記生成器が生成するデータを用いて、前記第1の識別器が前記第1の識別器の前記識別誤差を最小化するように学習するとともに前記第2の識別器が前記第2の識別器の識別誤差を最小化するように学習する学習処理であって、
前記第2の状態は、前記第1の状態より前の状態であって、前記第2の識別器の損失が増加した後に低下し始めるとともに、前記第1の識別器の損失が閾値以上のときの状態であって、
前記再学習部は、前記第2の状態の前記生成器が生成するデータを用いて、前記第1の状態の前記生成器が生成したデータで学習した前記第2の識別器の再学習を実行することを特徴とする請求項1に記載の学習装置。 - 前記再学習部は、前記学習部による前記学習処理が完了した後に、前記再学習を開始することを特徴とする請求項1に記載の学習装置。
- 前記再学習部は、前記学習部による前記学習処理が完了する前に、前記再学習を開始することを特徴とする請求項1に記載の学習装置。
- 前記再学習部によって再学習された再学習済みの前記識別器に、識別対象の画像データを複数領域に分割して入力して、前記再学習済みの前記識別器により異常が検出された場合に、前記再学習済みの前記識別器が異常と示す領域を提示する検出部をさらに有することを特徴とする請求項1に記載の学習装置。
- 学習過程において、画像データを生成する生成器が、本物の画像データと生成された画像データとを識別する識別器の識別誤差を最大化するように学習するとともに、前記生成器が生成するデータを用いて、前記識別器が前記識別誤差を最小化するように学習する学習処理を実行し、
前記学習過程における第1の状態よりも前の状態である第2の状態の前記生成器が生成するデータを用いて、前記第1の状態の前記生成器が生成したデータで学習した前記識別器の再学習を実行する
処理をコンピュータが実行することを特徴とする学習方法。 - 学習過程において、画像データを生成する生成器が、本物の画像データと生成された画像データとを識別する識別器の識別誤差を最大化するように学習するとともに、前記生成器が生成するデータを用いて、前記識別器が前記識別誤差を最小化するように学習する学習処理を実行し、
前記学習過程における第1の状態よりも前の状態である第2の状態の前記生成器が生成するデータを用いて、前記第1の状態の前記生成器が生成したデータで学習した前記識別器の再学習を実行する
処理をコンピュータに実行させることを特徴とする学習プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014035A JP7268367B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
EP20152622.5A EP3690743A1 (en) | 2019-01-30 | 2020-01-20 | Training apparatus, training method, and training program |
CN202010071123.XA CN111507934B (zh) | 2019-01-30 | 2020-01-21 | 训练设备、训练方法和计算机可读记录介质 |
US16/774,100 US11250297B2 (en) | 2019-01-30 | 2020-01-28 | Training apparatus, training method, and non-transitory computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014035A JP7268367B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020123096A JP2020123096A (ja) | 2020-08-13 |
JP7268367B2 true JP7268367B2 (ja) | 2023-05-08 |
Family
ID=69185374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019014035A Active JP7268367B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11250297B2 (ja) |
EP (1) | EP3690743A1 (ja) |
JP (1) | JP7268367B2 (ja) |
CN (1) | CN111507934B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401138B (zh) * | 2020-02-24 | 2023-11-07 | 上海理工大学 | 生成对抗神经网络训练过程的对抗优化方法 |
CN114698398A (zh) * | 2020-10-30 | 2022-07-01 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理装置、电子设备及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018192264A (ja) | 2017-05-18 | 2018-12-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
WO2019169594A1 (en) | 2018-03-08 | 2019-09-12 | Intel Corporation | Methods and apparatus to generate three-dimensional (3d) model for 3d scene reconstruction |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3385889A4 (en) * | 2015-12-01 | 2019-07-10 | Preferred Networks, Inc. | ANOMALY DETECTION SYSTEM, ANOMALY DETECTION METHOD, ANOMALY DETECTION PROGRAM, AND APPRIS MODEL GENERATION METHOD |
US10475174B2 (en) * | 2017-04-06 | 2019-11-12 | General Electric Company | Visual anomaly detection system |
US10937540B2 (en) * | 2017-12-21 | 2021-03-02 | International Business Machines Coporation | Medical image classification based on a generative adversarial network trained discriminator |
CN108769993A (zh) * | 2018-05-15 | 2018-11-06 | 南京邮电大学 | 基于生成对抗网络的通信网络异常用户检测方法 |
-
2019
- 2019-01-30 JP JP2019014035A patent/JP7268367B2/ja active Active
-
2020
- 2020-01-20 EP EP20152622.5A patent/EP3690743A1/en active Pending
- 2020-01-21 CN CN202010071123.XA patent/CN111507934B/zh active Active
- 2020-01-28 US US16/774,100 patent/US11250297B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018192264A (ja) | 2017-05-18 | 2018-12-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
WO2019169594A1 (en) | 2018-03-08 | 2019-09-12 | Intel Corporation | Methods and apparatus to generate three-dimensional (3d) model for 3d scene reconstruction |
Non-Patent Citations (2)
Title |
---|
坂本 俊之,Chainerで作る コンテンツ自動生成AIプログラミング入門,第1版,株式会社シーアンドアール研究所,2017年12月22日,第68ページ、第85-第95ページ,ISBN:978-4-86354-234-1 |
栗原 慧至,画像補完技術を用いた眼底画像の異常検出,電気学会研究会資料,日本,一般社団法人電気学会,2018年09月26日,pp.105-109 |
Also Published As
Publication number | Publication date |
---|---|
EP3690743A1 (en) | 2020-08-05 |
JP2020123096A (ja) | 2020-08-13 |
CN111507934B (zh) | 2024-04-26 |
US11250297B2 (en) | 2022-02-15 |
CN111507934A (zh) | 2020-08-07 |
US20200242412A1 (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7268368B2 (ja) | 学習装置、学習方法および学習プログラム | |
US11055632B2 (en) | Method and device for improving the robustness against “adversarial examples” | |
CN111031071B (zh) | 恶意流量的识别方法、装置、计算机设备及存储介质 | |
JP7268367B2 (ja) | 学習装置、学習方法および学習プログラム | |
CN111931179B (zh) | 基于深度学习的云端恶意程序检测系统及方法 | |
JPWO2019168167A1 (ja) | 検証方法、検証装置、コンピュータプログラム、及び、検証システム | |
JP2021117968A (ja) | 異常検出を扱うデバイス及び方法 | |
US20220269996A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US11562294B2 (en) | Apparatus and method for analyzing time-series data based on machine learning | |
JP2012058787A (ja) | 情報処理装置、およびその処理方法 | |
EP4053757A1 (en) | Degradation suppression program, degradation suppression method, and information processing device | |
US11132790B2 (en) | Wafer map identification method and computer-readable recording medium | |
JP2010231455A (ja) | 信号識別方法および信号識別装置 | |
US20240038278A1 (en) | Method and device for timing alignment of audio signals | |
EP3499429A1 (en) | Behavior inference model building apparatus and method | |
JP2019159835A (ja) | 学習プログラム、学習方法および学習装置 | |
CN112989312A (zh) | 验证码的识别方法、装置、电子设备和存储介质 | |
JP2008040684A (ja) | 信号識別装置の学習方法 | |
CN115931359A (zh) | 一种涡轮泵轴承故障诊断方法及装置 | |
JP4997524B2 (ja) | 多変数決定木構築システム、多変数決定木構築方法および多変数決定木を構築するためのプログラム | |
CN113642017A (zh) | 一种基于自适应特征分类的加密流量识别方法、存储器和处理器 | |
CN114943077A (zh) | 基于深度强化学习的恶意pdf文件对抗样本生成方法 | |
CN110991659B (zh) | 异常节点识别方法、装置、电子设备及存储介质 | |
JP7206892B2 (ja) | 画像検査装置、画像検査のための学習方法および画像検査プログラム | |
US11308404B2 (en) | Synthesizing high-fidelity signals with spikes for prognostic-surveillance applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7268367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |