JP6726641B2 - 画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法 - Google Patents

画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法 Download PDF

Info

Publication number
JP6726641B2
JP6726641B2 JP2017104449A JP2017104449A JP6726641B2 JP 6726641 B2 JP6726641 B2 JP 6726641B2 JP 2017104449 A JP2017104449 A JP 2017104449A JP 2017104449 A JP2017104449 A JP 2017104449A JP 6726641 B2 JP6726641 B2 JP 6726641B2
Authority
JP
Japan
Prior art keywords
route
classification
combined output
processing
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017104449A
Other languages
English (en)
Other versions
JP2018200530A (ja
Inventor
洋一 木川
洋一 木川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Priority to JP2017104449A priority Critical patent/JP6726641B2/ja
Priority to CN201810449629.2A priority patent/CN108932523B/zh
Priority to KR1020180054177A priority patent/KR20180129640A/ko
Priority to US15/985,950 priority patent/US11410409B2/en
Publication of JP2018200530A publication Critical patent/JP2018200530A/ja
Application granted granted Critical
Publication of JP6726641B2 publication Critical patent/JP6726641B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法に関する。
従来、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた画像認識処理が行われている。
この種の畳み込みニューラルネットワークは、例えば、特徴量抽出処理としてコンボリューション処理及びプーリング処理を交互に実行し、これらの後段にて全結合処理を実行するように構築される。
コンボリューション処理では、入力される画像データに対して学習済みの複数のフィルタを用いたコンボリューション（畳み込み）処理が行われ、これにより、画像データに含まれる特徴量が抽出される。コンボリューション処理に続くプーリング処理では、学習済みの複数のフィルタを用いて、コンボリューション処理によって得られる特徴量マップのうち近傍数画素の領域から最大値または平均値を特徴量として出力するプーリング処理が行われ、この処理により、特徴量の微小な変化が吸収される。
全結合処理では、コンボリューション処理及びプーリング処理によって抽出された特徴量に対して、学習済みの複数のユニットを用いた全結合処理が行われ、これにより、画像データに含まれる対象物が分類される。
特開２０１６−１１５２４８号公報
ここで、畳み込みニューラルネットワークを、例えば、製品が良品であるか、欠陥品であるかを画像によって判定するシステムに適応させる場合には、十分な注意が必要である。
すなわち、畳み込みニューラルネットは、比較的高い識別率を発揮し得る。しかし、欠陥品を良品と判定してしまう「見逃し」が発生しないような高い識別率（すなわち、「見逃し」の発生数量が極めてゼロに近いような識別率）を発揮できないと、精度面で、良品／欠陥品を判定するシステムに畳み込みニューラルネット適応させることは困難である。
また、欠陥品を良品と判定してしまった画像を、改めて欠陥品として判定させるには、学習段階にまで遡り、再度ネットワークを構築し、検証することが必要となるため、運用面でも、良品、欠陥品を判定するシステムに畳み込みニューラルネット適応させることは、困難である。
本発明は、上記事情に鑑み、十分に精度良く画像を分類することを可能とする画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法を提供することを課題とする。
本発明に係る画像分類プログラムは、
入力された画像を分類するためのプログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
かかる構成によれば、上記ネットワークにおける処理経路を抽出し、抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、入力された画像の分類と判断することが可能になる。
これにより、十分に精度良く分類することが可能となる。
上記構成の画像分類プログラムにおいては、
前記経路抽出手段は、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、前記全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する手段であり、
前記選択される特徴値、及び、前記選択される全結合出力値の少なくとも一方には、最大値が含まれていることが好ましい。
かかる構成によれば、経路抽出手段が、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出し、選択される特徴値、及び、選択される全結合出力値の少なくとも一方には、最大値が含まれていることによって、より十分に精度良く画像を分類することが可能となる。
上記構成の画像分類プログラムにおいては、
前記経路抽出手段は、前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出する手段であり、
前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、
該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれていることが好ましい。
かかる構成によれば、経路抽出手段が、特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出し、特徴値群と全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれていることによって、さらに十分に精度良く画像を分類することが可能となる。
本発明の分類データ作成用プログラムは、
画像分類装置用の分類データを作成する分類データ作成プログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出手段と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる。
かかる構成によれば、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、特徴値群と全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出し、抽出した設定経路と画像を分類するための分類とを関連付けることが可能となる。
これにより、十分に精度良く画像を分類することが可能な分類データが得られる。
従って、この分類データを用いることによって、十分に精度良く画像を分類することが可能となる。
本発明の分類データ作成方法は、
画像分類装置用の分類データを作成する方法であって、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するネットワーク処理工程と、
前記ネットワーク処理工程における前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出工程と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け工程とを含む。
かかる構成によれば、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、特徴値群と全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出し、抽出した設定経路と画像を分類するための分類とを関連付けることが可能となる。
これにより、十分に精度良く画像を分類することが可能な分類データが得られる。
従って、この分類データを用いることによって、十分に精度良く画像を分類することが可能となる。
以上の通り、本発明によれば、十分に精度良く画像を分類することを可能とする画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法が提供される。
本発明の実施形態に係る画像分類プログラムによって実行される処理を示すブロック図 一般的な畳み込みニューラルネットワークにおける処理の流れを模式的に示す図 一般的な特徴量抽出処理の流れを模式的に示す図 一般的な全統合処理の流れを模式的に示す図 本実施形態の画像分類プログラムに用いられる畳み込みニューラルネットワークの全経路を模式的に示す図 抽出される経路の一例を示す概略図 抽出される経路の一例を示す概略図 抽出される経路の一例を示す概略図 抽出される経路の一例を示す概略図 本発明の実施形態に係る画像分類システムのブロック図 本実施形態の画像分類プログラムが適用される検査装置の概略側面図 本発明の実施形態に係る分類データ作成プログラムによって実行される処理を示すブロック図 実施例１の結果を示すグラフ 実施例２の結果を示すグラフ 実施例３の結果を示すグラフ 実施例４の結果を示すグラフ
以下、本発明の実施形態に係る画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法について、図面を参照しながら説明する。
まず、本実施形態の画像分類プログラムについて、説明する。
図１に示すように、本実施形態の画像分類プログラムは、
入力された画像を分類するためのプログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
本実施形態の画像分類プログラムは、入力された画像を分類するためのプログラムである。
入力される画像は、該画像中に分類の対象物が含まれていればよく、特に限定されない。
本実施形態の画像分類プログラムは、コンピュータを、入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークとして機能させる。
本実施形態では、特徴量抽出処理と全統合処理とを実行するように構築されるネットワークの一例として、畳み込みニューラルネットワークを採用する態様について説明するが、本実施形態で採用するネットワークは、これに特に限定されるものではない。
ここで、畳み込みニューラルネットワークの一般的な処理について、以下、説明する。
畳み込みニューラルネットワークは、画像認識分野でよく使われ、入力データである画像データから所定の形状やパターンを認識する画像認識技術に応用されるものである。
畳み込みニューラルネットワークは、２次元画像に対してフィルタによるコンボリューション（畳み込み）処理を少なくとも行うことによって、入力された画像データから特徴量を抽出する。
畳み込みニューラルネットワークは、コンボリューション処理（畳み込み処理）を実行する層とプーリング処理を実行する層とを繰り返す特徴量抽出層と、全結合処理を実行する全結合層とを有する多層ネットワークから構成されている。
畳み込みニューラルネットワークにおいては、コンボリューション処理を実行する、特徴量の抽出に有効なフィルタの係数を、学習用画像（学習用画像群）などの学習用データ（教育用データ）を用いて学習させる。フィルタの係数は、教育用データを用いて、フィルタによるコンボリューション処理と、一定領域のコンボリューション処理結果をまとめるプーリング処理とを繰り返して学習することによって、得られる。
コンボリューション処理では、前階層から入力される画像データに対して学習済みのフィルタを用いたコンボリューション処理（畳み込み演算処理）が行われ、これによって、画像データに含まれる特徴量が抽出される。コンボリューション処理に続くプーリング処理では、コンボリューション処理によって得られる特徴量のマップのうち、互いに隣接する数画素程度の領域から最大値または平均値を出力するプーリング処理が行われ、これによって、該領域がひとまとめにされて、特徴量が抽出される。このプーリング処理によって、位置感度が低下するものの、位置変化に対する認識性能が向上するため、特徴量の微小な変化が吸収される。
畳み込みニューラルネットワークにおいては、このようなコンボリューション処理およびプーリング処理による処理を繰り返すことによって、より精度良く特徴量が抽出される。
全結合処理では、コンボリューション処理およびプーリング処理によって得られた特徴量を結合して最終的な処理データを出力する。
図２に示す畳み込みニューラルネットワークＣＮＮは、入力される画像データに対してコンボリューション処理を実行するコンボリューション（Convolution）層Ｃと、プーリング処理を実行するプーリング（Pooling）層Ｐと、全結合処理を実行する全結合（fully Connected）層Ｆとを有する。
コンボリューション層Ｃは、１つ以上備えられている。図２では、２つのコンボリューション層Ｃ１、Ｃ２が備えられている。各コンボリューション層Ｃは、複数のフィルタを有する。
コンボリューション層Ｃは、前階層から入力される画像データに対して周知のコンボリューション処理を実行し、その処理結果（データ）を出力する。
コンボリューション層Ｃは、プーリング層Ｐの前段に、複数連続して備えられていてもよい。
第１層目（最前段）のコンボリューション層Ｃ１は、装置外部から入力される画像データＤをコンボリューション処理し、処理結果（データ）をプーリング層Ｐ１に出力する。
次の第２層目（最後段の）コンボリューション層Ｃ１は、プーリング層Ｐ１から入力される処理結果（データ）をコンボリューション処理し、その処理結果をプーリング層Ｐ２に出力する。
プーリング層Ｐは、１つ以上備えられている。図２では、２つのプーリング層Ｐ１、Ｐ２が備えられている。各プーリング層Ｐは、複数のフィルタを有する。なお、プーリング層Ｐが備えられていない構成を採用してもよい。
プーリング層Ｐは、コンボリューション層Ｃによる処理結果（データ）に対して周知のプーリング処理を実行して、その処理結果（データ）を出力する。
第１層目（最前段）のプーリング層Ｐ１は、コンボリューション層Ｃ１から入力される処理結果（データ）をプーリング処理し、その処理結果（データ）をコンボリューション層Ｃ２に出力する。
次の第２層目（最後段）のプーリング層Ｐ２は、コンボリューション層Ｃ２から入力される処理結果（データ）をプーリング処理し、その処理結果（データ）を全結合層Ｆに出力する。
全結合層Ｆは、１つ以上備えられている。図２では、３つの全結合層Ｆ１、Ｆ２、Ｆ３が備えられている。各全結合層Ｆは、複数のユニットを有する。
全結合層Ｆは、直前のプーリング層Ｐ（最後段のプーリング層Ｐ）による処理結果に対して周知の全結合処理を実行して、その処理結果（データ）を出力する。
第１層目（最前段）の全結合層Ｆ１は、プーリング層Ｐ２から入力される処理結果（データ）を全結合処理し、その処理結果（データ）を全結合層Ｆ２に出力する。
次の第２層目の全結合層Ｆ２は、全結合層Ｆ１から入力される処理結果（データ）を全結合処理し、その処理結果（データ）を全結合層Ｆ３に出力する。
次の第３層目（最後段）の全結合層Ｆ３は、その処理結果を、画像がどの分類に属するのかを分類し、識別結果として出力する。
図２では、コンボリューション層Ｃとプーリング層Ｐとがセットとなって、このセットが段階的に接続されている。
次に、図２の畳み込みニューラルネットワークＣＮＮでの一般的な処理の流れについて、図３及び図４を参照しつつ説明する。なお、各処理は、画像分類システムの特徴量抽出演算部によって実行される。
図３に示すように、第１層目のコンボリューション層Ｃ１による処理では、入力される画像データＤを例えばラスタスキャンにより所定の画素サイズ、例えば、図３にハッチングで示す５×５画素ごとに走査する。なお、走査に用いられる画素サイズは、５×５画素に限られず適宜変更され得る。そして、走査したデータに対して周知のコンボリューション処理を行い、処理結果Ｃ１（１）、Ｃ１（２）・・・を第１層目のコンボリューション層Ｃ１の出力データとする。
第１層目のプーリング層Ｐ１による処理では、第１層目のコンボリューション層Ｃ１から入力される出力データＣ１（１）、Ｃ１（２）、・・・に対して、それぞれ所定の画素サイズ、この場合、２×２画素ごとに周知のプーリング処理を行い、処理結果Ｐ１（１）、Ｐ１（２）・・・をプーリング層Ｐ１の出力データとする。なお、走査に用いられる画素サイズは、２×２画素に限られず適宜変更され得る。
これらコンボリューション処理及びプーリング処理によって、入力された画像データＤに含まれる特徴量が抽出される。
同様に、第２層目のコンボリューション層Ｃ２による処理では、前階層である第１層目のプーリング層Ｐ１から入力される出力データＰ１（１）、Ｐ１（２）、・・・に対して、それぞれ所定の画素サイズごとに走査する。そして、走査したデータに対して周知のコンボリューション処理を行い、処理結果Ｃ２（１）、Ｃ２（２）、・・・を第２層目のコンボリューション層Ｃ２の出力データとする。
また、第２層目のプーリング層Ｐ２による処理では、第２層目のコンボリューション層Ｃ２から入力される出力データＣ２（１）、Ｃ２（２）、・・・に対して、それぞれ所定の画素サイズごとに周知のプーリング処理を行い、処理結果Ｐ２（１）、Ｐ２（２）・・・を第２層目のプーリング層Ｐ２の出力データとする。これらコンボリューション処理及びプーリング処理によって、入力された画像データＤに含まれる特徴量が、さらに抽出される。
このように、複数のコンボリューション層Ｃ１、Ｃ２、・・・、及び、複数のプーリング層Ｐ１、Ｐ２、・・・による処理を繰り返すことによって、画像データＤに含まれる種々の特徴量が抽出され、最終的に抽出された特徴量が全結合層Ｆに出力される。
図４に示すように、第１層目の全結合層Ｆ１による処理では、前階層である第２層目のプーリング層Ｐ２から入力される複数の出力データＰ２（１）、Ｐ２（２）・・・に対して、重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ１（１）、Ｆ１（２）・・・を第１層目の全結合層Ｆ１の出力データとする。
第２層目の全結合層Ｆ２による処理では、前階層である第１層目の全結合層Ｆ１から入力される複数の出力データＦ１（１）、Ｆ１（２）・・・に対して、重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ２（１）、Ｆ２（２）・・・を第２層目の全結合層Ｆ２の出力データとする。
第３層目の全結合層Ｆ３による処理では、前階層である第２層目の全結合層Ｆ２から入力される複数の出力データＦ２（１）、Ｆ２（２）・・・に対して、重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ３（１）、Ｆ３（２）・・・を第３層目の全結合層Ｆ３の出力データとする。
第３層目の全結合層Ｆ３から出力される出力データＦ３（１）、Ｆ３（２）・・・は、所望の画像の分類結果（ここでは、クラス１、クラス２、クラス３の３つの分類）に対応する。
ここで、従来の画像分類プログラムでは、畳み込みニューラルネットワークにおいて、特徴量抽出処理を実行する層の全てのフィルタを通り、且つ、全結合処理を実行する層の全てのユニットを通る経路を辿って各処理が実行され、最終的に全結合部から出力された数値が相対的に比較されて、画像が分類されていた。
しかし、このように画像を処理すると、後述する実施例に示すように、十分に精度良く画像を分類することが困難となる。
そこで、本実施形態の画像分類プログラムでは、
畳み込みニューラルネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
例えば図５に示す畳み込みニューラルネットワークにおいて、畳み込みニューラルネットワークＣＮＮは、連続した２つのコンボリューション層Ｃ（Ｃ１、Ｃ２）と、その後段の１つのプーリング層Ｐ（Ｐ１）と、その後段の連続した３つの全結合層Ｆ（Ｆ１、Ｆ２、Ｆ３）とを有する。
コンボリューション層Ｃ１は、３個のフィルタを有し、コンボリューション層Ｃ２は、８個のフィルタを有し、プーリング層Ｐ１は、８個のフィルタを有し、全結合層Ｆ１は、２４個のユニットを有し、全結合層Ｆ２は、８個のユニットを有し、全結合層Ｆ３は、３個のユニットを有する。
これらコンボリューション層Ｃ、プーリング層Ｐ、及び全結合層Ｆによって、畳み込みニューラルネットワークＣＮＮが構成されている。
本実施形態では、このように構成された畳み込みニューラルネットワークＣＮＮにおいて、分類と関連付けられた予め設定された複数の設定経路が設定されている。
なお、設定経路は、例えば、後述する設定経路抽出手段によって抽出される。
本実施形態の画像分類プログラムは、コンピュータを、このような畳み込みニューラルネットワークＣＮＮにおける処理経路を抽出する経路抽出手段として機能させる。
また、コンピュータを、経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
具体的には、本実施形態では、前記経路抽出手段が、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、前記全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する手段であり、
前記選択される特徴値、及び、前記選択される全結合出力値の少なくとも一方には、最大値が含まれている。
ここで、特徴値は、各フィルタによって得られる特徴量に含まれる値のうち、同階層の他のフィルタによって得られる特徴量と比較し得るような代表的な値であり、該特徴値としては、最大値、平均値や、中間値等が挙げられる。
このような経路としては、例えば、
特徴量抽出処理によって得られる複数の特徴値のうちの最大値と、全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合処理によって得られる複数の全結合出力値のうちの最大値とをそれぞれ結ぶ経路、
等が挙げられる。
この他、上記経路としては、例えば、
特徴量抽出処理によって得られる複数の特徴値のうちの最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とをそれぞれ結ぶ経路、
等も挙げられる。
さらに、この他、上記経路としては、例えば、
特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合処理によって得られる複数の全結合出力値のうちの最大値及び第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
なお、経路抽出手段が、この他の経路を抽出してもよいことは、いうまでもない。
例えば、図６〜図９においては、経路抽出手段は、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を、上記のように抽出する。
さらに具体的には、本実施形態では、図６〜図９に太線で示すように、前記経路抽出手段が、前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出する手段であり、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、例えば上記のように経路を抽出する。
このような経路としては、例えば、図６、図９に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とを結ぶ経路、
等が挙げられる。
また、この他、上記経路としては、例えば、図７に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
さらに、この他、上記経路としては、例えば、図８に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値及び第２位の値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値及び第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
例えば、図６〜図９においては、経路抽出手段は、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群と、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出し、特徴値群と全結合出力値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、例えば上記のように経路を抽出する。
加えて、本実施形態では、図６〜図９に太線で示すように、経路抽出手段は、全結合層Ｆのうち全結合層Ｆ１と全結合層Ｆ２との間、及び、全結合層Ｆ２と全結合層Ｆ３との間においても、上記したプーリング層Ｐ１と全結合層Ｆ１との間で経路を抽出するのと同様に、経路を抽出する。
全結合層Ｆ１と全結合層Ｆ２との間については、具体的には、経路抽出手段は、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値と、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する。
より具体的には、経路抽出手段は、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第１の全結合出力値群）と、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第２の全結合出力値群）とから選択される値を結ぶ経路を抽出し、第１の全結合出力値群と第２の全結合出力値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、経路を抽出する。
全結合層Ｆ２と全結合層Ｆ３との間については、経路抽出手段は、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値と、全結合層Ｆ３の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する。
より具体的には、経路抽出手段は、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第２の全結合出力値群）と、全結合層Ｆ３の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第３の全結合出力値群）とから選択される値を結ぶ経路を抽出し、第２の全結合出力値群と第３の全結合出力値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、経路を抽出する。
なお、経路抽出手段が、この他の経路を抽出してもよいことは、いうまでもない。
また、図５に示す畳み込みニューラルネットワークにおいては、プーリング層Ｐ１から全結合層Ｆ３に至るまでの経路が決定されると、それよりも前段の、コンボリューション層Ｃ１からプーリング層Ｐ１に至るまでの経路が決定される。
しかし、コンボリューション層Ｃ１からプーリング層Ｐ１に至るまでの経路が、前述した図３及び図４のように、後段の経路によって決定されないような経路である場合には、経路抽出手段が、コンボリューション層Ｃ１とコンボリューション層Ｃ２との間、及び、コンボリューション層Ｃ２とプーリング層Ｐ１との間においても、上記と同様に、経路を抽出してもよい。
コンボリューション層Ｃ１とコンボリューション層Ｃ２との間については、経路抽出手段は、コンボリューション層Ｃ１による処理によって得られる複数の特徴値から少なくとも１つ選択される値と、コンボリューション層Ｃ２による処理によって得られる複数の特徴値から少なくとも１つ選択される値とを結ぶ経路を抽出してもよい。
より具体的には、経路抽出手段は、コンボリューション層Ｃ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第１の特徴値群）と、コンボリューション層Ｃ２の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第２の特徴値群）とから選択される値を結ぶ経路を抽出し、第１の特徴値群と第２の特徴値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、経路を抽出してもよい。
コンボリューション層Ｃ２とプーリング層Ｐ１との間については、経路抽出手段は、コンボリューション層Ｃ２による処理によって得られる複数の特徴値から少なくとも１つ選択される値と、プーリング層Ｐ１による処理によって得られる複数の特徴値から少なくとも１つ選択される値とを結ぶ経路を抽出してもよい。
より具体的には、経路抽出手段は、コンボリューション層Ｃ２の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第２の特徴値群）と、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第３の特徴値群）とから選択される値を結ぶ経路を抽出し、第２の特徴値群と第３の特徴値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、経路を抽出してもよい。
本実施形態の画像分類プログラムは、経路抽出手段が抽出した経路と、画像の分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
複数の設定経路は、それぞれ、例えば、分類１、分類２、分類３、・・・・といった複数の画像の分類のいずれかに予め関連付けられている。
判断部は、経路抽出手段が抽出した経路と、複数の設定経路とを比較し、一致する経路に関連付けられた分類を、入力された画像の分類と判断する。
なお、経路抽出手段で抽出されなかった経路については、判断部は、対象となる分類に属さないと判断する。
次に、本実施形態の画像分類プログラムがコンピュータを機能させる場合の画像分類システムについて説明する。
図１０に示すように、本実施形態の画像分類システム１０は、コンピュータの制御部に格納される。該画像分類システム１０は、入力部１１と、特徴量演算部１３と、経路抽出手段１５と、記憶部１７と、判断部１９とを備える。
特徴量演算部１３と、経路抽出手段１５と、判断部１９とは、ＣＰＵといったコンピュータの制御部に格納され、記憶部１７は、サーバ、ハードディスク等に格納される。
入力部１１は、分類する画像の画像データが入力され、入力された画像データを特徴量演算部１３に入力する機能を有する。
特徴量演算部１３は、入力部１１から入力された画像データに対して、畳み込みニューラルネットワークにおける特徴量抽出処理と全結合処理とを実行する機能を有する。本実施形態では、特徴量演算部１３は、特徴量抽出処理として、コンボリューション処理とプーリング処理とを実行する。
図５に示す畳み込みニューラルネットワークでは、画像分類システム１０の特徴量演算部１３は、入力される画像データＤ（図５では１２８×１２８画素）を、例えばラスタスキャンにより所定のフィルタ（図５では３個）の各所定の画素サイズ（図５では１０×１０画素）ごとに走査する。そして、走査したデータに対して周知のコンボリューション処理を行い、処理結果Ｃ１（１）、Ｃ１（２）・・・を第１層目のコンボリューション層Ｃ１の出力とする（図５では１１９×１１９画素、３つの画像データ）。
特徴量演算部１３は、前階層である第１層目のコンボリューション層Ｃ１から入力される出力データＣ１（１）、Ｃ１（２）、・・・に対して、それぞれ所定のフィルタ（図５では８個）の各所定の画素サイズ（図５では５６×５６画素）ごとに周知のコンボリューション処理を行い、処理結果Ｃ２（１）、Ｃ２（２）・・・を第２層目のコンボリューション層Ｃ２の出力データとする（図５では６４×６４画素、８個の画像データ）。
特徴量演算部１３は、前階層（最終層）である第２層目のコンボリューション層Ｃ２から入力される出力データＣ２（１）、Ｃ２（２）、・・・に対して、それぞれ所定の画素サイズ（図５では８×８画素）ごとに走査する。そして、走査したデータに対して周知のプーリング処理を行い、処理結果Ｐ１（１）、Ｐ２（２）、・・・を第１層目のプーリング層Ｐ１の出力データとする（図５では８×８画素、８個の画像データ）。なお、図５では、プーリング層Ｐはプーリング層Ｐ１の１層のみである。
特徴量演算部１３は、前階層（最終層）である第１層目のプーリング層Ｐ１から入力される複数の出力データＰ１（１）、Ｐ１（２）、・・・に対して、所定のユニット（図５では２４個）で重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ１（１）、Ｆ１（２）、・・・を第１層目の全結合層Ｆ１の出力データとする（２４個のデータ）。
特徴量演算部１３は、前階層である第１層目の全結合層Ｆ１から入力される複数の出力データＦ１（１）、Ｆ１（２）、・・・に対して、所定のユニット（図５では８個）で重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ２（１）、Ｆ２（２）、・・・を第２層目の全結合層Ｆ２の出力データとする（８個のデータ）。
特徴量演算部１３は、前階層である第２層目の全結合層Ｆ２から入力される複数の出力データＦ２（１）、Ｆ２（２）、・・・に対して、所定のユニット（図５では３個）で重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ３（１）、Ｆ３（２）、・・・を第３層目（最終層）の全結合層Ｆ３の出力データとする（３個のデータ）。
第３層目の全結合層Ｆ３から出力される出力データＦ３（１）、Ｆ３（２）・・・は、画像の分類結果（ここでは、クラス１、クラス２、クラス３の３つの分類）に対応する。
経路抽出手段１５は、特徴量演算部１３での処理結果から、前述したように経路を抽出する機能を有する。
記憶部１７は、分類と関連付けられた予め設定された複数の設定経路を、テーブル等の分類データとして格納している。
判断部１９は、記憶部１７に格納された分類データを読み込み、経路抽出手段１５から抽出された経路を分類データと比較し、設定経路と一致する経路に関連付けられた分類を、入力された画像の分類とする機能を有する。
判断部１９の処理結果は、表示装置２０に出力される。
本実施形態の画像分類システム１０は、本実施形態の画像分類プログラムによって、前述したように、入力される画像データに対して、特徴量演算部１３による特徴量抽出処理及び全結合処理と、経路抽出手段１５による経路抽出処理と、入力された画像の分類処理とを実行する。
そして、画像分類システム１０は、前述した本実施形態の画像分類プラグラムによって、上記畳み込みニューラルネットワークと、上記経路抽出手段と、判断部として機能し、上記の処理を実行する。
上記の通り、本実施形態の画像分類プログラムは、
本発明に係る画像分類プログラムは、
入力された画像を分類するためのプログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
かかる構成によれば、上記ネットワークにおける処理経路を抽出し、抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、入力された画像の分類と判断することが可能になる。
これにより、十分に精度良く分類することが可能となる。
本実施形態の画像分類プログラムにおいては、
前記経路抽出手段は、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、前記全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する手段であり、
前記選択される特徴値、及び、前記選択される全結合出力値の少なくとも一方には、最大値が含まれている。
かかる構成によれば、経路抽出手段が、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出し、選択される特徴値、及び、選択される全結合出力値の少なくとも一方には、最大値が含まれていることによって、より十分に精度良く画像を分類することが可能となる。
本実施形態の画像分類プログラムにおいては、
前記経路抽出手段は、前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出する手段であり、
前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、
該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれている。
かかる構成によれば、経路抽出手段が、特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出し、特徴値群と全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれていることによって、さらに十分に精度良く画像を分類することが可能となる。
上記した本実施形態の画像分類プログラムを実行させる画像分類システム１０は、種々の装置に適用され、適用される装置は、特に限定されるものではない。
例えば、画像分類システム１０は、下記のように、検査装置に適用され得る。
図１１に示すように、本実施形態の検査装置１は、被検査物５０の欠陥を検査する検査装置１であって、
前記被検査物５０を、画像データＤとして撮像可能な撮像部３と、
前記撮像部３によって撮像された前記画像データＤに基づいて前記欠陥を分類する分類部４０とを備え、
前記分類部４０が、本実施形態の画像分類システムを１０を備え、該画像分類システム１０によって前記欠陥を分類するように構成されている。
被検査物は、特に限定されるものではない。例えば、被検査物５０として、例えば、シートが挙げられる。シートとして、例えば、光学フィルム、遮熱フィルム、断熱フィルム、ＵＶカットフィルム等が挙げられる。シートとして、例えば、基材と、該基材に積層された粘着剤層とを有する粘着テープ等も挙げられる。該粘着テープとしては、上記基材の一方の面のみに粘着剤層が積層されてなる粘着テープや、上記基材の両面に粘着剤層が積層されてなる粘着テープ等が挙げられる。
撮像部３は、被検査物５０を、画像データとして撮像可能なものである。
撮像部３は、被検査物５０を、画像データとして撮像可能であれば、特に限定されない。
撮像部３としては、例えば、カメラが挙げられる。
被検査物５０の欠陥は、所定の形状を有する画像として撮像部３によって撮像可能なものであれば、特に限定されるものではない。
例えば、被検査物５０がシートである場合には、シワ（凹凸）、ひきつれ、点状欠陥等が挙げられる。
本実施形態の検査装置１においては、撮像部３によって被検査物５０が画像データとして撮像され、得られた画像情データが、画像分類システム１０によって分類されることによって、被検査物５０に含まれる欠陥が分類される。
例えば、被検査物５０中の欠陥が、分類１（例えば、シートのシワ（凹凸））、分類２（例えば、シートのひきつれ）、分類３（例えば、点状欠陥）のいずれかに、分類される。
なお、本実施形態の画像分類プログラムで用いられる、経路抽出用の分類データは、例えば、下記のプログラムによって作成される。
次に、本実施形態の分類作成プログラムについて説明する。
本実施形態の分類作成プログラムは、
画像分類装置用の分類データを作成する分類データ作成プログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出手段と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる。
本実施形態の分類作成用プログラムで分類される画像としては、該画像中に分類の対象物が含まれていればよく、特に限定されない。
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークとしては、前述した畳み込みニューラルネットワークが挙げられる。
本実施形態の分類データ作成プログラムは、コンピュータを、設定経路として抽出する設定経路抽出手段と、抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる。
設定経路抽出手段は、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する。
ここで、特徴値は、各フィルタによって得られる特徴量に含まれる値のうち、同階層の他のフィルタによって得られる特徴量と比較し得るような代表的な値であり、該特徴値としては、最大値、または、平均値や中間値等が挙げられる。
このような設定経路としては、例えば、図６、図９に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とを結ぶ経路、
等が挙げられる。
また、この他、上記設定経路としては、例えば、図７に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
さらに、この他、上記設定経路としては、例えば、図８に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値及び第２位の値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値及び第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
例えば、図６〜図９においては、設定経路抽出手段は、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、上記特徴値群と上記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を、例えば上記のような設定経路として抽出する。
加えて、本実施形態では、図６〜図９に太線で示すように、設定経路抽出手段は、全結合層Ｆのうち全結合層Ｆ１と全結合層Ｆ２との間、及び、全結合層Ｆ２と全結合層Ｆ３との間においても、上記したプーリング層Ｐ１と全結合層Ｆ１との間で設定経路を抽出するのと同様に、設定経路を抽出する。
全結合層Ｆ１と全結合層Ｆ２との間については、設定経路抽出手段は、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第１の全結合出力値群）から選択される特徴値と、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第２の全結合出力値群）とから選択される全結合出力値とであって、上記特徴値群と上記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、設定経路を抽出する。
全結合層Ｆ２と全結合層Ｆ３との間については、設定経路抽出手段は、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第２の全結合出力値群）から選択される特徴値と、全結合層Ｆ３の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第３の全結合出力値群）とから選択される全結合出力値とであって、上記特徴値群と上記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、設定経路を抽出する。
なお、設定経路抽出手段が、この他の経路を抽出してもよいことは、いうまでもない。
また、図５に示す畳み込みニューラルネットワークにおいては、プーリング層Ｐ１から全結合層Ｆ３に至るまでの設定経路が決定されると、それよりも前段の、コンボリューション層Ｃ１からプーリング層Ｐ１に至るまでの設定経路が決定される。
しかし、コンボリューション層Ｃ１からプーリング層Ｐ１に至るまでの設定経路が、前述した図３及び図４のように、後段の設定経路によって決定されないような経路である場合には、設定経路抽出手段が、コンボリューション層Ｃ１とコンボリューション層Ｃ２との間、及び、コンボリューション層Ｃ２とプーリング層Ｐ１との間においても、上記と同様に、設定経路を抽出してもよい。
コンボリューション層Ｃ１とコンボリューション層Ｃ２との間については、設定経路抽出手段は、コンボリューション層Ｃ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第１の特徴値群）から選択される特徴値と、コンボリューション層Ｃ２の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第２の特徴値群）とから選択される特徴値とであって、上記第１の特徴値群と上記第２の特徴値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、設定経路を抽出してもよい。
コンボリューション層Ｃ２とプーリング層Ｐ２との間については、設定経路抽出手段は、コンボリューション層Ｃ２の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第２の特徴値群）から選択される特徴値と、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第３の特徴値群）とから選択される特徴値とであって、上記第２の特徴値群と上記第３の特徴値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、設定経路を抽出してもよい。
関連付け手段は、設定経路抽出手段が抽出した設定経路と画像を分類するための分類とを関連付ける。
関連付け手段によって、複数の設定経路は、それぞれ、例えば、分類１、分類２、分類３、・・・・といった複数の画像の分類のいずれかに予め関連付けられる。また、この関連付けによって、分類データが作成される。
次に、本実施形態のプログラムがコンピュータを機能させる場合の分類データ作成システムについて説明する。
図１２に示すように、本実施形態の分類データ作成システム３０は、コンピュータの制御部に格納される。該分類データ作成システム３０は、入力部３１と、特徴量演算部３３と、設定経路抽出手段３５と、関連付け部３７と、記憶部３９とを備える。
特徴量演算部３３と、設定経路抽出手段３５と、関連付け部３７とは、コンピュータのＣＰＵ等の制御部に格納され、記憶部は、サーバ、ハードディスク等に格納される。
入力部３１は、分類する画像の画像データが入力され、入力された画像データを特徴量演算部３３に入力する機能を有する。
特徴量演算部３３は、入力部３１から入力された画像データに対して、畳み込みニューラルネットワークにおける特徴量抽出処理と全結合処理とを実行する機能を有する。本実施形態では、特徴量演算部３３は、特徴量抽出処理として、コンボリューション処理とプーリング処理とを実行する。
本実施形態では、特徴量演算部３３は、前述した特徴量演算部１３と同様の機能を有し、同様の処理を実行する。
設定経路抽出手段３５は、特徴量演算部３３での処理結果から、前述したように設定経路を抽出する機能を有する。
関連付け部３７は、設定抽出手段３５によって抽出された設定経路を、前述した分類と関連付けて分類データを作成する機能を有する。
記憶部３９は、作成された分類データを、テーブル等として記憶する。
本実施形態の分類データ作成システム３０は、本実施形態の分類データ作成プログラムによって、前述したように、入力される画像データに対して、特徴量演算部３３による特徴量抽出処理及び全結合処理と、設定経路抽出手段３５による設定経路抽出処理と、関連付け部３７による設定経路と分類との関連付けと、記憶部３９による分類データの記憶とを実行する。
本実施形態の分類データ作成用プログラムは、
画像分類装置用の分類データを作成する分類データ作成プログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出手段と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる。
かかる構成によれば、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、特徴値群と全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出し、抽出した設定経路と画像を分類するための分類とを関連付けることが可能となる。
これにより、十分に精度良く画像を分類することが可能な分類データが得られる。
従って、この分類データを用いることによって、十分に精度良く画像を分類することが可能となる。
次に、本実施形態の分類用データ作成プログラムが機能させる分類データ作成システムを用いた分類データ作成方法について説明する。
本実施形態の分類データ作成方法は、上記した本実施形態の分類データ作成システムを用いて実施される。
具体的には、本実施形態の分類データ作成方法は、
画像分類装置用の分類データを作成する方法であって、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するネットワーク処理工程と、
前記ネットワーク処理工程における前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出工程と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け工程とを含む。
ネットワーク処理工程では、前述した特徴量抽出手段及び全結合処理手段とによって、特徴量抽出処理及び全結合処理を実施する。
設定経路抽出工程では、前述した設定経路抽出手段によって、前述したように設定経路を抽出する。
関連付け工程では、前述した関連付け手段によって、前述したように抽出した設定経路と画像を分類するための分類とを関連付けて分類データを作成する。
かかる本実施形態の分類データ作成方法によれば、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、特徴値群と全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出し、抽出した設定経路と画像を分類するための分類とを関連付けることが可能となる。
これにより、十分に精度良く画像を分類することが可能な分類データが得られる。
従って、この分類データを用いることによって、十分に精度良く画像を分類することが可能となる。
以上の通り、本実施形態によれば、十分に精度良く分類することが可能な画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法が提供される。
本実施形態の画像分類プログラム、分類データ作成プログラム及び分類データ作成方法は上記の通りであるが、本発明は、上記実施形態に限定されるものではなく、適宜設計変更可能である。
以下、本発明について、実施例を参照しながらより詳細に説明するが、本発明はこれらの実施例に限定されるものではない。
画像データとして、シートを撮像した画像データを用い、画像を下記の欠陥のいずれに分類すべく、図９に示すような画像分類システムにおいて、教育用データを用いて、図５に示すような特徴量抽出処理及び全結合処理を実行する畳み込みニューラルネットワークを構築した。
分類（Class）１：シワ（凹凸）
分類（Class）２：ひきつれ
分類（Class）３：点状欠陥
教育用データとしては、クラス１の欠陥を有する９９６枚の画像データ、クラス２の欠陥を有する１０００枚の画像データ、クラス３の欠陥を有する１４４枚の画像データを用いた。
そして、教育用データとは別に準備した、分類１の欠陥を有する５００枚の画像データ、分類２の欠陥を有する４８０２枚の画像データ、分類３の欠陥を有する２９８枚の画像データを評価用画像データとし、これら評価用画像データについて、構築した畳み込みニューラルネットワークを用いて分類を行い、分類精度を調べた。
（比較例１）
構築した畳み込みニューラルネットワークにおいて、プーリング層Ｐ１によるプーリング処理から全結合層Ｆ３による全結合処理までの全て経路を通る経路で、各処理を実行し、最終的に全結合層Ｆ３による全結合処理を、分類（Class）１〜３の相関値（３つの合計が１となるような相関値）として出力した。
結果を表１に示す。
表１において、閾値を０．５として、再度、評価用データについて分類処理を行うと、クラス２が見逃した画像データ（本来はクラス２に分類されるべきであるのに、クラス２と分類されなかった画像データ）は、４８０２枚中、９枚であり、分類精度は９９．４３％であった。
（実施例１）
構築した畳み込みニューラルネットワークにおいて、分類１〜３の各教育用データを用いて特徴量抽出処理及び全結合処理をそれぞれ１回実行し、各分類の教育データを用いたときの特徴量抽出処理の特徴値の最大値と全結合処理の全結合出力値の最大値とを結ぶ経路を設定経路として抽出し、抽出された経路と、対応する各分類とをそれぞれ関連付けて分類データとした。
より具体的には、前述した図６に太線で示すように、各分類１〜３について、プーリング層Ｐ１による処理によって得られた複数の特徴値（特徴値群）のうちの最大値と、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とを結び、且つ、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値と、全結合層Ｆ２による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とを結ぶ経路を、設定経路として抽出した。
このようにして得られた分類データを、画像分類システムの記憶部に格納した。
なお、図５では、コンボリューション層Ｃ１は、最初のコンボリューション層であるため、分類間での特徴量の差異はなく、また、コンボリューション層Ｃ１、コンボリューション層Ｃ２、プーリング層Ｐ１では、同じ経路を通ることが明らかであり、全結合層Ｆ３は、最終の層であるため、これら層Ｃ１、Ｃ２、Ｐ１、Ｆ３を結ぶ経路では、層Ｐ１、層Ｆ１、層Ｆ２を結ぶ経路が決定されれば、それに応じて経路が決定されることになる。
この点では、抽出された設定経路は、特徴抽出処理の全ての各処理の最大値を結ぶ経路に相当する。
このように最大値を結ぶ経路を、下記式（１）のように定義した。下記式（１）において、MAX ( )は、最大値となるフィルタ番号（処理番号）及びユニット番号（処理番号）を示す。
Route = [ Max (C1), Max (C2), Max (P1), Max (F1), Max (F2), Max (F3) ] （１）
例えば、図５の太線に示す経路は、Route [ 1, 2, 2, 3, 2, 1 ]であり、これは、層Ｃ１（１）、層Ｃ２（２）、層Ｐ１（１）、層Ｆ１（３）、層Ｆ２（２）、層Ｆ３（１）を通る経路であることを示す。
そして、画像分類システムに評価用画像データを入力し、特徴量抽出処理及び全結合処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
結果を図１３に示す。図１３では、横軸にRouteのパターン、縦軸に度数を示す。
なお、図１３の横軸のうち、Ｆ１層では、上段を１０の位、下段を１の位として示した。
また、図１３において、各層のフィルタ及びユニットでの処理結果の値がゼロの場合には、識別番号を「０」とした。すなわち、どのフィルタ及びユニットも活性化しておらず、このことは、いずれのフィルタ及びユニットを通っても差異がないことを意味する。
図１３に示すように、経路は２８パターン存在し、各分類ごとに特定の経路を辿ることが確認された。
また、層Ｐ１から層Ｆ２に至る経路のうち、Route [ 2, 13, 3 ]、Route [ 4, 21, 3 ]、及びRoute [ 4, 21, 3 ]では、分類１と分類３が同じ経路を辿ることがわかった。
そこで、この重複による見逃しを抑制すべく、上記２８個の経路のうち、分類１のみと判定された経路を分類１に関連付けられた設定経路とし、分類３のみと判定された経路を分類３に関連付けられた設定経路とし、それ以外の経路を、分類２に関連付けられた設定経路とした。
このように決定された分類データを記憶部に格納し、画像分類システムによって、評価用データについて、再度、特徴量抽出処理及び前記識別処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
その結果、分類２に分類されるべき画像データ４８０２枚のうち、見逃した画像データは４枚であった。
さらに上記した層Ｐ１から層Ｆ２に至る経路の各最大値を結ぶ経路に加え、層Ｐ１から層Ｆ２のうち層Ｆ１、層Ｆ２については最大値を結び、層Ｐ１については第２位及び第３位の値をそれぞれ結ぶように上記層Ｐ１から層Ｆ２に至る経路も設定した。その結果、見逃した画像データはゼロとなった。そのときの分類精度は、９８．８８％であった。すなわち、比較例１と分類精度が同程度でありながらも、見逃しが発生することなく（見逃しがゼロで）分類を行うことが可能となった。
（実施例２）
構築した畳み込みニューラルネットワークにおいて、分類１〜３の各教育用データを用いて特徴量抽出処理及び全結合処理をそれぞれ１回実行し、各分類の教育データを用いたときの特徴量抽出処理の最大値及び第２位の値と、全結合処理の最大値とをそれぞれ結ぶ経路を抽出し、抽出された経路と、対応する各分類とを関連付けて設定経路とした。
具体的には、前述した図７に太線で示すように、各分類１〜３について、プーリング層Ｐ１による処理によって得られた複数の特徴値（特徴値群）のうちの最大値及び第２位の値と、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とをそれぞれ結び、且つ、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値と全結合層Ｆ２による処理によって得られた複数の全結合出力値（全結合出力値群）の最大値とを結ぶ経路を、設定経路として抽出した。
それ以外は、実施例１と同様にして、画像分類システムに評価用画像データを入力し、特徴量抽出処理及び全結合処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
結果を図１４に示す。
（実施例３）
構築した畳み込みニューラルネットワークにおいて、分類１〜３の各教育用データを用いて特徴量抽出処理及び全結合処理をそれぞれ１回実行し、各分類の教育データを用いたときの特徴量抽出処理の特徴値の最大値と、全結合処理の全結合出力値の最大値及び第２位の値とを経路を抽出し、抽出された経路と、対応する各分類とを関連付けて設定経路とした。
具体的には、前述した図８に太線で示すように、各分類１〜３について、プーリング層Ｐ１による処理によって得られた複数の特徴値（特徴値群）のうちの最大値と全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値及び第２位の値とをそれぞれ結び、且つ、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値及び第２位の値と全結合層Ｆ２による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とをそれぞれ結ぶ経路を、設定経路として抽出した。
それ以外は、実施例１と同様にして、画像分類システムに評価用画像データを入力し、特徴量抽出処理及び全結合処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
結果を図１５に示す。
（実施例４）
構築した畳み込みニューラルネットワークにおいて、分類１〜３の各教育用データを用いて特徴量抽出処理及び全結合処理をそれぞれ１回実行し、各分類の教育データを用いたときの特徴量抽出処理の特徴値の最大値と、全結合処理の全結合出力値の最大値及び第２位の値とをそれぞれ結ぶ経路を抽出し、抽出された経路と、対応する各分類とを関連付けて設定経路とした。
具体的には、前述した図９に太線で示すように、各分類１〜３について、プーリング層Ｐ１による処理によって得られた複数の特徴値（特徴値群）のうちの最大値と全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とを結び、且つ、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値と全結合層Ｆ２による処理によって得られた複数の全結合出力値（全結合出力値群）の最大値及び第２位の値とをそれぞれ結ぶ経路を、設定経路として抽出した。
それ以外は、実施例１と同様にして、画像分類システムに評価用画像データを入力し、特徴量抽出処理及び全結合処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
結果を図１６に示す。
図１３〜図１６に示すように、実施例１よりも、実施例２〜４の方が、複数の分類に分類される経路が減少した。
以上のように本発明の実施の形態及び実施例について説明を行なったが、各実施の形態及び実施例の特徴を適宜組み合わせることも当初から予定している。また、今回開示された実施の形態及び実施例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態及び実施例ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
１：検査装置、３：撮像部、１０：画像分類システム、１１：入力部、１３：特徴量演算部、１５：経路抽出手段、１７：記憶部、１９：判断部、３０：分類データ作成システム、３１：入力部、３３：特徴量演算部、３５：設定経路抽出手段、３７：関連付け部、３９：記憶部、５０：被検査物

Claims (5)

  1. 入力された画像を分類するためのプログラムであって、
    コンピュータを、
    入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
    前記ネットワークにおける処理経路を抽出する経路抽出手段と、
    前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる、
    画像分類プログラム。
  2. 前記経路抽出手段は、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、前記全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する手段であり、
    前記選択される特徴値、及び、前記選択される全結合出力値の少なくとも一方には、最大値が含まれている、
    請求項１に記載の画像分類プログラム。
  3. 前記経路抽出手段は、前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出する手段であり、
    前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、
    該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれている、
    請求項１または２に記載の画像分類プログラム。
  4. 画像分類装置用の分類データを作成する分類データ作成プログラムであって、
    コンピュータを、
    入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
    前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出手段と、
    抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる、
    分類データ作成プログラム。
  5. コンピュータが画像分類装置用の分類データを作成する方法であって、
    前記コンピュータが、入力された画像データに対して特徴量抽出処理と全結合処理とを実行するネットワーク処理工程と、
    前記ネットワーク処理工程における前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出工程と、
    抽出した設定経路と画像を分類するための分類とを関連付ける関連付け工程とを実行する、
    分類データ作成方法。
JP2017104449A 2017-05-26 2017-05-26 画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法 Active JP6726641B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017104449A JP6726641B2 (ja) 2017-05-26 2017-05-26 画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法
CN201810449629.2A CN108932523B (zh) 2017-05-26 2018-05-11 图像分类以及分类数据制作系统和方法、存储介质
KR1020180054177A KR20180129640A (ko) 2017-05-26 2018-05-11 화상 분류 프로그램, 분류 데이터 작성 프로그램 및 분류 데이터 작성 방법
US15/985,950 US11410409B2 (en) 2017-05-26 2018-05-22 Image classification system and method, classification data creation system and method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017104449A JP6726641B2 (ja) 2017-05-26 2017-05-26 画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法

Publications (2)

Publication Number Publication Date
JP2018200530A JP2018200530A (ja) 2018-12-20
JP6726641B2 true JP6726641B2 (ja) 2020-07-22

Family

ID=64401268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017104449A Active JP6726641B2 (ja) 2017-05-26 2017-05-26 画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法

Country Status (4)

Country Link
US (1) US11410409B2 (ja)
JP (1) JP6726641B2 (ja)
KR (1) KR20180129640A (ja)
CN (1) CN108932523B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10366302B2 (en) * 2016-10-10 2019-07-30 Gyrfalcon Technology Inc. Hierarchical category classification scheme using multiple sets of fully-connected networks with a CNN based integrated circuit as feature extractor
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
CN108875904A (zh) * 2018-04-04 2018-11-23 北京迈格威科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
CN111091144B (zh) * 2019-11-27 2023-06-27 云南电网有限责任公司电力科学研究院 基于深度伪孪生网络的图像特征点匹配方法及装置
US11694319B2 (en) 2020-04-10 2023-07-04 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
KR102517633B1 (ko) * 2020-12-16 2023-04-04 한국광기술원 광섬유의 융착접속 분석 장치 및 그 분석 방법
JP2022114332A (ja) * 2021-01-26 2022-08-05 日東電工株式会社 クラス判定システム、クラス判定方法及びクラス判定プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP6582416B2 (ja) * 2014-05-15 2019-10-02 株式会社リコー 画像処理装置、画像処理方法及びプログラム
JP6414458B2 (ja) 2014-12-17 2018-10-31 株式会社デンソー 演算処理装置
US9672445B2 (en) * 2015-08-03 2017-06-06 Yahoo! Inc. Computerized method and system for automated determination of high quality digital content
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
CN106227851B (zh) * 2016-07-29 2019-10-01 汤一平 基于深度卷积神经网络的分层深度搜索的图像检索方法
CN106408015A (zh) * 2016-09-13 2017-02-15 电子科技大学成都研究院 基于卷积神经网络的岔路口识别及深度估计方法
US10402628B2 (en) * 2016-10-10 2019-09-03 Gyrfalcon Technology Inc. Image classification systems based on CNN based IC and light-weight classifier
CN106529578A (zh) * 2016-10-20 2017-03-22 中山大学 一种基于深度学习的车辆品牌型号精细识别方法与系统
US10229347B2 (en) * 2017-05-14 2019-03-12 International Business Machines Corporation Systems and methods for identifying a target object in an image

Also Published As

Publication number Publication date
US11410409B2 (en) 2022-08-09
CN108932523B (zh) 2024-04-09
CN108932523A (zh) 2018-12-04
JP2018200530A (ja) 2018-12-20
US20180341829A1 (en) 2018-11-29
KR20180129640A (ko) 2018-12-05

Similar Documents

Publication Publication Date Title
JP6726641B2 (ja) 画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法
JP6952268B2 (ja) 処理方法およびそれを利用した処理装置
JP4616864B2 (ja) 外観検査方法及びその装置および画像処理評価システム
CN109959661A (zh) 自动光学检测方法、设备、及其深度学习系统
CN110678901A (zh) 信息处理设备、信息处理方法和程序
CN111382785B (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
JPS5937450A (ja) 物体表面に生ずる欠陥をリアルタイムで自動的に検出し、かつそれらの欠陥をその特徴に従つて自動的に分類する方法および装置
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
US20210035305A1 (en) Image-based classification system
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN107427835A (zh) 来自用于实验室自动化的俯视图样品管图像的条码标签状况的分类
CN112257711B (zh) 一种铁路货车地板破损故障检测方法
CN115082466A (zh) 一种pcb表面焊点缺陷检测方法及系统
CN116228651A (zh) 一种布匹缺陷检测方法、系统、设备及介质
TWI707137B (zh) 智能產線監測系統及監測方法
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其系统
CN112200790A (zh) 布料缺陷检测方法、设备和介质
JP2018081629A (ja) 判定装置、判定方法および判定プログラム
CN110033443B (zh) 一种显示面板缺陷检测方法
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN115860139A (zh) 一种基于深度学习的多尺度船舶目标检测方法
CN112686843B (zh) 一种基于神经网络的木板缺陷检测方法及系统
CN113781449A (zh) 一种基于多尺度特征融合的纺织品瑕疵分类方法
Gupta et al. Information extraction from hand-marked industrial inspection sheets

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6726641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250