JP7404962B2 - Image processing system and image processing program - Google Patents
Image processing system and image processing program Download PDFInfo
- Publication number
- JP7404962B2 JP7404962B2 JP2020052175A JP2020052175A JP7404962B2 JP 7404962 B2 JP7404962 B2 JP 7404962B2 JP 2020052175 A JP2020052175 A JP 2020052175A JP 2020052175 A JP2020052175 A JP 2020052175A JP 7404962 B2 JP7404962 B2 JP 7404962B2
- Authority
- JP
- Japan
- Prior art keywords
- classification
- individual information
- unit
- singularity
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 348
- 238000011156 evaluation Methods 0.000 claims description 295
- 238000004364 calculation method Methods 0.000 claims description 131
- 238000000034 method Methods 0.000 claims description 106
- 238000012795 verification Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 52
- 238000010353 genetic engineering Methods 0.000 claims description 48
- 108090000623 proteins and genes Proteins 0.000 claims description 43
- 238000010801 machine learning Methods 0.000 claims description 22
- 230000035772 mutation Effects 0.000 claims description 22
- 238000012706 support-vector machine Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims description 2
- 238000004148 unit process Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 38
- 238000000605 extraction Methods 0.000 description 13
- 230000002950 deficient Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 230000002195 synergetic effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000002068 genetic effect Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Description
本発明は、画像から検出対象を見つけ出す画像処理技術に関し、特に画像処理を最適化する画像処理システムに関する。 The present invention relates to an image processing technique for finding a detection target from an image, and particularly to an image processing system that optimizes image processing.
従来、画像から検出対象を見つけ出す画像処理アルゴリズムの自動生成において、複数の機能単位の実行順序を定義する個体情報を用いて学習用画像に対して画像処理を行い、得られた出力画像を教師画像と比較して評価値を計算し、その結果を個体情報に反映させることにより学習を行って、画像処理を最適化することが行われている。
このような画像処理として、画像の特異点の探索、特異点の特徴量計算、及び特異点の分類等を挙げることができる。
Conventionally, in automatic generation of image processing algorithms that find detection targets from images, image processing is performed on training images using individual information that defines the execution order of multiple functional units, and the resulting output image is used as a teacher image. Image processing is optimized by performing learning by calculating evaluation values by comparing the results with individual information and reflecting the results in individual information.
Examples of such image processing include searching for a singular point in an image, calculating a feature amount of a singular point, and classifying a singular point.
ところで、探索によって得られた特異点には、許容できるもの（以下、良品）と許容できないもの（以下、不良品）が含まれる可能性がある。このため、特異点の探索において、良品の特異点が検出された場合には、特異点は良品として分類され、不良品の特異点が検出された場合には、特異点は不良品として分類されることが望ましい。また、不良品の種類を分類できればより望ましい。 Incidentally, the singular points obtained through the search may include those that are acceptable (hereinafter referred to as non-defective products) and those that are unacceptable (hereinafter referred to as defective products). Therefore, in the search for singular points, if a singular point of a non-defective product is detected, the singular point is classified as a non-defective product, and if a singular point of a defective product is detected, the singular point is classified as a defective product. It is desirable that It would also be more desirable if the types of defective products could be classified.
また、特異点の探索、特異点の特徴量計算、及び特異点の分類には関連性があるため、分類結果が特異点の探索に反映されると、これらの処理の関連性にもとづく相乗効果が期待できる。
一方、これらの処理を個別に最適化する画像処理システムでは、その関連性が反映されないため、相乗効果を期待することができない。また、関連性を人間が考慮してチューニングすることは非常に難しく、現実的には不可能である。
In addition, since there is a relationship between the search for singular points, the calculation of feature values for singular points, and the classification of singular points, when the classification results are reflected in the search for singular points, a synergistic effect based on the relationship between these processes will occur. can be expected.
On the other hand, in an image processing system that individually optimizes these processes, the relationship between them is not reflected, so synergistic effects cannot be expected. Furthermore, it is extremely difficult and practically impossible for humans to tune by taking relevance into account.
ここで、画像を分類するため最適な特徴量を見つけ出す画像処理アルゴリズムの自動生成技術として、特許文献１に記載の進化型画像自動分類装置を挙げることができる。この装置では、進化的計算の一つである遺伝的アルゴリズムを用いて、画像分類を目的とした画像処理および特徴量の探索の最適化が行われている。
また、特許文献２に記載の特徴量選択装置では、画像の特徴量計算について、遺伝的アルゴリズムを用いた最適化が行われている。
さらに、特許文献３に記載のプログラム生成装置では、画像処理および特徴量計算、及び画像の分類手法について、遺伝的プログラミングを用いた最適化が行われている。
Here, as an example of a technology for automatically generating an image processing algorithm that finds optimal feature amounts for classifying images, an evolutionary automatic image classification device described in
Furthermore, in the feature quantity selection device described in
Furthermore, in the program generation device described in
しかしながら、これらの手法は画像単位で分類を実施するため、複数の検出対象が写る画像に対して検出対象ごとに分類する機能や、これらの画像処理の関連性にもとづく相乗効果及び分類精度をより一層高めることが可能な画像処理システムの提供が望まれていた。
本発明は、上記事情に鑑みてなされたものであり、画像処理アルゴリズムの自動生成において、画像に写る検出対象である特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能な画像処理システム、及び画像処理プログラムの提供を目的とする。
However, these methods perform classification on an image-by-image basis, so it is necessary to have a function to classify images containing multiple detection targets for each detection target, and to improve the synergistic effect and classification accuracy based on the relationship of these image processes. It has been desired to provide an image processing system that can further improve the performance.
The present invention has been made in view of the above circumstances, and utilizes the synergistic effect of searching for a singular point to be detected in an image, calculating feature quantities of the singular point, and classifying the singular point in automatically generating an image processing algorithm. The present invention aims to provide an image processing system and an image processing program that can optimize the classification accuracy using genetic manipulation.
上記目的を達成するため、本発明の画像処理システムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理システムであって、複数の機能単位の実行順序を定義する複数の個体情報を、検出対象である特異点を探索する機能単位からなる特異点探索用領域と、探索された特異点を分類する機能単位からなる、分類器を含む分類用領域とを備えた構成で記憶する個体群記憶部と、複数の学習用画像を記憶する画像記憶部と、前記個体情報における前記特異点探索用領域の機能単位にもとづき前記学習用画像を処理して、特異点探索結果を生成する特異点探索部と、前記個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記学習用画像における特異点を分類する分類結果を生成する分類部と、前記特異点探索結果を評価するための前記学習用画像に対応付けられた教師情報を記憶する教師情報記憶部と、前記特異点探索結果と前記教師情報を比較して特異点探索の評価値を計算し、前記分類結果にもとづき分類の評価値を計算し、前記特異点探索の評価値と前記分類の評価値にもとづき前記個体情報の評価値を計算して前記個体情報を順位付けする評価部と、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部とを備える構成としてある。 In order to achieve the above object, the image processing system of the present invention detects a detection target from an image using genetic manipulation, which is an optimization method that mathematically simulates biological evolution, and classifies the detection target. An image processing system that optimizes the processing of a plurality of individual information that defines the execution order of a plurality of functional units, and a singularity search area consisting of a functional unit that searches for a singularity that is a detection target, and a search a population storage unit configured to store a classification area including a classifier, which is made up of a functional unit for classifying singular points, an image storage unit that stores a plurality of learning images; a singularity search unit that processes the learning image based on the functional unit of the singularity search area and generates a singularity search result; a classification unit that processes the results, performs machine learning on the classifier to generate a trained classifier, and generates a classification result for classifying singular points in the learning image; and evaluates the singular point search results. a teacher information storage unit that stores teacher information associated with the learning image for the training; and calculates an evaluation value of the singularity search by comparing the singularity search result and the teacher information, and calculates an evaluation value of the singularity search based on the classification result. an evaluation unit that calculates an evaluation value of classification, calculates an evaluation value of the individual information based on the evaluation value of the singularity search and the evaluation value of the classification, and ranks the individual information; and a ranking of the individual information. The configuration includes a genetic manipulation unit that selects or changes the individual information based on the information and updates the individual population storage unit.
また、本発明の画像処理システムは、前記特異点探索用領域と前記分類用領域とが、同一の個体情報において連続的に含まれ、又は、別個の個体情報に含まれた構成としてある。 Further, the image processing system of the present invention is configured such that the singular point search area and the classification area are successively included in the same individual information, or are included in separate individual information.
また、本発明の画像処理システムは、前記分類部が、前記特異点探索結果における特異点の特徴量を計算する特徴量計算部と、前記特異点の特徴量にもとづき前記特異点を分類する前記分類器の機械学習を行う分類器学習部を有する構成としてある。 Further, in the image processing system of the present invention, the classification section includes a feature amount calculation section that calculates the feature amount of the singular point in the singular point search result, and a feature amount calculation section that classifies the singular point based on the feature amount of the singular point. The configuration includes a classifier learning section that performs machine learning of the classifier.
また、本発明の画像処理システムを、前記分類用領域が、サポートベクターマシン（Support Vector Machine）、ニューラルネットワーク、ランダムフォレスト、若しくはスパースモデリングからなる群から選択されたいずれかの教師あり学習を行う分類器、又は、マハラノビスタグチ法、ワンクラスサポートベクターマシン（One Class Support Vector Machine）、オートエンコーダ、混合ガウス法、若しくはk-means法からなる群から選択されたいずれかの教師なし学習を行う分類器を含む構成とすることも好ましい。 Further, the image processing system of the present invention may be used for classification in which the classification region performs any supervised learning selected from the group consisting of a support vector machine, a neural network, a random forest, or sparse modeling. or a classifier that performs unsupervised learning selected from the group consisting of Mahalanobistaguchi method, One Class Support Vector Machine, autoencoder, Gaussian mixture method, or k-means method. It is also preferable to have a configuration including.
また、本発明の画像処理システムを、前記分類用領域が、前記教師なし学習を行う分類器を含み、前記画像記憶部が、複数の検証用画像をさらに記憶し、前記特異点探索部が、前記個体情報における前記特異点探索用領域の機能単位にもとづき前記検証用画像を処理して、特異点探索結果を生成し、前記分類部が、前記特異点探索結果における特異点の特徴量を計算し、前記特異点の特徴量にもとづいて、前記学習済み分類器を用いて前記検証用画像における前記特異点を分類する構成とすることも好ましい。 Further, in the image processing system of the present invention, the classification area includes the classifier that performs the unsupervised learning, the image storage unit further stores a plurality of verification images, and the singularity search unit: Processing the verification image based on the functional unit of the singularity search area in the individual information to generate a singularity search result, and the classification unit calculating the feature amount of the singularity in the singularity search result. However, it is also preferable that the singular point in the verification image be classified using the learned classifier based on the feature amount of the singular point.
また、本発明の画像処理システムを、前記特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割する特異点分割部をさらに備え、前記分類部が、前記個体情報における前記分類用領域の機能単位にもとづき前記学習用特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記個体情報における前記分類用領域の機能単位にもとづき前記検証用特異点探索結果を処理すると共に、前記学習済み分類器を用いて前記検証用画像における特異点を分類する分類結果を生成する構成とすることも好ましい。 The image processing system of the present invention further includes a singularity dividing unit that divides the singularity search result into a learning singularity search result and a verification singularity search result, and the classification unit is configured to divide the singularity search result into a learning singularity search result and a verification singularity search result. Processing the learning singularity search result based on the functional unit of the classification area, performing machine learning of the classifier to generate a trained classifier, and processing the training singularity search result based on the functional unit of the classification area in the individual information. It is also preferable to process the verification singularity search result and generate a classification result for classifying the singularity in the verification image using the learned classifier.
また、本発明の画像処理プログラムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理プログラムであって、コンピュータを、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理システムであって、複数の機能単位の実行順序を定義する複数の個体情報を、検出対象である特異点を探索する機能単位からなる特異点探索用領域と、探索された特異点を分類する機能単位からなる、分類器を含む分類用領域とを備えた構成で記憶する個体群記憶部、複数の学習用画像を記憶する画像記憶部、前記個体情報における前記特異点探索用領域の機能単位にもとづき前記学習用画像を処理して、特異点探索結果を生成する特異点探索部、前記個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記学習用画像における特異点を分類する分類結果を生成する分類部、前記特異点探索結果を評価するための前記学習用画像に対応付けられた教師情報を記憶する教師情報記憶部、前記特異点探索結果と前記教師情報を比較して特異点探索の評価値を計算し、前記分類結果にもとづき分類の評価値を計算し、前記特異点探索の評価値と前記分類の評価値にもとづき前記個体情報の評価値を計算して前記個体情報を順位付けする評価部、及び、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部として機能させる構成としてある。 In addition, the image processing program of the present invention uses genetic manipulation, which is an optimization method that mathematically simulates biological evolution, to detect a detection target from an image and optimize the process of classifying the detection target. An image processing program that uses a computer to detect a detection target from an image and optimize the process of classifying the detection target using genetic manipulation, which is an optimization method that mathematically simulates the evolution of living things. An image processing system that uses a plurality of individual information that defines the execution order of a plurality of functional units as a singularity search area consisting of a functional unit that searches for a singularity that is a detection target, and a singularity that is searched for. a population storage unit configured to store a classification area including a classifier, which is composed of a functional unit for classifying the information; an image storage unit that stores a plurality of learning images; and an area for searching for the singularity in the individual information. a singularity search unit that processes the learning image based on the functional unit of the training image to generate a singularity search result; a singularity search unit that processes the singularity search result based on the functional unit of the classification area in the individual information; A classification unit that performs machine learning of the classifier to generate a trained classifier and generates a classification result for classifying singular points in the training image, and corresponds to the training image for evaluating the singularity search results. a teacher information storage unit that stores assigned teacher information, calculates an evaluation value of the singularity search by comparing the singularity search result and the teacher information, calculates an evaluation value of the classification based on the classification result, and calculates the evaluation value of the classification based on the classification result; an evaluation unit that calculates an evaluation value of the individual information based on the evaluation value of the singular point search and the evaluation value of the classification and ranks the individual information, and selects the individual information based on the ranking information of the individual information. Alternatively, the genetic manipulation section may be configured to function as a genetic manipulation section that updates the population storage section by making changes.
本発明によれば、画像処理アルゴリズムの自動生成において、画像に写る検出対象である特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能な画像処理システム、及び画像処理プログラムの提供が可能となる。 According to the present invention, in the automatic generation of an image processing algorithm, genetic manipulation is performed to search for a singular point that is a detection target in an image, calculate the feature amount of the singular point, and improve the synergistic effect and classification accuracy of the singular point classification. It becomes possible to provide an image processing system and an image processing program that can be used and optimized.
以下、本発明の画像処理システム、及び画像処理プログラムの実施形態について詳細に説明する。ただし、本発明は、以下の実施形態の具体的な内容に限定されるものではない。 Embodiments of the image processing system and image processing program of the present invention will be described in detail below. However, the present invention is not limited to the specific contents of the following embodiments.
［第一実施形態］
まず、本発明の第一実施形態に係る画像処理システム、及び画像処理プログラムについて、図１、図２Ａ，Ｂ，Ｃ、図３、及び図４Ａ，Ｂを参照して説明する。図１は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。図２Ａ，Ｂ，Ｃは、当該画像処理装置における機能単位記憶部のデータ例を示す図である。図３は、当該画像処理装置におけるにおける個体群記憶部の個体情報（遺伝子連続型）を示す図である。図４Ａは、当該画像処理装置における個体群記憶部（個体情報における特異点探索用ノード領域）のデータ例を示す図であり、図４Ｂは、当該画像処理装置における個体群記憶部（個体情報における分類用ノード領域）のデータ例を示す図である。
[First embodiment]
First, an image processing system and an image processing program according to a first embodiment of the present invention will be described with reference to FIG. 1, FIGS. 2A, B, and C, FIG. 3, and FIGS. 4A and B. FIG. 1 is a block diagram showing the configuration of an image processing apparatus corresponding to the image processing system of this embodiment. 2A, B, and C are diagrams showing examples of data in a functional unit storage section in the image processing apparatus. FIG. 3 is a diagram showing individual information (gene continuous type) in an individual population storage unit in the image processing apparatus. FIG. 4A is a diagram showing an example of data in the population storage unit (node area for singular point search in individual information) in the image processing device, and FIG. 4B is a diagram showing an example of data in the population storage unit (node area for singularity search in individual information) in the image processing device FIG. 3 is a diagram showing an example of data of a classification node area.
本実施形態の画像処理システムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出する画像処理を最適化するものである。
具体的には、本実施形態の画像処理装置１は、図１に示すように、機能単位記憶部１０、個体生成部１１、個体群記憶部１２、画像入力部１３、画像記憶部１４、教師情報入力部１５、教師情報記憶部１６、比較情報入力部１７、比較情報記憶部１８、特異点探索画像処理部１９、特異点探索結果記憶部２０、探索評価値計算部２１、探索評価結果記憶部２２、特徴量計算部２３、特徴量記憶部２４、分類器学習部２５、学習済み分類器記憶部２６、分類結果記憶部２７、分類評価値計算部２８、分類評価結果記憶部２９、個体評価値計算部３０、個体評価結果記憶部３１、及び遺伝子操作部３２を備えている。
The image processing system of this embodiment optimizes image processing for detecting a detection target from an image using genetic manipulation, which is an optimization method that mathematically simulates the evolution of living things.
Specifically, as shown in FIG. 1, the
本実施形態において、特異点探索画像処理部１９と特異点探索結果記憶部２０を含む構成を「特異点探索部」１（Ａ）と総称する。また、特徴量計算部２３と特徴量計算部２４と分類器学習部２５と学習済み分類器記憶部２６と分類結果記憶部２７を含む構成を「分類部」１（Ｂ）と総称する。また、探索評価値計算部２１と探索評価結果記憶部２２と分類評価値計算部２８と分類評価結果記憶部２９と個体評価値計算部３０と個体評価結果記憶部３１を含む構成を「評価部」１（Ｃ）と総称する。
本実施形態の画像処理装置１におけるこれらの各構成は、図１に示すように一個の情報処理装置に全て備えることができる。また、これらの各構成は、複数の情報処理装置からなる画像処理システムの各装置に分散して備えてもよい。これは、後述する各実施形態についても同様である。
In this embodiment, the configuration including the singularity search
All of these configurations in the
機能単位記憶部１０は、ある処理を実行する機能単位であるノード（遺伝子に相当する）をノード番号ごとに記憶する。
ノードの種類としては、図２Ａ，Ｂに示すような様々な処理を行うものを用いることができる。すなわち、例えば色空間処理（グレー変換、RGB変換、Lab変換、XYZ変換、HSV変換）、特徴量抽出範囲の変形処理（膨張、縮小、穴埋め、周囲）、特徴量抽出処理（特徴量抽出範囲の輝度の平均値、標準偏差、最大値、最小値、最大値-最小値、中央値、歪度、尖度、特徴量抽出範囲の面積、周囲長、円形度、外接四角形アスペクト比、外接四角形面積比）、ノイズ除去処理（移動平均フィルタ、ガウシアン、バイラテラル、最大値フィルタ、最小値フィルタ、中央値フィルタ、閾値付き移動平均フィルタ、閾値付きガウシアンフィルタ、閾値付き中央値フィルタ）、輝度補正処理（シグモイド補正、ガンマ補正、ヒストグラム平坦化、輝度減算、輝度反転、正規化、シェーディング補正）、２値化処理（範囲内を白、範囲内を黒、その他各種判別分析法）、エッジ検出処理（ソーベル、ラプラシアン（4近傍）、ラプラシアン（8近傍）、キャニー、アンシャープフィルタ）、周波数フィルタ処理（ローパスフィルタ、ハイパスフィルタ）、演算処理（最大値、最小値、加算、減算、積算、除算、代数和、代数積、限界積、激烈和、激烈積）、モフォロジ処理（オープニング、クロージング）、検出対象判定処理（ラベリング、面積判定、円形度判定、外接四角形アスペクト比判定、外接四角形面積比判定、輝度平均判定、輝度標準偏差判定、輝度最大値判定、輝度最小値判定）、分岐処理（輝度の平均値、輝度の標準偏差、輝度の最大値、輝度の最小値、輝度の最大値-最小値、輝度の中央値）、教師あり学習（サポートベクターマシン（ＳＶＭ）、ニューラルネットワーク、ランダムフォレスト、スパースモデリング）、教師なし学習（マハラノビスタグチ法（ＭＴ法）、one class サポートベクターマシン（ＳＶＭ）、オートエンコーダ、混合ガウス法、k-means（多クラス分類））、及び特定の処理を行わないもの（処理無し）を用いることができる。
これらのノードは、それぞれの処理の実行に用いるパラメータが存在する場合には、そのパラメータと共に機能単位記憶部１０に記憶される。なお、これらのノードのより詳細なデータを図２０Ａ～Ｌに示す。
The functional
As the type of node, nodes that perform various processes as shown in FIGS. 2A and 2B can be used. That is, for example, color space processing (gray conversion, RGB conversion, Lab conversion, XYZ conversion, HSV conversion), transformation processing of feature extraction range (dilation, reduction, hole filling, surroundings), feature extraction processing (feature extraction range Average brightness value, standard deviation, maximum value, minimum value, maximum value-minimum value, median value, skewness, kurtosis, area of feature extraction range, perimeter, circularity, circumscribed rectangle aspect ratio, circumscribed rectangle area ratio), noise removal processing (moving average filter, Gaussian, bilateral, maximum value filter, minimum value filter, median filter, moving average filter with threshold, Gaussian filter with threshold, median filter with threshold), brightness correction processing ( sigmoid correction, gamma correction, histogram flattening, brightness subtraction, brightness inversion, normalization, shading correction), binarization processing (white within the range, black within the range, and various other discriminant analysis methods), edge detection processing (Sobel , Laplacian (4 neighbors), Laplacian (8 neighbors), Canny, unsharp filter), frequency filter processing (low pass filter, high pass filter), arithmetic processing (maximum value, minimum value, addition, subtraction, multiplication, division, algebraic sum) , algebraic product, marginal product, intense sum, intense product), morphology processing (opening, closing), detection target determination processing (labeling, area determination, circularity determination, circumscribed rectangle aspect ratio determination, circumscribed rectangle area ratio determination, brightness average judgment, brightness standard deviation judgment, maximum brightness value judgment, minimum brightness value judgment), branch processing (average brightness, standard deviation of brightness, maximum brightness, minimum brightness, maximum - minimum brightness, brightness) ), supervised learning (support vector machine (SVM), neural network, random forest, sparse modeling), unsupervised learning (Mahalanovistaguchi method (MT method), one class support vector machine (SVM), autoencoder, Gaussian mixture method, k-means (multi-class classification)), and methods that do not perform specific processing (no processing) can be used.
These nodes are stored in the functional
また、ノードとして、上記のように特定の処理を行わないものを用いてもよく、複数の処理を実行する機能単位をまとめたものを１個のノード（ノードセット）として用いてもよい。ノードとして特定の処理を実行しないものを含めて用いることにより、例えば個体情報を生成するための初期ノード数の設定値が多すぎた場合などに、実質的なノード数を減らすことができる。 Furthermore, a node that does not perform any specific processing as described above may be used, or a node (node set) that is a collection of functional units that perform a plurality of processing may be used. By using nodes that do not perform specific processing, the actual number of nodes can be reduced, for example, when the initial number of nodes for generating individual information is set too high.
個体生成部１１は、機能単位記憶部１０に記憶されているノードを用いて、複数のノードの配列からなる複数の個体情報を生成する。この個体情報が、画像処理アルゴリズムを構成する。
本実施形態において、個体情報は、図３に示すように、特異点探索用のノードからなる領域（以下、特異点探索用ノード領域）と、分類用のノードからなる領域（以下、分類用ノード領域）とを有している。なお、前述のとおり、個体情報には、特定の処理を行わないノードが含まれる場合があるが、これについては省略する。以下の実施形態においても同様である。
The
In this embodiment, as shown in FIG. area). Note that, as described above, the individual information may include nodes that do not perform specific processing, but this will be omitted. The same applies to the following embodiments.
特異点探索用ノード領域には、画像における検出対象である特異点を探索して、特異点が存在する場合に、その範囲及び特徴の特定に用いることが可能な各種ノードが備えられている。
具体的には、特異点探索用ノード領域におけるノードとして、図４Ａに示すように、色空間（例えば、グレー変換）、ノイズ除去（例えば、移動平均フィルタ）、輝度補正（例えば、シグモイド補正）、２値化（例えば、範囲内を白）、エッジ検出（例えば、ソーベル）、周波数フィルタ（例えば、ローパスフィルタ）、演算（例えば、最大値）、モフォロジ（例えば、オープニング）、ラベリング（例えば、ラベリング）、検出対象判定（例えば、面積判定）、分岐（例えば、輝度の平均値）等の各処理を行うものを好適に用いることができる。
The singularity search node area includes various nodes that can be used to search for a singularity that is a detection target in an image and, when a singularity exists, to specify its range and characteristics.
Specifically, as shown in FIG. 4A, the nodes in the singular point search node area include color space (e.g., gray conversion), noise removal (e.g., moving average filter), brightness correction (e.g., sigmoid correction), Binarization (e.g., white within range), edge detection (e.g., Sobel), frequency filter (e.g., low-pass filter), operation (e.g., maximum value), morphology (e.g., opening), labeling (e.g., labeling) , detection target determination (for example, area determination), branching (for example, brightness average value), etc. can be suitably used.
分類用ノード領域には、特異点探索結果などにもとづいて、特異点の特徴量を計算し、得られた特徴量にもとづき、特異点を分類することに用いることが可能な各種ノードが備えられている。
ここで、分類で使用される特徴量には、複数のものが存在しており、分類用ノード領域には、それらの特徴量を抽出するための複数の処理セットを構成する各種ノードが含まれる。
The classification node area is equipped with various nodes that can be used to calculate the feature amount of a singular point based on the singularity search results and classify the singular point based on the obtained feature amount. ing.
Here, there are multiple features used in classification, and the classification node area includes various nodes that constitute multiple processing sets for extracting those features. .
具体的には、分類用ノード領域におけるノードとして、図４Ｂに示すように、５個の特徴量が抽出される場合、１つ目の特徴量抽出用として、後述する特異点探索結果記憶部における画像に対して特徴量抽出範囲の変形（例えば、拡大）、後述する画像記憶部における画像に対して色空間（例えば、グレー変換）、ノイズ除去（例えば、移動平均フィルタ）、輝度補正（例えば、シグモイド補正）、特徴量抽出（例えば、特徴量抽出範囲の輝度の平均値）等の各処理を行うものを用いることができる。
また、２つ目の特徴量抽出用として、特異点探索結果記憶部における画像に対して特徴量抽出範囲の変形（例えば、拡大）、特徴量抽出（例えば、特徴量抽出範囲の面積）等の各処理を行うものを用いることができる。
そして、分類用ノード領域においてさらに３つの処理セットを構成する各種ノードが含められると共に、分類器（教師あり学習）として、例えば、サポートベクターマシンのノードを含むものを好適に用いることができる。
Specifically, when five feature quantities are extracted as nodes in the classification node area as shown in FIG. 4B, for the first feature quantity extraction, Transformation (e.g., enlargement) of the feature extraction range of the image, color space (e.g., gray conversion), noise removal (e.g., moving average filter), brightness correction (e.g., A device that performs various processes such as sigmoid correction), feature amount extraction (for example, average value of brightness in a feature amount extraction range) can be used.
In addition, for the second feature extraction, the image in the singular point search result storage unit is modified (e.g., expanded) of the feature extraction range, feature extraction (e.g., area of the feature extraction range), etc. A device that performs each process can be used.
The classification node area further includes various nodes constituting three processing sets, and a classifier (supervised learning) that includes, for example, a support vector machine node can be suitably used.
個体生成部１１は、これらの各種ノードを用いて、特異点探索用ノード領域と分類用ノード領域ごとにそれぞれ所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の個体情報を生成することができる。
またこのとき、個体生成部１１は、個体情報において、直線構造、木構造、又はネットワーク状に複数のノードの実行順序を定義することができる。ネットワークは、向きが付いたリンクにより構成される有向ネットワークであり、フィードバックを含むものとすることができる。
The
Further, at this time, the
なお、ネットワーク状の個体情報を用いれば、直線構造や木構造のみからなる個体情報を用いる場合に比較して、より柔軟な表現力を持つネットワーク構造を含めて学習を行うことができるため、最適解（実用上の最適解、実用解）を導き出す上で優位性がある。すなわち、問題に対してどの構造体が最適解になるかは人が事前に把握することができないため、機械学習の前に構造体の条件を決定することは難しい。このため、個体情報として、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義するものを使用して、幅広い条件で最適解を探索することは、真の最適解を導き出せる可能性を高める上で有効と考えられる。 Furthermore, if network-like individual information is used, learning can be performed including a network structure with more flexible expressive power than when using individual information consisting only of linear structures or tree structures, so it is optimal. It has an advantage in deriving solutions (practical optimal solutions, practical solutions). In other words, since it is impossible for humans to know in advance which structure will provide the optimal solution to a problem, it is difficult to determine the conditions for the structure before machine learning. Therefore, searching for an optimal solution under a wide range of conditions using individual information that defines the execution order of multiple nodes in a network that may include closed paths increases the possibility of deriving a true optimal solution. It is considered to be effective in increasing
個体群記憶部１２は、個体生成部１１によって生成された複数の個体情報からなる個体群を記憶する。この個体群として、１つの世代又は複数の世代を個体群記憶部１２に記憶させることができ、世代番号ごとに個体情報を個体群記憶部１２に記憶させることができる。
The individual
ここで、本実施形態において、個体情報の特異点探索用ノード領域にもとづく特異点探索処理については、教師あり学習が行われる。特異点探索処理について教師あり学習を行う点については、以下の実施形態でも同様である。
また、本実施形態において、個体情報の分類用ノード領域における分類器にもとづく分類処理についても、教師あり学習が行われ、分類器として、教師あり学習であるサポートベクターマシン、ニューラルネットワーク、ランダムフォレスト、スパースモデリング等のいずれかがランダムに選択される。なお、本実施形態において、分類器は教師あり学習であれば良く、その種類はこれらに限定されない。教師あり学習又は教師なし学習の種類がそれぞれ限定されない点については、以下の実施形態についても同様である。
さらに、本実施形態において、個体情報は、特異点探索用ノード領域と分類用ノード領域が連続して配置された遺伝子連続型である。
Here, in this embodiment, supervised learning is performed for the singularity search process based on the node area for singularity search of individual information. The same applies to the following embodiments in that supervised learning is performed for singularity search processing.
In addition, in this embodiment, supervised learning is also performed for the classification processing based on the classifier in the node area for classification of individual information, and the classifier is a support vector machine, neural network, random forest, etc. that is supervised learning. Either sparse modeling or the like is randomly selected. Note that in this embodiment, the classifier only needs to perform supervised learning, and its type is not limited to these. The same applies to the following embodiments in that the types of supervised learning and unsupervised learning are not limited.
Furthermore, in this embodiment, the individual information is of a gene continuous type in which the singularity search node area and the classification node area are arranged consecutively.
画像入力部１３は、複数の学習用画像を画像処理装置１に入力して、画像の識別情報ごとに画像記憶部１４に記憶させる。
教師情報入力部１５は、特異点探索結果を評価するための教師情報を入力し、対応する画像の識別情報ごとに教師情報記憶部１６に記憶させる。
この教師情報としては、学習用画像に対応する教師画像などを用いることができる。また、教師情報として、画像における検出対象の個数や位置、あるいは検出対象が存在する範囲などを用いることもできる。
The
The teacher
As this teacher information, a teacher image corresponding to the learning image, etc. can be used. Further, as the teacher information, the number and position of detection targets in the image, the range in which the detection targets exist, etc. can also be used.
比較情報入力部１７は、特異点を分類するための比較情報（ラベル）を入力し、対応する画像の識別情報ごとに比較情報記憶部１８に記憶させる。
この比較情報としては、画像における特異点の種類及びその程度等を用いることができる。例えば、比較情報が種類であれば傷や打痕など、程度であれば傷の酷さなどを用いることができる。
The comparison
As this comparison information, the type and degree of singularity in the image can be used. For example, if the comparison information is a type, it can be a scratch or a dent, and if the comparison information is a grade, it can be the severity of the scratch.
特異点探索画像処理部１９は、画像記憶部１４から画像を入力すると共に、個体群記憶部１２から個体情報を入力して、その個体情報にもとづき当該個体情報における特異点探索用ノード領域に含まれる複数のノードを順次実行する。この特異点探索画像処理は、検出対象候補を見つけるための処理として行われる。なお、特異点探索画像処理部１９は、画像の入力処理、及び出力画像の保存処理を行うために、それぞれを実行するためのノードも実行する。
The singularity search
このとき、各ノードは、画像から得られる情報を用いて、それぞれの機能に対応する処理を実行する。また、各ノードは、その処理結果にもとづいて、処理結果に対応する次のノードを選択的に実行し得る。したがって、個体情報に含まれるノードであっても、画像処理において、必ずしも全てのノードが実行される訳ではない。勿論、個体情報における全てのノードが実行される場合はある。また、フィードバックが行われることによって、一つの個体情報において１つのみ定義されているノードが、複数回実行されることもあり得る。 At this time, each node uses information obtained from the image to execute processing corresponding to its respective function. Further, each node can selectively execute the next node corresponding to the processing result based on the processing result. Therefore, even if the nodes are included in the individual information, not all nodes are necessarily executed in image processing. Of course, there are cases where all nodes in the individual information are executed. Further, due to feedback, only one node defined in one piece of individual information may be executed multiple times.
特異点探索画像処理部１９は、画像ごとに特異点探索結果としての画像などを作成して、個体情報（の識別情報）ごと且つ画像（の識別情報）ごとに特異点探索結果記憶部２０に記憶させる。
特異点探索結果として画像を作成する場合、検出対象（特異点）が検出された場合は、検出対象が存在する領域を示す情報（特異点領域情報）が付加された画像を作成し、検出対象が検出されなかった場合は、当該情報が付加されていない画像を作成する。
なお、教師情報が、画像における検出対象の個数、位置、又は検出対象が存在する範囲である場合は、それぞれ検出対象の個数、位置、又は検出対象が存在する範囲が特異点探索結果として作成され、特異点探索結果記憶部２０に記憶される。
The singularity search
When creating an image as a result of singularity search, if a detection target (singularity) is detected, an image is created with information indicating the area where the detection target exists (singularity region information), and If the information is not detected, an image without the information added is created.
In addition, if the teacher information is the number and position of detection targets in the image, or the range in which the detection targets exist, the number and position of the detection targets, or the range in which the detection targets exist are respectively created as the singularity search result. , are stored in the singular point search
特異点探索結果記憶部２０は、特異点探索結果を個体情報ごと且つ画像ごとに記憶する。
The singular point search
探索評価値計算部２１は、特異点探索結果記憶部２０から特異点探索結果を入力すると共に、教師情報記憶部１６からその特異点探索結果に対応する教師情報を入力する。
そして、特異点探索結果と教師情報を比較して、特異点探索の評価値（探索評価値）を計算し、算出された探索評価値を個体情報ごと且つ画像ごとに探索評価結果記憶部２２に記憶させることができる。
The search evaluation
Then, the singularity search result and the teacher information are compared to calculate the singularity search evaluation value (search evaluation value), and the calculated search evaluation value is stored in the search evaluation
このとき、探索評価値計算部２１は、教師画像、教師個数、教師位置、教師範囲等の指標にもとづいて、指標評価値（指標値）を計算する。
また、探索評価値計算部２１は、画像処理装置１の処理速度、個体情報におけるノード使用率、個体情報の大きさ等の指標にもとづいて、指標評価値（指標値）を計算することもできる。
そして、探索評価値計算部２１は、これらの指標評価値を用いて、重み付きの足し合わせなどを行うことによって、探索評価値を計算することができる。
At this time, the search evaluation
The search evaluation
Then, the search evaluation
教師画像を用いる場合、その探索評価値の計算は、例えば平均二乗誤差を用いて、以下の式により行うことができる。
探索評価結果記憶部２２は、探索評価値を個体情報ごと且つ画像ごとに記憶する。
The search evaluation
特徴量計算部２３は、特異点探索によって見つかった検出対象候補である特異点の特徴量を計算するものであり、特異点探索結果記憶部２０から特異点探索結果を入力すると共に、個体群記憶部１２から個体情報を入力して、その個体情報にもとづき当該個体情報における分類用ノード領域に含まれる複数のノード（分類器を除く）を順次実行する。また、特徴量計算部２３は、画像記憶部１４から画像を入力して、画像を用いるノードを実行することもできる。これは、以下の実施形態においても同様である。
The feature
このとき、特徴量計算部２３は、例えば、画像記憶部１４から入力した画像に色空間処理を実施し、変更後の画像に対してノイズ除去、輝度補正、エッジ検出、周波数フィルタ等の処理を行うと共に、特異点探索結果の画像に対して特徴量抽出範囲の変形、検出対象判定等を実施して、算出された特徴量を個体情報ごと且つ画像ごと且つ特異点ごとに特徴量記憶部２４に記憶させることができる。
At this time, the
特徴量記憶部２４は、特徴量を個体情報ごと且つ画像ごと且つ特異点ごとに記憶する。
The
分類器学習部２５は、特徴量記憶部２４から特徴量を入力すると共に、個体群記憶部１２から個体情報を入力して、その個体情報にもとづき当該個体情報における分類用ノード領域に含まれる分類器の機械学習を実行する。
このとき、分類器学習部２５は、例えば、比較情報記憶部１８から特異点を分類するための比較情報（ラベル）を入力し、分類器として教師あり学習であるサポートベクターマシンによる機械学習を実行する。
そして、分類器学習部２５は、学習済み分類器を学習済み分類器記憶部２６に記憶させると共に、分類結果を個体情報ごと且つ画像ごと且つ特異点ごとに分類結果記憶部２７に記憶させることができる。
The
At this time, the
Then, the
分類結果記憶部２７は、分類結果を個体情報ごと且つ画像ごと且つ特異点ごとに記憶する。
The classification
分類評価値計算部２８は、分類結果記憶部２７から分類結果を入力すると共に、比較情報記憶部１８からその分類結果に対応する比較情報を入力する。
そして、分類結果と比較情報を比較して検出対象候補の分類の評価値（分類評価値）を計算し、得られた評価値を個体情報ごと且つ画像ごと且つ特異点ごとに分類評価結果記憶部２９に記憶させることができる。
The classification evaluation
Then, the classification result and comparison information are compared to calculate the classification evaluation value (classification evaluation value) of the detection target candidate, and the obtained evaluation value is stored in the classification evaluation result storage for each individual information, image, and singularity. 29 can be stored.
このとき、分類評価値計算部２８は、分類の正確度、再現性、適合度、Ｆ値等の指標にもとづいて、指標評価値（指標値）を計算する。
また、分類評価値計算部２８は、画像処理装置１の処理速度、個体情報におけるノード使用率、個体情報の大きさ等の指標にもとづいて、指標評価値（指標値）を計算することもできる。
そして、分類評価値計算部２８は、これらの指標評価値を用いて、重み付きの足し合わせなどを行うことによって、分類評価値を計算することができる。
At this time, the classification evaluation
The classification evaluation
Then, the classification evaluation
分類評価結果記憶部２９は、分類評価値を個体情報ごと且つ画像ごと且つ特異点ごとに記憶する。
The classification evaluation
個体評価値計算部３０は、探索評価結果記憶部２２から探索評価結果を入力すると共に、分類評価結果記憶部２９から分類評価結果を入力して、個体情報の評価値を計算する。そして、算出された個体情報の評価値を個体評価結果記憶部３１に記憶させる。
このとき、個体評価値計算部３０は、例えば、探索評価結果と分類評価結果を個体情報ごとに重み付きの足し合わせなどを行うことによって、個体情報の評価値を計算することができる。
The individual evaluation
At this time, the individual evaluation
また、個体評価値計算部３０は、個体群記憶部１２に記憶されている全ての個体情報（又は設定された世代分の個体情報）につき個体評価値を計算し終えて個体評価結果記憶部３１に記憶させたタイミングなどで、それらの評価値にもとづき世代ごと又は設定された世代ごとに個体情報を順位付け（ランキング）して、得られた順位付け情報を個体評価結果記憶部３１に記憶させることができる。
Further, the individual evaluation
さらに、個体評価値計算部３０は、画像処理装置１による処理を終了するか否かを判定するための終了判定を行うことができる。終了判定は、終了条件を満たすか否かにもとづき行うことができ、終了条件を満たす場合、画像処理装置１による処理を終了させることができる。そして、個体評価結果記憶部３１に記憶された最も評価値の高い個体情報が、画像処理を行うための最適化された個体情報として得られる。
Further, the individual evaluation
終了条件としては、予め設定した全ての世代の個体群について画像処理を完了した場合や、一定の世代数以上で進化が発生していない場合などを挙げることができる。
進化が発生していない場合とは、評価値が、比較対象の時点よりも改善されていない場合である。
なお、個体評価値計算部３０からこの終了判定の機能を分離して、本実施形態の画像処理装置１において終了判定を行うための終了判定部を備えてもよい。
Examples of termination conditions include a case where image processing is completed for populations of all preset generations, a case where no evolution occurs after a certain number of generations, and the like.
A case in which no evolution has occurred is a case in which the evaluation value is not improved compared to the point of comparison.
Note that the end determination function may be separated from the individual evaluation
個体評価結果記憶部３１は、個体評価値を個体情報ごとに記憶する。また、世代ごと又は設定された世代ごとに個体情報の順位付け情報を記憶する。
The individual evaluation
遺伝子操作部３２は、個体評価結果記憶部３１における個体情報の順位付け情報にもとづいて、個体情報の選択又は変更を行って、個体群記憶部１２を更新する。
これによって、個体群記憶部１２に新たな世代の個体群の個体情報を順次追加することができる。
The
Thereby, individual information of a new generation of individuals can be sequentially added to the individual
具体的には、遺伝子操作部３２は、評価値が高い個体情報を次世代に残すエリート個体保存部と、評価値にもとづいて、一定の確率で個体情報を次世代に残す個体選択部と、２つの個体情報の一部を相互に交換する交叉部と、選択された１つの個体情報の一部又は全部やノードのパラメータをランダムに書き換える突然変異部とを有するものとすることができる。
Specifically, the
エリート個体保存部は、各世代の個体群において、一番評価値の良い個体情報などを、無条件で次世代に残す処理を行うことができる。
個体選択部は、各世代の個体群において、評価値の順位の高い個体情報を高い確率で選択して、次世代に残す処理等を行うことができる。
The elite individual storage unit can carry out processing to unconditionally leave information on individuals with the best evaluation value in the population of each generation to the next generation.
The individual selection unit can perform processing such as selecting individual information with a high ranking of evaluation values with high probability in the population of individuals of each generation, and leaving the information to the next generation.
交叉部は、交叉処理として、複数の個体情報の各ノードの配列における同一（ノード番号）の並びについて、ある確率で入れ替える１様交叉を行うことができる。また、交叉部は、交叉処理として、各ノードの配列における同一の並びの１点を境として、一方の配列を相互に入れ替える１点交叉や、同一の並びの複数点を境として配列を相互に入れ替える複数点交叉を行うこともできる。交叉部は、このような交叉処理を、個体選択部により選択された個体情報に対して行うことができる。 As a crossover process, the crossover unit can perform a one-way crossover in which the same (node numbers) sequences in the array of each node of a plurality of pieces of individual information are replaced with a certain probability. In addition, the crossover section can perform crossover processing such as one-point crossover, in which one array is mutually swapped with one point in the same row in each node array as a boundary, or one-point crossover, in which one array is mutually swapped with one point in the same row in the array of each node, or the arrays are mutually swapped, using multiple points in the same row as a boundary. It is also possible to perform a multi-point intersection with interchanging. The crossover unit can perform such crossover processing on the individual information selected by the individual selection unit.
突然変異部は、突然変異処理として、機能単位記憶部１０に記憶されているノードを用いて、個体情報ごとに一定の確率でその個体情報の一部を書き換えたり、その個体情報の全てを書き換えることができる。突然変異部は、このような突然変異処理を、個体選択部により選択された個体情報に対して行うことができる。また、突然変異部は、突然変異処理として、機能単位記憶部１０に記憶されているノードを用いて、新しい個体情報を生成することもできる。さらに、突然変異部に、突然変異処理として、選択された親個体情報のノードのパラメータの一部又は全部をランダムに書き換えることなどによって、パラメータ変異を行わせることもできる。
As a mutation process, the mutation unit uses the nodes stored in the functional
なお、同じ個体情報にもとづいて生成された同系列個体が増えると、多様性が失われて進化が袋小路（数学的に局所解に陥った状態）に入ってしまう。一方、同系列以外の個体を増やしすぎると、ランダム探索に近づき、効率的な進化が行われない。
そこで、学習初期では多様性を持たせるために、同系列以外の個体を増やすように突然変異部による処理を行い、学習中期では効率的な進化を実施するために、個体選択部により同系列を増やすことが好ましい。また、進化が止まった場合には、再度多様性を持たせるために突然変異部により同系列以外を増やすことなどを好適に行うことができる。
Furthermore, if the number of individuals of the same lineage generated based on the same individual information increases, diversity will be lost and evolution will enter a dead end (mathematically a state of falling into a local solution). On the other hand, if the number of individuals outside the same lineage increases too much, it approaches random search and efficient evolution will not occur.
Therefore, in the early stages of learning, in order to provide diversity, the mutation unit performs processing to increase the number of individuals other than the same lineage, and in the middle stage of learning, in order to carry out efficient evolution, the individual selection unit performs processing to increase the number of individuals from the same lineage. It is preferable to increase it. Furthermore, when evolution has stopped, it is possible to suitably increase the number of non-same lineages using a mutation site in order to increase diversity again.
そして、遺伝子操作部３２は、新たな世代の個体群を生成して、個体群記憶部１２に記憶させる。このとき、遺伝子操作部３２は、前の世代の個体群を上書きすることにより、個体群記憶部１２を更新することができる。また、複数世代の個体群を世代ごとに記憶させることにより、個体群記憶部１２を更新することもできる。
Then, the
次に、本実施形態の画像処理装置による処理手順について、図５及び図６を参照して説明する。図５は、本実施形態の画像処理装置による処理手順を示すフローチャートであり、図６は、同画像処理装置による遺伝子操作の処理手順を示すフローチャートである。 Next, the processing procedure by the image processing apparatus of this embodiment will be explained with reference to FIGS. 5 and 6. FIG. 5 is a flowchart showing a processing procedure by the image processing device of this embodiment, and FIG. 6 is a flowchart showing a processing procedure for gene manipulation by the same image processing device.
まず、画像処理装置１における画像入力部１３が、学習用画像を入力して、画像記憶部１４に記憶させる（ステップ１０）。また、教師情報入力部１５が、特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部１６に記憶させる（ステップ１１）。さらに、比較情報入力部１７が、特異点を分類するための比較情報（ラベル）を入力し、比較情報記憶部１８に記憶させる（ステップ１２）。
First, the
次に、個体生成部１１が、初期個体群を生成する（ステップ１３）。
具体的には、個体生成部１１は、機能単位記憶部１０に記憶されている各種ノードにもとづいて、特異点探索用ノード領域と分類用ノード領域ごとに、それぞれに用いることのできるノードを所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の個体情報を生成して、個体群記憶部１２に記憶させる。
なお、ステップ１０～１３の各ステップの実行順序は、入れ替えてもよい。
Next, the
Specifically, the
Note that the order of execution of
このとき、個体生成部１１は、複数の個体情報からなる個体群を一つの世代として、世代番号ごとに個体群を個体群記憶部１２に記憶させることができる。
なお、新たな世代の個体群は、個体群記憶部１２に記憶されている個体情報に対して、遺伝子操作部３２が遺伝子操作を行うことによって作成することができる。すなわち、新たな世代の個体群は、遺伝子操作部３２により個体情報の選択又は変更が行われ、個体群記憶部１２が更新されることによって作成することができる。
At this time, the
Note that the new generation population can be created by the
このように、個体群記憶部１２における世代は、ステップ１４に示す世代ループの実行に従って順次追加されるようにすることができる。
世代ループは、予め設定された世代数分について実行される。なお、後述する終了判定で終了条件が満たされる場合、設定された世代数分の実行前に世代ループが終了することがある。
In this way, generations in the
The generation loop is executed for a preset number of generations. Note that if a termination condition is satisfied in the termination determination described later, the generation loop may terminate before execution for the set number of generations.
世代ループにおいて、個体群ループが、個体群記憶部１２における当該世代の全ての個体情報について実行される（ステップ１５）。
まず、特異点探索画像処理部１９が、個体群記憶部１２における個体情報における特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する（ステップ１６）。
そして、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０に記憶させる。
In the generation loop, the population loop is executed for all individual information of the generation in the population storage unit 12 (step 15).
First, the singularity search
Then, an image or the like as a singularity search result corresponding to each learning image is created and stored in the singularity search
次に、探索評価値計算部２１が、特異点探索結果記憶部２０から特異点探索結果を入力すると共に、教師情報記憶部１６からその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部２２に記憶させる（ステップ１７）。
Next, the search evaluation
次に、特徴量計算部２３が、特異点探索結果記憶部２０から特異点探索結果を入力し、個体群記憶部１２における個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、各特異点の特徴量を計算する（ステップ１８）。また、特徴量計算部２３は、画像記憶部１４から画像を入力して、その画像を用いるノードを実行することもできる。
そして、特徴量計算部２３は、算出された特徴量を特徴量記憶部２４に記憶させる。
Next, the
Then, the feature
次に、分類器学習部２５が、特徴量記憶部２４から特徴量を入力し、個体群記憶部１２における個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する（ステップ１９）。
そして、分類器学習部２５は、学習済み分類器を学習済み分類器記憶部２６に記憶させ、分類結果を分類結果記憶部２７に記憶させる。
Next, the
Then, the
次に、分類評価値計算部２８が、分類結果記憶部２７から分類結果を入力すると共に、比較情報記憶部１８からその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部２９に記憶させる（ステップ２０）。
Next, the classification evaluation
次に、個体評価値計算部３０が、探索評価結果記憶部２２から探索評価結果を入力すると共に、分類評価結果記憶部２９から分類評価結果を入力して、個体情報の評価値を計算し、算出された個体情報の評価値を個体評価結果記憶部３１に記憶させる。
そして、個体評価値計算部３０は、個体評価結果記憶部３１に記憶されている評価値にもとづいて、個体情報の順位付けを行い、その結果を個体評価結果記憶部３１に記憶する（ステップ２１）。
Next, the individual evaluation
Then, the individual evaluation
次に、個体評価値計算部３０は、終了条件が満たされているか否かの判定処理を行う（ステップ２２）。
終了条件が満たされている場合は、画像処理装置１による処理を終了する。
終了条件が満たされていない場合は、遺伝子操作部３２が、遺伝子操作処理を実行する（ステップ２３）。これにより、遺伝子操作部３２は、個体群記憶部１２に新たな世代の個体群を追加更新することができる。
Next, the individual evaluation
If the termination conditions are met, the processing by the
If the termination condition is not met, the
具体的には、図６に示すように、遺伝子操作部３２におけるエリート個体保存部が、最も評価値の高い個体情報を次世代の個体群の個体情報として選択する（ステップ３０）。
また、遺伝子操作部３２における個体選択部が、評価値の順位の高い個体情報ほど高い確率で次世代の個体群の個体情報として選択する（ステップ３１）。
Specifically, as shown in FIG. 6, the elite individual storage section in the
Further, the individual selection unit in the
さらに、遺伝子操作部３２における交叉部が、個体選択部により選択された個体情報に対して、交叉処理を実行して、新たな個体情報を生成する（ステップ３２）。
また、遺伝子操作部３２における突然変異部が、個体選択部により選択された個体情報にもとづいて、またはこれらの個体情報を用いることなく、突然変異処理等を行い、新たな個体情報を生成する（ステップ３３）。
なお、エリート個体保存部、個体選択部、交叉部、突然変異部による各処理の順序を、各処理を実行可能な順序の範囲で入れ替えて実行してもよい。
Further, the crossover unit in the
Furthermore, the mutation unit in the
Note that the order of each process by the elite individual storage unit, individual selection unit, crossover unit, and mutation unit may be changed within the range of the order in which each process can be executed.
この遺伝子操作処理によって、個体群記憶部１２に次の世代の個体群の個体情報を追加することができる。
このように、世代ループを繰り返すことで、個体群記憶部１２において、新たな世代の個体群の個体情報を順次追加することができる。
以上の処理の結果、個体評価結果記憶部３１にはどの個体情報が最適であるかが記憶され、個体群記憶部１２には最適化された個体情報が記憶される。
Through this genetic manipulation process, individual information of the next generation population can be added to the
In this way, by repeating the generation loop, individual information of a new generation of individuals can be sequentially added to the
As a result of the above processing, the individual evaluation
このような本実施形態によれば、画像処理アルゴリズムの自動生成において、特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能である。
例えば、特異点の探索のみを最適化するケースにおいては、検出対象と非検出対象が似ているために区別することが難しく且つ検出対象の数が非検出対象に対して少ない場合には、非検出対象を検出しないように学習が進んで、偽陰性（検出対象を検出しない）を発生させることが多い。
しかし、本実施形態によれば、特異点の探索において検出対象を陽性（検出対象を検出する）とし、非検出対象を偽陽性（非検出対象を検出する）した場合であっても、特異点の分類において、偽陽性判定された検出対象を陰性判定に変更するように進化させることが可能となる。
According to this embodiment, in automatically generating an image processing algorithm, the synergistic effect and classification accuracy of singularity search, singularity feature quantity calculation, and singularity classification are optimized using genetic operations. It is possible to convert
For example, in the case of optimizing only the search for singular points, if the detection target and non-detection target are similar and it is difficult to distinguish them, and the number of detection targets is smaller than the non-detection target, then the non-detection target is Learning progresses so as not to detect the detection target, often resulting in false negatives (the detection target is not detected).
However, according to the present embodiment, even if the detection target is set as positive (the detection target is detected) and the non-detection target is false positive (the non-detection target is detected) in the search for the singular point, the singular point In this classification, it is possible to evolve a detection target that has been determined to be a false positive to be changed to a negative determination.
［第二実施形態］
次に、本発明の第二実施形態に係る画像処理システム、及び画像処理プログラムについて、図７を参照して説明する。図７は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
[Second embodiment]
Next, an image processing system and an image processing program according to a second embodiment of the present invention will be described with reference to FIG. 7. FIG. 7 is a block diagram showing the configuration of an image processing device corresponding to the image processing system of this embodiment.
本実施形態の画像処理装置１ａは、図７に示すように、機能単位記憶部１０ａ、個体生成部１１ａ、個体群記憶部１２ａ、画像入力部１３ａ、画像記憶部１４ａ、教師情報入力部１５ａ、教師情報記憶部１６ａ、比較情報入力部１７ａ、比較情報記憶部１８ａ、特異点探索画像処理部１９ａ、特異点探索結果記憶部２０ａ、探索評価値計算部２１ａ、探索評価結果記憶部２２ａ、特徴量計算部２３ａ、特徴量記憶部２４ａ、分類器学習部２５ａ、学習済み分類器記憶部２６ａ、分類結果記憶部２７ａ、分類評価値計算部２８ａ、分類評価結果記憶部２９ａ、個体評価値計算部３０ａ、個体評価結果記憶部３１ａ、及び遺伝子操作部３２ａを備えている。また、個体群記憶部１２ａは、親個体群記憶部１２１ａと子個体群記憶部１２２ａを備えている。
As shown in FIG. 7, the image processing device 1a of this embodiment includes a functional
本実施形態の画像処理装置１ａにおける機能単位記憶部１０ａ、画像入力部１３ａ、画像記憶部１４ａ、教師情報入力部１５ａ、教師情報記憶部１６ａ、比較情報入力部１７ａ、比較情報記憶部１８ａ、特異点探索結果記憶部２０ａ、探索評価値計算部２１ａ、探索評価結果記憶部２２ａ、特徴量記憶部２４ａ、学習済み分類器記憶部２６ａ、分類結果記憶部２７ａ、分類評価値計算部２８ａ、分類評価結果記憶部２９ａ、及び個体評価結果記憶部３１ａは、第一実施形態と同様のものとすることができる。また、本実施形態の画像処理装置１ａにおけるその他の構成についても、以下に説明する点を除いて、第一実施形態と同様のものとすることができる。
Functional
個体生成部１１ａは、機能単位記憶部１０ａに記憶されている各種ノードにもとづいて、特異点探索用ノード領域と分類用ノード領域ごとに、それぞれに用いることのできるノードを所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の親個体情報を生成して、個体群記憶部１２ａにおける親個体群記憶部１２１ａに記憶させる。
The individual generation unit 11a randomly generates nodes that can be used for each of the singularity search node area and the classification node area under predetermined conditions based on the various nodes stored in the functional
個体群記憶部１２ａは、親個体群記憶部１２１ａと子個体群記憶部１２２ａを備えている。
親個体群記憶部１２１ａは、個体生成部１１ａによって生成された複数の親個体情報からなる親個体群を記憶する。また、１つの世代又は複数の世代の親個体群を記憶させることができ、世代番号ごとに各個体情報を記憶させることができる。
子個体群記憶部１２２ａは、遺伝子操作部３２ａによって生成された複数の子個体情報からなる子個体群を記憶する。また、親個体群に対応する１つの世代又は複数の世代の子個体群を記憶させることができ、世代番号ごとに各個体情報を記憶させることができる。
The
The parent
The child
本実施形態において、個体情報の分類用ノード領域における分類器にもとづく分類処理については、教師あり学習によって学習が行われる。
また、本実施形態において、個体情報は、特異点探索用ノード領域と分類用ノード領域が連続して配置された遺伝子連続型である。
In this embodiment, the classification processing based on the classifier in the classification node area of individual information is learned by supervised learning.
Furthermore, in this embodiment, the individual information is of a gene continuous type in which the singularity search node area and the classification node area are arranged consecutively.
遺伝子操作部３２ａは、親個体群記憶部１２１ａにおける親個体情報に対して遺伝子操作を実行し、親個体群に対応する複数の子個体情報からなる子個体群を生成して、子個体群記憶部１２２ａに記憶させることができる。
本実施形態では、親個体群と子個体群のセットが１つの世代に含められ、これらのセットが複数の世代分生成されて、それぞれ親個体群記憶部１２１ａと子個体群記憶部１２２ａに記憶される。
The
In this embodiment, a set of a parent population and a child population is included in one generation, and these sets are generated for multiple generations and stored in the parent
具体的には、遺伝子操作部３２ａは、まず、親個体群記憶部１２１ａにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。次に、選択した親個体情報と同一の子個体情報からなる子個体群を子個体群記憶部１２２ａに記憶させる。また、選択された親個体情報に対して交叉処理を実行して複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部１２２ａに記憶させる。
Specifically, the
また、遺伝子操作部３２ａは、機能単位記憶部１０ａに記憶されているノードを用いて、選択された親個体情報に対して突然変異処理を実行し、一定の確率で親個体情報の一部又は全部を書き換えることによって得られた子個体情報からなる子個体群を子個体群記憶部１２２ａに記憶させることもできる。さらに、突然変異処理として、機能単位記憶部１０ａに記憶されているノードを用いて、新しい個体情報を生成することもでき、選択された親個体情報のノードのパラメータの一部又は全部をランダムに書き換えることなどによりパラメータ変異を行わせることもできる。
In addition, the
このように、遺伝子操作部３２ａは、親個体群記憶部１２１ａにおける親個体情報に対して遺伝子操作を実行することにより、複数の子個体情報からなる子個体群を生成して、これらを子個体群記憶部１２２ａに記憶させる。
In this way, the
また、遺伝子操作部３２ａは、個体評価結果記憶部３１ａにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、親個体群記憶部１２１ａにおける親個体情報を更新することができる。
これにより、遺伝子操作部３２ａは、個体群記憶部１２ａにおける親個体群記憶部１２１ａに新たな親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部１２ａにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
Furthermore, the
Thereby, the
Then, by repeating the generation loop, individual information of the parent population of a new generation can be sequentially added to the
特異点探索画像処理部１９ａは、子個体群記憶部１２２ａにおける子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する。そして、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ａに記憶させる。
The singularity search
特徴量計算部２３ａは、特異点探索結果記憶部２０ａから特異点探索結果を入力し、子個体群記憶部１２２ａにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、各特異点の特徴量を計算する。そして、算出された特徴量を特徴量記憶部２４ａに記憶させる。
The
分類器学習部２５ａは、特徴量記憶部２４ａから特徴量を入力し、子個体群記憶部１２２ａにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する。そして、学習済み分類器を学習済み分類器記憶部２６ａに記憶させ、分類結果を分類結果記憶部２７ａに記憶させる。
The
個体評価値計算部３０ａは、探索評価結果記憶部２２ａから探索評価結果を入力すると共に、分類評価結果記憶部２９ａから分類評価結果を入力して、子個体情報の評価値を計算し、算出された子個体情報の評価値を個体評価結果記憶部３１ａに記憶させる。そして、個体評価結果記憶部３１ａに記憶されている評価値にもとづいて、子個体情報の順位付けを行い、その結果を個体評価結果記憶部３１ａに記憶する。
The individual evaluation
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、図８を参照して説明する。図８は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。 Next, the processing procedure of the image processing apparatus corresponding to the image processing system of this embodiment will be explained with reference to FIG. FIG. 8 is a flowchart showing a processing procedure by an image processing apparatus corresponding to the image processing system of this embodiment.
まず、画像処理装置１ａにおける画像入力部１３ａが、学習用画像を入力して、画像記憶部１４ａに記憶させる（ステップ４０）。また、教師情報入力部１５ａが、特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部１６ａに記憶させる（ステップ４１）。さらに、比較情報入力部１７ａが、特異点を分類するための比較情報（ラベル）を入力し、比較情報記憶部１８ａに記憶させる（ステップ４２）。
First, the
次に、個体生成部１１ａが、初期の親個体群を生成する（ステップ４３）。
具体的には、個体生成部１１ａは、機能単位記憶部１０ａに記憶されている各種ノードにもとづいて、特異点探索用ノード領域と分類用ノード領域ごとに、それぞれに用いることのできるノードを所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の親個体情報を生成して、個体群記憶部１２ａにおける親個体群記憶部１２１ａに記憶させる。
なお、ステップ４０～４３の各ステップの実行順序は、入れ替えてもよい。
Next, the individual generation unit 11a generates an initial parent population (step 43).
Specifically, the individual generation unit 11a predetermines nodes that can be used for each of the singularity search node area and the classification node area based on the various nodes stored in the functional
Note that the order of execution of
この親個体群記憶部１２１ａにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる（ステップ４４）。
The parent population in the parent
次に、世代ループにおいて、遺伝子操作部３２ａが、親個体群記憶部１２１ａにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。（ステップ４５）。そして、選択された親個体情報に対して遺伝子操作を実行する（ステップ４６）。なお、ステップ４５の親個体情報の選択を、ステップ４６の遺伝子操作の一部として実行してもよい。これは、以下の実施形態においても同様である。
このとき、遺伝子操作部３２ａは、親個体情報に対して交叉処理や突然変異処理を実行して、複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部１２２ａに記憶させる。
Next, in the generation loop, the
At this time, the
次に、子個体群ループにおいて（ステップ４７）、特異点探索画像処理部１９ａが、子個体群記憶部１２２ａにおける子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する（ステップ４８）。
そして、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ａに記憶させる。
Next, in the child population loop (step 47), the singularity search
Then, an image or the like as a singularity search result corresponding to each learning image is created and stored in the singularity search
次に、探索評価値計算部２１ａが、特異点探索結果記憶部２０ａから特異点探索結果を入力すると共に、教師情報記憶部１６ａからその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部２２ａに記憶させる（ステップ４９）。
Next, the search evaluation
次に、特徴量計算部２３ａが、特異点探索結果記憶部２０ａから特異点探索結果を入力し、子個体群記憶部１２２ａにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、各特異点の特徴量を計算する（ステップ５０）。
そして、特徴量計算部２３ａは、算出された特徴量を特徴量記憶部２４ａに記憶させる。
Next, the
Then, the feature
次に、分類器学習部２５ａが、特徴量記憶部２４ａから特徴量を入力し、子個体群記憶部１２２ａにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する（ステップ５１）。
そして、分類器学習部２５ａは、学習済み分類器を学習済み分類器記憶部２６ａに記憶させ、分類結果を分類結果記憶部２７ａに記憶させる。
Next, the
Then, the
次に、分類評価値計算部２８ａが、分類結果記憶部２７ａから分類結果を入力すると共に、比較情報記憶部１８ａからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部２９ａに記憶させる（ステップ５２）。
そして、子個体群記憶部１２２ａにおける全ての子個体情報について、ステップ４８からステップ５２までの処理を繰り返し実行する。
Next, the classification evaluation
Then, the processes from
次に、個体評価値計算部３０ａが、探索評価結果記憶部２２ａから探索評価結果を入力すると共に、分類評価結果記憶部２９ａから分類評価結果を入力して、子個体情報の評価値を計算し、算出された子個体情報の評価値を個体評価結果記憶部３１ａに記憶させる。
そして、個体評価値計算部３０ａは、個体評価結果記憶部３１ａに記憶されている評価値にもとづいて、子個体情報の順位付けを行い、その結果を個体評価結果記憶部３１ａに記憶させる（ステップ５３）。
Next, the individual evaluation
Then, the individual evaluation
そして、遺伝子操作部３２ａは、個体評価結果記憶部３１ａにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ４５において親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、個体群記憶部１２ａにおける親個体群記憶部１２１ａの親個体情報を更新することができる（ステップ５４）。
Then, the
遺伝子操作部３２ａのこのような処理によって、個体群記憶部１２ａにおける親個体群記憶部１２１ａに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部１２ａにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
Through such processing by the
Then, by repeating the generation loop, individual information of the parent population of a new generation can be sequentially added to the
また、個体評価値計算部３０ａは、終了条件が満たされているか否かの判定処理を行い（ステップ５５）、終了条件が満たされている場合、画像処理装置１ａによる処理を終了する。
以上の処理の結果、個体評価結果記憶部３１ａにはどの個体情報が最適であるかが記憶され、個体群記憶部１２ａには最適化された個体情報が記憶される。
The individual evaluation
As a result of the above processing, which individual information is optimal is stored in the individual evaluation
このような本実施形態の画像処理システムによれば、親個体群から親を選択して子個体情報を生成する時に遺伝子操作が実行されると共に、特定の子個体情報を親個体群における親個体情報と入れ替えることにより親個体群を更新して、新たな世代の個体情報を追加することができる。これにより、第一実施形態に比較して、進化の多様性をより保った状態で、最適な個体情報を探すことが可能となっている。 According to the image processing system of this embodiment, genetic manipulation is performed when selecting a parent from a parent population to generate child individual information, and specific child individual information is transferred to a parent individual in the parent population. By replacing the information, the parent population can be updated and individual information of a new generation can be added. This makes it possible to search for optimal individual information while maintaining evolutionary diversity more than in the first embodiment.
［第三実施形態］
次に、本発明の第三実施形態に係る画像処理システム、及び画像処理プログラムについて、図９及び図１０を参照して説明する。図９は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。図１０は、当該画像処理装置における個体群記憶部の個体情報（遺伝子分離型）を示す図である。
[Third embodiment]
Next, an image processing system and an image processing program according to a third embodiment of the present invention will be described with reference to FIGS. 9 and 10. FIG. 9 is a block diagram showing the configuration of an image processing device corresponding to the image processing system of this embodiment. FIG. 10 is a diagram showing individual information (gene-separated type) in the population storage section in the image processing device.
本実施形態の画像処理装置１ｂは、図９に示すように、第二実施形態と比較して、最良組合せ判定部３３ｂと組合せ判定結果記憶部３４ｂをさらに備えると共に、個体評価値計算部３０ａと個体評価結果記憶部３１ａに相当する構成を備えていない点で相違する。
また、本実施形態の画像処理装置１ｂは、個体群記憶部１２ｂにおいて、個体情報（親個体情報及び子個体情報）として、特異点探索用ノード領域を備えたものと、分類用ノード領域を備えたものとが分離して記憶されている点で第二実施形態と相違している。
また、本実施形態の画像処理装置１ｂにおけるその他の構成については、以下に説明する点を除いて、第二実施形態と同様のものとすることができる。
As shown in FIG. 9, the image processing device 1b of the present embodiment is further equipped with a best
In addition, the image processing device 1b of this embodiment includes a node area for singularity search and a node area for classification as individual information (parent individual information and child individual information) in the
Further, the other configurations of the image processing device 1b of this embodiment can be the same as those of the second embodiment except for the points described below.
個体生成部１１ｂは、機能単位記憶部１０ｂに記憶されている各種ノードにもとづいて、特異点探索に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、特異点探索用の複数の親個体情報を生成して、個体群記憶部１２ｂにおける親個体群記憶部１２１ｂに記憶させる。
また、個体生成部１１ｂは、機能単位記憶部１０ｂに記憶されている各種ノードにもとづいて、特異点の分類に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、分類用の複数の親個体情報を生成して、個体群記憶部１２ｂにおける親個体群記憶部１２１ｂに記憶させる。
The
Furthermore, the
個体群記憶部１２ｂは、親個体群記憶部１２１ｂと子個体群記憶部１２２ｂを備えている。
本実施形態では、図１０に示すように、親個体情報及び子個体情報として、それぞれ特異点探索用ノード領域を備えた特異点探索用の個体情報と、分類用ノード領域を備えた分類用の個体情報とが、親個体群記憶部１２１ｂと子個体群記憶部１２２ｂのそれぞれにおいて別個に備えられている。
The
In this embodiment, as shown in FIG. 10, the parent individual information and the child individual information are individual information for singularity search having a node area for singularity search, and individual information for classification having a node area for classification. Individual information is separately provided in each of the parent
本実施形態において、分類用の個体情報における分類器にもとづく分類処理については、教師あり学習によって学習が行われる。
また、本実施形態において、個体情報は、特異点探索用と分類用とが別個に備えられた遺伝子分離型である。
In this embodiment, the classification process based on the classifier in the individual information for classification is performed by supervised learning.
Furthermore, in this embodiment, the individual information is of a gene-separated type in which information for searching for singular points and information for classification are separately provided.
特異点探索画像処理部１９ｂは、子個体群記憶部１２２ｂにおける特異点探索用の子個体情報にもとづいて、特異点探索画像処理を実行し、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ｂに記憶させる。
The singularity search
探索評価値計算部２１ｂは、探索評価結果記憶部２２ｂに記憶されている探索評価値にもとづいて、特異点探索用の子個体情報の順位付けを行い、その結果を探索評価結果記憶部２２ｂに記憶する。
The search evaluation
特徴量計算部２３ｂは、特異点探索結果記憶部２０ｂから特異点探索結果を入力し、子個体群記憶部１２２ｂにおける分類用の子個体情報の各ノード（分類器を除く）を順次実行することにより、各特異点の特徴量を計算し、算出された特徴量を特徴量記憶部２４ｂに記憶させる。
The feature
分類器学習部２５ｂは、特徴量記憶部２４ｂから特徴量を入力し、子個体群記憶部１２２ｂにおける分類用の子個体情報に含まれる分類器の機械学習を実行し、学習済み分類器を学習済み分類器記憶部２６ｂに記憶させ、分類結果を分類結果記憶部２７ｂに記憶させる。
The
分類評価値計算部２８ｂは、分類評価結果記憶部２９ｂに記憶されている分類評価値にもとづいて、分類用の子個体情報の順位付けを行い、その結果を分類評価結果記憶部２９ｂに記憶する。
The classification evaluation
最良組合せ判定部３３ｂは、探索評価結果記憶部２２ｂから特異点探索用の子個体情報の順位付け情報を入力すると共に、分類評価結果記憶部２９ｂから分類用の子個体情報の順位付けを入力して、特異点探索用の子個体情報と分類用の子個体情報の最良の組合せを判定する。最良の組合せとしては、探索評価値の最も高い特異点探索用の子個体情報と分類評価値の最も高い分類用の子個体情報の組合せなどとすることができる。
また、最良組合せ判定部３３ｂは、最良の組合せ情報を含む組合せ判定結果を組合せ判定結果記憶部３４ｂに記憶させる。この組合せ判定結果には、特異点探索用の子個体情報と分類用の子個体情報の順位付け情報を含めることができる。
The best
Furthermore, the best
遺伝子操作部３２ｂは、親個体群記憶部１２１ｂにおける特異点探索用の親個体群からランダムに子個体情報を生成する親個体情報を選択して、選択された親個体情報に対して遺伝子操作を実行する。
また、遺伝子操作部３２ｂは、親個体群記憶部１２１ｂにおける分類用の親個体群からランダムに子個体情報を生成する親個体情報を選択して、選択された親個体情報に対して遺伝子操作を実行する。
The
Furthermore, the
さらに、遺伝子操作部３２ｂは、組合せ判定結果記憶部３４ｂにおける組合せ判定結果にもとづいて、特異点探索用の子個体情報と分類用の子個体情報のそれぞれについて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群から選択された親個体情報の一部と入れ替えることなどによって、個体群記憶部１２ｂにおける親個体群記憶部１２１ｂの親個体情報を更新することができる。
Furthermore, the
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、図１１を参照して説明する。図１１は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。 Next, a processing procedure of an image processing apparatus corresponding to the image processing system of this embodiment will be described with reference to FIG. 11. FIG. 11 is a flowchart showing a processing procedure by an image processing apparatus corresponding to the image processing system of this embodiment.
まず、画像処理装置１ｂにおける画像入力部１３ｂが、学習用画像を入力して、画像記憶部１４ｂに記憶させる（ステップ６０）。また、教師情報入力部１５ｂが、特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部１６ｂに記憶させる（ステップ６１）。さらに、比較情報入力部１７ｂが、特異点を分類するための比較情報（ラベル）を入力し、比較情報記憶部１８ｂに記憶させる（ステップ６２）。
First, the
次に、個体生成部１１ｂが、初期の親個体群を生成する。
具体的には、個体生成部１１ｂは、機能単位記憶部１０ｂに記憶されている各種ノードにもとづいて、特異点探索に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、特異点探索用の複数の親個体情報を生成して、個体群記憶部１２ｂにおける親個体群記憶部１２１ｂに記憶させる（ステップ６３）。
また、個体生成部１１ｂは、機能単位記憶部１０ｂに記憶されている各種ノードにもとづいて、特異点の分類に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、分類用の複数の親個体情報を生成して、個体群記憶部１２ｂにおける親個体群記憶部１２１ｂに記憶させる（ステップ６４）。
なお、ステップ６０～６４の各ステップの実行順序は、入れ替えてもよい。
Next, the
Specifically, the
Furthermore, the
Note that the order of execution of
この親個体群記憶部１２１ｂにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる（ステップ６５）。
The parent population in the parent
次に、世代ループにおいて、遺伝子操作部３２ｂが、親個体群記憶部１２１ｂにおける特異点探索用の親個体群からランダムに子個体情報を生成する親個体情報を選択して（ステップ６６）、選択された親個体情報に対して遺伝子操作を実行する（ステップ６７）。また、遺伝子操作部３２ｂが、親個体群記憶部１２１ｂにおける分類用の親個体群からランダムに子個体情報を生成する親個体情報を選択して（ステップ６６）、選択された親個体情報に対して遺伝子操作を実行する（ステップ６８）。
Next, in the generation loop, the
このとき、遺伝子操作部３２ｂは、特異点探索用の親個体情報と分類用の親個体情報に対して交叉処理や突然変異処理を実行して、特異点探索用の複数の子個体情報と分類用の複数の子個体情報をそれぞれ生成し、各子個体情報からなる特異点探索用の子個体群と分類用の子個体群を子個体群記憶部１２２ｂに記憶させる。
At this time, the
次に、特異点探索用の子個体群ループにおいて（ステップ６９）、特異点探索画像処理部１９ｂが、子個体群記憶部１２２ｂにおける特異点探索用の子個体情報にもとづいて、特異点探索画像処理を実行する（ステップ７０）。
そして、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ｂに記憶させる。
Next, in the child population loop for singularity search (step 69), the singularity search
Then, an image or the like as a singularity search result corresponding to each learning image is created and stored in the singularity search
次に、探索評価値計算部２１ｂが、探索評価結果記憶部２２ｂから特異点探索結果を入力すると共に、教師情報記憶部１６ｂからその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部２２ｂに記憶させる（ステップ７１）。
そして、子個体群記憶部１２２ｂにおける全ての特異点探索用の子個体情報について、ステップ７０からステップ７１までの処理を繰り返し実行する。
さらに、探索評価値計算部２１ｂは、探索評価結果記憶部２２ｂに記憶されている探索評価値にもとづいて、特異点探索用の子個体情報の順位付けを行い、その結果を探索評価結果記憶部２２ｂに記憶させる（ステップ７２）。
Next, the search evaluation
Then, the processes from
Furthermore, the search evaluation
次に、分類用の子個体群ループにおいて（ステップ７３）、特徴量計算部２３ｂが、特異点探索結果記憶部２０ｂから特異点探索結果を入力し、子個体群記憶部１２２ｂにおける分類用の子個体情報の各ノード（分類器を除く）を順次実行することにより、各特異点の特徴量を計算する（ステップ７４）。なお、このとき入力する特異点探索結果としては、特異点探索の子個体群における最良の個体情報を用いて得られたものなどを使用するができる。
そして、特徴量計算部２３ｂは、算出された特徴量を特徴量記憶部２４ｂに記憶させる。
Next, in the child population loop for classification (step 73), the
Then, the feature
次に、分類器学習部２５ｂが、特徴量記憶部２４ｂから特徴量を入力し、子個体群記憶部１２２ｂにおける分類用の子個体情報に含まれる分類器の機械学習を実行する（ステップ７５）。
そして、分類器学習部２５ｂは、学習済み分類器を学習済み分類器記憶部２６ｂに記憶させ、分類結果を分類結果記憶部２７ｂに記憶させる。
Next, the
Then, the
次に、分類評価値計算部２８ｂが、分類結果記憶部２７ｂから分類結果を入力すると共に、比較情報記憶部１８ｂからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部２９ｂに記憶させる（ステップ７６）。
そして、子個体群記憶部１２２ｂにおける全ての分類用の子個体情報について、ステップ７３からステップ７６までの処理を繰り返し実行する。
Next, the classification evaluation
Then, the processes from
さらに、分類評価値計算部２８ｂは、分類評価結果記憶部２９ｂに記憶されている分類評価値にもとづいて、分類用の子個体情報の順位付けを行い、その結果を分類評価結果記憶部２９ｂに記憶する（ステップ７７）。
Furthermore, the classification evaluation
次に、最良組合せ判定部３３ｂが、探索評価結果記憶部２２ｂから特異点探索用の子個体情報の順位付け情報を入力すると共に、分類評価結果記憶部２９ｂから分類用の子個体情報の順位付けを入力して、特異点探索用の子個体情報と分類用の子個体情報の最良の組合せを判定する（ステップ７８）。
そして、最良組合せ判定部３３ｂは、最良の組合せ情報を含む組合せ判定結果を組合せ判定結果記憶部３４ｂに記憶させる。また、組合せ判定結果には、特異点探索用の子個体情報と分類用の子個体情報の順位付け情報を含めることができる。
Next, the best
The best
そして、遺伝子操作部３２ｂは、組合せ判定結果記憶部３４ｂにおける組合せ判定結果にもとづいて、特異点探索用の子個体情報と分類用の子個体情報のそれぞれについて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ６６において親個体群から選択された親個体情報の一部と入れ替えることなどによって、個体群記憶部１２ｂにおける親個体群記憶部１２１ｂの親個体情報を更新する（ステップ７９）。
Then, the
遺伝子操作部３２ｂのこのような処理によって、個体群記憶部１２ｂにおける親個体群記憶部１２１ｂに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部１２ｂにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
Through such processing by the
Then, by repeating the generation loop, individual information of the parent population of a new generation can be sequentially added to the
また、最良組合せ判定部３３ｂは、終了条件が満たされているか否かの判定処理を行い（ステップ８０）、終了条件が満たされている場合、画像処理装置１ｂによる処理を終了する。
以上の処理の結果、組合せ判定結果記憶部３４ｂにはどの個体情報の組合せが最適であるかが記憶され、個体群記憶部１２ｂには最適化された特異点探索用の子個体情報と分類用の子個体情報が記憶される。
The best
As a result of the above processing, the combination determination
このような本実施形態の画像処理装置によれば、特異点探索用の個体情報と分類用の個体情報を分離しつつ、これらの組合せを進化的計算に反映することが可能となる。
例えば、特異点探索において評価の悪い子個体情報に対しては、子個体群（分類）ループ処理を実施しないようにするなど、計算時間の短時間化が可能である。また、評価の良い特異点探索用の子個体情報について、最適な分類用の子個体情報を集中的に探索できるため、画像処理装置の性能をより向上させることが可能である。
According to the image processing apparatus of this embodiment, it is possible to separate individual information for singular point search and individual information for classification, and to reflect a combination of these in evolutionary calculation.
For example, calculation time can be shortened by not performing child individual group (classification) loop processing for child individual information that is poorly evaluated in the singular point search. In addition, since it is possible to intensively search for optimal child individual information for classification with respect to child individual information for singular point search that has been evaluated well, it is possible to further improve the performance of the image processing device.
［第四実施形態］
次に、本発明の第四実施形態に係る画像処理システム、及び画像処理プログラムについて、図１２を参照して説明する。図１２は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
[Fourth embodiment]
Next, an image processing system and an image processing program according to a fourth embodiment of the present invention will be described with reference to FIG. 12. FIG. 12 is a block diagram showing the configuration of an image processing device corresponding to the image processing system of this embodiment.
本実施形態の画像処理装置１ｃは、図１２に示すように、第二実施形態と比較して、検証用特徴量計算部３５ｃ、検証用特徴量記憶部３６ｃ、分類処理部３７ｃをさらに備えると共に、特徴量計算部２３ａと特徴量記憶部２４ａに変えて学習用特徴量計算部２３ｃと学習用特徴量記憶部２４ｃを備えている点で相違している。
本実施形態の画像処理装置１ｃにおけるその他の構成については、以下に説明する点を除いて、第二実施形態と同様のものとすることができる。
As shown in FIG. 12, the image processing device 1c of the present embodiment, compared to the second embodiment, further includes a verification
The other configurations of the image processing device 1c of this embodiment can be the same as those of the second embodiment, except for the points described below.
本実施形態において、個体情報の分類用ノード領域における分類器にもとづく分類処理については、教師なし学習が行われ、分類器として、教師なし学習であるマハラノビスタグチ法、one class サポートベクターマシン、オートエンコーダ、混合ガウス法、k-mean等のいずれかがランダムに選択される。
また、本実施形態において、個体情報は、特異点探索用ノード領域と分類用ノード領域が連続して配置された遺伝子連続型である。
In this embodiment, unsupervised learning is performed for the classification process based on the classifier in the node area for classifying individual information, and the classifier uses the Mahalanobistaguchi method, which is unsupervised learning, one class support vector machine, and autoencoder. , Gaussian mixture method, k-mean, etc. are randomly selected.
Furthermore, in this embodiment, the individual information is of a gene continuous type in which the singularity search node area and the classification node area are arranged consecutively.
画像入力部１３ｃは、学習用画像と検証用画像を入力して、これらを画像記憶部１４ｃに記憶させる。
特異点探索画像処理部１９ｃは、各学習用画像及び各検証用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ｃに記憶させる。
The
The singularity search
学習用特徴量計算部２３ｃは、特異点探索結果記憶部２０ｃから特異点探索結果を入力し、子個体群記憶部１２２ｃにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、学習用画像の各特異点の特徴量を計算する。
学習用特徴量計算部２３ｃは、学習用画像の各特異点の特徴量を個体情報ごと且つ画像ごとに学習用特徴量記憶部２４ｃに記憶させる。
The learning
The learning feature
分類器学習部２５ｃは、学習用特徴量記憶部２４ｃから学習用画像の各特異点の特徴量を入力し、子個体群記憶部１２２ｃにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行し、学習済み分類器を学習済み分類器記憶部２６ｃに記憶させる。
The
検証用特徴量計算部３５ｃは、特異点探索結果記憶部２０ｃから特異点探索結果を入力し、子個体群記憶部１２２ｃにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、検証用画像の各特異点の特徴量を計算する。
検証用特徴量計算部３５ｃは、検証用画像の各特異点の特徴量を個体情報ごと且つ画像ごとに検証用特徴量記憶部３６ｃに記憶させる。
The verification
The verification feature
分類処理部３７ｃは、検証用特徴量記憶部３６ｃから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部２６ｃに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部２７ｃに記憶させる。
The
分類評価値計算部２８ｃは、分類結果記憶部２７ｃから分類結果を入力すると共に、比較情報記憶部１８ｃからその分類結果に対応する比較情報を入力して、分類結果と比較情報を比較して検出対象候補の分類の評価値を計算し、得られた評価値を個体情報ごと且つ画像ごと且つ特異点ごとに分類評価結果記憶部２９ｃに記憶させることができる。なお、分類器が２分類で処理するものである場合、例えばマハラノビスタグチ法又はone class サポートベクターマシンである場合であって、教師情報が画像の場合は、比較情報がなくても分類できるため、分類評価値計算部２８ｃによる比較情報の入力及び比較情報との比較を省略して分類の評価値を計算することができる。
The classification evaluation
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、図１３を参照して説明する。図１３は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。 Next, a processing procedure of an image processing apparatus corresponding to the image processing system of this embodiment will be described with reference to FIG. 13. FIG. 13 is a flowchart showing a processing procedure by an image processing apparatus corresponding to the image processing system of this embodiment.
まず、画像処理装置１ｃにおける画像入力部１３ｃが、学習用画像と検証用画像を入力して、これらを画像記憶部１４ｃに記憶させる（ステップ９０）。また、教師情報入力部１５ｃが、学習用画像と検証用画像の特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部１６ｃに記憶させる（ステップ９１）。さらに、比較情報入力部１７ｃが、特異点を分類するための比較情報（ラベル）を入力し、比較情報記憶部１８ｃに記憶させる（ステップ９２）。
First, the
次に、個体生成部１１ｃが、初期の親個体群を生成する（ステップ９３）。
具体的には、個体生成部１１ｃは、機能単位記憶部１０ｃに記憶されている各種ノードにもとづいて、特異点探索用ノード領域と分類用ノード領域ごとに、それぞれに用いることのできるノードを所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の親個体情報を生成して、個体群記憶部１２ｃにおける親個体群記憶部１２１ｃに記憶させる。
なお、ステップ９０～９３の各ステップの実行順序は、入れ替えてもよい。
Next, the individual generation unit 11c generates an initial parent population (step 93).
Specifically, the individual generation unit 11c predetermines nodes that can be used for each of the singularity search node area and the classification node area based on the various nodes stored in the functional
Note that the order of execution of steps 90 to 93 may be changed.
この親個体群記憶部１２１ｃにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる（ステップ９４）。
The parent population in the parent
次に、世代ループにおいて、遺伝子操作部３２ｃが、親個体群記憶部１２１ｃにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。（ステップ９５）。そして、選択された親個体情報に対して遺伝子操作を実行する（ステップ９６）。
このとき、遺伝子操作部３２ｃは、親個体情報に対して交叉処理や突然変異処理を実行して、複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部１２２ｃに記憶させる。
Next, in the generation loop, the
At this time, the
次に、子個体群ループにおいて（ステップ９７）、特異点探索画像処理部１９ｃが、子個体群記憶部１２２ｃにおける子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する（ステップ９８）。
そして、各学習用画像と各検証用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ｃに記憶させる。
Next, in the child population loop (step 97), the singularity search
Then, images as singularity search results corresponding to each learning image and each verification image are created and stored in the singularity search
次に、探索評価値計算部２１ｃが、探索評価結果記憶部２２ｃから特異点探索結果を入力すると共に、教師情報記憶部１６ｃからその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部２２ｃに記憶させる（ステップ９９）。
Next, the search evaluation
次に、学習用特徴量計算部２３ｃが、特異点探索結果記憶部２０ｃから特異点探索結果を入力し、子個体群記憶部１２２ｃにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、学習用画像の各特異点の特徴量を計算する（ステップ１００）。また、学習用特徴量計算部２３ｃは、画像記憶部１４ｃから画像を入力して、画像を用いるノードを実行することもできる。これは、検証用特徴量計算部３５ｃについても同様であるが、図１２において省略している。
そして、学習用特徴量計算部２３ｃは、算出された学習用画像の各特異点の特徴量を学習用特徴量記憶部２４ｃに記憶させる。
Next, the learning
Then, the learning
次に、分類器学習部２５ｃが、学習用特徴量記憶部２４ｃから学習用画像の各特異点の特徴量を入力し、子個体群記憶部１２２ｃにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する（ステップ１０１）。
そして、分類器学習部２５ｃは、学習済み分類器を学習済み分類器記憶部２６ｃに記憶させる。
Next, the
The
次に、検証用特徴量計算部３５ｃが、特異点探索結果記憶部２０ｃから特異点探索結果を入力し、子個体群記憶部１２２ｃにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、検証用画像の各特異点の特徴量を計算する（ステップ１０２）。
そして、検証用特徴量計算部３５ｃは、算出された検証用画像の各特異点の特徴量を検証用特徴量記憶部３６ｃに記憶させる。
Next, the verification
Then, the verification feature
次に、分類処理部３７ｃが、検証用特徴量記憶部３６ｃから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部２６ｃに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部２７ｃに記憶させる（ステップ１０３）。
Next, the
次に、分類評価値計算部２８ｃが、分類結果記憶部２７ｃから分類結果を入力すると共に、比較情報記憶部１８ｃからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部２９ｃに記憶させる（ステップ１０４）。
そして、子個体群記憶部１２２ｃにおける全ての子個体情報について、ステップ９８からステップ１０４までの処理を繰り返し実行する。
Next, the classification evaluation
Then, the processes from step 98 to step 104 are repeatedly executed for all the child individual information in the child
次に、個体評価値計算部３０ｃが、探索評価結果記憶部２２ｃから探索評価結果を入力すると共に、分類評価結果記憶部２９ｃから分類評価結果を入力して、子個体情報の評価値を計算し、算出された子個体情報の評価値を個体評価結果記憶部３１ｃに記憶させる。
そして、個体評価値計算部３０ｃは、個体評価結果記憶部３１ｃに記憶されている評価値にもとづいて、子個体情報の順位付けを行い、その結果を個体評価結果記憶部３１ｃに記憶する（ステップ１０５）。
Next, the individual evaluation
Then, the individual evaluation
そして、遺伝子操作部３２ｃは、個体評価結果記憶部３１ｃにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ９５において親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、個体群記憶部１２ｃにおける親個体群記憶部１２１ｃの親個体情報を更新することができる（ステップ１０６）。
Then, the
遺伝子操作部３２ｃのこのような処理によって、個体群記憶部１２ｃにおける親個体群記憶部１２１ｃに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部１２ｃにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
Through such processing by the
Then, by repeating the generation loop, individual information of the parent population of a new generation can be sequentially added to the
また、個体評価値計算部３０ｃは、終了条件が満たされているか否かの判定処理を行い（ステップ１０７）、終了条件が満たされている場合、画像処理装置１ｃによる処理を終了する。
以上の処理の結果、個体評価結果記憶部３１ｃにはどの個体情報が最適であるかが記憶され、個体群記憶部１２ｃには最適化された個体情報が記憶される。
The individual evaluation
As a result of the above processing, which individual information is optimal is stored in the individual evaluation
このような本実施形態の画像処理システムによれば、マハラノビスタグチ法、one class サポートベクターマシン、オートエンコーダ、混合ガウス法、k-meansなどの教師なし学習を行う分類器を用いる場合において、特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能である。また、このような教師なし学習を用いることで、画像に写る検出対象のラベリング作業を行うことなく、特異点探索における偽陽性に対する修正を行うことが可能となる。 According to the image processing system of this embodiment, when using a classifier that performs unsupervised learning such as Mahalanobistaguchi method, one class support vector machine, autoencoder, Gaussian mixture method, k-means, etc., singularity It is possible to optimize the synergistic effect and classification accuracy of the search, feature calculation of singular points, and classification of singular points using genetic operations. Furthermore, by using such unsupervised learning, it is possible to correct false positives in singularity search without labeling detection targets in images.
［第五実施形態］
次に、本発明の第五実施形態に係る画像処理システム、及び画像処理プログラムについて、図１４を参照して説明する。図１４は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
[Fifth embodiment]
Next, an image processing system and an image processing program according to a fifth embodiment of the present invention will be described with reference to FIG. 14. FIG. 14 is a block diagram showing the configuration of an image processing device corresponding to the image processing system of this embodiment.
本実施形態の画像処理装置１ｄは、図１４に示すように、第二実施形態と比較して、最良組合せ判定部３３ｄと組合せ判定結果記憶部３４ｄをさらに備えると共に、個体評価値計算部３０ａと個体評価結果記憶部３１ａに相当する構成を備えていない点で相違する。
また、本実施形態の画像処理装置１ｄは、個体群記憶部１２ｄにおいて、個体情報（親個体情報及び子個体情報）として、特異点探索用ノード領域を備えたものと、分類用ノード領域を備えたものとが分離して記憶されている点で第二実施形態と相違している。
さらに、本実施形態の画像処理装置１ｄは、検証用特徴量計算部３５ｄ、検証用特徴量記憶部３６ｄ、分類処理部３７ｄをさらに備えると共に、特徴量計算部２３ａと特徴量記憶部２４ａに変えて学習用特徴量計算部２３ｄと学習用特徴量記憶部２４ｄを備えている点で第二実施形態と相違している。
本実施形態の画像処理装置１ｄにおけるその他の構成については、以下に説明する点を除いて、第二実施形態と同様のものとすることができる。
As shown in FIG. 14, the image processing device 1d of the present embodiment further includes a best
In addition, the image processing device 1d of the present embodiment has a node area for singular point search and a node area for classification as individual information (parent individual information and child individual information) in the
Furthermore, the image processing device 1d of the present embodiment further includes a verification
The other configurations of the image processing device 1d of this embodiment can be the same as those of the second embodiment, except for the points described below.
個体生成部１１ｄは、機能単位記憶部１０ｄに記憶されている各種ノードにもとづいて、特異点探索に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、特異点探索用の複数の親個体情報を生成して、個体群記憶部１２ｄにおける親個体群記憶部１２１ｄに記憶させる。
また、個体生成部１１ｄは、機能単位記憶部１０ｄに記憶されている各種ノードにもとづいて、特異点の分類に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、分類用の複数の親個体情報を生成して、個体群記憶部１２ｄにおける親個体群記憶部１２１ｄに記憶させる。
The individual generation unit 11d randomly selects and arranges nodes from a group of nodes that can be used for singularity search under predetermined conditions based on the various nodes stored in the functional
Furthermore, the individual generation unit 11d randomly selects and arranges nodes under predetermined conditions from a node group that can be used for classifying singularities, based on the various nodes stored in the functional
個体群記憶部１２ｄは、親個体群記憶部１２１ｄと子個体群記憶部１２２ｄを備えている。
本実施形態では、親個体情報及び子個体情報として、それぞれ特異点探索用ノード領域を備えた特異点探索用の個体情報と、分類用ノード領域を備えた分類用の個体情報とが、親個体群記憶部１２１ｄと子個体群記憶部１２２ｄのそれぞれにおいて別個に備えられている。
The
In this embodiment, as parent individual information and child individual information, individual information for singularity search having a node area for searching for singularity and individual information for classification having a node area for classification are used as parent individual information. Each of the
本実施形態において、分類用の個体情報における分類器にもとづく分類処理については、教師なし学習によって学習が行われる。
また、本実施形態において、個体情報は、特異点探索用と分類用とが別個に備えられた遺伝子分離型である。
In this embodiment, the classification process based on the classifier in the individual information for classification is performed by unsupervised learning.
Furthermore, in this embodiment, the individual information is of a gene-separated type in which information for searching for singular points and information for classification are separately provided.
画像入力部１３ｄは、学習用画像と検証用画像を入力して、これらを画像記憶部１４ｄに記憶させる。
The
特異点探索画像処理部１９ｄは、子個体群記憶部１２２ｄにおける特異点探索用の子個体情報にもとづいて、特異点探索画像処理を実行し、学習用画像と検証用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ｄに記憶させる。
The singularity search
探索評価値計算部２１ｄは、探索評価結果記憶部２２ｄに記憶されている探索評価値にもとづいて、特異点探索用の子個体情報の順位付けを行い、その結果を探索評価結果記憶部２２ｄに記憶する。
The search evaluation
学習用特徴量計算部２３ｄは、特異点探索結果記憶部２０ｄから特異点探索結果を入力し、子個体群記憶部１２２ｄにおける分類用の子個体情報の各ノード（分類器を除く）を順次実行することにより、学習用画像の各特異点の特徴量を計算する。
学習用特徴量計算部２３ｄは、学習用画像の各特異点の特徴量を個体情報ごと且つ画像ごとに学習用特徴量記憶部２４ｄに記憶させる。
The learning
The learning
分類器学習部２５ｄは、学習用特徴量記憶部２４ｄから学習用画像の各特異点の特徴量を入力し、子個体群記憶部１２２ｄにおける分類用の子個体情報に含まれる分類器の機械学習を実行し、学習済み分類器を学習済み分類器記憶部２６ｄに記憶させる。
The
検証用特徴量計算部３５ｄは、特異点探索結果記憶部２０ｄから特異点探索結果を入力し、子個体群記憶部１２２ｄにおける分類用の子個体情報の各ノード（分類器を除く）を順次実行することにより、検証用画像の各特異点の特徴量を計算する。
検証用特徴量計算部３５ｄは、検証用画像の各特異点の特徴量を個体情報ごと且つ画像ごとに検証用特徴量記憶部３６ｄに記憶させる。
The verification
The verification
分類処理部３７ｄは、検証用特徴量記憶部３６ｄから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部２６ｄに記憶された学習済み分類器により特異点を分類して、分類結果を分類結果記憶部２７ｄに記憶させる。
The
分類評価値計算部２８ｄは、分類結果記憶部２７ｄから分類結果を入力すると共に、比較情報記憶部１８ｄからその分類結果に対応する比較情報を入力して、分類結果と比較情報を比較して検出対象候補の分類の評価値を計算し、得られた評価値を個体情報ごと且つ画像ごと且つ特異点ごとに分類評価結果記憶部２９ｄに記憶させることができる。
The classification evaluation
このとき、分類評価値計算部２８ｄは、分類の正確度、再現性、適合度、Ｆ値等の指標にもとづいて、指標評価値を計算する。
また、分類評価値計算部２８ｄは、画像処理装置１の処理速度、個体情報におけるノード使用率、個体情報の大きさ等の指標にもとづいて、指標評価値を計算することもできる。
そして、分類評価値計算部２８ｄは、これらの指標評価値を用いて、重み付きの足し合わせなどを行うことによって、分類評価値を計算することができる。
At this time, the classification evaluation
Further, the classification evaluation
Then, the classification evaluation
最良組合せ判定部３３ｄは、探索評価結果記憶部２２ｄから特異点探索用の子個体情報の順位付け情報を入力すると共に、分類評価結果記憶部２９ｄから分類用の子個体情報の順位付けを入力して、特異点探索用の子個体情報と分類用の子個体情報の最良の組合せを判定する。最良の組合せとしては、探索評価値の最も高い特異点探索用の子個体情報と分類評価値の最も高い分類用の子個体情報の組合せなどとすることができる。
また、最良組合せ判定部３３ｄは、最良の組合せ情報を含む組合せ判定結果を組合せ判定結果記憶部３４ｄに記憶させる。この組合せ判定結果には、特異点探索用の子個体情報と分類用の子個体情報の順位付け情報を含めることができる。
The best
Moreover, the best
遺伝子操作部３２ｄは、親個体群記憶部１２１ｄにおける特異点探索用の親個体群からランダムに子個体情報を生成する親個体情報を選択して、選択された親個体情報に対して遺伝子操作を実行する。
また、遺伝子操作部３２ｄは、親個体群記憶部１２１ｄにおける分類用の親個体群からランダムに子個体情報を生成する親個体情報を選択して、選択された親個体情報に対して遺伝子操作を実行する。
The
Furthermore, the
さらに、遺伝子操作部３２ｄは、組合せ判定結果記憶部３４ｄにおける組合せ判定結果にもとづいて、特異点探索用の子個体情報と分類用の子個体情報のそれぞれについて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群から選択された親個体情報の一部と入れ替えることなどによって、個体群記憶部１２ｄにおける親個体群記憶部１２１ｄの親個体情報を更新することができる。
Furthermore, the
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、図１５を参照して説明する。図１５は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。 Next, the processing procedure of the image processing apparatus corresponding to the image processing system of this embodiment will be explained with reference to FIG. FIG. 15 is a flowchart showing a processing procedure by an image processing apparatus corresponding to the image processing system of this embodiment.
まず、画像処理装置１ｄにおける画像入力部１３ｄが、学習用画像と検証用画像を入力して、画像記憶部１４ｄに記憶させる（ステップ１１０）。また、教師情報入力部１５ｄが、特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部１６ｄに記憶させる（ステップ１１１）。さらに、比較情報入力部１７ｄが、特異点を分類するための比較情報（ラベル）を入力し、比較情報記憶部１８ｄに記憶させる（ステップ１１２）。
First, the
次に、個体生成部１１ｄが、初期の親個体群を生成する。
具体的には、個体生成部１１ｄは、機能単位記憶部１０ｄに記憶されている各種ノードにもとづいて、特異点探索に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、特異点探索用の複数の親個体情報を生成して、個体群記憶部１２ｄにおける親個体群記憶部１２１ｄに記憶させる（ステップ１１３）。
また、個体生成部１１ｄは、機能単位記憶部１０ｄに記憶されている各種ノードにもとづいて、特異点の分類に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、分類用の複数の親個体情報を生成して、個体群記憶部１２ｄにおける親個体群記憶部１２１ｄに記憶させる（ステップ１１４）。
なお、ステップ１１０～１１４の各ステップの実行順序は、入れ替えてもよい。
Next, the individual generation unit 11d generates an initial parent population.
Specifically, the individual generation unit 11d randomly selects nodes from a group of nodes that can be used for singularity search under predetermined conditions based on the various nodes stored in the functional
Furthermore, the individual generation unit 11d randomly selects and arranges nodes under predetermined conditions from a node group that can be used for classifying singularities, based on the various nodes stored in the functional
Note that the order of execution of steps 110 to 114 may be changed.
この親個体群記憶部１２１ｄにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる（ステップ１１５）。
The parent population in the parent
次に、世代ループにおいて、遺伝子操作部３２ｄが、親個体群記憶部１２１ｄにおける特異点探索用の親個体群からランダムに子個体情報を生成する親個体情報を選択して（ステップ１１６）、選択された親個体情報に対して遺伝子操作を実行する（ステップ１１７）。また、遺伝子操作部３２ｄが、親個体群記憶部１２１ｄにおける分類用の親個体群からランダムに子個体情報を生成する親個体情報を選択して（ステップ１１６）、選択された親個体情報に対して遺伝子操作を実行する（ステップ１１８）。
Next, in the generation loop, the
このとき、遺伝子操作部３２ｄは、特異点探索用の親個体情報と分類用の親個体情報に対して交叉処理や突然変異処理を実行して、特異点探索用の複数の子個体情報と分類用の複数の子個体情報をそれぞれ生成し、各子個体情報からなる特異点探索用の子個体群と分類用の子個体群を子個体群記憶部１２２ｄに記憶させる。
At this time, the
次に、特異点探索用の子個体群ループにおいて（ステップ１１９）、特異点探索画像処理部１９ｄが、子個体群記憶部１２２ｄにおける特異点探索用の子個体情報にもとづいて、特異点探索画像処理を実行する（ステップ１２０）。
そして、各学習用画像と各検証用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ｄに記憶させる。
Next, in the child population loop for singularity search (step 119), the singularity search
Then, images as singularity search results corresponding to each learning image and each verification image are created and stored in the singularity search
次に、探索評価値計算部２１ｄが、探索評価結果記憶部２２ｄから特異点探索結果を入力すると共に、教師情報記憶部１６ｄからその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部２２ｄに記憶させる（ステップ１２１）。
そして、子個体群記憶部１２２ｄにおける全ての特異点探索用の子個体情報について、ステップ１２０からステップ１２１までの処理を繰り返し実行する。
さらに、探索評価値計算部２１ｄは、探索評価結果記憶部２２ｄに記憶されている探索評価値にもとづいて、特異点探索用の子個体情報の順位付けを行い、その結果を探索評価結果記憶部２２ｄに記憶する（ステップ１２２）。
Next, the search evaluation
Then, the processing from step 120 to step 121 is repeatedly executed for all the child individual information for singularity search in the child
Furthermore, the search evaluation
次に、分類用の子個体群ループにおいて（ステップ１２３）、学習用特徴量計算部２３ｄが、特異点探索結果記憶部２０ｄから学習用画像の特異点探索結果を入力し、子個体群記憶部１２２ｄにおける分類用の子個体情報の各ノード（分類器を除く）を順次実行することにより、学習用画像の各特異点の特徴量を計算する（ステップ１２４）。なお、このとき入力する特異点探索結果としては、特異点探索の子個体群における最良の個体情報を用いて得られたものなどを使用するができる。
そして、学習用特徴量計算部２３ｄは、算出された学習用画像の各特異点の特徴量を学習用特徴量記憶部２４ｄに記憶させる。
Next, in the child population loop for classification (step 123), the learning
Then, the learning
次に、分類器学習部２５ｄが、学習用特徴量記憶部２４ｄから学習用画像の各特異点の特徴量を入力し、子個体群記憶部１２２ｄにおける分類用の子個体情報に含まれる分類器の機械学習を実行する（ステップ１２５）。
そして、分類器学習部２５ｄは、学習済み分類器を学習済み分類器記憶部２６ｄに記憶させる。
Next, the
The
次に、検証用特徴量計算部３５ｄが、特異点探索結果記憶部２０ｄから検証用画像の特異点探索結果を入力し、子個体群記憶部１２２ｄにおける分類用の子個体情報の各ノード（分類器を除く）を順次実行することにより、検証用画像の各特異点の特徴量を計算する（ステップ１２６）。
そして、検証用特徴量計算部３５ｄは、算出された検証用画像の各特異点の特徴量を検証用特徴量記憶部３６ｄに記憶させる。
Next, the verification
Then, the verification
次に、分類処理部３７ｄが、検証用特徴量記憶部３６ｄから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部２６ｄに記憶された学習済み分類器により特異点を分類して、分類結果を分類結果記憶部２７ｄに記憶させる（ステップ１２７）。
Next, the
次に、分類評価値計算部２８ｄが、分類結果記憶部２７ｄから分類結果を入力すると共に、比較情報記憶部１８ｄからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部２９ｄに記憶させる（ステップ１２８）。
そして、子個体群記憶部１２２ｄにおける全ての分類用の子個体情報について、ステップ１２４からステップ１２８までの処理を繰り返し実行する。
Next, the classification evaluation
Then, the processes from step 124 to step 128 are repeatedly executed for all child individual information for classification in the child
さらに、分類評価値計算部２８ｄは、分類評価結果記憶部２９ｄに記憶されている分類評価値にもとづいて、分類用の子個体情報の順位付けを行い、その結果を分類評価結果記憶部２９ｄに記憶させる（ステップ１２９）。
Furthermore, the classification evaluation
次に、最良組合せ判定部３３ｄが、探索評価結果記憶部２２ｄから特異点探索用の子個体情報の順位付け情報を入力すると共に、分類評価結果記憶部２９ｄから分類用の子個体情報の順位付けを入力して、特異点探索用の子個体情報と分類用の子個体情報の最良の組合せを判定する（ステップ１３０）。
そして、最良組合せ判定部３３ｄは、最良の組合せ情報を含む組合せ判定結果を組合せ判定結果記憶部３４ｄに記憶させる。また、組合せ判定結果には、特異点探索用の子個体情報と分類用の子個体情報の順位付け情報を含めることができる。
Next, the best
Then, the best
そして、遺伝子操作部３２ｄは、組合せ判定結果記憶部３４ｄにおける組合せ判定結果にもとづいて、特異点探索用の子個体情報と分類用の子個体情報のそれぞれについて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ１１６において親個体群から選択された親個体情報の一部と入れ替えることなどによって、個体群記憶部１２ｄにおける親個体群記憶部１２１ｄの親個体情報を更新することができる（ステップ１３１）。
Then, the
遺伝子操作部３２ｄのこのような処理によって、個体群記憶部１２ｄにおける親個体群記憶部１２１ｄに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部１２ｄにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
Through such processing by the
Then, by repeating the generation loop, individual information of the parent population of a new generation can be sequentially added to the
また、最良組合せ判定部３３ｄは、終了条件が満たされているか否かの判定処理を行い（ステップ１３２）、終了条件が満たされている場合、画像処理装置１ｄによる処理を終了する。
以上の処理の結果、組合せ判定結果記憶部３４ｄにはどの個体情報の組合せが最適であるかが記憶され、個体群記憶部１２ｄには最適化された特異点探索用の子個体情報と分類用の子個体情報が記憶される。
The best
As a result of the above processing, the combination determination
このような本実施形態の画像処理装置によれば、マハラノビスタグチ法、one class サポートベクターマシン、オートエンコーダ、混合ガウス法、k-meansなどの教師なし学習を行う分類器を用いる場合において、特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能となり、また特異点探索用の個体情報と分類用の個体情報を分離しつつ、その組合せを進化的計算に反映することが可能となる。 According to the image processing apparatus of this embodiment, when using a classifier that performs unsupervised learning such as Mahalanobistaguchi method, one class support vector machine, autoencoder, Gaussian mixture method, k-means, etc., singularity It is now possible to optimize the synergistic effect and classification accuracy of the search for singularity, feature calculation of singularity, and classification of singularity using genetic operations. It becomes possible to separate information and reflect its combination in evolutionary calculations.
例えば、特異点探索において評価の悪い子個体情報に対しては、子個体群（分類）ループ処理を実施しないようにするなど、計算時間の短時間化が可能である。また、評価の良い特異点探索用の子個体情報について、最適な分類用の子個体情報を集中的に探索できるため、画像処理装置の性能をより向上させることが可能である。さらに、このような教師なし学習を用いることで、画像に写る検出対象のラベリング作業を行うことなく、特異点探索における偽陽性に対する修正を行うことが可能となる。 For example, calculation time can be shortened by not performing child individual group (classification) loop processing for child individual information that is poorly evaluated in the singular point search. In addition, since it is possible to intensively search for optimal child individual information for classification with respect to child individual information for singular point search that has been evaluated well, it is possible to further improve the performance of the image processing device. Furthermore, by using such unsupervised learning, it is possible to correct false positives in singularity search without labeling detection targets in images.
［第六実施形態］
次に、本発明の第六実施形態に係る画像処理システム、及び画像処理プログラムについて、図１６を参照して説明する。図１６は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
[Sixth embodiment]
Next, an image processing system and an image processing program according to a sixth embodiment of the present invention will be described with reference to FIG. 16. FIG. 16 is a block diagram showing the configuration of an image processing device corresponding to the image processing system of this embodiment.
本実施形態の画像処理装置１ｅは、図１６に示すように、第四実施形態と比較して、特異点分割部３８ｅをさらに備えている点で相違している。
本実施形態の画像処理装置１ｅにおけるその他の構成については、以下に説明する点を除いて、第四実施形態と同様のものとすることができる。
As shown in FIG. 16, the image processing device 1e of this embodiment is different from the fourth embodiment in that it further includes a singular
The other configurations of the image processing apparatus 1e of this embodiment can be the same as those of the fourth embodiment, except for the points described below.
本実施形態において、個体情報の分類用ノード領域における分類器にもとづく分類処理については、教師なし学習が行われる。
また、本実施形態において、個体情報は、特異点探索用ノード領域と分類用ノード領域が連続して配置された遺伝子連続型である。
In this embodiment, unsupervised learning is performed for classification processing based on a classifier in the classification node area of individual information.
Furthermore, in this embodiment, the individual information is of a gene continuous type in which the singularity search node area and the classification node area are arranged consecutively.
特異点分割部３８ｅは、教師情報記憶部１６ｅから教師情報を入力すると共に、これに対応する特異点探索結果を特異点探索結果記憶部２０ｅから入力して、その特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割して、特異点探索結果記憶部２０ｅに記憶させる。
ここで、探索して得られた特異点は、教師情報にもとづき良品と不良品に分類できる。そこで、特異点分割部３８ｅにより、特異点探索結果を例えば良品の特異点情報を示す学習用特異点探索結果と、良品及び不良品の特異点情報を示す検証用特異点探索結果とに分割することで、これらを用いて教師なし学習の分類器の学習を実行可能にしている。
The
Here, the singular points obtained through the search can be classified into good products and defective products based on teacher information. Therefore, the
学習用特徴量計算部２３ｅは、特異点探索結果記憶部２０ｅから学習用特異点探索結果を入力し、子個体群記憶部１２２ｅにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、各学習用特異点の特徴量を計算する。
学習用特徴量計算部２３ｅは、算出された各学習用特異点の特徴量を個体情報ごと且つ画像ごとに且つ特異点ごとに学習用特徴量記憶部２４ｅに記憶させる。
The learning
The learning feature
分類器学習部２５ｅは、学習用特徴量記憶部２４ｅから各学習用特異点の特徴量を入力し、子個体群記憶部１２２ｅにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行し、学習済み分類器を学習済み分類器記憶部２６ｅに記憶させる。
The
検証用特徴量計算部３５ｅは、特異点探索結果記憶部２０ｅから検証用特異点探索結果を入力し、子個体群記憶部１２２ｅにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、各検証用特異点の特徴量を計算し、算出された各検証用特異点の特徴量を検証用特徴量記憶部３６ｅに記憶させる。
The verification
分類処理部３７ｅは、検証用特徴量記憶部３６ｅから各検証用特異点の特徴量を入力し、学習済み分類器記憶部２６ｅに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部２７ｅに記憶させる。
The
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、図１７を参照して説明する。図１７は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。 Next, a processing procedure of an image processing apparatus corresponding to the image processing system of this embodiment will be described with reference to FIG. 17. FIG. 17 is a flowchart showing a processing procedure by an image processing apparatus corresponding to the image processing system of this embodiment.
まず、画像処理装置１ｅにおける画像入力部１３ｅが、学習用画像を入力して、これらを画像記憶部１４ｅに記憶させる（ステップ１４０）。
次に、特異点探索用の教師情報の入力（ステップ１４１）から特異点探索結果の評価値計算（ステップ１４９）までの各処理の内容は、図１３に示す第四実施形態におけるステップ９１～９９と同様である。
First, the image input unit 13e in the image processing device 1e inputs learning images and stores them in the
Next, the contents of each process from inputting teacher information for singularity search (step 141) to evaluation value calculation of singularity search results (step 149) are as follows from steps 91 to 99 in the fourth embodiment shown in FIG. It is similar to
次に、特異点分割部３８ｅが、教師情報記憶部１６ｅから教師情報を入力すると共に、これに対応する特異点探索結果を特異点探索結果記憶部２０ｅから入力して、その特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割して、特異点探索結果記憶部２０ｅに記憶させる（ステップ１５０）。
Next, the
次に、学習用特徴量計算部２３ｅが、特異点探索結果記憶部２０ｅから学習用特異点探索結果を入力し、子個体群記憶部１２２ｅにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、各学習用特異点の特徴量を計算する（ステップ１５１）。
そして、学習用特徴量計算部２３ｅは、算出された各学習用特異点の特徴量を学習用特徴量記憶部２４ｅに記憶させる。
Next, the learning feature
Then, the learning
次に、分類器学習部２５ｅが、学習用特徴量記憶部２４ｅから各学習用特異点の特徴量を入力し、子個体群記憶部１２２ｅにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する（ステップ１５２）。
そして、分類器学習部２５ｅは、学習済み分類器を学習済み分類器記憶部２６ｅに記憶させる。
Next, the
Then, the
次に、検証用特徴量計算部３５ｅが、特異点探索結果記憶部２０ｅから検証用特異点探索結果を入力し、子個体群記憶部１２２ｅにおける子個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、各検証用特異点の特徴量を計算する（ステップ１５３）。
そして、検証用特徴量計算部３５ｅは、算出された各検証用特異点の特徴量を検証用特徴量記憶部３６ｅに記憶させる。
Next, the verification
Then, the verification
次に、分類処理部３７ｅが、検証用特徴量記憶部３６ｅから各検証用特異点の特徴量を入力し、学習済み分類器記憶部２６ｅに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部２７ｅに記憶させる（ステップ１５４）。
Next, the
次に、分類評価値計算部２８ｅが、分類結果記憶部２７ｅから分類結果を入力すると共に、比較情報記憶部１８ｅからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部２９ｅに記憶させる（ステップ１５５）。
そして、子個体群記憶部１２２ｅにおける全ての子個体情報について、ステップ１４８からステップ１５５までの処理を繰り返し実行する。
以降の子個体情報の順位付け（ステップ１５６）から終了判定（ステップ１５８）までの各処理内容は、第四実施形態におけるステップ１０５～１０７と同様である。
Next, the classification evaluation
Then, the processes from step 148 to step 155 are repeatedly executed for all the child individual information in the child population storage section 122e.
The subsequent processing contents from ranking of child individual information (step 156) to end determination (step 158) are the same as steps 105 to 107 in the fourth embodiment.
なお、前述した第五実施形態の画像処理装置１ｄに特徴量分割部を備えて、図１５の子個体群（分類）ループ（ステップ１２３）の前に、上記の学習用特異点探索結果と検証用特異点探索結果の分割（ステップ１５０）を実行し、図１５のステップ１２４～１２８に変えて、上記のステップ１５１～１５５を実行することで、個体情報が遺伝分離型の場合について、本実施形態を適用することも可能である。 It should be noted that the image processing device 1d of the fifth embodiment described above is equipped with a feature dividing unit, and the above-described learning singularity search results and verification are performed before the child population (classification) loop (step 123) of FIG. By executing the division of the singularity search results (step 150) and executing steps 151 to 155 above instead of steps 124 to 128 in FIG. It is also possible to apply forms.
このような本実施形態の画像処理システムによれば、教師なし学習を行う分類器を用いる場合において、特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割することによって、学習用特異点と検証用特異点の特徴量を効率的に計算することが可能になっている。
すなわち、本実施形態によれば、入力する画像を事前に学習用画像と検証用画像に分割する必要がない。また、特異点の探索結果を用いて学習用特異点と検証用特異点を分割するため、学習用特異点と検証用特異点の数をバランスよく分けることができ、画像処理システムの性能をより向上させることが可能となる。
According to the image processing system of this embodiment, when using a classifier that performs unsupervised learning, by dividing the singularity search results into the learning singularity search results and the verification singularity search results, It is now possible to efficiently calculate the features of the training singularity and the verification singularity.
That is, according to this embodiment, there is no need to divide an input image into a learning image and a verification image in advance. In addition, since the singularity search results are used to divide the training singularities and verification singularities, the number of training singularities and verification singularities can be divided in a well-balanced manner, improving the performance of the image processing system. It becomes possible to improve the performance.
［第七実施形態］
次に、本発明の第七実施形態に係る画像処理システム、及び画像処理プログラムについて、図１８を参照して説明する。図１８は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
[Seventh embodiment]
Next, an image processing system and an image processing program according to a seventh embodiment of the present invention will be described with reference to FIG. 18. FIG. 18 is a block diagram showing the configuration of an image processing device corresponding to the image processing system of this embodiment.
本実施形態の画像処理装置１ｆは、最適化された個体情報と学習済み分類器を用いて、検査対象画像における特異点を分類するものであり、図１８に示すように、個体群記憶部１２ｆ、画像入力部１３ｆ、画像記憶部１４ｆ、特異点探索画像処理部１９ｆ、特異点探索結果記憶部２０ｆ、特徴量計算部２３ｆ、特徴量記憶部２４ｆ、学習済み分類器記憶部２６ｆ、分類結果記憶部２７ｆ、分類処理部３７ｆを備えている。
The image processing device 1f of this embodiment classifies singular points in the image to be inspected using optimized individual information and a learned classifier, and as shown in FIG. ,
本実施形態の画像処理装置１ｆにおける画像記憶部１４ｆ、特異点探索結果記憶部２０ｆ、特徴量記憶部２４ｆ、分類結果記憶部２７ｆは、第一実施形態と同様のものとすることができる。また、本実施形態の画像処理装置１ｆにおけるその他の構成についても、以下に説明する点を除いて、第一実施形態と同様のものとすることができる。
なお、これらの構成を、第一実施形態～第六実施形態の画像処理システムにおいて備えることも好ましい。
The
Note that it is also preferable that these configurations be included in the image processing systems of the first to sixth embodiments.
個体群記憶部１２ｆは、最終的に得られた最適化された個体情報を記憶する。
以下は、個体情報が遺伝子連続型である場合について説明しているが、遺伝子分離型の個体情報についても同様に適用することができる。
画像入力部１３ｆは、検査対象画像を入力して、画像記憶部１４ｆに記憶させる。
学習済み分類器記憶部２６ｆは、最終的に得られた学習済み分類器を記憶する。
The individual
The following describes the case where the individual information is of the gene-continuous type, but the same can be applied to the gene-separated type of individual information.
The
The trained
特異点探索画像処理部１９ｆは、個体群記憶部１２ｆにおける最適化された子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行し、各検査対象画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ｆに記憶させる。
The singularity search
特徴量計算部２３ｆは、特異点探索結果記憶部２０ｆから特異点探索結果を入力し、個体群記憶部１２ｆにおける最適化された個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、検査対象画像の各特異点の特徴量を計算し、算出された検査対象画像の各特異点の特徴量を特徴量記憶部２４ｆに記憶させる。
The
分類処理部３７ｆは、特徴量記憶部２４ｆから検査対象画像の各特異点の特徴量を入力し、学習済み分類器記憶部２６ｆに記憶された学習済み分類器を実行することにより検査対象画像の各特異点を分類して、分類結果を分類結果記憶部２７ｆに記憶させる。
The
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、図１９を参照して説明する。図１９は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。 Next, the processing procedure of the image processing apparatus corresponding to the image processing system of this embodiment will be explained with reference to FIG. FIG. 19 is a flowchart showing a processing procedure by an image processing apparatus corresponding to the image processing system of this embodiment.
まず、画像処理装置１ｆにおける画像入力部１３ｆが、検査対象画像を入力して、画像記憶部１４ｆに記憶させる（ステップ１７０）。
次に、特異点探索画像処理部１９ｆが、個体群記憶部１２ｆにおける最適化された子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する（ステップ１７１）。そして、各検査対象画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部２０ｆに記憶させる。
First, the
Next, the singularity search
次に、特徴量計算部２３ｆが、特異点探索結果記憶部２０ｆから特異点探索結果を入力し、個体群記憶部１２ｆにおける最適化された個体情報の分類用ノード領域の各ノード（分類器を除く）を順次実行することにより、検証用画像の各特異点の特徴量を計算する（ステップ１７２）。そして、特徴量計算部２３ｆは、算出された検証用画像の各特異点の特徴量を特徴量記憶部２４ｆに記憶させる。
Next, the
次に、分類処理部３７ｆが、検証用特徴量記憶部３６ｅから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部２６ｆに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部２７ｆに記憶させる（ステップ１７３）。
Next, the
このような本実施形態の画像処理システムによれば、最適化された個体情報と学習済み分類器を用いて、検査対象画像における特異点を分類することが可能である。 According to the image processing system of this embodiment, it is possible to classify singular points in an image to be inspected using optimized individual information and a learned classifier.
上記実施形態の画像処理装置は、本発明の画像処理プログラムに制御されたコンピュータを用いて実現することができる。コンピュータのＣＰＵは、画像処理プログラムにもとづいてコンピュータの各構成要素に指令を送り、画像処理装置の動作に必要となる所定の処理、例えば、個体生成処理、特異点探索画像処理、評価値計算処理、特徴量計算処理、分類器学習処理、遺伝子操作処理、最良組合せ判定処理、特異点分割処理等を行わせる。このように、本発明の画像処理装置における各処理、動作は、プログラムとコンピュータとが協働した具体的手段により実現できるものである。 The image processing apparatus of the above embodiment can be realized using a computer controlled by the image processing program of the present invention. The CPU of the computer sends instructions to each component of the computer based on the image processing program, and performs predetermined processing necessary for the operation of the image processing device, such as individual generation processing, singularity search image processing, and evaluation value calculation processing. , feature amount calculation processing, classifier learning processing, genetic manipulation processing, best combination determination processing, singular point division processing, etc. In this way, each process and operation in the image processing apparatus of the present invention can be realized by specific means in which a program and a computer cooperate.
プログラムは予めＲＯＭ、ＲＡＭ等の記録媒体に格納され、コンピュータに実装された記録媒体から当該コンピュータにプログラムを読み込ませて実行されるが、例えば通信回線を介してコンピュータに読み込ませることもできる。
また、プログラムを格納する記録媒体は、例えば半導体メモリ、磁気ディスク、光ディスク、その他任意のコンピュータで読取り可能な任意の記録手段により構成できる。
The program is stored in advance in a recording medium such as a ROM or RAM, and the program is read into the computer from the recording medium installed in the computer and executed, but it can also be read into the computer via a communication line, for example.
Further, the recording medium that stores the program can be constituted by, for example, a semiconductor memory, a magnetic disk, an optical disk, or any other computer-readable recording means.
本発明は、以上の実施形態に限定されるものではなく、本発明の範囲内において、種々の変更実施が可能であることは言うまでもない。
例えば、画像処理装置における各構成を複数の情報処理装置に分散して持たせたり、ノードとして実施形態に示したもの以外のものを含めて使用したりすることができる。また、第一実施形態から第七実施形態の画像処理システムを様々に組み合わせた構成をコンピュータに備えて、各画像処理システムを切替可能にすることも可能である。
It goes without saying that the present invention is not limited to the above-described embodiments, and that various modifications can be made within the scope of the present invention.
For example, each configuration of the image processing device can be distributed among a plurality of information processing devices, or nodes other than those shown in the embodiments can be used. Further, it is also possible to equip a computer with a configuration in which the image processing systems of the first embodiment to the seventh embodiment are combined in various ways, so that each image processing system can be switched.
本発明は、設備や製品などの画像データにもとづき検査などを行う場合であって、画像処理が最適化された画像検査用の情報処理装置を得るために、好適に利用することが可能である。 INDUSTRIAL APPLICABILITY The present invention can be suitably used to obtain an information processing device for image inspection with optimized image processing when inspecting equipment, products, etc. based on image data. .
１，１ａ 画像処理装置
１０，１０ａ 機能単位記憶部
１１，１１ａ 個体生成部
１２，１２ａ 個体群記憶部
１２１ａ 親個体群記憶部
１２２ａ 子個体群記憶部
１３，１３ａ 画像入力部
１４，１４ａ 画像記憶部
１５，１５ａ 教師情報入力部
１６，１６ａ 教師情報記憶部
１７，１７ａ 比較情報入力部
１８，１８ａ 比較情報記憶部
１９，１９ａ 特異点探索画像処理部
２０，２０ａ 特異点探索結果記憶部
２１，２１ａ 探索評価値計算部
２２，２２ａ 探索評価結果記憶部
２３，２３ａ 特徴量計算部
２３ｃ 学習用特徴量計算部
２４，２４ａ 特徴量記憶部
２４ｃ 学習用特徴量記憶部
２５，２５ａ 分類器学習部
２６，２６ａ 学習済み分類器記憶部
２７，２７ａ 分類結果記憶部
２８，２８ａ 分類評価値計算部
２９，２９ａ 分類評価結果記憶部
３０，３０ａ 個体評価値計算部
３１，３１ａ 個体評価結果記憶部
３２，３２ａ 遺伝子操作部
３３ｂ 最良組合せ判定部
３４ｂ 組合せ判定結果記憶部
３５ｃ 検証用特徴量計算部
３６ｃ 検証用特徴量記憶部
３７ｃ 分類処理部
３８ｅ 特異点分割部
1, 1a
Claims (13)
複数の機能単位の実行順序を定義する複数の個体情報を、検出対象である特異点を探索する機能単位からなる特異点探索用領域と、探索された特異点を分類する機能単位からなる、分類器を含む分類用領域とを備えた構成で記憶する個体群記憶部と、
複数の学習用画像を記憶する画像記憶部と、
前記個体情報における前記特異点探索用領域の機能単位にもとづき前記学習用画像を処理して、特異点探索結果を生成する特異点探索部と、
前記個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記学習用画像における特異点を分類する分類結果を生成する分類部と、
前記特異点探索結果を評価するための前記学習用画像に対応付けられた教師情報を記憶する教師情報記憶部と、
前記特異点探索結果と前記教師情報を比較して特異点探索の評価値を計算し、前記分類結果にもとづき分類の評価値を計算し、前記特異点探索の評価値と前記分類の評価値にもとづき前記個体情報の評価値を計算して前記個体情報を順位付けする評価部と、
前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部と、を備える
ことを特徴とする画像処理システム。 An image processing system that uses genetic manipulation, which is an optimization method that mathematically simulates biological evolution, to detect a detection target from an image and optimize the process of classifying the detection target,
Multiple pieces of individual information that define the execution order of multiple functional units are classified into a singularity search area consisting of functional units that search for singularities to be detected, and functional units that classify the searched singularities. a population storage unit that stores data in a configuration including a classification area including a container;
an image storage unit that stores a plurality of learning images;
a singularity search unit that processes the learning image based on the functional unit of the singularity search area in the individual information to generate a singularity search result;
Processing the singularity search result based on the functional unit of the classification area in the individual information, performing machine learning on the classifier to generate a trained classifier, and classifying the singularity in the learning image. a classification unit that generates classification results;
a teacher information storage unit that stores teacher information associated with the learning image for evaluating the singularity search results;
Calculate the evaluation value of singularity search by comparing the singularity search result and the teacher information, calculate the evaluation value of classification based on the classification result, and calculate the evaluation value of singularity search and the evaluation value of classification based on the classification result. an evaluation unit that calculates an evaluation value of the individual information based on the individual information and ranks the individual information;
An image processing system comprising: a genetic manipulation unit that selects or changes the individual information based on ranking information of the individual information and updates the population storage unit.
ことを特徴とする請求項１又は２記載の画像処理システム。 The classification unit includes a feature calculation unit that calculates a feature amount of a singular point in the singularity search result, and a classifier learning that performs machine learning of the classifier that classifies the singular point based on the feature amount of the singular point. The image processing system according to claim 1 or 2, further comprising a portion.
ことを特徴とする請求項１～３のいずれかに記載の画像処理システム。 The classification region is a classifier that performs supervised learning selected from the group consisting of a support vector machine, a neural network, a random forest, or sparse modeling, or a Mahalanobistaguchi method, or a one-class classifier. Claim 1 comprising a classifier that performs unsupervised learning selected from the group consisting of a support vector machine (One Class Support Vector Machine), an autoencoder, a Gaussian mixture method, or a k-means method. The image processing system according to any one of 3 to 3.
前記画像記憶部が、複数の検証用画像をさらに記憶し、
前記特異点探索部が、前記個体情報における前記特異点探索用領域の機能単位にもとづき前記検証用画像を処理して、特異点探索結果を生成し、
前記分類部が、前記特異点探索結果における特異点の特徴量を計算し、前記特異点の特徴量にもとづいて、前記学習済み分類器を用いて前記検証用画像における前記特異点を分類する
ことを特徴とする請求項４記載の画像処理システム。 The classification area includes the classifier that performs the unsupervised learning,
the image storage unit further stores a plurality of verification images;
The singularity search unit processes the verification image based on the functional unit of the singularity search area in the individual information to generate a singularity search result,
The classification unit calculates the feature amount of the singular point in the singular point search result, and classifies the singular point in the verification image using the trained classifier based on the feature amount of the singular point. The image processing system according to claim 4 , characterized in that:
前記分類部が、前記個体情報における前記分類用領域の機能単位にもとづき前記学習用特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記個体情報における前記分類用領域の機能単位にもとづき前記検証用特異点探索結果を処理すると共に、前記学習済み分類器を用いて前記検証用画像における特異点を分類する分類結果を生成する
ことを特徴とする請求項５記載の画像処理システム。 further comprising a singularity dividing unit that divides the singularity search result into a learning singularity search result and a verification singularity search result,
The classification unit processes the learning singularity search result based on the functional unit of the classification area in the individual information, performs machine learning of the classifier to generate a learned classifier, and generates a learned classifier based on the individual information. processing the verification singularity search result based on the functional unit of the classification region, and generating a classification result for classifying the singularity in the verification image using the trained classifier. The image processing system according to claim 5.
前記評価部が、前記分類結果と前記比較情報にもとづき前記分類結果の評価値を計算する
ことを特徴とする請求項１～６のいずれかに記載の画像処理システム。 further comprising a comparison information storage unit that stores comparison information associated with the learning image for comparison with the classification results,
The image processing system according to claim 1, wherein the evaluation unit calculates an evaluation value of the classification result based on the classification result and the comparison information.
前記機能単位記憶部から機能単位を選択して配列することによって、前記特異点探索用領域及び前記分類用領域を備えた個体情報を生成する個体生成部、又は、前記特異点探索用領域を備えた個体情報と前記分類用領域を備えた個体情報を別個に生成する個体生成部と、をさらに備えた
ことを特徴とする請求項１～７のいずれかに記載の画像処理システム。 a functional unit storage unit that stores a plurality of functional units for singularity searching to search for singularity in an image, and a plurality of functional units for classification to classify a detection target including a classifier;
an individual generation unit that generates individual information including the singularity search area and the classification area by selecting and arranging functional units from the functional unit storage unit, or comprising the singularity search area The image processing system according to any one of claims 1 to 7, further comprising: an individual generation unit that separately generates individual information including the classification area and individual information including the classification area.
前記評価値が高い個体情報を次世代に残すエリート保存部と、
前記評価値にもとづいて、一定の確率で個体情報を次世代に残す選択部と、
２つの個体情報の一部を相互に交換する交叉処理部と、
選択された１つの個体情報の一部又は全部をランダムに書き換える突然変異部と、を有する
ことを特徴とする請求項１～９のいずれかに記載の画像処理システム。 The genetic manipulation unit ,
an elite preservation department that leaves individual information with a high evaluation value to the next generation;
a selection unit that leaves individual information to the next generation with a certain probability based on the evaluation value;
a crossover processing unit that mutually exchanges part of the two individual information;
The image processing system according to any one of claims 1 to 9, further comprising a mutation section that randomly rewrites part or all of selected individual information.
前記特異点探索部及び前記分類部が、前記遺伝子操作部により新たな世代の複数の個体情報が作成されると、当該新たな世代の複数の個体情報を前記複数の個体情報として使用する
ことを特徴とする請求項１～１０のいずれかに記載の画像処理システム。 The genetic manipulation unit repeatedly creates a plurality of individual information of a new generation by updating the population storage unit,
When the plurality of individual information of a new generation is created by the gene manipulation unit, the singularity search unit and the classification unit use the plurality of individual information of the new generation as the plurality of individual information. The image processing system according to any one of claims 1 to 10.
前記学習済み分類器記憶部が、最終的に得られた学習済み分類器を記憶し、
画像記憶部が、検査対象画像を記憶し、
前記特異点探索部が、前記最適化された個体情報における前記特異点探索用領域の機能単位にもとづき前記検査対象画像を処理して、特異点探索結果を生成し、
前記分類部が、前記最適化された個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理し、前記学習済み分類器を用いて、前記検査対象画像における特異点を分類する分類結果を生成する
ことを特徴とする請求項１～１１のいずれかに記載の画像処理システム。 The population storage unit stores finally obtained optimized individual information,
The trained classifier storage unit stores the finally obtained trained classifier,
an image storage unit stores an image to be inspected;
The singularity search unit processes the inspection target image based on the functional unit of the singularity search area in the optimized individual information to generate a singularity search result,
The classification unit processes the singularity search result based on the functional unit of the classification area in the optimized individual information, and classifies the singularity in the inspection target image using the trained classifier. The image processing system according to claim 1, wherein the image processing system generates a classification result.
コンピュータを、
生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理システムであって、
複数の機能単位の実行順序を定義する複数の個体情報を、検出対象である特異点を探索する機能単位からなる特異点探索用領域と、探索された特異点を分類する機能単位からなる、分類器を含む分類用領域とを備えた構成で記憶する個体群記憶部、
複数の学習用画像を記憶する画像記憶部、
前記個体情報における前記特異点探索用領域の機能単位にもとづき前記学習用画像を処理して、特異点探索結果を生成する特異点探索部、
前記個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記学習用画像における特異点を分類する分類結果を生成する分類部、
前記特異点探索結果を評価するための前記学習用画像に対応付けられた教師情報を記憶する教師情報記憶部、
前記特異点探索結果と前記教師情報を比較して特異点探索の評価値を計算し、前記分類結果にもとづき分類の評価値を計算し、前記特異点探索の評価値と前記分類の評価値にもとづき前記個体情報の評価値を計算して前記個体情報を順位付けする評価部、及び、
前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部として機能させる
ことを特徴とする画像処理プログラム。
An image processing program that uses genetic manipulation, which is an optimization method that mathematically simulates biological evolution, to detect a detection target from an image and optimize the process of classifying the detection target,
computer,
An image processing system that uses genetic manipulation, which is an optimization method that mathematically simulates biological evolution, to detect a detection target from an image and optimize the process of classifying the detection target,
Multiple pieces of individual information that define the execution order of multiple functional units are classified into a singularity search area consisting of functional units that search for singularities to be detected, and functional units that classify the searched singularities. a population storage unit configured to store a classification area including a container;
an image storage unit that stores a plurality of learning images;
a singularity search unit that processes the learning image based on the functional unit of the singularity search area in the individual information to generate a singularity search result;
Processing the singularity search result based on the functional unit of the classification area in the individual information, performing machine learning on the classifier to generate a trained classifier, and classifying the singularity in the learning image. a classification unit that generates classification results;
a teacher information storage unit that stores teacher information associated with the learning image for evaluating the singularity search results;
Calculate the evaluation value of the singularity search by comparing the singularity search result and the teacher information, calculate the evaluation value of the classification based on the classification result, and calculate the evaluation value of the singularity search and the classification evaluation value based on the classification result. an evaluation unit that calculates an evaluation value of the individual information based on the individual information and ranks the individual information;
An image processing program that functions as a genetic manipulation unit that selects or changes the individual information based on ranking information of the individual information and updates the population storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020052175A JP7404962B2 (en) | 2020-03-24 | 2020-03-24 | Image processing system and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020052175A JP7404962B2 (en) | 2020-03-24 | 2020-03-24 | Image processing system and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021152687A JP2021152687A (en) | 2021-09-30 |
| JP7404962B2 true JP7404962B2 (en) | 2023-12-26 |
Family
ID=77886524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020052175A Active JP7404962B2 (en) | 2020-03-24 | 2020-03-24 | Image processing system and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7404962B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090792A (en) | 2006-10-05 | 2008-04-17 | Yamaguchi Univ | Eyeball detection method using genetic algorithm |
| JP2009175925A (en) | 2008-01-23 | 2009-08-06 | Nec Software Chubu Ltd | Unit, method and control program for collation parameter optimization |
| JP2017010475A (en) | 2015-06-26 | 2017-01-12 | 富士通株式会社 | Program generation device, program generation method, and generated program |
| JP6646234B2 (en) | 2015-10-22 | 2020-02-14 | 富士通株式会社 | Program generation device, program generation method, and generation program |
| JP2020107008A (en) | 2018-12-27 | 2020-07-09 | 東洋製罐グループホールディングス株式会社 | Image processing system, and image processing program |
-
2020
- 2020-03-24 JP JP2020052175A patent/JP7404962B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090792A (en) | 2006-10-05 | 2008-04-17 | Yamaguchi Univ | Eyeball detection method using genetic algorithm |
| JP2009175925A (en) | 2008-01-23 | 2009-08-06 | Nec Software Chubu Ltd | Unit, method and control program for collation parameter optimization |
| JP2017010475A (en) | 2015-06-26 | 2017-01-12 | 富士通株式会社 | Program generation device, program generation method, and generated program |
| JP6646234B2 (en) | 2015-10-22 | 2020-02-14 | 富士通株式会社 | Program generation device, program generation method, and generation program |
| JP2020107008A (en) | 2018-12-27 | 2020-07-09 | 東洋製罐グループホールディングス株式会社 | Image processing system, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021152687A (en) | 2021-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102077804B1 (en) | Method and system for pre-processing machine learning data | |
| Lin et al. | Parameter tuning, feature selection and weight assignment of features for case-based reasoning by artificial immune system | |
| Kiliç et al. | Comparison of different strategies of utilizing fuzzy clustering in structure identification | |
| CN112132014B (en) | Target re-identification method and system based on non-supervised pyramid similarity learning | |
| CN112784918A (en) | Node identification method, system and device based on unsupervised graph representation learning | |
| CN114463540A (en) | Segmenting images using neural networks | |
| CN112086144A (en) | Molecule generation method, molecule generation device, electronic device, and storage medium | |
| US20210319269A1 (en) | Apparatus for determining a classifier for identifying objects in an image, an apparatus for identifying objects in an image and corresponding methods | |
| CN109934352B (en) | Automatic evolution method of intelligent model | |
| CN114782761B (en) | Intelligent storage material identification method and system based on deep learning | |
| JP7404962B2 (en) | Image processing system and image processing program | |
| KR20220014744A (en) | Data preprocessing system based on a reinforcement learning and method thereof | |
| JP7468088B2 (en) | Image processing system and image processing program | |
| CN114722918A (en) | Tumor classification method based on DNA methylation | |
| JP7206892B2 (en) | Image inspection device, learning method for image inspection, and image inspection program | |
| JP2022089430A (en) | Image processing system, and image processing program | |
| JP6993250B2 (en) | Content feature extractor, method, and program | |
| JP7314723B2 (en) | Image processing system and image processing program | |
| JP2020107008A (en) | Image processing system, and image processing program | |
| Limberg et al. | Improving active learning by avoiding ambiguous samples | |
| KR102636461B1 (en) | Automated labeling method, device, and system for learning artificial intelligence models | |
| Sreedharan et al. | 5 Leave-One-Out Validation in Machine Cross-Learning | |
| Płaczek | Neighborhood selection and rules identification for cellular automata: a rough sets approach | |
| CN117593890B (en) | Detection method and device for road spilled objects, electronic equipment and storage medium | |
| Korade et al. | Identification of appropriate Machine Learning Algorithm to predict Wine Quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7404962 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |