JPWO2014104151A1 - 画像処理装置及び特徴検出方法 - Google Patents

画像処理装置及び特徴検出方法 Download PDF

Info

Publication number
JPWO2014104151A1
JPWO2014104151A1 JP2014554520A JP2014554520A JPWO2014104151A1 JP WO2014104151 A1 JPWO2014104151 A1 JP WO2014104151A1 JP 2014554520 A JP2014554520 A JP 2014554520A JP 2014554520 A JP2014554520 A JP 2014554520A JP WO2014104151 A1 JPWO2014104151 A1 JP WO2014104151A1
Authority
JP
Japan
Prior art keywords
image
image processing
filter
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014554520A
Other languages
English (en)
Other versions
JP6102947B2 (ja
Inventor
毅 長門
毅 長門
哲男 肥塚
哲男 肥塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2014104151A1 publication Critical patent/JPWO2014104151A1/ja
Application granted granted Critical
Publication of JP6102947B2 publication Critical patent/JP6102947B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

複数の画像フィルタを木構造に配列して、異なる環境の複数の入力画像に対して特徴を示す目的画像を得る画像処理装置において、前記複数の画像フィルタに係る情報を管理するフィルタテーブルを記憶した記憶部と、複数の画像処理により階層化された階層毎に、該階層毎に異なる種類の画像フィルタを前記フィルタテーブルから選択することによって、前記木構造に前記複数の画像フィルタを配列した個体群を生成する個体生成部とを有することを特徴とする画像処理装置により達成される。

Description

本発明は、目的画像に応じた画像処理に係るフィルタ構造を効率的に探索することに関する。
従来より、外観検査では、カメラなどの撮像素子を用いて製品の外観を撮影し、欠陥の有無を判定することが行われている。特に、ＦＡ（ファクトリーオートメーション）分野においては、現場の撮影環境に応じたノイズや影、明るさの変動などが撮影画像に発生することが多く、欠陥部を抽出する画像処理アルゴリズムは環境変化にロバストな処理が望まれている。また、外観検査装置を運用していく中で、検査対象の変更や装置の改良を行った際、それに起因した環境の変化が発生し、画像処理アルゴリズムの再構築が必要となる場合がある。そのため、画像処理方法構築の容易性も求められている。
一方、画像処理アルゴリズムの自動生成手法として、遺伝的プログラミングを画像処理に適用したツリー構造状画像変換自動生成法が提案されている。この手法は、構成する画像処理手法を木構造と考え、入力画像と目的となる処理結果の画像（目的画像）を用意し、遺伝的プログラミングを用いて、目的の処理に対し適応度の高い画像処理フィルタ群の木構造を最適化する手法である。
ＡＣＴＩＴ: Automatic Construction of Tree-structural Image Transformation、情報メディア学会誌53、6、pp888-894、1999
従来技術となるＡＣＴＩＴにおいて、複雑な処理を木構造により表現するためには、フィルタ構造の基となる画像フィルタの種類と木構造の深さを大きくする必要がある。しかしながら、種類と深さが大きくなれば、フィルタ構造の組合せが爆発的に大きくなり、探索範囲が広くなることから目的の画像処理手法の探索性能が悪くなると言った問題があった。
１つの側面において、本発明の目的は、目的画像に応じた画像処理の流れを予め指定して、木構造の階層毎に画像フィルタの種類を制限し、フィルタ構造の探索を行うことである。
本実施例の一態様によれば、画像処理装置は、複数の画像フィルタを木構造に配列して、異なる環境の複数の入力画像に対して特徴を示す目的画像を得る画像処理装置において、前記複数の画像フィルタに係る情報を管理するフィルタテーブルを記憶した記憶部と、複数の画像処理により階層化された階層毎に、該階層毎に異なる種類の画像フィルタを前記フィルタテーブルから選択することによって、前記木構造に前記複数の画像フィルタを配列した個体群を生成する個体生成部とを有する。
また、本実施例の一態様によれば、撮像装置により撮像された画像に対し、複数のフィルタを木構造状に構成した処理プログラムを施す画像処理装置は、初期学習時に前記画像の特徴量に基づいて学習データを選択する選択部と、遺伝的プログラミングを用いた学習により前記処理プログラムを生成する自動構成部とを有する。
また、上記課題を解決するための手段として、コンピュータによって実行される特徴検出プログラム、その特徴検出プログラムを記録した記録媒体、及び特徴検出方法とすることもできる。
本実施例の一態様によれば、目的画像に応じた画像処理に係るフィルタ構造を効率的に探索することができる。
図１は、環境変化に対するロバストな画像処理を説明するための図である。 図２は、木構造状の画像処理アルゴリズムの一例を示す図である。 図３（Ａ）及び図３（Ｂ）は、第１実施例における特徴検出処理の概要を説明するための図である。 図４は、第１実施例における画像処理装置の機能構成例を示す図である。 図５は、第１実施例における画像処理装置のハードウェア構成を示す図である。 図６（Ａ）及び図６（Ｂ）は、第１実施例における初期個体の生成処理を説明するための図である。初期個体の生成処理を説明するための図である。 図７は、第１実施例における初期個体の生成処理の一例を説明するためのフローチャート図である。 図８は、第１実施例におけるフィルタテーブルのデータ構成例を示す図である。 図９は、第１実施例における個体群情報によって表されるフィルタ構造例を示す図である。 図１０は、第１実施例における進化過程処理を説明するための図である。 図１１は、第１実施例における学習時の適応度の推移の比較を説明するための図である。 図１２は、第１実施例における木構造の深さに対する組合せ数の比較を説明するための図である。 図１３は、第２実施例における２つの個体間の適応度例を示す図である。 図１４は、目的画像を得られない場合の例を示す図である。 図１５は、第２実施例における画像処理装置の機能構成例を示す図である。 図１６は、第１実施例における画像処理装置のハードウェア構成を示す図である。 図１７は、第２実施例における画像処理アルゴリズムの生成処理について説明するためのフローチャート図である。 図１８は、振幅画像を示す図である。 図１９（Ａ）、図１９（Ｂ）、及び図１９（Ｃ）は、特徴量の例を示す図である。 図２０（Ａ）及び図２０（Ｂ）は、第２実施例における初期の特徴情報及びクラスタリングの例を示す図である。 図２１は、第２実施例における１回目学習により更新された画像処理アルゴリズムの例を示す図である。 図２２（Ａ）及び図２２（Ｂ）は、第２実施例における１回目学習時の特徴情報及びクラスタリングの例を示す図である。 図２３は、第２実施例における２回目学習により更新された画像処理アルゴリズムの例を示す図である。 図２４（Ａ）及び図２４（Ｂ）は、第２実施例における目的の画像処理アルゴリズムの特徴情報及びクラスタリングの例を示す図である。 図２５は、第２実施例における最大適応度を示す画像処理アルゴリズム８ａの認識率の推移を示す図である。
以下、本発明の実施の形態を図面に基づいて説明する。
［第１実施例］
図１は、環境変化に対するロバストな画像処理を説明するための図である。図１において、明るさ、位置等によって環境変化の異なる入力画像２に対して、ロバストな画像処理１を行うことによって、目的画像４を得る。即ち、ロバストな画像処理１は、環境変化の異なる複数の入力画像２に対して、目的画像４を得るための最適な処理を行う。目的画像４は、例えば、ＦＡ（ファクトリーオートメーション）において、製造物の欠陥部を抽出するための画像である。欠陥部は、即ち、抽出する特徴部とも言える。
この画像処理１において、構成される画像処理手法を、ＡＣＴＩＴ（非特許文献１）を参照することにより木構造と考えると、例えば、図２に示されるような構成となる。図２は、木構造状の画像処理アルゴリズムの一例を示す図である。図２に示すように、各入力画像２に対して構成される画像処理Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５は、目的画像４をえるために木構造処理１ａを形成する。木構造処理１ａでは、遺伝的プログラミングによる最適化が行われる。
この例では、図２において上段の入力画像２に対して、画像処理Ｆ２、Ｆ３、及びＦ５が適用され目的画像４を得る。中段の入力画像２に対して、画像処理Ｆ１、Ｆ２、Ｆ３、及びＦ５が適用され目的画像４を得る。下段の入力画像２に対して、画像処理Ｆ４、Ｆ５が適用され目的画像４を得る。このように、木構造状の画像処理アルゴリズムでは、目的画像４をルートとする木構造を示す。
図３（Ａ）及び図３（Ｂ）は、第１実施例における特徴検出処理の概要を説明するための図である。図３（Ａ）において、遺伝的プログラミングによる最適化では、木構造状の画像処理フィルタ群を個体９とし、複数の初期個体から交叉処理と突然変異処理とを行い、新たな個体群１ｂ'を生成し、適応度の高い個体群１ｂ'（画像処理フィルタ群）と入れ替えながら、個体群１ｂを更新することで、最適な個体群１ｂ'を探索する。例えば、個体群１ｂから２つの画像処理フィルタ群を木構造状で表す個体９を交叉対象として選択し、２つの個体９内から夫々１つの画像処理フィルタを新たに突然変異として、互いに置き換えることで得た個体群から最適な個体群１ｂ'を探索する。
図３（Ｂ）より、適応度は、撮影した画像（入力画像２）に対して個体群１ｂの各個体９を用いて処理を行い、処理結果となる出力画像３と教師データである目的画像４の比較により算出する。
これにより、入力画像２である撮影画像と処理結果の目的となる目的画像４のセットを用意することで、自動的に最適な画像処理アルゴリズムを構築することができる。また、撮影環境の異なる入力画像と目的画像のセットを複数用意することで、ロバストな画像処理アルゴリズムの自動構成も可能となる。
図４は、第１実施例における画像処理装置の機能構成例を示す図である。図４において、画像処理装置１００は、初期個体生成部４１と、進化過程処理部４２と、個体適応計算部４３と、生存選択部４４と、個体入替部４５とを有する。これら処理部４１から４５は、後述されるＣＰＵ１１が対応するプログラムを実行することによる処理によって実現される。記憶部１３０には、フィルタテーブル３１、個体情報１ｂ−２、入替個体情報１ｄ、入力画像２、出力画像３、目的画像４等が記憶される。
初期個体生成部４１は、異なる環境の複数の入力画像に対して特徴を示す目的画像を得る特徴検出において、複数の画像処理により階層化された階層毎に、該階層毎に異なる種類の画像フィルタを選択して、木構造状のフィルタ構造を生成する処理部である。
初期個体生成部４１は、遺伝的プログラミングを用いて、初期個体生成ルール５ｒ（図６（Ｂ））に従って、目的画像４をルートと考え、各ノードを構成する際、フィルタテーブル３１から階層に応じて種類分けされた画像フィルタを適宜選択して個体群１ｂを生成する。個体群１ｂは、木構造を形成し、記憶部１３０の個体情報１ｂ−２として格納される。
進化過程処理部４２は、個体群１ｂに対して進化過程処理を行う処理部である。進化過程処理部４２は、交差処理部４２−１と、突然変異処理部４２−２とを有し、交差処理部４２−１によって個体群１ｂから２個体を取り出して交差処理を行い、突然変異処理部４２−２によって新たに加えた２個体で置き換えることにより突然変異処理を行う。進化過程処理部４２によって、個体群１ｂが進化することにより、個体群情報１ｂ−２が更新される。
個体適応計算部４３は、各個体の適応度を計算する処理部である。適応度（fitness）は、木構造のフィルタ構造において、各入力画像２に対して得られる出力画像３と予め用意した目的画像４との差分によって求められ、例えば、次式の

によって得られる。
生存選択部４４は、最良個体を所定ルールに基づいて１個体を選択する処理部である。所定ルールは、例えば、最も適合度の高い個体を残すルーレットルール等を用いる。
個体入替部４５は、個体群１ｂに対して、突然変異対象の２個体と入れ替える新たな２個体をフィルタテーブルから選択する処理部である。入れ替える外部の２個体を示す入替個体情報１ｄが記憶部１３０に格納される。
ここで、進化過程処理部４２での処理が繰り返されることにより、個体群１ｂから最良個体を除いて、交叉対象の２個体と、突然変異対象の２個体とを選択し、交叉処理と突然変異処理とが夫々実行される。この繰り返し処理は、例えば、個体適応計算部４３にて、個体群１ｂの全体としての適応度を計算することによって、所定値以上の適応度に到達した時点で終了するようにすれば良い。
このようにして得られた最終的な個体群１ｂ（フィルタ構造）を用いて、ＬＳＩ等の品質検査における傷等の特徴検出を行なう。
上述したような第１実施例に係る処理を行う画像処理装置１００は、図５に示すようなハードウェア構成を有する。図５は、第１実施例における画像処理装置のハードウェア構成を示す図である。図５において、画像処理装置１００は、コンピュータによって制御される端末であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、補助記憶装置１３と、入力装置１４と、表示装置１５と、出力装置１６と、通信Ｉ／Ｆ（インタフェース）１７と、ドライブ１８とを有し、バスＢに接続される。
ＣＰＵ１１は、主記憶装置１２に格納されたプログラムに従って画像処理装置１００を制御する。主記憶装置１２には、ＲＡＭ（Random Access Memory）等が用いられ、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を格納する。また、主記憶装置１２の一部の領域が、ＣＰＵ１１での処理に利用されるワークエリアとして割り付けられている。
補助記憶装置１３には、ハードディスクドライブが用いられ、各種処理を実行するためのプログラム等のデータを格納する。補助記憶装置１３に格納されているプログラムの一部が主記憶装置１２にロードされ、ＣＰＵ１１に実行されることによって、各種処理が実現される。記憶部１３０は、主記憶装置１２及び／又は補助記憶装置１３を有する。
入力装置１４は、マウス、キーボード等を有し、ユーザが画像処理装置１００による処理に必要な各種情報を入力するために用いられる。表示装置１５は、ＣＰＵ１１の制御のもとに必要な各種情報を表示する。出力装置１６は、プリンタ等を有し、ユーザからの指示に応じて各種情報を出力するために用いられる。通信Ｉ／Ｆ１７は、例えばインターネット、ＬＡＮ（Local Area Network）等に接続し、外部装置との間の通信制御をするための装置である。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。
画像処理装置１００によって行われる第１実施例に係る処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）等の記憶媒体１９によって画像処理装置１００に提供される。即ち、プログラムが保存された記憶媒体１９がドライブ１８にセットされると、ドライブ１８が記憶媒体１９からプログラムを読み出し、その読み出されたプログラムがバスＢを介して補助記憶装置１３にインストールされる。そして、プログラムが起動されると、補助記憶装置１３にインストールされたプログラムに従ってＣＰＵ１１がその処理を開始する。尚、プログラムを格納する媒体としてＣＤ−ＲＯＭに限定するものではなく、コンピュータが読み取り可能な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
次に、初期個体生成部４１によって行われる初期個体の生成処理について図６（Ａ）及び図６（Ｂ）で説明する。図６（Ａ）及び図６（Ｂ）は、第１実施例における初期個体の生成処理を説明するための図である。図６（Ａ）より、目的画像４の特徴を抽出するための画像処理では、出力画像dstをルートと考え、各ノードを構成する際、階層に応じて種類分けされた画像フィルタを適宜選択する。一定の階層まで進めば、終端ノードとして原画像src（入力画像に相当）を選択する。例えば、特徴領域の抽出の場合、まず出力画像dstの直前の処理は２値画像処理を選択する。
次に、予め定めた初期個体生成ルール５ｒ（図６（Ｂ））に基づき、ノード選択時に親ノードが２値画像処理の場合は２値画像処理もしくは閾値処理を選択し、親ノードが閾値処理または画像強調処理の場合は画像強調処理もしくは原画像srcを選択する。一定の階層まで進んだ場合は強制的に原画像srcを選択する。
これにより、一般的な処理の流れとして、入力画像⇒画像強調処理⇒閾値処理⇒２値画像処理⇒出力画像となる初期個体群が生成可能となる。図６（Ａ）では、画像強調処理用のフィルタをＦ、閾値処理用のフィルタをＴ、２値画像処理用のフィルタをＢで簡易的に表している。
第１実施例では、処理全体における全体ノードの深さと、処理の属性毎に、即ち、画像強調処理、閾値処理、２値画像処理毎に、全体ノードの深さを予め定義する。全体ノードの深さを２０以下（全体ノードの最大深さを２０まで）と定義し、更に、各階層（各処理）の深さ２０の内訳は、入力画像２の処理順に、画像強調処理用のフィルタは深さ５、閾値処理用のフィルタは深さ１、２値画像処理用のフィルタは深さ１４で割り当てられるとする。
この各階層の深さ定義に基づき、初期個体生成部４１によって、木構造のフィルタ構造が生成される初期個体の生成処理について、図７で説明する。
図７は、第１実施例における初期個体の生成処理の一例を説明するためのフローチャート図である。図７において、初期個体生成部４１は、ルートの識別情報（目的画像４）を親ノードに、深さカウンタを１に初期設定する（ステップＳ１０）。
初期個体生成部４１は、親ノード（目的画像４）がルートか否かを判断する（ステップＳ１１）。親ノードがルートの場合（ステップＳ１１のＹＥＳ）、初期個体生成部４１は、フィルタテーブル３１を参照して、属性が２値画像処理であるフィルタからランダムに選択する（ステップＳ１２）。初期個体生成部４１は、選択したフィルタの識別情報を選択ノードに設定する。また、初期個体生成部４１は、選択ノードの出力と、親ノードの入力とを連結して、個体群情報１ｂ−２に記録する。その際、深さカウンタ値も選択ノードと対応付けて記憶しておく。そして、ステップＳ２０へと進む。
一方、親ノードがルートでない場合（ステップＳ１１のＮＯ）、初期個体生成部４１は、親ノードの属性が２値画像処理か否かを判断する（ステップＳ１３）。２値画像処理である場合（ステップＳ１３のＹＥＳ）、初期個体生成部４１は、深さカウンタによって示されるノードの深さが１４以下か否かを判断する（ステップＳ１４）。ノードの深さが１４以下である場合（ステップＳ１４のＹＥＳ）、初期個体生成部４１は、フィルタテーブル３１を参照して、属性が２値画像処理又は閾値処理であるフィルタからランダムに選択して、選択ノードに設定する（ステップＳ１５）。また、初期個体生成部４１は、選択ノードの出力と、親ノードの入力とを連結して、個体群情報１ｂ−２に記録する。その際、深さカウンタ値も選択ノードと対応付けて記憶しておく。そして、ステップＳ２０へと進む。
一方、選択ノードの深さが５より大きい場合（ステップＳ１４のＮＯ）、初期個体生成部４１は、フィルタテーブル３１を参照して、属性が閾値処理であるフィルタからランダムに選択して、選択ノードに設定する（ステップＳ１６）。初期個体生成部４１は、選択したフィルタの識別情報を選択ノードに設定する。また、初期個体生成部４１は、選択ノードの出力と、親ノードの入力とを連結して、個体群情報１ｂ−２に記録する。その際、深さカウンタ値も選択ノードと対応付けて記憶しておく。そして、ステップＳ２０へと進む。
初期個体生成部４１は、親ノードの属性が２値画像処理でない場合（ステップＳ１７のＮＯ）、更に、深さカウンタによって示されるノードの深さが２０以下か否かを判断する（ステップＳ１７）。ノードの深さが２０以下である場合（ステップＳ１７のＹＥＳ）、初期個体生成部４１は、属性が画像強調処理であるフィルタ又は原画像からランダムに選択して、選択ノードに設定する（ステップＳ１８）。初期個体生成部４１は、選択したフィルタの識別情報を選択ノードに設定する。また、初期個体生成部４１は、選択ノードの出力と、親ノードの入力とを連結して、個体群情報１ｂ−２に記録する。その際、深さカウンタ値も選択ノードと対応付けて記憶しておく。そして、ステップＳ２０へと進む。
一方、ノードの深さが２０より大きい場合（ステップＳ１７のＮＯ）、初期個体生成部４１は、原画像を選択して、選択ノードに設定する（ステップＳ１９）。初期個体生成部４１は、選択したフィルタの識別情報を選択ノードに設定する。また、初期個体生成部４１は、選択ノードの出力と、親ノードの入力とを連結して、個体群情報１ｂ−２に記録する。その際、深さカウンタ値も選択ノードと対応付けて記憶しておく。そして、ステップＳ２０へと進む。
初期個体生成部４１は、深さカウンタを１インクリメントして（ステップＳ２０）、選択ノードが原画像か否かを判断する（ステップＳ２１）。選択ノードが原画像でない場合（ステップＳ２１のＮＯ）、初期個体生成部４１は、次のノードへ移動する処理を行う（ステップＳ２２）。選択ノードが親ノードに設定される。初期個体生成部４１は、ステップＳ１１へと戻り、上記同様の処理を行う。
一方、選択ノードが原画像である場合（ステップＳ２１のＹＥＳ）、初期個体生成部４１は、更に、未決定ノードが有るか否かを判断する（ステップＳ２３）。未決定ノードの判断は、記憶部１３０の個体群情報１ｂ−２から連結してない入力を有する選択済みノードが存在するか否かを判断すれば良い。未連結の入力へ分岐する未決定ノードが有る場合（ステップＳ２３のＹＥＳ）、初期個体生成部４１は、選択済みノードから連結される未決定ノードへ移動する（ステップＳ２４）。選択済みノードが親ノードとして設定される。また、選択済みノードの深さを深さカウンタに設定する。初期個体生成部４１は、ステップＳ１１へと戻り、上記同様の処理を行う。
一方、未決定ノードが無い場合（ステップＳ２３のＮＯ）、初期個体生成部４１は、この処理を終了する。
ステップＳ１４及びＳ１７におけるノード深さの判定値「１４」及び「２０」は、適宜ユーザによって設定可能としても良い。
図７のフローチャートにおいて参照されるフィルタテーブル３１は、例えば、図８に示すようなデータ構成を示す。図８は、第１実施例におけるフィルタテーブルのデータ構成例を示す図である。図８において、フィルタテーブル３１は、属性、深さ、処理名、識別情報、入力、出力等の項目を有する。
属性は、階層を特定する情報を示す。例えば、画像強調処理、閾値処理、２値画像処理等を指定する。深さは、階層に割り当てられた深さを入力画像の処理順に累積した値で示している。処理名は、フィルタの機能を示している。識別情報は、フィルタを識別するための情報である。入力は、フィルタへの入力数を示し、出力は、フィルタからの出力数を示す。
図８に示されるようなフィルタテーブル３１を用いて、図７に示すフローチャートに従って初期個体を生成した場合の、個体群情報１ｂ−２によって表されるフィルタ構造の木構造例について図９で説明する。図９は、第１実施例における個体群情報によって表されるフィルタ構造例を示す図である。図９中、（ ）内は深さカウンタから得た値を示している。
図９において、ルートに設定された目的画像dstから、深さ１で２値画像処理のフィルタBdil、深さ２で２値画像処理のフィルタBand、深さ３で閾値処理のフィルタT192、深さ４で閾値処理のフィルタFsoX7、そして原画像srcが連結される。
深さ２のフィルタBandは２入力を有するため、図７のステップＳ２３にて、連結されていない入力を持つフィルタBandが未決定ノードの有無判断で検出されると、個体群情報１ｂ−２において、フィルタBandに対応付けられている深さ２が深さカウンタに設定される。そして、ステップＳ１１からＳ２２の処理が繰り返されることにより、深さ６で２値画像処理のフィルタBdil、深さ７で２値画像処理のフィルタBopC、深さ８で閾値処理のフィルタTcan7、深さ９で画像強調処理のフィルタFsoX7、深さ１０で２値画像処理のフィルタFlap3、そして原画像srcが連結される。
上述したように、図７のステップＳ２３にて未連結の入力を持つ深さ５のフィルタBandが検出されることによって、深さ６で２値画像処理のフィルタBnc、深さ７で閾値処理のフィルタTcan7、深さ８で画像強調処理のフィルタFsoY3、深さ９で画像強調処理のフィルタFsub、深さ１０で画像強調処理のフィルタFsm9、そして原画像srcが連結される。
更に、図７のステップＳ２３にて未連結の入力を持つ深さ９のフィルタFsubが検出されることによって、原画像srcが連結される。
次に、進化過程処理部４２による進化過程処理について説明する。図１０は、第１実施例における進化過程処理を説明するための図である。第１実施例では、交叉処理部４２−１による交叉処理、及び、突然変異処理部４２−２による突然変異処理において、制限ルール１０ｒに基づいて夫々の処理が行われる。制限ルール１０ｒは、階層毎に、交叉ペアの選択、及び、突然変異の種類を制限する。
遺伝的プログラミングにおける交叉において、ペアとなる部分木のノード選択をそのノードの出力の種類に応じて選択する。特徴領域の抽出の場合、交叉のペアは、一方が画像強調処理（Ｆ）の場合は他方は画像強調処理（Ｆ）である必要があり、一方が閾値処理（Ｔ）または２値画像処理（Ｂ）である場合は、他方も閾値処理（Ｔ）または２値画像処理（Ｂ）である必要がある。また、突然変異に関しては、同じ種類のノード（フィルタ）を選択する。これにより、画像処理の流れを崩さず、進化過程における世代交代を行うことが可能となる。
次に、第１実施例を半田ボール部の検出処理へ適用した場合と、第１実施例を適用しない関連技術とについて比較説明する。特徴領域の検出を図６（Ａ）と同様に、画像強調＝＞閾値処理＝＞２値画像処理で行うものとし、構成要素となるフィルタの種類は、図８に示すフィルタテーブル３１を参照することによって選択される。初期個体生成ならびに進化過程での制限は図６（Ａ）及び図６（Ｂ）、図１０を採用する。
図１１は、第１実施例における学習時の適応度の推移の比較を説明するための図である。図１１において、木構造の深さ制限を２０、初期個体数を３０とし、世代数１０００までの学習時の最大適応度の推移を示す。同条件の関連技術に比べて第１実施例は、適応度の高い画像処理アルゴリズムを素早く探索できる。
図１２は、第１実施例における木構造の深さに対する組合せ数の比較を説明するための図である。図１２より、関連技術に比べて第１実施例では、階層数ｎ＝４の段階で組合せ数は約１／１０００となり、その後も劇的に組合せ数が低いことがわかる。
これにより、大まかな処理の流れを指定することで、探索範囲を絞り込むことができ、適応度の高い画像処理アルゴリズムを高速に探索可能となる。
上述したように、第１実施例では、大まかな処理の流れを指定することで、関連技術（例えば、ＡＣＴＩＴ）における探索範囲を劇的に絞り込むことができ、適応度の高い画像処理アルゴリズムを高速に探索可能となる。
上述した第１実施例における画像処理アルゴリズムでは、遺伝的プログラミング（ＧＰ）が用いられている。遺伝的プログラミングでは、学習データを基準として木構造状の画像処理フィルタ群を表す個体９を自動生成する。そのため、自動生成した個体群１ｂは、学習データと異なるタイプの入力画像に対して性能を発揮しない場合がある。
複数の画像処理フィルタによるフィルタ構造を表す個体９を大量な学習データを用いて自動生成した場合には、学習時間が膨大に増加し、運用上現実的ではない。そこで、サンプルデータから適用先の画像特徴を把握し適切に学習データを選択することで、汎用性の高いアルゴリズムを生成する第２実施例を以下に説明する。
［第２実施例］
画像処理フィルタ群を表す２つの個体９ａ及び９ｂ間の適応度の例について説明する。図１３は、第２実施例における２つの個体間の適応度例を示す図である。図１３において、第１実施例にて得られた２つの個体９ａ及び９ｂの適応度の例が示されている。
学習データ２３２には、予め選択された複数の原画像に相当する入力画像２と、複数の入力画像２の夫々に対応する目的画像４とが含まれる。
個体９ａ及び個体９ｂは、木構造状フィルタである。個体９ａは、画像処理フィルタ（以下、単に「フィルタ」と言う）Ｆ１、Ｆ２、Ｆ３、及びＦ５を有する。フィルタは、ノードとも言う。個体９ｂは、フィルタＦ２、Ｆ３、及びＦ５を有する。学習データ２３２の入力画像２を個体９ａで画像処理させた出力結果が出力画像３−１である。また、入力画像２を個体９ｂで画像処理させた出力結果が出力画像３−２である。
出力３−１及び出力３−２の目的画像４への適応度を計算した結果、出力３−１は適応度「０．９」を示し、出力３−２は適応度「０．６」を示す。この例では、同じ入力画像２に対して、個体９ｂより個体９ａのフィルタ群によって画像処理を行った方が適応度が良いという結果である。従って、個体９ａの木構造状フィルタが採用される。
このように、ツリー構造状画像変換自動生成法（ＧＰ）では、学習データ２３２を基準として木構造状フィルタの自動生成を行う。一方、自動生成した木構造状フィルタは、学習データ２３２と異なるタイプの入力画像に対して目的画像を得ることができない場合がある。第２実施例において、入力画像は、目的画像を得る対象の画像を言う。
図１４は、目的画像を得られない場合の例を示す図である。図１４では、個体９ａの木構造状フィルタを採用した場合で説明する。サンプルデータ２３１から選択した学習データ２３２により、個体９ａの木構造状フィルタによるアルゴリズムを生成する。以下、生成されたアルゴリズムを画像処理アルゴリズム８ａと言う。
サンプルデータ２３１は、過去に撮影した複数の入力画像２と、検出したい目的画像３等とを含む。各入力画像２に対応する目的画像４が用意され、各入力画像２と対応する目的画像３ｐとは関連付けられている。サンプルデータ２３１には、入力画像２ａ、２ｂ及び２ｃを含む。入力画像２ａ、２ｂ及び２ｃに対応する目的画像４は、目的画像４ａ、４ｂ、及び４ｃとする。
学習データ２３２は、サンプルデータ２３１から選択された入力画像２は、入力画像２ａ、２ｂ及び２ｃであることを示している。また、学習データ２３２によって、選択した入力画像２ａ、２ｂ及び２ｃに対応する目的画像４ａ、４ｂ、及び４ｃが指定される。
画像処理アルゴリズム８ａに対して撮影した画像２ａ'、２ｂ'及び２ｅを入力画像２inとして入力することで、出力結果３outを得る。出力結果３outでは、画像２ａ'に対して出力画像３ａ'、画像２ｂ'に対して出力画像３ｂ'、そして、画像２ｅ'に対して出力画像３ｅを得たことを示している。
画像２ｅ'は、学習データ２３２の目的画像４ａから４ｃのいずれにも類似していない。出力画像３ｅは、画像２ｅ'に対して画像処理アルゴリズム８ａによる画像処理を行った結果得た画像である。出力画像３ｅでは、特徴の抽出に失敗していることが分かる。
画像２ｅ'のように、学習データ２３２の目的画像４ａから４ｃのいずれにも類似していない画像が、画像処理アルゴリズム８ａによって画像処理された場合には、エラーとなる場合がある。
第２実施例では、適用先の画像特徴を捉えた学習を行い、また、適宜学習途中の木構造状フィルタによって学習データ２３２を見直すことで、汎用的な画像処理アルゴリズム８ａを取得する。
図１５は、第２実施例における画像処理装置の機能構成例を示す図である。図１５において、画像処理装置２００は、主に、生成部２１０と、検査部２３０とを有する。また、画像処理装置２００の記憶部２３０には、サンプルデータ２３１、学習データ２３２、入力画像２３２、入力画像２in、画像処理アルゴリズム８ａ、出力結果３out等のデータが記憶される。
生成部２１０は、汎用性の高い画像処理アルゴリズム８ａを生成する。生成部２１０は、更に、特徴分析部７１と、クラスタリング部７２と、学習データ選択部７３と、自動構成部７４と、フィルタ検証部７５と、特徴最分析部７６とを有する。
特徴分析部７１は、サンプルデータ２３１の特徴を分析する。サンプルデータ２３１には原画像である複数の入力画像２と目的画像３とが含まれている。特徴分析部７１は、サンプルデータ２３１の各入力画像２を分析することによって、画像特徴量を取得する。
特徴分析部７１によって取得される画像特徴量のパラメータは、入力画像２の平均輝度、輝度ヒストグラム、空間周波数情報等を含む。空間周波数情報には、角度成分と、周波数成分とが含まれる。
クラスタリング部７２は、特徴分析部７１によって得られた複数の成分の中から、主成分の特徴量に基づいてサンプルデータ２３１を分類する。主成分は、周波数成分、平均輝度、コントラスト等である。分類方法は、各特徴空間に対してクラスタの平均を用い、与えられたクラスタ数Ｋ個に分類するk-means法等を用いればよい。サンプルデータ２３１内の入力画像２は特徴量に基づいて分類される。
学習データ選択部７３は、クラスタリング部７２によって分類された各クラスから学習データを選択する。クラスタ毎に、入力画像２の特徴量の中心に近い入力画像２を代表サンプルとして選択すれば良い。代表サンプルとして選択された入力画像２を指定する学習データ２３２が記憶部２３２に格納される。学習データ２３２には、選択された入力画像２（代表サンプル）毎に分析した特徴量が記憶される。
自動構成部７４は、学習データ選択部７３によって選択された学習データ２３２を用いて、画像処理アルゴリズム８ａを生成する。画像処理アルゴリズム８ａの生成方法は、上述した第１実施例に従うものとする。画像処理アルゴリズム８ａは、与えられた処理の流れに従って、複数の画像処理フィルタが木構造状で組み合わされることで作成される。
フィルタ検証部７５は、自動生成した画像処理アルゴリズム８ａを用いてフィルタ検証を行なう。目的の処理精度を満たしていない場合、画像処理アルゴリズム８ａは、再構成される。
特徴再分析部７６は、画像処理アルゴリズム８ａを、サンプルデータ２３１内の各入力画像２に適用し、中間特徴情報２３３を取得する。中間特徴情報２３３は、画像処理アルゴリズム８ａの各フィルタによって得られる中間処理画像の特徴量を示す。
特徴再分析部７６によって得られた中間処理画像の特徴量に基づいて、クラスタリング部７２は、再度、サンプルデータ２３１の入力画像２をクラスタリングする。そして、代表サンプルとなる入力画像２が学習データ２３２となる。自動構成部７４は、学習データ２３２を用いて画像処理アルゴリズム８ａを再生成し、フィルタ検証部７５は、再生成された画像処理アルゴリズム８ａを検証する。
目的の処理精度を満たした時に、画像処理アルゴリズム８ａの生成が終了する。画像処理アルゴリズム８ａは、検査部２３０によって利用できる状態となる。
検査部２３０は、撮像装置９ａによって撮像された入力画像２inに対して画像処理アルゴリズム８ａを用いて画像処理を行い、その出力結果３outから入力画像２inの特徴を抽出する。検査部２３０は、更に、画像入力部８１と、画像処理部８２と、特徴抽出部８３とを有する。
画像入力部８１は、撮像装置９が撮像した入力画像２inを画像処理装置２００内に取り込む。入力画像２inは記憶部２３０に記憶される。
画像処理部８２は、入力画像２inに対して画像処理アルゴリズム８ａを適用して画像処理を行い、出力結果３outを記憶部２３０に出力する。
特徴抽出部８３は、出力結果３outから目的画像４に相当する特徴を示す領域を抽出した抽出結果２３９を記憶部２３０に出力する。
上述したような第１実施例に係る処理を行う画像処理装置２００は、図１６に示すようなハードウェア構成を有する。図１６は、第１実施例における画像処理装置のハードウェア構成を示す図である。図１６において、画像処理装置１００は、コンピュータによって制御される端末であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、補助記憶装置１３と、入力装置１４と、表示装置１５と、出力装置１６と、通信Ｉ／Ｆ（インターフェース）１７と、ドライブ１８と、インターフェース９ｆを有し、バスＢに接続される。
ＣＰＵ２１１は、主記憶装置１２に格納されたプログラムに従って画像処理装置２００を制御する。主記憶装置２１２には、ＲＡＭ（Random Access Memory）等が用いられ、ＣＰＵ２１１にて実行されるプログラム、ＣＰＵ２１１での処理に必要なデータ、ＣＰＵ２１１での処理にて得られたデータ等を格納する。また、主記憶装置１２の一部の領域が、ＣＰＵ２１１での処理に利用されるワークエリアとして割り付けられている。
補助記憶装置２１３には、ハードディスクドライブが用いられ、各種処理を実行するためのプログラム等のデータを格納する。補助記憶装置２１３に格納されているプログラムの一部が主記憶装置２１２にロードされ、ＣＰＵ２１１に実行されることによって、各種処理が実現される。記憶部２３０は、主記憶装置２１２及び／又は補助記憶装置２１３を有する。
入力装置２１４は、マウス、キーボード等を有し、ユーザが画像処理装置２００による処理に必要な各種情報を入力するために用いられる。表示装置１５は、ＣＰＵ２１１の制御のもとに必要な各種情報を表示する。出力装置２１６は、プリンタ等を有し、ユーザからの指示に応じて各種情報を出力するために用いられる。通信Ｉ／Ｆ２１７は、例えばインターネット、ＬＡＮ（Local Area Network）等に接続し、外部装置との間の通信制御をするための装置である。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。
インターフェース９ｆは、撮像装置９ａと画像処理装置２００とを接続する。撮像装置９ａで撮影された画像２ａ'、２ｂ'等は、インターフェース９ｆを介して、ＣＰＵ２１１の制御により記憶部２３０に入力画像２inとして記憶される。撮像装置９ａは、ＣＣＤ（Charge Coupled Devices）カメラ等であればよい。
画像処理装置２００によって行われる第２実施例に係る処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）等の記憶媒体２１９によって画像処理装置２００に提供される。即ち、プログラムが保存された記憶媒体２１９がドライブ２１８にセットされると、ドライブ１８が記憶媒体２１９からプログラムを読み出し、その読み出されたプログラムがバスＢを介して補助記憶装置２１３にインストールされる。そして、プログラムが起動されると、補助記憶装置２１３にインストールされたプログラムに従ってＣＰＵ２１１がその処理を開始する。尚、プログラムを格納する媒体としてＣＤ−ＲＯＭに限定するものではなく、コンピュータが読み取り可能な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
図１５における生成部２１０と検査部２３０とは、ＣＰＵ２１１が対応するプログラムを実行することによって行われる処理によって実現される。
次に、生成部２１０による汎用性の高い画像処理アルゴリズム８ａを生成する生成処理について説明する。
図１７は、第２実施例における画像処理アルゴリズムの生成処理について説明するためのフローチャート図である。図１７にて、生成部２１０において、初期のフィルタ構造群が生成される（ステップＳ２１１）。初期のフィルタ構造群により画像処理アルゴリズム８ａが記憶部１３０に作成される。
また、生成部２１０において、特徴分析部７１は、サンプルデータ２３１内の原画像である各入力画像２の画像特徴を分析する（ステップＳ２１２）。サンプルデータ２３１内の各入力画像２の画像特徴を分析した後、初期の画像処理アルゴリズム８ａを生成しても良い。
クラスタリング部７２は、特徴分析部７１によって得られた画像特徴のうち主成分の各特徴空間に対してクラスタの平均を求めて、サンプルデータ２３１内の入力画像２を複数のクラスに分類する（ステップＳ２１３）。
そして、学習データ選択部７３は、クラスタリング部７２によって入力画像２が分類された各サンプル群から代表サンプルを学習データ２３２として選択する（ステップＳ２１４）。
学習データ２３２が選択されると、自動構成部７４は、進化過程により画像処理アルゴリズム８ａを更新する（ステップＳ２１５）。フィルタ構造群の更新は、第１実施例においける進化過程処理と同様であるので、その説明を省略する。
自動構成部７４は、生成した画像処理アルゴリズム８ａの適応度を算出する（ステップＳ２１６）。適応度の算出方法は、下記数２を用いればよいが、数２に限定するものではない。

適用度は、画像処理アルゴリズム８ａが更新される毎に算出され記憶部１３０の作業領域に記憶される。記憶部１３０に記憶した適用度のうちで最大適応度が適応度閾値より大きいか否かを判断する（ステップＳ２１７）。最大適応度が適応度閾値より大きいことが、ステップＳ２１４で選択した学習データ２３２を用いた場合、即ち、ステップＳ２１５〜Ｓ２１７の繰り返しによる学習の終了条件となる。
最大適応度が適応度閾値以下である場合、充分な精度を得られていないと判断し、自動構成部７４は、ステップＳ２１５へと進み、画像処理アルゴリズム８ａを進化させて更新する処理を繰り返す。
一方、最大適応度が適応度閾値より大きいと判断した場合、フィルタ検証部７５による検証処理が行われる。フィルタ検証部７５は、サンプルデータ２３１に対する一致度を計算し、良不良判定を行う（ステップＳ２１９）。サンプルデータ２３１に対する一致度は、生成した画像処理アルゴリズム８ａにサンプルデータ２３１の各入力画像２を入力して得た出力結果３outと目的画像４との相関値で表される。下記数３を用いて一致度を計算する。

数３で得られた一致度は、予め設定した一致度閾値よりも高い場合は良結果とし、低い場合を不良結果とする。良不良判定の一致度閾値は、目的のアルゴリズムの処理精度により決定する。領域抽出誤差を１０％以内にする場合、一致度閾値に０．９を設定する。一致度閾値を用いて、サンプルデータ２３１の全入力画像２のうち良判定となった個数をカウントしておく。
そして、フィルタ検証部７５は、サンプルデータ２３１に対する良結果の割合を算出して認識率とする（ステップＳ２２０）。サンプルデータ２３１の全入力画像２の総数に対する良判定となった個数を計算して割合を求めれば良い。フィルタ検証部７５は、認識率が認識率閾値より大きいか否かを判断する（ステップＳ２２１）。
認識率が認識率閾値以下の場合、特徴再分析部７６が、生成アルゴリズム８ａによる画像特徴を再分析する（ステップＳ２１８）。特徴再分析部７６は、生成アルゴリズム８ａに対して、サンプルデータ２３１の各入力画像２を入力し、各フィルタから特徴量を得る。各フィルタから得た特徴量を示す中間特徴情報２２３が記憶部１３０に格納される。
クラスタリング部７２は、各入力画像２のフィルタ毎の特徴量を含む中間特徴情報２３３を参照して、再度、入力画像２を分類する（ステップＳ２３１）。そして、学習データ選択部２１４は、上述したように、各クラスの代表サンプルを学習データ２３２として選択する。その後の処理は上述した通りであるので、その説明を省略する。このような再分析処理は、認識率が認識率閾値より大きくなるまで繰り返される。
認識率が認識率閾値より大きい場合、生成部２１０は、この画像処理アルゴリズムの生成処理を終了する。
次に、特徴分析部７１及び特徴再分析部７６によって得られる画像特徴量について図１８及び図１９で説明する。図１８は、振幅画像を示す図である。図１８に示す振幅画像７ａは、入力画像２に対して２次元フーリエ変換を行って得た画像である。
空間周波数情報は、周波数成分７ｂと、角度成分７ｃとを含む。振幅画像７ａの中心からの距離で領域を分割することによって、周波数成分７ｂを得る。周波数成分７ｂの特徴量は、分割領域の振幅平均で表される。また、振幅画像７ａの中心からの角度で領域を分割することによって、角度成分７ｃを得る。角度成分７ｃの特徴量は、分割領域の振幅平均で表される。
図１９（Ａ）、図１９（Ｂ）、及び図１９（Ｃ）は、特徴量の例を示す図である。図１９（Ａ）から図１９（Ｃ）では、２つの入力画像２の特徴量の比較例を示している。図１９（Ａ）は、輝度ヒストグラムを示している。入力画像２を１０分割した領域毎の平均輝度を示している。
図１９（Ｂ）は、角度成分を示している。振幅画像７ａを振幅画像７ａの中心からの角度で１０分割した領域毎の振幅平均を示す。図１９（Ｃ）は、周波数成分を示している。振幅画像７ａを振幅画像７ａの中心からの距離で１０分割した領域毎の振幅平均を示す。
輝度ヒストグラム、角度成分、周波数成分は、複数のパラメータの一部分である。特徴分析部７１及び特徴再分析部７６では、数十種類のパラーメタでサンプルデータ２３１の各入力画像２を分析する。
次に、学習過程におけるパラメータとクラスタリングの変化例を説明する。図２０（Ａ）及び図２０（Ｂ）は、第２実施例における初期の特徴情報及びクラスタリングの例を示す図である。図２０（Ａ）では、画像処理アルゴリズム８ａによる処理前の、１つの入力画像２の初期の特徴情報の例を示している。初期の特徴情報として、平均輝度、輝度ヒストグラム、角度成分、周波数成分等のパラメータ毎の値が記憶される。平均輝度は、入力画像２の全体の輝度の平均を示す。輝度ヒストグラム、角度成分、周波数成分は、分割領域毎の値を示す。サンプルデータ２３１内の各入力画像２に対して特徴情報が取得される。
図２０（Ｂ）では、クラスタリング部７２が、初期の特徴情報に基づいて行った主成分分析の結果例を示す。この結果例では、サンプルデータ２３１内の入力画像２は、８個のサンプル群Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５、Ｇ６、Ｇ７、及びＧ８に分類されたことを示している。サンプル群の個数は、８個に限定するものではなく、任意に設定可能である。
このようなクラスタリング結果を用いて、学習データ選択部７３は、各サンプル群Ｇ１〜Ｇ８の代表サンプルを学習データ２３２として選択する。サンプル群Ｇ１の場合、中心当たりに位置する原画像Ｇ１ｒが代表サンプルとなる。他サンプル群Ｇ２〜Ｇ８についても同様の方法で代表サンプルが選択される。
初期の学習データ２３２を用いて自動構成部７４により画像処理アルゴリズム８ａが更新され、フィルタ検証部７５によって画像処理アルゴリズム８ａが検証される（１回目学習）。ここでは、特徴再分析が必要であると判断されたとする。特徴再分析７６は、更新された画像処理アルゴリズム８ａでサンプルデータ２３１の原画像である各入力画像２の特徴量を取得する。
図２１は、第２実施例における１回目学習により更新された画像処理アルゴリズムの例を示す図である。図２１において、１回目学習により更新された画像処理アルゴリズム８ａはフィルタＦ１、Ｆ２、Ｆ３、及びＦ４を有する。各入力画像２に対して画像処理アルゴリズム８ａを適用して対応する出力画像３を得る。
フィルタＦ１による処理後に特徴量Ｂ１を取得し、フィルタＦ２による処理後に特徴量Ｂ２を取得する。また、フィルタＦ３による処理後に特徴量Ｂ３を取得し、フィルタＦ４による処理後に特徴量Ｂ４を取得する。特徴量Ｂ１からＢ４を示す中間特徴情報２３３が記憶部１３０に記憶される。
サンプルデータ２３１の全入力画像２に対して画像処理アルゴリズム８ａを適用し、各フィルタＦ１〜Ｆ４によって得られる特徴量Ｂ１〜Ｂ４を取得する。
１回目学習時の例について図２２（Ａ）及び図２２（Ｂ）で説明する。図２２（Ａ）及び図２２（Ｂ）は、第２実施例における１回目学習時の特徴情報及びクラスタリングの例を示す図である。
図２２（Ａ）では、入力画像２の特徴情報に加えて、図２１の画像処理アルゴリズム８ａによる中間特徴情報２３３の例が示されている。各フィルタＦ１〜Ｆ４の処理後の中間画像の特徴量Ｂ１、Ｂ２、Ｂ３及びＢ４が、中間特徴情報２３３として記憶される。特徴量Ｂ１〜Ｂ４は、中間画像の輝度である。
図２２（Ｂ）では、画像処理アルゴリズム８ａの出力成分、平均輝度、周波数成分による特徴空間で、クラスタリングを行った結果を示している。この例では、画像処理アルゴリズム８ａの出力成分として、中間特徴情報２３３を用いる。
図２２（Ｂ）において、下方のサンプル群Ｇ１は、一致度が著しく低いサンプル群であることを示している。即ち、図２１に示す画像処理アルゴリズム８ａが不得手とするサンプル群をクラスタリングすることができる。
上述したように、各サンプル群Ｇ１〜Ｇ８の代表サンプルを学習データ２３２とし、自動構成部７４により画像処理アルゴリズム８ａが更新され、フィルタ検証部７５によって画像処理アルゴリズム８ａが検証される（２回目学習）。更新された画像処理アルゴリズム８ａによって、認識率が認識閾値以上となり、目的の画像処理アルゴリズムを取得する。
図２３は、第２実施例における２回目学習により更新された画像処理アルゴリズムの例を示す図である。図２３において、２回目学習により更新された画像処理アルゴリズム８ａはフィルタＦ１、Ｆ２、Ｆ３、Ｆ４、及びＦ５を有する。画像処理アルゴリズム８ａが目的の画像処理アルゴリズムとなり、第２実施例における生成部２１０での生成処理は終了する。
しかしながら、ここでは、２回目学習により更新された画像処理アルゴリズム８ａによって特徴再分析を行ってみる。この画像処理アルゴリズム８ａにおいて、フィルタＦ１による処理後に特徴量Ｂ１を取得し、フィルタＦ２による処理後に特徴量Ｂ２を取得する。また、フィルタＦ３による処理後に特徴量Ｂ３を取得し、フィルタＦ４による処理後に特徴量Ｂ４を取得する。更に、フィルタＦ５による処理後に特徴量Ｂ５を取得する。特徴量Ｂ１からＢ５を示す中間特徴情報２３３が記憶部１３０に記憶される。
図２４（Ａ）及び図２４（Ｂ）は、第２実施例における目的の画像処理アルゴリズムの特徴情報及びクラスタリングの例を示す図である。
図２４（Ａ）では、入力画像２の特徴情報に加えて、図２３の画像処理アルゴリズム８ａによる中間特徴情報２３３の例が示されている。各フィルタＦ１〜Ｆ５の処理後の中間画像の特徴量Ｂ１、Ｂ２、Ｂ３、Ｂ４、及びＢ５が、中間特徴情報２３３として記憶される。特徴量Ｂ１〜Ｂ５は、中間画像の輝度である。
図２４（Ｂ）では、画像処理アルゴリズム８ａの出力成分、平均輝度、周波数成分による特徴空間で、クラスタリングを行った結果を示している。この例では、画像処理アルゴリズム８ａの出力成分として、中間特徴情報２３３を用いる。
図２４（Ｂ）において、サンプル群Ｇ１〜Ｇ５、Ｇ７、及びＧ８が略同様に特徴空間の上方に纏まっている。下方に突出しているサンプル群Ｇ６が存在するものの、サンプル群Ｇ６に分類される入力画像２は極僅かである。
上述より、第２実施例において生成した画像処理アルゴリズム８ａによって、サンプルデータ２３１内のどの入力画像２に対しても精度良く出力画像３を得ることができる。
図２５は、第２実施例における最大適応度を示す画像処理アルゴリズム８ａの認識率の推移を示す図である。図２５に示すグラフでは、比較として、第２実施例の適用のない関連技術による認識率の推移も示している。
第２実施例の適用のない関連技術とは、ユーザがサンプルデータ２３１から任意に学習データ２３２を選択し、ユーザによって選択された学習データ２３２を用いて遺伝的プログラミングを用いた学習過程によって、画像処理アルゴリズム８ａを生成する技術等である。
第２実施例では、サンプルデータ２３１をクラスタリングして各サンプル群Ｇ１〜Ｇ８の代表サンプルを学習データ２３２に含めるため、サンプルデータ２３１に含まれる複数の入力画像２の特徴を全体的に網羅して学習することができる。従って、汎用性の高い画像処理アルゴリズム８ａを生成でき、図１４に示す出力画像３ｅのような特徴の検出不可能な画像処理とならないようにできる。
第２実施例を適用した場合、初期段階から高い認識率を示すことが分かる。第２実施例により、学習の高速化が実現できる。
上述したように、第２実施例では、適用先の画像特徴をとらえた学習データ２３２の選択と逐次的に再学習を行うことで、目的とする性能の良い画像処理アルゴリズム８ａを効率的に探索でき、学習速度の高速化し、学習精度を向上させる。
本発明は、具体的に開示された第１及び第２実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
また、本願は２０１２年１２月２８日に出願した日本国特許出願２０１２−２８８４４０号に基づく優先権を主張するものであり同日本国出願の全内容を本願に参照により援用する。
１ ロバストな画像処理
１ａ 木構造処理
１ｂ 個体群
１ｄ 入替個体情報
２ 入力画像
２in 入力画像
３ 出力画像
３out 出力結果
４ 目的画像
５ｒ 初期個体生成ルール
８ａ 画像処理アルゴリズム
９ 個体（画像処理フィルタ群）
１１ ＣＰＵ
１２ 主記憶装置
１３ 補助記憶装置
１４ 入力装置
１５ 表示装置
１６ 出力装置
１７ 通信Ｉ／Ｆ
１８ ドライブ
１９ 記憶媒体
３１ フィルタテーブル
４１ 初期個体生成部
４２ 進化過程処理部
４２−１ 交叉処理部
４２−２ 突然変異処理部
４３ 個体適応計算部
４４ 生存選択部
４５ 個体入替部
７１ 特徴分析部
７２ クラスタリング部
７３ 学習データ選択部
７４ 自動構成部
７５ フィルタ検証部
７６ 特徴再分析部
１００、２００ 画像処理装置
１３０、２３０ 記憶部
２３１ サンプルデータ
２３２ 学習データ
２３３ 中間特徴情報
２３９ 出力結果
図１は、環境変化に対するロバストな画像処理を説明するための図である。 図２は、木構造状の画像処理アルゴリズムの一例を示す図である。 図３（Ａ）及び図３（Ｂ）は、第１実施例における特徴検出処理の概要を説明するための図である。 図４は、第１実施例における画像処理装置の機能構成例を示す図である。 図５は、第１実施例における画像処理装置のハードウェア構成を示す図である。 図６（Ａ）及び図６（Ｂ）は、第１実施例における初期個体の生成処理を説明するための図である。 図７は、第１実施例における初期個体の生成処理の一例を説明するためのフローチャート図である。 図８は、第１実施例におけるフィルタテーブルのデータ構成例を示す図である。 図９は、第１実施例における個体群情報によって表されるフィルタ構造例を示す図である。 図１０は、第１実施例における進化過程処理を説明するための図である。 図１１は、第１実施例における学習時の適応度の推移の比較を説明するための図である。 図１２は、第１実施例における木構造の深さに対する組合せ数の比較を説明するための図である。 図１３は、第２実施例における２つの個体間の適応度例を示す図である。 図１４は、目的画像を得られない場合の例を示す図である。 図１５は、第２実施例における画像処理装置の機能構成例を示す図である。 図１６は、第２実施例における画像処理装置のハードウェア構成を示す図である。 図１７は、第２実施例における画像処理アルゴリズムの生成処理について説明するためのフローチャート図である。 図１８は、振幅画像を示す図である。 図１９（Ａ）、図１９（Ｂ）、及び図１９（Ｃ）は、特徴量の例を示す図である。 図２０（Ａ）及び図２０（Ｂ）は、第２実施例における初期の特徴情報及びクラスタリングの例を示す図である。 図２１は、第２実施例における１回目学習により更新された画像処理アルゴリズムの例を示す図である。 図２２（Ａ）及び図２２（Ｂ）は、第２実施例における１回目学習時の特徴情報及びクラスタリングの例を示す図である。 図２３は、第２実施例における２回目学習により更新された画像処理アルゴリズムの例を示す図である。 図２４（Ａ）及び図２４（Ｂ）は、第２実施例における目的の画像処理アルゴリズムの特徴情報及びクラスタリングの例を示す図である。 図２５は、第２実施例における最大適応度を示す画像処理アルゴリズムの認識率の推移を示す図である。
図３（Ａ）及び図３（Ｂ）は、第１実施例における特徴検出処理の概要を説明するための図である。図３（Ａ）において、遺伝的プログラミングによる最適化では、木構造状の画像処理フィルタ群を個体９とし、複数の初期個体に対して交叉処理と突然変異処理とを行い、新たな個体群１ｂ'を生成する。個体群１ｂは、適応度の高い個体群１ｂ'（画像処理フィルタ群）と入れ替えられることで、個体群１ｂが更新される。即ち、最適な個体群１ｂ'が探索される。例えば、個体群１ｂから２つの個体９を交叉対象として選択する。２つの個体９夫々は、木構造状の画像処理フィルター群に相当する。また、各個体９において、１つの画像処理フィルタ（ノードに相当）を突然変異により、他の画像処理フィルターに置き換える。これらを繰り返すことで、個体群１ｂが最適化される。
上述したような第１実施例に係る処理を行う画像処理装置１００は、図５に示すようなハードウェア構成を有する。図５は、第１実施例における画像処理装置のハードウェア構成を示す図である。図５において、画像処理装置１００は、コンピュータによって制御される端末であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、補助記憶装置１３と、入力装置１４と、表示装置１５と、出力装置１６と、通信Ｉ／Ｆ（インタフェース）１７と、ドライブ１８とを有し、バスＢ１に接続される。
初期個体生成部４１は、親ノードの属性が２値画像処理でない場合（ステップＳ１３のＮＯ）、更に、深さカウンタによって示されるノードの深さが２０以下か否かを判断する（ステップＳ１７）。ノードの深さが２０以下である場合（ステップＳ１７のＹＥＳ）、初期個体生成部４１は、属性が画像強調処理であるフィルタ又は原画像からランダムに選択して、選択ノードに設定する（ステップＳ１８）。初期個体生成部４１は、選択したフィルタの識別情報を選択ノードに設定する。また、初期個体生成部４１は、選択ノードの出力と、親ノードの入力とを連結して、個体群情報１ｂ−２に記録する。その際、深さカウンタ値も選択ノードと対応付けて記憶しておく。そして、ステップＳ２０へと進む。
深さ２のフィルタBandは２入力を有するため、図７のステップＳ２３にて、連結されていない入力を持つフィルタBandが未決定ノードの有無判断で検出されると、個体群情報１ｂ−２において、フィルタBandに対応付けられている深さ２が深さカウンタに設定され、深さカウンタは深さ２からインクリメントされる。ステップＳ１１からＳ２２の処理が繰り返されることにより、深さ３で２値画像処理のフィルタBopC、深さ４で２値画像処理のフィルタBnot、そして深さ５で２値画像処理のフィルタBandが連結される。更に、深さ６で２値画像処理のフィルタBdil、深さ７で２値画像処理のフィルタBopC、深さ８で閾値処理のフィルタTcan7、深さ９で画像強調処理のフィルタFsoX7、深さ１０で２値画像処理のフィルタFlap3、そして原画像srcが連結される。
上述したように、図７のステップＳ２３にて未連結の入力を持つ深さ５のフィルタBandが検出される。従って、フィルタBandに対応付けられている深さ５が深さカウンタに設定され、深さカウンタは深さ５からインクリメントされる。深さ６で２値画像処理のフィルタBnc、深さ７で閾値処理のフィルタTcan7、深さ８で画像強調処理のフィルタFsoY3、深さ９で画像強調処理のフィルタFsub、深さ１０で画像強調処理のフィルタFsm9、そして原画像srcが連結される。
図１２は、第１実施例における木構造の深さに対する組合せ数の比較を説明するための図である。図１２より、関連技術に比べて第１実施例では、深さｎ＝４の段階で組合せ数は約１／１０００となり、その後も劇的に組合せ数が低いことがわかる。
出力画像３−１及び出力画像３−２の目的画像４への適応度を計算した結果、出力画像３−１は適応度「０．６」を示し、出力画像３−２は適応度「０．９」を示す。この例では、同じ入力画像２に対して、個体９ｂより個体９ａのフィルタ群によって画像処理を行った方が適応度が良いという結果である。従って、個体９ａの木構造状フィルタが採用される。
サンプルデータ２３１は、過去に撮影した複数の入力画像２と、検出したい目的画像３等とを含む。各入力画像２に対応する目的画像４が用意され、各入力画像２と対応する目的画像４とは関連付けられている。サンプルデータ２３１には、入力画像２ａ、２ｂ及び２ｃを含む。入力画像２ａ、２ｂ及び２ｃに対応する目的画像４は、目的画像４ａ、４ｂ、及び４ｃとする。
画像処理アルゴリズム８ａに対して撮影した画像２ａ'、２ｂ'及び２ｅを入力画像２inとして入力することで、出力結果３outを得る。出力結果３outでは、画像２ａ'に対して出力画像３ａ'、画像２ｂ'に対して出力画像３ｂ'、そして、画像２ｅに対して出力画像３ｅを得たことを示している。
画像２ｅは、学習データ２３２の目的画像４ａから４ｃのいずれにも類似していない。出力画像３ｅは、画像２ｅに対して画像処理アルゴリズム８ａによる画像処理を行った結果得た画像である。出力画像３ｅでは、特徴の抽出に失敗していることが分かる。
画像２ｅのように、学習データ２３２の目的画像４ａから４ｃのいずれにも類似していない画像が、画像処理アルゴリズム８ａによって画像処理された場合には、エラーとなる場合がある。
図１５は、第２実施例における画像処理装置の機能構成例を示す図である。図１５において、画像処理装置２００は、主に、生成部２１０と、検査部２５０とを有する。また、画像処理装置２００の記憶部２３０には、サンプルデータ２３１、学習データ２３２、入力画像２３２、入力画像２in、画像処理アルゴリズム８ａ、出力結果３out等のデータが記憶される。
生成部２１０は、汎用性の高い画像処理アルゴリズム８ａを生成する。生成部２１０は、更に、特徴分析部７１と、クラスタリング部７２と、学習データ選択部７３と、自動構成部７４と、フィルタ検証部７５と、特徴再分析部７６とを有する。
学習データ選択部７３は、クラスタリング部７２によって分類された各クラスから学習データを選択する。クラスタ毎に、入力画像２の特徴量の中心に近い入力画像２を代表サンプルとして選択すれば良い。代表サンプルとして選択された入力画像２を指定する学習データ２３２が記憶部２３０に格納される。学習データ２３２には、選択された入力画像２（代表サンプル）毎に分析した特徴量が記憶される。
目的の処理精度を満たした時に、画像処理アルゴリズム８ａの生成が終了する。画像処理アルゴリズム８ａは、検査部２５０によって利用できる状態となる。
検査部２５０は、撮像装置９ａによって撮像された入力画像２inに対して画像処理アルゴリズム８ａを用いて画像処理を行い、その出力結果３outから入力画像２inの特徴を抽出する。検査部２５０は、更に、画像入力部８１と、画像処理部８２と、特徴抽出部８３とを有する。
画像入力部８１は、撮像装置９ａが撮像した入力画像２inを画像処理装置２００内に取り込む。入力画像２inは記憶部２３０に記憶される。
上述したような第１実施例に係る処理を行う画像処理装置２００は、図１６に示すようなハードウェア構成を有する。図１６は、第２実施例における画像処理装置のハードウェア構成を示す図である。図１６において、画像処理装置２００は、コンピュータによって制御される端末であって、ＣＰＵ（Central Processing Unit）２１１と、主記憶装置２１２と、補助記憶装置２１３と、入力装置２１４と、表示装置２１５と、出力装置２１６と、通信Ｉ／Ｆ（インターフェース）２１７と、ドライブ２１８と、インターフェース９ｆを有し、バスＢ２に接続される。
入力装置２１４は、マウス、キーボード等を有し、ユーザが画像処理装置２００による処理に必要な各種情報を入力するために用いられる。表示装置２１５は、ＣＰＵ２１１の制御のもとに必要な各種情報を表示する。出力装置２１６は、プリンタ等を有し、ユーザからの指示に応じて各種情報を出力するために用いられる。通信Ｉ／Ｆ２１７は、例えばインターネット、ＬＡＮ（Local Area Network）等に接続し、外部装置との間の通信制御をするための装置である。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。
図１５における生成部２１０と検査部２５０とは、ＣＰＵ２１１が対応するプログラムを実行することによって行われる処理によって実現される。
図１７は、第２実施例における画像処理アルゴリズムの生成処理について説明するためのフローチャート図である。図１７にて、生成部２１０において、初期のフィルタ構造群が生成される（ステップＳ２１１）。初期のフィルタ構造群により画像処理アルゴリズム８ａが記憶部２３０に作成される。

適用度は、画像処理アルゴリズム８ａが更新される毎に算出され記憶部２３０の作業領域に記憶される。記憶部２３０に記憶した適用度のうちで最大適応度が適応度閾値より大きいか否かを判断する（ステップＳ２１７）。最大適応度が適応度閾値より大きいことが、ステップＳ２１４で選択した学習データ２３２を用いた場合、即ち、ステップＳ２１５〜Ｓ２１７の繰り返しによる学習の終了条件となる。
認識率が認識率閾値以下の場合、特徴再分析部７６が、生成した画像処理アルゴリズム８ａによる画像特徴を再分析する（ステップＳ２１８）。特徴再分析部７６は、生成した画像処理アルゴリズム８ａに対して、サンプルデータ２３１の各入力画像２を入力し、各フィルタから特徴量を得る。各フィルタから得た特徴量を示す中間特徴情報２２３が記憶部２３０に格納される。
クラスタリング部７２は、各入力画像２のフィルタ毎の特徴量を含む中間特徴情報２３３を参照して、再度、入力画像２を分類する（ステップＳ２１３）。そして、学習データ選択部７３は、上述したように、各クラスの代表サンプルを学習データ２３２として選択する。その後の処理は上述した通りであるので、その説明を省略する。このような再分析処理は、認識率が認識率閾値より大きくなるまで繰り返される。
認識率が認識率閾値より大きい場合、生成部２１０は、この画像処理アルゴリズム８ａの生成処理を終了する。
図１９（Ｂ）は、角度成分を示している。振幅画像７ａを振幅画像７ａの中心からの角度で１０分割した領域毎の振幅平均を示す。図１９（Ｃ）は、周波数成分を示している。振幅画像７ａを振幅画像７ａの中心からの距離で１０分割した領域毎の周波数平均を示す。
フィルタＦ１による処理後に特徴量Ｂ１を取得し、フィルタＦ２による処理後に特徴量Ｂ２を取得する。また、フィルタＦ３による処理後に特徴量Ｂ３を取得し、フィルタＦ４による処理後に特徴量Ｂ４を取得する。特徴量Ｂ１からＢ４を示す中間特徴情報２３３が記憶部２３０に記憶される。
しかしながら、ここでは、２回目学習により更新された画像処理アルゴリズム８ａによって特徴再分析を行ってみる。この画像処理アルゴリズム８ａにおいて、フィルタＦ１による処理後に特徴量Ｂ１を取得し、フィルタＦ２による処理後に特徴量Ｂ２を取得する。また、フィルタＦ３による処理後に特徴量Ｂ３を取得し、フィルタＦ４による処理後に特徴量Ｂ４を取得する。更に、フィルタＦ５による処理後に特徴量Ｂ５を取得する。特徴量Ｂ１からＢ５を示す中間特徴情報２３３が記憶部２３０に記憶される。
本実施例の一態様によれば、複数の画像フィルタを木構造に配列して、異なる環境の複数の入力画像に対して特徴を示す目的画像を得る画像処理装置であって、前記複数の画像フィルタに係る情報を管理するフィルタテーブルを記憶した記憶部と、画像強調処理、閾値処理、及び２値画像処理で階層化した階層毎に、該階層に割り当てられた深さ以下で、１以上の該画像フィルタを前記フィルタテーブルから選択することによって、前記木構造に、選択された前記画像フィルタを配列した個体群を生成する個体生成部とを有する。
また、本実施例の一態様によれば、撮像装置により撮像された画像に対し、複数のフィルタを木構造状に構成した処理プログラムを施す画像処理装置であって、
初期学習時に前記画像の特徴量に基づいてクラスタに分類するクラスタリング部と、
前記クラスタ毎に、前記特徴量の中心に近い代表サンプルを選択する選択部と、
各クラスタから選択した複数の前記代表サンプルを指定した学習データを用いて、遺伝的プログラミングを用いた学習により前記処理プログラムを生成する自動構成部と
を有する。

Claims (14)

  1. 複数の画像フィルタを木構造に配列して、異なる環境の複数の入力画像に対して特徴を示す目的画像を得る画像処理装置であって、
    前記複数の画像フィルタに係る情報を管理するフィルタテーブルを記憶した記憶部と、
    複数の画像処理により階層化された階層毎に、該階層毎に異なる種類の画像フィルタを前記フィルタテーブルから選択することによって、前記木構造に前記複数の画像フィルタを配列した個体群を生成する個体生成部と
    を有することを特徴とする画像処理装置。
  2. 前記個体生成部は、
    遺伝的プログラミングを用いて、前記木構造に前記複数の画像フィルタを配列した個体群を生成することを特徴とする請求項１記載の画像処理装置。
  3. 前記個体生成部は、
    前記目的画像をルートとして、前記複数の画像フィルタを木構造に配列し、所定階層において前記入力画像を終端ノードに選択することを特徴とする請求項２記載の画像処理装置。
  4. 前記個体群に対して、遺伝的プログラミングを用いた進化過程処理を行う進化過程処理部を更に有し、
    前記進化過程処理部は、交叉ペアの選択を前記階層毎に制限する交叉ペアの制限ルールを用いて、前記個体群に対して交叉処理を行うことを特徴とする請求項１項記載の画像処理装置。
  5. 前記進化過程処理部は、突然変異の種類を前記階層毎に制限する突然変異の制限ルールを用いて、前記個体群に対して突然変異処理を行うことを特徴とする請求項４記載の画像処理装置。
  6. コンピュータによって実行される、複数の画像フィルタを木構造に配列して、異なる環境の複数の入力画像に対して特徴を示す目的画像を得る特徴検出方法であって、
    記憶部に格納された、複数の画像処理により階層化された階層毎に、該階層毎に異なる種類の前記複数の画像フィルタに係る情報を管理するフィルタテーブルを参照し、
    前記階層毎に、前記画像フィルタを前記フィルタテーブルから選択し、
    前記木構造に前記複数の画像フィルタを配列した個体群を生成する
    ことを特徴とする特徴検出方法。
  7. コンピュータによって実行される、複数の画像フィルタを木構造に配列して、異なる環境の複数の入力画像に対して特徴を示す目的画像を得る特徴検出プログラムであって、
    記憶部に格納された、複数の画像処理により階層化された階層毎に、該階層毎に異なる前記複数の画像フィルタに係る情報を管理するフィルタテーブルを参照し、
    前記階層毎に、前記画像フィルタを前記フィルタテーブルから選択し、
    前記木構造に前記複数の画像フィルタを配列した個体群を生成する
    ことを特徴とする特徴検出プログラム。
  8. 撮像装置により撮像された画像に対し、複数のフィルタを木構造状に構成した処理プログラムを施す画像処理装置であって、
    初期学習時に前記画像の特徴量に基づいて学習データを選択する選択部と、
    遺伝的プログラミングを用いた学習により前記処理プログラムを生成する自動構成部と
    を有するを特徴とする画像処理装置。
  9. 前記画像の平均輝度、輝度ヒストグラム、空間周波数情報から前記特徴量を取得することを特徴とする請求項８記載の画像処理装置。
  10. 前記遺伝的プログラミングを用いた学習過程において、生成途中の木構造状の前記処理プログラムから特徴量を算出し、学習データを再選別することを特徴とする請求項８記載の画像処理装置。
  11. 木構造状の前記処理プログラムから、該処理プログラムの各フィルタから前記画像の平均輝度を特徴量として取得することを特徴とする請求項１０記載の画像処理装置。
  12. 前記学習データに対して前記特徴量によるクラスタリングを行い、分類されたサンプル群から代表サンプルを選択して、学習データを更新することを特徴とする請求項８記載の画像処理装置。
  13. 撮像装置により撮像された画像に対し、複数のフィルタを木構造状に構成した処理プログラムを施す画像処理方法であって、
    初期学習時に前記画像の特徴量に基づいて学習データを選択し、
    遺伝的プログラミングを用いた学習により前記木構造状の処理プログラムを生成する
    ことを特徴とする画像処理方法。
  14. 撮像装置により撮像された画像に対し、複数のフィルタを木構造状に構成した処理プログラムを施す画像処理プログラムであって、
    初期学習時に前記画像の特徴量に基づいて学習データを選択し、
    遺伝的プログラミングを用いた学習により前記木構造状の処理プログラムを生成する
    ことを特徴とする画像処理プログラム。
JP2014554520A 2012-12-28 2013-12-26 画像処理装置及び特徴検出方法 Active JP6102947B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012288440 2012-12-28
JP2012288440 2012-12-28
PCT/JP2013/084785 WO2014104151A1 (ja) 2012-12-28 2013-12-26 画像処理装置及び特徴検出方法

Publications (2)

Publication Number Publication Date
JPWO2014104151A1 true JPWO2014104151A1 (ja) 2017-01-12
JP6102947B2 JP6102947B2 (ja) 2017-03-29

Family

ID=51021227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014554520A Active JP6102947B2 (ja) 2012-12-28 2013-12-26 画像処理装置及び特徴検出方法

Country Status (3)

Country Link
US (1) US9710877B2 (ja)
JP (1) JP6102947B2 (ja)
WO (1) WO2014104151A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6375778B2 (ja) * 2014-08-26 2018-08-22 大日本印刷株式会社 画像処理方法および画像処理装置
EP3316184B1 (en) 2015-06-25 2020-03-11 Fujitsu Limited Program generating device, program generating method, and generating program
JP6631641B2 (ja) 2016-01-20 2020-01-15 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6703289B2 (ja) * 2016-10-26 2020-06-03 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
EP3660786A4 (en) * 2017-07-25 2020-08-05 FUJIFILM Corporation METHOD FOR GENERATING A DAMAGE DIAGRAM, DEVICE FOR GENERATING A DAMAGE DIAGRAM, SYSTEM FOR GENERATING A DAMAGE DIAGRAM AND RECORDING MEDIUM
JP6729810B2 (ja) * 2017-09-11 2020-07-22 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN112154463A (zh) * 2018-05-18 2020-12-29 富士通株式会社 信息处理装置、信息处理方法以及信息处理程序
CN108986017B (zh) * 2018-06-29 2023-06-20 北京微播视界科技有限公司 图像特效处理方法、装置和计算机可读存储介质
JP7439467B2 (ja) * 2019-06-11 2024-02-28 富士電機株式会社 情報処理装置、情報処理システム、モデルの学習方法
JP7314723B2 (ja) * 2019-08-31 2023-07-26 東洋製罐グループホールディングス株式会社 画像処理システム、及び画像処理プログラム
JP7468088B2 (ja) 2020-02-18 2024-04-16 東洋製罐グループホールディングス株式会社 画像処理システム、及び画像処理プログラム
JP7483405B2 (ja) 2020-02-25 2024-05-15 キヤノン株式会社 学習装置、電子機器、学習方法、電子機器の制御方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087055A (ja) * 2005-09-21 2007-04-05 Yokohama National Univ 進化計算システム及び進化計算方法
JP2009064162A (ja) * 2007-09-05 2009-03-26 Fuji Heavy Ind Ltd 画像認識システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5343554A (en) * 1988-05-20 1994-08-30 John R. Koza Non-linear genetic process for data encoding and for solving problems using automatically defined functions
US5140530A (en) * 1989-03-28 1992-08-18 Honeywell Inc. Genetic algorithm synthesis of neural networks
US5245696A (en) * 1990-11-21 1993-09-14 Ricoh Co. Ltd. Evolution and learning in neural networks: the number and distribution of learning trials affect the rate of evolution
JPH09330406A (ja) 1996-06-10 1997-12-22 Fuji Facom Corp 学習支援装置およびパターン認識装置
JP2873955B1 (ja) 1998-01-23 1999-03-24 東京工業大学長 画像処理方法および装置
GB9824829D0 (en) * 1998-11-12 1999-01-06 Marconi Comm Ltd An intelligent network service creation method and system
US6813615B1 (en) * 2000-09-06 2004-11-02 Cellomics, Inc. Method and system for interpreting and validating experimental data with automated reasoning
US6400849B1 (en) * 2000-10-20 2002-06-04 Shih-Jong J. Lee Image processing system with enhanced processing and memory management
JP2006048370A (ja) 2004-08-04 2006-02-16 Kagawa Univ パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置
US7142992B1 (en) * 2004-09-30 2006-11-28 Kla-Tencor Technologies Corp. Flexible hybrid defect classification for semiconductor manufacturing
EP1830320A4 (en) * 2004-12-24 2010-10-20 Nat Univ Corp Yokohama Nat Uni IMAGE PROCESSOR
JP4512578B2 (ja) * 2006-10-27 2010-07-28 株式会社ブリヂストン 分離フィルタ決定装置及びタイヤ検査装置
JP4548472B2 (ja) * 2007-10-18 2010-09-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5284863B2 (ja) * 2009-04-30 2013-09-11 独立行政法人理化学研究所 画像処理装置、画像処理方法およびプログラム
US10321840B2 (en) * 2009-08-14 2019-06-18 Brainscope Company, Inc. Development of fully-automated classifier builders for neurodiagnostic applications
US9250931B2 (en) * 2012-07-06 2016-02-02 Nvidia Corporation System, method, and computer program product for calculating settings for a device, utilizing one or more constraints
US9990712B2 (en) * 2015-04-08 2018-06-05 Algotec Systems Ltd. Organ detection and segmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087055A (ja) * 2005-09-21 2007-04-05 Yokohama National Univ 進化計算システム及び進化計算方法
JP2009064162A (ja) * 2007-09-05 2009-03-26 Fuji Heavy Ind Ltd 画像認識システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
白丸 淳: "遺伝的プログラミングを用いた画像認識アルゴリズムの自動生成", 電子情報通信学会技術研究報告, vol. 第101巻 第363号, JPN6014009913, 12 October 2001 (2001-10-12), JP, pages 21 - 28, ISSN: 0003340826 *
白川 真一: "Genetic Image Networkに基づく画像分類アルゴリズムの自動構築, [online]", 人工知能学会論文誌, vol. Vol. 25 (2010) No. 2, JPN6014009914, 26 January 2010 (2010-01-26), JP, pages 262 - 271, ISSN: 0003483753 *
青木 紳也: "木構造状画像変換の自動構築法ACTIT, [online]", 映像情報メディア学会誌, vol. 53, no. 6, JPN6014009915, 20 June 1999 (1999-06-20), JP, pages 888 - 894, ISSN: 0003483754 *

Also Published As

Publication number Publication date
US20150287160A1 (en) 2015-10-08
US9710877B2 (en) 2017-07-18
WO2014104151A1 (ja) 2014-07-03
JP6102947B2 (ja) 2017-03-29

Similar Documents

Publication Publication Date Title
JP6102947B2 (ja) 画像処理装置及び特徴検出方法
CN106909654B (zh) 一种基于新闻文本信息的多级分类系统及方法
AU2014344497B2 (en) Image object category recognition method and device
US9430743B2 (en) Composite defect classifier
JP5880454B2 (ja) 画像識別装置及びプログラム
JPWO2019026104A1 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
JP6641195B2 (ja) 最適化方法、最適化装置、プログラムおよび画像処理装置
WO2017068675A1 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
JP2017168057A (ja) 画像分類装置、画像分類システム及び画像分類方法
EP3822872A1 (en) Information processing device, information processing method, and information processing program
US9582869B2 (en) Dynamic binning for diversification and defect discovery
KR20170109304A (ko) 객체 인식을 위한 캐스케이드 분류기의 병렬 학습 방법
CN107273910A (zh) 过滤器学习方法及利用过滤器检测测试图像中的对象的方法、学习装置及对象识别支持装置
CN108280236A (zh) 一种基于LargeVis的随机森林可视化数据分析方法
CN115952426B (zh) 基于随机采样的分布式噪音数据聚类方法及用户分类方法
CN112101572A (zh) 模型优化方法、装置、设备和介质
KR20210067606A (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
CN113963410A (zh) 一种基于改进遗传算法的人脸识别优化方法
US20210042550A1 (en) Information processing device, information processing method, and computer-readable recording medium recording information processing program
JP6177649B2 (ja) データ処理装置、測長システム、欠陥検査システム、画像トラッキングシステム、及びデータ処理方法
CN113297289A (zh) 从数据库提取业务数据的方法、装置和电子设备
JP7404817B2 (ja) 学習装置、検出装置、学習方法、及び学習プログラム
CN112085164A (zh) 一种基于无锚框网络的区域推荐网络提取方法
JP2004192555A (ja) 情報管理方法、情報管理装置及び情報管理プログラム
CN112199285B (zh) 一种测试案例优选方法、装置及电子设备

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R150 Certificate of patent or registration of utility model

Ref document number: 6102947

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150