JPH11282822A - 画像処理プログラム合成方法及びその装置並びに最適解探索方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、環境変動の影響を受けずに信頼性の
高い画像処理プログラムの合成を行う。 【解決手段】予め複数グループに分類された複数の画像
処理部品２を概略手順５に従って選択して合成し、この
合成されたプログラムの性能を教示用の複数の画像６を
用いて評価する場合、教示用の画像６に対して画像変換
を行い、この画像変換して得られた新たな画像を教示用
の画像として追加画像データベース２１に追加する画像
追加作成手段２０を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、所望のプログラム
の概略手順に従って予め分類された複数グループの中か
らそれぞれ各画像処理プログラムを選択し合成して例え
ば外観検査用の画像処理プログラムを作成する画像処理
プログラム合成方法及びその装置、並びにこれら方法及
び装置に適用して最適な各画像処理プログラムを組み合
わせを得る最適解探索方法及びその装置に関する。

【０００２】

【従来の技術】図１８は画像処理プログラム合成方法の
概要を示す模式図である。画像処理プログラム合成装置
１には、画像処理として意味をもつ最小単位すなわち画
像処理プログラムを画像処理部品２として登録されてい
る。この画像処理部品２には、例えば２値化の閾値など
のパラメータ３が設定されるものとなっている。

【０００３】又、これら画像処理部品２のうち処理の目
的が同じで手法の異なる各画像処理部品が各グループに
分類され、これらが概略処理４として登録されている。
この画像処理プログラム合成装置１には、ユーザによっ
て検査対象に応じて各概略処理４を複数接続し、検査プ
ログラムの大まかな流れである概略手順５が指示され
る。例えば、各概略処理４−１，４−２，…の流れであ
り、このうち概略処理４−１は位置合わせ、概略処理４
−２は２値化、概略処理４−３はマスク処理、概略処理
４−４は膨張処理などである。

【０００４】又、画像処理プログラム合成装置１には、
予め良、不良の分かっている教示用の複数の画像６が登
録し指示される。このような画像処理プログラム合成装
置１は、各画像処理部品２及びそのパラメータの膨大な
組み合わせの中から検査対象にできるだけ適した画像処
理部品２を各概略処理４−１，４−２，…からそれぞれ
選択し、これら選択した画像処理部品２−１，２−２，
…を合成する。

【０００５】図１９はかかる画像処理プログラム合成装
置１を具体化した機能ブロック図である。プログラム用
データベース１０には、画像処理として意味をもつ最小
単位すなわち複数の画像処理プログラムが画像処理部品
２として格納されている。これら画像処理部品２は、プ
ログラム言語の立場で見ると関数（例えばＣ言語など）
やサブルーチン（例えばFortran など）と呼ばれるもの
である。

【０００６】部品記憶手段１１は、関数やサブルーチン
と呼ばれるものとして管理し、かつ処理の目的が同じで
手法の異なる複数の画像処理部品２を概略処理４で呼ぶ
分類でグループ分けする機能を有している。さらに、部
品記憶手段１１は、後述する画像処理プログラム合成手
段１２において各画像処理部品２を接続してプログラム
にするための情報を管理する機能を有している。

【０００７】一方、画像データベース１３には、予め
良、不良の分かっている教示用の複数の画像６が格納さ
れている。画像記憶手段１４は、画像データベース１３
に格納されている教示用の各画像６をその良、不良の情
報とともに記憶、管理する機能を有している。

【０００８】概略手順指定手段１５は、ユーザによって
例えばキーボードやマウスなどの入力手段１６から入力
された検査対象に応じた各概略処理４を組み合わせ、検
査プログラムの大まかな指針である概略手順５を部品選
択手段１７に指示する機能を有している。

【０００９】アルゴリズム評価手段１８は、部品選択手
段１７により選択され、画像処理プログラム合成手段１
２により合成されたプログラムの優劣を評価する機能を
有するもので、合成したプログラムに指定した複数の画
像６を処理させ、その評価値を算出する機能を有してい
る。この評価基準の一例としては、教示用データの良、
不良と合成したプログラムの判定した良、不良の一致率
である。

【００１０】上記画像処理プログラム合成手段１２は、
部品選択手段１７で選択された各画像処理部品２を接続
して実行可能なプログラムにする機能を有している。上
記部品選択手段１７は、概略手順指定手段１５で指定さ
れた概略手順５の範囲内で初めは暫定的な画像処理部品
２を選択し、それを画像処理プログラム合成手段１２で
合成し、この合成したプログラムをアルゴリズム評価手
段１８で評価した結果を、次回の画像処理部品２の選択
に反映させることによって徐々にプログラムを検査対象
に適した画像処理プログラムに改良する機能を有してい
る。

【００１１】結果出力手段１９は、最終的に作成された
検査対象に適した画像処理プログラムを出力する機能を
有している。このような構成であれば、概略手順指定手
段１５は、ユーザによって入力手段１６から入力された
検査対象に応じた各概略処理４を組み合わせ、検査プロ
グラムの大まかな指針である概略手順５を部品選択手段
１７に指示する。

【００１２】この部品選択手段１７は、概略手順指定手
段１５で指定された概略手順５の範囲内で初めは暫定的
な画像処理部品２を選択し、それを画像処理プログラム
合成手段１２に渡す。

【００１３】この画像処理プログラム合成手段１２は、
部品選択手段１７で選択された各画像処理部品２を接続
して実行可能なプログラムにする。アルゴリズム評価手
段１８は、画像処理プログラム合成手段１２により合成
されたプログラムの優劣を画像データベース１３から供
給される教示用の画像６を用いて評価し、その評価値を
算出する。

【００１４】そして、部品選択手段１７は、アルゴリズ
ム評価手段１８で評価した結果を、次回の画像処理部品
２の選択に反映させることによって徐々にプログラムを
検査対象に適した画像処理プログラムに改良する。

【００１５】しかしながら、工場などで収集した限られ
た枚数のサンプル画像を教示データとし、これら教示デ
ータを正確に良、不良に判別する画像処理検査プログラ
ムを上記装置を用いて自動合成しても、実際の工場のラ
インの実機に移し変えた場合、現場の様々な環境変動に
よって検査性能が悪くなることがある。例えば、昼、夜
の微妙な明るさの変動、カメラ照明系の設定やそれらの
経時的な特性変化、複数の実機ごとの特性の差（機差）
などにより入力画像に微妙な変化が起きるためである。
教師用として与えられたサンプルに対しては優秀である
が、現場において少し変動した画像に対しては特性が著
しく落ちることがある。

【００１６】一方、上記装置における部品選択手段１７
には、遺伝的アルゴリズムの手法が用いられている。図
２０はかかる遺伝的アルゴリズムの流れ図である。先
ず、ステップ＃１において、複数の固体からなる初期集
団の発生を行う。１つの固体は、計算機内ではビット列
で表現され、はじめに乱数で０、１の並びを決めた複数
の固体を発生させる。この場合、上記装置の画像処理プ
ログラム合成手段１２により各画像処理部品を合成して
得られたプログラムを個体として表すとともに、画像処
理部品２をビットとして表す。図２１には各固体「１」
〜「Ｎ」から成る初期集団が示されている。

【００１７】次に、ステップ＃２に移って突然変異・交
叉の処理を行う。突然変異は乱数で選んだ固体中の乱数
で選んだビットを反転する処理であり、交叉は固体群の
中から乱数で選んだ２つの固体に対して、乱数で選んだ
位置のビット列を交換する処理である。これら突然変異
・交叉の発生する割合は、係数で設定する。

【００１８】次に、ステップ＃３に移って各固体の適応
度を計算する。この適応度は、それぞれの固体がどの程
度良いかを表す指標であり、適応する問題に応じて定義
を行う。

【００１９】ここで、適応する問題が検査対象に適した
画像処理プログラムを探索するものであれば、上記部品
選択手段１７での遺伝的アルゴリズムにおける遺伝子の
ビット列と実際の画像処理の対応付けは、例えば図２２
に示す通りとなる。概略処理５内の関数の候補とパラメ
ータの候補に関して、その数を表現できる２進数のビッ
トを割り振る。逆に１、０のビット列の並びが定まると
膨大な画像処理アルゴリズムの組み合わせの中から１つ
の画像処理アルゴリズムが定まることになる。

【００２０】又、適応度の計算では、ビット列に対応し
た画像処理アルゴリズムに良否の分かっている画像６を
処理させて良否を判定させ、その良否一致率である次式
の値を適応度とする。

【００２１】 適応度＝（正しい判定をした枚数）／（全サンプル数） …(1) 次に、ステップ＃４に移って選択、淘汰の処理を行って
世代交代を行う。例えば、適応度の高い固体を残し、適
応度の低い固体を省く。図２３は適応度に応じた次世代
への生存確率を示す。

【００２２】しかしながら、このような遺伝的アルゴリ
ズムの手法では、非常に探索時間が長くなるという問題
がある。この計算時間の概算としては、 探索時間＝（適応度の計算時間）×（個体数）×（世代数） …(2) で予測できる。上記装置において 適応度の計算時間＝（画像処理時間）×（画像枚数） …(3) であり、問題設定、使用する計算機によっても変化する
が、計算時間に関係するパラメータとして一例として、
一枚の画像を画像処理アルゴリズムが実行する時間を
０．５［ｓ］、個体数を５０、画像枚数を１００
［枚］、世帯数を１００とした場合には、 探索時間＝０．５×１００×５０×１００ ＝２５００００［ｓ］ ＝２．９［日］ …(4) となる。このように適応度の計算に時間の掛かる問題に
対しては探索時間が非常にかかる。

【００２３】

【発明が解決しようとする課題】以上のような画像処理
プログラム合成装置１であれば、画像処理検査プログラ
ムを自動合成しても、実際の工場のラインの実機に移し
変えた場合、例えば昼、夜の微妙な明るさの変動などの
現場の様々な環境変動によって検査性能が悪くなること
がある。

【００２４】又、上記装置の部品選択手段１７に用いる
遺伝的アルゴリズムの手法では、非常に探索時間が長く
なるという問題がある。そこで本発明は、環境変動の影
響を受けずに信頼性の高い画像処理プログラムの合成が
できる画像処理プログラム合成方法及びその装置を提供
することを目的とする。又、本発明は、探索時間を短縮
して効率良く最適な解を求めることができる最適解探索
方法及びその装置を提供することを目的とする。

【００２５】

【課題を解決するための手段】請求項１によれば、予め
複数グループに分類された複数の画像処理プログラム
を、これらグループからそれぞれ所望のプログラムの概
略手順に従って選択して合成し、この合成されたプログ
ラムの性能を教示用の複数の画像を用いて評価する画像
処理プログラム合成方法において、教示用の画像に対し
て画像変換を行い、この画像変換により得られた新たな
画像を教示用の画像として追加する画像処理プログラム
合成方法である。

【００２６】請求項２によれば、請求項１記載の画像処
理プログラム合成方法において、教示用の画像に対して
少なくとも明度の変更、コントラストの変更、幾何変
更、又は平滑化処理のうちいずれか１つ又はこれらを組
み合わせて画像変換を行う。ここで、幾何変更とは、例
えば平行移動、回転、拡大、縮小が含まれる。

【００２７】請求項３によれば、複数の画像処理プログ
ラムを予め複数グループに分類してプログラム用データ
ベースに記憶し、所望のプログラムの概略手順に従って
プログラム用データベースに記憶されている各グループ
からそれぞれ画像処理プログラムを選択して合成し、こ
の合成されたプログラムの性能を画像データベースに記
憶された教示用の複数の画像を用いて評価する画像処理
プログラム合成装置において、教示用の画像に対して画
像変換を行い、この画像変換して得られた新たな画像を
教示用の画像として画像データベースに追加する画像追
加手段を備えた。

【００２８】請求項４によれば、請求項３記載の画像処
理プログラム合成装置において、画像追加手段は、画像
データベースに記憶されている教示用の画像に対して少
なくとも明度の変更、コントラストの変更、幾何変更、
又は平滑化処理のうちいずれか１つ又はこれらを組み合
わせた画像変換を行う機能を有する。ここで、幾何変更
とは、例えば平行移動、回転、拡大、縮小が含まれる。

【００２９】請求項５によれば、任意のビット列で表現
する複数の固体から成る初期集団を発生し、この初期集
団における固体の各ビットに対して突然変異や交叉の処
理を行い、この後に各固体の優劣を示す適応度を求め、
この適応度の高い固体ほど次の世代に引き継がせること
を繰り返す最適解探索方法において、次の世代に引き継
がれなく淘汰された固体のビットをチェックしてその頻
度分布を求め、この頻度分布から予め設定された閾値よ
りも大きい頻度のビットを認識する淘汰頻度ステップ
と、突然変異や交叉の処理の後に、淘汰頻度ステップに
より認識された閾値よりも大きい頻度のビットを強制的
に省く訂正ステップとを有する最適解探索方法である。

【００３０】請求項６によれば、請求項５記載の最適解
探索方法において、淘汰頻度ステップは、固体のビット
列を遺伝子列としてチェックしてビット別に値の度数を
積算し、この積算された度数を淘汰された個体数で除算
して頻度分布を求め、この頻度分布から予め設定された
閾値よりも大きい頻度のビットに対してその位置を示す
不良遺伝子フラグを立てる。

【００３１】請求項７によれば、請求項５記載の最適解
探索方法において、訂正ステップは、突然変異や交叉の
処理の後の固体を淘汰頻度ステップで作成された不良遺
伝子フラグと照らし合わせ、この不良遺伝子フラグの立
っている固体におけるビット値を反転させる。

【００３２】請求項８によれば、任意のビット列で表現
する複数の固体から成る初期集団を発生し、この初期集
団における固体の各ビットに対して突然変異や交叉の処
理を行い、この後に各固体の優劣を示す適応度を求め、
この適応度の高い固体ほど次の世代に引き継がせること
を繰り返す最適解探索装置において、次の世代に引き継
がれなく淘汰された固体のビットをチェックしてその頻
度分布を求め、この頻度分布から予め設定された閾値よ
りも大きい頻度のビットを認識する淘汰頻度手段と、突
然変異や交叉の処理の後に、淘汰頻度手段により認識さ
れた閾値よりも大きい頻度のビットを強制的に省く訂正
手段と、を備えた最適解探索装置である。

【００３３】請求項９によれば、請求項８記載の最適解
探索装置において、淘汰頻度手段は、固体のビット列を
遺伝子列としてチェックしてビット別に値の度数を積算
し、この積算された度数を淘汰された個体数で除算して
頻度分布を求め、この頻度分布から予め設定された閾値
よりも大きい頻度のビットに対してその位置を示す不良
遺伝子フラグを立てる。

【００３４】請求項１０によれば、請求項８記載の最適
解探索装置において、訂正手段は、突然変異や交叉の処
理の後の固体を淘汰頻度ステップで作成された不良遺伝
子フラグと照らし合わせ、この不良遺伝子フラグの立っ
ている固体におけるビット値を反転させる。

【００３５】請求項１１によれば、予め複数グループに
分類された複数の画像処理プログラムを、これらグルー
プからそれぞれ所望のプログラムの概略手順に従って選
択して合成し、この合成されたプログラムの性能を教示
用の複数の画像を用いて評価する画像処理プログラム合
成方法において、合成されたプログラムを個体として表
するとともに画像処理プログラムをビットとして表して
固体の各ビットに対して突然変異や交叉の処理を行う突
然変異・交叉ステップと、この突然変異・交叉ステップ
の後に各固体の優劣を示す適応度を求める適応度計算ス
テップと、この適応度計算ステップの後に適応度の高い
固体ほど次の世代に引き継がせる世代交代ステップと、
この世代交代ステップの後に次の世代に引き継がれなく
淘汰された固体のビットをチェックしてその頻度分布を
求め、この頻度分布から予め設定された閾値よりも大き
い頻度のビットを認識する淘汰頻度ステップと、突然変
異・交叉ステップの後に、淘汰頻度ステップにより認識
された閾値よりも大きい頻度のビットを強制的に省く訂
正ステップと、を繰り返す画像処理プログラム合成方法
である。

【００３６】請求項１２によれば、請求項１１記載の画
像処理プログラム合成方法において、教示用の画像に対
して画像変換を行い、この画像変換により得られた新た
な画像を教示用の画像として追加するステップを有す
る。

【００３７】

【発明の実施の形態】(1) 以下、本発明の第１の実施の
形態について図面を参照して説明する。なお、図１９と
同一部分には同一符号を付してその詳しい説明は省略す
る。図１は画像処理プログラム合成装置の構成図であ
る。

【００３８】画像追加作成手段２０は、教示用の画像６
に対して画像変換を行い、この画像変換して得られた新
たな画像を教示用の画像として画像データベース２１に
追加する機能を有している。

【００３９】具体的に画像追加作成手段２０は、図２に
示すように明度変更手段２２、コントラスト変更手段２
３、幾何学変更手段２４、平滑化手段２５及びパラメー
タ設定手段２６の各機能を備えている。

【００４０】明度変更手段２２は、図３に示すように原
画像すなわち図１８に示す教示用の画像６の各画素に対
してパラメータoffsetを加えたものを新しい画像濃度と
する処理を行い、この画像を新たな教示用の画像とする
機能を有している。図３においてＮは画像データの階調
数である。パラメータoffset＝０、破線の時は教示用の
画像６と同じ画像となる。

【００４１】コントラスト変更手段２３は、図４に示す
ように教示用の画像６の各画素に対してコントラストの
変換を行い、この画像を新たな教示用の画像とする機能
を有している。図４においてＮは画像データの階調数で
ある。パラメータoffset＝０、破線の時は教示用の画像
６と同じ画像となる。

【００４２】幾何学変更手段２４は、次式(5) により平
行移動、回転、拡大、縮小を行い、この画像を新たな教
示用の画像とする機能を有している。新たな画像の座標
は（ｘ’，ｙ’）、原画像である教示用の画像６の座標
は（ｘ，ｙ）である。ａ，ｂ，ｃ，θはパラメータで、
ａは拡大率、ｂはｘ軸平行移動、ｃはｙ軸平行移動、θ
は回転角度である。

【００４３】

【数１】

【００４４】平滑化手段２５は、図５に示すようにｎ×
ｎの空間フィルタを用いて教示用の画像６を畳み込み演
算し、その新たな教示用の画像を作成する機能を有して
いる。ｎはパラメータとなる。

【００４５】パラメータ設定手段２６は、以上の明度変
更手段２２、コントラスト変更手段２３、幾何学変更手
段２４及び平滑化手段２５のパラメータや追加作成する
画像の枚数を設定する機能を有している。図６はかかる
パラメータ設定のインタフェース列を示しており、明度
変更手段２２、コントラスト変更手段２３、幾何学変更
手段２４及び平滑化手段２５の各下限、各上限や追加作
成する画像枚数を設定するようになっている。この作成
は、下限と上限の範囲内を乱数で発生し、指定画像枚数
を作成する。

【００４６】次に上記の如く構成された装置の作用につ
いて説明する。画像追加作成手段２０は、画像データベ
ース１３に格納されている教示用の画像６を読み出し、
この画像６に対して画像変換を行い、この画像変換して
得られた新たな画像を教示用の画像として追加画像デー
タベース２１に追加する。

【００４７】具体的に明度変更手段２２は、図３に示す
ように図１８に示す教示用の画像６の各画素に対してパ
ラメータoffsetを加えたものを新しい画像濃度とする処
理を行い、この画像を新たな教示用の画像とする。この
新たな教示用の画像は、例えば現場の照明変動に対応す
る画像の明度が変化したものである。

【００４８】コントラスト変更手段２３は、図４に示す
ように教示用の画像６の各画素に対してコントラストの
変換を行い、この画像を新たな教示用の画像とする。こ
の新たな教示用の画像は、例えばカメラの撮像素子、画
像入力ボードなどの特性変動に対応する画像のコントラ
ストが変動したものである。

【００４９】幾何学変更手段２４は、教示用の画像６に
対して平行移動、回転、拡大、縮小を行い、この画像を
新たな教示用の画像とする。この新たな教示用の画像
は、例えばカメラの撮像素子と検査対象の相対的な位
置、回転、距離の変動に対応するものである。

【００５０】平滑化手段２５は、図５に示すようにｎ×
ｎの空間フィルタを用いて教示用の画像６を畳み込み演
算し、その新たな教示用の画像を作成する。この新たな
教示用の画像は、例えば光学系の変動例えばピントの変
動に対応するものである。

【００５１】パラメータ設定手段２６は、以上の明度変
更手段２２、コントラスト変更手段２３、幾何学変更手
段２４及び平滑化手段２５のパラメータや追加作成する
画像の枚数を設定する。

【００５２】そして、画像データベース１３に格納され
ている教示用の画像６及び追加画像データベース２１に
格納されている新たな教示用の画像は、共にアルゴリズ
ム評価手段１８に渡される。

【００５３】一方、概略手順指定手段１５は、ユーザに
よって入力手段１６から入力された検査対象に応じた各
概略処理４を組み合わせ、検査プログラムの大まかな指
針である概略手順５を部品選択手段１７に指示する。

【００５４】この部品選択手段１７は、概略手順指定手
段１５で指定された概略手順５の範囲内で初めは暫定的
な画像処理部品２を選択し、それを画像処理プログラム
合成手段１２に渡す。

【００５５】この画像処理プログラム合成手段１２は、
部品選択手段１７で選択された各画像処理部品２を接続
して実行可能なプログラムにする。アルゴリズム評価手
段１８は、画像処理プログラム合成手段１２により合成
されたプログラムの優劣を教示用の画像６及び新たな教
示用の画像を用いて評価し、その評価値を算出する。

【００５６】そして、部品選択手段１７は、遺伝的アル
ゴリズムを用い、アルゴリズム評価手段１８で評価した
結果を、次回の画像処理部品２の選択に反映させること
によって徐々にプログラムを検査対象に適した画像処理
プログラムに改良する。

【００５７】次に、半導体の黒い点欠陥を検査する画像
処理アルゴリズムに適用した例について説明する。図７
は概略手順指定手段１５により指定した概略手順５を示
す。この概略手順５は、概略処理４として先ず位置合わ
せ４−１０で位置合わせを行い、次の２値化処理４−１
１で欠陥部分を抽出し、マスク処理４−１２で半導体の
形が２値化処理に掛かっている部分を除去し、膨張収縮
処理４−１３でノイズを除去し、最後の特徴量計算４−
１４で最終的に残った免責を特徴量としてその値が一定
値を超えるかどうかで良品か不良品かを判定するという
大まかな流れである。

【００５８】これら概略処理４−１０〜４−１４には、
候補となるか具体的な画像処理部品２（手法別に関数の
形で登録してある）が割り付けられている。又、各画像
処理部品２は、複数のパラメータを持っている。

【００５９】例えば、図７に示すように位置合わせ４−
１０は、関数としてマッチング１，２及びスルーの３つ
の違う手法の画像処理部品２からなっている。このうち
マッチング１は、正規化相関法によるマッチングでテン
プレートＡを使用するもので、引数パラメータとして精
サーチと粗サーチとの２通りのサーチ方法を持ってい
る。

【００６０】マッチング２は、正規化相関法によるマッ
チングでテンプレートＢを使用するもので、引数パラメ
ータとして精サーチと粗サーチとの２通りのサーチ方法
を持っている。

【００６１】スルーは、入力画像をそのまま出力するも
ので、引数パラメータを持っていない。２値化処理４−
１１は、関数として濃度平均２値化、限定平均２値化及
びＰタイル法２値化の３つの違う手法の画像処理部品２
からなっている。このうち濃度平均２値化は、画像を領
域分割し、各領域の平均濃度×係数Ｃで２値化するもの
で、引数パラメータとして例えば図８に示す６通りの画
像の領域分割モードと２４通りの係数Ｃを持っている。

【００６２】限定平均２値化は、画像を領域分割し、各
領域の平均濃度×係数Ｃで２値化するもので、但し、平
均濃度算出時に図９に示すようにＡ％の濃度範囲に限定
して濃度平均を算出する。引数パラメータとしては、例
えば上記図８に示す６通りの画像の領域分割モードと２
４通りの係数Ｃ、２０通りの限定濃度Ａ％を持ってい
る。

【００６３】Ｐタイル法２値化は、ＳＰＩＤＥＲのＰタ
イル法（thds1 ）を使用して２値化するもので、引数パ
ラメータとして例えば１２００通りのパーセント値を持
っている。

【００６４】膨張収縮処理４−１３は、関数としてラン
レングス孤立点除去、膨張収縮１及び２の３つの違う手
法の画像処理部品２からなっている。このうちランレン
グス孤立点除去は、ｘ，ｙ方向にそれぞれ画素を走査
し、Ｃ画素以上連続していなければ、それらの画素を孤
立点と見做し除去するもので、引数パラメータとして繰
り返し数４通りを持っている。

【００６５】膨張収縮１は、膨張収縮処理するもので、
引数パラメータとして２通りの連結数、２通りの膨張又
は収縮、２通りの繰り返し数を持っている。膨張収縮１
は、膨張と収縮との組み合わせであり、引数パラメータ
として２通りの連結数、６通りのモード、２通りの繰り
返し数を持っている。このうちモードは、収縮−膨張、
収縮−膨張−収縮、収縮−膨張−膨張、膨張−収縮、膨
張−収縮−膨張、膨張−収縮−収縮の６通りである。

【００６６】一方、画像記憶手段１４により登録した教
示用の画像６及び画像追加作成手段２１により新たに作
成した教示用の画像の内容は、教示用の画像６のうち良
品枚数が４６枚、不良品枚数が５０枚であり、新たな教
示用の画像のうち良品枚数が１９枚、不良品枚数が２１
枚となっている。又、合成された画像処理プログラムの
性能を検証するために別サンプル画像も用意してあり、
例えばこのアルゴリズム検証用として良品枚数が２６
枚、不良品枚数が１９枚用意されている。

【００６７】しかるに、部品選択手段１７は、遺伝的ア
ルゴリズムを用い、上記の如く概略手順指定手段１５で
指定された概略手順５の範囲内で初めは暫定的な画像処
理部品２を選択し、それを画像処理プログラム合成手段
１２で合成し、この合成したプログラムをアルゴリズム
評価手段１８で評価した結果を、次回の画像処理部品２
の選択に反映させることによって徐々にプログラムを検
査対象に適した画像処理プログラムに改良する。

【００６８】この部品選択手段１７は、その探索過程で
図１０に示すような評価値（良否一致率）の変化を求め
る。いずれも教示用の画像６及び新たな教示用の画像に
対して１００％の良否一致を行える画像処理プログラム
が合成されている。

【００６９】図１１は得られた画像処理プログラムの概
要と検証用画像を用いて良否一致率を調べた結果を示
す。検証用画像に対して、原画像である教示用の画像６
だけで合成した画像処理プログラムの良否一致率は９
３．３％であったが、この教示用の画像６に新たな教示
用の画像を追加して合成した画像処理プログラムの良否
一致率は１００％を得ることができた。

【００７０】このように上記第１の実施の形態において
は、予め複数グループに分類された複数の画像処理部品
２を概略手順５に従って選択して合成し、この合成され
たプログラムの性能を教示用の複数の画像６を用いて評
価する場合、教示用の画像６に対して画像変換を行い、
この画像変換して得られた新たな画像を教示用の画像と
して追加画像データベース２１に追加する画像追加作成
手段２０を備えたので、限られたサンプル画像から信頼
性の高い画像処理プログラムを合成できる。実際におけ
る照明変動、撮像素子や画像取り込みボードの特性変
動、同機種の装置間の誤差、カメラ撮像素子と検査対象
間の相対的な位置変動などの環境変動に影響されにくい
画像処理プログラムを自動的に合成できる。 (2) 以下、本発明の第２の実施の形態について図面を参
照して説明する。なお、図１と同一部分には同一符号を
付してその詳しい説明は省略する。

【００７１】この第２の実施の形態は、上記図１に示す
画像処理プログラム合成装置における部品選択手段１７
の遺伝的プログラムを具体的に説明するものである。図
１２は部品選択手段１７の具体的な機能ブロック図であ
り、図１３はその遺伝的プログラムの流れ図である。こ
の場合、上記同様に、画像処理プログラム合成手段１２
により各画像処理部品を合成して得られた画像処理プロ
グラムを個体として表すとともに、画像処理部品２をビ
ットとして表す。

【００７２】部品選択手段１７には、淘汰頻度手段３０
及び訂正手段３１の各機能が備えられている。このうち
淘汰頻度手段３０は、次の世代に引き継がれなく淘汰さ
れた固体（画像処理プログラム）のビット（画像処理部
品２）をチェックしてその頻度分布を求め、この頻度分
布から予め設定された閾値よりも大きい頻度のビットを
認識する機能を有している。

【００７３】訂正手段３１は、突然変異や交叉の処理の
後に、淘汰頻度手段３０により認識された閾値よりも大
きい頻度のビットを強制的に省く機能を有している。次
に上記の如く構成された画像処理プログラム合成装置に
おける部品選択手段１７の作用について図１３に示す遺
伝的プログラムの流れ図に従って説明する。

【００７４】先ず、ステップ＃１において、例えば上記
図２１に示すような複数の固体「１」〜「Ｎ」からなる
初期集団の発生を行う。１つの固体は、計算機内ではビ
ット列で表現され、はじめに乱数で０、１の並びを決め
た複数の固体を発生させる。

【００７５】次に、ステップ＃２に移って突然変異・交
叉の処理を行う。突然変異は乱数で選んだ固体中の乱数
で選んだビットを反転する処理であり、交叉は固体群の
中から乱数で選んだ２つの固体に対して、乱数で選んだ
位置のビット列を交換する処理である。これら突然変異
・交叉の発生する割合は、係数で設定する。

【００７６】次に、ステップ＃３に移って各固体の適応
度を計算する。この適応度は、それぞれの固体がどの程
度良いかを表す指標であり、適応する問題に応じて定義
を行う。

【００７７】ここで、適応する問題が検査対象に適した
画像処理プログラムを探索するものであれば、上記部品
選択手段１７での遺伝的アルゴリズムにおける遺伝子の
ビット列と実際の画像処理の対応付けは、例えば上記図
２２に示す通りとなる。概略処理５内の関数の候補とパ
ラメータの候補に関して、その数を表現できる２進数の
ビットを割り振る。逆に１、０のビット列の並びが定ま
ると膨大な画像処理アルゴリズムの組み合わせの中から
１つの画像処理アルゴリズムが定まることになる。

【００７８】又、適応度の計算では、ビット列に対応し
た画像処理アルゴリズムに良否の分かっている画像６を
処理させて良否を判定させ、その良否一致率である上記
式(1) の値を適応度とする。

【００７９】次に、ステップ＃４に移って選択、淘汰の
処理を行って世代交代を行い、例えば、適応度の高い固
体を残し、適応度の低い固体を省く。ところで、ステッ
プ＃４の世代交代の処理の後、ステップ＃５の淘汰遺伝
子のビット度数保持では、淘汰頻度手段３０により、世
代交代のステップ＃４で淘汰された次の世代に残れなか
った固体の遺伝子列をチェックし、その頻度データを保
持する。すなわち、図１４に示すように淘汰された固体
の各ビット位置が「０」か「１」かを調べてカウント
し、その度数を積算する。又、第０世代から現在の世代
までに淘汰された固体の総計もカウントしておく。

【００８０】次に、図１４に示す度数をこの淘汰された
固体数の総数で除算し、図１５に示すような頻度分布を
得る。さらに、同図に示すような不良遺伝子フラグを用
意し、予め設定される閾値ｔｈよりも頻度が大きくなっ
たビット位置のビット値に対応する不良遺伝子フラグの
ビットを立てる（「１」にする）。

【００８１】又、ステップ＃２の突然変異や交叉の処理
の後、ステップ＃６の不良遺伝子訂正では、訂正手段３
１により、淘汰頻度手段３０により認識された閾値ｔｈ
よりも大きい頻度のビットを強制的に省く。すなわち、
突然変異・交叉ステップ＃２の後、全ての固体を不良遺
伝子フラグと照らし合わせ、不良遺伝子フラグのビット
が「１」であるビット位置とビット値が等しい固体に関
して、そのビット値を反転させる。但し、この不良遺伝
子訂正のステップ＃６では、初期集団発生後設定した数
世代は行わないものとする。

【００８２】図１６は不良遺伝子訂正のステップ＃６で
の処理によってビットが強制的に修正される例を示す。
この固体の第４ビットの値が「１」から「０」へ修正さ
れる。不良遺伝子フラグの第４ビットの値が「１」のと
ころのフラグが立っており、対象の固体の第４ビット目
も「１」だからである。第７ビットの値が「１」のとこ
ろにもビットが立っているが、対象の固体の第７ビット
は値が「１」なので操作は加えられない。

【００８３】図１５に示す頻度分布で閾値ｔｈを超えて
いるところは、他のビット位置の値に関わらず、適応度
が低くなることを意味している。これにより、明らかに
性能に悪影響を与えるビット位置とその値のものは探索
の対象から省かれる。

【００８４】このような遺伝的アルゴリズムにより探索
した場合での１００％の良否一致率の解が見つかるまで
の探索数を図１７に示す。閾値ｔｈは、０．９５とし
た。不良遺伝子によるビット修正は、５世代以降とし
た。個体数は２０、突然変異を起こす確立は０．１、交
叉を起こす確立は０．９とした。乱数を使用するアルゴ
リズムであり、初期値によるバラツキもあるため、初期
値５通りの場合を行った。平均値を比べると１００％一
致の解が求まるまでの探索数は約２割ほど短縮されてい
る。

【００８５】このように上記第２の実施の形態において
は、次の世代に引き継がれなく淘汰された固体のビット
をチェックしてその頻度分布を求め、この頻度分布から
予め設定された閾値よりも大きい頻度のビットを認識す
る淘汰頻度ステップと、突然変異・交叉ステップの後に
淘汰頻度ステップにより認識された閾値よりも大きい頻
度のビットを強制的に省く訂正ステップとを加えたの
で、膨大な組み合わせの中から効率よく探索し、準最適
な解である検査対象に適した画像処理プログラムの組み
合わせを求めるまでの時間を短縮できる。

【００８６】なお、本発明は、上記第１及び第２の実施
の形態に限定されるものでなく次の通り変形してもよ
い。例えば、遺伝的アルゴリズムにより求める最適な解
は、画像処理プログラムに限ることはない。

【００８７】

【発明の効果】以上詳記したように本発明によれば、環
境変動の影響を受けずに信頼性の高い画像処理プログラ
ムの合成ができる画像処理プログラム合成方法及びその
装置を提供できる。又、本発明によれば、探索時間を短
縮して効率良く最適な解を求めることができる最適解探
索方法及びその装置を提供できる。

【図面の簡単な説明】

【図１】本発明に係わる画像処理プログラム合成装置の
第１の実施の形態を示す機能ブロック図。

【図２】同装置における画像追加作成手段の具体的な構
成図。

【図３】同画像追加作成手段における明度変更手段の作
用を示す図。

【図４】同画像追加作成手段におけるコントラスト変更
手段の作用を示す図。

【図５】同画像追加作成手段における平滑化手段の作用
を示す図。

【図６】同画像追加作成手段におけるパラメータ設定の
インタフェース列を示す図。

【図７】半導体の黒い点欠陥を検査する画像処理アルゴ
リズムに適用した場合の概略手順を示す図。

【図８】画像処理部品としての濃度平均２値化の引数パ
ラメータである画像の領域分割モードを示す図。

【図９】画像処理部品としての限定濃度２値化での限定
濃度を示す図。

【図１０】探索過程で得られる評価値（良否一致率）の
変化を示す図。

【図１１】得られた画像処理プログラムの概要と検証用
別画像を用いて良否一致率の結果を示す図。

【図１２】本発明に係わる最適解探索方法を適用した画
像処理プログラム合成装置における部品選択手段の第２
の実施の形態を示すブロック構成図。

【図１３】同部品選択手段の遺伝的プログラムの流れ
図。

【図１４】淘汰された固体のビットの度数分布を示す
図。

【図１５】淘汰された固体の頻度分布を示す図。

【図１６】不良遺伝子訂正ステップの処理によってビッ
トが強制的に修正される例を示す図。

【図１７】遺伝的アルゴリズムにより探索した場合の１
００％の良否一致率の解が見つかるまでの探索数を示す
図。

【図１８】従来の画像処理プログラム合成方法の概要を
示す模式図。

【図１９】従来の画像処理プログラム合成装置を具体化
した機能ブロック図。

【図２０】上記装置に用いられる従来の遺伝的アルゴリ
ズムの流れ図。

【図２１】遺伝的アルゴリズムにおける突然変異・交差
の処理を示す模式図。

【図２２】上記装置における遺伝的アルゴリズムにおけ
る遺伝子のビット列と実際の画像処理の対応付けを示す
図。

【図２３】適応度に応じた次世代への生存確率を示す
図。

【符号の説明】

２：画像処理部品、 ４：概略処理、 ５：概略手順、 ６：教示用の画像、 １０：プログラム用データベース、 １１：部品記憶手段、 １２：画像処理プログラム合成手段、 １３：画像データベース、 １４：画像記憶手段、 １５：概略手順指定手段、 １６：入力手段、 １７：部品選択手段、 １８：アルゴリズム評価手段、 ２０：画像追加作成手段、 ２２：明度変更手段、 ２３：コントラスト変更手段、 ２４：幾何学変更手段、 ２５：平滑化手段、 ２６：パラメータ設定手段、 ３０：淘汰頻度手段、 ３１：訂正手段。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 予め複数グループに分類された複数の画
   像処理プログラムを、これらグループからそれぞれ所望
   のプログラムの概略手順に従って選択して合成し、この
   合成されたプログラムの性能を教示用の複数の画像を用
   いて評価する画像処理プログラム合成方法において、 前記教示用の画像に対して画像変換を行い、この画像変
   換により得られた新たな画像を教示用の画像として追加
   することを特徴とする画像処理プログラム合成方法。
2. 【請求項２】 前記教示用の画像に対して少なくとも明
   度の変更、コントラストの変更、幾何変更、又は平滑化
   処理のうちいずれか１つ又はこれらを組み合わせて画像
   変換を行うことを特徴とする請求項１記載の画像処理プ
   ログラム合成方法。
3. 【請求項３】 複数の画像処理プログラムを予め複数グ
   ループに分類してプログラム用データベースに記憶し、
   所望のプログラムの概略手順に従って前記プログラム用
   データベースに記憶されている前記各グループからそれ
   ぞれ前記画像処理プログラムを選択して合成し、この合
   成されたプログラムの性能を画像データベースに記憶さ
   れた教示用の複数の画像を用いて評価する画像処理プロ
   グラム合成装置において、 前記教示用の画像に対して画像変換を行い、この画像変
   換して得られた新たな画像を教示用の画像として前記画
   像データベースに追加する画像追加手段を具備すること
   を特徴とする画像処理プログラム合成装置。
4. 【請求項４】 前記画像追加手段は、前記画像データベ
   ースに記憶された前記教示用の画像に対して少なくとも
   明度の変更、コントラストの変更、幾何変更、又は平滑
   化処理のうちいずれか１つ又はこれらを組み合わせた画
   像変換を行う機能を有することを特徴とする請求項３記
   載の画像処理プログラム合成装置。
5. 【請求項５】 任意のビット列で表現する複数の固体か
   ら成る初期集団を発生し、この初期集団における前記固
   体の各ビットに対して突然変異や交叉の処理を行い、こ
   の後に前記各固体の優劣を示す適応度を求め、この適応
   度の高い前記か固体ほど次の世代に引き継がせることを
   繰り返す最適解探索方法において、 前記次の世代に引き継がれなく淘汰された前記固体のビ
   ットをチェックしてその頻度分布を求め、この頻度分布
   から予め設定された閾値よりも大きい頻度の前記ビット
   を認識する淘汰頻度ステップと、 前記突然変異や交叉の処理の後に、前記淘汰頻度ステッ
   プにより認識された前記閾値よりも大きい頻度の前記ビ
   ットを強制的に省く訂正ステップと、を有することを特
   徴とする最適解探索方法。
6. 【請求項６】 前記淘汰頻度ステップは、前記固体のビ
   ット列を遺伝子列としてチェックして前記ビット別に値
   の度数を積算し、この積算された度数を前記淘汰された
   前記個体数で除算して頻度分布を求め、この頻度分布か
   ら予め設定された閾値よりも大きい頻度の前記ビットに
   対してその位置を示す不良遺伝子フラグを立てることを
   特徴とする請求項５記載の最適解探索方法。
7. 【請求項７】 前記訂正ステップは、前記突然変異や交
   叉の処理の後の前記固体を前記淘汰頻度ステップで作成
   された不良遺伝子フラグと照らし合わせ、この不良遺伝
   子フラグの立っている前記固体における前記ビット値を
   反転させることを特徴とする請求項５記載の最適解探索
   方法。
8. 【請求項８】 任意のビット列で表現する複数の固体か
   ら成る初期集団を発生し、この初期集団における前記固
   体の各ビットに対して突然変異や交叉の処理を行い、こ
   の後に前記各固体の優劣を示す適応度を求め、この適応
   度の高い前記か固体ほど次の世代に引き継がせることを
   繰り返す最適解探索装置において、 前記次の世代に引き継がれなく淘汰された前記固体のビ
   ットをチェックしてその頻度分布を求め、この頻度分布
   から予め設定された閾値よりも大きい頻度の前記ビット
   を認識する淘汰頻度手段と、 前記突然変異や交叉の処理の後に、前記淘汰頻度手段に
   より認識された前記閾値よりも大きい頻度の前記ビット
   を強制的に省く訂正手段と、を具備することを特徴とす
   る最適解探索装置。
9. 【請求項９】 前記淘汰頻度手段は、前記固体のビット
   列を遺伝子列としてチェックして前記ビット別に値の度
   数を積算し、この積算された度数を前記淘汰された前記
   個体数で除算して頻度分布を求め、この頻度分布から予
   め設定された閾値よりも大きい頻度の前記ビットに対し
   てその位置を示す不良遺伝子フラグを立てることを特徴
   とする請求項８記載の最適解探索装置。
10. 【請求項１０】 前記訂正手段は、前記突然変異や交叉
    の処理の後の前記固体を前記淘汰頻度ステップで作成さ
    れた不良遺伝子フラグと照らし合わせ、この不良遺伝子
    フラグの立っている前記固体における前記ビット値を反
    転させることを特徴とする請求項８記載の最適解探索装
    置。
11. 【請求項１１】 予め複数グループに分類された複数の
    画像処理プログラムを、これらグループからそれぞれ所
    望のプログラムの概略手順に従って選択して合成し、こ
    の合成されたプログラムの性能を教示用の複数の画像を
    用いて評価する画像処理プログラム合成方法において、 前記合成されたプログラムを個体として表するとともに
    前記画像処理プログラムをビットとして表して前記固体
    の各ビットに対して突然変異や交叉の処理を行う突然変
    異・交叉ステップと、 この突然変異・交叉ステップの後に前記各固体の優劣を
    示す適応度を求める適応度計算ステップと、 この適応度計算ステップの後に前記適応度の高い前記固
    体ほど次の世代に引き継がせる世代交代ステップと、 この世代交代ステップの後に前記次の世代に引き継がれ
    なく淘汰された前記固体のビットをチェックしてその頻
    度分布を求め、この頻度分布から予め設定された閾値よ
    りも大きい頻度の前記ビットを認識する淘汰頻度ステッ
    プと、 前記突然変異・交叉ステップの後に、前記淘汰頻度ステ
    ップにより認識された前記閾値よりも大きい頻度の前記
    ビットを強制的に省く訂正ステップと、を繰り返すこと
    を特徴とする画像処理プログラム合成方法。
12. 【請求項１２】 前記教示用の画像に対して画像変換を
    行い、この画像変換により得られた新たな画像を教示用
    の画像として追加するステップを有することを特徴とす
    る請求項１１記載の画像処理プログラム合成方法。