JP2997958B2 - 画像処理アルゴリズムの自動生成方法 - Google Patents

画像処理アルゴリズムの自動生成方法

Info

Publication number
JP2997958B2
JP2997958B2 JP3169051A JP16905191A JP2997958B2 JP 2997958 B2 JP2997958 B2 JP 2997958B2 JP 3169051 A JP3169051 A JP 3169051A JP 16905191 A JP16905191 A JP 16905191A JP 2997958 B2 JP2997958 B2 JP 2997958B2
Authority
JP
Japan
Prior art keywords
algorithm
image processing
inspection
input unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3169051A
Other languages
English (en)
Other versions
JPH04367982A (ja
Inventor
直昭 谷崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP3169051A priority Critical patent/JP2997958B2/ja
Publication of JPH04367982A publication Critical patent/JPH04367982A/ja
Application granted granted Critical
Publication of JP2997958B2 publication Critical patent/JP2997958B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は射出成形品等の品質検査
に際し、検査を画像処理により自動化するための画像処
理アルゴリズムの自動生成方法に関する。
【0002】
【従来の技術】一般に、射出成形によって成形される成
形品、例えば、プラスチック製の電子部品用成形品で、
特に、コネクターのように一面に複数の矩形状升目部を
有する電子部品用成形品の品質は、該成形品の矩形状升
目部に、ショートショットによる凹み、バリ、ひけ、そ
り等が生じた際に、特に不良の問題が生じる。
【0003】図7は成形品の一例を示し、図7(a)は
良品を、図7(b)は凹みによる欠陥が生じた不良品を
示している。従来、このような電子部品用成形品の良否
検査は、オペレータの目視検査によって行われるのが普
通であった。しかしながら、最近のこの種の製品検査の
分野では、人手不足及び検査コストの低減化の要求から
検査行程の自動化が進められつつある。このような要求
に対し、画像処理を用いた検査装置が提案されている
(例えば、特願平2−116858号)。
【0004】
【発明が解決しようとする課題】この種の検査装置では
汎用性を得るため、成形品を撮影して得た画像とあらか
じめ記憶された基準画像とのパターンマッチングを行う
ことにより検査をする方式が一般的である。しかし、こ
のような基準との相対的な比較方式では、汎用化は実現
しやすいが、何を基準として記憶するかによって検査結
果が大きく左右されるという問題がある。それ故、本発
明の課題は成形品等の品質検査に際し、オペレータに画
像処理に関する知識が無くとも検査を画像処理の組み合
わせにより自動化することのできる画像処理アルゴリズ
ムの自動生成方法を提供しようとするものである。
【0005】
【課題を解決するための手段】本発明は、画像入力部と
データ入力部及びN(Nは正の整数)種類の画像処理モ
ジュールをM段の直列結合の形式でツリー状に組み合わ
せ、かつ最終段の前記画像処理モジュールには特徴抽出
モジュールを組み合わせてなる多数の検査アルゴリズム
を内蔵したアルゴリズム処理部とを有し、オペレータ
は、前記画像入力部より良品、不良品、及び中間グレー
ドのサンプル画像を入力すると共に、前記データ入力部
より判別能力評価基準として、望ましい検査結果を相関
モデルとして入力し、前記アルゴリズム処理部は、前記
画像入力部と前記データ入力部からのデータを受け、前
記判別能力評価基準にもとづいて限界効用値を用いるこ
とで前記ツリー状の組み合わせの中から最適な組み合わ
せを探索することを特徴とする画像処理アルゴリズムの
自動生成方法である。
【0006】
【実施例】以下に、図面を参照して本発明の実施例につ
いて説明する。本発明は、周知のデータ処理装置、デー
タ入力装置、画像入力装置、ディスプレイ等を含むアル
ゴリズム探索支援システムにより実施される。画像処理
による製品検査では、ほとんどの場合、適当な照明条件
下で得られた画像上の検査したい部品にウインドウを設
け、このウインドウ領域に対して、何らかの形で良品と
欠陥との間の明暗パターンの差を検出することによって
検査を行っている。すなわち、画像処理の立場から見れ
ば、欠陥検査とは、良品と欠陥との明暗パターンを判別
することであると言える。
【0007】そこで、本方法では、欠陥検査アルゴリズ
ムを、図1に示すように、探索支援システムにおけるデ
ィスプレイの入力画像のウインドウ領域に対して、いく
つかの画像処理モジュールを直列に作用させた後、特徴
抽出モジュールによって、1つの特徴量を抽出する構造
としてモデル化した。また、検査は、その特徴量を尺度
として、その尺度上の基準により行うものとする。画像
処理モジュールの種類をN種類、処理段数をM段とする
と画像処理の組合せは、NM通り存在する。
【0008】これをツリー状の有向グラフとして表現し
たものを図2に示す。ノードで示される画像処理モジュ
ールをルートノードから任意のアークで結ぶと、ひとつ
の画像処理アルゴリズムが表現できる。更に、各ノード
には特徴抽出モジュールが連結されており、これをL種
類とすると、検査アルゴリズムの組合せは全部でNM
L通りとなる。本発明では、このような多数の検査アル
ゴリズムの組み合わせがデータ処理装置におけるアルゴ
リズム処理部(図示せず)に登録されており、アルゴリ
ズム処理部はこの組み合わせの中から最適な検査アルゴ
リズムを自動的に見つけだす。
【0009】次に、本システムにおける処理の流れを図
3を参照して説明する。ステップS1では、オペレータ
が探索支援システムにおける画像入力装置から事前に良
品、不良品および中間グレードのサンプル画像を入力す
る。オペレータはまた、ステップS2において、画像入
力装置及びデータ入力装置を使用してディスプレイを見
ながら判別能力評価基準として、望ましい検査結果を相
関モデルとして定義し、入力する。ステップS3では、
アルゴリズム処理部が、画像処理モジュールの直列結合
と特徴抽出モジュールとの組み合わせとしてモデル化さ
れた多数の検査アルゴリズムに対し良品、不良品の判別
能力及び実現可能性の2つを評価基準とする評価、探索
を行う。アルゴリズム処理部は更に、ステップS4にお
いて、上記の評価値に基づく限界公用値を用い、図2に
示す如きアルゴリズム木の中で、最適な組み合わせを見
付け出す。
【0010】本実施例では、前述したように、事前に人
間の判断した良品、不良品およびその中間のグレードの
サンプル画像をいくつか入力しておく。検査は、良品お
よび不良品を判別することが目的であるが、実際の製品
には、良品と不良品にはっきり分けられないあいまいな
中間のグレードが存在する。すなわち、不良に近い良
品、良品に近い不良品と言うのがこれに当たる。欠陥検
査においては、この中間のグレードをどう取り扱うかに
よって、不良率、歩留まりが決定する。このため判別能
力の高い検査アルゴリズムを生成するには、この中間グ
レードを認識できるアルゴリズムを選ぶ必要がある。本
実施例では、これを評価する基準として、人間が判断し
た各製品グレードと、生成されたアルゴリズムが出力す
る特徴量との関係をグラフとして入力する。これを相関
モデルと呼ぶ。図4に、その1例を示す。
【0011】この相関モデルの形を任意に選ぶことによ
って、検査アルゴリズムの特性を変えることが可能であ
る。検査アルゴリズムの評価値(E)は、判別能力と実
現可能性の関数として以下のように算出する。 E=M・Ed・Em ただし、Mは、相関モデルとのマッチ度で、アルゴリズ
ムの判別能力を表す。またEdは良品、不良品間の量子
化可能数、Emは、分離余裕であり、それぞれアルゴリ
ズムの実現可能性を表す。M、Ed、Emはそれぞれ以
下の数式(1)、(2)、(3)で表される。
【0012】
【数1】
【0013】
【数2】
【0014】
【数3】
【0015】ここで、 i:製品のグレード N:製品の全グレード数 但し、Eμi,Eσiはそれぞれ相関モデルとして入力
された特徴量の各製品グレードにおける平均,分散値 μi,σi:検査アルゴリズムによって抽出された特徴
量の各製品グレードにおける平均,分散値 α,β:パラメータ μg,μb:良品グレード,不良品グレードの平均値 q:量子化係数 σb,σg:不良品,良品の分散値
【0016】ここで、検査アルゴリズムの探索法につい
て言えば、検査アルゴリズムの探索は、前述したアルゴ
リズム木の、各ノードにおける効用値(Adi)と画像
処理コスト(Cdi)から決まる限界効用値(Ldi)
に基づいて行う。各値はそれぞれ、以下の式(4)、
(5)、(6)に従う。
【0017】
【数4】
【0018】
【数5】
【0019】
【数6】
【0020】ここで、 d:アルゴリズム木の階層 i:同一階層内のノードid N:製品の全グレード数 Endi:ノードndiの評価値 Cndi:ノードndiの画像処理コスト C(d+1)i:子ノードの中で評価値が一番高いもののコス
ト総和 ΔAdi,ΔCdi:1回の探索による効用,コスト総
和の増加分
【0021】探索戦略は、アルゴリズム処理部があるノ
ードにおいて、(a)初回の探索では子ノード全てにつ
いて評価値、コストを求め、それらを式(4),
(5),(6)に従い式(4),(5),(6)におけ
る各値を更新し、更新した値を上位ノードにおいても反
映させる。(b)次回からの探索では、同じ階層の中
で、式()の限界効用値が一番大きいノードを選び、
その下位ノードの探索を行う。(c)上記(a)、
(b)の手順をルートノードから順次繰り返す。(d)
最上位の階層、すなわちルートノードにおいて、限界効
用値が全て0になった場合に探索を打ち切る。
【0022】一例として、射出成形機によって生産され
るハーフピッチコネクタの欠陥検査アルゴリズムの生成
について簡単に説明する。この場合に対象とした欠陥
は、図7に示したように、ピン穴間の薄肉部に微小な欠
けとして発生するショートショットと呼ばれる欠陥で、
単純な2値化の画像処理のみでは検出は難しい。
【0023】本システムを用いて生成されたアルゴリズ
ム候補を図5に示す。ここでは、処理段数は3、画像処
理モジュールの種類は14、特徴抽出モジュールの種類
は8としている。図6は、第1候補の特徴量分布を示
す。この図より、良品、不良品は完全に分離できること
がわかる。また、中間のグレードも特徴量の軸の上でも
その中間に位置されており、前述した評価値の有効性が
示されている。
【0024】
【発明の効果】以上説明してきたように本発明によれ
ば、成形品等の品質検査を画像処理により自動化するこ
とができ、しかもオペレータは画像処理に関する知識が
無くても操作できるので、オペレータの作業軽減化に寄
与する効果は大である。
【図面の簡単な説明】
【図1】 本発明による欠陥検査アルゴリズムのモデル
を示した図。
【図2】 図1に示された欠陥検査アルゴリズムにおけ
る画像処理モジュールの組み合わせの一部をアルゴリズ
ム木の形で示した図。
【図3】 本発明の処理の流れを示した図。
【図4】 本発明においてあらかじめ入力される相関モ
デルの一例を示した図。
【図5】 本発明において生成された検査アルゴリズム
の候補例を示した図。
【図6】 本発明において得られた検査アルゴリズムの
第1候補の特徴量分布を示す。
【図7】 本発明の対象部品であるコネクタを良品、不
良品について示した図。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像入力部とデータ入力部及びN(Nは
    正の整数)種類の画像処理モジュールをM段の直列結合
    の形式でツリー状に組み合わせ、かつ最終段の前記画像
    処理モジュールには特徴抽出モジュールを組み合わせて
    なる多数の検査アルゴリズムを内蔵したアルゴリズム処
    理部とを有し、オペレータは、前記画像入力部より良
    品、不良品、及び中間グレードのサンプル画像を入力す
    ると共に、前記データ入力部より判別能力評価基準とし
    て、望ましい検査結果を相関モデルとして入力し、前記
    アルゴリズム処理部は、前記画像入力部と前記データ入
    力部からのデータを受け、前記判別能力評価基準にもと
    づいて限界効用値を用いることで前記ツリー状の組み合
    わせの中から最適な組み合わせを探索することを特徴と
    する画像処理アルゴリズムの自動生成方法。
JP3169051A 1991-06-14 1991-06-14 画像処理アルゴリズムの自動生成方法 Expired - Fee Related JP2997958B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3169051A JP2997958B2 (ja) 1991-06-14 1991-06-14 画像処理アルゴリズムの自動生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3169051A JP2997958B2 (ja) 1991-06-14 1991-06-14 画像処理アルゴリズムの自動生成方法

Publications (2)

Publication Number Publication Date
JPH04367982A JPH04367982A (ja) 1992-12-21
JP2997958B2 true JP2997958B2 (ja) 2000-01-11

Family

ID=15879423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3169051A Expired - Fee Related JP2997958B2 (ja) 1991-06-14 1991-06-14 画像処理アルゴリズムの自動生成方法

Country Status (1)

Country Link
JP (1) JP2997958B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007200246A (ja) * 2006-01-30 2007-08-09 Sharp Corp 画像処理アルゴリズムの評価方法、生成方法、装置、プログラムおよび記録媒体
JP4840327B2 (ja) * 2007-10-22 2011-12-21 株式会社デンソー 外観検査方法
JP5388703B2 (ja) * 2009-06-03 2014-01-15 株式会社日立ハイテクノロジーズ 表面観察装置および表面観察方法
JP5561384B2 (ja) * 2013-01-15 2014-07-30 株式会社安川電機 認識プログラム評価装置および認識プログラム評価方法
JP6074272B2 (ja) * 2013-01-17 2017-02-01 キヤノン株式会社 画像処理装置および画像処理方法
CN103148783B (zh) * 2013-03-06 2016-03-02 江南大学 一种气门摇臂安装位置的自动检测方法
JP7186054B2 (ja) * 2018-10-11 2022-12-08 神鋼検査サービス株式会社 欠陥検出支援装置、該方法および該プログラム

Also Published As

Publication number Publication date
JPH04367982A (ja) 1992-12-21

Similar Documents

Publication Publication Date Title
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
TWI725534B (zh) 在半導體元件的製造流程中利用適應性機器學習的自動缺陷篩選
US7346470B2 (en) System for identification of defects on circuits or other arrayed products
US5012524A (en) Automatic inspection method
US6885977B2 (en) System to identify a wafer manufacturing problem and method therefor
CN109781733A (zh) 缺陷检查装置、缺陷检查方法及计算机可读存储介质
JP4374303B2 (ja) 検査方法及びその装置
JP2021523348A (ja) 画像化されたアイテムの欠陥を検出するためのシステムおよび方法
WO2010023791A1 (ja) 欠陥検査方法及び装置
KR20190057402A (ko) 검사 관련 알고리즘을 설정하는데 사용되는 트레이닝 세트의 최적화
CN111382785A (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN1323369C (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
CA2638415C (en) Patterned wafer defect inspection system and method
JP2997958B2 (ja) 画像処理アルゴリズムの自動生成方法
CN116978834B (zh) 一种用于晶圆生产的智能监测预警系统
CN109685756A (zh) 影像特征自动辨识装置、系统及方法
JP2002057078A (ja) 半導体製造施設で集積欠陥を引き起こす動作/ツールを見つけるシステム及び方法
TWI801973B (zh) 錯誤因素之推定裝置及推定方法
Chetoui et al. Object detection model-based quality inspection using a deep CNN
KR101936628B1 (ko) Tsom 이미지 획득 방법 및 반도체 장치 검사 방법
JPH08254501A (ja) 外観検査方法及び装置
JPH1187446A (ja) パターン欠陥検査装置及びパターン欠陥検査方法
CN115222732A (zh) 一种基于大数据分析和色差检测的注塑工艺异常检测方法
US20040258311A1 (en) Method for generating geometric models for optical partial recognition
US7363098B2 (en) Method to identify machines causing excursion in semiconductor manufacturing

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19991006

LAPS Cancellation because of no payment of annual fees