JP5469532B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

画像処理装置、画像処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JP5469532B2
JP5469532B2 JP2010117092A JP2010117092A JP5469532B2 JP 5469532 B2 JP5469532 B2 JP 5469532B2 JP 2010117092 A JP2010117092 A JP 2010117092A JP 2010117092 A JP2010117092 A JP 2010117092A JP 5469532 B2 JP5469532 B2 JP 5469532B2
Authority
JP
Japan
Prior art keywords
pixel
value
image
distribution range
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010117092A
Other languages
English (en)
Other versions
JP2011243139A (ja
JP2011243139A5 (ja
Inventor
和人 佐伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2010117092A priority Critical patent/JP5469532B2/ja
Priority to US13/091,218 priority patent/US8594416B2/en
Priority to CN201110131814.5A priority patent/CN102254178B/zh
Publication of JP2011243139A publication Critical patent/JP2011243139A/ja
Publication of JP2011243139A5 publication Critical patent/JP2011243139A5/ja
Application granted granted Critical
Publication of JP5469532B2 publication Critical patent/JP5469532B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、判定対象物を撮像して取得した多値画像を、基準となる多値画像と比較する画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
従来、判定対象物を撮像して取得した多値画像を、基準となる多値画像と単純に比較することにより、判定対象物が良品であるか否かを判定する方法が開発されている。しかし、両画像を単純に比較するだけでは、良品自体の形状ばらつき、計算誤差、ノイズ等による画素値変動を考慮することができず、良品であるにもかかわらず良品ではないと誤って判定する等、正しく良品判定を行うことができないおそれがある等の問題があった。
斯かる問題を解決するために、例えば特許文献1では、複数の良品に関する多値画像を準備しておき、それらの平均画像、標準偏差画像を求めることで、安定した良否判定を可能としている。具体的には、複数の良品に関する多値画像について位置合わせを行った後、同一座標の画素ごとに画素値の平均値及び標準偏差を算出する。判定対象物の多値画像について良品に関する多値画像との間で位置合わせを行った後、同一座標の画素ごとに、平均値との差分値を算出し、標準偏差に基づいて定義した閾値画像と画素ごとに比較することにより、良品判定を行っている。
このようにすることで、良品自体の形状ばらつき、計算誤差、ノイズ等による画素値変動分を画素ごとの画素値のばらつき度合に応じて効果的に排除することができるとともに、画素ごとに良品であると判定する範囲が相違することから、部位ごとに適切な良品判定の閾値を設定することができる。したがって、より高い精度で良品判定を行うことが可能となっている。
特開2005−265661号公報
しかし、特許文献1に開示されている画像処理方法では、欠陥が輪郭線の近傍に生じている場合、画素値の標準偏差が大きいことから欠陥として認識することが困難であり、欠陥の存在を検出する感度が低くなってしまうという問題点があった。輪郭線の近傍にて画素値の標準偏差が大きくなるのは、位置合わせにおける微妙な相違の存在、撮像位置の相違、個々の良品ばらつき等に起因する。
また、白黒画像では色の相違を検出することは困難である場合もある。さらに全体的に濃淡のばらつきが大きい場合には、部分的に明暗が相違している部分、例えば表面のくぼみ部分等を検出することが困難であるという問題点もあった。
本発明は上記事情に鑑みてなされたものであり、輪郭線近傍の欠陥や色の相違についても、適切な特徴量抽出手段を選択することにより、高い精度で存在を検出することができ、良品判定を確実に行うことができる画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第1発明に係る画像処理装置は、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置において、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段と、取得した第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、取得した第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、いずれか1つの特徴量抽出手段の選択を受け付ける選択受付手段と、前記複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により抽出した特徴量に基づき、前記第一の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに色成分に関する画素値の分布範囲を算出し、前記第二の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに異なる二方向におけるエッジ強度からエッジ強度の分布範囲を算出する分布範囲算出手段と、判定対象物に関する第二の多値画像を取得する多値画像取得手段と、取得した第二の多値画像の画素ごとに、前記複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した前記第二の多値画像の特徴量が、対応する前記第一の多値画像から得られた前記分布範囲に含まれているか否かを判断する判断手段とを備えることを特徴とする。
また、第2発明に係る画像処理装置は、第1発明において、前記第一の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、取得した各第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出する画素平均値算出手段と、算出した色成分に関する画素値の平均値に基づいて、各第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する画素値分布範囲算出手段とを有し、前記判断手段は、取得した第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断するようにしてあり、前記第二の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、取得した各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を算出する方向別エッジ強度算出手段と、算出したエッジ強度に基づいて、各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出するエッジ強度平均値算出手段と、算出した平均値を中心として、各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出するエッジ強度分布範囲算出手段とを有し、前記判断手段は、取得した第二の多値画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする。
また、第発明に係る画像処理装置は、第1又は第2発明において、前記分布範囲算出手段は、仮想的な楕円領域として前記相互相関分布範囲を算出するようにしてあることを特徴とする。
また、第発明に係る画像処理装置は、第発明において、前記判断手段は、仮想的な前記楕円領域の重心から前記第二の多値画像の画素ごとに抽出した特徴量までの距離を、前記重心から前記特徴量に向かう方向における前記楕円領域の境界と前記重心との距離で正規化したマハラノビス距離を算出する距離算出手段を備え、算出したマハラノビス距離が所定値より小さいか否かで前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする。
また、第発明に係る画像処理装置は、第発明において、前記距離算出手段は、仮想的な前記楕円領域の重心から前記第二の多値画像の画素ごとに抽出した特徴量までの距離であるユークリッド距離を算出するようにしてあり、前記判断手段は、算出したユークリッド距離が所定値より小さいか否かで前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする。
また、第発明に係る画像処理装置は、第1乃至第発明のいずれか1つにおいて、前記第一の多値画像と前記第二の多値画像との位置合わせを行う位置調整手段を備えることを特徴とする。
また、第発明に係る画像処理装置は、第1乃至第発明のいずれか1つにおいて、判定対象物の表面の粗さの特徴量を抽出する第三の特徴量抽出手段を備え、前記第三の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、取得した各第一の多値画像の画素ごとの粗さの特徴量に基づいて、画素ごとの平均値及び分布範囲を算出し、画素ごとに第二の多値画像の粗さの特徴量と前記平均値との差分値が、所定値より小さいか否かを判断するようにしてあることを特徴とする。
また、第発明に係る画像処理装置は、第1乃至第発明のいずれか1つにおいて、前記選択受付手段が、複数の特徴量抽出手段の選択を受け付けた場合であって、前記判断手段が、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する前記分布範囲に含まれていないと判断したとき、前記判定対象物は良品ではないと判定するようにしてあることを特徴とする。
次に、上記目的を達成するために第発明に係る画像処理方法は、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能な画像処理方法において、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得するステップと、取得した第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の抽出ステップと、取得した第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の抽出ステップとを少なくとも含む複数の抽出ステップのうち、いずれか1つの抽出ステップの選択を受け付けるステップと、前記複数の抽出ステップのうち選択を受け付けた抽出ステップにより特徴量を抽出し、抽出した特徴量に基づき、前記第一の抽出ステップが選択された場合には、良品判定を行うための分布範囲として、画素ごとに色成分に関する画素値の分布範囲を算出し、前記第二の抽出ステップが選択された場合には、良品判定を行うための分布範囲として、画素ごとに異なる二方向におけるエッジ強度からエッジ強度の分布範囲を算出するステップと、判定対象物に関する第二の多値画像を取得するステップと、取得した第二の多値画像の画素ごとに、前記複数の抽出ステップのうち選択を受け付けた抽出ステップにより特徴量を抽出し、抽出した前記第二の多値画像の特徴量が、対応する前記第一の多値画像から得られた前記分布範囲に含まれているか否かを判断するステップとを含むことを特徴とする。
次に、上記目的を達成するために第10発明に係るコンピュータプログラムは、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理装置を、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段、取得した第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、取得した第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、いずれか1つの特徴量抽出手段の選択を受け付ける選択受付手段、前記複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により抽出した特徴量に基づき、前記第一の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに色成分に関する画素値の分布範囲を算出し、前記第二の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに異なる二方向におけるエッジ強度からエッジ強度の分布範囲を算出する分布範囲算出手段、判定対象物に関する第二の多値画像を取得する多値画像取得手段、及び取得した第二の多値画像の画素ごとに、前記複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した前記第二の多値画像の特徴量が、対応する前記第一の多値画像から得られた前記分布範囲に含まれているか否かを判断する判断手段として機能させることを特徴とする。
第1発明、第発明及び第10発明では、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する。取得した第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、取得した第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、いずれか1つの特徴量抽出手段の選択を受け付ける。複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により抽出した特徴量に基づき、第一の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに色成分に関する画素値の分布範囲を算出し、第二の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに異なる二方向におけるエッジ強度からエッジ強度の分布範囲を算出する。判定対象物に関する第二の多値画像を取得し、取得した第二の多値画像の画素ごとに、複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した第二の多値画像の特徴量が、対応する第一の多値画像から得られた分布範囲に含まれているか否かを判断する。第二の多値画像の性状に応じて、特徴量抽出手段を選択することができるので、適切な特徴量を選択することにより、欠陥が輪郭線近傍に生じている場合であっても欠陥の存在を検出することができ、色の相違についても高い感度で検出することが可能となる。例えば選択を受け付けた特徴量が色成分に関する画素値である場合、良品との色の相違を検出することができ、選択を受け付けた特徴量が異なる二方向におけるエッジ強度である場合、輪郭線近傍に生じている欠陥の存在を検出することができる。
第2発明では、抽出する特徴量として色成分に関する画素値の選択を受け付けた場合、取得した各第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出し、算出した色成分に関する画素値の平均値に基づいて、各第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する。取得した第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断する。一方、抽出する特徴量として異なる二方向におけるエッジ強度の選択を受け付けた場合、取得した各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を算出し、算出したエッジ強度に基づいて、各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出して、算出した平均値を中心として、各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出する。取得した第二の多値画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する相互相関分布範囲に含まれているか否かを判断する。これにより、選択を受け付けた特徴量が色成分に関する画素値である場合、算出した画素値の分布範囲に含まれているか否かにより色の相違を検出することができ、選択を受け付けた特徴量が異なる二方向におけるエッジ強度である場合、算出したエッジ強度の相互相関分布範囲に含まれているか否かにより、輪郭線近傍の欠陥の存在を検出することができる。
発明では、仮想的な楕円領域として相互相関分布範囲を算出することにより、第二の多値画像の画素ごとに算出した異なる二方向におけるエッジ強度が、相互相関分布範囲に含まれているか否かをより容易に判断することが可能となる。
発明では、仮想的な楕円領域の重心から第二の多値画像の画素ごとに抽出した特徴量までの距離を、重心から特徴量に向かう方向における楕円領域の境界と重心との距離で正規化したマハラノビス距離を算出し、算出したマハラノビス距離が所定値より小さいか否かで相互相関分布範囲に含まれているか否かを判断する。マハラノビス距離を用いることにより、相互相関分布範囲の境界線と重心との距離に対する比率として重心からエッジ強度までの距離を表すことができるので、より良品の分布広がりに応じた感度で相互相関分布範囲に含まれているか否かを判断することが可能となる。
発明では、仮想的な楕円領域の重心から第二の多値画像の画素ごとに抽出した特徴量までの距離であるユークリッド距離を算出し、算出したユークリッド距離が所定値より小さいか否かで相互相関分布範囲に含まれているか否かを判断する。ユークリッド距離を用いることにより、分布広がりの大小により感度が大きく変化することなく良品として判定される相互相関分布範囲から外れている度合いを算出することが可能となる。
発明では、第一の多値画像と第二の多値画像との位置合わせを行うことにより、第二の多値画像の画素ごとに算出した異なる二方向におけるエッジ強度が、相互相関分布範囲に含まれているか否かをより正確に判断することが可能となる。
発明では、判定対象物の表面の粗さの特徴量を抽出する第三の特徴量抽出手段を備え、第三の特徴量抽出手段の選択を受け付けた場合、取得した各第一の多値画像の画素ごとの粗さの特徴量に基づいて、画素ごとの平均値及び分布範囲を算出し、画素ごとに第二の多値画像の粗さの特徴量と平均値との差分値が、所定値より小さいか否かを判断する。これにより、判定対象物に関する多値画像の粗さ、ざらつき具合等を区別することができ、判定対象物の表面の粗度の相違を確実に検出することが可能となる。
発明では、複数の特徴量抽出手段の選択を受け付けた場合であって、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する分布範囲に含まれていないと判断したとき、判定対象物は良品ではないと判定する。これにより、不適切な特徴量に基づいて、本来良品ではない判定対象物を誤って良品であると判定していた場合であっても、適切な特徴量に基づいて良品ではないと正しく判定することが可能となる。
本発明によれば、第二の多値画像の性状に応じて、良品であるか否かを判定する基礎となる特徴量を少なくとも一つ選択することができるので、適切な特徴量を選択することにより、欠陥が輪郭線近傍に生じている場合であっても欠陥の存在を検出することができ、色の相違についても高い感度で検出することが可能となる。例えば選択を受け付けた特徴量が色成分に関する画素値である場合、良品との色の相違を検出することができ、選択を受け付けた特徴量が異なる二方向におけるエッジ強度である場合、輪郭線近傍に生じている欠陥の存在を検出することができる。
本発明の実施の形態1に係る画像処理装置の構成を模式的に示すブロック図である。 本発明の実施の形態1に係る画像処理装置の一構成例を示す機能ブロック図である。 本発明の実施の形態1に係る画像処理装置の主制御部の良品情報収集処理の手順を示すフローチャートである。 本発明の実施の形態1に係る画像処理装置の主制御部の良品判定処理の手順を示すフローチャートである。 本発明の実施の形態1に係る画像処理装置の第一の特徴量抽出手段の選択を受け付けた場合の分布範囲算出手段の機能ブロック図である。 第一の特徴量抽出手段の選択を受け付けた場合の、画素値の分布範囲を示す例示図である。 本発明の実施の形態1に係る画像処理装置の主制御部の、第一の特徴量抽出手段の選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。 本発明の実施の形態1に係る画像処理装置の第二の特徴量抽出手段の選択を受け付けた場合の分布範囲算出手段の機能ブロック図である。 本発明の実施の形態1に係る画像処理装置の所定の画素ごとの異なる二方向におけるエッジ強度の相互相関分布範囲の例示図である。 本発明の実施の形態1に係る画像処理装置の主制御部の、第二の特徴量抽出手段の選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。 本発明の実施の形態1に係る画像処理装置の主制御部の、指標値を用いる場合の良品判定処理の手順を示すフローチャートである。 本発明の実施の形態1に係る画像処理装置の、エッジ強度のばらつきが小さく、ばらつく方向がランダムになっている場合の、所定の画素におけるエッジ強度の相互相関分布範囲の例示図である。 本発明の実施の形態1に係る画像処理装置の、輪郭線以外の部分の所定の画素におけるエッジ強度の相互相関分布範囲の例示図である。 本発明の実施の形態1に係る画像処理装置の、輪郭線のばらつきが大きい場合の、所定の画素におけるエッジ強度の相互相関分布範囲の例示図である。 本発明の実施の形態1に係る画像処理装置の、エッジ強度のばらつき方向がほぼ揃っている場合の、所定の画素におけるエッジ強度の相互相関分布範囲の例示図である。 本発明の実施の形態2に係る画像処理装置の、第三の特徴量抽出手段を含む場合の構成例を示す機能ブロック図である。 本発明の実施の形態2に係る画像処理装置の、第三の特徴量抽出手段の機能ブロック図である。 本発明の実施の形態2に係る画像処理装置の主制御部の、第三の特徴量抽出手段の選択を受け付けた場合の、粗さの特徴量抽出処理の手順を示すフローチャートである。 本発明の実施の形態2に係る画像処理装置の主制御部の、指標値を用いる場合の良品判定処理の手順を示すフローチャートである。
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の構成を模式的に示すブロック図である。図1に示すように本実施の形態1に係る画像処理装置2は、多値画像を撮像する撮像手段であるカメラ1及び撮像された多値画像又は演算処理の途上で生成された画像を表示する画像表示手段である表示装置3に接続されている。
画像処理装置2は、少なくともCPU(中央演算装置)、LSI等で構成された主制御部21、メモリ22、記憶手段23、入力手段24、出力手段25、通信手段26、補助記憶手段27及び上述したハードウェアを接続する内部バス28で構成されている。主制御部21は、内部バス28を介して画像処理装置2の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶手段23に記憶されているコンピュータプログラム5に従って、種々のソフトウェア的機能を実行する。メモリ22は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム5の実行時にロードモジュールが展開され、コンピュータプログラム5の実行時に発生する一時的なデータ等を記憶する。
記憶手段23は、内蔵される固定型記憶装置(ハードディスク、フラッシュメモリ)、ROM等で構成されている。記憶手段23に記憶されているコンピュータプログラム5は、プログラム及びデータ等の情報を記録したDVD、CD−ROM、フラッシュメモリ等の可搬型記録媒体4から、補助記憶手段27によりダウンロードされ、実行時には記憶手段23からメモリ22へ展開して実行される。もちろん、通信手段26を介して外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。
記憶手段23は、取得した良品に関する複数の多値画像データを記憶しておく良品画像データ記憶部231と、良品画像データ記憶部231に記憶してある良品に関する複数の多値画像データに基づいて、特徴量ごとに算出された分布範囲に関する情報(分布範囲情報)を記憶する分布範囲情報記憶部232とを備えている。判定対象物に関する特徴量が、分布範囲情報記憶部232に記憶してある分布範囲情報に基づいて特定される分布範囲に含まれているか否かの判断に応じて、判定対象物が良品であるか否かを判定する。
通信手段26は内部バス28に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。すなわち、上述した記憶手段23は、画像処理装置2に内蔵される構成に限定されるものではなく、通信手段26を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。
入力手段24は、キーボード及びマウス等のデータ入力媒体の他、液晶パネル等と一体となったタッチパネル等の入力情報を取得する装置全般を含む広い概念である。出力手段25は、レーザプリンタ、ドットプリンタ等の印刷装置等を意味する。
カメラ(撮像手段)1は、CCD撮像素子を備えたCCDカメラ等である。表示装置3は、CRT、液晶パネル等を有する表示装置である。カメラ1、表示装置3等は、画像処理装置2と一体化されていても良いし、分離されていても良い。外部制御機器6は、通信手段26を介して接続されている制御機器であり、例えばPLC(プログラマブルロジックコントローラ)等が相当する。ここで外部制御機器6とは、画像処理装置2による画像処理結果に応じて後処理を実行する機器全般を意味している。
図2は、本発明の実施の形態1に係る画像処理装置2の一構成例を示す機能ブロック図である。図2において、本実施の形態1に係る画像処理装置2は、カメラ1と、画像処理装置2の処理を実行する画像処理部7と、記憶手段23と、画像表示部8とから構成される。
カメラ1は、例えばディジタルカメラであり、判定対象物として例えばフィルム表面を撮像し多値画像を取得して画像処理部7へ出力する。
画像処理部7は、良品画像取得手段71と、選択受付手段72と、特徴量抽出手段73と、分布範囲算出手段74と、多値画像取得手段75と、位置調整手段76と、選択特徴量抽出手段77と、判断手段78とを含む。また、画像処理部7は、主制御部21、メモリ22、外部I/F等を含んで構成され、良品画像取得手段71、選択受付手段72、特徴量抽出手段73、分布範囲算出手段74、多値画像取得手段75、位置調整手段76、選択特徴量抽出手段77、及び判断手段78の処理動作を制御する。
記憶手段23は、画像メモリとして機能し、カメラ1により撮像された多値画像に関する多値画像データ、及び画像処理部7において位置合わせ、平均値算出等の各種処理を行った後の画像データを随時記憶する。画像データとしてではなく、画素ごとの画素値データとして記憶しても良い。
画像表示部8は、コンピュータ用のモニタ等の表示装置3で構成される。画像表示部8は、良品判定の対象となる判定対象物を撮像した多値画像、良品であるか否かの判定結果を、表示装置3の表示画面上に表示させる。すなわち多値画像表示手段81は、画像処理部7の指示に応じた多値画像を表示装置3の表示画面上に表示させ、判定結果表示手段82は、判定対象物が良品であるか否かの判定結果を表示装置3の表示画面上に表示させる。
次に、画像処理部7の各構成について説明する。
良品画像取得手段71は、カメラ1で撮像した、良品に関する複数の多値画像(第一の多値画像)を取得する。すなわち、良品を撮像した多値画像を複数取得しておくことにより、取得した多値画像の画素ごとに複数の特徴量を算出することができる。取得した各多値画像に関する多値画像データは、記憶手段23の良品画像データ記憶部231に記憶される。
選択受付手段72は、特徴量を抽出する複数の特徴量抽出手段のうち、少なくとも1つの特徴量抽出手段の選択を受け付ける。すなわち、本実施の形態1では、後述する第一の特徴量抽出手段73a又は第二の特徴量抽出手段73bの選択を受け付ける。なお、第一の特徴量抽出手段73a又は第二の特徴量抽出手段73bのいずれか1つの選択を受け付けても良いし、両方の選択を受け付けても良い。また、後述する第三の特徴量抽出手段を含む他の複数の特徴量抽出手段を含めた中から選択を受け付けても良いことは言うまでもない。
特徴量抽出手段73は、第一の特徴量抽出手段73aと第二の特徴量抽出手段73bとを備えている。第一の特徴量抽出手段73aは、取得した多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する。第二の特徴量抽出手段73bは、取得した多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。特徴量が色成分に関する画素値である場合、色の相違を検出することができ、特徴量が異なる二方向におけるエッジ強度である場合、輪郭線近傍の欠陥の存在を検出することができる。
分布範囲算出手段74は、選択を受け付けた特徴量抽出手段73により抽出した特徴量に基づいて、良品判定を行うための分布範囲を算出する。第一の特徴量抽出手段73aの選択を受け付けた場合には、分布範囲算出手段74aにより、第二の特徴量抽出手段73bの選択を受け付けた場合には、分布範囲算出手段74bにより、それぞれ分布範囲を算出する。算出した分布範囲に関する情報は、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段23の分布範囲情報記憶部232に記憶される。
多値画像取得手段75は、カメラ1で撮像した、判定対象物に関する多値画像(第二の多値画像)を取得する。位置調整手段76は、取得した判定対象物に関する多値画像と、良品に関する多値画像(第一の多値画像)との位置合わせを行う。具体的には、良品に関する複数の多値画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。
多値画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。例えば、パターンマッチングにより双方の多値画像の位置を検出し、一致していると判断することが可能な上限値及び下限値を用いて位置合わせを行っても良い。また、正規化相関等を算出することにより双方の多値画像の一致度を算出し、一致度が所定値より大きくなるよう位置合わせを行っても良い。もちろん、双方の多値画像の輪郭線、面積、重心等を一致させるよう位置合わせを行っても良い。
選択特徴量抽出手段77は、取得した判定対象物に関する多値画像の画素ごとに、選択受付手段72にて選択を受け付けた特徴量抽出手段73と同じ特徴量抽出手段により特徴量を抽出する。例えば、第一の特徴量抽出手段73aの選択を受け付けた場合、判定対象物に関する多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出し、第二の特徴量抽出手段73bの選択を受け付けた場合、判定対象物に関する多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。
判断手段78は、取得した判定対象物に関する多値画像の画素ごとに、選択を受け付けた特徴量抽出手段73により対応する特徴量を抽出し、抽出した特徴量が、算出してある良品に関する複数の多値画像の、同じ特徴量ごとの分布範囲に含まれているか否かを判断する。抽出した特徴量が分布範囲に含まれていると判断した場合には、判定対象物が良品であると判定し、含まれていないと判断した場合には、判定対象物が良品ではないと判定する。
図3は、本発明の実施の形態1に係る画像処理装置2の主制御部21の良品情報収集処理の手順を示すフローチャートである。画像処理装置2の主制御部21は、カメラ1で撮像した、良品に関する複数の多値画像(第一の多値画像)を取得する(ステップS301)。主制御部21は、取得した多値画像群の多値画像データを、記憶手段23の良品画像データ記憶部231に記憶する(ステップS302)。
主制御部21は、多値画像から特徴量を抽出する特徴量抽出手段73の選択を受け付ける(ステップS303)。選択対象となる特徴量抽出手段73は、取得した多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段73a、及び取得した多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段73bである。なお、選択を受け付ける特徴量抽出手段73は一つであっても良いし、複数であっても良い。
主制御部21は、選択を受け付けた特徴量抽出手段73により、多値画像の画素ごとに特徴量を抽出し(ステップS304)、良品判定を行うための分布範囲を算出する(ステップS305a、S305b)。選択を受け付けた特徴量抽出手段73が一つである場合には、ステップS305aのみにより、選択を受け付けた特徴量抽出手段73が二つである場合には、ステップS305a、S305bにより、それぞれに対応する分布範囲を算出する。主制御部21は、算出した分布範囲に関する情報を、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段23の分布範囲情報記憶部232に記憶する(ステップS306)。
図4は、本発明の実施の形態1に係る画像処理装置2の主制御部21の良品判定処理の手順を示すフローチャートである。画像処理装置2の主制御部21は、カメラ1で撮像した、判定対象物に関する多値画像(第二の多値画像)を取得する(ステップS401)。主制御部21は、取得した判定対象物に関する多値画像と、良品に関する多値画像(第一の多値画像)との位置合わせを行う(ステップS402)。具体的には、良品に関する複数の多値画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。
主制御部21は、取得した判定対象物に関する多値画像の画素ごとに、選択を受け付けた特徴量抽出手段73により特徴量を抽出する(ステップS403)。例えば、特徴量抽出手段73として色成分に関する画素値を抽出する第一の特徴量抽出手段73aの選択を受け付けた場合には、判定対象物に関する多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出し、異なる二方向におけるエッジ強度を抽出する第二の特徴量抽出手段73bの選択を受け付けた場合には、判定対象物に関する多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。
主制御部21は、抽出した特徴量が、算出してある良品に関する複数の多値画像の該特徴量の分布範囲に含まれているか否かを判断する(ステップS404)。主制御部21が、抽出した特徴量が分布範囲に含まれていると判断した場合(ステップS404:YES)、主制御部21は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置3の表示画面上に表示する(ステップS405)。
主制御部21が、抽出した特徴量が分布範囲に含まれていないと判断した場合(ステップS404:NO)、主制御部21は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置3の表示画面上に表示する(ステップS406)。なお、特徴量抽出手段73の選択を複数受け付けた場合には、選択を受け付けた特徴量抽出手段73により抽出された特徴量を用いた良品判定の判定結果のうち、一つでも良品ではないと判定された場合には、判定対象物が良品ではないと判定すれば良い。
ここで、第一の特徴量抽出手段73aの選択を受け付けた場合、すなわち抽出される特徴量が、色成分に関する画素値である場合には、良品に関する多値画像の画素ごとの色成分に関する画素値の平均値を算出し、算出した色成分に関する画素値の平均値に基づいて、良品に関する多値画像の画素ごとに画素値の分布範囲を算出する。図5は、本発明の実施の形態1に係る画像処理装置2の第一の特徴量抽出手段73aの選択を受け付けた場合の分布範囲算出手段74aの機能ブロック図である。
図5に示すように、分布範囲算出手段74aは、画素平均値算出手段741、画素値分布範囲算出手段742を含む。画像処理部7の主制御部21は、画素平均値算出手段741、画素値分布範囲算出手段742の処理動作を制御する。
画素平均値算出手段741は、取得した各良品に関する多値画像の画素ごとに、色成分に関する画素値、例えば濃淡値の平均値を算出する。画素値分布範囲算出手段742は、算出した色成分に関する画素値、例えば濃淡値の平均値に基づいて、各良品に関する多値画像の画素ごとに色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する。
例えば、R成分、G成分、B成分それぞれを座標軸とした三次元座標系を想定する。単純にR成分、G成分、B成分の平均値をそれぞれ算出して、各成分の分布範囲を算出して良品判定を行う方法では、色の相違に基づいて判定することができない場合が生じうる。
例えば良品が白に近似する色から濃いグレイまでを含む範囲の色、すなわちR成分の画素値が30〜240、G成分の画素値が30〜240、B成分の画素値が30〜240である場合、赤に近い色の判定対象物、例えばR成分の画素値が200、G成分の画素値が50、B成分の画素値が100である判定対象物については、明らかに良品ではないにもかかわらず、各成分の分布範囲に含まれていると判断されるおそれがある。したがって、R成分、G成分、B成分について個別に判断するのではなく、R成分、G成分、B成分を座標軸とした仮想三次元空間における画素値の分布範囲に含まれているか否かに応じて良品であるか否かを判定する。
図6は、第一の特徴量抽出手段73aの選択を受け付けた場合の、画素値の分布範囲を示す例示図である。図6では、複数の良品に関する多値画像に基づいて、各色成分の画素値をR成分、G成分、B成分を互いに直交する座標軸とした三次元空間に点60、60、・・・としてプロットしている。そして、各色成分の画素値の平均値Avを算出して、算出した平均値Avを中心として、三次元空間に良品判定を行うための分布範囲61を算出している。
このようにすることで、例えば判定対象物の多値画像の画素ごとの各色成分に関する画素値をプロットした点62、63では、点63の方が平均値Avから離れている。しかし、点63は分布範囲61内であるのに対し、点62は分布範囲61の外側にプロットされている。したがって、点63としてプロットされた判定対象物は良品であると判定され、点62としてプロットされた判定対象物は良品ではないと判定される。
分布範囲61の算出方法は特に限定されるものではない。例えば空間距離であるユークリッド距離を用いても良いし、マハラノビス距離を用いても良い。以下、マハラノビス距離を用いる場合について説明する。
まず、画素ごとの色成分に関する画素値のマハラノビス距離DM は、三次元座標軸、すなわち図6の例ではR軸方向、G軸方向及びB軸方向における画素ごとの画素ベクトルx(r、g、b)の平均値をそれぞれ平均値ベクトルμi (rバー、gバー、bバー)、分散共分散行列の逆行列をΣi -1 とした場合、ベクトル行列式を用いて(式1)のように算出することができる。
Figure 0005469532
(式1)において、λj は固有値であり、ベクトルφj は固有値λj に対応した固有ベクトルである。すなわち(式1)で算出するマハラノビス距離DM は、点x(r、g、b)と分布範囲61の重心(平均値)との距離を、固有ベクトルφj 方向成分に分解し、φj 方向成分を分散λj で正規化した距離と言える。なお、(式1)におけるiは分布の区別を示しており、上述した計算では分布範囲61が1つであることから特段の意味を有してはいない。
仮想三次元空間であることから、(式1)において、n=3であり、固有値λj 、固有ベクトルφj はそれぞれ3個であり、固有ベクトルφj も三次元の行列となる。すなわち、分散共分散行列Σi は、(式2)のように表すことができる。
Figure 0005469532
(式2)において、Vは分散を表しており、R成分、G成分、B成分それぞれの分散は(式3)により求めることができる。
Figure 0005469532
また、(式2)において、Covは共分散を表しており、R成分とG成分との共分散、R成分とB成分との共分散、G成分とB成分との共分散は、それぞれ(式4)により求めることができる。
Figure 0005469532
(式4)の分母及び分子にnを乗算して変形することで、(式5)を得る。
Figure 0005469532
(式5)から、良品に関する多値画像に基づいて、画素ごとに、色成分に関する画素値の総和(平均値)、色成分に関する画素値の二乗和、及び二組ずつの色成分の画素値を乗算した値の総和を算出することにより、分散共分散行列Σi を求めることができることがわかる。色成分に関する画素値の総和(平均値)、色成分に関する画素値の二乗和、及び二組ずつの色成分の画素値を乗算した値の総和は、良品画像データ記憶部231に記憶しておき、良品であると判定する分布範囲61を算出する。
次に、判定対象物に関する多値画像の画素ごとの色成分に関する画素値について、(式1)で算出されるマハラノビス距離DM 、すなわち分布範囲61の重心から色成分に関する画素値までの距離を、分布範囲61の重心から色成分に関する画素値に向かう方向における分布範囲61の境界と重心との距離で正規化した値が、所定値より大きい場合には、画素値は分布範囲61に含まれていない。したがって、色の濃淡が良品範囲を超えて変化したことを示しているので、良品ではないと判定することができる。
別の判定方法として、例えば仮想的な楕円球のような形状の範囲(以下、楕円球範囲)の重心から第二の多値画像の画素ごとの画素値までの距離であるユークリッド距離を算出し、算出したユークリッド距離が、楕円球範囲の重心から第二の多値画像の画素ごとの画素値に向かう方向における楕円球範囲の境界と重心との距離に基づく所定値より小さいか否かで相互相関分布範囲に含まれているか否かを判断する。ユークリッド距離を用いることにより、分布広がりの大小により感度が大きく変化することなく良品として判定される相互相関分布範囲から外れている度合いを算出することが可能となる。
また、分布範囲61を楕円球範囲に限定する必要はなく、分布範囲61を内接する直方体形状の範囲を仮想的に算出しても良い。仮想的な楕円球範囲の長軸、及び楕円球範囲の中心点を通り該長軸と直交する2つの短軸を座標軸とした座標系に座標値を変換し、変換した座標系における各第一の多値画像の画素ごとの要素ごとの平均値、及び相互相関分布範囲を再算出する。取得した第二の多値画像の画素ごとに、変換した座標系における画素値を算出し、算出した第二の多値画像の画素ごとの要素ごとの画素値が、再算出した各第一の多値画像の画素ごとの要素ごとの相互相関分布範囲に含まれているか否かを判断する。これにより、検出精度をあまり落とすことなく、演算処理負荷を大きく軽減することが可能となる。
図7は、本発明の実施の形態1に係る画像処理装置2の主制御部21の、第一の特徴量抽出手段73aの選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。斯かる処理は、図3のステップS305aに相当する。
図7において、画像処理装置2の主制御部21は、良品に関する複数の多値画像に基づいて算出して、良品画像データ記憶部231に記憶してある、各多値画像の画素ごとの色成分に関する画素値の総和(平均値)、色成分に関する画素値の二乗和、及び二組ずつの色成分に関する画素値を乗算した値の総和を読み出し(ステップS701)、画素ごとの色成分に関する画素値の分散共分散行列Σiを作成する(ステップS702)。すなわち、(式2)に示す分散共分散行列Σi を作成する。
主制御部21は、分散共分散行列Σi の固有値λj 、固有ベクトルφj を算出し(ステップS703)、分布範囲に関する分布範囲情報として分布範囲情報記憶部232へ記憶する(ステップS704)。
そして、図4のステップS404における分布範囲に含まれているか否かの判断は、取得した判定対象物に関する多値画像の画素ごとの特徴量として、色成分に関する画素値を算出し、(式1)にて算出することができるマハラノビス距離DM が所定値よりも大きい場合には分布範囲61に含まれていないと判断し、良品ではないと判定することができる。
次に、第二の特徴量抽出手段73bの選択を受け付けた場合、すなわち抽出される特徴量が、異なる二方向におけるエッジ強度である場合には、各多値画像の画素ごとの異なる二方向におけるエッジ強度の平均値を算出し、算出した平均値を中心とした各多値画像の画素ごとにエッジ強度の相互相関分布範囲を算出する。図8は、本発明の実施の形態1に係る画像処理装置2の第二の特徴量抽出手段73bの選択を受け付けた場合の分布範囲算出手段74bの機能ブロック図である。
図8に示すように、分布範囲算出手段74bは、方向別エッジ強度算出手段744、エッジ強度平均値算出手段745、及びエッジ強度分布範囲算出手段746を含む。画像処理部7の主制御部21は、方向別エッジ強度算出手段744、エッジ強度平均値算出手段745、及びエッジ強度分布範囲算出手段746の処理動作を制御する。
方向別エッジ強度算出手段744は、取得した各多値画像の画素ごとに、異なる二方向におけるエッジ強度を算出する。エッジ強度を算出する方向は特に限定されるものではないが、本実施の形態1では、異なる二方向である二次元画像の行方向及び列方向について、それぞれエッジ強度を算出する。具体的にはソーベルフィルタで用いる3×3のウインドウテンプレートを用いて、行方向及び列方向のエッジ強度を算出すれば良い。
エッジ強度平均値算出手段745は、算出した画素ごとの異なる二方向におけるエッジ強度に基づいて、各多値画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出する。
エッジ強度分布範囲算出手段746は、算出した平均値を中心として、各多値画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出する。
図9は、本発明の実施の形態1に係る画像処理装置2の所定の画素ごとの異なる二方向におけるエッジ強度の相互相関分布範囲の例示図である。図9では、二次元画像における行方向のエッジ強度exをX軸、列方向のエッジ強度eyをY軸としている。
エッジ強度平均値算出手段745により、各多値画像の画素ごとに、二次元画像における行方向のエッジ強度exの平均値及び列方向のエッジ強度eyの平均値が算出されているので、各多値画像の画素ごとのエッジ強度の平均値ベクトルEAVE は、エッジ角度θを傾斜角とする直線上に位置する。そして、例えば取得した複数の良品に関する各多値画像(第一の多値画像)の画素ごとのエッジ強度のばらつきが大きい場合であって、エッジ方向がほぼ揃っているときには、良品に関する多値画像のエッジ強度の平均値ベクトルEAVE を長軸及び短軸が交差する点を中心とした仮想的な楕円領域に算出したエッジ強度が分布する。したがって、判定対象物に関する多値画像の画素ごとのエッジ強度を算出して、同一の画素について、二次元画像における行方向のエッジ強度ex及び列方向のエッジ強度eyをプロットしたエッジ点92が、相互相関分布範囲91に含まれているか否かを判断することにより、判定対象物が良品であるか否かを判定することができる。
相互相関分布範囲91の算出方法は特に限定されるものではない。例えば空間距離であるユークリッド距離を用いても良いし、マハラノビス距離を用いても良い。以下、マハラノビス距離を用いる場合について説明する。
この場合、図2に示す判断手段78の距離算出手段79は、分布範囲の重心、例えば図9の例では仮想的な楕円領域である相互相関分布範囲91の重心(中心点)から判定対象物に関する多値画像の画素ごとのエッジ点(特徴量)までの距離を、重心からエッジ点(特徴量)に向かう方向における相互相関分布範囲91の境界と重心との距離で正規化したマハラノビス距離を算出する。
画素ごとのエッジ強度のマハラノビス距離DM
は、異なる二方向、すなわち図9の例ではX軸方向及びY軸方向における画素ごとのエッジ強度ベクトルx(ex 、ey )の平均値をそれぞれ平均値ベクトルμi (ex バー、ey バー)、分散共分散行列の逆行列をΣi -1 とした場合、ベクトル行列式を用いて(式6)のように算出することができる。
Figure 0005469532
(式6)において、λj は固有値であり、ベクトルφj は固有値λj に対応した固有ベクトルである。すなわち(式6)で算出するマハラノビス距離DM は、点x(ex 、ey )と相互相関分布範囲91の重心との距離を、固有ベクトルφj 方向成分に分解し、固有ベクトルφj 方向成分を分散λj で正規化した距離と言える。なお、(式6)におけるiは分布の区別を示しており、上述した計算では相互相関分布範囲91が1つであることから特段の意味を有してはいない。
図6とは異なり、異なる二方向の二次元空間であることから、(式6)において、n=2であり、固有値λj 、固有ベクトルφj はそれぞれ2個であり、固有ベクトルφj も二次元の行列となる。すなわち、分散共分散行列Σi は、(式7)のように表すことができる。
Figure 0005469532
(式7)において、Vは分散を表しており、X軸方向のエッジ強度、Y軸方向のエッジ強度それぞれの分散は(式8)により求めることができる。
Figure 0005469532
また、(式8)において、Covは共分散を表しており、X軸方向のエッジ強度とY軸方向のエッジ強度との共分散は、(式9)により求めることができる。
Figure 0005469532
(式9)から、良品に関する多値画像に基づいて、画素ごとに、異なる二方向におけるエッジ強度の総和(平均値)、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和を算出することにより、分散共分散行列Σi を求めることができることがわかる。異なる二方向におけるエッジ強度の総和(平均値)、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和は、良品画像データ記憶部231に記憶しておき、良品であると判定する相互相関分布範囲91を算出する。
次に、判定対象物に関する多値画像の画素ごとの異なる二方向(X軸方向及びY軸方向)におけるエッジ強度について、(式6)で算出されるマハラノビス距離DM 、すなわち相互相関分布範囲91の重心からエッジ点(特徴量)までの距離を、相互相関分布範囲91の重心からエッジ点(特徴量)に向かう方向における相互相関分布範囲91の境界と重心との距離で正規化した値が、所定値より大きい場合には、エッジ点は相互相関分布範囲91に含まれていない。したがって、エッジ角度が良品範囲を超えて変動したことを示しているので輪郭線の形状が大きく変化したと判断することができ、良品ではないと判定することができる。
図10は、本発明の実施の形態1に係る画像処理装置2の主制御部21の、第二の特徴量抽出手段73bの選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。斯かる処理は、図3のステップS305bに相当する。
図10において、画像処理装置2の主制御部21は、良品に関する多値画像に基づいて算出して、良品画像データ記憶部231に記憶してある、各多値画像の画素ごとの異なる二方向におけるエッジ強度の総和(平均値)、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和を読み出し(ステップS1001)、画素ごとの異なる二方向におけるエッジ強度の分散共分散行列Σiを作成する(ステップS1002)。
主制御部21は、分散共分散行列Σi の固有値λj 、固有ベクトルφj を算出し(ステップS1003)、相互相関分布範囲に関する分布範囲情報として分布範囲情報記憶部232へ記憶する(ステップS1004)。
そして、図4のステップS404における分布範囲に含まれているか否かの判断は、取得した判定対象物に関する多値画像の画素ごとの特徴量として、異なる二方向におけるエッジ強度を算出し、(式6)にて算出することができるマハラノビス距離DM が所定値よりも大きい場合には相互相関分布範囲91に含まれていないと判断し、良品ではないと判定することができる。
図11は、本発明の実施の形態1に係る画像処理装置2の主制御部21の、指標値を用いる場合の良品判定処理の手順を示すフローチャートである。画像処理装置2の主制御部21は、カメラ1で撮像した、判定対象物に関する多値画像を取得する(ステップS1101)。主制御部21は、取得した判定対象物に関する多値画像と、良品画像データ記憶部231に記憶してある良品に関する多値画像との位置合わせを行う(ステップS1102)。具体的には、良品に関する複数の多値画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。多値画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。
主制御部21は、取得した多値画像の画素ごとに、異なる二方向におけるエッジ強度を算出する(ステップS1103)。エッジ強度を算出する方向は特に限定されるものではないが、上述した方法と同様、異なる二方向である二次元画像における列方向及び行方向について、それぞれエッジ強度を算出する。
主制御部21は、算出した多値画像の画素ごとのエッジ強度が、算出した良品に関する複数の多値画像の画素ごとのエッジ強度の相互相関分布範囲に含まれているか否かを判断する(ステップS1104)。主制御部21が、算出したエッジ強度が相互相関分布範囲に含まれていると判断した場合(ステップS1104:YES)、主制御部21は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置3の表示画面上に表示する(ステップS1105)。主制御部21が、算出したエッジ強度が相互相関分布範囲に含まれていないと判断した場合(ステップS1104:NO)、主制御部21は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置3の表示画面上に表示する(ステップS1106)。
なお、上述した実施の形態1では、相互相関分布範囲が、仮想的な楕円領域である場合について説明しているが、例えば取得した良品に関する多値画像のエッジ強度のばらつきが小さい場合であって、ばらつく方向がランダムになっているときには、良品に関する多値画像のエッジ強度の平均値ベクトルEAVE を中心とした仮想的な円領域に、算出したエッジ強度が分布する。図12は、本発明の実施の形態1に係る画像処理装置2の、エッジ強度のばらつきが小さく、ばらつく方向がランダムになっている場合の、所定の画素におけるエッジ強度の相互相関分布範囲の例示図である。図12も図9と同様、二次元画像の行方向のエッジ強度exをX軸、列方向のエッジ強度eyをY軸としている。
図12に示すように、相互相関分布範囲91を算出する基礎となった良品の精度が高い場合、良品に関する多値画像のエッジ強度の平均値ベクトルEAVE を中心とした非常に狭い円領域として相互相関分布範囲91が算出される。判定対象物に関する画素ごとの多値画像のエッジ強度を算出し、同一の画素について、二次元画像の行方向のエッジ強度ex及び列方向のエッジ強度eyをプロットしたエッジ点92が、相互相関分布範囲91に含まれているか否かを判断する場合、相互相関分布範囲91が狭小であることから、図9よりも微妙な相違、例えば輪郭線のシャープさ、形状の微妙な相違等まで検出することが可能となる。
一方、良品の輪郭線以外の部分については、通常はエッジ強度は0(ゼロ)に近い。したがって、エッジ強度の平均値ベクトルEAVE が原点である仮想的な円領域に、算出したエッジ強度が分布する。図13は、本発明の実施の形態1に係る画像処理装置2の、輪郭線以外の部分の所定の画素におけるエッジ強度の相互相関分布範囲の例示図である。図13も図9と同様、異なる二方向である二次元画像の行方向のエッジ強度exをX軸、列方向のエッジ強度eyをY軸としている。
図13に示すように、良品の輪郭線以外の部分である場合、良品に関する多値画像のエッジ強度の平均値ベクトルEAVE が原点である非常に狭い円領域として相互相関分布範囲91が算出される。判定対象物に関する多値画像の画素ごとのエッジ強度を算出して、同一の画素について、二次元画像における行方向のエッジ強度ex及び列方向のエッジ強度eyをプロットしたエッジ点92が、相互相関分布範囲91に含まれているか否かを判断する場合、従来の方法では検出することが困難であった、判定対象物表面の傷、くぼみ等であっても、相互相関分布範囲91が狭小であることから、形状の微妙な相違まで容易に検出することが可能となる。
また、良品ごとに、輪郭線に微妙な歪が存在する場合、すなわち輪郭線近傍の画素において、輪郭線であったりなかったりするほど輪郭線のばらつきが大きい場合には、分布範囲が仮想的な楕円領域であっても分布範囲が原点近傍を含むように広がる。図14は、本発明の実施の形態1に係る画像処理装置2の、輪郭線のばらつきが大きい場合の、所定の画素におけるエッジ強度の相互相関分布範囲の例示図である。図14も図9と同様、二次元画像における行方向のエッジ強度exをX軸、列方向のエッジ強度eyをY軸としている。
図14に示すように、輪郭線のばらつきが大きい場合、図9と比べて広い範囲に相互相関分布範囲91が存在するので、輪郭線の微妙なブレ、位置の微妙なズレ等を検出することはできない。しかし、バリ、欠け等が存在する判定対象物について、二次元画像における行方向のエッジ強度ex及び列方向のエッジ強度eyをプロットしたエッジ点92は、エッジ強度の方向が変化することから、相互相関分布範囲91に含まれていることはない。したがって、バリ、欠け等の存在は、容易に検出することができる。
さらに、良品ごとに色が異なる等の相違がある場合であって、良品に関する多値画像のエッジ強度のばらつき方向が反転しているようなときには、エッジ強度の平均値ベクトルEAVE を中心とした複数の仮想的な円領域に、算出したエッジ強度が分布する場合も生じうる。図15は、本発明の実施の形態1に係る画像処理装置2の、エッジ強度のばらつき方向がほぼ揃っている場合の、所定の画素におけるエッジ強度の相互相関分布範囲の例示図である。図15も図9と同様、二次元画像における行方向のエッジ強度exをX軸、列方向のエッジ強度eyをY軸としている。
図15に示すように、相互相関分布範囲を算出する基礎となった良品ごとに色が相違し、良品に関する多値画像のエッジ強度のばらつき方向が反転しているときには、エッジ強度の平均値は2つの平均値ベクトルEAVE1、EAVE2が存在し、エッジ強度の平均値ベクトルEAVE1、EAVE2をそれぞれ中心とした仮想的な楕円領域として相互相関分布範囲91a、91bが算出される。判定対象物に関する多値画像の画素ごとのエッジ強度を算出し、同一の画素について、二次元画像の行方向のエッジ強度ex及び列方向のエッジ強度eyをプロットしたエッジ点92が、相互相関分布範囲91a、91bに含まれているか否かを判断する場合、相互相関分布範囲91a、91bを包括するような分布範囲(近似分布範囲)93を算出して、近似分布範囲93に含まれているか否かを判断する。
近似分布範囲93の算出方法は特に限定されるものではない。
近似分布範囲93に含まれているが、相互相関分布範囲91a、91bには含まれていない範囲については、エッジ強度の方向が略一致していると判断することができる。形状が相違する等の場合には、エッジ強度の方向が大きく相違することから、異なる二方向である二次元画像における行方向のエッジ強度ex及び列方向のエッジ強度eyをプロットしたエッジ点92は、近似分布範囲93から離れる。したがって、エッジ強度の変化を確実に把握することができ、良品であるか否かを判定することが可能となる。
相互相関分布範囲に含まれているか否かの判断を数値演算する場合、相互相関分布範囲が角度θを有する楕円形状の範囲であることから主制御部21の演算処理負荷が大きい。そこで、相互相関分布範囲が仮想的な楕円形状の範囲である場合、楕円形状の長軸、及び楕円形状の中心点を通り該長軸と直交する短軸を座標軸とした座標系に座標値を変換し、変換した座標系の長軸方向及び短軸方向を異なる二方向として、取得した良品に関する多値画像の画素ごとに、要素ごとのエッジ強度、エッジ強度の要素ごとの平均値、及びエッジ強度の要素ごとの分布範囲を再算出しても良い。
以上のように本実施の形態1によれば、取得した判定対象物に関する多値画像(第二の多値画像)の性状に応じて、良品であるか否かを判定する基礎となる特徴量を抽出する手段を少なくとも一つ選択することができるので、適切な特徴量抽出手段73を選択することにより、欠陥が輪郭線近傍に生じている場合であっても欠陥の存在を検出することができ、色の相違についても高い感度で検出することが可能となる。例えば選択を受け付けた特徴量抽出手段73が、色成分に関する画素値を特徴量として抽出する場合、色の相違による濃淡のばらつきの存在を検出することができ、選択を受け付けた特徴量抽出手段73が異なる二方向におけるエッジ強度を特徴量として抽出する場合、輪郭線近傍に生じている欠陥の存在を検出することができる。
(実施の形態2)
本発明の実施の形態2に係る画像処理装置の構成は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態2は、特徴量を抽出する手段として、判定対象物の表面の粗さの特徴量を抽出する第三の特徴量抽出手段73cの選択を受け付けることができる点で、実施の形態1とは相違する。
第三の特徴量抽出手段73cの選択を受け付けた場合、判定対象物の表面の粗さの特徴量として、画素ごとの画素値のばらつきの大きさを示す特徴量を抽出すればよい。しかし、局所的な画素値の分散を画素ごとに算出するのは、演算処理負荷が過大となる。そこで、画素値のエッジ強度を算出して得たエッジ強度画像において、画素ごとに周辺画素との平均化処理を実行することにより、演算処理負荷を軽減しつつ、判定対象物の表面の粗さを表す特徴量とした。図16は、本発明の実施の形態2に係る画像処理装置2の、第三の特徴量抽出手段73cを含む場合の構成例を示す機能ブロック図であり、図17は、本発明の実施の形態2に係る画像処理装置2の、第三の特徴量抽出手段73cの機能ブロック図である。
図16に示すように、特徴量抽出手段73は、第一の特徴量抽出手段73a、第二の特徴量算出手段73bに加えて、第三の特徴量算出手段73cを備えている。分布範囲算出手段74は、選択を受け付けた特徴量抽出手段73ごとに抽出した特徴量に基づいて、良品判定を行うための分布範囲を算出する。第一の特徴量抽出手段73aの選択を受け付けた場合には、分布範囲算出手段74aにより、第二の特徴量抽出手段73bの選択を受け付けた場合には、分布範囲算出手段74bにより、第三の特徴量抽出手段73cの選択を受け付けた場合、分布範囲算出手段74cにより、それぞれ分布範囲を算出する。算出した分布範囲に関する情報は、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段23の分布範囲情報記憶部232に記憶される。
また、図17に示すように、粗さの特徴量を抽出する第三の特徴抽出手段73cは、エッジ強度算出手段731、平均化処理手段732を含む。画像処理部7の主制御部21は、エッジ強度算出手段731、平均化処理手段732の処理動作を制御する。
エッジ強度算出手段731は、取得した各多値画像の画素ごとに、粗さの特徴量としてエッジ強度を算出する。ただし、実施の形態1と異なり、異なる二方向のエッジ強度という限定はなく、例えば周知の異なる2方向のソーベルフィルタを用いて得た値のそれぞれの二乗和の平方根、又はそれぞれの絶対値の和を算出すれば良い。平均化処理手段732は、算出したエッジ強度に基づいて、各多値画像の画素ごとに、平均化処理を実行する。平均化処理は、周知の方法であれば特に限定されるものではなく、例えば3×3、5×5の平均化フィルタを用いて平均化すれば良い。
単純に、各多値画像の画素値に基づいて平均化処理を実行した場合には、判定対象物に関する多値画像の粗さ、ざらつき具合等を区別することができないことから、平均化処理を実行した画像からは表面の粗さの相違を検出することはできない。それに対して、画素ごとのエッジ強度に基づいて平均化処理を実行した場合には、ざらつきが大きい画素では値が大きくなり、ざらつきが小さい画素では値が小さくなる。
なお、第三の特徴量抽出手段73cの選択を受け付けた場合、分布範囲は画素ごとの所定値により特定される。すなわち、複数の良品に関する多値画像の画素ごとの粗さの特徴量の平均値と判定対象物に関する多値画像の画素ごとの粗さの特徴量との差分値が、画素ごとに所定値より小さいか否かに基づいて良品であるか否かを判定することができる。
図18は、本発明の実施の形態2に係る画像処理装置2の主制御部21の、第三の特徴量抽出手段73cの選択を受け付けた場合の、粗さの特徴量抽出処理の手順を示すフローチャートである。これは、第三の特徴量抽出手段73cの選択を受け付けた場合の図3のステップS304の処理に相当する。
図18において、画像処理装置2の主制御部21は、良品に関する複数の多値画像に基づいて算出して、良品画像データ記憶部231に記憶してある各多値画像の画素ごとに、粗さの特徴量としてエッジ強度を算出する(ステップS1801)。ただし、実施の形態1と異なり、異なる二方向のエッジ強度という限定はなく、例えば周知の異なる2方向のソーベルフィルタを用いて得た値のそれぞれの二乗和の平方根、又はそれぞれの絶対値の和を算出すれば良い。
主制御部21は、算出したエッジ強度に基づいて、各多値画像の画素ごとに、平均化処理を実行する(ステップS1802)。平均化処理は、周知の方法であれば特に限定されるものではなく、例えば3×3、5×5の平均化フィルタを用いて平均化すれば良い。
なお、判断の基準となる分布範囲を、画素ごとの粗さの特徴量の指標値として算出しても良い。この場合、例えば画素ごとの粗さの特徴量の平均値、画素ごとの平均値を用いた標準偏差を算出する。算出した画素ごとの標準偏差を定数倍して、定数を加算することにより、画素ごとの指標値を求めることができる。
図19は、本発明の実施の形態2に係る画像処理装置2の主制御部21の、指標値を用いる場合の良品判定処理の手順を示すフローチャートである。画像処理装置2の主制御部21は、カメラ1で撮像した、判定対象物に関する多値画像を取得する(ステップS1901)。主制御部21は、取得した判定対象物に関する多値画像と、良品画像データ記憶部231に記憶してある良品に関する多値画像との位置合わせを行う(ステップS1902)。具体的には、良品に関する複数の多値画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。多値画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。
主制御部21は、取得した多値画像の画素ごとに、粗さの特徴量、すなわち平均化処理が実行された後のエッジ強度を算出し(ステップS1903)、算出した粗さの特徴量と、良品に関する画像から求めた粗さの特徴量の平均値との差分値を算出して(ステップS1904)、算出した差分値を指標値として、分布範囲に含まれているか否かを判断する(ステップS1905)。
主制御部21が、指標値が分布範囲に含まれていると判断した場合(ステップS1905:YES)、主制御部21は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置3の表示画面上に表示する(ステップS1906)。
主制御部21が、指標値が分布範囲に含まれていないと判断した場合(ステップS1905:NO)、主制御部21は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置3の表示画面上に表示する(ステップS1907)。
以上のように本実施の形態2によれば、取得した判定対象物に関する多値画像(第二の多値画像)の画素ごとに粗さの特徴量を算出し、良品に関する多値画像(第一の多値画像)の画素ごとの粗さの特徴量の平均値との差分値が所定値より小さいか否かを判断することにより、判定対象物に関する多値画像の粗さ、ざらつき具合等を区別することができ、判定対象物の表面の粗さの相違を確実に検出することが可能となる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。異なる二方向として二次元画像の列方向及び行方向としているが、特に限定されるものではないし、色成分についてもR成分、G成分、B成分だけではなく、シアン成分、マゼンタ成分、イエロー成分であっても良い。
1 カメラ(撮像手段)
2 画像処理装置
3 表示装置(画像表示手段)
4 可搬型記録媒体
5 コンピュータプログラム
6 外部制御機器
7 画像処理部
8 画像表示部
21 主制御部
22 メモリ
23 記憶手段
24 入力手段
25 出力手段
26 通信手段
27 補助記憶手段
28 内部バス

Claims (10)

  1. 判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置において、
    撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段と、
    取得した第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、取得した第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、いずれか1つの特徴量抽出手段の選択を受け付ける選択受付手段と、
    前記複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により抽出した特徴量に基づき、前記第一の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに色成分に関する画素値の分布範囲を算出し、前記第二の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに異なる二方向におけるエッジ強度からエッジ強度の分布範囲を算出する分布範囲算出手段と、
    判定対象物に関する第二の多値画像を取得する多値画像取得手段と、
    取得した第二の多値画像の画素ごとに、前記複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した前記第二の多値画像の特徴量が、対応する前記第一の多値画像から得られた前記分布範囲に含まれているか否かを判断する判断手段と
    を備えることを特徴とする画像処理装置。
  2. 前記第一の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、
    取得した各第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出する画素平均値算出手段と、
    算出した色成分に関する画素値の平均値に基づいて、各第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する画素値分布範囲算出手段と
    を有し、
    前記判断手段は、取得した第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断するようにしてあり、
    前記第二の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、
    取得した各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を算出する方向別エッジ強度算出手段と、
    算出したエッジ強度に基づいて、各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出するエッジ強度平均値算出手段と、
    算出した平均値を中心として、各第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出するエッジ強度分布範囲算出手段と
    を有し、
    前記判断手段は、取得した第二の多値画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする請求項1記載の画像処理装置。
  3. 前記分布範囲算出手段は、仮想的な楕円領域として前記相互相関分布範囲を算出するようにしてあることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記判断手段は、仮想的な前記楕円領域の重心から前記第二の多値画像の画素ごとに抽出した特徴量までの距離を、前記重心から前記特徴量に向かう方向における前記楕円領域の境界と前記重心との距離で正規化したマハラノビス距離を算出する距離算出手段を備え、
    算出したマハラノビス距離が所定値より小さいか否かで前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする請求項3記載の画像処理装置。
  5. 前記距離算出手段は、仮想的な前記楕円領域の重心から前記第二の多値画像の画素ごとに抽出した特徴量までの距離であるユークリッド距離を算出するようにしてあり、
    前記判断手段は、算出したユークリッド距離が所定値より小さいか否かで前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする請求項3記載の画像処理装置。
  6. 前記第一の多値画像と前記第二の多値画像との位置合わせを行う位置調整手段を備えることを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。
  7. 判定対象物の表面の粗さの特徴量を抽出する第三の特徴量抽出手段を備え、
    前記第三の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、
    取得した各第一の多値画像の画素ごとの粗さの特徴量に基づいて、画素ごとの平均値及び分布範囲を算出し、画素ごとに第二の多値画像の粗さの特徴量と前記平均値との差分値が、所定値より小さいか否かを判断するようにしてあることを特徴とする請求項1乃至6のいずれか一項に記載の画像処理装置。
  8. 前記選択受付手段が、複数の特徴量抽出手段の選択を受け付けた場合であって、前記判断手段が、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する前記分布範囲に含まれていないと判断したとき、前記判定対象物は良品ではないと判定するようにしてあることを特徴とする請求項1乃至7のいずれか一項に記載の画像処理装置。
  9. 判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能な画像処理方法において、
    撮像手段で撮像された、良品に関する複数の第一の多値画像を取得するステップと、
    取得した第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の抽出ステップと、取得した第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の抽出ステップとを少なくとも含む複数の抽出ステップのうち、いずれか1つの抽出ステップの選択を受け付けるステップと、
    前記複数の抽出ステップのうち選択を受け付けた抽出ステップにより特徴量を抽出し、抽出した特徴量に基づき、前記第一の抽出ステップが選択された場合には、良品判定を行うための分布範囲として、画素ごとに色成分に関する画素値の分布範囲を算出し、前記第二の抽出ステップが選択された場合には、良品判定を行うための分布範囲として、画素ごとに異なる二方向におけるエッジ強度からエッジ強度の分布範囲を算出するステップと、
    判定対象物に関する第二の多値画像を取得するステップと、
    取得した第二の多値画像の画素ごとに、前記複数の抽出ステップのうち選択を受け付けた抽出ステップにより特徴量を抽出し、抽出した前記第二の多値画像の特徴量が、対応する前記第一の多値画像から得られた前記分布範囲に含まれているか否かを判断するステップと
    を含むことを特徴とする画像処理方法。
  10. 判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能なコンピュータプログラムにおいて、
    前記画像処理装置を、
    撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段、
    取得した第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、取得した第一の多値画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、いずれか1つの特徴量抽出手段の選択を受け付ける選択受付手段、
    前記複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により抽出した特徴量に基づき、前記第一の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに色成分に関する画素値の分布範囲を算出し、前記第二の特徴量抽出手段が選択された場合には、良品判定を行うための分布範囲として、画素ごとに異なる二方向におけるエッジ強度からエッジ強度の分布範囲を算出する分布範囲算出手段、
    判定対象物に関する第二の多値画像を取得する多値画像取得手段、及び
    取得した第二の多値画像の画素ごとに、前記複数の特徴量抽出手段のうち選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した前記第二の多値画像の特徴量が、対応する前記第一の多値画像から得られた前記分布範囲に含まれているか否かを判断する判断手段
    として機能させることを特徴とするコンピュータプログラム。
JP2010117092A 2010-05-21 2010-05-21 画像処理装置、画像処理方法及びコンピュータプログラム Expired - Fee Related JP5469532B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010117092A JP5469532B2 (ja) 2010-05-21 2010-05-21 画像処理装置、画像処理方法及びコンピュータプログラム
US13/091,218 US8594416B2 (en) 2010-05-21 2011-04-21 Image processing apparatus, image processing method, and computer program
CN201110131814.5A CN102254178B (zh) 2010-05-21 2011-05-20 图像处理设备、图像处理方法和计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010117092A JP5469532B2 (ja) 2010-05-21 2010-05-21 画像処理装置、画像処理方法及びコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2011243139A JP2011243139A (ja) 2011-12-01
JP2011243139A5 JP2011243139A5 (ja) 2013-05-23
JP5469532B2 true JP5469532B2 (ja) 2014-04-16

Family

ID=44972526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010117092A Expired - Fee Related JP5469532B2 (ja) 2010-05-21 2010-05-21 画像処理装置、画像処理方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US8594416B2 (ja)
JP (1) JP5469532B2 (ja)
CN (1) CN102254178B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5956814B2 (ja) * 2012-04-20 2016-07-27 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP6037125B2 (ja) * 2013-02-18 2016-11-30 株式会社サタケ 光学式粒状物選別機
US11158039B2 (en) * 2015-06-26 2021-10-26 Cognex Corporation Using 3D vision for automated industrial inspection
JP7077631B2 (ja) * 2018-01-18 2022-05-31 コニカミノルタ株式会社 画像検査装置および画像形成システム
CN110057325B (zh) * 2019-04-26 2020-06-23 湖南大学 一种基于成像仿真的表面粗糙度检测方法及计算设备
CN110310275B (zh) * 2019-07-02 2021-09-28 芜湖启迪睿视信息技术有限公司 一种基于图像处理的链式传送带缺陷检测方法
CN111652319A (zh) * 2020-06-09 2020-09-11 创新奇智(广州)科技有限公司 一种布匹缺陷检测方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3749090B2 (ja) 2000-07-06 2006-02-22 大日本スクリーン製造株式会社 パターン検査装置
JP3741672B2 (ja) 2002-07-08 2006-02-01 株式会社アドイン研究所 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム
JP2005265661A (ja) 2004-03-19 2005-09-29 Ovit:Kk 画像処理方法およびその装置
JP4345930B2 (ja) * 2005-01-28 2009-10-14 Ykk株式会社 物品の外観検査装置
JP4935109B2 (ja) * 2005-03-17 2012-05-23 オムロン株式会社 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
JP2007114843A (ja) * 2005-10-18 2007-05-10 Denso Corp 良否判定装置
US8103087B2 (en) * 2006-01-20 2012-01-24 Hitachi High-Technologies Corporation Fault inspection method
JP5028014B2 (ja) * 2006-02-08 2012-09-19 株式会社日立ハイテクノロジーズ パターン検査方法及びその装置
JP2008139074A (ja) * 2006-11-30 2008-06-19 Rozefu Technol:Kk 画像の欠陥検出方法
JP4943304B2 (ja) * 2006-12-05 2012-05-30 株式会社 Ngr パターン検査装置および方法
JP2008139262A (ja) * 2006-12-05 2008-06-19 Omron Corp 欠陥検査方法およびその方法を用いた検査装置

Also Published As

Publication number Publication date
CN102254178B (zh) 2016-03-30
JP2011243139A (ja) 2011-12-01
US8594416B2 (en) 2013-11-26
CN102254178A (zh) 2011-11-23
US20110286659A1 (en) 2011-11-24

Similar Documents

Publication Publication Date Title
JP5469532B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN111028213B (zh) 图像缺陷检测方法、装置、电子设备及存储介质
US8115169B2 (en) Method and apparatus of pattern inspection and semiconductor inspection system using the same
JP5684505B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN106803244B (zh) 缺陷识别方法及系统
CN112419297B (zh) 一种螺栓松动检测方法、装置、设备及存储介质
JP4824987B2 (ja) パターンマッチング装置およびそれを用いた半導体検査システム
US8019164B2 (en) Apparatus, method and program product for matching with a template
JP4001162B2 (ja) 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置
US11676301B2 (en) System and method for efficiently scoring probes in an image with a vision system
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
CN104899888B (zh) 一种基于Legendre矩的图像亚像素边缘检测方法
JP2013224833A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
CN105718931B (zh) 用于确定采集图像中的杂斑的系统和方法
Zhang et al. A new algorithm for accurate and automatic chessboard corner detection
US20200250845A1 (en) Evaluation method and information processing apparatus
JP5486403B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP3661635B2 (ja) 画像処理方法およびその装置
CN112233186A (zh) 基于图像感知的设备气密性检测相机自标定方法
JP5684550B2 (ja) パターンマッチング装置およびそれを用いた半導体検査システム
JP4894747B2 (ja) 部分領域検出装置、対象物識別装置、及びプログラム
JP4560434B2 (ja) 変化領域抽出方法およびこの方法のプログラム
WO2017109946A1 (ja) 形状弁別装置、形状弁別方法及び形状弁別プログラム
CN108399412A (zh) 一种x型角点亚像素提取方法
JP6891792B2 (ja) 測定プログラム、測定装置および測定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140131

R150 Certificate of patent or registration of utility model

Ref document number: 5469532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees