JP6919982B2 - 画像検査装置 - Google Patents

画像検査装置 Download PDF

Info

Publication number
JP6919982B2
JP6919982B2 JP2017093361A JP2017093361A JP6919982B2 JP 6919982 B2 JP6919982 B2 JP 6919982B2 JP 2017093361 A JP2017093361 A JP 2017093361A JP 2017093361 A JP2017093361 A JP 2017093361A JP 6919982 B2 JP6919982 B2 JP 6919982B2
Authority
JP
Japan
Prior art keywords
color
image
distance
background
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017093361A
Other languages
English (en)
Other versions
JP2018189563A (ja
Inventor
木戸 学
学 木戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2017093361A priority Critical patent/JP6919982B2/ja
Priority to US15/925,802 priority patent/US10168216B2/en
Publication of JP2018189563A publication Critical patent/JP2018189563A/ja
Application granted granted Critical
Publication of JP6919982B2 publication Critical patent/JP6919982B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501Colorimeters using spectrally-selective light sources, e.g. LEDs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/502Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using a dispersive element, e.g. grating, prism
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J2003/466Coded colour; Recognition of predetermined colour; Determining proximity to predetermined colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Description

本発明は画像検査装置に関する。
商品(ワーク)が設計通りに生産されたかどうかを判定するためにワークを撮像して得られた画像を検査する画像検査装置は非常に有用である。このような画像検査ではワークの形状や寸法、色などが検査される。特許文献1によれば印刷物などの検査対象物を撮像して色情報を取得し、高精度に色検査を実行する色検査装置が提案されている。
特開平09−126890号公報
色検査装置などの画像検査装置で、ユーザは、表示装置に表示されたワークのカラー画像において抽出対象となる色をクリックするなどして選択する。たとえば、ワークの特定の部位の輪郭を抽出するために、特定の部位(前景)の色情報と、特定の部位の周囲(背景)の色情報とが選択される。画像検査装置は、前景の色情報と背景の色情報を基準としてカラー画像を濃淡画像(グレー画像)に変換する。この濃淡画像において前景の色情報に近い画素ほど淡い色となり、背景の色情報に近い画素ほど濃い色となり、ワークの特定部位のエッジを抽出しやすくなる。
ところで、ワークの特定色の部位の色が一様ではない場合に、ユーザは特定色の部位の色に近い複数の色を選択しなければない。これは背景に関しても同様である。ユーザにとって前景に近い色や背景に近い色を定義することは容易でなないため、画像検査で必要となるすべての色を精度よく抽出してカラー濃淡変換を実行することは困難であった。
そこで、本発明は、抽出色の指定に関するユーザの負担を軽減することで、画像検査の結果のばらつきを小さくすることを目的とする。
本発明の画像検査装置は、たとえば、
検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記表示部に表示されたカラー画像において複数の画素を含む複数の前景領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された前記複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記複数の前景領域それぞれについての前景色と前記背景領域についての背景色として登録する抽出部と、
前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする。
本発明の画像検査装置は、たとえば、
検査対象物に対して互いに異なる波長の照明光を照射する複数の発光素子を有し、各波長の照明光を個別に検査対象物に照射する照明部と、
前記照明部により照射される各波長の照明光ごとに前記検査対象物からの反射光を受光し、前記各波長の照明光に対応する検査対象物の分光画像を生成する撮像部と、
検査対象物について前記撮像部により前記各波長の照明光ごとに生成された複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記表示部に表示されたカラー画像において複数の画素を含む複数の前景領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された前記複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、前記複数の前景領域において抽出された色情報を、前記複数の前景領域それぞれについての前景色として登録するとともに、前記背景領域において抽出された色情報を背景色として登録する抽出部と、
前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
を有し、
前記前景画像生成部は、
複数の前記前景色のそれぞれに対して、前記複数の分光画像における各画素の色と、前記前景色として登録された一の前景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、
前記複数の前景色のそれぞれに対して生成された距離画像を比較し、各画素において最小の画素値が各座標の画素値として選択された前景距離画像を生成し、
前記背景画像生成部は、
前記背景色として一の色情報が登録されている場合は、
前記複数の分光画像における各画素の色と、前記背景色として登録された前記一の色情報との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を前記背景距離画像として生成し、
前記背景色として複数の背景色が登録されている場合は、
前記複数の背景色のそれぞれに対して、前記複数の分光画像における各画素の色と、前記背景色として登録された一の背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、
前記複数の背景色のそれぞれに対して生成された距離画像を比較し、各画素において最小の画素値が各座標の画素値として選択された背景距離画像を生成することを特徴とする画像検査装置
を有することを特徴とする。
画像検査装置を示す図 照明装置を示す図 照明装置を構成する部品を示す図 照明装置の電気的な構成を示す図 画像処理装システムを示す図 マルチスペクトルイメージングにおけるカラー濃淡変換の原理を示す図 抽出色の指定を補助するUIを示す図 抽出色の指定を補助するUIを示す図 抽出色の指定を補助するUIを示す図 色空間における抽出色の分布を示す図 前景背景画像の生成工程の概念を説明する図 画像検査を示すフローチャート 前景背景画像の一例を示す図 画像処理装システムを示す図 画像処理装システムを示す図 画像処理装システムを示す図 抽出色の指定を補助するUIを示す図 抽出色の指定を補助するUIを示す図 抽出色の指定を補助するUIを示す図 抽出色の指定を補助するUIを示す図 抽出色の指定を補助するUIを示す図
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
図1は外観検査システム(画像検査装置8)の一例を示す図である。ライン1は検査対象物であるワーク2を搬送する搬送ベルトなどである。照明装置3は互いに異なる波長の検査光(照明光)を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部の一例である。なお、複数の方向から同時または順番に照明光をワーク2に対して照射するために、複数の同一波長の発光素子が設けられてもよい。カメラ4は照明光により照明された検査対象物からの反射光を受光して輝度画像(分光画像)を生成する撮像手段の一例である。画像処理装置5は、各波長について設定された照明強度で発光素子を順番に点灯させることで画像検査の対象となる検査対象物を照明し、撮像部により取得された複数の検査画像を用いて画像検査を実行する検査部を有する。表示部7は検査に関連する制御パラメータを設定するためのユーザインタフェースや検査画像などを表示する表示装置である。入力部6は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。
<照明装置の構成>
図2(A)は照明装置3の斜視図である。図2(B)は照明装置3の上面図である。図2(C)は照明装置3の底面図である。図2(D)は照明装置3の側面図である。照明装置3の筐体は上ケース21と下ケース22を有している。下ケース22の下部には複数の光源(LEDなどの発光素子)のそれぞれが出力する光を拡散させる光拡散部材23が配置されている。図2(A)や図2(C)が示すように上ケース21や下ケース22と同様に光拡散部材23も円環状を成している。図2(B)や図2(D)が示すように上ケース21の上面にはコネクタ24が設けられている。コネクタ24には照明装置3に格納されている照明制御基板と画像処理装置5とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置3の外部に照明コントローラとして設けられていてもよい。つまり、照明装置3と画像処理装置5との間には照明コントローラが介在してもよい。
図3(A)は照明装置3に格納されている制御基板31とLED基板32とを示す側面図である。制御基板31は点灯制御部が実装された第二基板の一例である。LED基板32は複数の光源が実装された第一基板の一例である。図3(B)はLED基板32の上面図である。図3(C)は照明装置3のうちLED33の付近を拡大した断面図である。図3(D)はLED基板32の底面図である。図3(E)はLED基板32のうちLED33の付近を拡大した側面図である。
制御基板31には照明制御基板やコネクタ24が配置されている。光源群を構成するLEDなどの発光素子はLED基板32に搭載されている。図3(B)が示すように、本実施例では四方向から照明光を照射するために四つのLED基板32が設けられている。つまり、一つのLED基板32が一つの照明ブロックを形成している。四方向から照明光を照射可能とすることでフォトメトリックステレオ用の画像を取得できるようになる。つまり、照明装置3はマルチスペクトルイメージング(MSI)だけでなく、フォトメトリックステレオのために利用されてもよい。一つのLED基板32には四つのLED33が配置されている場合、光源群は16個の発光素子により構成される。ただし、より多数の発光素子が設けられてもよい。たとえば、一つのLED基板32には8つのLED33が配置されており、8つのLED33が発光する光の波長はいずれも異なっていてもよい。図3(C)、図3(D)および図3(E)が示すように、複数のLED33のうち隣り合った二つのLED33の間には遮光部材35が配置されている。多数のLED33を密接に配置すると、隣り合った二つのLED33からそれぞれ照射される照明光が光拡散部材23の同一の領域を通過することがある。この場合、点灯パターンに応じて一方のLED33を非点灯とし、かつ、他方のLED33を点灯した場合と、他方のLED33を非点灯とし、かつ、一方のLED33を点灯した場合とで、ワーク2の表面には同一の照明方向から同一の光量で照明光が照射されてしまう。これでは高い精度で検査画像を生成することが難しくなる。そこで、隣り合った二つのLED33の間に遮光部材35を配置することで、隣り合った二つのLED33について光量の均一性と光源の独立性とのバランスを取っている。図3(C)が示すようにLED33の光の射出方向A1と、主な照明方向A2とは一致していない。そこで、反射鏡34を配置することでLED33から射出される光を光拡散部材23の方向へ偏向している。これによりLED33が発光した光を効率よくワーク2へ照射できるようになろう。この例では射出方向A1と反射鏡34の反射方向とが概ね直交しているが、これは光拡散部材23の断面形状が円弧を成しており(図3(C))、円弧に関する角度(中心角)が約90度になっているからである。このように中心角を大きくすることで、照明装置3をワーク2に対して遠ざけたり、近づけたりしてもワーク2の表面に対してほぼ均一な平行光を照射しやすくなる。以上の図面によれば、複数のLED33が、ある円周上に並べられているが、半径の異なる別の円周上にも複数のLED33が配置されていてもよい。これにより、波長ごとのLED33の数が増えるため、照明光量を増加させることが可能となる。また、第一の円周上にはマルチスペクトルイメージング用のLED33が配置され、第二の円周上には白色LEDが配置されていてもよい。第一の円周の半径と第二の円周の半径とは異なっている。
<照明装置の回路構成>
図4は照明装置3の回路構成の一例を示している。この例では光源群を構成する四つの照明ブロックのうち一つの照明ブロックを示している。四つのLED33a〜LED33dは直列に接続されている。電圧が可変の可変電源41は照明制御基板40によって指定される電圧値(例:2V〜20V)の電圧を生成して出力する。可変定電流源42は、照明制御基板40によって指定される電流値(例:0A〜1A)となるように照明ブロックに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源42は、可変定電流源42に印加されている電圧の値を検出して照明制御基板40にフィードバックし、過電圧から可変定電流源42を保護している。LED33a〜LED33dのそれぞれには並列にスイッチ43a〜スイッチ43dが接続されている。照明制御基板40の点灯制御部45はこれらのスイッチ43a〜スイッチ43dを個別に開閉させることで、LED33a〜LED33dのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、LED33a〜LED33dのそれぞれに並列にスイッチ43a〜スイッチ43dを接続することで、LED33a〜LED33dのいずれか一つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部45は可変定電流源42とグランドとの間に挿入されたメインスイッチ43eのオン/オフを切り替えることで一つの照明ブロック単位での点灯制御を実行する。通信部44は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置5の照明制御部から受信し、点灯制御部45に渡す。点灯制御部45は、制御信号に対応する点灯パターンデータ47を記憶部46から読み出し、点灯パターンデータ47に従ってスイッチ43a〜スイッチ43dを制御する。なお、一つの照明ブロックが8つのLED33により構成される場合、8個のスイッチ43が設けられ、8個のスイッチ43は点灯制御部45によって制御される。8つのLED33は、たとえば、UVからIR2までの8つの波長に対応している。UVは紫外線波長の照明光により取得された分光画像を示している。Bは青波長の照明光により取得された分光画像を示している。Gは緑波長の照明光により取得された分光画像を示している。AMはアンバー波長の照明光により取得された分光画像を示している。ORはオレンジ波長の照明光により取得された分光画像を示している。Rは赤波長の照明光により取得された分光画像を示している。IR1、IR2はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、IR1の波長はIR2の波長よりも短い。
<機能ブロック>
図5は検査装置のブロック図である。この例では照明装置3、カメラ4および画像処理装置5がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置3は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置3は光源群501とこれを制御する照明制御基板40を備えている。すでに図3に示したように、複数の発光素子で一つの照明ブロックが構成され、さらに複数の照明ブロックによって光源群501が構成されていてもよい。照明ブロックの数は一般的には四つであるが、三つ以上であればよい。これは3方向以上の照明方向からワーク2に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各照明ブロックにはそれぞれ波長が異なる照明光を出力する複数の発光素子(LED33)が設けられている。複数の発光素子には白色LEDが含まれていてもよい。白色LEDはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク2の移動補正用の画像を作成するために使用されたりする。図1や図3に示したように照明装置3の外形はリング状をしていてもよい。また、照明装置3は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板40は、画像処理装置5から受信した制御コマンドに応じて光源群501の点灯タイミングや照明パターン(点灯パターン)を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク2に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の波長の照明光が同時に照射されてもよい。照明制御基板40は照明装置3に内蔵されているものとして説明するが、カメラ4に内蔵されていてもよいし、画像処理装置5に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
照明装置3には記憶装置502が内蔵されており、ユーザにより設定された光源群501の点灯タイミングや照明パターンが記憶されている。照明制御基板40は、画像処理装置5からトリガー信号を受け取り、記憶装置502に記憶されている内容に応じて、光源群501を制御することができる。このような構成により、画像処理装置5は、トリガー信号を送信するだけで照明装置3を制御することができるので、画像処理装置5と照明装置3を接続する信号線の数を少なくすることができ、ケーブルの取り回しがよくなる。
カメラ4は照明装置3により照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置5からの制御コマンドに応じて撮像処理を実行する。カメラ4はワーク2の輝度画像を作成して画像処理装置5に転送してもよいし、カメラ4の撮像素子から得られる輝度信号を画像処理装置5に転送し、画像処理装置5が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。また、カメラ4は、照明装置3が出力する各波長の照明光ごとに対象物からの反射光を受光して対象物の画像(分光画像)を生成する撮像部として機能する。
画像処理装置5は、コンピュータの一種であり、CPUやASICなどのプロセッサ510と、RAM、ROM、可搬記憶媒体などの記憶装置520と、ASICなどの画像処理部530と、ネットワークインタフェースなどの通信部550とを有している。プロセッサ510は検査ツールの設定や、制御パラメータの調整、検査画像の生成などを担当する。とりわけ、MSI処理部511は、マルチスペクトルイメージング(MSI)に従って、カメラ4により取得された複数の輝度画像(分光画像)からワーク2のグレー画像を作成したり、グレー画像から検査画像を作成したりする。グレー画像自体が検査画像であってもよい。MSI処理部511は、複数の分光画像から一つのカラー画像を作成してもよい。照明制御部512は、照明制御基板40に対して制御コマンドを送信することで点灯パターンや照明切り替えタイミング、照明強度などを制御する。撮像制御部513は、撮影条件(露光時間、ゲインなど)に従ってカメラ4を制御する。
UI管理部514は、検査ツールを設定するためのユーザインタフェース(UI)や検査画像を生成するために必要となるパラメータを設定するためのUIなどを表示部7に表示し、入力部6から入力された情報に従って検査ツールやパラメータを設定する。検査ツールには、ワーク2が備える特定の特徴(例:ピン)の長さを計測するツールや特徴の面積を計測するツールや、ある特徴から別の特徴までの距離(例:ピン間隔)を計測するツールや、特定の特徴の数を計測するツールや、特定の特徴に傷が有るか無いかを検査するツールなどが含まれてもよい。とりわけ、UI管理部514は色抽出に関する制御パラメータを設定するためのUIを表示部7に表示する。
・画像選択部515はUIを通じてユーザにより選択された画像の画像データを記憶装置520から読み出してUI内の画像表示領域に表示する。たとえば、画像選択部515はUIを通じて色抽出の対象となるワーク2のカラー画像データ521を記憶装置520から取得する。
・領域指定部516は表示された画像に対して検査ツールの検査領域などの指定をユーザから受け付ける。また、領域指定部516は表示されたカラー画像のうち登録色を抽出するための領域であって複数の画素を含む抽出領域の指定を受け付ける。領域指定部516は、抽出領域の形状(例:矩形、円、楕円、任意形状)の選択を受け付けて抽出領域を示す枠線の形状をUIに反映させてもよい。なお、前景色の抽出領域は前景領域と呼ばれてもよい。背景色の抽出領域は背景領域と呼ばれてもよい。前景色とは、画像検査の対象となる部位(特徴)の色情報である。画像検査の対象となる部位(特徴)は前景とよばれてもよい。背景とは、前景の周囲であって、画像検査の対象とはならない部位である。背景色とは、背景の色情報である。背景色の抽出領域の指定は自動化されてもよい。
・自動領域選択部517は色空間における前景色の位置に基づき背景色の抽出領域を選択する。たとえば、自動領域選択部517は複数の登録色のうちで前景色から遠い色を背景色として選択してもよい。あるいは、自動領域選択部517は一つ以上の前景色の選択が終了すると、選択されたすべての前景色から遠い色を自動的に背景色として選択してもよい。
・ゲイン調整部518は検査画像を生成する際に使用される係数であるゲインの調整を受け付ける。
検査画像生成部560は検査対象物(ライン1を搬送されるワーク2など)のカラー画像から画像検査用の検査画像を生成する。検査画像生成部560は様々な機能を備えている。カラー画像は複数の分光画像から構成されている、分光画像群(マルチチャネル画像)である。
・取得部561は、画像選択部515を通じてユーザにより指定された画像を記憶装置520やカメラ4から取得する。つまり、画像選択部515は取得部561を通じて画像データを取得する。
・抽出部562は前景色や背景色などの登録色を演算する。たとえば、抽出部562は領域指定部516または自動領域選択部517により指定された抽出領域の色情報を抽出する。色情報は、たとえば、平均画素、分散共分散行列、抽出領域に含まれる画素の数などから構成されてもよい。つまり、色情報は領域内の色の分布を示す情報を含んでいる。
・分類部563は、抽出部562により抽出された各領域の色情報を、ユーザの指示に従って前景グループと背景グループとのいずれかのグループに分類する。前景グループは前景の色情報(前景色)から形成されるグループである。背景グループは背景の色情報(背景色)から形成されるグループである。分類部563は、抽出部562により抽出された前景色の色情報を前景色データ522として記憶装置520に記憶させる。また、分類部563は、抽出部562により抽出された背景色の色情報を背景色データ524として記憶装置520に記憶させる。
・距離画像生成部564は、色空間座標上における登録色に対するカラー画像の各画素の色の距離を演算し、各画素の値を距離に置換することで距離画像を生成する。たとえば、距離画像生成部564は一つのカラー画像と九個の前景色とから九個の距離画像を生成する。このように距離画像生成部564は距離演算機能を有している。なお、一つのカラー画像は複数の分光画像から形成されている。
・前景画像生成部565は複数の前景色から得られた複数の距離画像に基づき一つの前景距離画像(前景画像)を生成する。たとえば、前景画像生成部565は、複数の距離画像について各画素の距離を比較し、最小の距離を前景距離画像におけるその画素の値に決定する。このように、前景画像生成部565は画像を構成するすべての画素について最小距離を探索することで前景距離画像を生成する。前景画像生成部565は前景距離画像を前景画像データ525として記憶装置520に格納する。
・背景画像生成部566は少なくとも一つの背景色から得られた距離画像に基づき一つの背景距離画像(背景画像)を生成する。たとえば、背景画像生成部566は、複数の距離画像について各画素の距離を比較し、最小の距離を背景距離画像におけるその画素の値に決定する。このように、背景画像生成部566は画像を構成するすべての画素について最小距離を探索することで背景距離画像を生成する。なお、背景色が一つの場合、距離画像も一つであるため、この距離画像はそのまま背景距離画像となる。背景画像生成部566は背景距離画像を背景画像データ526として記憶装置520に格納する。前景画像生成部565や背景画像生成部566は最小距離探索部として機能する。
・前景背景画像生成部567は、前景距離画像と背景距離画像とに基づき検査画像の一種である前景背景画像を生成する。前景背景画像生成部567は、前景距離画像と背景距離画像との差分画像を前景背景画像として生成してもよい。つまり、前景背景画像生成部567は差分演算機能を有している。前景背景画像生成部567は前景背景画像を検査画像データ527として記憶装置520に格納する。
なお、検査画像生成部560は登録色に基づきカラー画像をカラーグレー変換(カラー濃淡変換)することで、検査画像を生成している。つまり、検査画像生成部560は検査対象物のカラー画像の各画素の色と抽出色との色空間内での距離に基づいて、検査対象物のカラー画像の各画素の多次元の色情報を、一次元の色情報に変換する変換部として機能する。なお、検査画像生成部560のすべてまたは一部はMSI処理部511に含まれていてもよい。
UI管理部514はユーザにより設定されたこれらの制御パラメータを設定情報523に保存する。UI管理部514は照明条件や撮像条件を設定する設定部として機能したり、検査ツールを設定する設定部として機能したりしてもよい。
画像処理部530は検査画像に対して検査ツールを適用して各種の計測を実行する検査部531などを有している。サーチ部532は画像検査の前に設定された特徴または画像検査中に動的に設定された特徴を、検査画像に配置されたサーチ領域SW内でサーチし、見つかった特徴の位置を求める。検査部531は、見つかった特徴の位置に応じて検査領域(計測領域)の位置を補正する。画像処理部530の機能はプロセッサ510に実装されてもよい。あるいは、プロセッサ510の機能が画像処理部530に実装されてもよい。また、プロセッサ510とプロセッサ510とが協働して単一または複数の機能を実現してもよい。
判定部540は検査画像を用いてワーク2の良否を判定する判定手段として機能する。たとえば、判定部540は画像処理部530において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件(公差など)を満たしているかどうかを判定する。
記憶装置520は、カメラ4によって取得されたカラー画像のデータであるカラー画像データ521、検査画像の画像データである検査画像データ527や各種の制御パラメータを保持する設定情報523を記憶する。また、記憶装置520は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置520はグレー画像から生成された検査画像なども記憶して保持していてもよい。
図14ないし図16は、本発明の画像処理装置に係る他の構成例を示す図である。図14は照明装置3とカメラ4が一体化され、カメラ4に照明装置3を制御するための照明制御基板40が設けられている例を示す図である。この構成では照明装置3とカメラ4が一体に設けられているため、照明装置3とカメラ4を設置する際に、位置合わせをする必要がない。また、照明装置3側には光源群501を制御するための照明制御基板40や記憶装置502は不要となり、これらを有さない汎用的な照明装置3も利用することができる。ユーザはカメラ4に接続されている照明装置3を取り外し、別の種類の照明装置に交換することができる。例えば、本発明におけるマルチスペクトルイメージングに用いる照明装置3に変えて、白色光のみを照射するリング照明など他の種類の照明装置を適宜に選択できる。カメラ4は接続された照明装置3の種類を認識し、設定ユーザインタフェースに反映することが好ましい。これにより、ユーザは接続されている照明装置3に設定が可能な項目に対応したユーザインタフェース上で、照明の設定を行うことができる。認識の方法としては、照明装置3が照明種別情報を記憶しており、カメラ4がその情報を参照する方法などが考えられる。また、画像処理装置5が有する照明制御部512と撮像制御部513を、カメラ4の内部に設ける構成とし、撮像・照明系の制御を画像処理装置5とは独立して実行させる構成としてもよい。
図15は画像処理装置5の一部の機能を、カメラ4側に設けた構成例を示している。カメラ4は分光画像データ521、前景色データ522、背景色データ524、前景画像データ525、背景画像データ526、検査画像データ527、設定情報523を記憶する記憶装置520を備える。カメラ4の内部でMSI処理部511または検査画像生成部560は、分光画像データ521や前景色データ522から前景画像データ522を作成する。カメラ4の内部でMSI処理部511または検査画像生成部560は、分光画像データ521や背景色データ524から背景画像データ526を作成する。さらに、検査画像生成部560は前景画像データ522や背景画像データ526から検査画像データ527を作成する。照明装置3はカメラ4の照明制御部512が制御する。検査設定時に、カメラ4は画像処理装置4に各波長で撮像された分光画像データ521、前景色データ522、背景色データ524、前景画像データ525、背景画像データ526などを画像処理装置5に送信する。設定時には、各波長の照明強度や、各波長の分光画像データ521が検査に必要か否かをユーザが確認するために、画像処理装置5はカメラ4から分光画像データ521を取得し、表示部7に表示する。一方、検査運用時には、カメラ4から画像処理装置5への分光画像データ521の送信を行わず、検査対象である検査画像データ527を画像処理装置5に送信するようにしてもよい。このように、カメラ4に画像処理装置5の一部の機能を負担させることにより、カメラ4と画像処理装置5間の通信負荷が低減され、分散処理により処理が高速化する。
図16は画像処理装置5の全ての機能をカメラ4に内蔵した構成例である。ユーザはカメラ4と照明装置3のみを設置するだけで良いため、設置時の手間がかからない。たとえば、カメラ4の大型化が許容され、高度な画像演算処理が不要な場合に、この構成は有利であろう。
<マルチスペクトルイメージング>
マルチスペクトルイメージングでは点灯色(波長)の異なる照明光が一つずつ順番にワーク2に照射され、各波長ごとの画像が取得される。厳密には波長が異なっている必要はなく、スペクトルが異なっていれば十分である。たとえば、8種類の波長の照明光が照射される場合、8個の画像(分光画像)が取得される。なお、四つの照明ブロックが存在する場合、四つの照明ブロックは同時に点灯する。つまり、同一の波長の四つのLED33が同時に点灯するため、四つの方向から同一波長の照明光がワーク2に照射される。8種類の波長は、たとえば、紫外波長から近赤外波長までの8種類の狭帯域波長である。狭帯域波長とは、白色LEDが発光する光の波長(広帯域波長)の幅と比較して狭い波長をいう。たとえば、青色LEDが発光する光の波長の幅は、白色LEDが発光する光の波長幅よりもずっと狭いため、青色LEDが発光する光の波長は狭帯域波長である。なお、画像検査の中には8個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な波長の照明光だけがワーク2に照射される。一般に、8個の画像がそのまま画像検査に利用されることは少なく、8個の画像から一個のグレー画像が作成され(カラー濃淡変換)、このグレー画像(カラー濃淡画像)が画像検査に利用される。カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対して二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク2における特徴(例:ピン)の位置や寸法(長さや面積)、色がそれぞれ公差の範囲内に収まっているかが検査される。
なお、白色LEDが発光する白色光により分光画像が生成されてもよい。
図6を用いてカラー濃淡変換の一例を説明する。検査対象物であるワーク2のグレー画像を作成するには、良品(モデル)の登録色が必要となる。グレー画像は、登録色の色情報を基準に8個の分光画像を変換することで作成されるからである。
まず、設定モードにおいて、良品から取得された8個の分光画像においてユーザが指定した画像領域(指定領域)から登録色の色情報が抽出される。たとえば、良品がインスタント食品(例:ラーメン)であり、ある具材(例:海老)の数を画像検査により計数する場合、ユーザは、良品の画像を表示し、良品の画像おいて当該具材が含まれる矩形の指定領域を指定し、指定領域に含まれる画素から登録色の色情報が抽出される。登録色の色情報は、平均画素行列、分散共分散行列および指定領域に含まれる画素の数を含む。なお、色情報は、いわゆるスポイトツールにより抽出されてもよい。スポイトツールのUIは領域指定部516に実装されてもよい。
次に、検査モードにおいて、検査対象物であるワーク2について8個の分光画像が取得される。各分光画像に含まれるすべての画素について登録色に対する距離d(x)が求められる(xは8枚の分光画像の各画素値を要素とした8次元ベクトルである)。さらに、距離d(x)に予め定められたゲインgを乗算して積を求め、必要に応じてオフセットaを加え、各画素がとりうる最大階調Gmaxから積を減算することで得られる差Gが注目画素xのグレー階調となる。これは、G = Gmax − (g・d(x) + a)と表記される。
なお、複数の登録色が存在する場合は、各登録色を基準として複数のグレー画像が作成されてもよいし、単一のグレー画像が作成されてもよい。
また、RGB画像などのカラー画像をグレー画像に変換する際にも上述したカラーグレー変換は採用可能である。この場合にもある登録色(ユーザにより指定された色)を基準として各画素の色情報が濃淡情報に変換されてグレー画像が生成される。また、分散共分散行列は明度を示す行列と色度を示す行列とに分解されてもよい。また、明度行列を調整するための明度スケール(係数Sy)が明度行列に乗算されてもよい。同様に色度行列を調整するための色度スケール(係数Sz)が色度行列に乗算されてもよい。これらのスケールは抽出色の分布を調整することで変更されてもよい。
<色抽出(登録色の指定)>
MSIにより生成される画像はマルチチャネル画像である。つまり、各画素がRGBなどの三次元の要素で表現されたり、UVからIR2までの8次元の要素で表現されたりする。一般に、画像検査装置8が備える画像検査ツールが取り扱える画像は一次元の濃淡画像(グレー画像)である。これはカラー濃淡変換が必要であることを意味する。カラー濃淡変換ではユーザにより指定された登録色に対するマハラノビス距離が求められる。したがって、ユーザがどの色を登録色として選択するかに応じて濃淡画像が異なってしまい、画像検査のばらつきが発生する。特にワーク2の表面のうち測定対象となる部位の色が一様ではなく、多数の色で構成されている場合に、この問題が顕在化する。部位を構成するすべての画素の色情報を保持すればこの問題は解決される。しかし、すべての色情報を保持して演算するには大量のメモリが必要となるだけでなく、多大な演算能力も必要となってしまう。したがって、登録色としては数色が選択されるべきであろう。
ところで、部位が複数の色を有している場合であっても各色は似ていることが多い。これは複数の色の発生原因が塗装ムラや色素のムラなどにあるからである。また、人間の目には一色に見えても実際には複数の色であることがある。よって、特定部位の一画素を指定することで登録色を抽出しただけでは、ユーザごとに、画像検査のばらつきが発生してしまう。したがって、本実施例では、測定対象となる部位を構成する複数の色情報を指定領域から抽出することで画像検査のばらつきを削減する。また、必要に応じて色情報を前景グループと背景グループとにグルーピングすることで、前景を背景から精度よく分離することが可能となる。
●ユーザインタフェース
図7、図8、図9は登録色の抽出を行うためのUI700を示している。UI700は、画像表示領域701と各種の設定を行うための設定タブを有している。画像表示領域701には、画像選択部515によって選択され取得部561により取得されたカラー画像がUI管理部514によって表示される。図示は省略されているが、UI700には画像表示領域701に表示される画像を選択するためのプルダウンメニューなどが設けられてもよい。このようなプルダウンメニューは、記憶装置520に記憶されているカラー画像やカメラ4により取得されたカラー画像などを指定するためのUIである。プルダウンメニューに登録されていない画像はプルダウンメニュー内の"参照"を選択することにより、指定可能とされてもよい。画像選択部515はプルダウンメニューにより選択された画像を画像表示領域701に表示する。図7において画像表示領域701にはそれぞれ色の異なる3本のケーブルf1、f2、f3を含むワーク2の画像が表示されている。たとえば、ケーブルf1の色は人間の目に赤色と認識される色である。ケーブルf2の色は人間の目に緑色と認識される色である。ケーブルf3の色は人間の目に青色と認識される色である。また、各ケーブルの色には色むらが存在しており、厳密には同一色ではない。
抽出タブ710は登録色を抽出するためのUIである。ユーザはポインタ706により、プルダウンメニュー711を操作し、色抽出手法として「前景背景抽出」を選択している。前景背景抽出とは、ワーク2のカラー画像から、測定対象となる特徴(前景)についての複数の色(前景色)と、測定対象の周囲(背景)についての複数の色(背景色)とをそれぞれ登録色として抽出することをいう。複数の前景色の色情報は前景グループを形成する。複数の背景色の色情報は背景グループを形成する。前景グループ表示領域714は前景グループに属する登録色を表示する領域である。背景グループ表示領域715は背景グループに属する登録色(前景色)を表示する領域である。前景グループ表示領域714と背景グループ表示領域715はそれぞれ複数のラジオボタン712と複数の登録色表示領域713とを有している。ラジオボタン712は複数の前景色や複数の背景色のうちどの色を登録するかを指定するためのボタンである。この例では、前景グループ表示領域714に九個のラジオボタン712が存在するため、最大で九個の前景色が登録可能となっている。また、背景グループ表示領域715に三個のラジオボタン712が存在するため、最大で三個の背景色が登録可能となっている。ラジオボタン712の数は一例に過ぎない。極端な例をあげれば、背景グループのためのラジオボタン712の数は一個であってもよい。ユーザは登録したい色に対応するラジオボタン712をポインタ706により選択し、次に、ポインタ706をワーク2の画像のうち登録したい色の位置まで移動させる。ユーザはポインタ706をドラッグすることで抽出領域702を指定してもよい。より詳しく説明すると、領域指定部516はポインタ706のドラッグ開始位置と終了位置を検知し、開始位置と終了位置とを結ぶ線を対角線とする矩形の抽出領域702を描画する。このようにして領域指定部516は抽出領域702の指定を受け付ける。抽出部562は、抽出領域702内に存在する複数の画素の色情報を演算し、抽出領域702内の色分布における代表色(平均色)を登録色表示領域713に表示する。MSIに関して説明したように、抽出領域702内の複数の画素の色はある分布を有している。よって、代表色は、抽出領域702内の色の分布の中心座標(平均色)であってもよい。これにより登録色のばらつきが減少する。
図8が示すように、ユーザは前景グループに属する二つ目の登録色を指定するために二つ目のラジオボタン712をクリックする。さらに、ユーザは、ワーク2の画像のうち登録したい色の位置までポインタ706を移動し、さらにポインタ706をドラッグすることで二つ目の抽出領域702を指定する。抽出部562は、二つ目の抽出領域702の代表色を演算し、二つ目の登録色表示領域713に二つ目の代表色を表示する。ユーザはこの作業を前景グループと背景グループについてそれぞれユーザが希望する回数だけ繰り返す。
図9はUI700において九個の前景色と三個の背景色とが登録色として抽出されたことを示している。上述したように登録色の色情報は抽出領域702における平均画素、分散共分散行列、画素数により構成されており、記憶装置520に記憶される。なお、分類部563は、領域指定部516により抽出領域702が受け付けられたときにオンにされているラジオボタン712の位置に応じて抽出領域702から抽出された登録色を前景グループと背景グループとに分類する。たとえば、分類部563は、領域指定部516により抽出領域702が受け付けられたときにオンにされているラジオボタン712が前景グループのためのラジオボタン712であれば、その抽出領域702から抽出された登録色を前景グループに分類する。同様に、分類部563は、領域指定部516により抽出領域702が受け付けられたときにオンにされているラジオボタン712が背景グループのためのラジオボタン712であれば、その抽出領域702から抽出された登録色を背景グループに分類する。チェックボックス716は背景色として前景色の近傍色を自動的に選択することを有効にするためのチェックボックスである。
自動領域選択部517は、チェックボックス716にチェックが付与されると、前景色の周囲に存在する色を背景色として抽出する。たとえば、自動領域選択部517は、ワーク2の画像内を、予め指定された数の色にクラスタリングする。領域指定部516は、生成した複数のクラスタのうちいくつかのクラスタの代表色を、ユーザにより指定された前景色として受け付ける。この場合に、自動領域選択部517は、前景色として指定されてない残りのクラスタの代表色のうち、色空間において、前景色に対して遠い代表色を有するクラスタ複数を背景色として決定し、選択(登録)する。確定ボタン717は、色抽出結果の確定を指示するボタンである。キャンセルボタン718は、色抽出結果を破棄するボタンである。
図7などにおいて調整タブ720は前景背景画像を求めるために利用される係数(例:ゲイン)などを指定するためのタブである。検査タブ730は画像検査結果を表示するタブである。
●前景色と背景色の分布
図10は前景グループFGに属する前景色FC1〜FC9の各分布と背景グループBGに属する背景色BC1〜BC3の各分布を示している。ここでは説明を簡明化するために、多次元の色空間が二次元の色空間に投影されている。各色の分布は正規分布などに近似されてもよい。各色の分布の中心に位置する色が代表色(その位置が代表座標)となる。よって、登録色に対するカラー画像の各画素の距離は、登録色の分布に対するカラー画像の各画素のマハラノビス距離を求めることになる。
図10(A)が示すように、前景グループFGの分布と背景グループBGの分布だけであるとその境界部分が大きく重なってしまう。
しかし、ユーザが前景色FC1〜FC9の色情報と、背景色BC1〜BC3の色情報とをそれぞれ登録することで、図10(B)が示すように、前景グループFGの分布と背景グループBGの分布をよりフレキシブルに表現することができる。このように前景グループを形成する複数の前景色と背景グループを形成する複数の背景色とを登録する作業は、分類処理やグループ化処理と呼ばれてもよい。
●前景背景画像の作成工程
図11は検査画像の一種である前景背景画像FBimgの作成工程を示している。検査画像生成部560は前景グループFGに属する前景色FC1〜FC9それぞれとワーク2のカラー画像の各画素の色との距離(マハラノビス距離)を演算し、前景色FC1〜FC9に対応する九個の距離画像を作成する。なお、カラー画像はマルチチャネル画像であり、つまり、複数の分光画像から構成されているものとする。
まず、検査画像生成部560の距離画像生成部564は前景色FC1とワーク2について取得された複数の分光画像の各画素の色との距離を演算し、前景色FC1に対応する1個の距離画像を作成する。同様に、距離画像生成部564は前景色FC2とワーク2について取得された複数の分光画像の各画素の色との距離を演算し、前景色FC2に対応する1個の距離画像を作成する。距離画像生成部564は残りの前景色FC3〜FC9についてもそれぞれ距離画像を作成する。さらに、距離画像生成部564は、背景グループBGに属する背景色BC1〜BC3それぞれとワーク2について取得された複数の分光画像の各画素の色との距離(マハラノビス距離)を演算し、背景色BC1〜BC3に対応する三個の距離画像を作成する。上述したように距離画像を構成する各画素の値は距離である。また、前景色や背景色などの登録色に対する距離は、登録色の分布における代表色(分布の中心座標)を基準とした距離である。
検査画像生成部560の前景画像生成部565は、前景色FC1〜FC9に対応する九個の距離画像を比較し、各座標についての九個の距離のうちで最小距離を求め、各座標の代表距離として最小距離を採用し、最小距離からなる前景距離画像Fimgを作成する。たとえば、九個の距離画像から注目座標(xi,yi)の距離を読み出し、読み出された九個の距離のうちで最小の距離が、前景距離画像Fimgにおける注目座標(xi,yi)の画素の値に採用される。同様に、背景画像生成部566は、背景色BC1〜BC3に対応する三個の距離画像を比較し、各座標についての三個の距離のうちで最小距離を求め、各座標の代表距離として最小距離を採用し、最小距離からなる背景距離画像Bimgを作成する。
検査画像生成部560の前景背景画像生成部567は、前景距離画像Fimgと背景距離画像Bimgとの差分演算を実行して前景背景画像FBimgを作成する。たとえば、前景背景画像FBimgにおける注目座標(xi,yi)における画素の値をG(xi,yi)は次式から演算される。
G(xi,yi)=g(db(xi,yi)−df(xi,yi))+Gmid ・・・(1)
ここでgは調整タブ720においてユーザにより調整されるゲインである。db(xi,yi)は背景距離画像Bimgにおける注目座標(xi,yi)における画素の値である。df(xi,yi)は前景距離画像Fimgにおける注目座標(xi,yi)における画素の値である。Gmidは中間階調である。たとえば、最大階調が255であれば、Gmidは128である。ただし、(1)式は例示にすぎず、Gmidの値は0であってもよい。
●フローチャート
図12は登録色の抽出処理と検査画像の作成処理とを含む画像検査方法を示すフローチャートである。なお、S1202からS1209までの各工程の順番は、技術的に矛盾が生じない限りにおいて、変更可能である。
S1201でプロセッサ510(取得部561)はワーク2のカラー画像を記憶装置520などから取得する。
S1202でプロセッサ510(領域指定部516)は前景グループに所属することになる前景色が抽出される抽出領域702の指定を受け付ける。カラー画像における抽出領域702の位置と、その抽出領域702が属するグループの識別情報は設定情報523に格納される。
S1203でプロセッサ510(抽出部562)は前景グループについてユーザにより指定された抽出領域702のそれぞれの前景色の色情報を決定する。抽出部562は、前景グループに属する一つ一つの抽出領域702について前景色の色情報を演算する。色情報には抽出領域702における平均画素、分散共分散行列、画素数などが含まれる。前景グループについて九個の抽出領域702が設定された場合、抽出部562は、九個の前景色FC1〜FC9を決定する。前景色FC1〜FC9の色情報は前景色データ522として記憶装置520に格納される。
S1204でプロセッサ510(領域指定部516)は背景グループに所属することになる背景色が抽出される抽出領域702の指定を受け付ける。カラー画像における抽出領域702の位置と、その抽出領域702が属するグループの識別情報は設定情報523に格納される。
S1205でプロセッサ510(抽出部562)は背景グループについてユーザにより指定された抽出領域702のそれぞれの背景色の色情報を決定する。抽出部562は、背景グループに属する一つ一つの抽出領域702について背景色の色情報を演算する。色情報には抽出領域702における平均画素、分散共分散行列、画素数などが含まれる。背景グループについて3個の抽出領域702が設定された場合、抽出部562は、3個の背景色BC1〜BC3を決定する。背景色BC1〜BC9の色情報は背景色データ524として記憶装置520に格納される。
S1206でプロセッサ510(距離画像生成部564)は前景グループに属する各前景色について距離画像を作成する。距離画像生成部564は、色空間座標上におけるカラー画像の各画素の座標と、前景色の代表座標とのマハラノビス距離を算出し、当該距離を画素値とする距離画像を作成する。たとえば、距離画像生成部564は、カラー画像の各画素と前景色FC1とのマハラノビス距離を算出することで、カラー画像における各画素の値をマハラノビス距離に置換する。これにより前景色FC1についての距離画像が作成される。距離画像は前景グループに属するすべて前景色について生成される。
S1207でプロセッサ510(前景画像生成部565)は前景グループについての距離画像を合成して前景距離画像(前景画像)Fimgを作成する。たとえば、前景画像生成部565は、前景グループに属する複数の距離画像を比較し、各座標において最小の画素値を、前景距離画像Fimgにおける各座標の画素値として選択する。たとえば、座標(x,y)の画素について、前景色FC1の画素値(距離)が他の前景色FC2〜FC9の画素値よりも小さければ、前景距離画像Fimgにおける座標(x,y)の画素の画素値として、前景色FC1の画素値が選択される。この選択処理をすべての座標(画素)について実行することで、前景距離画像Fimgが完成する。前景距離画像Fimgは前景画像データ525として記憶装置520に格納される。
S1208でプロセッサ510(距離画像生成部564)は背景グループに属する各背景色について距離画像を作成する。距離画像生成部564は、色空間座標上におけるカラー画像の各画素の座標と、背景色の代表座標とのマハラノビス距離を算出し、当該距離を画素値とする距離画像を作成する。たとえば、距離画像生成部564は、カラー画像の各画素と背景色BC1とのマハラノビス距離を算出することで、カラー画像における各画素の値をマハラノビス距離に置換する。これにより背景色BC1についての距離画像が作成される。距離画像は背景グループに属するすべて背景色について生成される。
S1209でプロセッサ510(背景画像生成部566)は背景グループについての距離画像を合成して背景距離画像(背景画像)Bimgを作成する。たとえば、背景画像生成部566は、背景グループに属する複数の距離画像を比較し、各座標において最小の画素値を、背景距離画像Bimgにおける各座標の画素値として選択する。たとえば、座標(1,1)の画素について、背景色BC1の画素値(距離)が他の背景色BC2、BC3の画素値よりも小さければ、背景距離画像Bimgにおける座標(x,y)の画素の画素値として、背景色BC1の画素値が選択される。この選択処理をすべての座標(画素)について実行することで、背景距離画像Bimgが完成する。背景距離画像Bimgは背景画像データ526として記憶装置520に格納される。なお、背景色が一つしか存在しない場合、距離画像はそのまま背景距離画像Bimgとして採用される。
S1210でプロセッサ510(前景背景画像生成部567)は前景距離画像Fimgと背景距離画像Bimgの差分画像を求めることで、前景背景画像を作成する。前景背景画像は、たとえば、(1)式を用いて作成される。前景背景画像は検査画像データ527として記憶装置520に保持される。
S1211でプロセッサ510は前景背景画像を用いて画像検査を実行する。プロセッサ510は検査部531に対して前景背景画像について所定の画像検査を実行するよう指示する。検査部531は、前景背景画像の検査画像データ527を記憶装置520から読み出し、ユーザにより指定された検査ツールを用いて画像検査を実行する。たとえば、検査部531は、前景背景画像から検査対象部位のエッジを抽出し検査対象部位の寸法を計測したり、二値化処理し面積(エリア)を算出したりする。判定部540は、検査部531により取得された検査結果と閾値(公差など)を比較し、ワーク2が合格品かどうかを判定する。
図13は前景背景画像FBimgの一例を示している。ケーブルf1、f2、f3はそれぞれ異なる色をしているが、それぞれ前景として背景から区別して抽出されている。これにより、ケーブルf1、f2、f3の寸法を正確に計測することが可能となる。
<まとめ>
取得部561やカメラ4などは、検査対象物を前景とし、当該検査対象物の周囲を背景としたカラー画像であって、各画素が多次元の色情報を有するカラー画像を取得する取得部の一例である。とりわけ、取得部561やカメラ4などは検査対象物について複数の分光画像からなるカラー画像を取得する取得部の一例である。表示部7は、取得部561により取得されたカラー画像を表示する表示部の一例である。領域指定部516は表示部7に表示されたカラー画像において複数の画素を含む領域の指定を受け付ける領域指定部の一例である。とりわけ、領域指定部516は表示部7に表示されたカラー画像において一つまたは複数の画素を含む複数の前景領域の指定を受け付ける。色情報がスポイトにより抽出される場合、領域は一つの画素により構成されることになろう。背景領域の指定はオプションである。抽出部562は領域指定部516により指定された各領域の色情報を抽出する抽出部の一例である。とりわけ、抽出部562は領域指定部516により指定された複数の前景領域それぞれにおける色の分布を含む色情報と、複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出する。さらに、抽出部562は、複数の前景領域からそれぞれ抽出された色情報を前景色として登録するとともに、背景領域から抽出された色情報を背景色として登録する。なお、複数の前景色は前景グループを形成し、一つまたは複数の背景色は背景グループを形成する。前景画像生成部565は複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、生成された複数の距離画像に基づいて前景距離画像を生成する。なお、距離画像の生成は距離画像生成部564が担当してもよい。背景画像生成部566は複数の分光画像における各画素の色と背景色との色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する。距離画像の生成は距離画像生成部564が担当してもよい。検査部531は前景距離画像と背景距離画像との差分画像を用いて検査対象物を検査する検査部の一例である。このように、本実施例によれば、ユーザが少なくとも前景領域を指定することで、抽出色である前景色や背景色を容易に抽出できるようになる。よって、抽出色の指定に関するユーザの負担が軽減され、画像検査の結果のばらつきも小さくなろう。また、前景グループを形成する複数の前景色と、背景グループを形成する少なくとも一つの背景色についても、検査対象物のカラー画像を見ながら各グループを形成する領域を設定することで容易に定義可能となる。そのため、複数の前景領域が存在するケースにおいても安定的に各前景領域の色を抽出可能となる。
図11に関して説明したように、前景画像生成部565は、複数の前景色について生成された複数の距離画像を比較し、各画素において最小の画素値を、前景距離画像における各座標の画素値として選択する選択手段を有しているか、選択手段として機能してもよい。なお、選択手段は上述した最小距離探索機能として実装されうる。複数の前景が存在する場合に、いずれかの前景の色に近い色の画素は前景として抽出されることになる。図9に示したように、赤、緑、青といった三本のケーブルf1、f2、f3が存在するケースでは、カラー画像において、九個ある前景色のうちいずれかの前景色に近い色は、前景距離画像において前景として分離されやすくなる。たとえば、海老などの海産物は一見すると同じ色に見えるが、実際には個体ごとに色が異なっている。しかし、画像検査においては、微妙に色の異なる複数の海老を同様の海老として背景から分離しなければならない。したがって、様々な色の海老に抽出領域702を設定して複数の前景色を抽出し、前景グループを形成することで、前景背景画像において前景である複数の海老を背景から分離することが可能となる。
図7ないし図9に示したように、領域指定部516は、カラー画像において背景領域の指定を受け付けてもよい。領域指定部516は、それぞれ背景色が抽出される複数の背景領域の指定を受け付けてもよい。同様に、領域指定部516は、それぞれ前景色が抽出される複数の前景領域の指定を受け付けてもよい。
領域指定部516は、カラー画像において複数の前景色のいずれかに対して色空間上で近い色を含む領域を背景領域として決定する決定部を有していてもよい。上述した自動領域選択部517は決定部の一例である。自動領域選択部517は領域指定部516の一機能として実装されてもよい。つまり、チェックボックス716にチェックが付与されると、領域指定部516は、自動領域選択部517に背景色を抽出するための抽出領域702を決定させ、決定された抽出領域702を示す枠線を画像表示領域701に表示してもよい。これによりユーザが背景色を抽出するための抽出領域702を指定する負担が軽減される。
背景画像生成部566は、色空間座標上における画像の各画素の座標と、背景グループに属する複数の色情報それぞれの代表座標との距離を算出し、複数の色情報それぞれについて当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景画像を生成する。このように、背景グループに複数の背景色が属してもよい。ワーク2において背景色が一色でなく、様々な色で構成されていることがある。たとえば、インスタント食品において背景である乾麺と海藻から前景である海老を分離する場合に、乾麺の色と海藻の色とを抽出する必要がある。このようなケースでは複数の背景色を抽出し、複数の距離画像を生成し、複数の距離画像から単一の背景距離画像を生成することが有利であろう。
背景画像生成部566は、複数の背景色について生成された複数の距離画像を比較し、各画素において最小の画素値を、背景距離画像における各画素の画素値として選択する選択手段を有しているか、選択手段として機能してもよい。これにより、カラー画像に存在する複数の背景色のうちいずれかの背景色に近い色は、背景の色として分離されるようになる。たとえば、乾麺の一部から抽出された背景色に近い色を有する乾麺の他の部分は背景として抽出される。また、海藻の一部から抽出された背景色に近い色を有する他の海藻の色も背景として抽出される。これにより、前景である海老と背景である乾麺や海藻とを色情報を使って分離しやすくなる。
上述の実施例では前景グループと背景グループとが一例として取り上げられているが、グループの数は三つ以上であってもよい。領域指定部516は、表示部7に表示されたカラー画像において複数の画素を含む第一領域の指定を受け付ける。なお、領域指定部516は表示部7に表示されたカラー画像において複数の画素を含む第二領域の指定を受け付けてもよい。
また、前景領域と背景領域と同様に、第二領域は第一領域に基づいて自動的に決定されてもよい。抽出部562は、領域指定部516により指定された第一領域における色の分布を含む色情報と、第一領域から区別される第二領域における色の分布を含む色情報を抽出し、抽出された色情報を、第一領域についての登録色である第一登録色と第二領域についての登録色である第二登録色として登録する。距離画像生成部564、前景画像生成部565および背景画像生成部566は画像生成部の一例である。つなわち、画像生成部は、複数の分光画像における各画素の色と第一登録色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、生成された複数の距離画像に基づいて第一距離画像を生成し、複数の分光画像における各画素の色と第二登録色との色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて第二距離画像を生成する。検査部531は、第一距離画像と第二距離画像との合成画像を用いて検査対象物を検査する。
領域指定部516は、表示部7に表示されたカラー画像において複数の画素を含む複数の第三領域の指定を受け付けてもよい。この場合に、抽出部562は、領域指定部516により指定された第三領域における色の分布を含む色情報を抽出し、抽出された色情報を、第三領域についての登録色である第三登録色として登録する。画像生成部は、複数の分光画像における各画素の色と第三登録色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、生成された複数の距離画像に基づいて第三距離画像を生成する。また、画像生成部は、第一距離画像、第二距離画像および第三距離画像を合成して合成画像を生成してもよい。検査部531は、第一距離画像、第二距離画像および第三距離画像の合成画像を用いて検査対象物を検査する。このように、一つ以上の第一領域による第一グループ、一つ以上の第二領域による第二グループ、一つ以上の第三領域による第三グループが形成される場合にも本実施例を適用可能である。
合成方法は最小の距離画像の階調として採用されたグループのIDを画素値としたインデックス画像を作成することで実現できる。インデックス画像を構成している各画素の階調には最初0が設定されている。色グループのIDは1から割り当てられる。距離画像において画素が属しているグループのIDがその画素の階調として代入される。距離画像の階調がどのグループの距離画像でも最大である場合は、インデックス画像の階調は0に維持され、どのグループにも属さない画素となる。
図7などに示したUI700は一例に過ぎない。たとえば、UI700は、前景色の抽出を指示する前景色抽出ボタンと、背景色の抽出を指示する背景色抽出ボタンを有していてもよい。UI管理部514は、前景色抽出ボタンまたは背景色抽出ボタンの操作を検知すると、色抽出のためのオブジェクトとしてスポイトを表示してもよい。抽出部562は、スポイトにより指定された抽出領域702(一画素)の色情報を抽出する。このようにして前景色や背景色が抽出されてもよい。また、これらのボタンが押されたときに、上述した色クラスタリングが適用されて、前景色や背景色が選択されてもよい。
背景色の自動選択として次のような手法が採用されてもよい。前景色の選択が完了すると、MSI処理部511などが計測領域内または画像全体を対象に色に関してクラスタリング処理を実行する。すべての前景色から遠い色が背景色として選択される。このように前景色から明らかに遠い色が背景色として選択されることになろう。
前景色に対して近傍色となる背景色が比較色として選択されてもよい。これは個別に前景色の色調整を行う際に有用であろう。たとえば、複数の前景色の中から選択された個別色調整対象の前景色に対して、複数の背景色の中からもっとも色空間上で近い色が比較色とし選択されて表示部7に表示されてもよい。
図17はUI700の他の例を示している。この例では3つ以上のグループのそれぞれに一つ以上の計測対象の色が登録されるものとする。UI管理部514は、グループ追加ボタン1701が押されたことを検知すると、グループを追加する。この例ではグループ追加ボタン1701が三回押されたため、三つのグループが存在する。色追加ボタン1702は、各グループに登録色を追加する際に押される。UI管理部514は、いずれかのグループの色追加ボタン1702が押されると、スポイトツールなどを起動して、画像表示領域701に表示されているワークの画像から、ユーザにより指定された領域の色を抽出し、ユーザにより選択されたグループに登録する。この例ではグループ00、01には二つの色が登録されている。グループ02には一つの色が登録されている。インデックス色表示部1703には各グループのインデックス色が表示される。
図18は色抽出結果の一例を示す図である。この例ではワークの画像のうちユーザにより指定された指定領域内の画像にクラスタリングが適用されて、色抽出画像が生成され、画像表示領域701に表示されている。検査画像生成部560は、指定領域内の画像を構成している各画素の色が、どのグループの色に近いかを判定することで、一つのグループを特定する。たとえば、検査画像生成部560は、指定領域内の画像を構成している各画素の色が各グループの代表色のうちどの代表色に近いかを計算する。検査画像生成部560は、指定領域内の画像を構成している各画素の色を、特定されたグループのインデックス色に置換することで、色抽出結果(検査画像)を生成する。なお、検査画像生成部560は、どのグループからも遠い色については画素値を0に置換し、どのグループにも分類しなくてもよい。図18では、1番と12番の色領域がグループ02のインデックス色に置換されている。7番と8番の色領域がグループ00のインデックス色に置換されている。5番と6番の色領域がグループ01のインデックス色に置換されている。
図19は検査設定を実行するためのUI1900を示している。UI管理部514は、UI1900を通じて検査画像に対する検査設定を受け付けてもよい。この例では各色に分類された領域の面積の計測値が公差を満たしているかどうかが検査されるものとする。判定条件設定部1901では、複数のグループのそれぞれについて公差の下限値の入力を受け付ける下限値入力部1903、公差の上限値の入力を受け付ける上限値入力部1902、検査画像が計測された面積の計測値を表示する計測値表示部1904が設けられている。UI管理部514は判定条件設定部1901を通じて設定された検査設定を設定情報523に格納する。検査部531は各グループの計測値を求める。たとえば、グループ02であれば、検査部531は1番と12番の領域の面積をカウントして計測値を求める。UI管理部514はこの計測値を受け取って計測値表示部1904に表示する。
図20は検査結果を示すUI2000の一例を示している。判定結果表示部2001は、三つのグループのすべての計測値が公差内であれば合格(OK)と表示する。一方、判定結果表示部2001は、三つのグループのうち一つのグループの計測値が公差外であれば不合格(NG)と表示する。この例では、グループ00、02の各計測値は公差内であるが、グループ01の計測結果が公差外である。そのため、判定部540は、総合判定を不合格と決定している。
図21は前景背景の抽出設定用のUI2100の一例を示している。色指定部2101は前景色を登録するためのUIである。色指定部2102は背景色(除外色)を登録するためのUIである。前景色や背景色は画像表示領域701に表示されているワークの画像が抽出されて登録される。検査画像表示部2103は、前景色から求められた前景画像と、背景色から求められた背景画像との差分画像を表示している。分離度表示部2104は、色空間における前景色と背景色との分離度合を表示する三次元グラフである。色分布2111は前景色の色分布を示している。色分布2112は背景色の色分布を示している。この例では、前景色の色分布と背景色の色分布とが十分に離れているため、検査画像において検査対象の色の領域(3番)が背景から綺麗に分離されている。つまり、ユーザは三次元グラフを見ることで前景色と背景色とが精度よく登録されていることを理解できる。
2...ワーク、3...照明装置、4...カメラ、5...画像処理装置、510...プロセッサ、511...MSI処理部、512...照明制御部、513...撮像制御部、514...UI管理部、531...検査部、560...検査画像生成部

Claims (7)

  1. 検査対象物に対して互いに異なる波長の照明光を照射する複数の発光素子を有し、各波長の照明光を個別に検査対象物に照射する照明部と、
    前記照明部により照射される各波長の照明光ごとに前記検査対象物からの反射光を受光し、前記各波長の照明光に対応する検査対象物の分光画像を生成する撮像部と、
    検査対象物について前記撮像部により前記各波長の照明光ごとに生成された複数の分光画像からなるカラー画像を取得する取得部と、
    前記取得部により取得されたカラー画像を表示する表示部と、
    前記表示部に表示されたカラー画像において複数の画素を含む複数の前景領域の指定を受け付ける領域指定部と、
    前記領域指定部により指定された前記複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、前記複数の前景領域において抽出された色情報を、前記複数の前景領域それぞれについての前景色として登録するとともに、前記背景領域において抽出された色情報を背景色として登録する抽出部と、
    前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
    前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
    前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
    を有し、
    前記前景画像生成部は、
    複数の前記前景色のそれぞれに対して、前記複数の分光画像における各画素の色と、前記前景色として登録された一の前景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、
    前記複数の前景色のそれぞれに対して生成された距離画像を比較し、各画素において最小の画素値が各座標の画素値として選択された前景距離画像を生成し、
    前記背景画像生成部は、
    前記背景色として一の色情報が登録されている場合は、
    前記複数の分光画像における各画素の色と、前記背景色として登録された前記一の色情報との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を前記背景距離画像として生成し、
    前記背景色として複数の背景色が登録されている場合は、
    前記複数の背景色のそれぞれに対して、前記複数の分光画像における各画素の色と、前記背景色として登録された一の背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、
    前記複数の背景色のそれぞれに対して生成された距離画像を比較し、各画素において最小の画素値が各座標の画素値として選択された背景距離画像を生成することを特徴とする画像検査装置。
  2. 前記照明部は、互いに波長が異なる8種類の照明光を照射する8つの発光素子を有することを特徴とする請求項1に記載の画像検査装置。
  3. 前記照明部は、リング状に配置された複数の照明ブロックにより構成され、
    該複数の照明ブロックのそれぞれは、前記互いに異なる波長の照明光を照射する複数の発光素子を有し、
    前記複数の照明ブロックのそれぞれに配置された一の波長の照明光を照射する発光素子を同時に点灯させることにより、前記検査対象物を複数の方向から照射することを特徴とする請求項1または2に記載の画像検査装置。
  4. 前記領域指定部は、前記カラー画像において前記背景領域の指定を受け付けることを特徴とする請求項1ないし3のいずれか一項に記載の画像検査装置。
  5. 前記領域指定部は、前記カラー画像において前記複数の前景色のいずれかに対して色空間上で遠い色を含む領域を前記背景領域として決定する決定部を有することを特徴とする請求項1ないし3のいずれか一項に記載の画像検査装置。
  6. 前記領域指定部は、前記複数の背景色が抽出される複数の背景領域の指定を受け付けるように構成されていることを特徴とする請求項1ないし5のいずれか一項に記載の画像検査装置。
  7. 検査対象物に対して互いに異なる波長の照明光を照射する複数の発光素子を有し、各波長の照明光を個別に検査対象物に照射する照明部と、
    前記照明部により照射される各波長の照明光ごとに前記検査対象物からの反射光を受光し、前記各波長の照明光に対応する検査対象物の分光画像を生成する撮像部と、
    検査対象物について前記撮像部により前記各波長の照明光ごとに生成された複数の分光画像からなるカラー画像を取得する取得部と、
    前記取得部により取得されたカラー画像を表示する表示部と、
    前記カラー画像において複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、前記複数の前景領域において抽出された色情報を、前記複数の前景領域それぞれについての前景色として登録するとともに、前記背景領域において抽出された色情報を背景色として登録する抽出部と、
    前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
    前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
    前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
    を有し、
    前記前景画像生成部は、
    複数の前記前景色のそれぞれに対して、前記複数の分光画像における各画素の色と、前記前景色として登録された一の前景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、
    前記複数の前景色のそれぞれに対して生成された距離画像を比較し、各画素において最小の画素値が各座標の画素値として選択された前景距離画像を生成し、
    前記背景画像生成部は、
    前記背景色として一の色情報が登録されている場合は、
    前記複数の分光画像における各画素の色と、前記背景色として登録された前記一の色情報との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を前記背景距離画像として生成し、
    前記背景色として複数の背景色が登録されている場合は、
    前記複数の背景色のそれぞれに対して、前記複数の分光画像における各画素の色と、前記背景色として登録された一の背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、
    前記複数の背景色のそれぞれに対して生成された距離画像を比較し、各画素において最小の画素値が各座標の画素値として選択された背景距離画像を生成することを特徴とする画像検査装置。
JP2017093361A 2017-05-09 2017-05-09 画像検査装置 Active JP6919982B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017093361A JP6919982B2 (ja) 2017-05-09 2017-05-09 画像検査装置
US15/925,802 US10168216B2 (en) 2017-05-09 2018-03-20 Image inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017093361A JP6919982B2 (ja) 2017-05-09 2017-05-09 画像検査装置

Publications (2)

Publication Number Publication Date
JP2018189563A JP2018189563A (ja) 2018-11-29
JP6919982B2 true JP6919982B2 (ja) 2021-08-18

Family

ID=64096544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017093361A Active JP6919982B2 (ja) 2017-05-09 2017-05-09 画像検査装置

Country Status (2)

Country Link
US (1) US10168216B2 (ja)
JP (1) JP6919982B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6857079B2 (ja) * 2017-05-09 2021-04-14 株式会社キーエンス 画像検査装置
JP6907047B2 (ja) * 2017-06-28 2021-07-21 キヤノン株式会社 情報処理装置、その制御方法およびプログラム
US20220005172A1 (en) * 2018-11-21 2022-01-06 Sony Group Corporation Work determination system, work determination apparatus, and work determination method
WO2020110169A1 (ja) * 2018-11-26 2020-06-04 株式会社ソニー・インタラクティブエンタテインメント 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム
JP7231462B2 (ja) * 2019-04-05 2023-03-01 株式会社キーエンス 画像検査システム及び画像検査方法
IT201900009636A1 (it) * 2019-06-20 2020-12-20 Thema 2 S R L Dispositivo e relativo metodo per il controllo automatico della tonalità di colore di una bobina di filo
CN110675397B (zh) * 2019-10-14 2023-03-28 国网山东省电力公司泰安供电公司 一种变电站保护压板状态校核方法
CN110796204B (zh) * 2019-11-01 2023-05-02 腾讯科技(深圳)有限公司 视频标签确定方法、装置和服务器
US11717973B2 (en) 2021-07-31 2023-08-08 Cognex Corporation Machine vision system with multispectral light assembly

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09126890A (ja) 1995-11-01 1997-05-16 Toshiba Corp 色検査装置
JP2006038582A (ja) * 2004-07-26 2006-02-09 Dainippon Screen Mfg Co Ltd 画像の領域分割による欠陥の検出
JP5874398B2 (ja) * 2012-01-05 2016-03-02 オムロン株式会社 画像検査装置の検査領域設定方法
JP5929238B2 (ja) * 2012-01-27 2016-06-01 オムロン株式会社 画像検査方法および画像検査装置
JP6089886B2 (ja) * 2013-03-29 2017-03-08 オムロン株式会社 領域分割方法および検査装置
JP6981775B2 (ja) * 2017-05-09 2021-12-17 株式会社キーエンス 画像検査装置および画像検査方法
JP6864549B2 (ja) * 2017-05-09 2021-04-28 株式会社キーエンス 画像検査装置
JP6893826B2 (ja) * 2017-05-09 2021-06-23 株式会社キーエンス 画像検査装置
JP2018189585A (ja) * 2017-05-10 2018-11-29 凸版印刷株式会社 マイクロ流路チップ

Also Published As

Publication number Publication date
US20180328789A1 (en) 2018-11-15
US10168216B2 (en) 2019-01-01
JP2018189563A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6919982B2 (ja) 画像検査装置
JP6864549B2 (ja) 画像検査装置
JP6917762B2 (ja) 画像検査装置
JP6857079B2 (ja) 画像検査装置
US10489900B2 (en) Inspection apparatus, inspection method, and program
JP7117420B2 (ja) 画像検査装置
JP6917761B2 (ja) 画像検査装置
JP6981775B2 (ja) 画像検査装置および画像検査方法
CN110945561A (zh) 高光谱成像分光光度计和系统
KR101692115B1 (ko) 검사 장치 및 검사 방법
EP3675030B1 (en) Drug inspection assistance device, drug identification device, image processing device, image processing method, and program
TWI769509B (zh) 使用一相機系統來特徵化環境照明之方法,電腦可讀媒體,及相機系統
CN110319933B (zh) 一种基于cam02-ucs色貌模型的光源光谱优化方法
JP6931552B2 (ja) 画像検査装置
CN106164988B (zh) Pos终端、信息处理设备、白平衡调节方法以及记录介质
JP2019046134A (ja) 画像検査装置、及び画像検査方法
JP6825067B2 (ja) 検査装置およびその制御方法
JP2015501968A (ja) 固有画像の生成を改良するための後処理
JP6180889B2 (ja) 印字検査装置
EP3675032A1 (en) Drug identification device, image processing device, image processing method, and program
KR100695129B1 (ko) 칼라영상의 조명색 추정장치 및 방법
JP6864722B2 (ja) 検査装置、検査方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210722

R150 Certificate of patent or registration of utility model

Ref document number: 6919982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150