JP6303352B2 - 外観検査システム - Google Patents

外観検査システム Download PDF

Info

Publication number
JP6303352B2
JP6303352B2 JP2013192940A JP2013192940A JP6303352B2 JP 6303352 B2 JP6303352 B2 JP 6303352B2 JP 2013192940 A JP2013192940 A JP 2013192940A JP 2013192940 A JP2013192940 A JP 2013192940A JP 6303352 B2 JP6303352 B2 JP 6303352B2
Authority
JP
Japan
Prior art keywords
gradation
difference
image
light
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013192940A
Other languages
English (en)
Other versions
JP2015059810A (ja
Inventor
博太 當眞
博太 當眞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2013192940A priority Critical patent/JP6303352B2/ja
Priority to US14/490,048 priority patent/US10190989B2/en
Priority to DE201410113487 priority patent/DE102014113487A1/de
Priority to CN201410478942.0A priority patent/CN104458752B/zh
Publication of JP2015059810A publication Critical patent/JP2015059810A/ja
Application granted granted Critical
Publication of JP6303352B2 publication Critical patent/JP6303352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8803Visual inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8835Adjustable illumination, e.g. software adjustable screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Description

本発明は、カメラにより対象を撮影した画像に基づいて、対象の外観検査を行うシステムに関する。
従来、この種のシステムとして、検査対象となるワークをCCDカメラで撮影し、検査対象の注目小領域の欠陥度を基準値と比較して外観の良否を判定するものがある(特許文献1参照)。
特開2004−61310号公報
ところで、特許文献1に記載のものでは、特定波長の発光ダイオードを光源とし、特定波長以外の波長をカットするフィルタをカメラに装着することにより、外乱光を防止している。このため、外乱光を防止するためには、光源が制限されるとともに、フィルタを装着することが必要となる。
本発明は、こうした課題を解決するためになされたものであり、その主たる目的は、任意の光源を使用することを可能としつつ、外乱光の影響を抑制することのできる外観検査システムを提供することにある。
本発明は、上記課題を解決するために、以下の手段を採用した。
第1の手段は、外観検査システムであって、対象に光を照射する照明装置と、前記対象を撮影するカメラと、前記照明装置により第1光量で光を照射させて前記カメラにより前記対象を撮影させた第1画像の階調と、前記照明装置により第2光量で光を照射させて前記カメラにより前記対象を撮影させた第2画像の階調との差分を算出し、前記差分に対応する基準階調と前記差分との比較に基づいて前記対象の外観の良否を判定する制御装置と、を備えることを特徴とする。
上記構成によれば、制御装置は、照明装置により第1光量で光を照射させてカメラにより対象を撮影させた第1画像の階調と、照明装置により第2光量で光を照射させてカメラにより対象を撮影させた第2画像の階調との差分を算出する。
ここで、対象に外乱光が照射されていると、外乱光は第1画像と第2画像とに等しい階調で上乗せされる。したがって、第1画像の階調と第2画像の階調との差分を算出することにより、外乱光の影響を排除することができる。一方、対象に傷や汚れ等の欠陥があった場合、欠陥の階調は光量により異なるため、上記差分には欠陥の階調が残存することとなる。
そして、制御装置により、上記差分に対応する基準階調と上記差分との比較に基づいて、対象の外観の良否が判定される。このため、上記差分に残存する欠陥の階調と基準階調とを比較することにより、対象の外観の良否を適切に判定することができる。したがって、発光ダイオードとフィルタとの組み合わせ等を使用しない場合であっても、外乱光の影響を抑制することができ、任意の光源を使用することが可能となる。
第2の手段では、前記基準階調は、前記照明装置により前記第1光量で光を照射させて前記カメラにより前記対象の良品を撮影させた第3画像の階調と、前記照明装置により前記第2光量で光を照射させて前記カメラにより前記対象の前記良品を撮影させた第4画像の階調との差分である。
上記構成によれば、基準階調として、照明装置により第1光量で光を照射させてカメラにより対象の良品を撮影させた第3画像の階調と、照明装置により第2光量で光を照射させてカメラにより対象の良品を撮影させた第4画像の階調との差分が用いられる。ここで、第3画像は第1画像において対象に欠陥がない場合に相当し、第4画像は第2画像において対象に欠陥がない場合に相当する。したがって、第3画像の階調と第4画像の階調との差分を基準階調とすることにより、第1画像の階調と第2画像の階調との差分に対応する適切な基準階調を設定することができる。
第3の手段では、前記制御装置は、前記差分と前記基準階調との差分を取ることで前記対象の欠陥の階調を抽出し、前記欠陥の階調と判定階調との比較に基づいて前記対象の外観の良否を判定する。
上記構成によれば、制御装置により、上記差分と基準階調との差分が取られることで、対象の欠陥の階調が抽出される。すなわち、外乱光の影響が排除された差分と基準階調との差分を取ることで、欠陥の階調のみを抽出することができる。そして、欠陥の階調と判定階調との比較に基づいて対象の外観の良否が判定されるため、対象の外観を正確に判定することができる。
第4の手段は、外観検査システムであって、対象に光を照射する照明装置と、前記対象を撮影するカメラと、前記照明装置により第1光量で光を照射させて前記カメラにより前記対象を撮影させた第1画像の階調と、前記照明装置により前記第1光量で光を照射させて前記カメラにより前記対象の良品を撮影させた第3画像の階調との差分である第1差分と、前記照明装置により第2光量で光を照射させて前記カメラにより前記対象を撮影させた第2画像の階調と、前記照明装置により前記第2光量で光を照射させて前記カメラにより前記対象の前記良品を撮影させた第4画像の階調との差分である第2差分とを算出し、前記第1差分と前記第2差分との比較に基づいて前記対象の外観の良否を判定する制御装置と、を備えることを特徴とする。
上記構成によれば、制御装置は、照明装置により第1光量で光を照射させてカメラにより対象を撮影させた第1画像の階調と、照明装置により第1光量で光を照射させてカメラにより対象の良品を撮影させた第3画像の階調との差分である第1差分を算出する。この第1差分は、第1光量で撮影された画像における外乱光及び欠陥による階調の合計となる。また、制御装置は、照明装置により第2光量で光を照射させてカメラにより対象を撮影させた第2画像の階調と、照明装置により第2光量で光を照射させてカメラにより対象の良品を撮影させた第4画像の階調との差分である第2差分を算出する。この第2差分は、第2光量で撮影された画像における外乱光及び欠陥による階調の合計となる。
ここで、対象に外乱光が照射されていると、外乱光は第1画像と第2画像とに等しい階調で上乗せされる。一方、対象に欠陥があった場合、欠陥の階調は光量により異なるため、欠陥は第1画像と第2画像とに異なる階調で上乗せされる。したがって、上記第1差分と上記第2差分とでは、外乱光は階調の相違として表れず、欠陥は階調の相違として表れる。
そして、制御装置により、第1差分と第2差分との比較に基づいて、対象の外観の良否が判定される。このため、欠陥による階調の相違に基づいて、対象の外観の良否を適切に判定することができる。したがって、発光ダイオードとフィルタとの組み合わせ等を使用しない場合であっても、外乱光の影響を抑制することができ、任意の光源を使用することが可能となる。
第5の手段では、前記制御装置は、前記第1差分と前記第2差分との差分を取ることで前記対象の欠陥の階調を抽出し、前記欠陥の階調と判定階調との比較に基づいて前記対象の外観の良否を判定する。
上記構成によれば、制御装置により、第1差分と第2差分との差分が取られることで、対象の欠陥の階調が抽出される。すなわち、外乱光による階調を等しく含む第1差分と上記第2差分との差分を取ることで、外乱光の影響を排除して欠陥の階調のみを抽出することができる。そして、欠陥の階調と判定階調との比較に基づいて対象の外観の良否が判定されるため、対象の外観を正確に判定することができる。
第6の手段では、前記第1光量は、前記カメラにより前記対象を撮影させた前記第1画像の階調が最小値付近の値となる光量であり、前記第2光量は、前記カメラにより前記対象を撮影させた前記第2画像の階調が最大値付近の値となる光量である。
第1光量で対象を撮影した第1画像の階調と、第2光量で対象を撮影した第2画像の階調との相違が小さい場合には、第1画像と第2画像とで欠陥による階調の相違が小さくなる。このため、欠陥による階調が不明確となり、対象の外観を判定する精度が低下するおそれがある。
この点、上記構成によれば、第1光量で対象を撮影した第1画像の階調が最小値付近の値となり、第2光量で対象を撮影した第2画像の階調が最大値付近の値となる。したがって、欠陥による階調が明確となり、対象の外観を判定する精度を向上させることができる。
外観検査システムの概要を示す模式図。 第1実施形態におけるワークの外観良否判定の処理手順を示すフローチャート。 ワークの良品のグレースケール画像、及び各光量での階調を示す図。 ワークの不良品のグレースケール画像、及び各光量での階調を示す図。 基準階調、差分の階調、及び欠陥の階調を示すグラフ。 第2実施形態におけるワークの外観良否判定の処理手順を示すフローチャート。 第1差分、第2差分、及び欠陥の階調を示すグラフ。
(第1実施形態)
以下、ワークの外観検査システムを具体化した第1実施形態について、図面を参照しつつ説明する。本実施形態の外観検査システムは、例えば機械組立工場の組立ラインに設置される。
図1は、外観検査システム10の概要を示す模式図である。この外観検査システム10は、ストロボ20、カメラ30、及び制御装置40を備えている。
ストロボ20(照明装置)は、カメラ30に取り付けられており、本体21、ランプ22、レンズ部24、カバー25等を備えている。本体21は、中空の直方体状に形成されている。本体21の内部には、ランプ22及びレンズ部24が収容されている。本体21の正面には、ランプ22の光を透過させる透明のカバー25が取り付けられている。
ランプ22(光源)は、キセノンフラッシュランプ等により構成されており、ワークW(対象)に当てる光を発する。なお、ランプ22を、発光ダイオードや、白熱電球等により構成することもできる。ランプ22の点灯、消灯、及び点灯時の光量は、制御装置40によって制御される。レンズ部24は、ランプ22から照射された光を集束及び拡散させて、カバー25の方向へ照射させる。レンズ部24の焦点は、ワークWの所定位置に光が照射されるように自動調節される。
カメラ30は、カラー撮影可能なCCDカメラ等であり、ワークWを撮影して画像を取得する。カメラ30は、図示しないロボットのアームのハンド部(先端部)に取り付けられている。ロボットのアームは、その各関節の駆動により、位置及び方向が変更される。そして、アームの位置及び方向が変更されることにより、カメラ30の位置及び方向が変更される。これにより、ベルトコンベア等により検査位置に搬送されるワークWを、カメラ30により任意の視点から撮影することができる。カメラ30の撮影動作は、制御装置40によって制御される。
制御装置40は、CPU、ROM、RAM、記憶部40a、駆動回路、位置検出回路等を備えている。ROMは、ロボットのシステムプログラムや動作プログラム等を記憶している。RAMは、これらのプログラムを実行する際にパラメータの値等を一時的に記憶する。記憶部40aは、データを記憶する不揮発性のメモリである。位置検出回路は、アームの各関節に設けられたエンコーダの検出信号に基づいて、各関節に設けられたモータの回転角度を検出する。CPUは、予め設定された動作プログラムを実行することにより、位置検出回路から入力される位置情報に基づいて、アームの各関節の回転角度を目標回転角度にフィードバック制御する。
本実施形態では、制御装置40は、ワークWの外観検査において、アームの目標の位置及び方向として、検査位置に搬送されるワークWをカメラ30により撮像する際のアームの位置及び方向(撮影位置)を設定する。アームが撮影位置まで駆動されることにより、カメラ30の視野内にワークWが検査に適した状態で捉えられる。その状態において、カメラ30によりワークWを撮影することにより、ワークWの画像が取得される。さらに、制御装置40は、ストロボ20及びカメラ30の動作を制御して、ワークWの外観の良否を判定する。
図2は、ワークWの外観良否判定の処理手順を示すフローチャートである。この一連の処理は、外観検査中においてロボットの連続動作時に、制御装置40によって実行される。
まず、ストロボ20を10%の光量(第1光量)で点灯させて、カメラ30によりワークWをカラー撮影させた第1画像を入力する(S11)。また、ストロボ20を100%の光量(第2光量)で点灯させて、カメラ30によりワークWをカラー撮影させた第2画像を入力する(S12)。なお、S11の処理及びS12の処理は、いずれを先に行ってもよい。
続いて、第1画像及び第2画像をそれぞれグレースケール画像に変換する(S13)。詳しくは、単純平均法や、中間値法、Gチャンネル法等の周知の方法により、カラー画像をグレースケール画像に変換する。以後の処理では、グレースケール画像に変換された第1画像及び第2画像を用いる。
続いて、各画素について第1画像の階調と第2画像の階調との差分を算出する(S14)。詳しくは、各画素の階調は、0(黒)〜255(白)までの値をとる。第1画像と第2画像とでワークWの同じ位置を撮影した画素を特定し、特定した画素において第2画像の階調から第1画像の階調を引いて差分を算出する。そして、全ての画素について、第1画像の階調と第2画像の階調との差分を算出する。
続いて、各画素について、算出された差分と基準階調との差分を取り、傷や汚れ等の欠陥の階調Tを抽出する(S15)。詳しくは、全ての画素の上記差分について、それぞれ対応する基準階調が設定されている。基準階調については後述する。
続いて、画像の各画素を指定する画素番号iを初期値0に設定する(S16)。詳しくは、画像の画素は0〜n番まであり、最初の画素の番号が0番である。そして、現在の画素番号iがnよりも小さいか否か判定する(S17)。
上記判定において、現在の画素番号iがnよりも小さいと判定した場合(S17:YES)、画素番号iにおける欠陥の階調T(i)が判定階調R1よりも小さいか否か判定する(S18)。判定階調R1は、ワークWの欠陥を判定することのできる値、例えば256階調の20%に相当する51階調を負にした値(−51階調)に設定されている。
上記判定において、画素番号iにおける欠陥の階調T(i)が判定階調R1よりも小さいと判定した場合(S18:YES)、現在の画素番号iをRAMの所定領域に記憶させる(S19)。そして、画素番号iに1を加算して、それを新たな画素番号iとする(S20)。その後、再度S17の処理から実行する。一方、上記判定において、画素番号iにおける欠陥の階調T(i)が判定階調R1よりも小さくないと判定した場合(S18:NO)、S20の処理を実行する。
また、S17の判定において、現在の画素番号iがnよりも小さくないと判定した場合(S17:NO)、RAMの所定領域に記憶されている画素番号iがあるか否か判定する(S21)。すなわち、欠陥の階調T(i)が判定階調R1よりも小さくなった画素番号iが存在しているか否か判定する。
上記判定において、RAMの所定領域に記憶されている画素番号iがあると判定した場合(S21:YES)、現在検査しているワークWが不良品であると判定する(S22)。一方、上記判定において、RAMの所定領域に記憶されている画素番号iがないと判定した場合(S21:NO)、現在検査しているワークWが良品であると判定する(S23)。そして、この一連の処理を終了する(END)。なお、同一形状の複数のワークWについて続けて外観検査を行う場合には、再度S11の処理から実行する。
次に、ワークWの良品のグレースケール画像と各光量での各画素の階調との関係ついて説明する。図3(a)はワークWの良品を撮影したグレースケール画像、図3(b)はストロボ20を10%の光量にした場合における図3(a)の直線C上の各画素の階調を示すグラフ、図3(c)はストロボ20を100%の光量にした場合における図3(a)の直線C上の各画素の階調を示すグラフである。
図3(b)と図3(c)とを比較すると、10%の光量における階調は、100%の光量における階調よりも全体的に小さくなっている。詳しくは、ワークWからの反射が少ない部分(図3(a)のハッチング部分)において、10%の光量における階調は100%の光量における階調よりも小さくなっている。また、ワークWからの反射が多い部分(図3(a)のハッチングなし部分)において、10%の光量における階調は100%の光量における階調よりも小さくなっている。反射が少ない部分と多い部分との階調の差は、10%の光量にした場合に100%の光量にした場合よりも小さくなっている。そして、ワークWからの反射が多い部分のx方向の位置は、10%の光量にした場合と100%の光量にした場合とで一致している。
次に、ワークWの不良品のグレースケール画像と各光量での各画素の階調との関係ついて説明する。図4(a)はワークWの不良品を撮影したグレースケール画像、図4(b)はストロボ20を10%の光量にした場合における図4(a)の直線C上の各画素の階調を示すグラフ、図4(c)はストロボ20を100%の光量にした場合における図4(a)の直線C上の各画素の階調を示すグラフである。また、ここでは、ワークWに外乱光が照射されている場合を示している。
図4(b)と図4(c)とを比較すると、10%の光量における階調が100%の光量における階調よりも全体的に小さくなっている点は、図3と同様である。
ここで、ワークWに傷や汚れ等の欠陥がある場合、その欠陥に対応する部分の階調は欠陥のない部分の階調よりも小さくなっている。詳しくは、欠陥がある部分とない部分との階調の差は、10%の光量にした場合に100%の光量にした場合よりも小さくなっている。そして、欠陥に対応する部分のx方向の位置は、10%の光量にした場合と100%の光量にした場合とで一致している。
また、ワークWに外乱光が照射されている場合、外乱光が照射されている部分の階調は外乱光が照射されていない部分の階調よりも大きくなっている。詳しくは、外乱光により上乗せされる階調は、10%の光量にした場合と100%の光量にした場合とで等しくなっている。
そこで、各画素について第1画像の階調(図4(b))と第2画像の階調(図4(c))との差分を算出することにより、外乱光の影響を排除することができる。図5(b)は、図4(c)のグラフから図4(b)のグラフを引いた差分を示すグラフである。同図に示すように、外乱光による階調が排除される一方、欠陥による階調は残存している。このため、上記差分に対応する基準階調(ワークWの良品を用いた実験等により設定)と上記差分とを比較することにより、ワークWの外観の良否を判定することができる。
ただし、10%の光量(第1光量)で対象を撮影した第1画像の階調と、100%の光量(第2光量)で対象を撮影した第2画像の階調との相違が小さい場合には、第1画像と第2画像とで欠陥による階調の相違が小さくなる。このため、第1画像の階調と第2画像の階調との差分において、欠陥による階調が不明確となり、ワークWの外観を判定する精度が低下するおそれがある。
この点、第1光量として10%の光量を採用すれば、第1光量でワークWを撮影した第1画像の階調(最大階調)が最小値付近の値となり、第2光量として100%の光量を採用すれば、第2光量でワークWを撮影した第2画像の階調(最大階調)が最大値付近の値となる。したがって、欠陥による階調が明確となり、ワークWの外観を判定する精度を向上させることができる。なお、第1光量として、第1画像の階調が0〜30%に相当する階調(0階調〜77階調)となる値を採用し、第2光量として、例えば第2画像の階調が70〜100%に相当する階調(179階調〜256階調)となる値を採用するとよい。望ましくは、第1光量として、第1画像の階調が0〜20%に相当する階調(0階調〜51階調)となる値を採用し、第2光量として、例えば第2画像の階調が80〜100%に相当する階調(205階調〜256階調)となる値を採用するとよい。
図5(a)は、図3(c)のグラフから図3(b)のグラフを引いた差分を示すグラフである。同図に示すグラフは、図5(b)のグラフにおいて欠陥がない場合に相当している。このため、基準階調として、ストロボ20により10%の光量で光を照射させてカメラ30によりワークWの良品を撮影させた第3画像(グレースケール画像)の階調と、ストロボ20により100%の光量で光を照射させてカメラ30によりワークWの良品を撮影させた第4画像(グレースケール画像)の階調との差分を採用している。この基準階調は、制御装置40の記憶部40aに記憶されている。
さらに、図5(b)に示した差分のグラフと図5(a)に示した基準階調のグラフとの差分を取ることで、図5(c)に示すように欠陥の階調のみを抽出することができる。詳しくは、図5(c)は、図5(b)のグラフから図5(a)のグラフを引いた差分を示すグラフである。したがって、欠陥の階調Tが判定階調R1(−51階調)よりも小さいと判定した場合、ワークWが不良品であると判定することができる。
以上詳述した本実施形態は、以下の利点を有する。
・ワークWに外乱光が照射されていると、外乱光は第1画像(図4(b))と第2画像(図4(c))とに等しい階調で上乗せされる。したがって、第1画像の階調と第2画像の階調との差分を算出することにより、外乱光の影響を排除することができる(図5(b)参照)。一方、ワークWに傷や汚れ等の欠陥があった場合、欠陥の階調は光量により異なるため、上記差分には欠陥の階調が残存することとなる(図5(b)参照)。そして、制御装置40により、上記差分に対応する基準階調(図5(a))と上記差分(図5(b))との比較に基づいて、ワークWの外観の良否が判定される。このため、上記差分に残存する欠陥の階調と基準階調とを比較することにより、ワークWの外観の良否を適切に判定することができる。したがって、発光ダイオードとフィルタとの組み合わせ等を使用しない場合であっても、外乱光の影響を抑制することができ、任意の光源を使用することが可能となる。
・基準階調として、ストロボ20により10%の光量で光を照射させてカメラ30によりワークWの良品を撮影させた第3画像の階調(図3(b))と、ストロボ20により100%の光量で光を照射させてカメラ30によりワークWの良品を撮影させた第4画像の階調(図3(c))との差分が用いられる(図5(a)参照)。ここで、第3画像は第1画像においてワークWに欠陥がない場合に相当し、第4画像は第2画像においてワークWに欠陥がない場合に相当する。したがって、第3画像の階調と第4画像の階調との差分を基準階調とすることにより、第1画像の階調と第2画像の階調との差分に対応する適切な基準階調を設定することができる。
・制御装置40により、上記差分(図5(b))と基準階調(図5(a))との差分が取られることで、ワークWの欠陥の階調が抽出される(図5(c)参照)。すなわち、外乱光の影響が排除された差分と基準階調との差分を取ることで、欠陥の階調のみを抽出することができる。そして、欠陥の階調と判定階調R1との比較に基づいてワークWの外観の良否が判定されるため、ワークWの外観を正確に判定することができる。
・10%の光量と100%の光量とにおいてワークWの撮影を行っているが、外観検査中においてロボットの動作に必要な時間と比較すれば、撮影を2度行うことによる時間の延長はほとんど問題とならない。
(第2実施形態)
以下、ワークWの外観良否判定を変更した第2実施形態について、図面を参照しつつ説明する。図6は、ワークWの外観良否判定の処理手順を示すフローチャートである。図2と同一の処理については、同一のステップ番号を付すことにより説明を省略する。
S13において第1画像及び第2画像をそれぞれグレースケール画像に変換した後、各画素について第1画像の階調と第3画像の階調との差分(第1差分)を算出する(S31)。詳しくは、第3画像は、ストロボ20により10%の光量で光を照射させてカメラ30によりワークWの良品を予め撮影させた画像を、グレースケール画像に変換した画像である(図3(b))。そして、第1画像と第3画像とでワークWの同じ位置を撮影した画素を特定し、特定した画素において第1画像の階調から第3画像の階調を引いて差分を算出する。そして、全ての画素について、第1画像の階調と第3画像の階調との差分を算出する。
続いて、各画素について第2画像の階調と第4画像の階調との差分(第2差分)を算出する(S32)。詳しくは、第4画像は、ストロボ20により100%の光量で光を照射させてカメラ30によりワークWの良品を予め撮影させた画像を、グレースケール画像に変換した画像である(図3(c))。そして、第2画像と第4画像とでワークWの同じ位置を撮影した画素を特定し、特定した画素において第2画像の階調から第4画像の階調を引いて差分を算出する。そして、全ての画素について、第2画像の階調と第4画像の階調との差分を算出する。
続いて、各画素について、算出された第1差分と第2差分との差分を取り、傷や汚れ等の欠陥の階調Tを抽出する(S33)。以降は、図2と同様に、S16以降の処理を実行する。
図7(a)は第1差分、図7(b)は第2差分、図7(c)は欠陥の階調を示すグラフである。
10%の光量にした場合において、各画素について第1画像の階調(図4(b))と第3画像の階調(図3(b))との差分を算出することにより、ワークWの各部分によって反射する光の量が異なる影響を排除することができる。図7(a)は、図4(b)のグラフから図3(b)のグラフを引いた差分(第1差分)を示すグラフである。第1差分は、10%の光量で撮影された画像における外乱光及び欠陥による階調の合計となる。同図に示すように、ワークWにおいて外乱光及び欠陥のない部分による階調が排除される一方、外乱光及び欠陥による階調は残存している。
同様にして、100%の光量にした場合において、各画素について第2画像の階調(図4(c))と第4画像の階調(図3(c))との差分を算出することにより、ワークWの各部分によって反射する光の量が異なる影響を排除することができる。図7(b)は、図4(c)のグラフから図3(c)のグラフを引いた差分(第2差分)を示すグラフである。第2差分は、100%の光量で撮影された画像における外乱光及び欠陥による階調の合計となる。同図に示すように、ワークWにおいて外乱光及び欠陥のない部分による階調が排除される一方、外乱光及び欠陥による階調は残存している。
図7(a)と図7(b)とを比較すると、欠陥がある部分とない部分との階調の差は、10%の光量にした場合に100%の光量にした場合よりも小さくなっている。また、外乱光により上乗せされる階調は、10%の光量にした場合と100%の光量にした場合とで等しくなっている。このため、第1差分と第2差分とを比較することにより、ワークWの外観の良否を判定することができる。
さらに、図7(a)に示した第1差分のグラフと図7(a)に示した第2差分のグラフとの差分を取ることで、図7(c)に示すように欠陥の階調のみを抽出することができる。詳しくは、図7(c)は、図7(b)のグラフから図7(a)のグラフを引いた差分を示すグラフである。したがって、欠陥の階調Tが判定階調R1(−51階調)よりも小さいと判定した場合、ワークWが不良品であると判定することができる。
以上詳述した本実施形態は、以下の利点を有する。
・ワークWに外乱光が照射されていると、外乱光は第1画像(図4(b))と第2画像(図4(c))とに等しい階調で上乗せされる。一方、ワークWに欠陥があった場合、欠陥の階調は光量により異なるため、欠陥は第1画像と第2画像とに異なる階調で上乗せされる。したがって、第1差分(図7(a))と第2差分(図7(b))とでは、外乱光は階調の相違として表れず、欠陥は階調の相違として表れる。そして、制御装置40により、第1差分と第2差分との比較に基づいて、ワークWの外観の良否が判定される。このため、欠陥による階調の相違に基づいて、ワークWの外観の良否を適切に判定することができる。したがって、発光ダイオードとフィルタとの組み合わせ等を使用しない場合であっても、外乱光の影響を抑制することができ、任意の光源を使用することが可能となる。
・制御装置40により、第1差分と第2差分との差分が取られることで、ワークWの欠陥の階調が抽出される(図7(c)参照)。すなわち、外乱光による階調を等しく含む第1差分と上記第2差分との差分を取ることで、外乱光の影響を排除して欠陥の階調のみを抽出することができる。そして、欠陥の階調と判定階調R1との比較に基づいてワークWの外観の良否が判定されるため、ワークWの外観を正確に判定することができる。
なお、上記の各実施形態を、以下のように変更して実施することもできる。
・第1実施形態の基準階調として、第3画像の階調と第4画像の階調との差分を、第3画像及び第4画像を撮影した条件等に応じて補正した値を採用することもできる。
・カメラ30として、白黒画像を撮影するカメラを採用することもできる。その場合は、グレースケール画像への変換が不要であり、白黒画像における画素番号iの輝度と基準画像における画素番号iの輝度とを比較して良否判定すればよい。また、カメラ30として、CCDカメラに限らず、CMOSセンサを用いたカメラ等を採用することもできる。
10…外観検査システム、20…ストロボ(照明装置)、22…ランプ、30…カメラ、40…制御装置。

Claims (3)

  1. 対象に光を照射する照明装置と、
    前記対象を撮影するカメラと、
    前記照明装置により第1光量で光を照射させて前記カメラにより前記対象を撮影させた第1画像の階調と、前記照明装置により前記第1光量で光を照射させて前記カメラにより前記対象の良品を撮影させた第3画像の階調との差分である第1差分と、前記照明装置により第2光量で光を照射させて前記カメラにより前記対象を撮影させた第2画像の階調と、前記照明装置により前記第2光量で光を照射させて前記カメラにより前記対象の前記良品を撮影させた第4画像の階調との差分である第2差分とを算出し、前記第1差分と前記第2差分との比較に基づいて前記対象の外観の良否を判定する制御装置と、
    を備えることを特徴とする外観検査システム。
  2. 前記制御装置は、前記第1差分と前記第2差分との差分を取ることで前記対象の欠陥の階調を抽出し、前記欠陥の階調と判定階調との比較に基づいて前記対象の外観の良否を判定する請求項に記載の外観検査システム。
  3. 前記第1光量は、前記カメラにより前記対象を撮影させた前記第1画像の階調が最小値付近の値となる光量であり、
    前記第2光量は、前記カメラにより前記対象を撮影させた前記第2画像の階調が最大値付近の値となる光量である請求項1又は2に記載の外観検査システム。
JP2013192940A 2013-09-18 2013-09-18 外観検査システム Active JP6303352B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013192940A JP6303352B2 (ja) 2013-09-18 2013-09-18 外観検査システム
US14/490,048 US10190989B2 (en) 2013-09-18 2014-09-18 Method and apparatus for inspecting appearance of object using images picked up under different light quantities
DE201410113487 DE102014113487A1 (de) 2013-09-18 2014-09-18 Verfahren und Vorrichtung zum Überprüfen des Erscheinungsbildes eines Objekts
CN201410478942.0A CN104458752B (zh) 2013-09-18 2014-09-18 外观检查系统以及外观检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013192940A JP6303352B2 (ja) 2013-09-18 2013-09-18 外観検査システム

Publications (2)

Publication Number Publication Date
JP2015059810A JP2015059810A (ja) 2015-03-30
JP6303352B2 true JP6303352B2 (ja) 2018-04-04

Family

ID=52580132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013192940A Active JP6303352B2 (ja) 2013-09-18 2013-09-18 外観検査システム

Country Status (4)

Country Link
US (1) US10190989B2 (ja)
JP (1) JP6303352B2 (ja)
CN (1) CN104458752B (ja)
DE (1) DE102014113487A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180009792A (ko) * 2015-06-25 2018-01-29 제이에프이 스틸 가부시키가이샤 표면 결함 검출 장치, 표면 결함 검출 방법 및, 강재의 제조 방법
JP6859627B2 (ja) * 2016-08-09 2021-04-14 株式会社ジェイテクト 外観検査装置
WO2018216495A1 (ja) * 2017-05-26 2018-11-29 新東工業株式会社 検査装置及び鋳造システム
TWI628414B (zh) * 2017-06-29 2018-07-01 峰安車業股份有限公司 影像檢測裝置以及影像檢測方法
JP2019138660A (ja) * 2018-02-06 2019-08-22 東芝メモリ株式会社 欠陥検査装置および欠陥検査方法
DE112018007171T5 (de) * 2018-03-29 2021-01-28 Mitsubishi Electric Corporation Abnormalitätsinspektionsvorrichtung und abnormalitätsinspektionsverfahren

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6086454A (ja) * 1983-10-18 1985-05-16 Kawasaki Steel Corp 熱間表面探傷方法
JPS61169749A (ja) * 1985-01-23 1986-07-31 Miyuuchiyuaru:Kk 物品の外面検査方法
JPH0382941A (ja) * 1989-08-25 1991-04-08 Mitsubishi Rayon Co Ltd レーザ検査装置
JPH05191715A (ja) * 1990-10-23 1993-07-30 Ricoh Co Ltd ストロボ制御方法
JP3151921B2 (ja) * 1991-06-17 2001-04-03 松下電器産業株式会社 テレビジョンカメラ装置
JP3832875B2 (ja) * 1995-05-08 2006-10-11 キヤノン株式会社 カメラシステム、カメラ、ストロボ装置
JP3566470B2 (ja) * 1996-09-17 2004-09-15 株式会社日立製作所 パターン検査方法及びその装置
US6681037B1 (en) * 1999-05-27 2004-01-20 Cognex Corporation Apparatus for locating features of an object using varied illumination
US7463684B2 (en) * 2002-05-03 2008-12-09 Microsoft Corporation Fading estimation/compensation
JP4407514B2 (ja) * 2002-07-18 2010-02-03 ソニー株式会社 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
JP4108402B2 (ja) 2002-07-29 2008-06-25 新日軽株式会社 アルミニウム押出形材の外観検査装置及び外観検査方法
JP3944439B2 (ja) * 2002-09-26 2007-07-11 株式会社日立ハイテクノロジーズ 電子線を用いた検査方法および検査装置
US7304673B2 (en) * 2003-10-22 2007-12-04 Eastman Kodak Company Image sensor array with substitutional circuit distribution
JP4607616B2 (ja) 2005-02-15 2011-01-05 ヤマハ発動機株式会社 画像取得方法、画像取得装置、表面実装機、プリント配線板用はんだ印刷機、ウエハチップ供給装置、電子部品移載装置および電子部品用外観検査装置
JP2006308376A (ja) * 2005-04-27 2006-11-09 Tokyo Seimitsu Co Ltd 外観検査装置及び外観検査方法
JP4450776B2 (ja) * 2005-07-22 2010-04-14 株式会社日立ハイテクノロジーズ 欠陥検査方法及び外観検査装置
US8103087B2 (en) * 2006-01-20 2012-01-24 Hitachi High-Technologies Corporation Fault inspection method
EP2060907A1 (en) 2006-08-28 2009-05-20 I-Pulse Kabushiki Kaisha Board appearance inspection method and device
JP2008051781A (ja) * 2006-08-28 2008-03-06 I-Pulse Co Ltd 基板の外観検査方法および装置
JP5190433B2 (ja) * 2009-10-27 2013-04-24 日東電工株式会社 配線回路基板の検査方法、配線回路基板の製造方法および配線回路基板の検査装置
US8854471B2 (en) * 2009-11-13 2014-10-07 Korea Institute Of Science And Technology Infrared sensor and sensing method using the same
JP5469527B2 (ja) * 2010-05-10 2014-04-16 パナソニック株式会社 撮像装置
JP5543872B2 (ja) * 2010-07-27 2014-07-09 株式会社東芝 パターン検査方法およびパターン検査装置
CN103250418B (zh) * 2010-11-30 2014-10-15 富士胶片株式会社 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
JP2012237680A (ja) * 2011-05-12 2012-12-06 Ihi Corp 塗布状態検査装置及び方法並びにプログラム
JP5796380B2 (ja) * 2011-07-11 2015-10-21 セイコーエプソン株式会社 画像処理方法、画像処理装置及び画像表示システム
KR20130010255A (ko) * 2011-07-18 2013-01-28 삼성전자주식회사 엑스선 장치 및 화소맵 업데이트 방법
JP5947169B2 (ja) * 2012-09-14 2016-07-06 株式会社キーエンス 外観検査装置、外観検査法およびプログラム

Also Published As

Publication number Publication date
JP2015059810A (ja) 2015-03-30
DE102014113487A1 (de) 2015-03-19
CN104458752A (zh) 2015-03-25
CN104458752B (zh) 2018-10-23
US20150077541A1 (en) 2015-03-19
US10190989B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
JP6303352B2 (ja) 外観検査システム
CN108445007B (zh) 一种基于图像融合的检测方法及其检测装置
EP1580691A2 (en) Automatic adjustment of acquisition of inspection image
JP2009250844A (ja) 三次元形状計測方法および三次元形状計測装置
WO2011027848A1 (ja) 表面検査用照明・撮像システム及びデータ構造
JP4851723B2 (ja) 内部構造画像取得装置、内部構造画像取得方法および内部構造画像取得プログラム
JP6179159B2 (ja) 外観検査システム
US20210264639A1 (en) Determination of defects in light sources integrated with cameras
KR101913705B1 (ko) 라인 레이저를 이용한 원통 부착물의 심도 측정 방법 및 장치
JP2009192358A (ja) 欠陥検査装置
TW202022694A (zh) 光學檢測裝置以及校正方法
JP2002310939A (ja) 気泡検査装置
JP5426941B2 (ja) 発光機器の検査装置および発光機器の検査システム
CN109931881B (zh) 图像处理系统、计算机可读记录介质及图像处理方法
JP3935048B2 (ja) 被覆電線検査装置
JP2017121629A (ja) シーラー塗布装置
JP2017198510A (ja) 画像検査装置、画像検査方法及び画像検査プログラム
JP5346250B2 (ja) 発光機器の検査装置、発光機器の検査システムおよび発光機器の検査方法
KR20150024122A (ko) 차량용 부품 표면 검사 방법
JP2014089156A (ja) 外観検査方法
KR102005345B1 (ko) 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법
KR102636920B1 (ko) 투광성 용기의 액체유무 확인 검사장치
KR101050711B1 (ko) 다초점 이미지의 광학식 자동 초점 조절 방법
JPH04254733A (ja) ギヤ装置の歯当たり測定方法及びその装置
JP2009300811A (ja) 被写体情報測定方法及び被写体情報測定装置、並びに露光制御方法及び、露光制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6303352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250