JP7288273B2 - 検査装置、検査システム及び検査方法 - Google Patents

検査装置、検査システム及び検査方法 Download PDF

Info

Publication number
JP7288273B2
JP7288273B2 JP2019034900A JP2019034900A JP7288273B2 JP 7288273 B2 JP7288273 B2 JP 7288273B2 JP 2019034900 A JP2019034900 A JP 2019034900A JP 2019034900 A JP2019034900 A JP 2019034900A JP 7288273 B2 JP7288273 B2 JP 7288273B2
Authority
JP
Japan
Prior art keywords
light
unit
surface roughness
inspection
polarized light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019034900A
Other languages
English (en)
Other versions
JP2020139821A (ja
Inventor
孝弘 岡部
昭廣 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
Shinryo Corp
Original Assignee
Kyushu Institute of Technology NUC
Shinryo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC, Shinryo Corp filed Critical Kyushu Institute of Technology NUC
Priority to JP2019034900A priority Critical patent/JP7288273B2/ja
Publication of JP2020139821A publication Critical patent/JP2020139821A/ja
Application granted granted Critical
Publication of JP7288273B2 publication Critical patent/JP7288273B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、検査装置、検査システム及び検査方法に関する。
タイヤ等の複雑な立体形状を有する検査対象の外観を検査するために、偏光を利用して表面の凹凸を高精度に測定する技術が提案されている(特許文献1参照)。提案された技術では、単一の方向から検査対象の表面に偏光を線状に照射し、反射光の偏光状態を解析することで表面粗さパラメタを算出する。しかしながら、単一の方向から照射するため、提案された技術では、表面粗さパラメタの精度が悪い場合があった。
そこで、線状の偏光光源に代えて、面状の偏光光源によって検査対象を照射する検査技術が提案されている(特許文献2参照)。提案された技術では、面状光源の鏡面反射をカメラで撮影した画像を解析(非特許文献1、非特許文献2参照)することで、表面粗さパラメタを算出する。しかしながら、検査対象が立体形状を有する場合、鏡面反射をカメラが受光できない場合があり、このような場合、表面粗さパラメタの精度が悪い場合があった。
特開2011-196741号公報 特開2013-213836号公報
David A. Forsyth、「Computer Vision: A Modern Approach Second Edition」、Pearson出版、2011年 Zhengyou Zhang,「Flexible Camera Calibration by Viewing a Plane from Unknown Orientations」,IEEE,0-7695-0164-8/99,1999年
上記の問題にくわえ、さらに特許文献1及び特許文献2に開示された技術は、どちらも表面下散乱の影響を考慮した技術ではなかった。そのため、従来は、検査対象によっては表面粗さパラメタの推定精度が悪い場合があった。
上記事情に鑑み、本発明は、検査対象の表面粗さパラメタの推定精度を向上させる技術を提供することを目的としている。
本発明の一態様は、所定の面内に位置し所定の偏光方向の直線偏光の光を放射する複数の光源部、を備える照射部が照射した前記光が検査対象によって鏡面反射、拡散反射又は表面下散乱した前記光を二次光として、偏光フィルタによって抽出された偏光であって前記二次光のうちの複数の偏光方向の偏光を受光し、受光した前記偏光の強度に基づいて予め定められた複数の光波長ごとの二次元画像の画像データの集合である画像集合情報を各前記偏光方向ごとに生成する撮像部と、前記撮像部が生成した複数の前記画像集合情報に基づいて、鏡面反射光の波長スペクトルを取得する分離部と、前記分離部が取得した前記波長スペクトルに基づいて、前記検査対象の表面粗さを表す表面粗さパラメタを算出する表面粗さ算出部と、を備える検査装置である。
本発明の一態様は、所定の面内に位置し所定の偏光方向の直線偏光の光を放射する複数の光源部、を備える照射部と、所定の偏光方向の偏光を抽出する偏光フィルタと、前記照射部が照射した前記光が検査対象によって鏡面反射、拡散反射又は表面下散乱した前記光を二次光として、前記偏光フィルタによって抽出された偏光であって前記二次光のうちの複数の偏光方向の偏光を受光し、受光した前記偏光の強度に基づいて予め定められた複数の光波長ごとの二次元画像の画像データの集合である画像集合情報を各前記偏光方向ごとに生成する撮像部と、前記撮像部が生成した複数の前記画像集合情報に基づいて、鏡面反射光の波長スペクトルを取得する分離部と、前記分離部が取得した前記波長スペクトルに基づいて、前記検査対象の表面粗さを表す表面粗さパラメタを算出する表面粗さ算出部と、を備える検査システムである。
本発明の一態様は、所定の面内に位置し所定の偏光方向の直線偏光の光を放射する複数の光源部、を備える照射部が前記光を照射する照射ステップと、前記照射部が照射した前記光が検査対象によって鏡面反射、拡散反射又は表面下散乱した前記光を二次光として、偏光フィルタによって抽出された偏光であって前記二次光のうちの複数の偏光方向の偏光を受光し、受光した前記偏光の強度に基づいて予め定められた複数の光波長ごとの二次元画像の画像データの集合である画像集合情報を各前記偏光方向ごとに生成する撮像ステップと、前記撮像ステップにおいて生成された複数の前記画像集合情報に基づいて、鏡面反射光の波長スペクトルを取得する分離ステップと、前記分離ステップにおいて取得された前記波長スペクトルに基づいて、前記検査対象の表面粗さを表す表面粗さパラメタを算出する表面粗さ算出ステップと、を有する検査方法である。
本発明により、検査対象の表面粗さパラメタの推定精度を向上させることが可能となる。
実施形態の検査システム1の機能構成の一例を示す図。 実施形態の検査システム1に係る原理の概要を説明する説明図。 実施形態における検知部51の機能構成の一例を示す図。 実施形態の検査システム1が実行する処理の一例を示すフローチャート。 実施形態における検査対象画像の実験結果の一例を示す図。 変形例における検査システム1aの機能構成の一例を示す図。 変形例における復元部516の一例を示す図。 変形例におけるなす角βの変化と鏡面反射成分の変化との対応関係を示す実験結果の一例を示す図。 変形例の検査システム1bの機能構成の一例を示す図。 変形例における検知部51bの機能構成の一例を示す図。 変形例の検査システム1bが実行する処理の一例を示すフローチャート。
図1は、実施形態の検査システム1の機能構成の一例を示す図である。
検査システム1は、照射部10、偏光フィルタ20、撮像装置40、検査装置50及び検査システム制御部60を備える。
照射部10は、複数の光源部101を備える。複数の光源部101は、所定の面内に位置する。照射部10が照射する光は、所定の偏光方向の直線偏光の光である。所定の偏光方向は、例えば、光源部101が位置する所定の面に平行な偏光方向であってもよい。照射部10が照射する光は、各光源部101の位置に応じた入射角で検査対象9に入射する。照射部10が検査対象9に照射する光は、複数の光源部101の一部又は全部が放射する光である。複数の光源部101は、どのように配置されてもよく、例えば、所定の面内に格子状に配置されてもよい。複数の光源部101は、例えば、形状が棒状であれば、所定の面内で、棒に垂直な方向に一列に配置されてもよい。またこのような場合、所定の偏光方向は、例えば、棒に平行な方向であってもよいし、棒に垂直な方向であってもよい。
照射部10は、例えば、ディスプレイ機能を有する面状偏光光源である。ディスプレイ機能を有する面状偏光光源とは、任意の形状の画像を表示するディスプレイである。照射部10が表示する表示画像は、線状の画像であってもよいし、点状の画像であってもよい。照射部10が表示する表示画像は、同時に表示された複数の図形であってもよい。
照射部10が備えるディスプレイ機能は、複数の光源部101の一部又は全部による光の放射によって実現される。
照射部10による表示画像の表示とは、照射部10が備える複数の光源部101のうち、表示画像と同様の形状に位置する一部又は全ての光源部101が光を放射する動作である。
以下、照射部10が、線状の画像の表示や複数の図形の表示等の所定の大きさ以上の大きさの画像を表示する動作を、線状画像表示動作という。以下、照射部10が、照射部10が所定の大きさ未満の単一の点の画像を表示する動作を、単一点表示動作という。
照射部10が線状画像表示動作を実行する場合には、照射部10が単一点表示動作を実行する場合よりも、検査対象9の広い範囲が一度に照射される。
線状画像表示動作は、例えば、照射部10が備える複数の光源部101のうち、線状に並ぶ一部又は全ての光源部101が光を放射する動作である。
単一点表示動作は、例えば、照射部10が備える複数の光源部101のうち、所定の円周内に位置する一部又は全ての光源部101が光を放射する動作である。
照射部10は、面状発光光源であればどのようなものであってもよい。照射部10は、例えば、液晶ディスプレイやデジタルミラーデバイス等を用いたリアプロジェクションディスプレイであってもよい。照射部10は、例えば、有機EL(electro-luminescence)ディスプレイであってもよい。照射部10は、例えば、有機ELディスプレイの前面全てを覆うように1枚の直線偏光板が配置された光源であってもよい。
偏光フィルタ20は、フィルタ方向を変更可能な偏光フィルタであって、入射する光から偏光方向がフィルタ方向である偏光を抽出し出射する。フィルタ方向は、偏光フィルタ20を透過した光の偏光方向である。偏光フィルタ20は、例えば、回転可能な偏光フィルタであって、回転することでフィルタ方向を変更する。
例えば、偏光フィルタ20は、検査対象9に入射した光1Lの反射光又は散乱光である二次光が入射すると、偏光方向がフィルタ方向と一致する偏光を出射する。偏光フィルタ20が回転することで、フィルタ方向が変更される。検査システム1においては、フィルタ方向の変更によって偏光フィルタ20に入射する光の偏光方向依存性が測定される。なお、偏光フィルタ20は、フィルタ方向を変更可能であればどのような仕組みでフィルタ方向を変更してもよく、必ずしも回転することでフィルタ方向を変更する必要は無い。
撮像装置40は、二次元的に配列された複数の受光素子401を備える。撮像装置40は、偏光フィルタ20を透過して検査対象9に入射した光1Lの反射光又は散乱光であって偏光フィルタ20を透過した反射光又は散乱光である二次光を、複数の受光素子401によって受光する。
撮像装置40は、受光した二次光に基づき、複数のフィルタ方向の各々について画像集合情報を生成する。画像集合情報は、予め定められた複数の光波長ごとの二次元画像の画像データの集合である。光波長ごとの二次元画像のそれぞれは、光波長ごとに、各受光素子401が受光した二次光の波長成分の強度を示す画像である。光波長は、光の波長である。
このように、検査システム1において、撮像装置40が受光する二次光は、検査対象9に入射した光1Lの二次光のうち偏光フィルタ20を透過した光である偏光である。検査システム1において、撮像装置40は、受光した偏光に基づいて、画像集合情報を生成する。
撮像装置40は、例えば、ハイパースペクトルカメラである。画像集合情報は、例えば、データキューブである。
なお、偏光フィルタ20は、必ずしも撮像装置40の筐体の外に位置する必要は無い。偏光フィルタ20は、光1Lの二次光の出射位置と受光素子401との間に位置すれば、どのような位置にあってもよい。例えば、偏光フィルタ20が撮像装置40の筐体内に位置してもよい。偏光フィルタ20と撮像装置40とは、一体に構成されてもよい。以下、偏光フィルタ20と撮像装置40とが一体に構成された機能部を、撮像ユニット41という。
撮像ユニット41は、例えば、ディジタルカメラのレンズ前面に回転可能な直線偏光板を配したものであってもよい。撮像ユニット41は、より好ましくは、例えば、以下に記載の参考文献1~3に記載された偏光カメラであってもよい。
参考文献1:特開2017-017563号公報
参考文献2:特開2014-57231号公報
参考文献3:特開2012-80065号公報
撮像ユニット41は、例えば、LUCID 社製VP-PHX050S-Pや、Teledyne DALSA社製Nano-M2450-Polarized、FLIR社製Blackfly S Polarized 5.0 MP USB3 Visionであってもよい。
検査装置50は、バスで接続されたCPU(Central Processing Unit)501やメモリ502や補助記憶装置503などを備え、プログラムを実行する。検査装置50は、プログラムの実行によって入力部504及び出力部505を備える装置として機能する。
CPU501は、メモリ502又は補助記憶装置503に記憶されたプログラムを実行することによって検知部51として機能する。検知部51は、画像集合情報に基づいて、検査対象9の外観の不良箇所を検知する。検査対象9の外観の不良箇所を検知するとは、検査対象9の外観に不良箇所があるか否かを判定する処理と、不良箇所があると判定された場合に不良箇所の位置を特定する処理とを検知部51が実行することである。
検査システム制御部60は、CPUやメモリや補助記憶装置などを備え、プログラムを実行する。検査システム制御部60は、プログラムの実行によって、検査システム1が備える各機能部の動作を制御する。検査システム制御部60は、例えば、照射部10aの照射時に偏光フィルタ20及び撮像装置40を同期して動作させることで、撮像装置40に複数のフィルタ方向ごとの画像集合情報を生成させる。
なお、光源部101と、検査対象9と、偏光フィルタ20と、撮像装置40とは、光源部101による光の放射によって照射された検査対象9の表面(被照射面)を、偏光フィルタ20を介して撮像装置40が撮影することができる位置に位置すればどのような位置に位置してもよい。
なお、複数の光源部101の位置関係が、複数の光源部101の位置関係のうち光源部101の全てが光を放射した場合の検査対象9上の被照射面の面積が最大になる位置関係であって、撮像装置40が、検査対象9上に照射された光が正反射する方向に位置することが望ましい。このような場合、撮像装置40に入射する反射光の光強度が強くなり、検査に要する時間が短くなる。以下、このような、光源部101と、検査対象9と、偏光フィルタ20と、撮像装置40と位置関係を第1理想位置関係という。
なお、撮像装置40は、被照射面の全てを撮影できる距離に位置することが、より望ましい。このような場合、1度の撮影で検査できる面積が最大になり、検査に要する時間が短くなる。以下、第1理想位置関係のうち、撮像装置40が被照射面の全てを撮影できる距離に位置する位置関係を、第2理想位置関係という。
ここで、図2を用いて検査システム1に係る原理の概要を説明する。
図2は、実施形態の検査システム1に係る原理の概要を説明する説明図である。図2において、照射部10aは、液晶ディスプレイである。図2において、検査対象9は透明又は半透明の物体である。
照射部10a上の一点の輝点によって照明された光の検査対象9による直接反射光1Lには、鏡面反射光と、拡散反射光と、表面下散乱による光(以下「表面下散乱光」という。)とが含まれている。鏡面反射光は偏光しているが、拡散反射光や表面下散乱光は、多重散乱により、偏光していない。
一般に、偏光している光は、偏光板の回転によって、透過強度が変化する。一方、偏光していない光は、偏光板の回転によって、透過強度は変化しない。したがって、検査システム1において、直接反射光1Lの光強度のうち偏光板の回転に応じて変動する光強度が鏡面反射光に由来する光強度である。そのため、偏光板の回転に応じて変動する光強度と変動しない光強度とが測定されれば、鏡面反射光の光強度と、拡散反射光及び表面下散乱光の光強度とは分離可能である。
検査システム1においては、偏光フィルタ20が偏光板である。検査システム1においては、偏光フィルタ20を回転させることで4以上の異なる複数のフィルタ方向における光強度が測定されれば、鏡面反射光の光強度と、拡散反射光及び表面下散乱光の光強度とは分離可能である。以下、鏡面反射光の光強度を鏡面反射光成分という。以下、拡散反射光及び表面下散乱光の光強度を非偏光成分という。なお、鏡面反射光と、拡散反射光と、表面下散乱光とは、いずれも二次光である。なお、直接反射光1Lは、二次光の一例である。
検査システム1においては、具体的には、以下の処理が実行されることで、鏡面反射光成分と非偏光成分とが分離される。
検査システム1においては、まず複数のフィルタ方向ごとの画像集合情報が取得される。以下、複数のフィルタ方向ごとの画像集合情報を、フィルタ透過結果という。
検査システム1においては、次に、検査装置50がフィルタ透過結果に基づき、例えば、以下に記載の参考文献4に記載の方法によって光強度の最高値Imaxと最小値Iminとを算出する。次に、検査装置50が、最高値Imaxと最小値Iminに基づいて、鏡面反射光成分と非偏光成分とを分離する。
参考文献4: Lawrence B Wolff and Terrance E. Boult 「Constraining object features using a polarization reflectance model」, IEEE Trans. PAMI, 1991年
検査装置50が算出する鏡面反射光の光強度Isは、以下の式(1)で表される。
Figure 0007288273000001
検査装置50は、次に、表面の粗さを表すパラメタである表面粗さを表す値である表面粗さパラメタσの値を算出する。表面粗さパラメタσは、値の大小によって表面の粗さを表す。表面粗さパラメタσは、値が大きいほど表面が粗いことを表してもよいし、値が小さいほど表面が粗いことを表してもよい。
表面粗さパラメタσは、例えば、所定の反射モデルにおける表面粗さを表す値である。所定の反射モデルとは、たとえば簡略化したトランス・スパロウモデルや、検査対象面の表面粗さパラメタの異方性を考慮したウォードモデル、フォンモデル、ラフォーチュンモデル等である。所定の反射モデルにおける表面粗さを表す値は、例えば、簡略化したトランス・スパロウモデルにおける表面粗さを表すパラメタであってもよい。
以下、説明の簡単のため、表面粗さパラメタσは、値が大きいほど表面が粗いことを表すと仮定する。
表面粗さパラメタσは、例えば、以下の式(2)で表される。式(2)が表す表面粗さパラメタσは、簡略化したトランス・スパロウモデルにおける表面粗さを表すパラメタである。
Figure 0007288273000002
トランス・スパロウモデルは、例えば、以下に記載の参考文献5に記載されている。
参考文献5: K. E. Torrance and E. M. Sparrow, “Theory for off-specular reflection from roughened surfaces”, Journal of the Optical Society of America, Vol.57, No.9, pp.1105-1114, 1967年
式(2)において、Nは、図2に示すように、簡略化したトランス・スパロウモデルにおける物体法線の方向を表すベクトルである。式(2)において、Vは、図2に示すように、簡略化したトランス・スパロウモデルにおける視点方向を表すベクトルである。式(2)において、Ksは、簡略化したトランス・スパロウモデルにおける検査対象9の鏡面反射率を表す。式(2)において、βは、図2に示すように、簡略化したトランス・スパロウモデルにおける照射部10の方向と撮像装置40の方向とのなす角の二等分方向Hと、検査対象9の物体法線の方向Nと、のなす角である。なす角βは、非特許文献1の22ページに記載の方法によって取得される値である。
なお、検査対象9の鏡面反射率Ksは、例えば、以下に記載の参考文献6又は参考文献7に記載の方法によって屈折率1.567の表面平滑なガラスの鏡面反射率に基づき算出される。
参考文献6:「日本工業規格 鏡面光沢度-測定方法」 JIS Z 8741:1997
参考文献7:「日本工業規格 塗料一般試験方法-第4部:塗膜の視覚特性-第7節:鏡面光沢度」 JIS K 5600-4-7:1999
検査装置50は、表面粗さパラメタσに基づいて、検査対象9の外観の不良箇所を検知する。
図3は、実施形態における検知部51の機能構成の一例を示す図である。検知部51は、検知処理を実行する。検知部51は、検知処理の実行によって、検査対象9の外観の不良箇所を検知する。
検知部51は、画像生成部511、分離部512、表面粗さ算出部513、不良画素判定部514及び不良画素有無判定部515を備える。
画像生成部511は、画像集合情報に基づいて検査対象9の画像(以下「検査対象画像」という。)を生成する。検査対象画像は、画素の輝度が受光素子401の受光した二次光の強度に応じた輝度の画像である。検査対象画像は、各画素の輝度はひとつの受光素子401が受光した二次光の強度に応じた輝度の画像である。検査対象画像は、少なくとも2つの受光素子401が受光した二次光の強度に基づいて生成された画像である。例えば、検査対象画像の任意の2つの画素は、異なる受光素子401が受光した二次光の強度に応じた輝度の画像である。
分離部512は、複数の発光光源ごとの画像集合情報に基づいて、検査対象画像の各画素における鏡面反射光成分と非偏光成分とを分離する。発光光源とは、光を放射する光源部101である。鏡面反射光成分と非偏光成分とを分離するとは、鏡面反射光の光強度を取得する処理である。
分離部512は、各画素における鏡面反射光成分と非偏光成分とを分離することで、位置波長スペクトル情報を取得する。位置波長スペクトル情報は、検査対象画像の各画素の鏡面反射光成分(すなわち、各画素における鏡面反射光の光強度Is)を示す情報である。
表面粗さ算出部513は、位置波長スペクトル情報に基づき、検査対象画像の画素ごとに、検査対象9の表面粗さパラメタσの値を算出する。
表面粗さ算出部513は、例えば、位置波長スペクトル情報に基づき、式(1)で表される光強度Isと、式(2)で表される表面粗さパラメタσの値とを算出することで、表面粗さパラメタσの値を検査対象画像の画素ごとに取得する。
不良画素判定部514は、表面粗さ算出部513が取得した各画素における表面粗さパラメタσに基づき、検査対象画像の画素ごとに、画素が不良画素か否かを判定する。不良画素は、画素ごとの予め定められた所定の値を粗さ基準値を用いて判定される。以下、説明を簡単にするため、不良画素は、表面粗さパラメタσが粗さ基準値以上の画素であるとするが、粗さ基準値以下の画素であるとしても同様に判定できる。
以下、不良画素判定部514が、不良画素では無いと判定した画素を正常画素という。すなわち、正常画素は、表面粗さパラメタσが粗さ基準値未満の画素である。
不良画素判定部514は、判定結果を示す情報を出力する。判定結果を示す情報は、不良画素と正常画素とを示す情報であれば、どのような形式の情報であってもよい。例えば、判定結果は、検査対象画像の不良画素に対応する画素を強調表示させた画像であってもよい。
このような場合、画素と受光素子401とを対応付ける予め定められた情報(以下「対応情報」という。)が補助記憶装置503に記憶されていれば、検知部51は、必ずしも、画像生成部511を備える必要は無い。なお、対応情報は、必ずしも補助記憶装置503に記憶されている必要は無く、検査装置50の動作のたびに対応情報を記憶する外部装置(不図示)から入力部504を介して入力されてもよい。
不良画素有無判定部515は、不良画素判定部514の判定結果に基づいて、不良画素の有無を判定する。不良画素有無判定部515は、不良画素がある場合に、不良画素が有ると判定する。不良画素有無判定部515は、不良画素が無い場合に、不良画素が無いと判定する。
図4は、実施形態の検査システム1が実行する処理の一例を示すフローチャートである。
検査システム制御部60の制御によって、照射部10が動作し、光を照射する(ステップS101)。
検査システム制御部60の制御によって、照射部10、偏光フィルタ20及び撮像装置40が動作し、撮像装置40が、偏光フィルタ20の複数のフィルタ方向の各々について画像集合情報を生成する(ステップS102)。
分離部512が、撮像装置40が生成した各フィルタ方向の画像集合情報に基づいて、検査対象画像の各画素における鏡面反射光成分と非偏光成分とを分離する。分離部512は、各画素における鏡面反射光成分と非偏光成分とを分離することで、位置波長スペクトル情報を取得する(ステップS103)。
表面粗さ算出部513が、位置波長スペクトル情報に基づいて検査対象画像の画素ごとに、検査対象9の表面粗さパラメタσの値を算出する(ステップS104)。
不良画素判定部514が、表面粗さ算出部513が取得した各画素における表面粗さパラメタσに基づき、検査対象画像の画素ごとに、画素が不良画素か否かを判定する(ステップS105)。
具体的には、不良画素判定部514は、画素ごとに、表面粗さパラメタσが各画素の粗さ基準値以上であるか否かを判定する。不良画素判定部514は、表面粗さパラメタσが各画素の粗さ基準値以上である画素を、不良画素であると判定する。不良画素判定部514は、表面粗さパラメタσが各画素の粗さ基準値未満である画素を、正常画素であると判定する。
不良画素有無判定部515が、不良画素判定部514の判定結果に基づいて、不良画素が有るか否かを判定する(ステップS106)。具体的には、不良画素有無判定部515は、不良画素判定部514の判定結果に不良画素がある場合に、不良画素が有ると判定する。不良画素有無判定部515は、不良画素判定部514の判定結果に不良画素が無い場合に、不良画素が無いと判定する。
図5は、実施形態における検査対象画像の実験結果の一例を示す図である。
図5の実験結果を与える実験系において、照射部10は液晶ディスプレイであった。図5の実験結果を与える実験系において、検査対象9が摺りガラスであった。図5の実験結果を与える実験系において、撮像ユニット41は、LUCID社製のVP-PHX050S-Pであった。図5の実験結果を与える実験系において、照射部10、検査対象9及び撮像ユニット41の位置関係は、第2理想位置関係であった。
図5の実験結果は、液晶ディスプレイが、ディスプレイ上に幅5ピクセルの白線を上から順に表示し、白線が摺りガラス上に表示されるごとに白線の様子を撮像装置40で撮影した結果の一例である。
このように構成された検査システム1は、複数の光源部101を備える照射部10を備え、光源部101が放射した光によって検査対象9を照射する。検査システム1は、フィルタ方向を変更可能な偏光フィルタ20を備え、検査対象9に照射した光の二次光を、偏光フィルタ20を介して受光する。検査システム1は、受光した結果に基づいて、鏡面反射光成分と非偏光成分とを分離する。そのため、このように構成された検査システム1は、非偏光成分の影響を軽減して検査対象物の外観の不良を検出することができるため、表面粗さを表すパラメタの算出の精度を向上させることができる。さらに、このように構成された検査システム1は、非偏光成分の影響を軽減して検査対象物の外観の不良を検出することができるため、不良の検出精度を向上させることができる。
また、このように構成された検査システム1は、照射部10が位置の異なる複数の光源部101を備えるため、検査対象9に照射する光の入射角を変更することができる。そのため、検査対象によって撮像装置40が鏡面反射光を受光できなくなる頻度を低下させることができる。
また、このように構成された検査システム1は、照射部10が位置の異なる複数の光源部101を備えるため、照射部10を移動させることなく、検査対象9に照射する光の入射角を変更することができ、照射部10を移動させる必要が無い。そのため、このように構成された検査システム1は、照射部10の移動に要するエネルギーを軽減しつつ、表面粗さを表すパラメタの算出の精度を向上させることができる。
(変形例)
図6は、変形例における検査システム1aの機能構成の一例を示す図である。
検査システム1aは、撮像部駆動部70を備える点で、検査システム1と異なる。
以下、検査システム1と同様の機能を有するものについては、図1と同じ符号を付すことで説明を省略する。
撮像部駆動部70は、検査システム制御部60の制御によって、撮像装置40を移動させる。撮像部駆動部70は、撮像装置40を移動可能であればどのようなものであってもよい。撮像部駆動部70は、例えば、ステッピングモータの回転によって撮像装置40を移動させる装置であってもよい。
撮像装置40が撮像部駆動部70によって移動させられることで複数の位置で二次光を受光する場合、検査システム1aにおいて画像集合情報は、撮像装置40の各位置における受光素子401ごとの波長スペクトルを示す情報であってもよい。
なお、検査システム1aにおいて、撮像装置40は、必ずしも複数の受光素子401を備える必要はなく、受光素子401をひとつだけ備えてもよい。
なお、検査システム1及び1aの検知部51は、復元部516を備えてもよい。
図7は、変形例における復元部516の一例を示す図である。
復元部516は、多重化計測の方法によって、1つの光源部101のみが光を放射した場合における受光素子401ごとの波長スペクトルを取得する。多重化計測の方法とは、例えば、以下に記載の参考文献8に開示された方法であってもよい。
参考文献8:Yoav Y. Schechner, Shree K. Nayar and Peter N. Belhumeur 「A Theory of Multiplexed Illumination」, Proceedings of the Ninth IEEE International Conference on Computer Vision (ICCV’03), 0-7695-1950-4/03, 2003年
なお、表面粗さパラメタσは、必ずしも、式(1)及び式(2)によって表される値である必要は無い。表面粗さパラメタσは、例えば、なす角βの変化に対する鏡面反射成分の変化を表す値であってもよい。
以下、図5で説明した実験系を具体例とし、図8を用いて、鏡面反射成分の変化について説明する。例えば、所定の画素のなす角βが3.5度であるような液晶ディスプレイの表示の状態を初期状態として、液晶ディスプレイがディスプレイ上に白線を順に表示する場合、当該画素におけるなす角βは初期状態におけるなす角βから変化する。また、液晶ディスプレイがディスプレイ上に白線を順に表示する場合、撮像装置40に入射する二次光の鏡面反射成分も変化する。
図8は、変形例におけるなす角βの変化と鏡面反射成分の変化との対応関係を示す実験結果の一例を示す図である。
図8の横軸は、なす角βを表す。図8の縦軸は、光強度を表す。図8は、所定の画素におけるなす角βと鏡面反射成分の光強度との関係を示す。図8は、所定の画素におけるなす角βと複数の反射成分の光強度との関係を示す。図8は、なす角βの変化に応じて、鏡面反射成分の光強度が変化することを示す。
また、図8は、βが3.5度近傍で最大となるピークを有することを示す。以下、なす角β対する光強度を示す情報(例えば、図8に示すグラフ)をなす角スペクトルという。なす角スペクトルは、図8が示すように光強度を最大にするピークを有する。
ところで、検査対象9の表面の粗さが小さいほど、かつ、表面下散乱の影響が小さいほど、反射光の光強度は直接反射光によって支配され、撮像装置40に入射する光のなす角スペクトルのピークの形状は鋭く狭くなる。逆に表面の粗さが大きくなるほど、又は、表面下散乱の影響が強いほど、反射光の強度形状は等方的になる。そのため、なす角スペクトルのピークの形状は広くなる。
このように、なす角スペクトルのピークの形状は、表面の粗さに応じた形状である。そのため、表面粗さパラメタσは、なす角スペクトルのピークの形状を表す値であってもよい。
なお、なす角スペクトルのピークの形状を表す値を表面粗さパラメタσとする場合には、実験結果におけるバックグラウンドの値を測定結果の光強度から差し引いた値となす角との関係を示す情報をなす角スペクトルとすることが望ましい。
例えば、図8であれば、なす角βが2度以下となす角が4度以上とに出現するバックグラウンドの値をピークの強度から引き算した値をピーク強度とするなす角スペクトルの形状を、表面粗さパラメタσが表すことが望ましい。
以下、表面粗さパラメタσがなす角スペクトルの形状を表す場合における検査システム1を検査システム1bという。
なお、なす角スペクトルの形状を表す値は、例えば、なす角スペクトルのピークの半値幅であってもよいし、ピークの強度であってもよい。
ピークの半値幅を用いる場合は、鏡面反射率を別に求める必要はない。
図9は、変形例における検査システム1bの機能構成の一例を示す図である。検査システム1bは、撮像装置40に代えて撮像装置40bを備える点と、検査装置50に代えて検査装置50bを備える点とで検査システム1と異なる。以下、検査システム1と同様の機能を有するものについては、図1と同じ符号を付すことで説明を省略する。
撮像装置40bは、画像集合情報に代えて、大画像集合情報を生成する点で、撮像装置40と異なる。大画像集合情報は、照射部10の表示画像ごとかつフィルタ方向ごとの画像集合情報である。
検査装置50bは、検知部51に代えて検知部51bを備える点で検査装置50と異なる。
図10は、変形例における検知部51bの機能構成の一例を示す図である。検知部51bは、画像生成部511に代えて画像生成部511bを備える点と、分離部512に代えて分離部512bを備える点と、表面粗さ算出部513に代えて表面粗さ算出部513bを備える点とで、検知部51と異なる。以下、検知部51と同様の機能を有するものについては、図3と同じ符号を付すことで説明を省略する。
画像生成部511bは、画像集合情報に代えて大画像集合情報に基づいて、表示画像ごとに検査対象画像を生成する点で画像生成部511と異なる。
分離部512bは、画像集合情報に代えて大画像集合情報に基づいて、各画素における鏡面反射光成分と非偏光成分とを分離することで、表示画像ごとに位置波長スペクトル情報を取得する点で分離部512と異なる。以下、表示画像ごとに位置波長スペクトル情報を大位置波長スペクトル情報という。
表面粗さ算出部513bは、位置波長スペクトル情報に代えて大位置波長スペクトル情報に基づいて、検査対象画像の画素ごとに、検査対象9の表面粗さパラメタσの値を算出する点で、表面粗さ算出部513と異なる。なお、表面粗さ算出部513bが算出する表面粗さパラメタσは、なす角スペクトルの形状を表す値であって、表面粗さ算出部513が算出する表面粗さパラメタσとは異なる定義の値である。
図11は、変形例の検査システム1bが実行する処理の一例を示すフローチャートである。以下、図4に示すフローチャートと同様の処理については、同じ符号を付すことで説明を省略する。
検査システム制御部60の制御によって、照射部10が動作し、複数の表示画像を表示することで、検査対象9に各表示画像に応じた光を照射する(ステップS201)。
検査システム制御部60の制御によって、照射部10、偏光フィルタ20及び撮像装置40bが動作し、撮像装置40bが、大画像集合情報を生成する(ステップS202)。
分離部512bが、撮像装置40bが生成した大画像集合情報に基づいて、検査対象画像の各画素における鏡面反射光成分と非偏光成分とを分離する。分離部512bは、各画素における鏡面反射光成分と非偏光成分とを分離することで、大位置波長スペクトル情報を取得する(ステップS203)。
表面粗さ算出部513bが、大位置波長スペクトル情報に基づいて検査対象画像の画素ごとに、検査対象9の表面粗さパラメタσの値を算出する(ステップS204)。
このように構成された変形例の検査システム1bは、複数の光源部101を備える照射部10を備え、光源部101が放射した光によって検査対象9を照射する。検査システム1bは、フィルタ方向を変更可能な偏光フィルタ20を備え、検査対象9に照射した光の二次光を、偏光フィルタ20を介して受光する。検査システム1bは、受光した結果に基づいて、鏡面反射光成分と非偏光成分とを分離する。そのため、このように構成された検査システム1bは、非偏光成分の影響を軽減して検査対象物の外観の不良を検出することができるため、表面粗さを表すパラメタの算出の精度を向上させることができる。さらに、このように構成された検査システム1bは、非偏光成分の影響を軽減して検査対象物の外観の不良を検出することができるため、不良の検出精度を向上させることができる。
なお、表面粗さ算出部513bは、なす角スペクトルのバックグラウンドの影響を低減する演算を実行してもよい。例えば、偏光フィルタ20が直線偏光を抽出する場合、式(1)に基づいて、所定の偏光成分の強度のみを取得することで、図8の“複数の反射成分”のグラフが示すようにバックグラウンドの影響は著しく軽減される。
なお、撮像装置40は、撮像部の一例である。
なお、検査システム1及び検査システム1aの各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
検査装置50は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、検査装置50が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。例えば、画像生成部511と、分離部512と、表面粗さ算出部513と、不良画素判定部514と、不良画素有無判定部515と、復元部516とはそれぞれ異なる情報処理装置に実装されてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1、1a、1b…検査システム、 10…照射部、 20…偏光フィルタ、 40、40b…撮像装置、 50、50b…検査装置、 60…検査システム制御部、 70…撮像部駆動部、 401…受光素子、 501…CPU(Central Processing Unit)、 502…メモリ、 503…補助記憶装置、 504…入力部、 505…出力部、 51、51b…検知部、 511、511b…画像生成部、 512、512b…分離部、 513、513b…表面粗さ算出部、 514…不良画素判定部、 515…不良画素有無判定部、 516…復元部

Claims (8)

  1. 所定の面内に位置し所定の偏光方向の直線偏光の光を放射する複数の光源部、を備える照射部と、
    前記照射部が照射した前記光が検査対象によって鏡面反射、拡散反射又は表面下散乱した前記光を二次光として、偏光フィルタによって抽出された偏光であって前記二次光のうちの複数の偏光方向の偏光を受光し、受光した前記偏光の強度に基づいて予め定められた複数の光波長ごとの二次元画像の画像データの集合である画像集合情報を各前記偏光方向ごとに生成する撮像部と、
    前記撮像部が生成した複数の前記画像集合情報に基づいて、鏡面反射光の波長スペクトルを取得する分離部と、
    前記分離部が取得した前記波長スペクトルに基づいて、前記検査対象の表面粗さを表す表面粗さパラメタを算出する表面粗さ算出部と、
    を備え
    前記照射部は、ディスプレイ機能を有する面状偏光光源であり、表示される位置の異なる複数の線状の画像を表示する、
    検査装置。
  2. 前記表面粗さ算出部は、各前記偏光方向ごとの前記波長スペクトルに基づき、前記表面粗さパラメタを算出する、
    請求項1に記載の検査装置。
  3. 前記表面粗さパラメタは、所定の反射モデルにおける表面粗さパラメタである、
    請求項2に記載の検査装置。
  4. 前記所定の反射モデルは、簡略化したトランス・スパロウモデルである、
    請求項3に記載の検査装置。
  5. 多重化計測の方法によって、複数の前記光源部の1つだけが光を放射した場合における、前記二次光の波長スペクトルを取得する復元部、
    をさらに備える、
    請求項1から請求項4のいずれか一項に記載の検査装置。
  6. 簡略化したトランス・スパロウモデルにおける前記照射部の方向と前記撮像部の方向とのなす角の二等分方向と前記検査対象の物体法線の方向とのなす角をなす角βとして、前記表面粗さパラメタは、前記撮像部が受光する前記強度の前記なす角βに対する依存性を示す情報であるなす角スペクトルにおける前記強度のピークの形状を表す値である、
    請求項2に記載の検査装置。
  7. 所定の面内に位置し所定の偏光方向の直線偏光の光を放射する複数の光源部、を備える照射部と、
    所定の偏光方向の偏光を抽出する偏光フィルタと、
    前記照射部が照射した前記光が検査対象によって鏡面反射、拡散反射又は表面下散乱した前記光を二次光として、前記偏光フィルタによって抽出された偏光であって前記二次光のうちの複数の偏光方向の偏光を受光し、受光した前記偏光の強度に基づいて予め定められた複数の光波長ごとの二次元画像の画像データの集合である画像集合情報を各前記偏光方向ごとに生成する撮像部と、
    前記撮像部が生成した複数の前記画像集合情報に基づいて、鏡面反射光の波長スペクトルを取得する分離部と、
    前記分離部が取得した前記波長スペクトルに基づいて、前記検査対象の表面粗さを表す表面粗さパラメタを算出する表面粗さ算出部と、
    を備え
    前記照射部は、ディスプレイ機能を有する面状偏光光源であり、表示される位置の異なる複数の線状の画像を表示する、
    検査システム。
  8. 所定の面内に位置し所定の偏光方向の直線偏光の光を放射する複数の光源部、を備える照射部が前記光を照射する照射ステップと、
    前記照射部が照射した前記光が検査対象によって鏡面反射、拡散反射又は表面下散乱した前記光を二次光として、偏光フィルタによって抽出された偏光であって前記二次光のうちの複数の偏光方向の偏光を受光し、受光した前記偏光の強度に基づいて予め定められた複数の光波長ごとの二次元画像の画像データの集合である画像集合情報を各前記偏光方向ごとに生成する撮像ステップと、
    前記撮像ステップにおいて生成された複数の前記画像集合情報に基づいて、鏡面反射光の波長スペクトルを取得する分離ステップと、
    前記分離ステップにおいて取得された前記波長スペクトルに基づいて、前記検査対象の表面粗さを表す表面粗さパラメタを算出する表面粗さ算出ステップと、
    を有し、
    前記照射部は、ディスプレイ機能を有する面状偏光光源であり、表示される位置の異なる複数の線状の画像を表示する、
    検査方法。
JP2019034900A 2019-02-27 2019-02-27 検査装置、検査システム及び検査方法 Active JP7288273B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019034900A JP7288273B2 (ja) 2019-02-27 2019-02-27 検査装置、検査システム及び検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019034900A JP7288273B2 (ja) 2019-02-27 2019-02-27 検査装置、検査システム及び検査方法

Publications (2)

Publication Number Publication Date
JP2020139821A JP2020139821A (ja) 2020-09-03
JP7288273B2 true JP7288273B2 (ja) 2023-06-07

Family

ID=72264775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019034900A Active JP7288273B2 (ja) 2019-02-27 2019-02-27 検査装置、検査システム及び検査方法

Country Status (1)

Country Link
JP (1) JP7288273B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008249568A (ja) 2007-03-30 2008-10-16 Fujifilm Corp 外観検査装置
WO2010004677A1 (ja) 2008-07-08 2010-01-14 パナソニック株式会社 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
JP2010521664A (ja) 2007-03-14 2010-06-24 テクニオン リサーチ アンド ディベロップメント ファウンデーション リミテッド 多重測定のためのシステムおよび方法
JP2011196814A (ja) 2010-03-19 2011-10-06 Mitsubishi Paper Mills Ltd 光沢感評価装置及び光沢感評価方法
WO2013047593A1 (ja) 2011-09-26 2013-04-04 三菱レイヨン株式会社 微細凹凸構造を表面に有する部材の検査装置および検査方法、陽極酸化アルミナ層を表面に有する部材の製造方法、及び光学フィルムの製造方法
JP5182833B1 (ja) 2012-06-19 2013-04-17 バイスリープロジェクツ株式会社 表面検査装置および表面検査方法
JP2013213836A (ja) 2013-07-18 2013-10-17 Fujitsu Ltd 表面欠陥検査装置及び表面欠陥検査方法
JP2014240766A (ja) 2013-06-11 2014-12-25 株式会社リケン 表面検査方法および表面検査装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521664A (ja) 2007-03-14 2010-06-24 テクニオン リサーチ アンド ディベロップメント ファウンデーション リミテッド 多重測定のためのシステムおよび方法
JP2008249568A (ja) 2007-03-30 2008-10-16 Fujifilm Corp 外観検査装置
WO2010004677A1 (ja) 2008-07-08 2010-01-14 パナソニック株式会社 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
JP2011196814A (ja) 2010-03-19 2011-10-06 Mitsubishi Paper Mills Ltd 光沢感評価装置及び光沢感評価方法
WO2013047593A1 (ja) 2011-09-26 2013-04-04 三菱レイヨン株式会社 微細凹凸構造を表面に有する部材の検査装置および検査方法、陽極酸化アルミナ層を表面に有する部材の製造方法、及び光学フィルムの製造方法
JP5182833B1 (ja) 2012-06-19 2013-04-17 バイスリープロジェクツ株式会社 表面検査装置および表面検査方法
JP2014240766A (ja) 2013-06-11 2014-12-25 株式会社リケン 表面検査方法および表面検査装置
JP2013213836A (ja) 2013-07-18 2013-10-17 Fujitsu Ltd 表面欠陥検査装置及び表面欠陥検査方法

Also Published As

Publication number Publication date
JP2020139821A (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
JP6364777B2 (ja) 画像データ取得システム及び画像データ取得方法
US10666927B2 (en) Method and device for inspection of an asset
JP4769079B2 (ja) カメラ情報解析装置
Logothetis et al. Semi-calibrated near field photometric stereo
JP5432864B2 (ja) 検査装置及び検査方法
JP2016128816A (ja) プレノプティック・カメラを使った表面属性の推定
Tanaka et al. Descattering of transmissive observation using parallel high-frequency illumination
JP5841091B2 (ja) 画像色分布検査装置および画像色分布検査方法
EP3381015A1 (en) Systems and methods for forming three-dimensional models of objects
US20190051005A1 (en) Image depth sensing method and image depth sensing apparatus
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
CN111295565B (zh) 用于确定表面拓扑和相关联的颜色的装置和方法
US10753726B2 (en) System and method for 3D profile determination using model-based peak selection
JP7288273B2 (ja) 検査装置、検査システム及び検査方法
Suo et al. A self-synchronized high speed computational ghost imaging system: A leap towards dynamic capturing
JP2020139822A (ja) 検査装置、検査システム及び検査方法
JP6587959B2 (ja) 肌画像生成装置、肌画像生成装置の作動方法、および肌画像生成処理プログラム
JP2018196426A (ja) 毛穴検出方法及び毛穴検出装置
CN113272639B (zh) 一种提取待测物质的光谱信息的方法
Pintus et al. Practical free-form RTI acquisition with local spot lights
JP7306673B2 (ja) 評価システム及び評価方法
KR102525320B1 (ko) 대상물을 광학적으로 검사하기 위한 장치 및 방법
KR101269128B1 (ko) 중간시점 영상 생성기를 갖는 표면 거칠기 측정 장치 및 방법
Rushmeier et al. Experiments with a low-cost system for computer graphics material model acquisition
EP4010873B1 (en) Use of an hdr image in a visual inspection process

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230518

R150 Certificate of patent or registration of utility model

Ref document number: 7288273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150