JP6799272B1 - 検査測定システム及び検査測定方法 - Google Patents

検査測定システム及び検査測定方法 Download PDF

Info

Publication number
JP6799272B1
JP6799272B1 JP2020102749A JP2020102749A JP6799272B1 JP 6799272 B1 JP6799272 B1 JP 6799272B1 JP 2020102749 A JP2020102749 A JP 2020102749A JP 2020102749 A JP2020102749 A JP 2020102749A JP 6799272 B1 JP6799272 B1 JP 6799272B1
Authority
JP
Japan
Prior art keywords
light
solid angle
inspection
point
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020102749A
Other languages
English (en)
Other versions
JP2021196256A (ja
Inventor
増村茂樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MACHINE VISION LIGHTING INC.
Original Assignee
MACHINE VISION LIGHTING INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2020102749A priority Critical patent/JP6799272B1/ja
Application filed by MACHINE VISION LIGHTING INC. filed Critical MACHINE VISION LIGHTING INC.
Priority to CN202080045025.7A priority patent/CN114144661B/zh
Priority to US17/618,216 priority patent/US11630070B2/en
Priority to PCT/JP2020/023440 priority patent/WO2021255793A1/ja
Priority to EP20939470.9A priority patent/EP4166933A4/en
Priority to KR1020217040248A priority patent/KR102361860B1/ko
Application granted granted Critical
Publication of JP6799272B1 publication Critical patent/JP6799272B1/ja
Publication of JP2021196256A publication Critical patent/JP2021196256A/ja
Priority to IL299032A priority patent/IL299032B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】検査対象から返される物体光の正反射光又は正透過光成分である直接光を観察してその明暗情報を取得する場合には、該物体面の表面の傾きが一定以上になると、直接光が観察光学系が形成する観察立体角の範囲外に出て、該物体面の表面形状を連続的に、なおかつ定量的に得ることが難しくなってしまう。【解決手段】これに対し、本発明は、検査対象である物体の観察範囲において、照明からの距離にかかわらず、物体面の各点に対して同一の照射立体角を同時に形成することのできる照射光を照射し、直接光が返されない不連続領域において、その不連続領域近辺の特異な直接光の立体角の変化に着目し、少なくとも該不連続領域の高さ方向の変化を測定できるようにすると共に、該不連続領域における物体光の散乱光成分の変化に着目し、その明暗情報によって、不連続領域の三次元形状を連続的に取得可能にするという新規な発想に基づいてなされたものである。【選択図】図1

Description

本発明は、例えば検査対象に検査光を照射し、その製品の外観や傷、欠陥等の検査、および表面形状の測定を行うために用いられる検査測定用照明装置、及び検査測定システム、及び検査測定方式に関するものである。
製品の外観検査や表面形状の測定等に用いられる検査測定用照明装置の一例としては、特許文献1、及び特許文献2、及び特許文献3に示されるような、検査対象に対する照射立体角の形状や角度、並びにその光属性の異なる立体角領域を、略均一に制御して照射できるものがある。
ところで、上述したような検査用照明装置を用いると、通常の照射光では検出する事が難しい欠陥などの特徴点を、撮像された画像により検出することが可能となるが、該画像の持つ情報を用いてその特徴点の形状をより定量的に計測することが求められることがある。
より具体的には、

検査対象である物体面から返される物体光に、照射光に対する正反射光や正透過光に対応する直接光成分が少なく、主に散乱光成分を観察することによってその明暗情報を取得する場合においては、

該物体面の各点に対する照射光の光軸傾き等の照射条件が一定に保てなければ、該物体面の各点近傍の微小面積において、その傾き方向と傾き角を定量的に該散乱光の光属性、及び明暗の変化に定量的に反映することが難しくなってしまい、

また、

検査対象である物体面から返される物体光に直接光成分が多く、主に直接光成分を観察することによってその明暗情報を取得する場合には、

該物体面の表面性状が、例えば変化の比較的大きい三次元形状を持つ場合に、その表面の各微小面の傾きが一定以上になると、物体面から返される物体光のうち、照射光の正反射光である直接光の光軸傾きが大きくなり、物体上方からの観察光学系が形成する観察立体角の範囲外に出てしまい、その傾き面からの直接光が観察光学系で捕捉できなくなって、物体から返される該直接光ではその部分の濃淡情報が得られなくなり、

該物体面の表面形状を連続的に、なおかつ定量的に得ることが難しくなってしまう。
そのような事例に対しては、例えば、異なる複数の方向から光を照射してその微小な傾き面に対する照度の変化を生じさせて、その明暗情報で該傾き面の傾き角を判定したり、若しくは物体面の表面形状が連続的に得られる他の領域のデータを介して、それが物体面の表面形状が連続的に得られない不連続領域に隣接する領域にまで到達することができれば、不連続領域以外で、連続的に表面形状が得られる領域に関してその三次元形状を定量的に得ることができる。
しかしながら、このような手法では、主に、物体光の内、照射光の正反射光や正透過光に対応する直接光成分ではない散乱光成分を観察している場合には、複数の方向から照射される光がそれぞれ平行光でなかったり、物体面の各点に対する照射角度が場所によって異なっていたりすると、該物体面の微小面の傾き方向と傾き角が同じであってもその照度が異なってしまい、該微小面の傾き情報を定量的に得ることが難しい場合があり、若しくは、主に、物体光の内、照射光の正反射光や正透過光に対応する直接光成分を観察している場合には、物体面の表面形状が連続的にその物体面の明暗情報として得られる領域に関してはその定量的な三次元形状を取得することが可能となるが、不連続領域で遮断された領域、乃至は不連続領域で囲まれた領域に関しては、その部分の三次元形状と他の部分の三次元形状との間において、高さ情報等の相対情報を得ることが難しい場合があり、全体として物体の三次元形状を定量的に捕捉することが難しい。
特許第5866573号 特許第5866586号 特許第6451821号
本発明は上述したような課題を鑑みてなされたものであり、

検査対象である物体の観察範囲において、物体面の各点に対して同一の照射立体角を形成することのできる照射光を照射し、

該物体面から返される物体光のうち、主に、該照射光に対して、正反射光、若しくは正透過光に相当する直接光以外の散乱光成分を観察して、その明暗情報によって、該物体面の表面形状を取得する場合においては、

該物体面の各点近傍の微小面の傾きが、定量的に該散乱光成分の光属性、及び明暗情報の変化として反映され、

若しくは、

主に、該直接光が形成する立体角と、該直接光を観察する観察光学系が形成する観察立体角との包含関係の変化によって生じる明暗情報を得て、その物体面の表面形状を取得する場合においては、

該物体面の各点近傍の微小面の傾きが、その点に対する該照射立体角と該観察立体角の平面半角の和の2分の1以上となって、該観察光学系が該物体面から返される該直接光による濃淡情報を連続的に得られなくなる領域に隣接する領域の表面形状に関して、

例えば高さや傾き、傾き方向等の三次元形状情報の相対関係を取得することが可能となる検査測定システム、及び検査測定方式を提供することを目的とする。
すなわち、本発明は、

前記検査対象に照射される照射光において、

前記検査対象から返される物体光のうち、散乱光を観察する場合においては、
物体面の各点近傍の微小面の照度が、該微小面の傾き方向や傾き角が同じであれば、同じ照度分布とし、
該微小面の傾き方向や傾き角の変化に対して、該微小面から返される物体光のうち、散乱光成分の光属性、及び明暗を、定量的に変化させ、該物体面の三次元形状を取得可能となるよう、該照射光の照射立体角を形成し、

若しくは、

前記検査対象から返される物体光のうち、直接光を観察する場合においては、
物体面の3D形状の変化が大きく、物体面の各点近傍の微小面積の傾きが、各点から返される物体光の明暗情報として連続的に取得できない不連続領域において、
その不連続領域近傍における物体面の各点に対する該照射光の照射立体角が、その点から返される物体光の正反射光に相当する直接光の立体角に反映されない特定の領域があることに着目し、
該照射立体角に対する該直接光の立体角の変化、及び該不連続領域における物体光の変化に着目して、その物体光の明暗情報によって、

不連続領域の三次元形状を取得可能にするという新規な発想に基づいてなされたものである。
より具体的には、
本発明における検査測定用照明装置は、

検査対象に検査光を照射する検査測定用照明装置であって、前記検査対象において反射又は透過又は散乱する光、すなわち物体から返される物体光を撮像する撮像装置とからなる検査測定システムに適用され、

例えば、

検査光を射出する面光源と、前記面光源と前記検査対象との間に設けられ、
前記面光源から放射された光を前記検査対象に照射する検査光として、
前記検査対象に対する照射立体角を形成するためのレンズと、

前記面光源と前記レンズとの間であって、
前記レンズの焦点位置を中心としてその前後に設けられ、
前記検査対象の各点に照射される検査光の照射立体角を遮光形成する第1の遮光マスク、
及び、前記検査光を異なる波長帯域の光や異なる偏波面、若しくは異なる光量をもつ光で部分的に異なる光属性を持つ複数の立体角度領域に区分する第1のフィルター手段の、少なくともいずれか一方の手段、
若しくは、第1の遮光マスクと第1のフィルター手段とを兼ね備えた照射立体角形成手段を備えており、

前記撮像装置で前記検査対象からの光を撮像するときに形成される前記検査対象の各点に対する観察立体角に対して、各点の明暗に所望の変化が得られるように、

照射立体角の形状又は大きさや傾き、

若しくは、

照射立体角内が光属性の異なる前記立体角度領域で構成されている場合には、

該照射立体角内の光属性の異なる前記立体角度領域が、それぞれの該立体角度領域から照射される照射光を元にして物体から返される異なる光属性ごとの物体光の変化の組み合わせ情報として得られるように、前記立体角領域の光属性や形状、及び該照射立体角内における領域区分等を適切に設定できることを特徴とし、

物体光が該照射光に対する正反射光や正透過光に相当する直接光である場合には、

該照射立体角を反映して形成される該直接光の立体角、若しくは光属性の異なる立体角領域と前記観察立体角との包含関係によって、

物体光が該照射光に対する正反射光や正透過光に相当する直接光以外の散乱光である場合には、

該照射立体角による光照射によって生じる各点近傍の照度変化、若しくは光属性の異なる光に対する照度変化によって、

物体から返される物体光のうち、照射光に対する正反射光、若しくは正透過光に相当する直接光成分、及びそれ以外の散乱光成分の、どちらか一方のみ、若しくは双方の変化を取得して、

前記検査対象から前記直接光が返されない領域や、該直接光が連続的に返されない前記不連続領域近傍においても、その物体光の明暗情報によって該不連続領域の三次元形状を取得可能にする、検査測定システム、及び検査測定方式である。
前記検査測定用照明装置は、
前記第1の遮光マスクと前記面光源との間であって、
前記レンズが前記検査対象に対して結像する近傍に、第2の遮光マスク、及び特定の属性をもつ光のみを透過する第4のフィルター手段の少なくともいずれかひとつをさらに備え、
前記第2の遮光マスク若しくは第4のフィルター手段によって、前記検査対象に対する検査光の照射領域や照射パターンを任意に生成可能な照明装置であってもよい。
このような検査測定方式及び検査測定システムにおいて、

例えば、前記検査用照明装置であれば、
前記レンズと前記第1の遮光マスク若しくは前記第1のフィルター手段により、
前記検査対象の各点に照射される検査光の照射立体角を略均一に形成したり、
若しくは、略均一に形成された該照射立体角に、
異なる波長帯域や偏波面、若しくは光量等の、異なる光属性をもつ前記立体角度領域を放射状に形成し、

その上で、前記レンズと前記第2の遮光マスク若しくは第4のフィルター手段により、
前記検査対象の必要な部分にのみ前記検査光を照射することができ、

前記検査対象から返される物体光が散乱光の場合は、
前記検査対象の各点近傍の傾き方向、及びその傾き角によって、前記異なる光属性をもつ前記立体角度領域ごとに、該各点近傍の照度が変化することによって、前記観察立体角によって捉えられる各光属性ごとの明暗が、各点近傍の微小面の傾き方向、及び傾き角に対応して、定量的に変化を生じさせ、

若しくは、

前記物体から返される物体光が直接光の場合は、該直接光の立体角と前記観察立体角との包含関係によって、両者の包含関係がどの方向にどれだけ変化したかを、前記異なる光属性をもつ前記立体角度領域ごとに、その変化を定量的に生じさせることができ、
更に、前記不連続領域においても、その直接光の立体角の変化、及び直接光以外の明暗の変化を捕捉することにより、

該変化を識別し、前記検査対象の表面形状において、前記直接光の変化が連続帝に得られない前記不連続領域においても、前記検査対象の複雑な立体形状をした特徴点に対して、それを抽出するに足る濃淡情報を得ることができる。
言い換えると、
例えば通常の面光源等の照明装置を用いる場合であれば、
前記検査対象の各点に対する照射立体角の形状や傾きは、前記検察対象の各点と前記照明装置の光源面の形状との関係でそれぞれ決まることから、均一な検査光を得ることが難しいし、
特許文献1、2、3に挙げた検査用照明装置では、前記検査対象の各点に対する照射立体角の形状や傾きは略均一に設定することができるものの、
前記検査対象の各点から返される物体光が直接光の場合に該直接光の立体角内に同様に形成される複数の光属性を持つ立体角領域が、前記観察立体角との包含関係において連続的に変化しなければ、前記検査対象上の微小で複雑な立体形状をした特徴点を抽出することはできないのに対して、

本願発明であれば、前記検査対象の各点に対する照射立体角の形状や傾きを略均一とし、しかもその照射立体角内を異なる波長帯域や偏波面、若しくは光量をもつ等の、異なる光属性をもつ適切な立体角度領域に区分することによって、

前記検査対象から返される物体光が直接光の場合は、
該直接光の立体角が、前記観察立体角との包含関係においてどの方向に変化した場合でも、それを前記複数の立体角領域と観察立体角との包含関係の変化による変化量として、連続的に捕捉することができるとともに、

前記検査対象から返される物体光が散乱光の場合においても、
前記検査対象の各点近傍において、該照射立体角から照射される光によって生じる照度変化によって、各点近傍の傾き度合いにお応じて該散乱光の明るさに変化を生じさせ、該照射立体角内に異なる光属性の前記立体角領域がある場合には、異なる光属性ごとの照度変化によって、各点近傍の傾き方向や傾き度合いを、該散乱光の異なる光属性ごとの明るさ変化として定量的に捕捉することができ

前記不連続領域においても、該不連続領域の状態に即して該直接光の立体角の変化や、散乱光の明暗変化を捕捉することによって、前記検査対象の三次元形状を定量的に取得することができる。
さらに、前記検査対象における表面形状の微小な変化等により反射光や透過光又は散乱光の強度や方向がわずかに変化した場合でも、その変化する部分によって、

前記検査対象から返される物体光が直接光の場合は、前記撮像装置の観察立体角内と包含関係にある前記異なる光属性をもつ立体角度領域ごとにその光量に変化が生じるように、前記第1の遮光マスク若しくは前記第1のフィルター手段によって、前記検査対象の各点に照射される検査光の照射立体角形状及びその角度を、前記撮像装置の観察立体角の大きさや形状及び角度との相対関係で適切に設定し、前記検査対象面の表面性状に合わせて適切に設定することができ、

また、前記検査対象から返される物体光が散乱光の場合は、該散乱光が返される微小面の照度が、前記異なる光属性をもつ立体角度領域ごとにどのように変化するかを、前記第1の遮光マスク若しくは前記第1のフィルター手段によって、前記検査対象の各点に照射される検査光の照射立体角形状及びその角度を適切に設定し、前記検査対象面の表面性状に合わせて適切に設定することができ、該微小な変化等を検出しやすくしたり、または逆に検出されなくしたりすることができる。
より具体的には、
前記検査対象の各点から返される物体光が散乱光の場合は、前記異なる光属性を持つ立体角領域を前記照射立体角内で放射状に適切に配置することにより、該各点近傍の該異なる光属性を持つ立体角領域に対応する照度を、該各点近傍の傾き方向と傾き角に対応して変化させることができ、
その変化を該異なる光属性ごとの明暗として捕捉することで、該各点近傍の傾き方向と傾き角を定量的に認識することができ、この各点の連続である前記検査対象の表面の三次元形状は、前記撮像装置によって1枚の画像情報として一度に取得することができる。
前記検査対象の各点から返される物体光の明暗を、前記照射光の照射立体角内に設定した前記異なる光属性ごとの明暗として捕捉するには、例えば、前記撮像装置において、前記観察立体角内に捕捉した物体光に対して、異なる光属性を選択的に撮像可能な第2のフィルター手段を備えればよく、第2のフィルター手段としては、前記撮像装置において、たとえば、前記検査対象における前記反射光や前記透過光を、異なる光属性ごとに選択的に分光したあとでそのそれぞれの光量を光センサーで撮像しても良いし、光センサーの各ピクセルごとにそれぞれ異なる光属性の光のみ選択的に透過するフィルターを備えても構わない。
また、前記検査対象の各点における照射立体角の中央部を暗部領域とし、周辺部のみが明部領域とすると、明部領域における異なる光属性をもつ前記立体角度領域が、前記検査対象の各点近傍の領域に対して、相対的により小さなものとなり、該各点近傍の領域の傾き角に対する照度変化をより顕著なものとすることができ、該各点近傍から返される物体光が散乱光の場合は、その明暗が、照射立体角の明部領域における異なる光属性をもつ前記立体角度領域に対応して、それぞれ、より顕著に変化する照度によって強調されることにより、該傾き角による明暗変化をより大きく捕捉することが可能となり、前記検査対象の各点近傍の微小な傾きを、より定量的に検出することができる。
また、更に、前記検査対象の各点における照射立体角の周辺部を離散的に部分的に明部領域として、明部領域における異なる光属性をもつ前記立体角度領域が、前記検査対象の各点近傍の領域の傾き方向に対して、相対的により小さなものとなり、該各点近傍の領域の傾き方向に対する照度変化をより顕著なものとすることができ、該各点近傍から返される物体光が散乱光の場合は、その明暗が、照射立体角の明部領域における異なる光属性をもつ前記立体角度領域に対応して、それぞれ、より顕著に変化する照度によって強調されることにより、該傾き方向による明暗変化をより大きく捕捉することが可能となり、前記検査対象の各点近傍の微小な傾きを、その傾き方向とともに、より確実に検出することができる。
前記検査対象の各点から返される物体光が直接光であって、
該検査対象の各点に対して照射されている平面半角θiの照射立体角と、該検査対象の各点に対する平面半角θoの観察立体角において、該照射立体角と該観察立体角との光軸が同軸、若しくは正反射方向となるように設定されているとき、

該検査対象の各点から返される直接光が該観察立体角によって観察できる該各点近傍の限界傾き角度Φeは、
該検査対象の各点に照射されている照射立体角の平面半角θiと該検査対象の各点に対する観察立体角の平面半角θoの和の1/2となり、

該検査対象の各点近傍の面が平面部の法線に対してなす傾き角θsの平面時の90°に対して変化した差分角度がΦeより小さい場合は、該観察立体角によって、該検査対象の各点から返される直接光を連続的に捕捉することができ、
該直接光の立体角と該観察立体角との包含関係に応じて、該検査対象の各点近傍の傾き角の度合いを該直接光の明暗として捕捉することができるが、

該傾き角θsの平面時の90°に対して変化した差分角度が、該平面半角θiと該平面半角θoの和の1/2より大きい場合は、
その不連続領域においては、該観察立体角によって、該直接光を捕捉することができなくなり、該不連続領域における該検査対象の三次元形状を識別することができなくなる。
前記不連続領域において、
照射立体角と観察立体角の光軸が同軸であって、
前記検査対象の各点近傍の面の傾き角θsが、前記検査対象の各点に照射されている照射立体角の平面半角θiと前記検査対象の各点に対する観察立体角の平面半角θoのどちらか小さいほうの角度で示される有効平面半角θより小さい場合は、
該不連続領域を挟む領域が略平面であるとすると、
不連続領域において捕捉される直接光の明暗変化によって特定される該不連続領域の幅を該有効平面半角θの正接で除した値が、その不連続領域を挟む連続領域間の高低差Dとなる。
また、前記不連続領域の一例として、
未知の半径Rの球体に対して、平面半角θiの照射立体角である照射光が照射され、該球体が平面半角θoの観察立体角である観察光学系で観察され、なおかつ該照射立体角と該観察立体角の光軸が同軸方向である場合、
該球体の半径Rは、
該球体の頂上部から返される直接光が観察される円状の範囲の半径r1を、前記限界傾き角度Φeの正弦で除することによって得た値R1として求めることができる。
また、照射立体角と観察立体角の光軸が同軸であって、
未知の半径Rの球体が、前記検査対象の略平面部に存在する場合は、
該球体の半径Rを、
直接光が観察される該球体の頂上部の円状の範囲の外側に形成される直接光が観察されない範囲の半径r2の値をR2として求めることができるほか、
直接光が観察される該球体の頂上部の円状の範囲の外側に形成される直接光が観察されない範囲の周囲に形成される直接光の明暗変化が存在する幅r3に前記有効平面半角θの余弦を乗じたものに対して、前記有効平面半角θの正弦から前記有効平面半角θの余弦を差し引いて1を加えたもので除した値R3として求めることができる。
したがって、照射立体角と観察立体角の光軸が同軸であって、
未知の半径Rの球体が、前記検査対象の略平面部に接して存在している場合の該球体の頂上部の該略平面部に対する高さDは、
該球体の頂上部から返される直接光が観察される円状の範囲の半径r1から求めた前記R1、
若しくは、
該球体の頂上部の円状の範囲の外側に形成される直接光が観察されない範囲の半径である前記R2、
若しくは、
該球体の頂上部の円状の範囲の外側に形成される直接光が観察されない範囲の周囲に形成される直接光の明暗変化が存在する幅r3から求めた前記R3の、いずれかの値の2倍の値として求めることができる。
このとき、前記R1、R2、R3の値はすべて同じ値となるが、もし、この3つの値のすべてが同じでない場合は、前記球体が完全な球体でないことを示しており、おおむね、該R1の値は該球体の中心から上部の高さに対応し、該R2の値は該球体の中心から水平方向の半径に対応し、該R3の値は該球体の中心から接地面までの高さに対応していることから、該3つの値より、該球体の前記検査対象の略平面部に対する相対位置、及びその概略形状を得ることが可能となる。
また、照射立体角と観察立体角の光軸が同軸であって、
前記検査対象の略平面部に、半径Rの球体が、該球体の頂上部の該略平面部に対する高さDが、該球体の半径Rの2倍より大きい値で存在している場合、
前記R1と前記R2の値は等しいが、前記R3の値が、前記R1、及び前記R2の値より大きく観察され、
その高さDは、
該球体の半径Rと前記有効平面半角θの余弦の逆数、及び1から該有効平面半角θの余弦を差し引いた値を乗じた値を補正項ΔLとして、
前記R1の値、若しくは前記R2の値に対して、前記r3の値から該補正項ΔLを差し引いた値をさらに前記有効平面半角θの正接で除した値を加えた値として求めることができる。
また、照射立体角と観察立体角の光軸が同軸であって、
前記検査対象の略平面部に、半径Rの球体が、該球体の頂上部の該略平面部に対する高さDが、該球体の半径Rの2倍より小さく、かつ該球体の半径Rに等しいかまたは大きい値で存在している場合、
前記R1と前記R2の値は等しく、前記R3の値は、前記R1、及び前記R2の値より小さく観察され、
その高さDは、前記R1の値、若しくは前記R2の値に対して、前記r3の値から前記補正項ΔLを差し引いた値をさらに前記有効平面半角θの正接で除した値を加えた値として求めることができる。
また、照射立体角と観察立体角の光軸が同軸であって、
前記検査対象の略平面部に、半径Rの球体が、該球体の頂上部の該略平面部に対する高さDが、該球体の半径Rより小さい値で存在しており、前記R1の値が、前記R2の値より大きく、前記R3の値が0でない値で観察される場合、
その高さDは、前記R1の値に対して、前記補正項ΔLを前記有効平面半角θの正接で除した値を加えた値として求めることができる。
また、照射立体角と観察立体角の光軸が同軸であって、
前記検査対象の略平面部に、半径Rの球体が、該球体の頂上部の該略平面部に対する高さDが、該球体の半径Rより小さい値で存在しており、前記R1の値が、前記R2の値より大きく、前記R3の値がほぼ0で観察される場合、
その高さDは、前記R1の値に対して、前記R1の値の二乗から前記r2の値の二乗を差し引いた値の平方根を差し引いた値として求めることができる。
前記検査対象の前記不連続領域に対する前記検査光の照射立体角に関し、
異なる波長帯域の光や異なる偏波面、若しくは異なる光量をもつ光で部分的に異なる光属性を持つ複数の立体角度領域に区分し、
該立体角度領域を該照射立体角の光軸に対して放射状に配置すると、該不連続領域の三次元形状において、その面の傾き方向や傾き角度について全方位的にそれぞれ異なる形状変化を取得することができる。
本発明によって、前記検査対象の各点に対して略均一な照射立体角をもつ検査光を前記検査対象に照射した場合に、

欠陥等によりその反射方向又は透過方向が変化する際に生じる前記直接光の立体角の変化に関し、
その立体角の変化に対して、前記観察立体角内の光量変化が最大となり、それ以外の変化に対しては最小となるように、前記検査光の照射立体角と前記撮像装置の観察立体角との相対関係を、その形状や角度及び大きさに対して調整することにより、前記直接光の立体角の変化のみを選択的に捉えることが可能となり、

また、欠陥等によりその明るさに変化が生じる散乱光に関しては、
前記検査光の照射立体角と前記検査対象の各点近傍の傾きとの相対関係を調整することにより、各点近傍の照度変化を適切に設定して、該散乱光の所望の明るさ変化を的確にとらえることが可能となる。
また、さらに、前記照射立体角内に異なる光属性をもつ任意の前記立体角度領域を適切に設定することにより、その立体角度領域ごとの光量変化を同時に観察することができ、前記検査対象の複雑な立体構造を持つ様々な特徴点における光の変化に対応して、その立体構造の各方向における変化に対して、連続的に光の変化を補足することが可能となる。
したがって、このように微小な複雑な立体構造を持つ欠陥等によるごくわずかな光の変化を捉えることは、
その検査光の照射立体角の形状や角度、及び大きさが前記検査対象面の各点に対して異なってしまう従来の照明装置では極めて難しく、
特許文献1、及び特許文献2に示された検査用照明でも、前記物体光の立体角内に含まれる光属性の異なる複数の立体角領域と前期観察立体角との包含関係において、その包含関係の変化がどの方向に対しても検出できる立体角構造は示されておらず、
特許文献3に示された検査システム及び検査方法でも、前記検査対象の各点から返される直接光が該各点に対する観察立体角によって捕捉できなくなる不連続領域については、その三次元形状を取得する方法が示されていないが、
本発明によると、該不連続領域から返される光が直接光であっても散乱光せあっても、その微小な変化を取得することにより、全方位的にその三次元形状を捉えることができるようになる。
前記検査対象の各点に照射される検査光の照射立体角の大きさを略均一に制御するとともに、照射立体角の傾き分布を光軸中心に対して調節できるようにするには、前記第1の遮光マスク、及び前記第1のフィルター手段、若しくは両者の機能を統合した前記第3のフィルター手段を、前記レンズの焦点位置を中心とする前後の位置に配置すればよい。

以降、前記第1の遮光マスクに代表させて記述すると、すなわち、前記第1の遮光マスクの開口部を変化させることで、前記検査対象の各点における照射立体角を所望の形状や大きさに設定することができる。また、前記第1の遮光マスクを、前記レンズの焦点位置に配置すれば、前記検査光の照射立体角の光軸はすべて前記検査光の光軸に平行となり、前記レンズの焦点位置よりレンズ側に配置すれば前記検査光が広がる方向へ、前記レンズの焦点位置より外側に配置すれば前記検査光が狭まる方向へ、それぞれ前記検査光の照射立体角を傾かせることができる。

このように、前記第1の遮光マスクの配置と、その開口部を変化させることにより、前記検査対象からの反射光や透過光の立体角に直接影響を及ぼす前記検査光の照射立体角について様々な調節が可能となり、

前記検査対象から返される直接光を観察する場合は、該直接光の立体角と前記撮像装置の観察立体角との相対関係を、
前記検査対象から返される散乱光を観察する場合は、該照射立体角と前記検査対象の各点近傍の面の傾きとの相対関係を、

所望の明暗情報を得るために適した様態とすることができる。

なぜなら、このようにすれば、

前記検査対象から返される直接光の明るさを決める、該直接光の立体角と前記撮像装置の観察立体角との包含関係の変化や、
前記検査対象から返される散乱光の明るさを決める、前記各点近傍の照度の変化を
最適化することができ、

使用する観察光学系がテレセントリック光学系ではなく、視野範囲の外側と光軸中心でその観察立体角の光軸傾きが変化するような光学系に対しても、若しくは、前記検査対象が湾曲した面を持っている場合においても、その各点に対する照射立体角と観察立体角との相対関係、若しくは該湾曲した面の各点近傍に対する照射立体角の光軸の相対関係を略一定に保つことができるようになり、微小な変化や複雑な変化をより、的確に捕捉できるようになる。
またさらに、前記照射立体角内に設定された、異なる光属性をもつ任意の前記立体角度領域は、前記検査対象に対して均一に設定された前記照射立体角内をさらに任意の立体角度領域として設定可能であり、単に照射立体角と観察立体角、若しくは照射立体角と前記検査対象の各点近傍の面の法線との相対関係で、前記検査対象の各点の明るさが決まるだけでなく、前記立体角度領域ごとのさらに微小な物体光の変化を、別途、前記照射立体角と前記観察立体角との形状や光軸等に関する相対関係、若しくは照射立体角と前記検査対象の各点近傍の面の法線との相対関係を設定しなおすことなく、前記検査対象の視野範囲のすべての点で略同じ条件で、前記観察立体角に対する相対関係の変化、若しくは前記検査対象の各点近傍の面の法線との相対関係による照度変化による、該各点の明るさとして、定量的に同時観察することが可能となる。
このようにして、本発明による検査測定用照明装置、及び検査測定方式の少なくともいずれかを使用し、前記検査対象において反射又は透過または散乱する光を撮像する撮像装置とからなる検査測定システムにおいて、
微小で、複雑な立体形状をした特徴点に対する所望の明暗情報をその立体形状のどの方向に対する傾きに対しても連続的に得ることができるのは、

前記検査対象の各点における明暗が、前記検査対象の各点からの直接光又は散乱光の前記撮像装置に向かう光量で決まっており、

該光量は、前記検査対象の各点に対する照射立体角がすべて均一なので、
前記検査対象の各点からの該直接光と該撮像装置の観察立体角との包含関係、
若しくは該照射立体角と該各点近傍の面の法線となす角度で決まっていることから、

前記検査対象の各点からの反射光又は透過光に直接影響する前記検査光の照射立体角を略均一に調節する機能を備え、

なおかつその照射立体角内を異なる光属性、すなわち波長帯域や偏波面、若しくは光量をもつ任意の立体角度領域に区分し、その立体角度領域を光軸を中心として放射状に配置することによって、

前記撮像装置がその区分領域ごとに選択的にその光量を観察でき、なおかつその観察立体角の光軸に対して前記検査対象の各点から返される物体光の光軸がどの方向に傾いても、その傾き方向と傾きの度合いの双方を、前記複数の異なる光属性を持つ区分領域ごとに、連続的な光量の変化として捕捉することができるようにしたことによる。
前記撮像装置によって撮像される前記検査対象の明暗情報を、その撮像範囲全体に亘って該検査対象の面の傾きに対して略均一な変化を示すものとするためには、
前記撮像装置によって前記検査対象の各点に形成される観察立体角と、前記検査対象の各点からの反射光又は透過光の立体角との包含関係、
若しくは前記検査対象の各点に照射される前記照射立体角と各点近傍の面の法線となす相対角度関係が、

その変化の度合いに応じてが略一定に保たれなければならない。

これは、前記第1の遮光マスク、及び前記第1のフィルター手段を、乃至は前記第3のフィルター手段を、前記レンズの焦点位置を中心とする前後の位置で移動させることによって、前記検査光の照射立体角、及びその照射立体角内に形成された前記立体角度領域を、該検査対象の各点に対して、略均一な形状及び大きさとし、その傾き角度を調節して前記検査対象の各点における前記観察立体角の傾きに合わせこみ、

若しくは、該検査対象の基準面の法線の傾きにに合わせこむことで実現することができる。
また、前記検査対象に対する検査光の前記照射立体角、及びその照射立体角内に形成された任意の前記立体角度領域を、その照射範囲の各点に対して、
前記観察立体角との相対関係、若しくは前記検査対象の各点近傍の面の法線との相対関係を略一定に保ちながら、
照射領域又は照射形状や照射パターンを任意に生成可能にするためには、
前記第1の遮光マスク、若しくは前記第1のフィルター手段の少なくともいずれかひとつ、若しくは前記第3のフィルター手段に加えて、前記第2の遮光マスク若しくは前記第4のフィルター手段の少なくともいずれかひとつを備え、前記レンズによって前記検査対象に結像する位置近傍に配置すればよい。このようにすることで、前記検査光の前記照射立体角、及びその照射立体角内に形成された任意の前記立体角度領域の形状や大きさ及び傾きを略均一に保ちながら、前記検査光の前記検査対象に対する照射領域及びその照射領域の光属性と、前記検査対象の各点に対するその照射立体角及び特定の光属性をもつ前記立体角度領域の双方を独立に調節することができる。
また、さらに簡易に、前記検査対象の立体形状等について測定検査できるようにするには、
前記第1の遮光マスク及び第1のフィルター手段、若しくは第3のフィルター手段に加えて、
所定のマスクパターンが形成された前記第2の遮光マスク及び第4のフィルター手段を用い、このパターンを前記検査対象に対して結像させてやればよい。
このようなものであれば、前記第1の遮光マスク及び第1のフィルター手段で調節された略均一な照射立体角及び特定の光属性をもつ立体角領域によって、前記撮像装置で均一な明暗変化をもつ明暗情報を得ることができ、前記検査対象の形状に問題があれば前記撮像装置で明暗情報として得られるパターンに歪みが生じるので、簡易に形状不良を検出することができる。
前記検査対象の各点における散乱光の明るさは、該各点近傍の面の照度、及び該各点の散乱率によって決まっており、
該各点に照射される光の照射立体角の形状や大きさが一定で、該照射立体角の光軸が、前記検査対象の基準となる面の法線となす角度がすべて同じであれば、該各点近傍の照度は、該各点近傍の面の法線が、該照射立体角の光軸となす角度の余弦に比例して決まるので、該散乱光の明るさは、該各点近傍の面の傾き角の余弦に比例した明るさとなり、該散乱光の明るさの変化より、前記検査対象の三次元形状を検知することができるが、このままでは該照射立体角の形状や大きさに依存する一定の明暗情報しか得ることができない。
そこで、前記検査対象の各点に対する照射立体角内に異なる波長帯域や偏波面、若しくは光量をもつ任意の立体角度領域を形成し、なおかつ該照射立体角の光軸に対して放射状に配置すると、それが前記検査対象の各点近傍の面の照度に、それぞれ異なる波長帯域や偏波面をもつ照度として反映されるので、
該各点から返される散乱光の明るさを、それぞれ異なる波長帯域や偏波面をもつ光の明るさとして観察すれば、その明るさの比率によって、該各点近傍の面がどちらの方向にどの程度傾いているかを検知することができる。
このようにするためには、
ひとつは、
前記検査光の照射方向を変え、なおかつ前記検査対象からの光を透過して前記撮像装置で撮像できるようにするためのハーフミラーを備え、前記検査光の前記検査対象の各点に対する照射立体角を適切に調整して、

前記検査対象の各点に対する前記照射立体角の光軸を同一方向とし、
前記撮像装置の前記検査対象の各点に対する観察立体角の光軸と同軸として、

該観察立体角で捕捉される該検査対象の各点から返される物体光の明るさ変化が、前記検査対象の各点近傍の面の傾きに対して、どの方向に対してもその傾き度合いに対応するようにすることによって実現でき、

もうひとつは、
前記検査光の照射方向に対して前記検査対象に立てた法線に線対称な方向に前記撮像装置の観察立体角を設定し、前記検査対象の各点の反射光又は透過光の立体角と前記撮像装置の前記検査対象の各点に対する観察立体角の光軸を略一致させることで、同様に実現することができ、

更に、主に散乱光を観察する場合には、前記検査対象の各点に対する照射立体角の形状や大きさ、並びにその光軸の傾きをすべて同一として、該各点近傍の面の傾き方向や傾き度合いを、該各点から返される散乱光の明るさに反映させることで、同様に実現することができる。
さらに、前記撮像装置で、
前記反射光又は前記透過光の立体角内に反映された、それぞれ異なる波長帯域や偏波面、若しくは光量をもつ前記立体角度領域の光、
若しくは、前記散乱光のそれぞれ異なる波長帯域や偏波面、若しくは光量に対する照度変化を、
選択的に撮像可能な第2のフィルター手段を備えることで、それぞれ異なる波長帯域や偏波面、若しくは光量に対する前記立体角度領域と前記観察立体角との包含関係によって発生する明暗変化、乃至は前記散乱光の明暗変化を同時に検知することができる。
また、前記撮像装置、若しくは前記撮像装置で得られた画像情報に対し、
前記検査対象の各点から返される物体光の明るさに対して閾値を設定し、その閾値によって該検査対象の撮像領域を明部領域と暗部領域とに分け、例えば明部領域を明視野領域として、暗部を暗視野領域として、
明視野領域については、該各点の傾き角度によって変化する直接光の立体角と観察立体角との包含関係で発生する明るさの変化を用い、
暗視野領域については、該各点の傾き角度の余弦に比例した照度に対応する散乱光の明るさの変化を用いて、

それぞれの領域の三次元形状を、同時に検知することができる。
また、前記撮像装置で取得する画像情報を、浮動小数点形式で得られるようにしておくと、
前記明部領域と前記暗部領域とに分け、それぞれの領域に適した算術演算を適用して、該領域における三次元形状を同定することが可能となる。
このように本発明の検査測定用照明装置、及び検査測定システム、及び検査測定方式によれば、

検査対象の各点に照射される検査光の照射立体角及びその暗部領域、及びその照射立体角内に形成される異なる波長帯域や偏波面、若しくは光量をもつ立体角度領域の大きさや態様を自由に調整することができるので、

ひとつには、
前記検査対象の各点からの反射光又は透過光の立体角、及びその立体角内に反映された、それぞれ異なる波長帯域や偏波面、若しくは光量をもつ複数の立体角度領域と、
前記撮像装置で前記検査対象の各点に形成される観察立体角との包含関係を略均一に設定することができ、

もうひとつには、
前記検査対象の各点からの散乱光に対しては、該各点近傍の照度を、照射立体角、及び該照射立体角内に形成されるそれぞれ異なる波長帯域や偏波面、若しくは光量をもつ複数の立体角度領域と該各点近傍の面との相対関係によって、該各点近傍の面の傾き方向や傾き度合いに応じて変化させることができ、

従来検出の難しかった微小で複雑な立体構造を持つ欠陥等であって、
前記検査対象の各点から反射光又は透過光が、該各点に対する観察立体角では捕捉できない不連続領域ににおいても、

該不連続領域の三次元情報を、

該不連続領域において散乱光が返されておれば、該不連続領域の面の傾き情報が定量的に反映された、異なる波長帯域や偏波面、若しくは光量を持つ散乱光の明暗情報として取得できるほか、

該不連続領域における段差や高低情報を、その段差部の各点から返され、異なる波長帯域や偏波面、若しくは光量を持つ直接光の明暗変化として取得でき、

表面性状が著しく異なっていて、連続した面の傾き情報を、該領域から返される直接光、若しくは散乱光で連続して得ることのできない不連続領域に領域においても、三次元情報を得ることが可能となる。
本発明の一実施形態に係る検査測定用照明装置、及び検査測定システムの外観を示す模式的斜視図。 直接光と散乱光の輝度差 同実施形態における検査測定用照明装置、及び検査測定システムの照射立体角を形成する主要部分の内部構造、及び検査対象の各点における照射立体角を示す模式図。 同実施形態における検査測定用照明装置、及び検査対象を傾けて設置した検査システムの照射立体角を形成する主要部分の内部構造、及び検査対象の各点に形成される照射立体角を示す模式図。 第1遮光マスク及び第1フィルター手段、及び第3フィルター手段の一構成例。 本発明の一実施形態に係る照射立体角、及び該照射立体角内に形成される光属性の異なる複数の立体角領域と、該照射立体角、及び該複数の立体角領域が反映されて物体から返される直接光の立体角と、該直接光を観察する観察立体角との包含関係、及び該直接光が返される点の近傍の面が傾いた場合に該包含関係がどのように変化するかを示す模式図。 本発明の一実施形態に係る照射立体角、及び該照射立体角内に形成される光属性の異なる複数の立体角領域と、検査面の照度の関係を模式的に示した概略図。 照射立体角と観察立体角の光軸が同軸である場合の有効平面半角を持つ有効照射立体角を示した模式図 検査対象から直接光が観察されない不連続領域を含む近傍領域における直接光の観察輝度の変化を示す模式図 検査対象から直接光が観察されない不連続領域面の鉛直方向からの傾き角が、有効平面半角と等しい場合の近傍領域における直接光の観察輝度の変化を示す模式図 検査対象から直接光が観察されない不連続領域面の鉛直方向からの傾き角が、有効平面半角より小さい場合の近傍領域における直接光の観察輝度の変化を示す模式図 検査対象から直接光が観察されない不連続領域面の鉛直方向からの傾き角が、0度の場合の近傍領域における直接光の観察輝度の変化を示す模式図 検査対象から直接光が観察されない不連続領域面の鉛直方向からの傾き角が、マイナスの場合の近傍領域における直接光の観察輝度の変化を示す模式図 検査対象に球体が接地して存在している場合の、近傍領域の物体光の輝度変化と三次元形状との相関を示す模式図。 検査対象に球体が離れて存在している場合の、近傍領域の物体光の輝度変化と三次元形状との相関を示す模式図。 検査対象に球体の一部がその半径より大きい高さで接地している場合の、近傍領域の物体光の輝度変化と三次元形状との相関を示す模式図。 検査対象に球体の一部がその半径の高さで接地している場合の、近傍領域の物体光の輝度変化と三次元形状との相関を示す模式図。 検査対象に球体の一部がその半径よりごく小さい高さで接地している場合の、近傍領域の物体光の輝度変化と三次元形状との相関を示す模式図。 検査対象から返される物体光の直接光と散乱光の輝度差を説明する模式図。 直接光、若しくは散乱光のみによって連続的にその表面の三次元形状を検査測定できない不連続領域を持つ検査面に対して、同一の照射立体角を持つ光を照射することによって、その明るさ、若しくは偏光状態によって直接光を返す明視野領域と散乱光を返す暗視野領域とに区分して画像解析することにより、連続的な三次元形状の検査測定を可能にする検査測定方法を示す模式図。
本発明の第1実施形態について説明する。
第1実施形態の検査測定用照明装置100と、撮像装置C、及び撮像装置Cによって撮像された画像を解析する画像解析手段300により構成される検査測定システム200は、ハーフミラー4を用いて、検査対象Wを撮像する方向と、検査対象Wを照明する方向とが一致する、いわゆる同軸照明であり、検査対象Wの三次元形状や、欠陥などの特徴点が撮像装置Cにより撮像された画像中に明暗差として現れるようにして、その明暗差を解析することによって該検査対象Wの三次元形状や、欠陥などの特徴点を同定するために用いられるものである。
また、第1のフィルターF1は特定の属性をもつ光を選択的に透過させ、その属性をもつ光で構成される立体角領域を形成するための手段であり、光を遮蔽するか透過するかで照射立体角を形成する第1の遮光マスクM1と、立体角を形成するという作用では同じであり、両者の機能を統合して単一の部品とした第3のフィルター手段F3と共に、図1から図3では、第1の遮光マスクM1を代表として図示し、対応記号のみM1にF1,F3と並記した。
また、さらに、特定の属性をもつ光のみを透過する第4のフィルター手段F4は、図1において、第2の遮光マスクM2を代表として図示し、対応記号のみM2にF4と並記した。
ここで、検査対象Wの欠陥などの特徴点とは、例えば、表面の傷、凹み、歪み、外観の形状、穴の有無等多岐に亘る不具合やその他の特徴種を含むものである。
前記検査用照明装置100は、図1の斜視図、及び図2の模式図に示すように、概略筒状の筐体を有するものであり、その内部と検査対象W、及び撮像装置Cに到る部分に、検査光を面光源1から検査対象Wに照射する照射光路L1と、検査対象Wからの反射光又は透過光が撮像装置Cに至るまでの反射・透過光路L2とが形成されており、ハーフミラー4が設置されている場合には、前記筐体の上面開口側に撮像装置Cが取り付けられ、前記筐体の下面開口側に検査対象Wが載置されるものである。
なお、図1、及び図2に示すように、ハーフミラー4が設置されている場合には、照射光路L1は、面光源1からハーフミラー4に到る部分と、ハーフミラーによって部分的に反射されて検査対象に到る部分から構成され、ハーフミラー4が設置されていない場合には、照射光路L1によって直接検査対象に検査光が照射され、図2の場合、検査対象Wからの透過光が撮像装置Cに到るまでの光路がL2となる。ただし、図3に示すように、検査対象Wから返される物体光は反射光や散乱光であってもよく、その場合はその物体光を観察できる位置に撮像装置Cが設置されればよい。
前記照射光路L1上には、検査光が進む順番に、
検査光を射出する面光源1と、
レンズ2の焦点位置を中心とする前後の位置に設けられた第1の遮光マスクM1と、第1のフィルター手段の少なくともいずれかひとつ、若しくはその代わりに両者の機能を兼ね備えた第3のフィルター手段F3と、
前記面光源1から射出された検査光から検査対象Wに対する照射立体角を形成するレンズ2とが配置され、
ハーフミラーが設置される場合には、さらに加えて、前記検査光を下方へと部分反射するように、前記反射・透過光路L2及び照射光路L1に対して傾けて設けられたハーフミラー4を配置し、
また、さらに、検査光の照射領域を形成する第2の遮光マスク及び第4のフィルター手段を設置する場合は、
前記面光源1と前記第1の遮光マスク及び前記第1のフィルター手段若しくは第3のフィルター手段との間であって、前記レンズ2によって前記検査対象Wに結像される位置近辺に第2の遮光マスクM2若しくは特定の光属性をもつ照射領域を形成する第4のフィルター手段の少なくともいずれかひとつが設置され、
前記検査光は、前記検査対象Wへと照射される。
また、ハーフミラーが設置される場合には、
前記反射・透過光路L2上にハーフミラー4が設置され、このハーフミラー4によって部分透過された反射光が撮像装置Cによって観察され、
ハーフミラーが設置されない場合は、
図2において検査対象Wからの透過光が撮像装置Cに到るまでの光路がL2、
若しくは、
図3において検査対象Wからの反射光、若しくは散乱光が撮像装置Cに到るまでの光路がL2となり、
この光路L2上には図1〜図3においてはハーフミラー4以外に存在するものはないが、場合によっては前記検査対象からの迷光をカットしたりする目的で、検査対象からの反射光又は透過光、若しくは散乱光を部分的に遮光するマスク若しくは絞り等を設置してもよい。
以下では各部材の配置や構成、機能について詳述する。
前記面光源1は、例えばチップ型LEDや拡散板等により略均等拡散面をもつ光射出面11が形成されたものであるが、前記検査対象Wに対する照射立体角が略均一になるようにその射出形態が制御されたものであってもい。
また、前記面光源1は、図1に示すように、筒状の筐体内を照射光軸方向に進退可能に取り付けられており、検査光の照射開始位置を調整できるようにしてある。
このようにすると、後述する第1の遮光マスクM1、及び第1のフィルター手段F1、若しくは両者の機能を兼ね備えた第3のフィルター手段F3による照射立体角、及びその照射立体角内の異なる光属性を持つ任意の立体角度領域の形状や光軸の制御や、第2の遮光マスクによる照射領域の形状や光軸の制御とは独立して、前記第1の遮光マスクM1、及び前記第1のフィルター手段F1、若しくは両者の機能を兼ね備えた前記第3のフィルター手段F3と、前記第2の遮光マスクM2及び前記レンズ2及び前記面光源1の位置関係で決まる検査光の照射範囲に対して、前記検査対象Wにおける検査光の均一度や輝度分布等を制御することができる。すなわち、照射領域によって照射光路が異なるので、例えば、前記面光源1に所定の輝度分布、若しくは発光波長分布、偏光特性分布等を備えておくと、照射領域によってその分布を変化させることもできるし、均一にすることもできる。
前記第2の遮光マスクM2、及び前記第4のフィルター手段は、図1に示すように、筒状の筐体内を照射光軸方向に進退可能に取り付けられており、前記レンズ2と前記検査対象との距離によって、前記第2の遮光マスク自身が前記検査対象に対する結像位置近傍に調整できるようにしてある。このようにすることによって、前記面光源1からの照射光を部分的に遮光、若しくは特定の属性をもつ光のみを遮光することができ、前記第2の遮光マスクの開口部、若しくは前記第4のフィルターの特定の属性をもつ光のみを透過する部分の形状が検査対象Wに略結像されることから、前記第2の遮光マスクM2の開口部の形状や大きさ、若しくは前記第4のフィルター手段のパターン形状を変えることにより、前記検査対象Wにおける検査光の照射範囲、若しくは特定の属性をもつ光を照射する照射領域を任意に設定することができる。また、この調整や設定は、後述する前記第1の遮光マスクM1、及び前記第1のフィルター手段F1、若しくは両者の機能を兼ね備えた前記第3のフィルター手段F3による照射立体角の制御とは独立して行うことができる。
前記第1の遮光マスクM1、及び前記第1のフィルター手段F1、若しくは両者の機能を兼ね備えた前記第3のフィルター手段F3は、前記レンズ2と前記面光源との間であって、前記レンズ2の焦点位置を中心とする前後の位置に設けられ、図1に示すように、筒状の筐体内を照射光軸方向に進退可能に取り付けられている。ここで、前記第1の遮光マスクM1を前記第1のフィルター手段F1、及び両者の機能を兼ね備えた前記第3のフィルター手段F3の代表例として説明すると、例えば、前記第1の遮光マスクM1を前記レンズ2の焦点位置に設けた場合は、図2のように、前記検査対象Wの各点における照射立体角ISの大きさと形状と傾き角がすべて同じになり、このことは、図3に示したように、前記検査対象の各点と前記レンズ2との距離が異なる場合でも同様である。また、このことは、前記ハーフミラー4の有無に拘わらず、また前記検査対象Wと前記レンズ2との距離にも拘わらず、同様である。以上の前記第1の遮光マスクM1を代表例として説明したことは、前記第1のフィルター手段F1、及び両者の機能を兼ね備えた前記第3のフィルター手段F3によって形成される前記立体角領域についても同様である。
前記第1の遮光マスクM1、及び前記第1のフィルター手段F1、及び前記第3のフィルター手段F3は、たとえば図4に示したように、ほぼ光を遮断する遮光部M1が任意の形状で開口部を形成しており、図4では周囲が遮光部で中心部か開口部として図示しているが、その開口部の一部が更に遮光部となっても構わない。また、遮光部が特定の属性をもつ光のみを遮光する部分であってもよく、さらに図4では、M1の開口部に前記第1のフィルター手段F1が設定されており、ここでは3種類の光属性の異なる立体角領域を形成するためのパターンF11、F12、F13が設定されている。ここでは光軸を中心として放射状のパターンとなっているが、これも前記検査対象の着目する特徴点によって任意のパターンに最適化してもよい。この前記第1の遮光マスクM1と前記第1のフィルター手段F1を統合したものが前記第3のフィルター手段F3に相当する。
図4に示した、前記第1の遮光マスクM1、及び前記第1のフィルター手段F1、若しくは前記第3のフィルター手段F3を使用すると、例えば図5に示すように、前記検査対象Wの各点Pに対して照射立体角ISを形成することができる。この照射立体角はISは、前記第1の遮光マスクM1の中心部の開口部によってその一番外側の形状が決定され、さらにその照射立体角内に、前記第1のフィルター手段F1によって、それぞれ前記第1のフィルター手段F1のマスクパターンF11、F12、F13に対応して、それぞれ異なる光属性を持つ立体角領域IS1、IS2、IS3が形成される。
以上で述べた、照射立体角が略均一に形成できる本発明の検査用照明に対して、従来の通常の光源面のみを用いる照明では、検査対象Wの各点に対する検査光の照射立体角ISは、各点によってその形状や大きさ、及び傾きが異なってしまう。これは、前記検査対象Wの各点に対する照射立体角ISが、その各点から照明を逆に見たときの面光源1の射影形状、及び大きさ、及び角度で一意に決まっているからである。
一方で、前記検査対象の各点における観察立体角OSは、前記撮像装置Cの瞳位置、及び瞳形状、及び瞳の大きさと前記検査対象の各点との相対関係で決まっている。
ここで、前記検査対象Wから返される物体光のうち主に散乱光以外の直接光を観察する場合、
撮像装置Cによる各点の明るさは、各点において照射立体角ISを直接反映する反射光の立体角RS若しくは透過光の立体角TSと前記観察立体角OSとの包含関係で決まっている。
ここで、図5を用いて、前記検査対象Wから返される物体光のうち主に散乱光以外の直接光を観察する場合において、照射立体角と観察立体角との包含関係と前記撮像装置が得られる明暗情報について説明する。
図5は、前記検査対象W上の点Pに着目して、前記点Pに照射立体角ISなる検査光を照射した場合を考え、前記検査対象の点Pを含む面が部分的にφだけ傾いたときに、点Pの明るさがどのように変化するかを、前記撮像装置Cが点Pに形成する観察立体角OSに対して、点Pからの反射光の立体角RSが、RS′のように変化したときの、各立体角領域と観察立体角OSとの包含関係がどのようになるかを示している。
図5において、点Pからの前記反射光の立体角RS、及び立体角RS内の立体角領域RS1〜3の形状と大きさは、点Pに対する検査光の照射立体角IS、及び照射立体角IS内の立体角領域IS1〜3に等しく、これはRS′においても同様である。
また、前記反射光の立体角RS、及びRS′の傾きは、点Pに立てた検査面の法線に対して前記検査光の照射立体角ISの線対称となる方向に、前記検査光の照射立体角ISの傾きθと同じだけ傾いている。
したがって、点Pを含む検査面が平面で傾いていない図5の(a)では、前記撮像装置Cが点Pに対して形成する観察立体角OSが、前記反射光の立体角RSとその光軸が一致しており、前記撮像装置Cで捉えられる点Pの明るさは、その観察立体角OSと前記反射光の立体角RS、及び立体角RS内の立体角領域RS1〜3との包含関係で、それぞれの異なる光属性ごとの明るさとして決まっている。
次に、図5の(b)において、前記検査対象Wの点Pを含む面が部分的にφだけ傾いた場合を考えると、
点Pからの反射光の立体角RSは、図中点線で示したRS′のように2φだけ傾くことになる。

このときに、点Pからの反射光の立体角RS′が、前記撮像装置Cが点Pに対して形成する観察立体角OSとなんらの包含関係をもたなければ、前記撮像装置Cから見た点Pの明るさは0となるが、前記撮像装置Cが点Pに対して形成する前記観察立体角OSと部分的に包含関係があれば、両者が重なった立体角部分に含まれる光、すなわち、その観察立体角OSと前記反射光の立体角RS′、及び立体角RS′内の立体角領域RS1〜3との包含関係が、点Pのそれぞれの異なる光属性ごとの明るさとして反映される。

すなわち、点Pからの反射光の立体角RS′の平面半角が、前記反射光の傾き角2φから前記観察立体角OSの平面半角を差し引いた角度より大きく、なおかつ前記反射光の傾き角2φに前記観察立体角OSの平面半角を加えた角度より小さい場合は、点Pの明るさが前記反射光の傾き角2φによって変化する。
しかし、もし前記照射立体角ISの平面半角が、前記検査対象Wの部分的な傾きによって生じる反射光の傾き角2φに前記観察立体角OSの平面半角を加えた角度より大きい場合は、点Pの明るさは変化しない。
また、観察立体角OSの平面半角が、前記反射光の傾き角2φと前記反射光の立体角RSの平面半角を加えたものより大きければ、やはり点Pの明るさは変化しない。

このことは、結局、点Pの明るさは、点Pからの反射光の立体角RSと点Pに対する観察立体角OSの包含関係で決まっており、点Pに照射される検査光の照射立体角ISと点Pに対する観察立体角OSとの、形状、及び大きさ、及び傾きに関する相対関係を設定することで、点Pの明るさの変化を制御できる、ということを示している。
さらに、図5を用いて、検査対象に照射される照射立体角内に異なる光属性を持った立体角領域が
照射光の光軸に対して放射状に存在する場合に、前記検査対象上の点Pの明るさが、前記点Pより反射される反射光の立体角と撮像装置Cが前記点Pに対して形成する観察立体角との包含関係によってどのように変化するかを詳述する。
図5に示した照射立体角ISは、その内部が異なる光属性を持った立体角領域IS1、IS2、IS3で形成されている。このとき、検査対象W上の点Pから反射される反射光の立体角RSは、前記照射立体角ISと同じで、その光軸は前記検査対象W上の点Pに立てた法線に対して、前記照射立体角ISと線対称の方向であり、前記反射光の立体角RSの内部にも、前記照射立体角内に形成されていた異なる光属性を持った立体角領域IS1、IS2、IS3に対応して、そのそれぞれと同じ光属性を持つ立体角領域RS1、RS2、RS3が形成される。
図5では、簡単のため、撮像装置Cによって前記検査対象W上の点Pに形成される観察立体角OSが、前記反射光の立体角RS、及び前記反射光の立体角RSないに形成されている異なる光属性を持つ立体角領域RS1、RS2、RS3に対して
その変化を捕捉するために十分な大きさを持つ場合を考えており、図11の(a)では、前記観察立体角OSが前記立体角領域RS1に完全に包含されている場合を示している。このときに、前記撮像装置Cにおいて、前記異なる光物性の光をそれぞれ選択的に検出できる第2のフィルター手段を備えておれば、前記検査対象上の点Pの明るさは、前記立体角領域RS1のもつ光属性の光と、前記立体角領域RS2のもつ光属性の光と、前記立体角領域RS3のもつ光属性の光の、ある割合で表される明るさになる。
次に、図5の(b)に示すように、前記検察対象Wの面がφだけ傾いた場合を考えると、前記反射光の立体角RSの光軸は2φだけ方向き、前記観察立体角OSは、前記異なる光物性を持つ立体角領域のRS1とRS2、及びRS3に、或る割合で包含されており、その割合は、前記反射光の立体角RSの光軸がどの方向に傾いても、異なる割合となる。このとき、前記検査対象上の点Pの明るさが、前記立体角領域RS1とRS2、及びRS3のもつ光属性の光の或る割合で、それぞれがある明るさに補足されるので、その割合の変化によって、前記反射光の立体角RSの光軸がどの方向に傾いても、その方向と傾き度合いの双方を識別することが可能となる。
今、分かりやすくするために、図5に示す、それぞれ異なる光物性を持つ前記立体角領域RS1、RS2、RS3が、たとえばそれぞれ赤色光、緑色光、青色光であるとして、前記撮像装置Cがカラーカメラだとすると、図5の(a)の場合は、前記検査対象W上の点Pは、赤と緑と青色の光が面積比ではほぼ等分の比率で捕捉されるので、その強度が同じであれば、白色で或る明るさに見え、図5の(b)の場合は、赤みが濃い白色で、ある明るさに見えることになる。また、前記検査対象Wの傾き角φが徐々に大きくなる場合を考えると、前記検査対象W上の点Pはその傾き角が大きくなるに従って、白色から徐々に赤色を帯びてきて連続的に変化することになるが、内部に異なる光属性を持つ立体角領域がない照射立体角だと、その照射立体角と観察立体角との包含関係で決まる明暗情報のみとなるが、本発明によると前記検査対象Wの傾き角φをより広い範囲で連続的に捕捉することが可能となるばかりでなく、その傾きの方向性も識別することが可能となる。
次に、図6を用いて、前記検査対象Wから返される物体光のうち、主に散乱光を観察する場合において、照射立体角と観察立体角との包含関係と前記撮像装置が得られる明暗情報について説明する。
図6に示した照射立体角ISは、その内部が異なる光属性を持った立体角領域IS1、IS2、IS3で形成されている。
このとき、検査対象W上の点Pから返される散乱光は、
それぞれ異なる光属性ごとに、立体角領域IS1、IS2、IS3が点P近傍の面の法線となす相対角度によって決まる照度によって、その明るさが決まり、前記点P近傍の面がΦだけ傾くと、該立体角領域IS1、IS2、IS3が点P近傍の面の法線となす相対角度がそれぞれ変化し、それに従ってその明るさが変化する。
このときに、該立体角領域IS1、IS2、IS3が前記照射立体角ISの光軸に対して放射状に配置されていると、前記点P近傍の面がΦだけ傾くときの傾き方向によって、該立体角領域IS1、IS2、IS3が点P近傍の面の法線となす相対角度がそれぞれ変化することによって、前記点P近傍の面の傾き方向と傾き角の双方が一意に同定することができる。
図6に示した照射立体角ISに関し、
図6の(a)は、異なる光属性を持った立体角領域IS1、IS2、IS3が、該照射立体角ISの光軸から連続的かつ放射状に配置されているが、
図6の(b)では、異なる光属性を持った立体角領域IS1、IS2、IS3が、該照射立体角ISの光軸から離れた該照射立体角周辺部のみに放射状に配置されており、
更に、図6の(c)では、異なる光属性を持った立体角領域IS1、IS2、IS3が、該照射立体角ISの光軸に対して離散的かつ放射状に配置されているが、
該立体角領域IS1、IS2、IS3の立体角が小さければ小さいほど、前記検査対象の点P近傍の面が傾く方向、及び傾き角に対するそれぞれの照度の変化が大きくなり、該傾き方向、及び傾き角の変化に対する点Pの明るさの変化量を大きくすることができ、逆にそれぞれ異なる光属性を持った立体角領域IS1、IS2、IS3の配置を最適化することにより、前記検査対象の点P近傍の面が傾く方向、及び傾き角に対する点Pの明るさの変化を制御することが可能となす。すなわち、任意の方向に対する任意の傾き角に対する点Pの明るさの変化量を制御することが可能となる。
次に、本発明における前記ハーフミラー4は、概略正方形状の枠体により支持された円形状のごく薄いものであるが、該ハーフミラーの形状は円形状でなくともよく、支持する枠体の形状も正方形上でなくてもよく、このようなハーフミラー4を用いることで、ハーフミラー4の反射又は透過が起こる表面と裏面の乖離部分をごく薄く形成することができ、前記検査対象Wからの反射光がハーフミラー4を透過する際に、生じる微小な屈折や内面反射等によるゴーストを最小限にすることができる。
前記第1の遮光マスク、及び前記第2の遮光マスクは、一般的な光学材料である複数枚の羽根を使用した絞りであってもよく、または任意の開口部をもつごく薄い遮光板と絞りを組み合わせてもよく、さらには第1のフィルター手段や第3のフィルター手段を含めて、電子的にその開口部や遮光部、並びに透過する光の属性を設定可能な液晶等の部材を用いても良い。
また、前記第1の遮光マスクの開口部の別な実施形態として、例えば、その開口部が円状ではなく、楕円、若しくは細長いスリット状にすることで、前記検査対象の特徴点を検出するに当たり、その検出感度に異方性をもたせることができる。すなわち、このとき、前記検査対象の各点に対する照射立体角は前記第1の遮光マスクのスリットと同じ長手方向に広がり、短手方向にはごく薄い照射立体角となり、この場合は長手方向の前記検察対象の傾きの検知感度は低く、短手方向の検知感度のみが高く設定できる。ただし、この場合は前記撮像装置が前記検査対象の各点に形成する観察立体角の形状や大きさ及び傾きを、照射立体角の短手方向に合わせて、相対的にほぼ同等になるように設定する必要がある。若しくは、前記撮像装置が前記検査対象の各点に形成する観察立体角の大きさを十分小さく設定すると、照射立体角の広がっている分、検出する傾きにしきい値を設定することが可能となる。このことは、該照射立体角内に形成される異なる光属性を持つ立体角領域に対しても同様に作用する
また、前記第1の遮光マスク、及び前記第3のフィルター手段の別な実施形態として、例えば、その開口部が同心円状の遮光部と開口部とを備えることによって、その幅を適当にとれば、前記検査対象の部分的な傾きに対して、或る一定の傾き角度範囲だけを検出することもできるし、必要な方向にその幅を必要なだけ設定すると、その検出角度に異方性をもたせることもでき、さらに異なる光属性を持つ複数の領域を放射状に設定して、その領域の形状を変化させれば、検査面の異なる傾き方向の異なる傾き角を抽出可能となる。若しくは、このような検査用照明を多段に設ければ、表面の傾き度合いに応じて、これを分類検出することができ、さらに加えて、前記第1の遮光マスク、及び前記第3のフィルター手段を電子的に設定が可能な前記液晶等の部材とすれば、この開口パターンを動的に切り替えることによって、複数種類の明暗情報が得られ、さらに詳細な分類検出を行うことができる。
さらにまた、前記第1のフィルター手段F1においては、その異なる光属性として、波長帯域や偏光状態、輝度等が考えられ、たとえば前記光源1を白色光を発する光源として、前記第1のフィルター手段F1で、それを異なる波長帯域の光で構成される任意の立体角領域を形成することができ、同時に異なるパターンで異なる波長帯域の光を任意の方向から任意の形状で、しかも前記検査対象Wの視野範囲のすべての点において同一条件で照射することが可能となる。さらに加えて、前記第1のフィルター手段F1を電子的にそのパターンや透過率等の設定が可能なカラー液晶等の部材とすれば、このフィルターパターンを動的に切り替えることによって、複数種類の明暗情報が得られ、さらに詳細な分類検出を行うことができる。
また、前記第1のフィルター、若しくは前記第3のフィルターの構成例として、
異なる光属性を持つ立体角領域を、放射状に明確に区分しても良いし、徐々に異なる光属性を持つようにグラデーションをもたせることもできる。
このようにすると、たとえば、前記検査対象からの反射光、若しくは透過光が、照射角度、または観察角度によって輝度の異なる場合、これを均一な輝度にすることも逆に輝度の変化を付けることもできるようになり、さらに散乱光の輝度に反映される照度に関してもその変化を同様に制御することが可能となる。
たとえば前記検査対象Wの表面から直接反射される光と、キズなどの散乱光を発する部分との輝度差を適正に調整することが可能となる。これは、正反射光として前記検査対象Wの表面から直接反射される光の角度範囲に対応する照射立体角領域の光量を少なくし、徐々にそれ以外の立体角領域の光量を大きくすることにより、実現することができ、さらにどんな方向へのどんな傾き角に対しても、それを観察立体角との包含関係において連続的に変化させることができる。
次に、図7〜図12を用いて、前記検査対象から返される物体光のうち、主に正反射光である直接光を観察する場合において、物体面の三次元形状の変化が大きく、物体面の各点近傍の微小面積の傾きが、各点から返される物体光の明暗情報として連続的に取得できない不連続領域で、物体面の各点に対する照射光の照射立体角が、その点から返される直接光の立体角に反映されない特定の領域があることに着目し、該照射立体角に対する該直接光の立体角の変化、及び該不連続領域におけるその他の物体光の変化を利用して、該不連続領域の三次元形状を得る方法について説明する。
図7に、照射立体角ISと観察立体角OSの光軸が同軸である場合に、
照射立体角ISの平面半角θiと観察立体角OSの平面半角θoの大小によって、
前記検査対象から該照射立体角ISの形状を反映して返される直接光が、該検査対象の面の傾きを反映してその光軸が変化した場合に、該観察立体角OSによって該光軸変化が明暗変化として捕捉できる角度範囲を簡単に求めるために、
該照射立体角ISの平面半角θiと該観察立体角OSの平面半角θoの小さい方を有効平面半角θとする。
なお、該照射立体角ISは、その内部が前記異なる光属性を持った複数の立体角領域で該照射立体角の光軸に対して放射状に配置されているものであってもよく、以下で説明する図8から図19においても同様である。
図8は、前記検査対象の各点から返される物体光が直接光であって、
該検査対象の各点に対して照射されている平面半角θiの照射立体角と、該検査対象の各点に対する平面半角θoの観察立体角において、該照射立体角と該観察立体角との光軸が同軸、若しくは正反射方向となるように設定されているとき、該検査対象の各点から返される直接光が該観察立体角によって観察できる該各点近傍の限界傾き角度Φeは、該検査対象の各点に照射されている照射立体角の平面半角θiと該検査対象の各点に対する観察立体角の平面半角θoの和の1/2なので、
該検査対象の不連続領域の傾き面が、平面部の法線に対してなす傾き角θsが、平面時の90°に対して変化した差分角度が、該平面半角θiと該平面半角θoの和の1/2より大きい場合、すなわち、90°から限界傾き角度Φeを差し引いた角度より小さい場合は、
その不連続領域においては、該観察立体角によって、該直接光を捕捉することができなくなり、その結果観察立体角で捕捉できる直接光の明るさは0となって、そのままでは、該観察立体角の明るさの変化量だけでは、該不連続領域における該検査対象の三次元形状を識別することができなくなることを示している。
次に図9は、前記検査対象の不連続領域で着目する面の傾き角θsが有効照射立体角θと等しい場合、
図10は、不連続領域面の傾き角θsが有効照射立体角θより小さいが0より大きい場合、
図11は、不連続領域面の傾き角θsが0の場合、
図12は、不連続領域面の傾き角θsが負の場合をそれぞれ示しているが、
いずれの場合も、不連続領域において捕捉される直接光の明暗変化によって特定される該不連続領域の幅を該有効平面半角θの正接で除した値が、その不連続領域を挟む連続領域間の高低差Dとなることを示している。
次に、図13〜図18を用いて、前記不連続領域の一例として、未知の半径Rの球体、若しくは該球体の一部に対して、平面半角θiの照射立体角である照射光が照射され、該球体が平面半角θoの観察立体角である観察光学系で観察され、なおかつ該照射立体角と該観察立体角の光軸が同軸方向である場合において、その三次元形状の重要な要素である該球体の頂点部の高さを同定する方法を説明する。
まず、図13〜図18において、半径Rの球体が、前記検査面の略平面部に存在しているが、この時に、照射立体角と観察立体角の光軸が同軸であって、観察範囲において、該照射立体角と該観察立体角が、前記検査面の異なる高さの各点において均一に設定されておれば、
該球体の半径Rは、

該球体の頂上部から返される直接光が観察される円状の範囲の半径r1を、前記限界傾き角度Φeの正弦で除することによって得た値R1として求めることができるほか、

該球体の頂点部の高さが、該球体の半径より等しいか大きい場合は、
直接光が観察される該球体の頂上部の円状の範囲の外側に形成される直接光が観察されない範囲の半径r2の値をR2としても求めることができるとともに、
前記検査面の略平面部から該球体の中心までの距離は、直接光が観察される該球体の頂上部の円状の範囲の外側に形成される直接光が観察されない範囲の周囲に形成される直接光の明暗変化が存在する幅r3に前記有効平面半角θの余弦を乗じたものに対して、前記有効平面半角θの正弦から前記有効平面半角θの余弦を差し引いて1を加えたもので除した値R3として求めることができる。
図13では、、照射立体角と観察立体角の光軸が同軸であって、未知の半径Rの球体が、前記検査対象の略平面部に接地して存在しているが、
この場合の該球体の頂上部の該略平面部に対する高さDは、
該球体の頂上部から返される直接光が観察される円状の範囲の半径r1から求めた前記R1、
若しくは、
該球体の頂上部の円状の範囲の外側に形成される直接光が観察されない範囲の半径である前記R2、
若しくは、
該球体の頂上部の円状の範囲の外側に形成される直接光が観察されない範囲の周囲に形成される直接光の明暗変化が存在する幅r3から求めた前記R3の、いずれかの値の2倍の値として求めることができる。
このとき、前記R1、R2、R3の値はすべて同じ値となるが、もし、この3つの値のすべてが同じでない場合は、前記球体が完全な球体でないことを示しており、おおむね、該R1の値は該球体の中心から上部の高さに対応し、該R2の値は該球体の中心から水平方向の半径に対応し、該R3の値は該球体の中心から接地面までの高さに対応していることから、該3つの値より、該球体の前記検査対象の略平面部に対する相対位置、及びその概略形状を得ることが可能となる。
図14は、照射立体角と観察立体角の光軸が同軸であって、前記検査対象の略平面部に、未知の半径Rの球体が、該球体の頂上部の該略平面部に対する高さDが、該球体の半径Rの2倍より大きい値で存在している場合を示しており、
この場合は、前記R1と前記R2の値は等しいが、前記R3の値が、前記R1、及び前記R2の値より大きく観察され、
その高さDは、
該球体の半径Rと前記有効平面半角θの余弦の逆数、及び1から該有効平面半角θの余弦を差し引いた値を乗じた値を補正項ΔLとして、
前記R1の値、若しくは前記R2の値に対して、前記r3の値から該補正項ΔLを差し引いた値をさらに前記有効平面半角θの正接で除した値を加えた値として求めることができる。
図15、及び図16は、照射立体角と観察立体角の光軸が同軸であって、
前記検査対象の略平面部に、半径Rの球体が、該球体の頂上部の該略平面部に対する高さDが、該球体の半径Rの2倍より小さく、かつ該球体の半径Rに等しいかまたは大きい値で存在している場合を示しており、
この場合は、前記R1と前記R2の値は等しく、前記R3の値は、前記R1、及び前記R2の値より小さく観察され、
その高さDは、前記R1の値、若しくは前記R2の値に対して、前記r3の値から前記補正項ΔLを差し引いた値をさらに前記有効平面半角θの正接で除した値を加えた値として求めることができる。
図17は、照射立体角と観察立体角の光軸が同軸であって、
前記検査対象の略平面部に、半径Rの球体が、該球体の頂上部の該略平面部に対する高さDが、該球体の半径Rより小さい値で存在しており、前記R1の値が、前記R2の値より大きく、前記R3の値が0でない値で観察される場合を示しており、
この場合、該球体の頂上部の高さDは、前記R1の値に対して、前記補正項ΔLを前記有効平面半角θの正接で除した値を加えた値として求めることができる。
最後に、図18は、照射立体角と観察立体角の光軸が同軸であって、前記検査対象の略平面部に、半径Rの球体が、該球体の頂上部の該略平面部に対する高さDが、該球体の半径Rより小さい値で存在しており、前記R1の値が、前記R2の値より大きく、前記R3の値がほぼ0で観察される場合を示しており、
この場合、lその高さDは、前記R1の値に対して、前記R1の値の二乗から前記r2の値の二乗を差し引いた値の平方根を差し引いた値として求めることができる。
次に、前記不連続領域が、物体光として直接光を返さず、主に散乱光を返す場合、若しくは、直接光を返してはいるが、その直接光が前記観察立体角によって捕捉できない範囲方向に返されている場合においては、観察範囲に照射されている照射光が、同一の立体角ωiの照射立体角を持った照射光であれば、
物体光が直接光の場合の点Pの明るさは、反射率を1とすると、直接光の立体角RSと観察立体角OSとの包含関係で決まり、その最大明るさは照射立体角ωiと観察立体角ωoの小さい方の有効平面半角θを持つ有効照射立体角EISで決まるが、散乱光の場合は、照射立体角ωiで点Pに照射された光が、立体角2πの散乱光に変換され、これが観察立体角ωoで捕捉されるので、図19に示したように、観察立体角で捕捉される散乱光の最大明るさと直接光の最大明るさの比率は、照射立体角ωiと観察立体角ωoのどちらか大きい方を2πで除した値対1となる。
より具体的には、観察範囲に照射されている照射光が、同一の立体角ωiの照射立体角を持った照射光であって、観察立体角がωoとすると、通常の光学要件を勘案すると両者の立体角の平面半角は大きくても10°程度であり、小さければ1°以下となるが、その時に観察される散乱光の最大明るさは、直接光の最大明るさの0.015倍から0.00015倍となる。この時に、直接光の明るさのダイナミックレンジ、すなわち最大明るさと最低明るさの範囲と、散乱光の明るさのダイナミックレンジを、両者が重ならない範囲で設定することが可能となり、たとえば前記撮像装置で画像の明るさを浮動小数点方式で保持しているものであれば、その両者のレンジ内で適切な演算により、前記検査対象の直接光が観察される明視野領域と散乱光が観察される暗視野領域とに分けて、それぞれの領域で適切な演算処理を行うことによって三次元形状を計算し、それをつなぎあわせることで、該不連続領域を可能な限り少なくして、前記検査対象の表面の三次元形状を検査測定することが可能となる。
図20に示すように、検査面Wの観察領域の各点に、異なる光属性の立体角領域IS1、IS2、IS3を放射状に配置した同一の照射立体角ISを持つ光を照射し、直接光を返す明視野領域BFと散乱光を返す暗視野領域DFを、その輝度値にしきい値を設けるか、若しくは返される物体光の偏光状態によって区分し、それぞれの領域における各点の異なる光属性ごとの明るさの変化から三次元形状を検査測定すれば、直接光だけ、若しくは散乱光だけを観察してその三次元形状を連続的に検査測定できない検査面に対して、連続的な三次元形状の検査測定を行うことが可能となる。
なんとなれば、同一の照射立体角を持つ照射光に対して、検査面から返される物体光について、それが正反射光や正透過光のような直接光と、それ以外の散乱光とでは、その明るさに大きな差があり、観察される輝度値を一定の閾値、若しくは明暗の変化の度合いによって閾値を設定し、なおかつその閾値を前後する領域においては、その領域の大きさによってどちらの領域に属するかを判定することによって、直接光を返す領域と散乱光を返す領域を分けることができるからであり、

また、直接光を返す領域と散乱光を返す領域を分ける別の方法として、
直接光はその照射光の偏光状態を保存、若しくはその偏光状態を反映するが、散乱光はその発生メカニズムにより、たとえ照射光が偏光であっても非偏光となるので、例えば第4のフィルター等を用いて、照射光を偏光としておくと、観察光学系、若しくは撮像装置において、物体光の明るさにかかわらず、直接光と散乱光に分けて観察することが可能となり、

若しくは、パラレルコルを使用して、直接光と散乱光のダイナミックレンジの明るさの差を大きくすることによって、両者の区分を安定にすることが可能であり、

また両者の輝度値の変化を安定に解析するには、

露光時間、若しくはゲイン等の撮像条件を変えて複数枚の画像を撮像し、明るさが飽和してその変化が検知できない領域と、暗すぎてその変化が検知できない部分とを識別した上で、両者を補完してその変化を安定に解析することが可能であり、

更に別の方法として、前記撮像装置においてその画像の輝度値が浮動小数点で保持されておれば、それぞれの領域での安定な三次元解析が可能となるからである。
また、前記第2の遮光マスクは、前記検査対象に結像されることから、前記遮光マスクの開口部に、特定の属性を持つ光のみを透過する第4のフィルター手段を設けることにより、前記検査光の照射範囲ごとにその光属性を設定することが可能となる。このとき、光を照射しない範囲を設定する必要がなければ、前記第4のフィルター手段のみによって、透過する特定の光属性ごとにその照射範囲を設定してもよい。
さらに、前記第1や第2の遮光マスクに、また前記第1や第3のフィルターに、電子的にその開口部の設定が可能な前記液晶等の部材とすれば、この開口パターンや、透過する光属性等を動的に切り替えることによって前記検査光の照射領域を変更し、前記検査対象に異なる照射領域必要とするものがあっても、それぞれの領域に合わせて検査光を照射し、複数種類の明暗情報を得ることができる。
さらに、また、前記面光源を、その照射面の発光波長分布や輝度分布、偏光状態分布を動的に変更できるカラー液晶等と白色光源を組み合わせて構成することにより、さらに様々な種類の検査対象に対応することが可能になる。
その他、本発明の趣旨に反しない限りにおいて様々な変形や実施形態の組み合わせを行っても構わない。たとえば、検査対象の各点から返される物体光の立体角に対して十分小さな観察立体角を用い、照射立体角の全領域を、この観察立体角の大きさ相応に小さな領域に区分して、その必要な部分の光物性を異なるものとすることで、検査対象の傾き面の内、ある特定の傾き方向のある特定の傾き度合いの領域だけを捕捉するようにすることなどである。
以上の記述で使用した、輝度、照度、明るさ等の文言は、一般には人間の視覚で感じる光の尺度である測光量であるが、適宜、物理量として、若しくは用いるカメラの感度特性に合わせたセンサー測光量の意味に使用しているので、ここに注記する。
100 :検査測定用照明装置
200 :検査測定システム
300 :画像解析手段
1 :面光源
11 :光射出面
2 :レンズ
4 :ハーフミラー
C :撮像装置
LP1 :照射光路
LP2 :反射・透過光路
M1 :第1遮光マスク(及びその遮光部)
M2 :第2遮光マスク
F1 :第1フィルター手段
F3 :第3フィルター手段
F4 :第4フィルター手段
F11 :第1フィルター手段の或る光属性1を持つ光を透過する部分
F12 :第1フィルター手段の或る光属性2を持つ光を透過する部分
F13 :第1フィルター手段の或る光属性3を持つ光を透過する部分
W :検査対象
P :検査対象W上の或る点
IS :照射立体角
IS1 :照射立体角内の異なる光属性を持つ立体角領域1
IS2 :照射立体角内の異なる光属性を持つ立体角領域2
IS3 :照射立体角内の異なる光属性を持つ立体角領域3
EIS :有効平面半角を持つ有効照射立体角
OS :観察立体角
RS :反射光の立体角
RS1 :反射光の立体角内の異なる光属性を持つ立体角領域1
RS2 :反射光の立体角内の異なる光属性を持つ立体角領域2
RS3 :反射光の立体角内の異なる光属性を持つ立体角領域3
Φ :検査面の傾き角
Φe :直接光が観察できる検査面の限界傾き角
θo :観察立体角の平面半角
θi :照射立体角の平面半角
ωo :観察立体角の立体角
ωi :照射立体角の立体角
θ :照射立体角、及び観察立体角の有効平面半角
θs :検査面の鉛直方向からの傾き角
D :高さの異なる検査面の基準面からの高さ
ΔD1 :球体底部と検査基準面との距離
ΔD2 :検査基準面から球体中心までの距離
ΔD3 :検査基準面から球体中心までの距離
L1〜4 :検査面の不連続領域における水平方向の位置
B :半径Rの球体
R :球体Bの半径
S :水平方向からΦeなる傾きを持つ球体Bの接線
LT :球体部の頂点位置
LB :検査面の基準平面部の位置
L :検査面の不連続領域において、有効照射立体角が部分的に欠ける水平方向の距離
r1 :球体部の頂上部から返される直接光が観察される円状の範囲の半径
r2 :球体部から直接光が観察されない範囲の半径
r3 :球体部から直接光が観察されない範囲の周囲に形成される直接光の明暗変化が存在する幅
R1 :球体部の頂上部から返される直接光が観察される円状の範囲の半径から求めら、該球体の中心から上部の高さに対応する値
R2 :球体部から直接光が観察されない範囲の半径から求められ、該球体の中心から水平方向の半径に対応する値
R3 :球体部から直接光が観察されない範囲の周囲に形成される直接光の明暗変化が存在する幅から求められ、該球体の中心から接地面までの高さに対応する値
BF :直接光を返す明視野領域
DF :散乱光を返す暗視野領域

Claims (8)

  1. 検査対象に検査光を照射する検査測定用照明装置であって、前記検査対象の各点に照射される検査光の照射立体角の形状及び光軸の傾きを、前記検査対象の各点に対して、該検査測定用照明装置から該検査対象の各点までの距離に依らず、同時に略均一とすることができる検査測定用照明装置と、
    前記検査対象の各点において反射又は透過する、正反射光又は正透過光又は散乱光を含む物体光を撮像する撮像装置と、を備え、
    前記検査対象の各点における前記正反射光又は正透過光の立体角の光軸の変化を、前記撮像装置によって形成される前記検査対象の各点に対する観察立体角との包含関係においてその明るさとして検知すること、又は、前記検査対象の各点における前記検査光の照度変化を、前記散乱光の明るさの変化として検知すること、によって、前記検査対象の各点近傍の面の傾きの角度を同定する検査測定システムであって、
    その傾きの角度が連続的に同定できない領域においては、該領域の近傍における前記正反射光又は正透過光の立体角の変化を、前記観察立体角との包含関係によってその明るさとして検知し、検知した明るさ情報と、該領域の幾何学的な形状情報と、前記照射立体角と前記観察立体角とが共に有効に機能する有効平面半角とを用いて、該領域に隣接する領域間の、少なくともその高低差を算出して、前記検査対象の表面の三次元性状を特定することが可能なことを特徴とする検査測定システム。
  2. 前記検査対象の各点に照射される検査光の照射立体角を、異なる光属性を持つ複数の立体角領域が光軸を中心として放射状に配置されるように設定し、
    前記物体光の異なる光属性を選択的に撮像可能な撮像装置によって、前記検査対象の各点における前記正反射光又は正透過光の立体角の光軸の変化を、撮像装置によって形成される前記検査対象の各点に対する観察立体角との包含関係によって、前記検査光の前記複数の立体角領域に起因する複数の光属性ごとの明るさの変化として検知すること、又は、前記検査対象の各点における前記検査光の前記複数の立体角領域に起因する複数の光属性ごとの照度変化を前記散乱光の光属性ごとの明るさの変化として検知すること、によって、前記検査対象の各点近傍の面の傾きの角度、若しくは該傾きの角度と該傾きの方向の両方を同定する検査測定システムであって
    その傾きの角度が連続的に同定できない領域においては、該領域の近傍における前記正反射光又は正透過光の立体角の変化を、前記検査光の前記複数の立体角領域に起因する複数の光属性ごとの明るさの変化として検知し、該領域に隣接する領域間の、少なくともその高低差を算出して、前記検査対象の表面の三次元性状を特定することが可能なことを特徴とする請求項1に記載の検査測定システム。
  3. 前記検査対象の各点における前記観察立体角が、前記照射立体角より小さく設定され、前記照射立体角内に形成される異なる光属性を持つ複数の立体角領域を、それぞれの光属性において連続して滑らかに変化させたことを特徴とする請求項に記載の検査測定システム。
  4. 検査対象に検査光を照射する検査測定用照明装置において、前記検査対象の各点に照射される検査光を偏光とし、
    前記検査対象の各点において反射又は透過する物体光を撮像する撮像装置において、前記物体光の偏光状態によって、前記物体光の変化を選択的に撮像可能である撮像装置を備え、前記検査対象の各点から返される前記物体光が、正反射光又は正透過光であるか、若しくは散乱光であるかを区別し、
    前記物体光が、正反射光又は正透過光である場合は、前記撮像装置によって形成される前記検査対象の各点に対する観察立体角との包含関係においてその明るさとして検知し、
    前記物体光が、散乱光である場合は、該散乱光に対する、明るさの変化を検知することによって、
    前記検査対象の表面の三次元性状を特定することが可能なことを特徴とする、請求項1から請求項の何れかに記載の検査測定システム。
  5. 前記検査対象の各点において反射又は透過する物体光を撮像する撮像装置において、前記物体光の明るさを、浮動小数点形式の輝度値として記録撮像可能である撮像装置を備え、
    前記検査対象の各点から返される前記物体光が、正反射光又は正透過光であるか、若しくは散乱光であるかを、その明るさの帯域で区分される領域として判別し、
    前記物体光が、正反射光又は正透過光である場合は、
    前記撮像装置によって形成される前記検査対象の各点に対する観察立体角との包含関係においてその明るさとして検知し、
    前記物体光が、散乱光である場合は、
    該散乱光に対する、明るさの変化を検知することによって、
    前記検査対象の表面の三次元性状を特定することが可能なことを特徴とする、請求項1から請求項の何れかに記載の検査測定システム。
  6. 前記検査対象の各点において反射、又は透過する物体光を撮像する撮像装置において、
    前記物体光の内、正反射光又は正透過光の所望の明るさが、撮像可能な最大明るさを超えない範囲の撮像条件を適用して第1の撮像画像を撮像し、
    前記物体光の内、散乱光の所望の明るさが、撮像可能な最低明るさ以上となる範囲の撮像条件を適用して第2の撮像画像を撮像し、
    前記検査対象の各点から返される前記物体光が、正反射光又は正透過光であるか、若しくは、散乱光であるかを、その明るさの帯域で区分される領域として判別し、
    前記物体光が、正反射光又は正透過光である場合は、
    前記撮像装置によって形成される前記検査対象の各点に対する観察立体角との包含関係においてその明るさとして検知し、
    前記物体光が、散乱光である場合は、
    該散乱光に対する、明るさの変化を検知することによって、
    前記検査対象の表面の三次元性状を特定することが可能なことを特徴とする、請求項1から請求項の何れかに記載の検査測定システム。
  7. 前記検査測定用照明装置において、前記検査光の照射方向を変え、なおかつ前記検査対象からの光を透過して前記撮像装置で撮像できるようにするためのハーフミラーを備え、前記検査光の前記検査対象の各点に対する照射立体角と前記撮像装置の前記検査対象の各点に対する観察立体角の光軸を略一致させたことを特徴とする請求項1から請求項の何れかに記載の検査測定システム。
  8. 請求項1から請求項の何れかに記載の検査システムにおいて、前記物体光の明るさ、又は立体角の形状、又は傾きのうち、少なくともいずれかひとつ以上の変化をもって、前記検査対象の三次元形状を同定する検査測定方法。
JP2020102749A 2020-06-14 2020-06-14 検査測定システム及び検査測定方法 Active JP6799272B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2020102749A JP6799272B1 (ja) 2020-06-14 2020-06-14 検査測定システム及び検査測定方法
US17/618,216 US11630070B2 (en) 2020-06-14 2020-06-15 Inspection and measurement system, and inspection and measurement method
PCT/JP2020/023440 WO2021255793A1 (ja) 2020-06-14 2020-06-15 検査測定用照明装置及び検査測定システム及び検査測定方式
EP20939470.9A EP4166933A4 (en) 2020-06-14 2020-06-15 LIGHTING DEVICE FOR INSPECTION AND MEASURING, INSPECTION AND MEASURING SYSTEM AND INSPECTION AND MEASURING METHOD
CN202080045025.7A CN114144661B (zh) 2020-06-14 2020-06-15 检查测定用照明装置、检查测定系统以及检查测定方法
KR1020217040248A KR102361860B1 (ko) 2020-06-14 2020-06-15 검사 측정용 조명 장치 및 검사 측정 시스템 및 검사 측정 방식
IL299032A IL299032B2 (en) 2020-06-14 2022-12-12 A lighting device for testing and measuring, a system for testing and measuring, and a method for testing and measuring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020102749A JP6799272B1 (ja) 2020-06-14 2020-06-14 検査測定システム及び検査測定方法

Publications (2)

Publication Number Publication Date
JP6799272B1 true JP6799272B1 (ja) 2020-12-16
JP2021196256A JP2021196256A (ja) 2021-12-27

Family

ID=73740889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020102749A Active JP6799272B1 (ja) 2020-06-14 2020-06-14 検査測定システム及び検査測定方法

Country Status (2)

Country Link
JP (1) JP6799272B1 (ja)
WO (1) WO2021255793A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014273A1 (ja) * 2022-07-13 2024-01-18 パナソニックIpマネジメント株式会社 検査システム及びこれを用いた物品の表面の傾斜角補正方法
WO2024084782A1 (ja) * 2022-10-17 2024-04-25 浜松ホトニクス株式会社 画像取得装置、検査装置、及び画像取得方法
JP7296085B1 (ja) * 2023-04-02 2023-06-22 マシンビジョンライティング株式会社 撮像レンズ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5827140A (ja) 1981-08-10 1983-02-17 Goou Kagaku Kogyo Kk フレキソ印刷版用感光性樹脂組成物
JP3032616B2 (ja) * 1991-08-01 2000-04-17 日立電子株式会社 外観検査方法及び装置
JP3598983B2 (ja) * 2001-03-05 2004-12-08 森 勇蔵 超精密形状測定方法及びその装置
US20040184653A1 (en) * 2003-03-20 2004-09-23 Baer Richard L. Optical inspection system, illumination apparatus and method for use in imaging specular objects based on illumination gradients
JP5866573B1 (ja) 2015-03-23 2016-02-17 マシンビジョンライティング株式会社 検査用照明装置及び検査システム
JP5866586B1 (ja) * 2015-09-22 2016-02-17 マシンビジョンライティング株式会社 検査用照明装置及び検査システム
JP6451821B1 (ja) * 2017-12-05 2019-01-16 マシンビジョンライティング株式会社 検査システム及び検査方法
CN108662993A (zh) * 2018-04-13 2018-10-16 黄智强 一种基于光学散射原理的表面粗糙度检测系统

Also Published As

Publication number Publication date
JP2021196256A (ja) 2021-12-27
WO2021255793A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
JP5866586B1 (ja) 検査用照明装置及び検査システム
JP6799272B1 (ja) 検査測定システム及び検査測定方法
JP6451821B1 (ja) 検査システム及び検査方法
JP5866573B1 (ja) 検査用照明装置及び検査システム
US11493454B2 (en) System and method for detecting defects on a specular surface with a vision system
KR102361860B1 (ko) 검사 측정용 조명 장치 및 검사 측정 시스템 및 검사 측정 방식
JP2019095252A (ja) 検査対象物の境界部を検査する方法及びその検査装置
EP4148414A1 (en) Optical inspection method, optical inspection program, processing device, and optical inspection apparatus
JP7458617B1 (ja) 検査用照明装置及び照明光学系及び検査システム
JP2023139653A (ja) 光学検査装置、処理装置、光学検査方法、及び、光学検査プログラム
JP2023139658A (ja) 光学検査方法、光学検査プログラム、処理装置、及び、光学検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200616

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200802

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201102

R150 Certificate of patent or registration of utility model

Ref document number: 6799272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250