JP7314508B2 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
JP7314508B2
JP7314508B2 JP2018240895A JP2018240895A JP7314508B2 JP 7314508 B2 JP7314508 B2 JP 7314508B2 JP 2018240895 A JP2018240895 A JP 2018240895A JP 2018240895 A JP2018240895 A JP 2018240895A JP 7314508 B2 JP7314508 B2 JP 7314508B2
Authority
JP
Japan
Prior art keywords
pattern
inspection
colored
striped
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018240895A
Other languages
English (en)
Other versions
JP2020101486A (ja
Inventor
宗広 高山
昌孝 戸田
幸男 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2018240895A priority Critical patent/JP7314508B2/ja
Priority to US16/725,073 priority patent/US10887501B2/en
Publication of JP2020101486A publication Critical patent/JP2020101486A/ja
Application granted granted Critical
Publication of JP7314508B2 publication Critical patent/JP7314508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30156Vehicle coating

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、検査対象物の表面の欠陥の有無を検査する検査装置に関する。
例えば製品の製造過程において、製品の表面に設計上、想定されていない凹凸が形成されることがある。このような凹凸は製品の品質上、欠陥となる。また、製品の表面に対して塗装が施される場合があるが、塗装工程において、製品の表面に塗装材料が粒状に残ったり、埃の上から塗装されたり、均一な厚さで塗装されなかったりして、塗装不良となることがある。係る場合も、製品の表面に設計上、想定されていない凹凸が形成され、製品の品質上、欠陥となる。そこで、従来、このような欠陥の有無を検査する技術が利用されてきた(例えば特許文献1)。
特許文献1には、塗装された検査対象物の表面の欠陥を検査する表面欠陥検査装置が記載されている。この表面欠陥検査装置は、検査対象物の表面に縞パターンを照射する照明部と、縞パターンが照射された検査対象物を撮像する撮像部とを備え、撮像部により撮像された画像に基づき検査対象物の表面の欠陥の有無の検査を行う。撮像部で撮像された縞パターンは、検査対象物の表面の欠陥(凹凸)に起因して縞パターンの周期や形状等が変化することから、その変化量に基づき検査対象物の表面の欠陥の有無を検査している。ここで、撮像された縞パターンは、表面の欠陥だけでなく、検査対象物の形状によっても変化する。このため、検査対象物の表面が様々な曲率を有する面からなる場合には、検査対象物の表面を曲率毎に小領域に分割し、当該小領域毎に適した縞パターンを投影する必要があり、分割数に応じた回数だけ検査が必要となる。そこで、特許文献1の表面欠陥検査装置では、様々な曲率を有する検査対象物の表面の検査を1回で検査するために、各曲面に合わせて明暗周期の異なる青、緑、赤を組み合わせた縞パターンを投影し、検査対象物で反射した縞パターンを撮像部で撮像し、撮像して得た画像を、青、緑、赤の夫々の成分に分離することで、曲面の曲率に応じた明暗周期の縞パターンの画像を取得している。これにより、1回の撮像で、様々な曲率を有する検査対象物の表面を検査可能としている。
特開2011-226814号公報
特許文献1に記載の技術は、検査対象物の表面を検査するに際し、縞パターンを予め設定されたずらし量だけ、縞パターンの1周期分、スライド移動しながら投影し、撮像している。このため、1回の検査に要する時間は、「縞幅」×2/「ずらし量」×「投影・撮影時間」となる。ここで、製品の生産性に鑑みた場合、検査に要する時間は短い程良い。特許文献1に記載の技術にあっても、検査時間を短縮することで生産性を向上できる余地がある。
そこで、検査時間を短縮することが可能な検査装置が求められる。
本発明に係る検査装置の特徴構成は、互いに異なる色で彩色された複数の第1領域と、前記第1領域の夫々を彩色した複数の色のうち、少なくとも2つの色を混ぜた色である混色で彩色された複数の第2領域とを有し、前記複数の第1領域の夫々と前記複数の第2領域の夫々とが交互に並ぶ検査パターンを作製する検査パターン作製部と、前記検査パターンを予め設定された移動量だけスライド移動しながら検査対象物の表面に照射する照射部と、前記照射部により前記検査パターンが照射された前記検査対象物の表面を撮像した撮像画像を取得する撮像画像取得部と、取得された前記撮像画像を前記複数の色の夫々の色成分毎に分離した色成分画像を生成し、当該色成分画像に基づき前記検査対象物の表面の欠陥の有無を判定する判定部と、を備え、前記検査パターン作製部は、第1パターンと第2パターンとが交互に並ぶ縞状パターンであって、前記第1パターン及び前記第2パターンの並び方向に沿って予め設定された量だけずらした前記複数の色の数に応じた複数の縞状パターンを作製する縞状パターン作製部と、前記複数の縞状パターン毎に前記互いに異なる色で、夫々の前記第1パターンを彩色した彩色済縞状パターンを作製する彩色済縞状パターン作製部と、夫々の前記彩色済縞状パターンを積層した場合において、前記第1パターンが互いに重複していない領域は当該第1パターンに彩色されている色で彩色した前記第1領域とし、前記第1パターンが互いに重複している領域は当該重複している第1パターンの夫々に彩色されている色を混ぜた色で彩色した前記第2領域とした混色済縞状パターンを前記検査パターンとして作製する混色済縞状パターン作製部と、を備え、前記予め設定された量は、前記第1パターンの前記並び方向に沿う長さにおける、前記複数の色の数から1を減じた数を、当該色の数で除した値の量である点にある。
このような特徴構成とすれば、互いに異なる色で彩色された複数の第1領域の夫々と、複数の色を混ぜた色である混色で彩色された複数の第2領域の夫々が交互に並ぶ検査パターンを用いるので、検査パターンに複数の情報を含ませることができると共に、1枚の撮像画像に複数の色に応じた情報を含ませることができる。したがって、同じ情報量を取得するために必要な時間を短くできるので、検査パターンの照射と撮影にかかる時間を短縮することが可能となる。具体的には、従来、例えば1回の検査あたりに、30回の検査パターンの照射と撮影とを行っていた場合には、本検査装置において第1領域を彩色する色として3色を用いれば、検査パターンの照射と撮影とを1/3に減じることができる。このように本検査装置によれば、検査時間を短縮することが可能となる。
また、このような構成とすれば、検査パターンを容易に作成することができるので、検査パターンの作製に係る演算負荷の増大を抑制できる。
また、前記第1領域と前記第2領域とは、前記スライド移動に沿う方向の長さが互いに等しいと好適である。
このような構成とすれば、第1領域と第2領域とがスライド移動に沿って周期的に現れるので、検査パターンをスライド移動する際の移動量を一定にすることができる。したがって、スライド移動の処理を簡素化することが可能となる。
また、前記複数の色は、赤、緑、及び青であり、前記混色は、黄、シアン、及びマジェンタであると好適である。
このような構成とすれば、赤、緑、及び青は互いに主となる色成分が異なるので、夫々の色成分に基づく色成分画像が取得し易くなる。したがって、検査対象物の表面の欠陥の検出精度を高めることができる。
検査装置の構成を模式的に示す図である。 座標の算定の概念を示す図である。 検査パターンの作製の概念を示す図である。 検査パターンの作製の概念を示す図である。 白の縞パターンと黒の縞パターンとを含む画像の一例を示す図である。 縞エッジ画像の一例を示す図である。 縞密度画像の一例を示す図である。 検査パターン作製部の構成を示す図である。 検査パターンの作製方法を示す図である。 色成分画像の生成について示す図である。
本発明に係る検査装置は、検査に要する時間を短縮できるように構成されている。以下、本実施形態の検査装置1について説明する。
図1は、本実施形態の検査装置1の構成を模式的に示した図である。図1に示されるように、検査装置1は、検査パターン作製部10、照射部20、撮像画像取得部30、判定部40を備えて構成され、各機能部は検査対象物2の表面の欠陥の有無の検査に係る処理を行うために、CPUを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。
照射部20は、表示画面21内の所定の位置を発光させて検査対象物2に光を照射する。照射部20は、検査対象物2の表面の欠陥の有無を検査する際、及びこのような検査を行う検査パターンを作製する際に検査対象物2に光を照射する。照射部20は、例えば液晶ディスプレイや有機ELディスプレイ等の表示部を備えて構成され、このような表示部の表示画面21に所定の表示を行うことにより発光させ、検査対象物2に光を照射する。
撮像画像取得部30は、光が照射された検査対象物2を撮像した撮像画像31(後述する)を取得する。ここで、本検査装置1により検査される検査対象物2の表面に対して、照射部20により光が照射された場合には検査対象物2の表面で光が反射される。撮像画像取得部30は、このような光を反射する状態にある検査対象物2の表面を撮像した撮像画像31を取得する。撮像画像取得部30は、例えばCMOSイメージセンサ、CCDイメージセンサ等の撮像デバイスを用いて構成することが可能である。
検査パターン作製部10は、検査対象物2の表面の検査に用いる検査パターンを作製する。検査パターンを作製するにあたり、まず、検査パターン作製部10は、表示画面21における光の発光位置の座標を示す発光位置座標情報と、撮像画像31における光の受光位置の座標を示す受光位置座標情報とに基づいて、撮像画像31における座標に対応する表示画面21における座標を算定する。ここで、表示画面21は図2の(A)に示されるように、所定のサイズで区分けされ、区分けされた領域は座標で定義される。この区分けは、表示画面21のピクセル単位で行っても良いし、複数のピクセルからなる1つの集合体を単位領域として行っても良い。
ここで、検査装置1が検査パターンを作製する場合には、照射部20は上記領域毎に発光位置を順次移動させながら発光させ、撮像画像取得部30は発光位置が移動する毎に撮像画像31を取得する。この時の発光位置を規定する座標を示す情報が発光位置座標情報にあたる。発光位置座標情報は照射部20から検査パターン作製部10に伝達される。
一方、撮像画像31における光の受光位置を規定する座標を示す情報が受光位置座標情報にあたる。光の受光位置を規定する座標は、撮像画像取得部30が算定しても良いし、撮像画像取得部30により取得された撮像画像31を用いて検査パターン作製部10が算定しても良い。このため、光の受光位置を規定する座標が、撮像画像取得部30により算定される場合には発光位置座標情報は照射部20から検査パターン作製部10に伝達され、光の受光位置を規定する座標が、検査パターン作製部10により算定される場合には、撮像画像31が撮像画像取得部30から検査パターン作製部10に伝達される。
ここで、上述したように表示画面21は所定のサイズで複数の領域に区分けされる。本実施形態では、撮像画像31も、表示画面21と同様に、図2の(B)に示されるように所定のサイズで複数の領域に区分けされる。図2の例では、表示画面21は横がx、縦がyに区分けされ、撮像画像31は横がX、縦がYに区分けされている。このため、上記の「撮像画像31における座標に対応する表示画面21における座標を算定する」とは、表示画面21において所定のサイズで区分けされた夫々の領域が、撮像画像31において所定のサイズで区分けされた複数の領域のうち、どの領域に対応するのかを求めることをいう。このような算定は、照射部20が表示画面21において1つの領域毎に発光させ、この時、取得された撮像画像31において受光した領域の座標を特定することにより行うことが可能である。なお、Xとxとは、同じ単位(ピクセル、mm等)であっても良いし、互いに異なる単位であっても良い。また、Yとyとも、同じ単位であっても良いし、互いに異なる単位であっても良い。
図1に戻り、検査パターン作製部10は、上述した算定結果に基づいて、互いに異なる色で彩色された複数の第1領域Fと、第1領域Fの夫々を彩色した複数の色のうち、少なくとも2つの色を混ぜた色である混色で彩色された複数の第2領域Sとを有し、複数の第1領域Fの夫々と複数の第2領域Sの夫々とが交互に並ぶ検査パターンを作製する。算定結果とは、撮像画像31における座標に対応する表示画面21における座標を算定した結果である。「互いに異なる色で彩色された複数の第1領域F」とは、表示画面21において、所定の領域に区分けされ、夫々の領域毎に互いに異なる色で彩色される表示物である。本実施形態では、第1領域Fは、夫々赤、緑、青で彩色される。したがって、「第1領域Fの夫々を彩色した複数の色」とは、赤、緑、青が相当する。なお、図面にあっては、理解を容易にするために、赤は「R」、緑は「G」、青は「B」を付している。
一方、「第1領域Fの夫々を彩色した複数の色のうち、少なくとも2つの色を混ぜた色である混色で彩色された複数の第2領域S」とは、表示画面21において、所定の領域に区分けされ、夫々の領域毎に第1領域Fの彩色に用いられた複数の色のうちの少なくとも2つを混ぜて形成された混色で彩色される表示物である。本実施形態では、理解を容易にするために、第2領域Sは第1領域Fの夫々を彩色した複数の色のうちの2つの色を混ぜた色で彩色される。
ここで、上述したように、本実施形態では第1領域Fは、夫々赤、緑、青で彩色される。したがって、本実施形態では複数の第2領域Sは夫々、赤と緑との混色である黄、緑と青との混色であるシアン、青と赤との混色であるマジェンタ(マゼンタ)で彩色される。なお、図面にあっては、理解を容易にするために、黄は「Y」、シアンは「C」、マジェンタは「M」を付している。
検査パターン作製部10は、このような赤、緑、及び青で夫々、彩色された第1領域Fと、黄、シアン、及びマジェンタで夫々、彩色された第2領域Sと、が交互に並ぶような検査パターンを作製する。このような検査パターンの一例が図3に示される。なお、検査パターンは、図3に示されるような赤、緑、青、黄、シアン、及びマジェンタを夫々、1回ずつ用いて彩色された第1領域F及び第2領域Sを有するものであっても良いし、いずれかの色を複数回用いて彩色された第1領域F及び第2領域Sを有するものであっても良い。
ここで、図4の(A)に示されるように、表示画面21において第1領域F及び第2領域Sの夫々が互いに同じ幅で平行に配置されるようなパターンを検査パターンとして用いた場合であっても、検査対象物2の表面の形状によっては撮像画像31に含まれるパターンは検査パターンと同じようなものになるとは限らない。具体的には、例えば検査対象物2の表面が複数の平面を有する場合や、表面が非平面である場合には、表面の形状に応じて、図4の(B)に示されるように、撮像画像31に含まれるパターンは両サイドが曲がったようなものとなることがある。
また、検査装置1により検査する検査対象物2の表面に欠陥がある場合には、周知のように照射部20により互いに平行な第1領域F及び第2領域Sを有する検査パターンを検査対象物2に照射した場合であっても、撮像画像31に含まれるパターンは平行でなくなる。このため、図4の(B)に示されるように、撮像画像31に含まれるパターンの両サイドが曲がったようなものになると撮像画像31に含まれるパターンは間隔が狭くなり互いの識別が困難となるため、検査対象物2の表面の欠陥の有無を容易に検査することができなくなる。
そこで、本検査装置1では、検査対象物2の表面形状に応じた検査パターンを作製する。具体的には、撮像画像31に含まれるパターンが図4の(C)に示されるような平行なものとなるように、検査パターンを作製する。特に、本実施形態では、検査パターン作製部10は、撮像画像31において第1領域F及び第2領域Sの幅が一定になるように検査パターンを作製する。このように検査パターンを作製することにより、検査対象物2の表面に欠陥がある場合には、撮像画像31における欠陥に応じたパターンの歪みを目立ち易くすることができる。したがって、適切に欠陥の有無を検査(判定)し易くすることが可能となる。なお、撮像画像31において、第1領域F及び第2領域Sが互いに交互に並ぶように形成された検査パターンは、図4の(D)に示されるように検査対象物2の表面の形状に応じて円弧状となったり、エッジ(図示せず)を有するものとなったりする。
ここで、検査パターン作製部10が検査パターンを作製する場合には、照射部20は、検査対象物2に対して区画された領域に対してドット状の光を照射するように構成すると良い。これにより、撮像画像31における座標に対応する表示画面21における座標の算定を精度良く行うことが可能となる。したがって、検査パターンを検査対象物2の表面に沿って適切に作製することができるので、欠陥の有無の検査を精度良く行うことが可能となる。
また、例えば、照射部20は、検査対象物2に対して線状の光を照射するように構成することも可能である。この場合には、ドット状に光を照射する場合に比べて広範囲に亘って光を照射することができるので、撮像画像31における座標に対応する表示画面21における座標の算定を迅速に行うことが可能となる。したがって、検査パターンの作製を迅速に行うことが可能となる。
或いは、照射部20は、検査対象物2に対して線状の光を照射した結果、検査パターン作製部10が検査パターンを作製することができない部分についてのみドット状の光を照射するように構成しても良い。このような構成とすることにより、線状の光の照射で検査パターンの作製を迅速に行いつつ、線状の光の照射で検査パターンの作製ができない部分をドット状の光の照射で補完して検査パターンを作製することが可能となる。
検査装置1は、このように作製した検査パターンに基づき検査対象物2の表面の欠陥の有無の検査を行う。係る場合、まず、姿勢変更制御部3が検査対象物2を検査に応じた姿勢に設定する(図1参照)。次に、照射部20は、検査パターンを予め設定された移動量だけスライド移動しながら検査対象物2の表面に照射する。検査パターンは検査パターン作製部10により作成され、照射部20に伝達される。「検査パターンを予め設定された移動量だけスライド移動」するとは、第1領域F及び第2領域Sが積層された方向に沿って予め設定された量だけスライド移動させることを意味する。このスライド移動は、移動量が予め設定された量(例えば1周期分)に達するまで行われる。本実施形態では、第1領域Fと第2領域Sとはスライド移動に沿う方向の長さが互いに等しく構成される。
撮像画像取得部30は照射部20により検査パターンが照射された検査対象物2の表面を撮像した撮像画像31を取得する。撮像画像取得部30は、照射部20から照射された検査パターンのうち、検査対象物2で反射された正反射成分のみを撮像した撮像画像31を取得する。このため、撮像画像取得部30は、検査対象物2を中心に照射部20と対向する位置に配置される。取得された撮像画像31は後述する判定部40に伝達される。ここで、上述したように照射部20は検査パターンをスライド移動しながら検査対象物2の表面に照射するが、撮像画像取得部30は検査パターンがスライド移動された毎に検査対象物2の表面が撮像された撮像画像31を取得する。
判定部40は、取得された撮像画像31を複数の色の夫々の色成分毎に分離した色成分画像を生成し、当該色成分画像に基づき検査対象物2の表面の欠陥の有無を判定する。取得された撮像画像31とは、撮像画像取得部30が取得し、撮像画像取得部30から伝達される撮像画像である。複数の色とは、第1領域Fの彩色に用いられる色であって、本実施形態では赤、緑、及び青である。夫々の色成分毎に分離するとは、赤、緑、及び青の成分毎に分離することを意味する。この色成分毎の分離は、赤成分(赤色成分)を分離するフィルタ(赤(赤色)の光のみを透過するフィルタ)、緑成分(緑色成分)を分離するフィルタ(緑(緑色)の光のみを透過するフィルタ)、及び青成分(青色成分)を分離するフィルタ(青(青色)の光のみを透過するフィルタ)の夫々に撮像画像31を通すことで可能である。このようなフィルタは公知であるので説明は省略する。判定部40は、このようにして、赤、緑、及び青の夫々の成分毎の色成分画像を生成する。
ここで、撮像画像31は、カラー画像のデータフォーマットが1画素あたり、赤、緑、青の3つの成分に分かれている(ただし、RGB形式である場合)。そこで、夫々の色成分を分離するフィルタに代えて、赤、緑、青の値を、輝度として抽出することで分離することも可能である。
更には、カラー画像のデータフォーマットをRGB形式から、HSV形式(H:色相、S:彩度、V:明度)に変換して、赤-黄-緑-シアン-青-マジェンタを0-360に割り当て、赤が含まれる色相(赤、黄、マジェンタ)の明度、緑が含まれる色相(緑、黄、シアン)の明度、青が含まれる色相(青、シアン、マジェンタ)の明度を夫々抽出することで分離することも可能である。
ここで、撮像画像31には、赤、緑、及び青の縞パターンと、赤、緑、及び青のうちの2色を混ぜた色である黄、シアン、及びマジェンタの縞パターンとが含まれる。したがって、赤、緑、及び青の夫々の成分毎の色成分画像は、撮像画像31における縞パターンの領域のうち、半分の領域にのみ夫々の色で彩色された縞パターンとなり、残りの半分の領域は黒の縞パターンとなる。
具体的には、赤の色成分画像では、撮像画像31における赤、黄、及びマジェンタの領域が赤の縞パターンとなり、それ以外の領域は黒の縞パターンとなる。緑の色成分画像では、撮像画像31における緑、黄、及びシアンの領域が緑の縞パターンとなり、それ以外の領域は黒の縞パターンとなる。青の色成分画像では、撮像画像31における青、シアン、及びマジェンタの領域が青の縞パターンとなり、それ以外の領域は黒の縞パターンとなる。
判定部40は、夫々の色成分画像について、当該色成分に係る色で彩色された領域を白で彩色する。すなわち、赤の色成分画像では、赤の縞パターンの領域を白に彩色する。したがって、赤の色成分画像は白の縞パターンと黒の縞パターンとを含む画像となる。また、緑の色成分画像では、緑の縞パターンの領域を白に彩色する。したがって、緑の色成分画像も白の縞パターンと黒の縞パターンとを含む画像となる。更に、青の色成分画像では、青の縞パターンの領域を白に彩色する。したがって、青の色成分画像も白の縞パターンと黒の縞パターンとを含む画像となる。図5には、このように生成された白の縞パターンと黒の縞パターンとを含む画像の一例が示される。
このように生成された白の縞パターンと黒の縞パターンとを含む画像に対して、判定部40は、白と黒との境界部分を検出し、この境界部分を描画した縞エッジ画像を生成する。図6には、図5の白の縞パターンと黒の縞パターンとを含む画像に基づき生成された縞エッジ画像が示される。ここで、撮像画像31は、照射部20により検査パターンが予め設定された量(例えば1周期分)だけスライド移動された数だけある。したがって、縞エッジ画像も撮像画像31と同じ数だけある。このような縞エッジ画像は、全ての白の縞パターンと黒の縞パターンとを含む画像毎に生成される。
判定部40は、生成された全ての縞エッジ画像を夫々重ね合わせて合成(積算)した画像である縞密度画像を生成する。図7には縞密度画像が示される。判定部40は、生成した縞密度画像において、予め設定された第1の閾値以下の輝度を有する部分があるか否か、第1の閾値よりも大きい、予め設定された第2の閾値以上の輝度を有する部分があるか否かを判定する。判定部40は、縞密度画像において、予め設定された第1の閾値以下の輝度を有する部分がある場合や、予め設定された第2の閾値以上の輝度を有する部分がある場合には検査対象物2の表面に欠陥があると判定する。
判定部40により、欠陥があると判定されなかった場合であって、更に当該検査対象物2の他の部分の欠陥の有無の検査を行う時には、検査が継続される。一方、欠陥があると判定された場合には、当該検査対象物2に対する欠陥の有無の検査が終了する。
なお、本検査装置1が上記のように検査対象物2の欠陥の有無を検査するにあたり検査パターンをスライド移動させながら検査対象物2に照射するが、検査対象物2の形状によっては、1周期分の撮像画像31の夫々において輝度にバラツキ(輝度バラツキ)が生じることがある。このような輝度バラツキを有する撮像画像31に基づき欠陥の有無を検査すると、輝度バラツキに起因して筋状の低輝度部分が生じ、欠陥部との識別が困難となる。そこで、複数の撮像画像31に亘る輝度バラツキが予め設定された範囲内に収まるように検査パターンの輝度を補正すると好適である。
補正は、下記の(1)-(3)のいずれかの方法により補正することが可能である。
(1)検査パターンにおける暗い部分の輝度値を大きくする
(2)検査パターンにおける明るい部分の輝度値を小さくする
(3)検査パターンにおける暗い部分の輝度値を大きくし、明るい部分の輝度値を小さくする
このように輝度を補正することで、複数の撮像画像31の夫々の平均輝度のバラツキを低減できる。したがって、上述した筋状の低輝度部分がなくなり、欠陥を適切に特定することが可能となる。
なお、このような補正は、検査装置1が検査対象物2の欠陥の有無の検査を行う前に、予め検査対象物2或いは検査対象物2と同様の形状のサンプルに検査パターンをスライド移動しながら照射して複数の撮像画像31を取得し、当該複数の撮像画像31の輝度に基づき検査パターンを補正すると好適である。このように検査パターンを補正することで、検査対象物2に適した検査パターンを作製することが可能となる。
これまで、検査パターン作製部10は、複数の第1領域Fの夫々と複数の第2領域Sの夫々とが交互に並ぶ検査パターンを作製するとして説明したが、以下では検査パターンの具体的な作製例について説明する。
図8は、検査パターン作製部10の機能部を示すブロックである。また、図9は、検査パターンの作製に係る説明図である。検査パターン作製部10は図8に示されるように、縞状パターン作製部11、彩色済縞状パターン作製部12、混色済縞状パターン作製部13を備えて構成することが可能である。
縞状パターン作製部11は、第1パターンP1と第2パターンP2とが交互に並ぶ縞状パターンであって、第1パターンP1及び第2パターンP2の並び方向に沿って予め設定された量だけずらした複数の色の数に応じた複数の縞状パターンを作製する。第1パターンP1とは、所定の明度以上の色で彩色されたパターンである。第2パターンP2とは、第1パターンP1を彩色する色の明度未満の色で彩色されたパターンである。図9の例では、理解を容易にするために、第1パターンP1は白で彩色され、第2パターンP2は黒で彩色されている。縞状パターンは、このような第1パターンP1と第2パターンP2とを交互に並べて作製される。また、縞状パターンは、上述した第1領域Fを彩色する色の数と同じ数だけ作製される。第1領域Fは、赤、緑、及び青で彩色されるので、縞状パターンは3つ作製される。夫々の縞状パターンは、第1パターンP1と第2パターンP2の並び方向、すなわち積層される方向に沿って、互いに予め設定された量だけ位置がずれた状態で作製される。
予め設定された量は、第1パターンP1の並び方向に沿う長さにおける、複数の色の数から1を減じた数を、当該色の数で除した値の量である。本実施形態では、第1パターンP1と第2パターンP2とが夫々積層される方向に沿う長さは、互いに等しく構成される。このため、第1パターンP1の並び方向に沿う長さとは、2つの第2パターンP2の間隔に相当する。複数の色とは、ここでは3色である。このため、複数の色の数から1を減じた数を、当該色の数で除した値の量とは、2/3である。したがって、縞状パターン作製部11により作製された3つの縞状パターンは、互いに第1パターンP1の並び方向に沿う長さの2/3だけシフトしたものとなる。図9の(A)には、これら3つの縞状パターンが示される。なお、図9の(A)では、予め設定された量を「縞シフト量」として示している。以下では理解を容易にするために、3つの縞状パターンを、夫々、第1縞状パターン、第2縞状パターン、第3縞状パターンとして説明する。
彩色済縞状パターン作製部12は、複数の縞状パターン毎に互いに異なる色で、夫々の第1パターンP1を彩色した彩色済縞状パターンを作製する。複数の縞状パターンとは、縞状パターン作製部11により作製された縞状パターンであって、本実施形態では第1縞状パターン、第2縞状パターン、第3縞状パターンである。したがって、第1縞状パターン、第2縞状パターン、第3縞状パターンは、夫々第1パターンP1が互いに異なる色で彩色される。本実施形態では、図9の(B)に示されるように、第1縞状パターンの第1パターンP1は赤で彩色され、第2縞状パターンの第1パターンP1は緑で彩色され、第3縞状パターンの第1パターンP1は青で彩色される。夫々の所定の色で彩色された縞状パターンは、彩色済縞状パターンに相当する。以下では理解を容易にするために、3つの彩色済縞状パターンを、夫々、第1彩色済縞状パターン、第2彩色済縞状パターン、第3彩色済縞状パターンとして説明する。
混色済縞状パターン作製部13は、夫々の彩色済縞状パターンを積層した場合において、第1パターンP1が互いに重複していない領域は当該第1パターンP1に彩色されている色で彩色した第1領域Fとし、第1パターンP1が互いに重複している領域は当該重複している第1パターンP1の夫々に彩色されている色を混ぜた色で彩色した第2領域Sとした混色済縞状パターンを検査パターンとして作製する。
夫々の彩色済縞状パターンとは、彩色済縞状パターン作製部12により作製された彩色済縞状パターンであって、本実施形態では第1彩色済縞状パターン、第2彩色済縞状パターン、第3彩色済縞状パターンである。これらの第1彩色済縞状パターン、第2彩色済縞状パターン、第3彩色済縞状パターンを仮想的に積層した場合に、1つの第1パターンP1と2つの第2パターンP2とが積層される領域と、2つの第1パターンP1と1つの第2パターンP2とが積層される領域とがある。係る場合において、1つの第1パターンP1と2つの第2パターンP2とが積層される領域は、当該1つの第1パターンP1が彩色されている色で彩色し、2つの第1パターンP1と1つの第2パターンP2とが積層される領域は、当該2つの第1パターンP1の夫々が彩色されている2つの色を混ぜた混色で彩色する。
具体的には、赤で彩色された第1パターンP1と2つの第2パターンP2とが積層される領域は赤で彩色し、緑で彩色された第1パターンP1と2つの第2パターンP2とが積層される領域は緑で彩色し、青で彩色された第1パターンP1と2つの第2パターンP2とが積層される領域は青で彩色する。一方、赤で彩色された第1パターンP1と緑で彩色された第1パターンP1と1つの第2パターンP2とが積層される領域は赤と緑とを混ぜた混色である黄で彩色し、緑で彩色された第1パターンP1と青で彩色された第1パターンP1と1つの第2パターンP2とが積層される領域は緑と青とを混ぜた混色であるシアンで彩色し、赤で彩色された第1パターンP1と青で彩色された第1パターンP1と1つの第2パターンP2とが積層される領域は赤と青とを混ぜた混色であるマジェンタで彩色する。このように形成された混色済縞状パターンが図9の(C)に示され、この混色済縞状パターンが上述した検査パターンに相当する。なお、図9の例では、理解を容易にするために、縞状パターン、彩色済縞状パターン、及び混色済縞状パターンは、夫々の第1パターンP1及び第2パターンP2の境界が直線で示されているが、上述したように検査対象物2の表面の形状に応じて曲線で形成することも可能である。
また、このような検査パターンを照射部20がスライド移動しながら検査対象物2に照射するとして説明したが、検査パターンがスライド移動するように縞状パターン、彩色済縞状パターン、及び混色済縞状パターンを予め設定された移動量に応じて移動させ、この移動毎に検査パターンを作製しても良い。
次に、判定部40による色成分画像の生成について具体例を挙げて説明する。図10は、判定部40のよる色成分画像に生成についての説明図である。図10の(A)には、撮像画像取得部30により取得された撮像画像31が示される。上述したように、撮像画像31には、検査パターンで用いられた複数の色が含まれる。この撮像画像31に対して、赤の色成分をフィルタリングした場合には、(B)に示されるように、撮像画像31における赤、黄、及びマジェンタの領域が赤の縞パターンとなり、それ以外の領域は黒の縞パターンとなる。同様に、緑の色成分をフィルタリングした場合には、(C)に示されるように、撮像画像31における緑、黄、及びシアンの領域が緑の縞パターンとなり、それ以外の領域は黒の縞パターンとなる。更に、青の色成分をフィルタリングした場合には、(D)に示されるように、撮像画像31における青、シアン、及びマジェンタの領域が青の縞パターンとなり、それ以外の領域は黒の縞パターンとなる。このようにして夫々の色成分画像が生成される。
以上のように、縞状パターンの第1パターンP1を、赤、緑、青で彩色すると共に、夫々の色を用いて混色して作製した検査パターンを検査対象物2の照射し、更には赤、緑、青の夫々の色成分毎に撮像画像31を分離することで、1回の検査パターンの照射及び撮影により、3つの縞状パターンを同時に取得することが可能となる。したがって、検査パターンの照射及び撮影に要する時間を1/3に短縮することが可能となる。
〔その他の実施形態〕
上記実施形態では、第2領域Sは、第1領域Fの夫々を彩色した複数の色のうち、2つの色を混ぜた色で彩色されるとして説明したが、第2領域Sは、第1領域Fの夫々を彩色した複数の色のうち、3つ以上の色を混ぜた色で彩色することも可能である。具体的には、赤、緑、青を用いる場合には、2色を混ぜた黄、シアン、マジェンタと共に、3色を混ぜた白を用いるように第1領域Fと第2領域Sとを構成することも可能である。
上記実施形態では、第1領域Fと第2領域Sとは、スライド移動に沿う方向の長さが互いに等しいとして説明したが、第1領域Fと第2領域Sとは、スライド移動に沿う方向の長さが互いに異なるように構成することも可能である。
上記実施形態では、第1領域Fは、赤、緑、及び青で彩色され、第2領域Sは、黄、シアン、及びマジェンタで彩色されるとして説明したが、第1領域Fを、黄、シアン、及びマジェンタで彩色し、第2領域Sを、赤、緑、及び青で彩色するように構成することも可能である。もちろん、第1領域Fは、赤、緑、青、黄、シアン、及びマジェンタ以外の色で彩色することも可能である。係る場合でも、第2領域Sは第1領域Fを彩色した色を混ぜた色で彩色すると良い。また、第1領域Fの色は、検査対象物2に彩色されている色の色成分と同じ色成分を有する色で彩色することも可能である。
上記実施形態では、検査パターン作製部10が、縞状パターン作製部11、彩色済縞状パターン作製部12、混色済縞状パターン作製部13を備えて構成されるとして説明したが、検査パターン作製部10は、縞状パターン作製部11、彩色済縞状パターン作製部12、混色済縞状パターン作製部13とは異なる機能部を備えて構成することも可能である。
上記実施形態では、縞状パターン作製部11は、第1パターンP1と第2パターンP2とが交互に並ぶ縞状パターンであって、第1パターンP1及び第2パターンP2の並び方向に沿って、第1パターンP1の並び方向に沿う長さにおける、複数の色の数から1を減じた数を、当該色の数で除した値の量だけずらした複数の色の数に応じた複数の縞状パターンを作製するとして説明したが、第1パターンP1と第2パターンP2とは、第1パターンP1及び第2パターンP2の並び方向に沿って、第1パターンP1の並び方向に沿う長さにおける、複数の色の数から1を減じた数を、当該色の数で除した値とは異なる量だけずらした場合であっても、本発明を適用することは可能である。係る場合であっても、夫々の色成分画像を生成し、生成された色成分画像に応じた縞密度画像を用いて判定することで検査対象物2の表面の欠陥の有無の検査時間を短縮することが可能である。
また、上記実施形態では、複数の第1領域Fの夫々と複数の第2領域Sの夫々とが交互に並ぶとして説明したが、複数の第1領域Fの夫々と複数の第2領域Sの夫々とが交互に並ばずに、ランダムに並べて構成することも可能である。係る場合であっても、夫々の色成分画像を生成し、生成された色成分画像に応じた縞密度画像を用いて判定することで検査対象物2の表面の欠陥の有無の検査時間を短縮することが可能である。
上記実施形態では、縞状パターン作製部11は、第1パターンP1と第2パターンP2とが交互に並ぶ縞状パターンを、複数の色の数に応じた複数の縞状パターンを作製するとして説明したが、縞状パターンの数は複数の色とは異なる数であっても良い。係る場合、混色済縞状パターン作製部13は、1つの混色済縞状パターンにおいて、混色することなくそのままの色を用いて彩色した第1パターンP1の範囲を拡大して構成すると良い。すなわち、1つの1つの混色済縞状パターンにおいて、第2領域Sよりも第1領域Fが広くても良い。係る場合でも、夫々の色成分画像を生成し、生成された色成分画像に応じた縞密度画像を用いて判定することで検査対象物2の表面の欠陥の有無の検査時間を短縮することが可能である。
上記実施形態では、第1領域Fを彩色する色が、3つの色(赤、緑、青)であるとして説明したが、2つの色であっても良い。係る場合でも、2つの色を混ぜた混色で第2領域Sを彩色した検査パターンを用いることで、3つの色を用いた場合と同様に、検査対象物2の表面の欠陥の有無の検査時間を短縮することが可能である。更には、2つの色であっても、第1パターンP1と第2パターンP2とは、第1パターンP1及び第2パターンP2の並び方向に沿って、第1パターンP1の並び方向に沿う長さにおける、複数の色の数から1を減じた数を、当該色の数で除した値とは異なる量だけずらしても、複数の第1領域Fの夫々と複数の第2領域Sの夫々とをランダムに並べても、検査対象物2の表面の欠陥の有無の検査時間を短縮することが可能である。
本発明は、検査対象物の表面の欠陥の有無を検査する検査装置に用いることが可能である。
1:検査装置
2:検査対象物
10:検査パターン作製部
11:縞状パターン作製部
12:彩色済縞状パターン作製部
13:混色済縞状パターン作製部
20:照射部
30:撮像画像取得部
31:撮像画像
40:判定部
F:第1領域
S:第2領域

Claims (3)

  1. 互いに異なる色で彩色された複数の第1領域と、前記第1領域の夫々を彩色した複数の色のうち、少なくとも2つの色を混ぜた色である混色で彩色された複数の第2領域とを有し、前記複数の第1領域の夫々と前記複数の第2領域の夫々とが交互に並ぶ検査パターンを作製する検査パターン作製部と、
    前記検査パターンを予め設定された移動量だけスライド移動しながら検査対象物の表面に照射する照射部と、
    前記照射部により前記検査パターンが照射された前記検査対象物の表面を撮像した撮像画像を取得する撮像画像取得部と、
    取得された前記撮像画像を前記複数の色の夫々の色成分毎に分離した色成分画像を生成し、当該色成分画像に基づき前記検査対象物の表面の欠陥の有無を判定する判定部と、
    を備え
    前記検査パターン作製部は、
    第1パターンと第2パターンとが交互に並ぶ縞状パターンであって、前記第1パターン及び前記第2パターンの並び方向に沿って予め設定された量だけずらした前記複数の色の数に応じた複数の縞状パターンを作製する縞状パターン作製部と、
    前記複数の縞状パターン毎に前記互いに異なる色で、夫々の前記第1パターンを彩色した彩色済縞状パターンを作製する彩色済縞状パターン作製部と、
    夫々の前記彩色済縞状パターンを積層した場合において、前記第1パターンが互いに重複していない領域は当該第1パターンに彩色されている色で彩色した前記第1領域とし、前記第1パターンが互いに重複している領域は当該重複している第1パターンの夫々に彩色されている色を混ぜた色で彩色した前記第2領域とした混色済縞状パターンを前記検査パターンとして作製する混色済縞状パターン作製部と、を備え、
    前記予め設定された量は、前記第1パターンの前記並び方向に沿う長さにおける、前記複数の色の数から1を減じた数を、当該色の数で除した値の量である検査装置。
  2. 前記第1領域と前記第2領域とは、前記スライド移動に沿う方向の長さが互いに等しい請求項1に記載の検査装置。
  3. 前記複数の色は、赤、緑、及び青であり、
    前記混色は、黄、シアン、及びマジェンタである請求項1又は2に記載の検査装置。
JP2018240895A 2018-12-25 2018-12-25 検査装置 Active JP7314508B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018240895A JP7314508B2 (ja) 2018-12-25 2018-12-25 検査装置
US16/725,073 US10887501B2 (en) 2018-12-25 2019-12-23 Inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018240895A JP7314508B2 (ja) 2018-12-25 2018-12-25 検査装置

Publications (2)

Publication Number Publication Date
JP2020101486A JP2020101486A (ja) 2020-07-02
JP7314508B2 true JP7314508B2 (ja) 2023-07-26

Family

ID=71097989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018240895A Active JP7314508B2 (ja) 2018-12-25 2018-12-25 検査装置

Country Status (2)

Country Link
US (1) US10887501B2 (ja)
JP (1) JP7314508B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190684B2 (en) * 2018-03-30 2021-11-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
DE102019208474A1 (de) * 2019-06-11 2020-12-17 Micro-Epsilon Messtechnik Gmbh & Co. Kg Verfahren und System zum optischen Vermessen eines Objekts mit spiegelnder und/oder teilspiegelnder Oberfläche sowie entsprechende Messanordnung

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002323454A (ja) 2001-04-26 2002-11-08 Asahi Glass Co Ltd 被検物の欠点検査方法および検査装置
JP2006227652A (ja) 2006-05-19 2006-08-31 Ckd Corp フィルタ格子縞板、三次元計測装置及び照明手段
JP2011226814A (ja) 2010-04-15 2011-11-10 Fujitsu Ltd 表面欠陥検査装置及び表面欠陥検査方法
JP2012083965A (ja) 2010-10-12 2012-04-26 Glory Ltd 硬貨処理装置及び硬貨処理方法
JP2013113657A (ja) 2011-11-28 2013-06-10 Fujitsu Ltd 表面欠陥検査方法及び表面欠陥検査装置
JP2017194380A (ja) 2016-04-21 2017-10-26 アイシン精機株式会社 検査装置、記憶媒体、及びプログラム
JP2018021873A (ja) 2016-08-05 2018-02-08 アイシン精機株式会社 表面検査装置、及び表面検査方法
JP2019053020A (ja) 2017-09-12 2019-04-04 富士通株式会社 検査方法、装置、システム及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309222A (en) * 1991-07-16 1994-05-03 Mitsubishi Denki Kabushiki Kaisha Surface undulation inspection apparatus
JP7003502B2 (ja) 2017-09-04 2022-01-20 株式会社アイシン 検査装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002323454A (ja) 2001-04-26 2002-11-08 Asahi Glass Co Ltd 被検物の欠点検査方法および検査装置
JP2006227652A (ja) 2006-05-19 2006-08-31 Ckd Corp フィルタ格子縞板、三次元計測装置及び照明手段
JP2011226814A (ja) 2010-04-15 2011-11-10 Fujitsu Ltd 表面欠陥検査装置及び表面欠陥検査方法
JP2012083965A (ja) 2010-10-12 2012-04-26 Glory Ltd 硬貨処理装置及び硬貨処理方法
JP2013113657A (ja) 2011-11-28 2013-06-10 Fujitsu Ltd 表面欠陥検査方法及び表面欠陥検査装置
JP2017194380A (ja) 2016-04-21 2017-10-26 アイシン精機株式会社 検査装置、記憶媒体、及びプログラム
JP2018021873A (ja) 2016-08-05 2018-02-08 アイシン精機株式会社 表面検査装置、及び表面検査方法
JP2019053020A (ja) 2017-09-12 2019-04-04 富士通株式会社 検査方法、装置、システム及びプログラム

Also Published As

Publication number Publication date
JP2020101486A (ja) 2020-07-02
US20200204714A1 (en) 2020-06-25
US10887501B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
JP6433268B2 (ja) 検査システムおよび検査方法
KR101773791B1 (ko) 검사대상 물체의 표면 검사 방법 및 장치
US10796428B2 (en) Inspection system and inspection method
EP2801816B1 (de) Verfahren und Vorrichtung zur optischen Analyse eines PCBs
CN105372259B (zh) 测量装置、基板检查装置以及其控制方法、存储媒体
JP7314508B2 (ja) 検査装置
JP3723057B2 (ja) 三次元計測装置
TWI620929B (zh) 檢測待測目標物的檢測裝置與方法
JP4808072B2 (ja) フィルタ格子縞板、三次元計測装置及び照明手段
US10410336B2 (en) Inspection device, storage medium, and program
JP6402036B2 (ja) 当たり面積率の測定方法
JP2012117858A (ja) クロストーク補正係数算出方法およびクロストーク補正係数算出装置およびこれを用いた三次元表面形状測定装置
JP7003502B2 (ja) 検査装置
JP2018021873A (ja) 表面検査装置、及び表面検査方法
JP7124569B2 (ja) 検査装置
JP2014153123A (ja) 帯状ゴム部材の形状測定方法及び形状測定装置
US20160320603A1 (en) Method for generating a contrast image of an object structure and apparatuses relating thereto
JP2012202771A (ja) 計測対象の3次元表面形状算出方法及び3次元表面形状計測装置
JP7294026B2 (ja) 縞パターン画像決定方法
JP2018105631A (ja) 金属帯表面欠陥の検査装置および検査方法
JP2022049269A (ja) 三次元形状計測方法および三次元形状計測装置
JP4918800B2 (ja) 外観検査装置
CN118071848A (zh) 基于相机颜色响应与偏振成像的二值条纹编码方法和系统
JP2004165013A (ja) 蛍光体検査方法及び装置
JP2004085348A (ja) 3色パターンの検査装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7314508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150