WO2021019610A1 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
WO2021019610A1
WO2021019610A1 PCT/JP2019/029471 JP2019029471W WO2021019610A1 WO 2021019610 A1 WO2021019610 A1 WO 2021019610A1 JP 2019029471 W JP2019029471 W JP 2019029471W WO 2021019610 A1 WO2021019610 A1 WO 2021019610A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
inspection
image
substrate
color
Prior art date
Application number
PCT/JP2019/029471
Other languages
English (en)
French (fr)
Inventor
智也 藤本
貴紘 小林
雄哉 稲浦
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to CN201980098594.5A priority Critical patent/CN114128418B/zh
Priority to JP2021536455A priority patent/JP7301973B2/ja
Priority to US17/629,757 priority patent/US20220252524A1/en
Priority to EP19939279.6A priority patent/EP4007480A4/en
Priority to PCT/JP2019/029471 priority patent/WO2021019610A1/ja
Publication of WO2021019610A1 publication Critical patent/WO2021019610A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95684Patterns showing highly reflecting parts, e.g. metallic elements
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8845Multiple wavelengths of illumination or detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646Soldering

Definitions

  • FIG. 1 is a configuration diagram showing an outline of the configuration of the component mounting machine 10 of the present embodiment.
  • FIG. 2 is a configuration diagram showing an outline of the configuration of the mark camera 50.
  • FIG. 3 is a view A of the epi-illumination light source 53.
  • FIG. 4 is a B view of the side emitting light source 55.
  • FIG. 5 is a block diagram showing a configuration related to control of the component mounting machine 10.
  • the left-right direction in FIG. 1 is the X-axis direction
  • the front (front) rear (back) direction is the Y-axis direction
  • the vertical direction is the Z-axis direction.
  • the CPU 61 sets the monochromatic image having the maximum contrast C among the three monochromatic images as the inspection image (step S230), executes the mounting inspection using the set inspection image (step S240), and obtains the present. End the process.
  • the image processing apparatus creates a histogram of the luminance value in each of the three monochromatic images, and the combination of the most frequent luminance values in each of the created histograms is used as the substrate color. It may be set. In this way, since the ratio of the substrate in the image is usually large, the substrate color can be easily specified by obtaining the combination of the most frequent luminance values in each histogram of the three monochrome images.
  • the second inspection apparatus of the present disclosure acquires three monochromatic images of R, G, and B of the substrate, and in the acquired three monochromatic images, the electrode portion of the component and the periphery of the electrode having different reflectance from the electrode portion.
  • the contrast in a predetermined region including at least a portion is calculated.
  • the second inspection device sets the monochromatic image of the color component having the highest contrast among the three monochromatic images as the inspection image.
  • the image captured by the optimum light source for distinguishing the electrode portion and the peripheral portion of the electrode can be used as an inspection image for the mounting inspection of the component, so that the inspection accuracy can be further improved.
  • the circuit wiring of the substrate is formed of copper foil, and the component is mounted on the substrate so that the electrode portion comes into contact with the solder applied to the circuit wiring.
  • the image processing apparatus calculates the contrast in a predetermined region including the electrode portion of the component and the solder and / or the circuit wiring as the electrode peripheral portion in each of the acquired three monochromatic images. May be. By doing so, it is possible to obtain a monochromatic image suitable for distinguishing the electrode portion of the component from the solder S and the circuit wiring (copper foil).

Landscapes

  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

検査装置は、部品が実装された基板の検査用画像を用いて当該部品の実装検査を行なうものであり、撮像装置と、画像処理装置とを備える。撮像装置は、基板のR,G,Bの3つの単色画像を取得する。画像処理装置は、撮像装置により取得された3つの単色画像の各輝度値により基板色を設定し、設定した基板色の補色を算出し、算出した補色の各色成分のうち輝度値が最も大きい色成分を決定し、3つの単色画像のうち決定した色成分の単色画像を検査用画像に設定する。

Description

検査装置
 本明細書は、検査装置について開示する。
 従来より、回路基板を撮像した画像を処理する画像処理装置が知られている。例えば、特許文献1には、回路基板の所定位置に設定された基板マークのマーキング位置を含む所定の撮像範囲を照明し、この撮像範囲を撮像した画像の基板面と基板マークのマーキング位置との輝度差を検出することにより、マーキング位置に基板マークがマーキングされているかを認識する基板マーク認識装置が開示されている。この基板マーク認識装置は、カメラと、カメラから入力される撮像画像を画像処理する画像処理部と、複数の補色光照明光源と、各補色光照明光源のそれぞれの点灯状態を制御する照明制御部とを備える。画像処理部は、各補色光照明光源を個別に点灯させてカメラによって撮像した撮像画像を入力し、入力した撮像画像の基板マークと基板面との輝度差を演算する。そして、画像処理部は、複数の補色光照明光源のうち撮像画像の基板マークと基板面との間に最大の輝度差が得られた補色光照明光源を選択して照明する。
特開平11-40983号公報
 上述した特許文献1には、基板マークのマーキング位置を含む撮像範囲を補色光照明光源により照明しながらカメラによって撮像し、撮像画像の基板面と基板マークのマーキング位置との輝度差を検出することについては記載されているものの、部品が実装された基板の検査用画像を用いて当該部品の実装検査を精度良く行なうための手法については何ら言及されてない。
 本開示は、部品が実装された基板の検査用画像を用いた当該部品の実装検査を精度よく行なうことを主目的とする。
 本開示は、上述の主目的を達成するために以下の手段を採った。
 本開示の第1の検査装置は、
 部品が実装された基板の検査用画像を用いて該部品の実装検査を行なう検査装置であって、
 前記基板のR,G,Bの3つの単色画像を取得する撮像装置と、
 前記取得された3つの単色画像の各輝度値により基板色を設定し、該設定した基板色の補色を算出し、該算出した補色の各色成分のうち輝度値が最も大きい色成分を決定し、前記取得された3つの単色画像のうち前記決定した色成分の単色画像を前記検査用画像に設定する画像処理装置と、
 を備えることを要旨とする。
 この本開示の第1の検査装置は、基板のR,G,Bの3つの単色画像を取得し、取得した3つの単色画像の各輝度値により基板色を設定する。続いて、第1の検査装置は、設定した基板色の補色を算出し、算出した補色の各色成分のうち輝度値が最も大きい色成分を決定する。そして、第1の検査装置は、3つの単色画像のうち決定した色成分の単色画像を検査用画像に設定する。これにより、基板色を認識して最適な光源で撮像した画像を部品の実装検査に使用することができるため、検査精度をより向上させることができる。
 本開示の第2の検査装置は、
 部品が実装された基板の検査用画像を用いて該部品の実装検査を行なう検査装置であって、
 前記基板のR,G,Bの3つの単色画像を取得する撮像装置と、
 前記取得された3つの単色画像において前記部品が有する電極部と該電極部と反射率が異なる電極周辺部とを少なくとも含む所定領域内におけるコントラストをそれぞれ算出し、前記3つの単色画像のうち前記コントラストが最も大きい色成分の単色画像を前記検査用画像に設定する画像処理装置と、
 を備えることを要旨とする。
 この本開示の第2の検査装置は、基板のR,G,Bの3つの単色画像を取得し、取得した3つの単色画像において部品が有する電極部と当該電極部と反射率が異なる電極周辺部とを少なくとも含む所定領域内におけるコントラストをそれぞれ算出する。そして、第2の検査装置は、3つの単色画像のうちコントラストが最も大きい色成分の単色画像を検査用画像に設定する。これにより、電極部と電極周辺部とを区別するのに最適な光源で撮像した画像を検査用画像として部品の実装検査に使用することができるため、検査精度をより向上させることができる。
本実施形態の部品実装機10の構成の概略を示す構成図である。 マークカメラ50の構成の概略を示す構成図である。 落射光源53のA視図である。 側射光源55のB視図である。 部品実装機10の制御に関わる構成を示すブロック図である。 実装検査処理の一例を示すフローチャートである。 各色成分のヒストグラムの一例を示す説明図である。 他の実施形態における実装検査処理の一例を示すフローチャートである。 撮像画像中の検査領域の一例を示す説明図である。 撮像画像中の検査領域の他の例を示す説明図である。 コントラスト計算範囲を示す説明図である。 各色のコントラスト比較を行なうための説明図である。
 次に、本開示の発明を実施するための形態について説明する。
 図1は、本実施形態の部品実装機10の構成の概略を示す構成図である。図2は、マークカメラ50の構成の概略を示す構成図である。図3は、落射光源53のA視図である。図4は、側射光源55のB視図である。図5は、部品実装機10の制御に関わる構成を示すブロック図である。なお、図1の左右方向がX軸方向であり、前(手前)後(奥)方向がY軸方向であり、上下方向がZ軸方向である。
 部品実装機10は、図1に示すように、基板80を搬送する基板搬送装置22と、吸着ノズル45で部品を吸着して基板80に実装するヘッド40と、ヘッド40をX軸方向およびY軸方向に移動させるヘッド移動装置30と、基板80を撮像するマークカメラ50と、ヘッド40に部品を供給するフィーダ70と、を備える。これらは、基台11上に設置される筐体12に収容されている。また、部品実装機10は、これらの他に、ヘッド40に吸着した部品を撮像するパーツカメラ23や、交換用の吸着ノズル45を収容するノズルステーション24なども備えている。部品実装機10は、基板搬送方向(X軸方向)に複数台並べて配置されて、生産ラインを構成する。
 基板搬送装置22は、基台11に設置されている。基板搬送装置22は、Y軸方向に間隔を空けて配置される一対のコンベアレールを備え、一対のコンベアレールを駆動することにより基板80を図1の左から右(基板搬送方向)へと搬送する。
 ヘッド移動装置30は、図1に示すように、一対のX軸ガイドレール31と、X軸スライダ32と、X軸アクチュエータ33(図5参照)と、一対のY軸ガイドレール35と、Y軸スライダ36と、Y軸アクチュエータ37(図5参照)と、を備える。一対のY軸ガイドレール35は、Y軸方向に互いに平行に延在するように筐体12の上段に設置される。Y軸スライダ36は、一対のY軸ガイドレール35に架け渡され、Y軸アクチュエータ37の駆動によりY軸ガイドレール35に沿ってY軸方向に移動する。一対のX軸ガイドレール31は、X軸方向に互いに平行に延在するようにY軸スライダ36の前面に設置される。X軸スライダ32は、一対のX軸ガイドレール31に架け渡され、X軸アクチュエータ33の駆動によりX軸ガイドレール31に沿ってX軸方向に移動する。X軸スライダ32にはヘッド40が取り付けられており、ヘッド移動装置30は、X軸スライダ32とY軸スライダ36とを移動させることで、ヘッド40をX軸方向とY軸方向とに移動させる。
 ヘッド40は、吸着ノズル45をZ軸(上下)方向に移動させるZ軸アクチュエータ41(図3参照)と、吸着ノズル45をZ軸周りに回転させるθ軸アクチュエータ42(図3参照)とを備える。ヘッド40は、吸着ノズル45の吸引口に負圧源を連通させることで、吸引口に負圧を作用させて部品を吸着することができる。また、ヘッド40は、吸着ノズル45の吸引口に正圧源を連通させることで、吸引口に正圧を作用させて部品の吸着を解除することができる。なお、ヘッド40は、単一の吸着ノズル45を備えたヘッドであってもよいし、円柱状のヘッド本体の外周に沿って等間隔に複数の吸着ノズル45を備えたロータリヘッドであってもよい。また、部品を保持するための部材として、吸着ノズル45に代えて、メカニカルチャックや電磁石を用いるものとしてもよい。
 パーツカメラ23は、基台11上に設置されている。パーツカメラ23は、吸着ノズル45に吸着させた部品がパーツカメラ23の上方を通過する際、当該部品を下方から撮像して撮像画像を生成し、生成した撮像画像を制御装置60へ出力する。
 マークカメラ50は、X軸スライダ32に取り付けられ、ヘッド移動装置30によってヘッド40と共にX軸方向とY軸方向とに移動する。マークカメラ50は、撮像対象物を上方から撮像して撮像画像を生成し、生成した撮像画像を制御装置60へ出力する。マークカメラ50の撮像対象物としては、フィーダ70により送り出されるテープ72に保持されている部品、基板80に付されたマーク、基板80に実装された後の部品、基板80の回路配線(銅箔)に印刷された半田Sなどが挙げられる。
 マークカメラ50は、図2に示すように、照明装置51と、カメラ本体58とを備える。照明装置51は、ハウジング52と、落射光源53と、ハーフミラー54と、側射光源55とを有する。ハウジング52は、下面に開口する円筒状の部材であり、カメラ本体58の下方に取り付けられている。落射光源53は、ハウジング52の内側の側面に設けられている。落射光源53は、図3に示すように、R(レッド)の単色光を発光する赤色LED53aとG(グリーン)の単色光を発光する緑色LED53bとB(ブルー)の単色光を発光する青色LED53cとが四角形状の支持板53d上にそれぞれ同数又はほぼ同数配置されたものである。各LED53a~53cは、中央に発光素子が配置された四角形状のベースに、その発光素子を覆うように半球面のレンズが取り付けられたものである。ハーフミラー54は、ハウジング52の内側に斜めになるように設けられている。ハーフミラー54は、落射光源53の各LED53a,53b,53cからの水平方向の光を下方に反射する。また、ハーフミラー54は、下方からの光をカメラ本体58に向けて透過する。側射光源55は、ハウジング52の下方開口付近に水平になるように設けられている。側射光源55は、図4に示すように、赤色LED55aと緑色LED55bと青色LED55cとがリング状の支持板55d上にそれぞれ同数又はほぼ同数配置されたものであり、下向きに光を照射する。各LED55a~55cは、中央に発光素子が配置された四角形状のベースに、その発光素子を覆うように半球面のレンズが取り付けられたものである。ハウジング52のうち側射光源55の下方には、拡散板56が設けられている。落射光源53及び側射光源55から発せられた光は、最終的にはこの拡散板56で拡散されたあと対象物に照射される。カメラ本体58は、受光した光に基づいて単色の撮像画像(単色画像)を生成する単色カメラである。このカメラ本体58は、図示しないレンズなどの光学系及びモノクロ撮像素子(例えばモノクロCCD)を備えている。落射光源53及び側射光源55から発せられ対象物で反射した後の光がハーフミラー54を透過してカメラ本体58に到達すると、カメラ本体58はこの光を受光して単色画像を生成する。
 なお、R,G,Bの各色の波長領域は、特に限定されるものではないが、例えば、Rを590-780nm、Gを490-570nm、Bを400-490nmとしてもよい。
 フィーダ70は、テープ72が巻回されたリール71と、リール71からテープ72を巻きほどいて部品供給位置74aへ送る図示しないテープ送り機構と、を備える。テープ72の表面には、テープ72の長手方向に沿って等間隔に複数の収容凹部73が設けられている。各収容凹部73には、部品が収容されている。これらの部品は、テープ72の表面を覆うフィルムによって保護されている。テープ72は、部品供給位置74aにおいてフィルムが剥がされて部品が露出した状態となる。部品供給位置74aに送り出された部品は、吸着ノズル45によって吸着される。
 制御装置60は、図5に示すように、CPU61を中心としたマイクロプロセッサとして構成されており、CPU61の他に、ROM62と、HDD63と、RAM64と、入出力インタフェース65とを備える。これらは、バス66を介して電気的に接続されている。制御装置60には、マークカメラ50からの画像信号やパーツカメラ23からの画像信号などが入出力インタフェース65を介して入力されている。一方、制御装置60からは、基板搬送装置22への制御信号やX軸アクチュエータ33への駆動信号、Y軸アクチュエータ37への駆動信号、Z軸アクチュエータ41への駆動信号、θ軸アクチュエータ42への駆動信号、パーツカメラ23への制御信号、マークカメラ50への制御信号、フィーダ70への制御信号などが入出力インタフェース65を介して出力されている。
 次に、こうして構成された本実施形態の部品実装機10の動作について説明する。まず、図示しない管理装置から受信した生産スケジュールに従って部品実装機10が基板80に対して行なう部品実装処理について説明する。部品実装機10の制御装置60のCPU61は、まず、実装対象の部品を供給するフィーダ70の部品供給位置74aの上方に吸着ノズル45が来るようにヘッド移動装置30を制御する。続いて、CPU61は、吸着ノズル45に部品が吸着されるようヘッド40を制御する吸着動作を行なう。吸着動作は、具体的には、吸着ノズル45の先端(吸引口)が部品に当接するまで吸着ノズル45が下降するようZ軸アクチュエータ41を駆動制御し、吸着ノズル45の吸引口に負圧を作用させることにより行なう。そして、CPU61は、吸着ノズル45に吸着された部品がパーツカメラ23の上方へ来るようヘッド移動装置30を制御した後、当該部品を撮像するようパーツカメラ23を制御し、得られた撮像画像に基づいて部品の姿勢を認識する。次に、CPU61は、認識した部品の姿勢に基づいて吸着ずれ量を算出し、算出した吸着ずれ量に基づいて実装位置を補正すると共に吸着ノズル45に吸着された部品が基板80の実装位置の上方に来るようにヘッド移動装置30を制御する。そして、CPU61は、部品が実装位置に実装されるようヘッド40を制御する実装動作を行なう。実装動作は、具体的には、吸着ノズル45に吸着された部品が基板80に当接するまで吸着ノズル45が下降するようZ軸アクチュエータ41を駆動制御し、吸着ノズル45の吸引口に正圧を作用させることにより行なう。CPU61は、こうした部品実装処理を繰り返し実行することにより、基板80上に予め定められた数・種類の部品を実装する。本実施形態では、複数台の部品実装機10が基板搬送方向に並んで生産ラインが構成される。このため、基板80が生産ラインの最上流の部品実装機10から最下流の部品実装機10まで搬送されると、基板80上には、予め定められた全ての部品が実装されるようになっている。
 次に、部品実装機10が部品実装処理を行なった後に行なう部品の実装検査について説明する。ここで、マークカメラ50と制御装置60とが本開示の検査装置に該当する。図6は、制御装置60のCPU61により実行される実装検査処理の一例を示すフローチャートである。CPU61は、まず、落射光源53および側射光源55のうち使用する光源の各LEDを個別に点灯しそれぞれの照明において基板80をマークカメラ50で撮像してR,G,Bの3つの単色画像を取得する(ステップS100)。続いて、CPU61は、3つの単色画像から各色成分のヒストグラムを作成する(ステップS110)。図7は、各色成分のヒストグラムの一例を示す説明図である。各色成分のヒストグラムは、図示するように、R,G,Bの輝度値を256階調で表わしたときに、輝度値0~255の各出現回数を示したものである。そして、CPU61は、各色成分のヒストグラムにおいて、最頻(出現回数の最も多い)の輝度値の組合せを基板色(R,G,B)に設定する(ステップS120)。図7の例では、R=100,G=170,B=150が基板色(R,G,B)に設定される。
 CPU61は、基板色(R,G,B)を設定すると、基板色(R,G,B)の補色(R’,G’,B’)を計算する(ステップS130)。ここで、補色(R’,G’,B’)は、基板色(R,G,B)の各色成分のうち最大のものをMaxとし、最小のものをMinとしたとき、次式(1)~(3)で示される。例えば、基板色(R,G,B)がR=100,G=170,B=150である場合、Max=170,Min=100であるから、補色(R’,G’,B’)は、R’=170,G’=100,B’=120となる。
 R'=(Max+Min)-R  …(1)
 G'=(Max+Min)-G    …(2)
 B'=(Max+Min)-B    …(3)
 CPU61は、補色(R’,G’,B’)を計算すると、補色(R’,G’,B’)の各色成分のうち値が最も大きい色成分を決定し(ステップS140)、ステップS100で取得した3つの単色画像のうち決定した色成分の単色画像を検査用画像に設定する(ステップS150)。例えば、補色(R’,G’,B’)がR’=170,G’=100,B’=120である場合、値が最大の色成分はR(レッド)であるから、3つの単色画像のうち赤色LEDの照明光で撮像した単色画像が検査用画像として設定される。これにより、検査用画像は、R,G,Bの3つの単色画像のうち基板色の補色に最も近い色の照明で撮像した単色画像が設定されることになる。CPU61は、こうして検査用画像を設定すると、設定した検査用画像を用いて実装検査を実行して(ステップS160)、本処理を終了する。実装検査は、例えば、検査用画像において部品を認識する画像処理を行ない、部品の認識が成功したときには部品が正常に実装されたと判定し、部品の認識が失敗したときには部品が正常に実装されなかったと判定することにより行なわれてもよい。また、実装検査は、部品の認識結果から基板80に対する部品の実装ずれ量(位置ずれ量や回転ずれ量)を算出し、算出した実装ずれ量が許容範囲内であるときには部品が正常に実装されたと判定し、算出した実装ずれ量が許容範囲を超えているときには部品が正常に実装されなかったと判定することにより行なわれてもよい。
 このように、CPU61は、照明装置51のR,G,Bの各LEDを個別に点灯させてそれぞれ撮像した3つの単色画像のうち基板色の補色に最も近い色の単色光で撮像した単色画像を検査用画像に設定する。そして、CPU61は、設定した検査用画像において基板80に実装された部品を認識する画像処理を行なうことにより当該部品の実装検査を行なう。基板色と補色関係にある色のLEDを点灯させて撮像した単色画像は、他の色のLEDを点灯させて撮像したものに比して、基板80の撮像部分の輝度が低下するため、基板80と当該基板80に実装された部品とのコントラストが増大する。これにより、部品とその背景(基板)とを区別し易くすることができ、部品の認識精度を高めることができる。
 ここで、実施形態の主要な要素と発明の開示の欄に記載した発明の主要な要素との対応関係について説明する。即ち、マークカメラ50が撮像装置に相当し、制御装置60が画像処理装置に相当する。
 なお、本発明は上述した実施形態に何ら限定されることはなく、本開示の発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
 例えば、上述した実施形態では、CPU61は、図6に例示する実装検査処理を実行したが、これに代えて、図8に例示する実装検査処理を実行してもよい。図8に示す実装検査処理では、CPU61は、まず、本実施形態における部品検査処理のステップS100と同様に、各色LEDを個別に点灯させてそれぞれ撮像した3つの単色画像を取得する(ステップS200)。次に、CPU61は、3つの単色画像においてそれぞれ同一の検査領域を設定する(ステップS210)。ステップS210の処理は、例えば、基板80に実装された部品のうち検査の対象となる検査対象部品の種類と寸法とを取得し、取得した種類と寸法とにより特定される部品の外形に対して所定のマージンを加えた領域を検査領域に設定することにより行なうことができる。例えば、図9に示すように、検査対象部品がボディ部81aの両側に電極部81bが設けられた矩形状のチップ部品81である場合、検査領域は、当該チップ部品81の外形にマージンを加えた矩形範囲となる。また、例えば、図9に示すように、検査対象部品がボディ部82aの両側にそれぞれ複数の電極部82b(リードピン)が設けられたリード部品82(例えばSOP等)である場合、当該リード部品82の電極部82bを包含する矩形外形にマージンを加えた矩形範囲となる。なお、所定のマージンは、予め定められた値であってもよいし、部品のサイズに対して所定の係数(例えば1.1や1.2)を乗じた値であってもよい。また、ステップS210の処理は、例えば、基板80に実装された部品のうち検査の対象となる検査対象部品が有する電極部とその周辺部とを含む領域をオペレータ等から取得し、取得した領域を検査領域に設定することにより行なうこともできる。例えば、図10に示すように、検査対象部品がチップ部品81である場合、検査領域は、当該チップ部品81の2つの電極部81bのうちそれぞれ異なる電極部81bとその周辺部である半田Sや銅箔とを含む2つの矩形範囲となる。また、例えば、図10に示すように、検査対象部品がリード部品82である場合、検査領域は、当該リード部品82が有する複数の電極部82bのうちそれぞれ異なる電極部82bとその周辺部である半田Sや銅箔とを含む複数の矩形範囲となる。
 CPU61は、各単色画像の検査領域を設定すると、各単色画像において検査領域内(電極部とその周辺の領域)のコントラストCを計算する(ステップS220)。例えば、検査領域における画像中の輝度値の最大値をLmaxとし、最小値をLminとすると、コントラストCは、次式(4)または次式(5)により計算することができる。図11に示すように、半田Sや部品のボディ部は光の反射率が低いため、部品が実装された基板を撮像した単色画像中の半田S部分や部品のボディ部分の輝度値は、低い値に集中する傾向がある。一方、部品の電極は銀色で光の反射率が高いため、電極部分の輝度値は、高い値に集中する傾向がある。検査領域は、上述したように部品の電極部とその背景となる電極周辺部とを囲むように設定されため、検査領域においてコントラストCが高い単色画像は、電極部を背景(電極周辺部)と区別し易い画像であり、検査領域においてコントラストCが低い単色画像は、電極部を背景(電極周辺部)と区別し難い画像と言える。
 C=(Lmax-Lmin)/(Lmax+Lmin)  …(4)
 C=Lmax/Lmin                  …(5)
 そして、CPU61は、3つの単色画像のうちコントラストCが最大の単色画像を検査用画像に設定し(ステップS230)、設定した検査用画像を用いて実装検査を実行して(ステップS240)、本処理を終了する。
 ここで、基板80の表面には銅箔からなる回路配線が形成され、部品は、基板80の回路配線上に塗布された半田Sに電極部が接触するように実装される。このため、図10の拡大部分に示すように、回路配線(銅箔)に印刷された半田Sに印刷ムラがあり銅箔が露出している場合、撮像画像における電極部82bの背景として銅箔が写ることがある。銅箔は、一般に赤褐色の光沢を有し、Rの照明光に対しては高い反射率を示す一方、GやBの照明光に対しては低い反射率を示す。これに対して、電極部は、銀色であり、R,G,Bのいずれの色の照明光に対しても高い反射率を示す。このため、撮像画像中の電極部の背景に銅箔が写っている場合、図12に示すように、Rの単色光による照明で撮像した撮像画像では、検査領域内における輝度値が高い値に集中するため、コントラストCが低下し、電極部を銅箔から明確に区別することが困難となる。すなわち、部品の認識精度が悪化してしまう。これに対して、GやBの単色光による照明で撮像した撮像画像では、検査領域のうち銅箔部分の輝度値が低下するため、コントラストCが高くなり、電極部を銅箔から明確に区別することが可能となる。これにより、部品の認識精度をより高めることができる。
 上述した実施形態では、撮像装置としてのマークカメラ50は、R,G,Bの3色の光源(LED53a~53c,55a~55c)を有する照明装置51と、モノクロ撮像素子を含むカメラ本体58と、を備えるものとした。しかし、撮像装置は、白色光源を有する照明装置と、カラー撮像素子を含むカメラ本体と、を備えるカラーカメラとして構成されてもよい。この場合、撮像装置は、カメラ本体で生成されたカラー画像をR,G,Bの各チャネルに分離することで3つの単色画像を取得することができる。
 上述した実施形態では、CPU61は、基板80を撮像して得られるR,G,Bの3つの単色画像のうちいずれかの単色画像を選択して検査用画像に設定し、検査用画像において部品(電極部)を認識する画像処理を行なうことにより当該部品の実装検査を行うものとした。しかし、CPU61は、基板に付されたフィデューシャルマークやブロックスキップマークを撮像して得られるR,G,Bの3つの単色画像のうちいずれかの単色画像を選択して検査用画像に設定し、検査用画像においてフィデューシャルマークやブロックスキップマークを認識する画像処理を行なうものとしてもよい。なお、フィデューシャルマークは、例えば、基板の対角の2箇所の角に設けられるマークであり、基板の姿勢(位置と傾き)を補正すること等に用いられる。また、ブロックスキップマークは、基板が多数個の子基板(基板ブロック)を取れるように形成されている場合、基板ブロックが良好ブロックか不良ブロックかを示すためのマークである。部品実装機10は、良好ブロックにのみ部品を実装し、不良ブロックには部品の実装を行なわない。
 上述した実施形態では、部品実装機10が検査装置を兼ねるものとしたが、生産ラインにおいて、部品実装機10よりも基板搬送方向における下流側に、専用の検査装置を備えるものとしてもよい。
 以上説明したように、本開示の第1の検査装置は、部品が実装された基板の検査用画像を用いて該部品の実装検査を行なう検査装置であって、前記基板のR,G,Bの3つの単色画像を取得する撮像装置と、前記取得された3つの単色画像の各輝度値により基板色を設定し、該設定した基板色の補色を算出し、該算出した補色の各色成分のうち輝度値が最も大きい色成分を決定し、前記取得された3つの単色画像のうち前記決定した色成分の単色画像を前記検査用画像に設定する画像処理装置と、を備えることを要旨とする。
 この本開示の第1の検査装置は、基板のR,G,Bの3つの単色画像を取得し、取得した3つの単色画像の各輝度値により基板色を設定する。続いて、第1の検査装置は、設定した基板色の補色を算出し、算出した補色の各色成分のうち輝度値が最も大きい色成分を決定する。そして、第1の検査装置は、3つの単色画像のうち決定した色成分の単色画像を検査用画像に設定する。これにより、基板色を認識して最適な光源で撮像した画像を部品の実装検査に使用することができるため、検査精度をより向上させることができる。
 こうした本開示の第1の検査装置において、前記画像処理装置は、前記3つの単色画像において輝度値のヒストグラムをそれぞれ作成し、該作成した各ヒストグラムにおいて最頻の輝度値の組合せを前記基板色に設定するものとしてもよい。こうすれば、通常は画像中の基板の占める割合が多いため、3つの単色画像の各ヒストグラムにおいて最頻の輝度値の組合せを求めることで、容易に基板色を特定することができる。
 本開示の第2の検査装置は、部品が実装された基板の検査用画像を用いて該部品の実装検査を行なう検査装置であって、前記基板のR,G,Bの3つの単色画像を取得する撮像装置と、前記取得された3つの単色画像において前記部品が有する電極部と該電極部と反射率が異なる電極周辺部とを少なくとも含む所定領域内におけるコントラストをそれぞれ算出し、前記3つの単色画像のうち前記コントラストが最も大きい色成分の単色画像を前記検査用画像に設定する画像処理装置と、を備えることを要旨とする。
 この本開示の第2の検査装置は、基板のR,G,Bの3つの単色画像を取得し、取得した3つの単色画像において部品が有する電極部と当該電極部と反射率が異なる電極周辺部とを少なくとも含む所定領域内におけるコントラストをそれぞれ算出する。そして、第2の検査装置は、3つの単色画像のうちコントラストが最も大きい色成分の単色画像を検査用画像に設定する。これにより、電極部と電極周辺部とを区別するのに最適な光源で撮像した画像を検査用画像として部品の実装検査に使用することができるため、検査精度をより向上させることができる。
 こうした本開示の第2の検査装置において、前記画像処理装置は、前記部品の寸法を入力し、該入力した部品の寸法に基づいて前記所定領域として前記部品の外形よりも一回り大きな領域を設定して該領域内におけるコントラストを算出するものとしてもよい。こうすれば、部品の寸法を入力することにより、容易に部品の電極を含む領域を設定して、当該電極を認識するのに適した単色画像を得ることができる。
 あるいは、本開示の第2の検査装置において、前記画像処理装置は、前記所定領域として前記部品が有する複数の電極部のうちそれぞれ異なる電極部と電極周辺部とを含む複数の領域を設定し、領域ごとに前記検査用画像を設定するものとしてもよい。こうすれば、部品が有する複数の電極のそれぞれにおいて電極を認識するのに適した単色画像を得ることができる。
 また、本開示の第2の検査装置において、前記基板は、銅箔により回路配線が形成され、前記部品は、前記回路配線に塗布された半田に前記電極部が接触するように前記基板に実装され、前記画像処理装置は、前記取得された3つの単色画像において前記部品の電極部と前記電極周辺部としての前記半田および/または前記回路配線とを含む所定領域内におけるコントラストをそれぞれ算出するものとしてもよい。こうすれば、部品の電極部を半田Sや回路配線(銅箔)と区別するのに適した単色画像を得ることができる。
 また、本開示の第1または第2の検査装置において、R,G,Bの3つの単色光を前記基板に対して独立して照射可能な照明装置を備え、前記撮像装置は、前記照明装置から独立して照射される前記3つの単色光でそれぞれ前記基板を撮像することにより前記3つの単色画像を取得する単色カメラであるものとしてもよい。
 本発明は、検査装置や部品実装機の製造産業などに利用可能である。
 10 部品実装機、11 筐体、22 基板搬送装置、23 パーツカメラ、24 ノズルステーション、30 ヘッド移動装置、31 X軸ガイドレール、32 X軸スライダ、33 X軸アクチュエータ、35 Y軸ガイドレール、36 Y軸スライダ、37 Y軸アクチュエータ、40 ヘッド、41 Z軸アクチュエータ、42 θ軸アクチュエータ、45 吸着ノズル、50 マークカメラ、51 照明装置、52 ハウジング、53 落射光源、53a 赤色LED、53b 緑色LED、53c 青色LED、53d 支持板、54 ハーフミラー、55 側射光源、55a 赤色LED、55b 緑色LED、55c 青色LED、55d 支持板、56 拡散板、58 カメラ本体、60 制御装置、61 CPU、62 ROM、63 HDD、64 RAM、65 入出力インタフェース、66 バス、70 フィーダ、71 リール、72 テープ、73 収容凹部、74a 部品供給位置、80 基板、81,82 部品、81a,82a ボディ、81b,82b 電極、S 半田。

Claims (7)

  1.  部品が実装された基板の検査用画像を用いて該部品の実装検査を行なう検査装置であって、
     前記基板のR,G,Bの3つの単色画像を取得する撮像装置と、
     前記取得された3つの単色画像の各輝度値により基板色を設定し、該設定した基板色の補色を算出し、該算出した補色の各色成分のうち輝度値が最も大きい色成分を決定し、前記取得された3つの単色画像のうち前記決定した色成分の単色画像を前記検査用画像に設定する画像処理装置と、
     を備える検査装置。
  2.  請求項1に記載の検査装置であって、
     前記画像処理装置は、前記3つの単色画像において輝度値のヒストグラムをそれぞれ作成し、該作成した各ヒストグラムにおいて最頻の輝度値の組合せを前記基板色に設定する、
     検査装置。
  3.  部品が実装された基板の検査用画像を用いて該部品の実装検査を行なう検査装置であって、
     前記基板のR,G,Bの3つの単色画像を取得する撮像装置と、
     前記取得された3つの単色画像において前記部品が有する電極部と該電極部と反射率が異なる電極周辺部とを少なくとも含む所定領域内におけるコントラストをそれぞれ算出し、前記3つの単色画像のうち前記コントラストが最も大きい色成分の単色画像を前記検査用画像に設定する画像処理装置と、
     を備える検査装置。
  4.  請求項3に記載の検査装置であって、
     前記画像処理装置は、前記部品の寸法を入力し、該入力した部品の寸法に基づいて前記所定領域として前記部品の外形よりも一回り大きな領域を設定して該領域内におけるコントラストを算出する、
     検査装置。
  5.  請求項3に記載の検査装置であって、
     前記画像処理装置は、前記所定領域として前記部品が有する複数の電極部のうちそれぞれ異なる電極部と電極周辺部とを含む複数の領域を設定し、領域ごとに前記検査用画像を設定する、
     検査装置。
  6.  請求項3ないし5いずれか1項に記載の検査装置であって、
     前記基板は、銅箔により回路配線が形成され、
     前記部品は、前記回路配線に塗布された半田に前記電極部が接触するように前記基板に実装され、
     前記画像処理装置は、前記取得された3つの単色画像において前記部品の電極部と前記電極周辺部としての前記半田および/または前記回路配線とを含む所定領域内におけるコントラストをそれぞれ算出する、
     検査装置。
  7.  請求項1ないし6いずれか1項に記載の検査装置であって、
     R,G,Bの3つの単色光を前記基板に対して独立して照射可能な照明装置を備え、
     前記撮像装置は、前記照明装置から独立して照射される前記3つの単色光でそれぞれ前記基板を撮像することにより前記3つの単色画像を取得する単色カメラである、
     検査装置。
PCT/JP2019/029471 2019-07-26 2019-07-26 検査装置 WO2021019610A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980098594.5A CN114128418B (zh) 2019-07-26 2019-07-26 检查装置
JP2021536455A JP7301973B2 (ja) 2019-07-26 2019-07-26 検査装置
US17/629,757 US20220252524A1 (en) 2019-07-26 2019-07-26 Inspection device
EP19939279.6A EP4007480A4 (en) 2019-07-26 2019-07-26 INSPECTION DEVICE
PCT/JP2019/029471 WO2021019610A1 (ja) 2019-07-26 2019-07-26 検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/029471 WO2021019610A1 (ja) 2019-07-26 2019-07-26 検査装置

Publications (1)

Publication Number Publication Date
WO2021019610A1 true WO2021019610A1 (ja) 2021-02-04

Family

ID=74229868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029471 WO2021019610A1 (ja) 2019-07-26 2019-07-26 検査装置

Country Status (5)

Country Link
US (1) US20220252524A1 (ja)
EP (1) EP4007480A4 (ja)
JP (1) JP7301973B2 (ja)
CN (1) CN114128418B (ja)
WO (1) WO2021019610A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009410A1 (ja) * 2022-07-05 2024-01-11 株式会社Fuji 部品有無判定方法および画像処理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6486090A (en) * 1987-09-29 1989-03-30 Matsushita Electric Ind Co Ltd Inspection method for existence of substance
JPH1140983A (ja) 1997-07-18 1999-02-12 Matsushita Electric Ind Co Ltd 基板マーク認識装置
JPH11312898A (ja) * 1998-02-27 1999-11-09 Matsushita Electric Ind Co Ltd 電子部品実装装置
JP2010014530A (ja) * 2008-07-03 2010-01-21 Omron Corp 基板外観検査方法および基板外観検査装置
JP2016130663A (ja) * 2015-01-13 2016-07-21 オムロン株式会社 検査装置及び検査装置の制御方法
JP2017181188A (ja) * 2016-03-29 2017-10-05 Ckd株式会社 基板検査装置
JP2018138871A (ja) * 2017-02-24 2018-09-06 株式会社レクザム 基板検査装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02231510A (ja) * 1989-03-02 1990-09-13 Omron Tateisi Electron Co 基板検査装置
KR20030026839A (ko) * 2001-09-26 2003-04-03 다이닛뽕스크린 세이조오 가부시키가이샤 화상처리를 이용한 검사대상물의 표면검사방법 및 그 장치
JP2004053477A (ja) * 2002-07-22 2004-02-19 Dainippon Printing Co Ltd 色ムラ検査方法及び装置
JP2007198773A (ja) * 2006-01-24 2007-08-09 Omron Corp 基板検査方法および基板検査装置
JP2008292398A (ja) * 2007-05-28 2008-12-04 Omron Corp 部品電極の浮き不良の検査方法および基板検査装置
JP4389982B2 (ja) * 2007-08-09 2009-12-24 オムロン株式会社 基板外観検査装置
CN100566540C (zh) * 2007-10-17 2009-12-02 太阳油墨(苏州)有限公司 印刷电路板的外观检查方法
JP2014135425A (ja) * 2013-01-11 2014-07-24 Djtech Co Ltd プリント基板の品質管理システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6486090A (en) * 1987-09-29 1989-03-30 Matsushita Electric Ind Co Ltd Inspection method for existence of substance
JPH1140983A (ja) 1997-07-18 1999-02-12 Matsushita Electric Ind Co Ltd 基板マーク認識装置
JPH11312898A (ja) * 1998-02-27 1999-11-09 Matsushita Electric Ind Co Ltd 電子部品実装装置
JP2010014530A (ja) * 2008-07-03 2010-01-21 Omron Corp 基板外観検査方法および基板外観検査装置
JP2016130663A (ja) * 2015-01-13 2016-07-21 オムロン株式会社 検査装置及び検査装置の制御方法
JP2017181188A (ja) * 2016-03-29 2017-10-05 Ckd株式会社 基板検査装置
JP2018138871A (ja) * 2017-02-24 2018-09-06 株式会社レクザム 基板検査装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009410A1 (ja) * 2022-07-05 2024-01-11 株式会社Fuji 部品有無判定方法および画像処理システム

Also Published As

Publication number Publication date
JP7301973B2 (ja) 2023-07-03
US20220252524A1 (en) 2022-08-11
EP4007480A1 (en) 2022-06-01
CN114128418B (zh) 2023-10-20
JPWO2021019610A1 (ja) 2021-02-04
EP4007480A4 (en) 2022-08-03
CN114128418A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
JP2023118927A (ja) 対基板作業システム
CN111434103B (zh) 拍摄单元及元件安装机
WO2021019610A1 (ja) 検査装置
JP3597611B2 (ja) 実装機におけるマーク認識用照明装置
JP7365487B2 (ja) 画像補正方法、撮像装置および検査装置
WO2022044075A1 (ja) 画像処理装置および実装装置、画像処理方法
CN113966650B (zh) 照明单元
JP6728501B2 (ja) 画像処理システムおよび部品実装機
EP3767938B1 (en) Image-capturing unit and component-mounting device
WO2018055663A1 (ja) 撮像装置及び実装装置
WO2023276059A1 (ja) 部品実装機
JP7271738B2 (ja) 撮像ユニット
WO2024004074A1 (ja) 実装機
WO2024009410A1 (ja) 部品有無判定方法および画像処理システム
TW202409554A (zh) 圖像取得裝置、基板檢查裝置、圖像取得方法以及基板檢查方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19939279

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536455

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019939279

Country of ref document: EP

Effective date: 20220228