JP6211798B2 - 基板上の異物検査方法および異物検査装置 - Google Patents

基板上の異物検査方法および異物検査装置 Download PDF

Info

Publication number
JP6211798B2
JP6211798B2 JP2013105275A JP2013105275A JP6211798B2 JP 6211798 B2 JP6211798 B2 JP 6211798B2 JP 2013105275 A JP2013105275 A JP 2013105275A JP 2013105275 A JP2013105275 A JP 2013105275A JP 6211798 B2 JP6211798 B2 JP 6211798B2
Authority
JP
Japan
Prior art keywords
solder
substrate
image data
luminance
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013105275A
Other languages
English (en)
Other versions
JP2014228274A (ja
Inventor
健 森上
健 森上
貴紘 小林
貴紘 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd filed Critical Fuji Machine Manufacturing Co Ltd
Priority to JP2013105275A priority Critical patent/JP6211798B2/ja
Publication of JP2014228274A publication Critical patent/JP2014228274A/ja
Application granted granted Critical
Publication of JP6211798B2 publication Critical patent/JP6211798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、基板生産工程内で基板上の異物の有無を検査する異物検査方法および異物検査装置に関する。
多数の電子部品が実装された基板を生産する装置として、半田印刷装置、電子部品実装装置、リフロー装置、基板検査装置などがあり、これらを基板搬送装置で連結して基板生産ラインを構築する場合が多い。このうち基板検査装置は、基板生産ラインの最後に配置されて完成基板の良否を検査するだけでなく、適宜生産ラインの途中に配置されて生産途中の基板状態を確認する用途にも用いられる。検査方法としては、基板を撮影して得た画像データに所定の演算処理を施して、電子部品の実装位置や姿勢などの実装状態や、基板上の異物の有無などを判定する画像判定法が主流になっている。
画像判定法で異物の有無を判定する場合に、基板表面の印刷物により判定精度が低下しあるいは誤判定を招くおそれがある。印刷物は、後のメンテナンス用として、基板の素地色と対照的な輝度値の高い色でシルクスクリーン印刷されている場合が多い。例えば、緑色や茶色の基板上に明るい白色や黄色で部品配置を示す枠や部品番号、部品略号などが印刷される場合が多い。このような印刷物は、目視の補助に過ぎないため、性能面の必要性から厳密な位置精度を確保している配線パターンやペースト状半田が塗布された半田領域と比較して位置精度が低い。つまり、基板個体ごとに印刷物の位置が微妙に変化することがあり、また濃淡のばらつきが生じる場合もある。これら印刷物の位置の変化や濃淡のばらつきは、異物として判定されるおそれを含んでいる。
本願出願人は、この種の画像データを用いた基板検査方法で判定精度を向上する一技術例を特許文献1に開示している。特許文献1の基板上の異物検査方法は、基準となる良品基板および検査対象となる検査基板の両方の画像データで印刷物が位置変化し得る領域に中間色を上書き補正している。これは、印刷物の輝度値を小さくする減衰処理に相当する。これにより、検査基板で印刷物が位置変化しても、良品基板と比較したときの輝度値の差分が小さくなり、誤判定を防止する効果が生じる。
特開2012−112669号公報
ところで、特許文献1の技術例では、印刷領域で誤判定を防止することに加えて、印刷領域以外の基板素地領域で輝度値の減衰処理を行わずに異物の有無を高精度に判定できる点は好ましい。しかしながら、ペースト状半田が塗布された半田領域に異物があると、高精度に判定することが難しい。ペースト状半田は、一般的に白銀色でその輝度値は比較的高く、印刷領域の輝度値との差が小さい。このため、半田領域上に輝度値の高い異物がある場合に、半田領域および異物の両方に対して減衰処理を行ってしまい、異物と周囲との輝度差が小さくなって異物を判定できなくなる問題が発生した。また、半田領域上に輝度値の低い異物がある場合に、半田領域のみに減衰処理を行って異物との輝度差を小さくしてしまい、異物を判定できなくなるおそれもある。
特に、半田領域上に異物がある状態でその上から誤って電子部品を実装してしまうと、正しい電子回路を構成できなくなる。さらに、後で異物を見つけても、これを除去する手直し作業は困難を極める。これに対し、基板素地領域に異物がある場合には、後で異物を除去して正しい電子回路に手直しすることが比較的容易である。これらを考慮すると、半田領域において異物の有無を正確に判定することが特に重要である。
本発明は、上記背景技術の問題点に鑑みてなされたものであり、基板の画像データ上でペースト状半田が塗布された半田領域を特定して減衰処理対象領域から除外することで、半田領域上の異物を高精度に判定し、品質向上に寄与できる基板上の異物検査方法および異物検査装置を提供することを解決すべき課題とする。
上記課題を解決する請求項1に係る基板上の異物検査方法の発明は、輝度値の高い印刷領域およびペースト状半田が塗布された半田領域を有する基板を検査対象とし、前記基板を撮像して前記輝度値を含む画像データを取得する撮像部と、前記画像データに演算処理を施すことにより前記基板上の異物の有無を判定する画像データ演算部とを備える基板検査装置を用いた基板上の異物検査方法であって、基準となる良品基板の既知の前記半田領域を撮像した前記画像データを用い、既知の前記半田領域内の複数の画素の前記輝度値に基づいて、前記基板上の前記半田領域の輝度範囲である半田輝度範囲を推定する半田輝度学習工程と、前記良品基板の前記画像データに関して、前記輝度値が所定値以上の高輝度領域から前記半田輝度範囲に該当する前記半田領域を除外して減衰処理対象領域を求め、所定の減衰処理則に基づき前記減衰処理対象領域の前記輝度値を減衰させて良品画像データを演算する良品減衰処理工程と、前記検査対象となる検査基板の前記画像データに関して、前記輝度値が前記所定値以上の前記高輝度領域から前記半田輝度範囲に該当する前記半田領域を除外して減衰処理対象領域を求め、前記減衰処理則に基づき前記減衰処理対象領域の前記輝度値を減衰させて検査画像データを演算する検査減衰処理工程と、前記良品画像データと前記検査画像データとを比較して得られる差分に基づいて、前記検査基板上の前記異物の有無を判定する差分判定工程と、を有する。
これによれば、良品基板および検査基板の両方の画像データに関して高輝度領域から半田輝度範囲に該当する領域を除外し、換言すれば、半田領域を減衰処理対象領域から除外して印刷領域のみに減衰処理を行い、その後に両画像データの差分に基づいて異物の有無を判定する。したがって、検査基板の半田領域上に輝度値の高い異物がある場合に、半田領域および異物に対して減衰処理を行わず、輝度差が小さくとも異物を高精度に判定できる。また、半田領域上に輝度値の低い異物がある場合にも、半田領域および異物に対して減衰処理を行わず、異物を高精度に判定できる。さらに、検査基板の基板素地領域にある異物に対しても減衰処理を行わないので高精度に判定でき、検査基板の印刷領域の位置変化に対しては減衰処理が効果的に作用して誤判定を防止できる。これらの総合的な効果で、基板の品質向上に寄与できる。換言すると、本発明は、印刷物の位置変化による誤判定の防止と、半田領域上の異物判定精度の向上とを両立させている。
請求項2に係る発明は、輝度値の高い印刷領域およびペースト状半田が塗布された半田領域を有する基板を検査対象とし、前記基板を撮像して前記輝度値を含む画像データを取得する撮像部と、前記画像データに演算処理を施すことにより前記基板上の異物の有無を判定する画像データ演算部とを備える基板検査装置を用いた基板上の異物検査方法であって、基準となる良品基板の既知の前記半田領域を撮像した前記画像データを用い、既知の前記半田領域内の複数の画素の前記輝度値に基づいて、前記基板上の前記半田領域の輝度範囲である半田輝度範囲を推定する半田輝度学習工程と、前記良品基板の前記画像データに関して、前記輝度値が前記半田輝度範囲に該当する前記半田領域を良品画像データとする良品抽出工程と、前記検査対象となる検査基板の前記画像データに関して、前記良品画像データに対応する領域を検査画像データとする検査抽出工程と、前記良品画像データと前記検査画像データとを比較して得られる差分に基づいて、前記検査基板上の前記異物の有無を判定する差分判定工程と、を有する。
さらに、請求項1および請求項2によれば、良品基板に塗布されたペースト状半田の輝度値を実測するので、半田輝度範囲を狭く限定しつつ推定精度を向上できる。したがって、半田領域を印刷領域や基板素地領域と明瞭に区分でき、ひいては異物の有無の判定精度が向上する。
請求項3に係る発明は、請求項1または2において前記半田輝度学習工程は、既知の前記半田領域内の複数の前記画素の赤色輝度値、緑色輝度値、および青色輝度値に基づいて、前記赤色輝度値、前記緑色輝度値、および前記青色輝度値を座標軸とした三次元空間の球領域で表される前記半田輝度範囲を作成するクラスタ作成手法を含む。
これによれば、光の3原色の輝度値を各座標軸とする三次元空間で半田輝度範囲を推定するので、半田輝度範囲をさらに一層狭く限定できる。したがって、半田領域の白黒輝度値の範囲が印刷領域のそれに重なる場合であっても、三次元空間では両領域を明瞭に区分でき、ひいては、異物の有無の判定精度がさらに一層向上する。
請求項4に係る発明は、請求項1〜3のいずれか一項において、前記半田領域のうち既に電子部品の装着された領域を検査範囲から除外する。
これによれば、既に電子部品が装着されて検査の重要度が低下した半田領域を検査範囲から除外できる。したがって、良品画像データと検査画像データとを比較したときに、電子部品の本体や端子によって一部が隠された半田領域の形状が微妙に異なっていても、誤って異物と判定するおそれが生じない。
請求項5に係る基板上の異物検査装置の発明は、輝度値の高い印刷領域およびペースト状半田が塗布された半田領域を有する基板を検査対象とし、前記基板を撮像して前記輝度値を含む画像データを取得する撮像部と、前記画像データに演算処理を施すことにより前記基板上の異物の有無を判定する画像データ演算部とを備えた基板上の異物検査装置であって、基準となる良品基板の既知の前記半田領域を撮像した前記画像データを用い、既知の前記半田領域内の複数の画素の前記輝度値に基づいて、前記基板上の前記半田領域の輝度範囲である半田輝度範囲を推定する半田輝度学習手段と、前記良品基板の前記画像データに関して、前記輝度値が所定値以上の高輝度領域から前記半田輝度範囲に該当する前記半田領域を除外して減衰処理対象領域を求め、所定の減衰処理則に基づき前記減衰処理対象領域の前記輝度値を減衰させて良品画像データを演算する良品減衰処理手段と、前記検査対象となる検査基板の前記画像データに関して、前記輝度値が前記所定値以上の前記高輝度領域から前記半田輝度範囲に該当する前記半田領域を除外して減衰処理対象領域を求め、前記減衰処理則に基づき前記減衰処理対象領域の前記輝度値を減衰させて検査画像データを演算する検査減衰処理手段と、前記良品画像データと前記検査画像データとを比較して得られる差分に基づいて、前記検査基板上の前記異物の有無を判定する差分判定手段と、を有する。
上記のように、本発明は基板上の異物検査装置としても実施できる。請求項5の基板上の異物検査装置の発明では、請求項1の基板上の異物検査方法と同様の効果が生じる。
第1および第2実施形態の基板上の異物検査方法に用いる基板検査装置の構成の概要を説明するブロック図である。 図1中の撮像部の構成を模式的に説明する図である。 第1実施形態の基板上の異物検査方法のメインフローチャートを説明する図である。 半田輝度学習工程の詳細な工程内訳を説明したフローチャートの図である。 半田輝度範囲が2個の分類クラスタ(三次元空間の球領域)で表された場合を例示説明する図である。 良品減衰処理工程の詳細な工程内訳を説明したフローチャートの図である。 検査減衰処理工程の詳細な工程内訳を説明したフローチャートの図である。 模式的な良品基板の画像データを例示した図である。 図8の画像データに良品減衰処理工程を実施して得られる良品画像データを例示した図である。 模式的な検査基板の画像データを例示した図であり、半田領域上に異物がある場合を示している。 図10の画像データに検査減衰処理工程を実施して得られる検査画像データを例示した図である。 従来技術を用いて図8の画像データから得られる良品画像データを例示した図である。 従来技術を用いて図10の画像データから得られる検査画像データを例示した図である。 第2実施形態の基板上の異物検査方法のメインフローチャートを説明する図である。
本発明の第1実施形態の基板上の異物検査方法について、図1〜図13を参考にして説明する。まず、第1実施形態の基板上の異物検査方法に用いる基板検査装置1について説明する。図1は、基板検査装置1の構成の概要を説明するブロック図である。図示されるように、基板検査装置1は、撮像部2と画像データ演算部7とを備えている。画像データ演算部7は、CPU71、プログラムメモリ72、およびデータメモリ73を備えている。CPU71は、プログラムメモリ72に記憶されているプログラムによって動作し、データメモリ73に記憶されている各種情報を参照しながら、後述の各工程を制御および実行する。また、撮像部2で取得された画像データは、データメモリ73に保存されて記憶される。
図2は、図1中の撮像部2の構成を模式的に説明する図である。撮像部2は、カメラ3を基板Kに対して相対移動させ、基板Kを撮影して輝度値を含む画像データを取得するものである。基板Kは、その表面に輝度値の高い印刷領域、およびペースト状半田が塗布された半田領域を有している。半田領域は、既に電子部品Pが実装されていてもよく、これから電子部品Pが実装されることでもよい。図示されるように、撮像部2は、カメラ3、左右一対の側射用光源41、42、落射用光源5、およびハーフミラー6で構成されている。
カメラ3は、基板Kの上方に配置されて、基板Kを上方から撮像する。側射用光源41、42は、基板Kの斜め上方に配置され、図中の矢印L1、L2で示されるように基板Kの斜め上方から光を照射する。落射用光源5は、図中の矢印L3、L4で示されるように、ハーフミラー6を介して基板Kの真上から垂直に光を照射する。落射用光源5は、ハーフミラー6に向かい水平方向に光を照射するように配置されている。ハーフミラー6は、カメラ3と基板Kの間に45°傾斜して配置されている。ハーフミラー6は、落射用光源5から水平方向に照射された光(L3)を垂直方向下向きに反射する(L4)とともに、基板Kからの反射光をカメラ3に透過する(L5)。
カメラ3による撮影時に基板Kを照射する側射用光源41、42および落射用光源5には、白色光の光源を用いる。また、カメラ3には、光の三原色の各輝度値、すなわち、赤色輝度値、緑色輝度値、および青色輝度値が得られるカラー撮像カメラを用いる。カメラ3は、撮像領域を例えば二次元格子状の多数の画素に分け、各画素の三原色の各輝度値を取得して画像データとし、画像データ演算部7に送出するようになっている。各輝度値は、例えば、0〜255ディジットのディジタル値で表現され、数値が大きいほど高輝度、小さいほど低輝度であることを意味する。
ここで、基板Kの印刷領域と基板素地領域とを区分する輝度区分所定値は、データメモリ73に記憶されている。輝度区分所定値は、三原色の各輝度値について設定されていてもよく、三原色の輝度値を平均化して求められる白黒輝度値について設定されていてもよい。また、印刷領域の輝度値を小さく補正する所定の減衰処理則も予め定められており、減衰処理プログラムとしてプログラムメモリ72に記憶されている。減衰処理則として、例えば、基板の素地に相当する中程度の輝度値を印刷領域の三原色の各輝度値に上書き補正する方法があり、この方法に限定されない。減衰処理則を実施することにより、検査基板の印刷領域の位置が変化しても大きな輝度差が発生せず、異物と誤って判定することを回避できる。
次に、本発明の第1実施形態の基板上の異物検査方法について、フローチャートおよび模式的な画像データを用いて説明する。図3は、第1実施形態の基板上の異物検査方法のメインフローチャートを説明する図である。図示されるように、基板上の異物検査方法は、半田輝度学習工程S1、良品減衰処理工程S2、検査減衰処理工程S3、および差分判定工程S4からなる。以下、各工程S1〜S4について順次説明する。
半田輝度学習工程S1は、基板上の半田領域の輝度範囲である半田輝度範囲を推定する工程である。図4は、半田輝度学習工程S1の詳細な工程内訳を説明したフローチャートの図である。半田輝度学習工程S1のステップS11で、基準となる良品基板の半田領域を撮像し、三原色の各輝度値を取得する。良品基板には、例えば、多数の基板をロット生産するときに初期に生産した実際の基板であって、オペレータのマニュアル検査により合格と判定されかつ異物の無いことが確認された基板を用いる。良品基板上で既知の半田領域を指定することにより、半田領域内の多数の画素の三原色の各輝度値を取得して学習データとすることができる。既知の半田領域は、例えば、基板設計のCADデータなどを参照して設定することできる。このとき、半田領域の広範な範囲を指定して多数の学習データ(半田領域内の画素の三原色の各輝度値の組)を取得することが好ましい。
次に、ステップS12で、学習データに基づいて、半田輝度範囲を表す分類クラスタを作成する。分類クラスタは、赤色輝度値、緑色輝度値、および青色輝度値を座標軸とする三次元空間の球領域を意味する。分類クラスタの個数は、可変に指定できるものとする。また、各分類クラスタの最大半径も、可変に指定できるものとする。分類クラスタの作成では、三次元空間の座標で表される多数の学習データを1個または複数の分類クラスタに包含させる。
図5は、半田輝度範囲が2個の分類クラスタCL1、CL2で表された場合を例示説明する図である。図5で、水平面内の直交二方向に赤色輝度値および緑色輝度値の座標軸を設け、垂直方向に青色輝度値の座標軸を設けている。この三次元空間内で、各学習データは座標(赤色輝度値,緑色輝度値,青色輝度値)で表すことができる。図5の例で、第1の分類クラスタCL1の中心は、座標(LR,LG,LB1)で表される。また、第2の分類クラスタCL2の中心は、座標(LR,LG,LB2)で表される。第1および第2の分類クラスタCL1、C2の半径は、ともに半径rである。2個の分類クラスタCL1、CL2は、青色輝度値の方向に並んで位置しており、一部が重なり合っている。
分類クラスタの個数は、上記した2個に限定されず、1個あるいは3個以上としてもよい。また、複数の分類クラスタの中心の座標は任意であり、半径は互いに異なっていてもよい。複数の分類クラスタは互いに重なり合う場合が多いが、他と離隔した分類クラスタが生じてもよい。複数の分類クラスタによってすべての学習データを包含できるとは限らず、ごく少数の学習データが分類クラスタの外部に位置することも許される。このような分類クラスタを求める具体的な手法として、K−means法、最短距離法、およびNearest-Neighbor法などを採用できる。
次に、ステップS13で、求めた分類クラスタCL1、CL2をデータメモリ73に保存して記憶する。この後、図3のメインフローチャートに戻り、良品減衰処理工程S2に進む。
上記のように光の3原色の輝度値を各座標軸とする三次元空間で半田輝度範囲を推定することで、半田領域と印刷領域とを明瞭に区分できる。通常、半田領域では、緑色輝度値や青色輝度値よりも赤色輝度値のほうが相対的に高い場合が多い。これに対して、白色の印刷領域では、3原色のうち青色輝度値が最も高くなる傾向がある。したがって、仮に、半田領域の白黒輝度値の範囲が印刷領域のそれに重なっていても、三次元空間では両領域を明瞭に区分できる。
また、実際に生産した良品基板を用いて、塗布されたペースト状半田の輝度値を実測するので、半田輝度範囲を狭く限定しつつ推定精度を向上できる。詳述すると、ペースト状半田には複数の品番があって組成などが少しずつ異なり、輝度値は微妙に変化し得る。また、半田の温度や、照射光の強さを始めとする撮像時の周囲条件も輝度値に影響を及ぼすと考えられる。したがって、実際に使用する半田を撮像対象として、実際の撮像時の周囲条件で実測することで、輝度値が分布する範囲を正確に把握して推定精度を向上できる。
良品減衰処理工程S2は、基準となる良品基板の画像データに関して、輝度値が輝度区分所定値以上の高輝度領域から半田輝度範囲に該当する領域を除外して減衰処理対象領域を求め、所定の減衰処理則に基づき減衰処理対象領域の輝度値を減衰させて良品画像データを演算する工程である。図6は、良品減衰処理工程S2の詳細な工程内訳を説明したフローチャートの図である。良品減衰処理工程S2のステップS21で、良品基板を撮像して画像データを取得する。
次に、ステップS22で、良品基板の画像データの三原色の各輝度値またはこれらを平均化した白黒輝度値に基づいて、高輝度領域および半田領域を抽出する。高輝度領域の抽出は、データメモリ73に記憶されている輝度区分所定値以上の輝度値を有する画素を抽出して行う。輝度区分所定値を用いた抽出では、印刷領域だけでなく半田領域も高輝度領域に含まれる場合が生じる。一方、半田領域の抽出は、データメモリ73に記憶されている分類クラスタCL1、CL2の内部に包含される三原色の輝度値の組を有する画素を抽出して行う。
次に、ステップS23で、良品基板の部品装着領域を検査範囲から除外する。つまり、半田領域であっても既に電子部品の装着された領域は重要度が低下するので、検査範囲から除外する。部品装着領域は、当該の基板に既に装着された電子部品の履歴から明らかである。具体的な除外方法としては、部品装着領域に後述の減衰処理を施してもよいし、差分判定工程S4で部品装着領域の差分を求めないようにしてもよい。
次に、ステップS24で、良品基板の高輝度領域から半田領域を除外して、減衰処理対象領域を抽出する。これにより、印刷領域のみが減衰処理対象領域に抽出される。次に、ステップS25で、良品基板の減衰処理対象領域に減衰処理を実施して、良品画像データを演算する。この演算は、プログラムメモリ72に記憶されている減衰処理プログラムにより行う。次に、ステップS26で、求めた良品画像データをデータメモリ73に保存して記憶する。この後、図3のメインフローチャートに戻り、検査減衰処理工程S3に進む。
図8は、ステップS21で取得できる模式的な良品基板の画像データA1を例示した図である。良品基板の画像データは三原色の各輝度値を含んでおり、三原色の各輝度値を対象として処理を行うことができる。これに限定されず、三原色の輝度値を平均化して求められる白黒輝度値を対象として処理を行うようにしてもよい。図面の制約から、以下では白黒輝度値を例にして説明するが、三原色の各輝度値に対しても同様の処理を行うことができる。通常は、白黒輝度値よりも三原色の各輝度値のほうが判定精度が高い。
図8の良品基板の画像データA1で、基板表面の左右両側をそれぞれ上下方向に縦断する2本のラインは、白色の印刷領域P1、P2である。左側の印刷領域P1の右側に離隔して、4個の半田領域H1〜H4が上下方向に並んで離隔配置されている。この4個の半田領域H1〜H4には、既にチップ部品が装着されている。4個並んだうちの最も上側の半田領域H1の右側に離隔して、半田領域H5が配置されている。半田領域H5には既にトランジスタ部品が装着されている。5個の半田領域H1〜H5は、一部が装着された部品に隠されている。4個並んだうちの上から3番目及び4番目の半田領域H3、H4と右側の印刷領域P2との間に、4個の半田領域H6〜H9が配置されている。4個の半田領域H6〜H9は、概ね正方形の四辺に相当するように配置されており、未だ電子部品は装着されていない。
ここで、チップ部品の輝度値が最も低く、トランジスタ部品および基板素地の輝度値は中程度である。一方、印刷領域P1、P2および半田領域H1〜H9の輝度値は高い。したがって、ステップS22では、印刷領域P1、P2および半田領域H1〜H9を合わせた高輝度領域が抽出される。そして、三次元空間の分類クラスタCL1、CL2を用いて、半田領域H1〜H9が抽出される。次に、ステップS23で、9個の半田領域H1〜H9のうち既に電子部品の装着された5個の半田領域H1〜H5が検査範囲から除外される。これにより、半田領域H1〜H5は、装着された電子部品とともに減衰処理が実施され、輝度値が中程度に補正される。
さらに、ステップS24で、高輝度領域から半田領域H6〜H9を除外して、減衰処理対象領域を抽出する。これにより、印刷領域P1、P2のみが減衰処理対象領域に抽出される。次に、ステップS25で、印刷領域P1、P2に減衰処理が実施されて、輝度値が中程度に補正される。これにより、図9に示される良品画像データA2が演算される。図9は、図8の画像データA1に良品減衰処理工程S2を実施して得られる良品画像データA2を例示した図である。良品画像データA2では、印刷領域P1、P2、半田領域H1〜H5、および基板素地の輝度値は中程度で、半田領域H6〜H9の輝度値のみが高くなっている。
検査減衰処理工程S3は、検査対象となる検査基板の画像データに関して、輝度値が輝度区分所定値以上の高輝度領域から半田輝度範囲に該当する領域を除外して減衰処理対象領域を求め、所定の減衰処理則に基づき減衰処理対象領域の輝度値を減衰させて検査画像データを演算する工程である。図7は、検査減衰処理工程S3の詳細な工程内訳を説明したフローチャートの図である。検査減衰処理工程S3は、検査基板に対して良品減衰処理工程S2と同様の処理を実施する。検査減衰処理工程S3のステップS31で、検査基板を撮像して画像データを取得する。
次に、ステップS32で、検査基板の画像データの三原色の各輝度値に基づいて、高輝度領域および半田領域を抽出する。高輝度領域の抽出は、輝度区分所定値以上の輝度値を有する画素を抽出して行う。半田領域の抽出は、分類クラスタCL1、CL2の内部に包含される三原色の輝度値の組を有する画素を抽出して行う。
次に、ステップS33で、検査基板の部品装着領域を検査範囲から除外する。次に、ステップS34で、検査基板の高輝度領域から半田領域を除外して、減衰処理対象領域を抽出する。次に、ステップS35で、検査基板の減衰処理対象領域に減衰処理を実施して、検査画像データを演算する。次に、ステップS36で、求めた検査画像データをデータメモリ73に保存して記憶する。この後、図3のメインフローチャートに戻り、差分判定工程S4に進む。
図10は、ステップS31で取得できる模式的な検査基板の画像データB1を例示した図であり、半田領域H6上に異物Xがある場合を示している。図10の例で、異物Xは、半田領域H1〜H4に装着されるチップ部品が誤って混入したものであり、当然ながら他の異物も考えられる。図10の検査基板の画像データB1に対して、良品基板の画像データA1に対する良品減衰処理工程S2と同様の処理が実施される。ただし、異物Xの輝度値は低く、半田領域H6のうち異物Xによって隠された部分は高輝度領域から除外される。
この結果、図11に示される検査画像データB2が演算される。図11は、図10の画像データB1に検査減衰処理工程S3を実施して得られる検査画像データB2を例示した図である。検査画像データB2では、印刷領域P1、P2、半田領域H1〜H5、および基板素地の輝度値は中程度で、半田領域H7〜H9の輝度値が高くなっている。そして、半田領域H6では、異物Xのある範囲では異物Xの元の低い輝度値が残り、異物X以外の範囲では輝度値が高くなっている。
差分判定工程S4は、良品画像データと検査画像データとを比較して得られる差分に基づいて、検査基板上の異物の有無を判定する工程である。比較および判定の具体的な方法としては、まず、基板上の座標値が対応する画素の輝度値の差分演算を行い、画素ごとの差分値を求める。次に、差分値が一定値以上となる画素の領域を輝度差異領域とする。そして、輝度差異領域が有っても所定の除外条件を満たす場合にノイズとして破棄し、除外条件を満たさない輝度差異領域がある場合に異物有りと判定する。本第1実施形態では、輝度差異領域を構成する連続した画素数が所定数未満であること、および輝度差異領域の最大幅の画素数が所定数未満であることを除外条件とする。
仮に、偶発的な輝度値の誤計測が発生して微小な輝度差異領域が特定された場合、輝度差異領域の構成画素数が所定数未満である除外条件を満たす。したがって、画像データ演算部7は微小な輝度差異領域をノイズとして破棄する。また、仮に、電子部品のエッジ部による反射の影響により細長い輝度差異領域が特定された場合、構成画素数が多くとも輝度差異領域の最大幅の画素数が所定数未満である除外条件を満たす。したがって、画像データ演算部7は細長い輝度差異領域をノイズとして破棄する。このように、除外条件を設定することにより誤判定が回避される。
模式的な画像データの例において、図9に示された良品画像データA2と図11に示された検査画像データB2とについて、画素ごとの輝度値を比較する。すると、異物Xに相当する領域で差分値が大きいので、異物Xに相当する領域がそのまま輝度差異領域となる。この輝度差異領域は、構成画素数が多く、かつ最大幅も大きいので除外条件を満たさず、正しく異物と判定される。
これに対して、高輝度領域から半田領域を除外しない従来技術では、半田領域に減衰処理を実施して、異物を判定できないおそれがある。図12は、従来技術を用いて図8の画像データA1から得られる良品画像データA5を例示した図である。また、図13は、従来技術を用いて図10の画像データB1から得られる検査画像データB5を例示した図である。
図示されるように、従来技術では、良品画像データA5および検査画像データB5の半田領域H6〜H9に対しても減衰処理が実施され、その輝度値が中程度に補正される。したがって、図13の検査画像データB5で、半田領域H6の減衰された中程度の輝度値と、異物Xの低い輝度値とで輝度差が小さくなる。これにより、異物Xを判定できなくなるおそれが増大する。換言すると、従来技術では印刷物の位置変化による誤判定を防止するために減衰処理を実施すると、弊害として半田領域上の異物判定精度が低下していた。
第1実施形態の基板上の異物検査方法は、輝度値の高い印刷領域P1、P2およびペースト状半田が塗布された半田領域H1〜H9を有する基板を検査対象とし、基板を撮像して輝度値を含む画像データを取得する撮像部2と、画像データに演算処理を施すことにより基板上の異物の有無を判定する画像データ演算部7とを備える基板検査装置1を用いた基板上の異物検査方法であって、基板上の半田領域H1〜H9の輝度範囲である半田輝度範囲を推定する半田輝度学習工程S1と、基準となる良品基板の画像データA1に関して、輝度値が所定値以上の高輝度領域から半田輝度範囲に該当する領域を除外して減衰処理対象領域を求め、所定の減衰処理則に基づき減衰処理対象領域の輝度値を減衰させて良品画像データA2を演算する良品減衰処理工程S2と、検査対象となる検査基板の画像データB1に関して、輝度値が所定値以上の高輝度領域から半田輝度範囲に該当する領域を除外して減衰処理対象領域を求め、所定の減衰処理則に基づき減衰処理対象領域の輝度値を減衰させて検査画像データB2を演算する検査減衰処理工程S3と、良品画像データA2と検査画像データB2とを比較して得られる差分に基づいて、検査基板上の異物Xの有無を判定する差分判定工程S4と、を有する。
これによれば、良品基板および検査基板の両方の画像データA1、B1に関して高輝度領域から半田輝度範囲に該当する領域を除外し、換言すれば、半田領域H6〜H9を減衰処理対象領域から除外して印刷領域P1、P2のみに減衰処理を行い、その後に両画像データA2、B2の差分に基づいて異物Xの有無を判定する。したがって、検査基板の半田領域H6上に輝度値の高い異物Xがある場合に、半田領域H6および異物Xに対して減衰処理を行わず、輝度差が小さくとも異物Xを高精度に判定できる。また、半田領域上に輝度値の低い異物がある場合にも、半田領域および異物に対して減衰処理を行わず、異物を高精度に判定できる。さらに、検査基板の基板素地領域にある異物に対しても減衰処理を行わないので高精度に判定でき、検査基板の印刷領域の位置変化に対しては減衰処理が効果的に作用して誤判定を防止できる。これらの総合的な効果で、基板の品質向上に寄与できる。
また、第1実施形態の基板上の異物検査方法は、半田輝度学習工程S1で、異物の無い良品基板上の既知の半田領域を撮像した画像データに基づいて半田輝度範囲を推定する。これによれば、良品基板に塗布されたペースト状半田の輝度値を実測するので、半田輝度範囲を狭く限定しつつ推定精度を向上できる。したがって、半田領域を印刷領域や基板素地領域と明瞭に区分でき、ひいては異物の有無の判定精度が向上する。
さらに、第1実施形態の基板上の異物検査方法は、輝度値として赤色輝度値、緑色輝度値、および青色輝度値のうち複数を用いる。より詳細には、第1実施形態の基板上の異物検査方法は、輝度値として赤色輝度値、緑色輝度値、および青色輝度値を用い、半田輝度範囲は、赤色輝度値、緑色輝度値、および青色輝度値を座標軸とする三次元空間の1個または複数の球領域(分類クラスタCL1、CL2)で表される。
これによれば、複数の輝度値のアンド条件を用いて半田輝度範囲を狭く限定できる。より詳細には、光の3原色の輝度値を各座標軸とする三次元空間で半田輝度範囲を推定するので、半田輝度範囲をさらに一層狭く限定できる。したがって、半田領域の白黒輝度値の範囲が印刷領域のそれに重なる場合であっても、三次元空間では両領域を明瞭に区分でき、ひいては、異物の有無の判定精度がさらに一層向上する。
さらに、第1実施形態の基板上の異物検査方法は、半田領域H1〜H9のうち既に電子部品の装着された領域H1〜H5を検査範囲から除外する。これによれば、既に電子部品が装着されて検査の重要度が低下した半田領域H1〜H5を検査範囲から除外できる。したがって、良品画像データA2と検査画像データB2とを比較したときに、電子部品の本体や端子によって一部が隠された半田領域H1〜H5の形状が微妙に異なっていても、誤って異物と判定するおそれが生じない。
次に、半田領域のみを検査範囲に抽出する第2実施形態の基板上の異物検査方法について、第1実施形態と異なる点を主に説明する。第2実施形態に用いる基板検査装置1は第1実施形態と同じであり、画像データを処理するフローが異なる。図14は、第2実施形態の基板上の異物検査方法のメインフローチャートを説明する図である。図示されるように、第2実施形態の基板上の異物検査方法は、半田輝度学習工程S1、良品抽出工程S6、検査抽出工程S7、および差分判定工程S8からなる。半田輝度学習工程S1の処理内容は、第1実施形態と同じであり、説明は省略する。
良品抽出工程S6は、基準となる良品基板の画像データに関して、輝度値が半田輝度範囲に該当する領域を良品画像データとする工程である。このとき、第1実施形態と同様に、良品基板の部品装着領域を検査範囲から除外する。これにより、高輝度領域から印刷領域や部品装着領域を除外した領域、すなわち、電子部品が未だ装着されていない半田領域のみを検査範囲に抽出できる。
検査抽出工程S7は、検査対象となる検査基板の画像データに関して、良品画像データに対応する領域を検査画像データとする工程である。これにより、良品基板および検査基板で検査範囲を一致させ、比較する画素の領域を一致させることができる。
差分判定工程S8は、良品画像データと検査画像データとを比較して得られる差分に基づいて、検査基板上の異物の有無を判定する工程である。判定方法は、第1実施形態と同様であり、検査範囲を半田領域に限定している点が異なる。また、第1実施形態とは異なる除外条件を設定して用いるようにしてもよい。
第2実施形態の基板上の異物検査方法は、輝度値の高い印刷領域およびペースト状半田が塗布された半田領域を有する基板を検査対象とし、基板を撮像して輝度値を含む画像データを取得する撮像部2と、画像データに演算処理を施すことにより基板上の異物の有無を判定する画像データ演算部7とを備える基板検査装置1を用いた基板上の異物検査方法であって、基板上の半田領域の輝度範囲である半田輝度範囲を推定する半田輝度学習工程S1と、基準となる良品基板の画像データに関して、輝度値が半田輝度範囲に該当する領域を良品画像データとする良品抽出工程S6と、検査対象となる検査基板の画像データに関して、良品画像データに対応する領域を検査画像データとする検査抽出工程S7と、良品画像データと検査画像データとを比較して得られる差分に基づいて、検査基板上の異物の有無を判定する差分判定工程S8と、を有する。
これによれば、良品基板および検査基板の画像データに関して半田領域のみを検査範囲に抽出し、その後に両画像データの差分に基づいて異物の有無を判定する。したがって、第1実施形態の方法よりも簡略化されて比較するデータ量が格段に少なくなり、異物検査時間を削減できる。また、このように異物検査方法を簡略化しても、特に重要な半田領域上の異物について第1実施形態と同等の判定精度を確保して、基板の品質向上に寄与できる。さらに、半田輝度学習工程S1で三次元空間の1個または複数の球領域を用いて半田輝度範囲を推定することで発生する効果も、第1実施形態と同等である。
なお、半田輝度学習工程S1で半田輝度範囲を推定するときに、三次元空間の球領域以外、例えば立方体領域や平行六面体領域を用いるようにしてもよい。また、差分判定工程S8における除外条件などの判定方法は適宜変更することができる。さらに、第1および第2実施形態の基板上の異物検査方法は、基板上の異物検査装置としても実施できる。本発明は、その他様々な変形や応用が可能である。
1:基板検査装置 2:撮像部 3:カメラ 41、42:側射用光源
5:落射用光源 6:ハーフミラー 7:画像データ演算部
71:CPU 72:プログラムメモリ 73:データメモリ
S1:半田輝度学習工程 S2:良品減衰処理工程
S3:検査減衰処理工程 S4、S8:差分判定工程
S6:良品抽出工程 S7:検査抽出工程
A1:良品基板の画像データ A2:良品画像データ
B1:検査基板の画像データ B2:検査画像データ
CL1、CL2:分類クラスタ(三次元空間の球領域)
P1、P2:印刷領域 H1〜H9:半田領域 X:異物

Claims (5)

  1. 輝度値の高い印刷領域およびペースト状半田が塗布された半田領域を有する基板を検査対象とし、前記基板を撮像して前記輝度値を含む画像データを取得する撮像部と、前記画像データに演算処理を施すことにより前記基板上の異物の有無を判定する画像データ演算部とを備える基板検査装置を用いた基板上の異物検査方法であって、
    基準となる良品基板の既知の前記半田領域を撮像した前記画像データを用い、既知の前記半田領域内の複数の画素の前記輝度値に基づいて、前記基板上の前記半田領域の輝度範囲である半田輝度範囲を推定する半田輝度学習工程と、
    前記良品基板の前記画像データに関して、前記輝度値が所定値以上の高輝度領域から前記半田輝度範囲に該当する前記半田領域を除外して減衰処理対象領域を求め、所定の減衰処理則に基づき前記減衰処理対象領域の前記輝度値を減衰させて良品画像データを演算する良品減衰処理工程と、
    前記検査対象となる検査基板の前記画像データに関して、前記輝度値が前記所定値以上の前記高輝度領域から前記半田輝度範囲に該当する前記半田領域を除外して減衰処理対象領域を求め、前記減衰処理則に基づき前記減衰処理対象領域の前記輝度値を減衰させて検査画像データを演算する検査減衰処理工程と、
    前記良品画像データと前記検査画像データとを比較して得られる差分に基づいて、前記検査基板上の前記異物の有無を判定する差分判定工程と、
    を有する基板上の異物検査方法。
  2. 輝度値の高い印刷領域およびペースト状半田が塗布された半田領域を有する基板を検査対象とし、前記基板を撮像して前記輝度値を含む画像データを取得する撮像部と、前記画像データに演算処理を施すことにより前記基板上の異物の有無を判定する画像データ演算部とを備える基板検査装置を用いた基板上の異物検査方法であって、
    基準となる良品基板の既知の前記半田領域を撮像した前記画像データを用い、既知の前記半田領域内の複数の画素の前記輝度値に基づいて、前記基板上の前記半田領域の輝度範囲である半田輝度範囲を推定する半田輝度学習工程と、
    前記良品基板の前記画像データに関して、前記輝度値が前記半田輝度範囲に該当する前記半田領域を良品画像データとする良品抽出工程と、
    前記検査対象となる検査基板の前記画像データに関して、前記良品画像データに対応する領域を検査画像データとする検査抽出工程と、
    前記良品画像データと前記検査画像データとを比較して得られる差分に基づいて、前記検査基板上の前記異物の有無を判定する差分判定工程と、
    を有する基板上の異物検査方法。
  3. 請求項1または2において
    前記半田輝度学習工程は、既知の前記半田領域内の複数の前記画素の赤色輝度値、緑色輝度値、および青色輝度値に基づいて、前記赤色輝度値、前記緑色輝度値、および前記青色輝度値を座標軸とした三次元空間の球領域で表される前記半田輝度範囲を作成するクラスタ作成手法を含む、基板上の異物検査方法。
  4. 請求項1〜3のいずれか一項において、前記半田領域のうち既に電子部品の装着された領域を検査範囲から除外する基板上の異物検査方法。
  5. 輝度値の高い印刷領域およびペースト状半田が塗布された半田領域を有する基板を検査対象とし、前記基板を撮像して前記輝度値を含む画像データを取得する撮像部と、前記画像データに演算処理を施すことにより前記基板上の異物の有無を判定する画像データ演算部とを備えた基板上の異物検査装置であって、
    基準となる良品基板の既知の前記半田領域を撮像した前記画像データを用い、既知の前記半田領域内の複数の画素の前記輝度値に基づいて、前記基板上の前記半田領域の輝度範囲である半田輝度範囲を推定する半田輝度学習手段と、
    前記良品基板の前記画像データに関して、前記輝度値が所定値以上の高輝度領域から前記半田輝度範囲に該当する前記半田領域を除外して減衰処理対象領域を求め、所定の減衰処理則に基づき前記減衰処理対象領域の前記輝度値を減衰させて良品画像データを演算する良品減衰処理手段と、
    前記検査対象となる検査基板の前記画像データに関して、前記輝度値が前記所定値以上の前記高輝度領域から前記半田輝度範囲に該当する前記半田領域を除外して減衰処理対象領域を求め、前記減衰処理則に基づき前記減衰処理対象領域の前記輝度値を減衰させて検査画像データを演算する検査減衰処理手段と、
    前記良品画像データと前記検査画像データとを比較して得られる差分に基づいて、前記検査基板上の前記異物の有無を判定する差分判定手段と、
    を有する基板上の異物検査装置。
JP2013105275A 2013-05-17 2013-05-17 基板上の異物検査方法および異物検査装置 Active JP6211798B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013105275A JP6211798B2 (ja) 2013-05-17 2013-05-17 基板上の異物検査方法および異物検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013105275A JP6211798B2 (ja) 2013-05-17 2013-05-17 基板上の異物検査方法および異物検査装置

Publications (2)

Publication Number Publication Date
JP2014228274A JP2014228274A (ja) 2014-12-08
JP6211798B2 true JP6211798B2 (ja) 2017-10-11

Family

ID=52128267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013105275A Active JP6211798B2 (ja) 2013-05-17 2013-05-17 基板上の異物検査方法および異物検査装置

Country Status (1)

Country Link
JP (1) JP6211798B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10071095B2 (en) 2009-05-12 2018-09-11 Janssen Pharmaceuticals, Inc. 1,2,4-triazolo [4,3-A] pyridine derivatives and their use for the treatment of neurological and psychiatric disorders
US10106542B2 (en) 2013-06-04 2018-10-23 Janssen Pharmaceutica Nv Substituted 6,7-dihydropyrazolo[1,5-a]pyrazines as negative allosteric modulators of mGluR2 receptors
US10537573B2 (en) 2014-01-21 2020-01-21 Janssen Pharmaceutica Nv Combinations comprising positive allosteric modulators or orthosteric agonists of metabotropic glutamatergic receptor subtype 2 and their use
US11369606B2 (en) 2014-01-21 2022-06-28 Janssen Pharmaceutica Nv Combinations comprising positive allosteric modulators or orthosteric agonists of metabotropic glutamatergic receptor subtype 2 and their use

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6950331B2 (ja) * 2017-07-28 2021-10-13 日本電産トーソク株式会社 検査装置および検査方法
CN109657718B (zh) * 2018-12-19 2023-02-07 广东省智能机器人研究院 一种数据驱动的smt生产线上spi缺陷类别智能识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6141906A (ja) * 1984-08-03 1986-02-28 Hitachi Denshi Ltd はんだ面の状態認識方法
JP3309420B2 (ja) * 1992-03-31 2002-07-29 松下電器産業株式会社 半田ブリッジの検査方法
JPH11344449A (ja) * 1998-05-29 1999-12-14 Shimu:Kk 外観検査方法
JP3599023B2 (ja) * 2002-01-11 2004-12-08 オムロン株式会社 はんだ検査方法およびこの方法を用いた基板検査装置
JP4423130B2 (ja) * 2004-07-30 2010-03-03 富士通株式会社 プリント回路基板外観検査方法、プリント回路基板外観検査プログラム及びプリント回路基板外観検査装置
JP5660861B2 (ja) * 2010-11-19 2015-01-28 富士機械製造株式会社 基板上の異物検査方法および異物検査装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10071095B2 (en) 2009-05-12 2018-09-11 Janssen Pharmaceuticals, Inc. 1,2,4-triazolo [4,3-A] pyridine derivatives and their use for the treatment of neurological and psychiatric disorders
US10106542B2 (en) 2013-06-04 2018-10-23 Janssen Pharmaceutica Nv Substituted 6,7-dihydropyrazolo[1,5-a]pyrazines as negative allosteric modulators of mGluR2 receptors
US10584129B2 (en) 2013-06-04 2020-03-10 Janssen Pharmaceuticals Nv Substituted 6,7-dihydropyrazolo[1,5-a]pyrazines as negative allosteric modulators of mGluR2 receptors
US10537573B2 (en) 2014-01-21 2020-01-21 Janssen Pharmaceutica Nv Combinations comprising positive allosteric modulators or orthosteric agonists of metabotropic glutamatergic receptor subtype 2 and their use
US11103506B2 (en) 2014-01-21 2021-08-31 Janssen Pharmaceutica Nv Combinations comprising positive allosteric modulators or orthosteric agonists of metabotropic glutamatergic receptor subtype 2 and their use
US11369606B2 (en) 2014-01-21 2022-06-28 Janssen Pharmaceutica Nv Combinations comprising positive allosteric modulators or orthosteric agonists of metabotropic glutamatergic receptor subtype 2 and their use

Also Published As

Publication number Publication date
JP2014228274A (ja) 2014-12-08

Similar Documents

Publication Publication Date Title
JP6211798B2 (ja) 基板上の異物検査方法および異物検査装置
JP5365643B2 (ja) はんだ付け検査方法、および基板検査システムならびにはんだ付け検査機
KR101438157B1 (ko) 기판 검사방법
JP6507653B2 (ja) 検査装置及び検査装置の制御方法
WO2013136591A1 (ja) 画像検査方法および検査領域設定方法
WO2012096004A1 (ja) はんだ付け検査方法、およびはんだ付け検査機ならびに基板検査システム
JP5795046B2 (ja) ソルダージョイントの検査方法
JP5441990B2 (ja) 検査方法
JP2008185514A (ja) 基板外観検査装置
JP5660861B2 (ja) 基板上の異物検査方法および異物検査装置
US20150237344A1 (en) Calibration method of an image capture system
KR101892099B1 (ko) 기판 상에 형성된 부품의 터미널 검사방법 및 기판 검사장치
JP2011232279A (ja) 傾き検査装置及び傾き検査方法
US10410336B2 (en) Inspection device, storage medium, and program
TWI519802B (zh) 一種線路資訊擷取方法、非線路區資訊擷取方法及運用前述方法的線路缺陷檢測方法
JP6387620B2 (ja) 品質管理システム
KR101893823B1 (ko) 기판 검사장치 및 이를 이용한 기판의 왜곡 보상 방법
TWI481814B (zh) 三維測定裝置
JP2006284543A (ja) 実装回路基板検査方法および実装回路基板検査装置
JP5130257B2 (ja) 画像処理装置
JP2005249633A (ja) 周期性パターンにおけるスジ状ムラの検査方法
KR101497947B1 (ko) 솔더 조인트의 검사방법
JP2013011569A (ja) 変位量特定装置、変位量特定方法および変位量特定プログラム
JP7266123B2 (ja) 溶接品質検査方法及び溶接品質検査デバイス
TW201939946A (zh) 顯示器檢測方法與系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170914

R150 Certificate of patent or registration of utility model

Ref document number: 6211798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250