JP5790446B2 - 表面欠陥検査方法及び表面欠陥検査装置 - Google Patents

表面欠陥検査方法及び表面欠陥検査装置 Download PDF

Info

Publication number
JP5790446B2
JP5790446B2 JP2011258766A JP2011258766A JP5790446B2 JP 5790446 B2 JP5790446 B2 JP 5790446B2 JP 2011258766 A JP2011258766 A JP 2011258766A JP 2011258766 A JP2011258766 A JP 2011258766A JP 5790446 B2 JP5790446 B2 JP 5790446B2
Authority
JP
Japan
Prior art keywords
pattern
illumination pattern
light
wavelength
defect inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011258766A
Other languages
English (en)
Other versions
JP2013113657A (ja
Inventor
布施 貴史
貴史 布施
毅 長門
毅 長門
高橋 文之
文之 高橋
塚原 博之
博之 塚原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011258766A priority Critical patent/JP5790446B2/ja
Publication of JP2013113657A publication Critical patent/JP2013113657A/ja
Application granted granted Critical
Publication of JP5790446B2 publication Critical patent/JP5790446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、表面欠陥検査方法及び表面欠陥検査装置に関し、携帯電話などの筐体の滑らかな単一色塗装面上のブツ(paint coat prticle)・キズ等の凹凸欠陥を精度良く検査する方法に関する。
近年、携帯電話など小型機器のデザインが流麗化し、複雑な表面形状を持つようになったため、より緻密に塗装面のブツ・キズ等の凹凸欠陥を検査する必要性が増大している。しかし、携帯電話などの筐体検査の多くは目視検査に頼っているのが現状である。そのため、検査コストの低減と検査結果の定量性の観点から、自動検査への要望が増大していた。
対象表面のブツ・キズ等の凹凸欠陥を検査する方法として、従来の技術としては明暗照明を用いる方法があったので、図を参照して説明する。図は、従来の明暗照明を用いた凹凸欠陥の検査方法の一例の説明図である。図(a)に示すように、明暗パターン23をスクリーン24に投影し、これを滑らかな検査対象物の試料21に映し込み、その反射像をカメラ25で撮像する。
(b)の上部に示すように、滑らかな表面、即ち、正常面の場合には、投影パターンが映り込んだ画像が撮像される。一方、試料21の表面上にブツ等の凹凸欠陥22がある異常面の場合には、図(b)の下部に示すように周りの明暗パターンが映り込み、正常面とは違った明るさ変化を示すことにより顕著化する。この現象を利用して、滑らかな表面上のブツ・キズ等の凹凸欠陥を検査していた。
検査性能の向上のためには、明暗パターンに正弦波状の明るさ変化を持つ照明パターンを使い、位相を変えて投影した映り込み像を撮像し、位相シフトを使うことも提案されている。
は、従来の位相シフト明暗パターンを用いた場合の撮像画像の説明図であり、時間毎にπ/2だけ位相をずらした正弦波状の明るさ変化を持つ照明パターンを照射すると、撮像画像毎に同じ凹凸欠陥が異なった状態で検出される。
は、従来の位相シフト明暗パターンを用いた場合の反射光の明るさ変化の説明図であり、正常面の場合にはある一点の時間毎、即ち、撮像画像毎に明るさI〜Iは、π/2ずつずれる。即ち、
=A+Bcos(φ)
=A+Bcos(φ+π/2)
=A+Bcos(φ+π)
=A+Bcos(φ+3π/2)
となる。
ここで、位相シフト演算を行ってある一点のビジビリティγを、
γ=B/A=2{(I−I+(I−I1/2/(I+I+I+I
として求める。
一方、ブツ欠陥によるある一点の明るさの変化I’〜I’4は,
I’=A’+B’cos(φ’)
I’=A’+B’cos(φ’+π/2)
I’=A’+B’cos(φ’+π)
I’=A’+B’cos(φ’+3π/2)
となる。
ここで、位相シフト演算を行ってブツ欠陥によるある一点の明るさビジビリティγ’を、
γ’=B’/A’=2{(I’−I’+(I’−I’1/2/(I’+I’+I’+I’
として求める。
このように、照明パターンの位相をシフトさせることにより、ブツ等の凹凸欠陥に対しては、欠陥位置による検出感度の不均一性を低減して、より安定して欠陥を検知することができる。
方向性を持つキズ等の凹凸欠陥には、図に示した位相をシフトさせたストライプパターンを複数方向用意して、それらのパターンを切り替えて検査をすることもある。
特開2011−099726号公報 特開2009−264800号公報
しかし、照明パターンの位相をシフトさせる場合には、位相を変えるため複数枚の撮像を行う必要があり、検査時間が増大するという問題がある。また、方向性を有する凹凸欠陥の場合には複数方向のパターンを用いるため、パターン切換え回数の数だけ検査時間が増大するという問題もある。
したがって、本発明は、欠陥検査の検知精度の向上を図るために位相シフトを用いつつ検査時間を低減することを目的とする。
開示する一観点からは、互いに異なった複数の波長の光を、パターン平面上で夫々第1の方向の輝度変化を正弦波状に変化させるとともに、前記互いに異なる3つの波長の光の位相が2π/3ずつ違うようにずらし、且つ、前記第1の方向と異なった第2の方向の輝度変化も正弦波状に変化させて合成照明パターンを合成する工程と、前記合成した合成照明パターンを検査対象物に照射する工程と、前記検査対象物からの前記合成照明パターンの反射パターンを撮像して波長毎の画像を一括して取得する工程と、前記撮像した画像の画素毎に前記各波長毎の輝度値を用いた位相シフト演算を行った結果に基づいて前記検査対象物の表面の凹凸部を欠陥として判別する工程とを有することを特徴とする表面欠陥検査方法が提供される。
また、開示する別の観点からは、互いに異なる3つの波長の光を、パターン平面上で夫々第1の方向の輝度変化を正弦波状に変化させるとともに、前記互いに異なる3つの波長の光の位相が2π/3ずつ違うようにずらし、且つ、前記第1の方向と異なった第2の方向の輝度変化も正弦波状に変化させて合成照明パターンを合成する照明パターン合成手段と、前記合成した合成照明パターンを検査対象物に照射する照射手段と、前記検査対象物からの前記合成照明パターンの反射パターンを撮像して波長毎の画像を一括して取得する撮像手段と、前記撮像した画像を波長毎に分解して前記各波長毎の輝度値を用いた位相シフト演算を行った結果に基づいて前記検査対象物の表面の凹凸欠陥を判別する制御手段とを有することを特徴とする表面欠陥検査装置が提供される。
開示の表面欠陥検査方法及び表面欠陥検査装置によれば、欠陥検査の検知精度の向上を図るために位相シフトを用いつつ検査時間を低減することが可能になる。
本発明の実施の形態の表面欠陥検査方法の説明図である。 本発明の実施の形態の表面欠陥検査方法に用いる表面欠陥検査装置の概念的構成図である。 本発明の参考例1の表面欠陥検査方法における各単色カラー明暗パターンの説明図である。 本発明の参考例1の表面欠陥検査方法における合成照明パターンの説明図である。 本発明の実施例の表面欠陥検査方法における合成照明パターンの説明図である。 従来の明暗照明を用いた凹凸欠陥の検査方法の一例の説明図である。 従来の位相シフト明暗パターンを用いた場合の撮像画像の説明図である。 従来の位相シフト明暗パターンを用いた場合の反射光の明るさ変化の説明図である。
ここで、図1及び図2を参照して、本発明の実施の形態の表面欠陥検査方法を説明する。図1は、本発明の実施の形態の表面欠陥検査方法の説明図であり、ここでは、合成照明パターンの作成方法の一例を説明する。図1(a)乃至図1(c)はそれぞれ互いに波長が異なった複数の照明明暗パターンの説明図であり、ここでは、正弦波状の輝度分布の位相を互いにずらした例として示している。
典型的には、赤、緑、青の三原色の輝度方向の位相差が2π/3(rad)になるように各照明明暗パターンを作成する。なお、波長(色)の数は任意であり、2色でも良いし、或いは、分光光源やLEDの単色光を用いる場合には4色以上でも良く、好適には各色の輝度方向の位相差を2π/n(nは色の数)とする。但し、赤、緑、青の三原色はカラー液晶プロジェクタで作成できるので最も簡単である。図1(d)は、図1(a)乃至図1(c)の明暗パターンを重ね合わせた合成照明パターンであり、謂所虹色の帯が周期的に配列したパターンとなる。
但し、このような一方向の周期的パターンでは、方向性のある凹凸欠陥の検出精度が高くないので、パターン平面内で位相シフト方向に対して交差する方向、典型的には直交する方向に正弦波状に変調して検出精度を高める。
図2は、本発明の実施の形態の表面欠陥検査方法に用いる表面欠陥検査装置の概念的構成図である。試料2を載置する試料ステージ1と、試料2に合成照明パターンを照射するカラー照明光源4と、合成照明パターンを合成する照明コントローラ5と、試料2からの反射像を撮像するカラー撮像手段6と、撮像手段コントローラ7を備えている。また、これらの各部材は、制御手段8で制御され、試料ステージ1はステージコントローラ9でX−Yの移動が制御される。
カラー撮像手段6で撮像された画像は、制御手段8において、各波長毎に分解して、従来のモノクロ明暗パターンと同様な手法で試料2の表面の凹凸欠陥3の判別を行い、判定結果は、出力手段10から出力する。なお、カラー照明光源4及び照明コントローラ5としては、典型的にはカラー液晶プロジェクタを用い、また、カラー撮像手段6としては、CCDカメラ等のカラー撮像装置を用いる。
また、制御手段8は、典型的にはパーソナルコンピュータ或いは特別に作製したCPUを備えた制御機器である。なお、図1(d)に示した合成照明パターンを用いる場合には、一括撮像した位相画像をRGB画像に分解し、3ステップの従来と同様の位相シフト演算を行う。また、方向性を有する凹凸欠陥に対応するように、パターン平面内で位相シフト方向に対して直交する方向に正弦波状に変調した場合には、画素単位毎に位相シフト演算を行う。
このように、複数の波長の光の明暗パターンをパターン平面上で位相シフトさせて合成した合成照明パターンを用いているので、欠陥検査に必要な複数枚の画像を一括して撮像することができる。これによって、検査精度の向上と検査時間の維持との両立が可能になる。
次に、実施例1を説明するが、その前に図3及び図4を参照して、本発明の前提となる参考例1の表面欠陥検査方法を説明する。図3は、本発明の実施例1の表面欠陥検査方法における各単色カラー明暗パターンの説明図であり、図3(a)乃至図3(c)は、それぞれ赤(R)、緑(G)及び青(B)の単色光源を用いたカラー明暗パターンにおける輝度分布図である。各単色カラー明暗パターンは互いに2π/3(rad)だけ位相がずれた正弦波となっている。
図4は、本発明の参考例1の表面欠陥検査方法における合成照明パターンの説明図であり、図4(a)は、図3(a)乃至図3(b)の各RGBの単色カラー明暗パターンを重ね合わせた合成照明パターンである。この合成照明パターンは、所謂帯状の虹パターンが周期的に繰り返したパターンとなっている。
図4(b)は各色毎の輝度分布を示したもので、3つの色に対応する正弦波が2π/3(rad)だけ位相がずれて重なった状態になっている。また、図4(a)において×で示した位置におけるRGBの相対輝度I,I,Iは図4(b)の破線で示した位置の輝度となる。
このような合成照明パターンを用いて表面欠陥検査を行う場合には、図2を参照すると、まず、図示していないハンドラ等から検査対象となる試料2を試料ステージ1上に載置する。載置したことが制御手段8に出力されると、制御手段8は必要に応じてステージコントローラ9により試料ステージ1を動かし、試料2がカラー撮像手段6の視野内に入るよう調整を行うことにより測定準備を行う。
測定準備には、カラー撮像手段6の視野内の欠陥箇所が合成照明パターンの照明により映り込むことによって鮮鋭化されるよう、合成照明パターンの照明位置を調整しておく。また、この時、映り込みパターンが正反射条件でカラー撮像手段6に入るように対象を傾けることや、必要であればカラー撮像手段6の撮像面も傾けることも含まれる。
測定準備が整ったことが制御手段8に出力されると、制御手段8は照明コントローラ5により、合成照明パターンを試料2に向けて照射し、撮像手段コントローラ7を制御して、RGB画像を一括して取り込む。得られた撮像データは撮像手段コントローラ7を経由して、制御手段8内のメモリに蓄積される。撮像データがメモリに蓄積されたことが制御手段8に出力されると、撮像画像を各RGB画像毎に分解し、各画素についてビジビリティγを算出する。なお、分解された各RGB画像は、試料1の表面が欠陥のない正常面である場合には、図3(a)乃至図3(c)に示した、重ね合わせる前の単色カラー明暗パターンに対応した単色カラー明暗パターンとなる。
同時に制御手段8はステージコントローラ9を制御して、次の検査位置まで試料ステージ1を駆動する。制御手段8は撮像データからたとえば図に示した方法を用いて欠陥箇所を検出し、その検査結果を適宜出力手段10に出力する。制御手段8は測定箇所が無くなるまで上述の動作を繰り返す。
撮像した画像をRGB画像に分解して凹凸欠陥を検出する場合には、図4におけるI,I,Iの位置における明るさは、位相差α=2π/3であるので、
=A+Bcos(φ−2π/3)
=A+Bcos(φ)
=A+Bcos(φ+2π/3)
となるので、ビジビリティγは、
γ=B/A
={{[1−cos(α)](I−I)}+[sin(α)(2I−I−I)]1/2/[I+I−2Icos(α)]sin(α)
となる。
このように、本発明の参考例1においては、ブツ等の欠陥について欠陥位置による検出感度の不均一性を低減するために位相シフトを用いる際に、色分割を利用しているので、検査時間の増大を回避することができる。これによって、携帯電話などの筐体の単一色塗装面の凹凸欠陥を効率良く検査でき、検査精度の向上と検査時間の高速化に寄与するところが大きい。
以上を前提として、次に、図5を参照して、本発明の実施例の表面欠陥検査方法を説明する。この実施例は方向性のある凹凸欠陥の検出精度を高めるために、参考例1における合成照明パターンをパターン平面内で位相シフト方向に対して直交する方向に正弦波状に変調したものであり、その他の構成及び操作方法等は上記の参考例1と同様である。
図5は、本発明の実施例の表面欠陥検査方法における合成照明パターンの説明図である。図5(a)に示すように、3つの色に対応する正弦波が2π/3(rad)だけ位相がずれて重なった周期的な帯状の虹パターンが、パターン平面内で位相シフト方向に対して直交する方向(図においては縦方向)に正弦波状に褶曲したパターンになっている。
図5(b)は各色毎の輝度分布を示したもので、3つの色に対応する正弦波が2π/3(rad)だけ位相がずれて重なった状態になっている。また、図4(b)の場合と同様に、図5(a)において×で示した位置におけるRGBの相対輝度I,I,Iは、図5(b)の破線で示した位置の輝度となる。
このように、本発明の実施例においては、一方向の輝度分布だけではなく、パターン平面内で位相シフト方向に対して直交する方向に正弦波状に変調しているので、方向性を有する凹凸欠陥を検査する場合に照射パターンの切換えが不要になる。
ここで、実施例1を含む本発明の実施の形態に関して、以下の付記を付す。
(付記1)
互いに異なる3つの波長の光を、パターン平面上で夫々第1の方向の輝度変化を正弦波状に変化させるとともに、前記互いに異なる3つの波長の光の位相が2π/3ずつ違うようにずらし、且つ、前記第1の方向と異なった第2の方向の輝度変化も正弦波状に変化させて合成照明パターンを合成する工程と、
前記合成した合成照明パターンを検査対象物に照射する工程と、
前記検査対象物からの前記合成照明パターンの反射パターンを撮像して波長毎の画像を一括して取得する工程と、
前記撮像した画像の画素毎に前記各波長毎の輝度値を用いた位相シフト演算を行った結果に基づいて前記検査対象物の表面の凹凸部を欠陥として判別する工程と
を有することを特徴とする表面欠陥検査方法。
(付記
互いに異なる3つの波長の光を、パターン平面上で夫々第1の方向の輝度変化を正弦波状に変化させるとともに、前記互いに異なる3つの波長の光の位相が2π/3ずつ違うようにずらし、且つ、前記第1の方向と異なった第2の方向の輝度変化も正弦波状に変化させて合成照明パターンを合成する照明パターン合成手段と、
前記合成した合成照明パターンを検査対象物に照射する照射手段と、
前記検査対象物からの前記合成照明パターンの反射パターンを撮像して波長毎の画像を一括して取得する撮像手段と、
前記撮像した画像を波長毎に分解して前記各波長毎の輝度値を用いた位相シフト演算を行った結果に基づいて前記検査対象物の表面の凹凸欠陥を判別する制御手段と
を有することを特徴とする表面欠陥検査装置。
(付記
前記照射手段が、カラー液晶プロジェクタであり、
前記撮像手段が、カラー撮像素子である
ことを特徴とする付記に記載の表面欠陥検査装置。
1 試料ステージ
2 試料
3 凹凸欠陥
4 カラー照明光源
5 照明コントローラ
6 カラー撮像手段
7 撮像手段コントローラ
8 制御手段
9 ステージコントローラ
10 出力手段
21 試料
22 凹凸欠陥
23 明暗パターン
24 スクリーン
25 カメラ

Claims (2)

  1. 互いに異なる3つの波長の光を、パターン平面上で夫々第1の方向の輝度変化を正弦波状に変化させるとともに、前記互いに異なる3つの波長の光の位相が2π/3ずつ違うようにずらし、且つ、前記第1の方向と異なった第2の方向の輝度変化も正弦波状に変化させて合成照明パターンを合成する工程と、
    前記合成した合成照明パターンを検査対象物に照射する工程と、
    前記検査対象物からの前記合成照明パターンの反射パターンを撮像して波長毎の画像を一括して取得する工程と、
    前記撮像した画像の画素毎に前記各波長毎の輝度値を用いた位相シフト演算を行った結果に基づいて前記検査対象物の表面の凹凸部を欠陥として判別する工程と
    を有することを特徴とする表面欠陥検査方法。
  2. 互いに異なる3つの波長の光を、パターン平面上で夫々第1の方向の輝度変化を正弦波状に変化させるとともに、前記互いに異なる3つの波長の光の位相が2π/3ずつ違うようにずらし、且つ、前記第1の方向と異なった第2の方向の輝度変化も正弦波状に変化させて合成照明パターンを合成する照明パターン合成手段と、
    前記合成した合成照明パターンを検査対象物に照射する照射手段と、
    前記検査対象物からの前記合成照明パターンの反射パターンを撮像して波長毎の画像を一括して取得する撮像手段と、
    前記撮像した画像を波長毎に分解して前記各波長毎の輝度値を用いた位相シフト演算を行った結果に基づいて前記検査対象物の表面の凹凸欠陥を判別する制御手段と
    を有することを特徴とする表面欠陥検査装置。
JP2011258766A 2011-11-28 2011-11-28 表面欠陥検査方法及び表面欠陥検査装置 Active JP5790446B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011258766A JP5790446B2 (ja) 2011-11-28 2011-11-28 表面欠陥検査方法及び表面欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011258766A JP5790446B2 (ja) 2011-11-28 2011-11-28 表面欠陥検査方法及び表面欠陥検査装置

Publications (2)

Publication Number Publication Date
JP2013113657A JP2013113657A (ja) 2013-06-10
JP5790446B2 true JP5790446B2 (ja) 2015-10-07

Family

ID=48709330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011258766A Active JP5790446B2 (ja) 2011-11-28 2011-11-28 表面欠陥検査方法及び表面欠陥検査装置

Country Status (1)

Country Link
JP (1) JP5790446B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969252B2 (ja) * 2017-09-12 2021-11-24 富士通株式会社 検査方法、装置、システム及びプログラム
JP6867932B2 (ja) * 2017-11-14 2021-05-12 株式会社豊田中央研究所 表面検査装置
JP6996413B2 (ja) 2018-04-27 2022-01-17 トヨタ自動車株式会社 解析装置および解析プログラム
CN109087290B (zh) * 2018-07-24 2022-03-08 中国科学院上海光学精密机械研究所 基于光谱估计与电子分光技术的光学元件表面疵病检测方法
JP7124569B2 (ja) * 2018-09-03 2022-08-24 株式会社アイシン 検査装置
JP7314508B2 (ja) * 2018-12-25 2023-07-26 株式会社アイシン 検査装置
JP7062798B1 (ja) 2021-01-21 2022-05-06 株式会社トヨタシステムズ 検査システム及び検査方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525964B2 (ja) * 1995-07-05 2004-05-10 株式会社エフ・エフ・シー 物体の三次元形状計測方法
JP3723057B2 (ja) * 2000-08-02 2005-12-07 シーケーディ株式会社 三次元計測装置
JP4685971B2 (ja) * 2009-09-24 2011-05-18 株式会社ケー・デー・イー 検査システム及び検査方法

Also Published As

Publication number Publication date
JP2013113657A (ja) 2013-06-10

Similar Documents

Publication Publication Date Title
JP5790446B2 (ja) 表面欠陥検査方法及び表面欠陥検査装置
JP5443303B2 (ja) 外観検査装置及び外観検査方法
JP6507653B2 (ja) 検査装置及び検査装置の制御方法
KR101794964B1 (ko) 검사 시스템 및 검사 방법
JP5857675B2 (ja) 表面欠陥検査装置および表面欠陥検査方法
JP5760371B2 (ja) 塗装表面欠陥検査方法
JP2007303853A (ja) 端部検査装置
JP5741186B2 (ja) 欠陥検査装置及び欠陥検査方法
KR20090028505A (ko) 단부 검사 장치
WO2019112055A1 (ja) 形状検査装置及び形状検査方法
JP5682419B2 (ja) 検査方法及び検査装置
JP2007303854A (ja) 端部検査装置
JP2006227652A (ja) フィルタ格子縞板、三次元計測装置及び照明手段
KR20140065348A (ko) 외관 검사 장치 및 외관 검사 방법
JP2014130130A (ja) 検査装置
JP2009097977A (ja) 外観検査装置
JP2010286339A (ja) 光源の指向性検査方法およびその装置
JP2013213836A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP5867123B2 (ja) 3次元形状計測装置およびキャリブレーション方法
JP2007047062A (ja) 表示パネルの検査方法および検査装置
JP2008292367A (ja) 感光ドラム用の外観検査装置
JP7452121B2 (ja) 検査装置及び検査方法
JP7062798B1 (ja) 検査システム及び検査方法
JP2019053020A (ja) 検査方法、装置、システム及びプログラム
JP7459525B2 (ja) 三次元形状計測装置、三次元形状計測方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150421

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150720

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5790446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150