JP6286291B2 - 画像処理装置、画像取得装置、画像処理方法および画像取得方法 - Google Patents

画像処理装置、画像取得装置、画像処理方法および画像取得方法 Download PDF

Info

Publication number
JP6286291B2
JP6286291B2 JP2014126237A JP2014126237A JP6286291B2 JP 6286291 B2 JP6286291 B2 JP 6286291B2 JP 2014126237 A JP2014126237 A JP 2014126237A JP 2014126237 A JP2014126237 A JP 2014126237A JP 6286291 B2 JP6286291 B2 JP 6286291B2
Authority
JP
Japan
Prior art keywords
value
luminance value
target pixel
luminance
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014126237A
Other languages
English (en)
Other versions
JP2016004020A (ja
Inventor
拓矢 安田
拓矢 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2014126237A priority Critical patent/JP6286291B2/ja
Priority to TW104116214A priority patent/TWI582415B/zh
Priority to KR1020150079832A priority patent/KR101671112B1/ko
Priority to CN201510340961.1A priority patent/CN105282461B/zh
Publication of JP2016004020A publication Critical patent/JP2016004020A/ja
Application granted granted Critical
Publication of JP6286291B2 publication Critical patent/JP6286291B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像を処理する技術、および、画像を取得する技術に関する。
近年、様々な電子機器にFPD(Flat Panel Display)が設けられる。このような表示装置の製造において透明な基材上に形成された透明電極膜等の透明なパターンの外観を検査する場合、例えば、基材に光を照射し、反射光を受光することによりパターンの画像が取得される。特許文献1では、光照射部から基材上の撮像領域に至る光軸と基材の法線とのなす照射角と、撮像領域からラインセンサに至る光軸と当該法線とのなす検出角とを等しく維持しつつ、画像を取得する装置が開示されている。当該装置では、画像のコントラストが高くなる照射角および検出角の設定角度が利用される。
なお、特許文献2では、エッジを保存した平滑化モデルを得る手法が開示されている。当該手法では、注目領域における注目画素と周辺画素との画素値乖離度および位置乖離度が算出され、画素値乖離度と位置乖離度とを用いて相関指標値が求められる。そして、この相関指標値から周辺画素のフィルタ係数が求められ、画素値乖離度から注目画素のフィルタ係数が求められ、当該フィルタ係数を用いてフィルタ演算が行われる。また、エッジを保存しつつノイズを除去する平滑化手法として、バイラテラルフィルタやεフィルタも知られている。
特開2013−68460号公報 特開2008−205737号公報
ところで、透明な基材に微小な粒状物質(いわゆる、フィラー)が含まれている場合や、基材の表面に微小な凹凸が存在する場合等には、撮像した画像において多数の粒状要素が存在し、パターンの検査を精度よく行うことができない。エッジを保存しつつノイズを除去する上記画像処理により粒状要素を除去することも考えられるが、粒状要素がパターン領域のエッジよりもコントラストが高い場合、パターン領域のエッジと共に粒状要素も保存されてしまう。
本発明は上記課題に鑑みなされたものであり、パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、パターン領域のエッジを保存しつつ、コントラストが高い粒状要素を除去することを目的としている。
請求項1に記載の発明は、画像処理装置であって、パターン領域を示すとともに、前記パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、各画素を注目画素として、前記注目画素を中心とする所定サイズの領域に含まれる複数の対象画素における輝度値の分布の中央近傍を示す値を代表値として取得する代表値取得部と、前記注目画素の輝度値が前記代表値を中心として設定される輝度値範囲内である場合に、前記注目画素の輝度値を基準値として設定し、前記注目画素の輝度値が前記輝度値範囲外である場合に前記代表値を基準値として設定する基準値設定部と、前記複数の対象画素の輝度値を用いるとともに、各対象画素の輝度値と前記基準値との差が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより前記注目画素の新たな輝度値を求めるフィルタ処理部とを備える。
請求項2に記載の発明は、請求項1に記載の画像処理装置であって、前記代表値取得部が、前記複数の対象画素における輝度値のばらつきを示す値を求め、前記基準値設定部が、前記ばらつきを示す値に基づいて前記輝度値範囲の幅を決定し、前記輝度値範囲を用いて前記基準値を設定する。
請求項3に記載の発明は、請求項1または2に記載の画像処理装置であって、前記フィルタ処理部が、前記複数の対象画素のうち、輝度値が前記代表値を中心として設定される輝度値範囲外となる対象画素の前記輝度値を前記フィルタ処理において除外する。
請求項4に記載の発明は、画像処理装置であって、パターン領域を示すとともに、前記パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、各画素を注目画素として、前記注目画素を中心とする所定サイズの領域に含まれる複数の対象画素における輝度値の分布の中央近傍を示す値を代表値として取得する代表値取得部と、前記注目画素の輝度値が前記代表値を中心として設定される輝度値範囲内である場合に、前記注目画素の輝度値を基準値として設定し、前記注目画素の輝度値が前記輝度値範囲外である場合に前記代表値を基準値として設定する、または、前記注目画素の輝度値にかかわらず前記代表値を基準値として設定する基準値設定部と、前記複数の対象画素の輝度値を用いるとともに、各対象画素の輝度値と前記基準値との差が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより前記注目画素の新たな輝度値を求めるフィルタ処理部とを備え、前記フィルタ処理部が、前記複数の対象画素のうち、輝度値が前記代表値を中心として設定される輝度値範囲外となる対象画素の前記輝度値を前記フィルタ処理において除外する。
請求項に記載の発明は、請求項1ないしのいずれかに記載の画像処理装置であって、前記フィルタ処理において、前記各対象画素と前記注目画素との距離が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなる。
請求項に記載の発明は、請求項1ないしのいずれかに記載の画像処理装置であって、前記画像が、透明基材上に形成された透明電極膜を示す画像である。
請求項に記載の発明は、基材上に形成された薄膜パターンの画像を取得する画像取得装置であって、前記基材を撮像することにより撮像画像を取得する撮像ユニットと、前記撮像画像に対して処理を行う請求項1ないしのいずれかに記載の画像処理装置とを備える。
請求項に記載の発明は、画像処理方法であって、a)パターン領域を示すとともに、前記パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、各画素を注目画素として、前記注目画素を中心とする所定サイズの領域に含まれる複数の対象画素における輝度値の分布の中央近傍を示す値を代表値として取得する工程と、b)前記注目画素の輝度値が前記代表値を中心として設定される輝度値範囲内である場合に、前記注目画素の輝度値を基準値として設定し、前記注目画素の輝度値が前記輝度値範囲外である場合に前記代表値を基準値として設定する工程と、c)前記複数の対象画素の輝度値を用いるとともに、各対象画素の輝度値と前記基準値との差が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより前記注目画素の新たな輝度値を求める工程とを備える。
請求項に記載の発明は、請求項に記載の画像処理方法であって、前記a)工程において、前記複数の対象画素における輝度値のばらつきを示す値が求められ、前記b)工程において、前記ばらつきを示す値に基づいて前記輝度値範囲の幅が決定され、前記輝度値範囲を用いて前記基準値が設定される。
請求項10に記載の発明は、請求項またはに記載の画像処理方法であって、前記c)工程において、前記複数の対象画素のうち、輝度値が前記代表値を中心として設定される輝度値範囲外となる対象画素の前記輝度値が前記フィルタ処理において除外される。
請求項11に記載の発明は、画像処理方法であって、a)パターン領域を示すとともに、前記パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、各画素を注目画素として、前記注目画素を中心とする所定サイズの領域に含まれる複数の対象画素における輝度値の分布の中央近傍を示す値を代表値として取得する工程と、b)前記注目画素の輝度値が前記代表値を中心として設定される輝度値範囲内である場合に、前記注目画素の輝度値を基準値として設定し、前記注目画素の輝度値が前記輝度値範囲外である場合に前記代表値を基準値として設定する、または、前記注目画素の輝度値にかかわらず前記代表値を基準値として設定する工程と、c)前記複数の対象画素の輝度値を用いるとともに、各対象画素の輝度値と前記基準値との差が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより前記注目画素の新たな輝度値を求める工程とを備え、前記c)工程において、前記複数の対象画素のうち、輝度値が前記代表値を中心として設定される輝度値範囲外となる対象画素の前記輝度値が前記フィルタ処理において除外される。
請求項1に記載の発明は、請求項ないし11のいずれかに記載の画像処理方法であって、前記フィルタ処理において、前記各対象画素と前記注目画素との距離が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなる。
請求項1に記載の発明は、請求項ないし1のいずれかに記載の画像処理方法であって、前記画像が、透明基材上に形成された透明電極膜を示す画像である。
請求項1に記載の発明は、基材上に形成された薄膜パターンの画像を取得する画像取得方法であって、前記基材を撮像することにより撮像画像を取得する工程と、前記撮像画像に対して処理を行う請求項ないし1のいずれかに記載の画像処理方法とを備える。
本発明によれば、パターン領域を示すとともに、パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、パターン領域のエッジを保存しつつ、コントラストが高い粒状要素を除去することができる。
画像取得装置の構成を示す図である。 コンピュータの構成を示す図である。 コンピュータが実現する機能構成を示すブロック図である。 基材上のパターンを検査する処理の流れを示す図である。 基材を示す断面図である。 撮像画像を示す図である。 対象領域の輝度値プロファイルを示す図である。 対象領域の輝度値プロファイルを示す図である。 処理済み画像を示す図である。 比較例の処理による処理済み画像を示す図である。
図1は、本発明の一の実施の形態に係る画像取得装置1の構成を示す図である。画像取得装置1は、基材9上に形成された薄膜パターンの画像を取得するとともに、当該画像に基づいて薄膜パターンの外観検査を行う。すなわち、画像取得装置1は、パターン検査装置としての機能を含む。本実施の形態では、基材9はガラス基板または透明フィルムである。薄膜パターンは、例えば、透明電極膜である。基材9上には、反射防止膜等の他の膜が設けられてもよい。以下の説明では、薄膜パターンを単に「パターン」と呼ぶ。基材9は、例えば静電容量型のタッチパネルの製造に用いられる。
画像取得装置1は、基材9を移動する移動機構11、撮像ユニット13およびコンピュータ3を備える。移動機構11は、基材9を上面上に保持するステージ21、ステージ21を基材9の主面に平行な図1中のX方向へと移動するX方向移動部22、並びに、基材9の主面に平行、かつ、X方向に垂直なY方向へとX方向移動部22を移動するY方向移動部23を備える。移動機構11は基材9を後述の撮像領域90に対して相対的に移動する機構である。なお、X方向およびY方向に垂直な図1中のZ方向にステージ21を移動する機構や、Z方向に平行な軸を中心としてステージ21を回動する機構が、移動機構11に追加されてもよい。画像取得装置1では、コンピュータ3が、画像取得装置1の全体制御を担う全体制御部としての役割を果たす。
撮像ユニット13は、基材9上の撮像領域90に向かって光を出射する光照射部131、撮像領域90からの反射光を受光するラインセンサ132、並びに、光照射部131による光の照射角およびラインセンサ132による検出角を変更する角度変更機構133を備える。ここで、照射角とは、光照射部131から撮像領域90に至る光軸J1と基材9の法線Nとのなす角θ1である。検出角とは、撮像領域90からラインセンサ132に至る光軸J2と法線Nとのなす角θ2である。
光照射部131は、パターンに対して透過性を有する波長の光を出射する。光は、少なくとも線状の撮像領域90に照射される。光照射部131は、X方向に配列された複数のLED、および、LEDからの光を均一化して、X方向に伸びる撮像領域90へと導く光学系を備える。ラインセンサ132は、1次元の撮像素子、および、撮像領域90と撮像素子の受光面とを光学的に共役とする光学系を備える。なお、光照射部131、ラインセンサ132および角度変更機構133を基材9の法線Nの方向に一体的に移動するオートフォーカス機構が撮像ユニット13に設けられてもよい。
後述する撮像画像の取得時には、基材9は、移動機構11により、撮像領域90と交差する方向に移動する。すなわち、移動機構11は基材9を撮像領域90に対して相対的に移動する機構である。基材9の移動に並行して、ラインセンサ132により、線状の撮像領域90のライン画像が高速に繰り返し取得され、2次元の撮像画像が取得される。本実施の形態では、基材9は撮像領域90に対して垂直なY方向に移動するが、撮像領域90は移動方向に対して傾斜してもよい。基材9を撮像する撮像ユニット13には移動機構11の一部が含まれると捉えられてよい。
角度変更機構133は、照射角θ1と検出角θ2とを等しく維持しつつ照射角θ1および検出角θ2を変更する。したがって、以下の説明における検出角の大きさは照射角の大きさでもあり、照射角の大きさは検出角の大きさでもある。光照射部131およびラインセンサ132は、角度変更機構133を介して、ベース壁134に支持される。ベース壁134は、Y方向およびZ方向に平行な板部材である。
ベース壁134には、撮像領域90を中心とする円弧状の第1開口201および第2開口202が設けられる。角度変更機構133は、第1開口201に沿って光照射部131を移動させるためのモータ135、並びに、ガイド部、ラックおよびピニオン(図示省略)を有し、第2開口202に沿ってラインセンサ132を移動させるためのモータ136、並びに、ガイド部、ラックおよびピニオン(図示省略)をさらに有する。
図2は、コンピュータ3の構成を示す図である。コンピュータ3は各種演算処理を行うCPU31、基本プログラムを記憶するROM32および各種情報を記憶するRAM33を含む一般的なコンピュータシステムの構成となっている。コンピュータ3は、情報記憶を行う固定ディスク34、画像等の各種情報の表示を行うディスプレイ35、操作者からの入力を受け付けるキーボード36aおよびマウス36b、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体30から情報の読み取りを行う読取装置37、並びに、画像取得装置1の他の構成との間で信号を送受信する通信部38をさらに含む。
コンピュータ3では、事前に読取装置37を介して記録媒体30からプログラム300が読み出されて固定ディスク34に記憶されている。CPU31は、プログラム300に従ってRAM33や固定ディスク34を利用しつつ演算処理を実行し、後述の機能を実現する。
図3は、コンピュータ3が実現する機能構成を示すブロック図であり、コンピュータ3のCPU31、ROM32、RAM33、固定ディスク34等により実現される機能構成を示している。コンピュータ3は、画像処理部41、検査部42および記憶部49を有する。画像処理部41は、代表値取得部411、基準値設定部412およびフィルタ処理部413を有し、撮像ユニット13により取得される撮像画像に対して後述の画像処理を行う。記憶部49は、撮像画像データ491を記憶する。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。
図4は、基材9上のパターンを検査する処理の流れを示す図である。パターン検査では、まず、検査対象のパターンが形成された基材9が準備され、ステージ21上に載置される(ステップS11)。図5は、基材9を示す断面図である。既述のように、基材9の主面上には、透明電極膜のパターン91が形成される。また、基材9の内部には、微小な粒状物質92(いわゆる、フィラー)が含まれる。粒状物質92は、基材9の全体に分散している。
本実施の形態では、撮像画像においてパターンを示す領域(以下、「パターン領域」という。)のエッジのコントラストを高くすることが可能な照射角および検出角の角度が、基材9上の膜構造(膜の種類と厚さとの組合せ)毎に予め求められている。パターン領域のエッジのコントラストは、撮像画像におけるパターン領域のエッジ近傍におけるパターン領域と背景領域との間の輝度差(の絶対値)である。コンピュータ3では、ステージ21上の基材9の膜構造に合わせて、照射角および検出角の設定すべき角度(以下、「設定角度」という。)が特定され、角度変更機構133を制御することにより、照射角および検出角が当該設定角度となる(ステップS12)。
続いて、光照射部131からの光の出射が開始され、基材9上の検査すべき位置が撮像領域90を通過するように、移動機構11により基材9がY方向に連続的に移動する。基材9の移動に並行して、ラインセンサ132では、線状の撮像領域90のライン画像が高速に繰り返し取得される。これにより、パターンを示す2次元の撮像画像が取得され、記憶部49にて撮像画像データ491として記憶される(ステップS13)。
図6は、撮像画像の一部を示す図である。図6では、各領域に付す平行斜線の幅が狭いほど、当該領域の輝度(輝度値の平均値)が低いことを示す。撮像画像8は、パターン領域81および背景領域82を含む。背景領域82は、非パターン領域である。また、撮像画像8には、多数の微小な粒状要素831,832,833が含まれる。ここで、粒状要素831〜833は、基材9の内部に存在する既述の粒状物質92や基材9の主面における微小な凹凸、あるいは、ノイズ等に起因する。粒状要素831〜833のうち、図6中にて符号831を付す複数の粒状要素は最も輝度が低く、符号832を付す粒状要素は最も輝度が高い。また、各粒状要素831〜833と当該粒状要素831〜833の周囲との間の輝度差を、当該粒状要素831〜833のコントラストとして、粒状要素831のコントラストは、パターン領域81のエッジ811のコントラストよりも高い。粒状要素832,833のコントラストは、パターン領域81のエッジ811のコントラストよりも低い。
代表値取得部411では、撮像画像8において各画素を注目画素として、当該注目画素を中心とする所定サイズの対象領域が設定され、対象領域に含まれる複数の画素(以下、「対象画素」という。)が特定される。例えば、図6中にて符号71を付す画素が注目画素である場合、符号711を付す対象領域(破線の矩形にて示す。)に含まれる全ての画素が対象画素となる。図6中にて符号72を付す画素が注目画素である場合、符号721を付す対象領域(破線の矩形にて示す。)に含まれる全ての画素が対象画素となる。対象領域は粒状要素よりも十分に大きいことが好ましい。以下の処理では、注目画素71,72も対象画素の1つとして扱われる。なお、各注目画素の対象領域は、当該注目画素に対する後述のフィルタ処理におけるフィルタ範囲に相当する。
図7および図8は、対象領域の輝度値プロファイルを示す図である。図7では、図6中の対象領域711において注目画素71を中心として横方向に並ぶ対象画素の輝度値を示し、図8では、図6中の対象領域721において注目画素72を中心として横方向に並ぶ対象画素の輝度値を示している。また、図7および図8では、注目画素の位置に符号71,72を付し、パターン領域81、背景領域82、粒状要素831,832の範囲を同じ符号を付す矢印にて示している。図8に示すように、背景領域82において粒状要素831に含まれない非粒状領域と粒状要素831との輝度差は、背景領域82の非粒状領域とパターン領域81との輝度差よりも大きい。
注目画素に対する複数の対象画素が特定されると、当該複数の対象画素における輝度値の代表値、および、輝度値のばらつきを示す値が取得される(ステップS14)。輝度値の代表値は、例えば平均値であり、輝度値のばらつきを示す値は、例えば標準偏差である。実際には、撮像画像8の1つの画素を注目画素として、ステップS14の処理、並びに、後述のステップS15〜S17の処理が順に行われ、これらの一連の処理が、注目画素を他の画素に変更しつつ繰り返される。図4では、処理の繰り返しを示すブロックの図示を省略している。以下の記載では、画素71が注目画素である場合と、画素72が注目画素である場合とを対比するため、複数の画素をそれぞれ注目画素とする場合の処理を並行して説明する。
基準値設定部412では、輝度値の代表値をm、輝度値のばらつきを示す値をd、所定の係数をsとして、(m−s・d)を下限値とし、(m+s・d)を上限値とする輝度値範囲が、基準値判定範囲として決定される。そして、図7の例のように、注目画素71の輝度値P1が基準値判定範囲R1内(輝度値が上限値または下限値である場合を含む。)である場合に、当該注目画素71の輝度値P1が、後述のフィルタ処理にて利用される基準値として設定される。また、図8の例のように、注目画素72の輝度値P2が基準値判定範囲R2外である場合に、輝度値の代表値PAが基準値として設定される(ステップS15)。図6の対象領域721では、背景領域82の面積がパターン領域81の面積よりも十分に大きく、かつ、当該背景領域82において粒状要素831に含まれない非粒状領域が、粒状要素831に含まれる領域よりも十分に大きい。したがって、図8中の輝度値の代表値PAは、背景領域82の非粒状領域における輝度値に近似する。なお、上記係数sは、粒状要素のサイズや分布、あるいは、粒状要素のコントラスト等を考慮して適宜決定される(対象領域のサイズ等において同様)。
基準値設定部412では、さらに、注目画素71,72に対する複数の対象画素のうち、輝度値が当該基準値判定範囲R1,R2内となる対象画素が、抽出画素として特定される(ステップS16)。言い換えると、複数の対象画素のうち、輝度値が当該基準値判定範囲R1,R2外となる対象画素が除外され、残りの対象画素が抽出画素となる。図7の例では、背景領域82に含まれる対象画素が除外され、図8の例では、粒状要素831に含まれる対象画素が除外される。
続いて、フィルタ処理部413では、注目画素に対して所定のフィルタ処理が行われる。フィルタ処理では、フィルタ範囲内の複数の画素の輝度値に対して係数(重み付け)を乗じて足し込む演算が行われる。ここで、一般的なフィルタ処理の1つであるバイラテラルフィルタについて説明する。バイラテラルフィルタでは、フィルタ範囲の行方向のサイズを(2fx+1)、列方向のサイズを(2fy+1)とし、画像における注目画素の輝度値をi(x,y)として表す場合に、当該注目画素の新たな輝度値i0(x,y)が、所定の係数σ,σを用いて数1にて求められる。
Figure 0006286291
バイラテラルフィルタでは、(輝度値が等しい場合に)フィルタ範囲に含まれる各画素と注目画素との距離が小さいほど当該画素の輝度値に対する重み付けが大きくなるため、注目画素に近い画素を中心とした平滑化の作用が含まれる。数1中の係数σは、バイラテラルフィルタ処理により画像が平滑化される度合いを調整する。また、バイラテラルフィルタでは、(注目画素との距離が等しい場合に)フィルタ範囲に含まれる各画素の輝度値と注目画素の輝度値との差が小さいほど当該画素の輝度値に対する重み付けが大きくなる。したがって、フィルタ範囲に、明暗(輝度)が異なる2つの領域が存在する場合に、注目画素が位置する領域とは異なる領域の新たな輝度値に対する影響が低下する。その結果、当該2つの領域間のエッジがぼけにくくなる、すなわち、エッジが保存され易くなる。数1中の係数σは、バイラテラルフィルタ処理によりエッジが保存される度合いを調整する。
画像取得装置1におけるフィルタ処理部413では、バイラテラルフィルタを変形したフィルタ処理が行われる。具体的には、数1中の「i(x+k,y+l)」にて特定される対象画素が抽出画素ではないkおよびlの組合せについては、計算は行われない(すなわち、当該kおよびlの組合せにおける値が0である。)。また、数1における「i(x,y)」が基準値に置き換えられる。したがって、輝度値の代表値PAが基準値として設定される図8の例では、粒状要素831に含まれる注目画素72の新たな輝度値を求める際に、各抽出画素の輝度値と基準値PAとの差が小さいほど当該抽出画素の輝度値に対する重み付けが大きくなる。その結果、注目画素72の新たな輝度値は、パターン領域81の輝度値および粒状要素831の輝度値よりも、輝度値の代表値PAに近似した値となり、背景領域82の非粒状領域における輝度値に比較的近似する。
一方、図7の例のように、注目画素71の輝度値P1が基準値として設定される場合には、各抽出画素の輝度値と注目画素71の輝度値P1との差が小さいほど当該抽出画素の輝度値に対する重み付けが大きくなる。よって、注目画素71の新たな輝度値は、注目画素71の元の輝度値に比較的近似する。このようにして、注目画素に対して複数の抽出画素の輝度値を用いるフィルタ処理が行われ、当該注目画素の新たな輝度値が求められる(ステップS17)。
既述のように、実際には、撮像画像8の1つの画素を注目画素とするステップS14〜S17の処理が、注目画素を他の画素に変更しつつ繰り返される。そして、撮像画像8の全ての画素に対して新たな輝度値が求められることにより、図9に示すように、撮像画像8に対して上記フィルタ処理を施した画像8a(以下、「処理済み画像8a」という。)が生成され、記憶部49にて処理済み画像データ492として記憶される。
図6の撮像画像8において、コントラストが高い粒状要素831に含まれる注目画素に対するフィルタ処理では、輝度値の代表値が基準値として設定されるため、粒状要素831の周囲の輝度値に比較的近似した値が新たな輝度値として取得される。これにより、粒状要素831が、図9に示す処理済み画像8aにおいておよそ除去される。図6の撮像画像8においてコントラストが低い微小な粒状要素832,833は、通常の平滑化成分により、図9に示す処理済み画像8aにおいておよそ除去される。処理済み画像8aは、必要に応じてディスプレイ35に表示されてよい。
検査部42には、欠陥を含まないパターンを示す参照画像(のデータ)が記憶されており、処理済み画像と参照画像とを比較することにより、パターンにおける欠陥の有無が判定される(ステップS18)。処理済み画像に基づくパターンの検査は参照画像との比較以外の手法にて行われてもよい。また、パターン領域のエッジ間の距離(パターンの幅)等の測定が行われ、測定結果に基づいてパターンの良否が判定されてもよい。
ここで、一般的なバイラテラルフィルタを用いる比較例の処理について説明する。比較例の処理では、数1を用いてフィルタ処理が行われる。既述のように、数1のフィルタ処理では、各注目画素に対する対象領域に含まれる各対象画素の輝度値と当該注目画素の輝度値との差が小さいほど当該対象画素の輝度値に対する重み付けが大きくなる。したがって、図8の例のように、粒状要素831に含まれる注目画素72に対する新たな輝度値は、粒状要素831における輝度値に近似し、図10に示すように、比較例の処理による処理済み画像99では、撮像画像8における粒状要素831が残存する。
これに対し、画像取得装置1では、各注目画素を中心とする対象領域における輝度値の代表値が取得され、当該注目画素の輝度値が当該代表値を中心として設定される基準値判定範囲内である場合に、当該注目画素の輝度値が基準値として設定され、当該基準値判定範囲外である場合に、当該代表値が基準値として設定される。そして、対象領域に含まれる各対象画素の輝度値と基準値との差が小さいほど当該対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより、注目画素の新たな輝度値が求められる。これにより、パターン領域を示すとともに、パターン領域のエッジよりもコントラストが高い粒状要素を含む撮像画像において、パターン領域のエッジを保存しつつ、コントラストが高い粒状要素を除去することができる。その結果、パターンの検査(欠陥の検出や形状の測定を含む。)を高精度かつ安定して行うことができる。
基準値の設定に用いられる基準値判定範囲の幅が、対象領域内の複数の対象画素における輝度値のばらつきを示す値に基づいて決定されることにより、適切な基準値判定範囲を容易に設定することができる。さらに、当該複数の対象画素のうち、輝度値が基準値判定範囲外となる対象画素の当該輝度値がフィルタ処理において除外されることにより、異常な輝度値がフィルタ処理にて利用されることが防止され、注目画素の新たな輝度値を適切に求めることができる。
上記画像取得装置1では様々な変形が可能である。
代表値取得部411にて取得される輝度値の代表値は、対象領域内の複数の対象画素における輝度値の分布の中央近傍を示す値であればよく、中央値等の他の統計量であってよい。また、輝度値の代表値は、輝度値が基準値判定範囲内に含まれる対象画素(抽出画素)における輝度値の平均値や中央値等であってもよい。同様に、複数の対象画素における輝度値のばらつきを示す値は、標準偏差以外に、統計的ばらつきを示す他の統計量であってよい。
各注目画素に対する対象領域において、輝度値のばらつきを示す値が所定値以上となる場合にのみ、数1における「i(x,y)」を基準値に置き換えた上記フィルタ処理が行われ、輝度値のばらつきを示す値が所定値未満となる場合に、一般的なバイラテラルフィルタ処理(比較例の処理)が行われてもよい。この場合、撮像画像のうち、コントラストが高い粒状要素831を含む領域のみに対して、基準値を利用する上記フィルタ処理を行うことが可能となる。換言すると、このような領域のみを示す画像(撮像画像の一部)に対して、上記フィルタ処理が行われる。
上記実施の形態では、基準値の設定に用いられる輝度値範囲(基準値判定範囲)の幅が、複数の対象画素における輝度値のばらつきを示す値に基づいて決定されるが、基材9の種類等によっては、基準値の設定に用いられる輝度値範囲の幅が予め定められてもよい。このように、基準値の設定に用いられる輝度値範囲は、演算により求められる可変の幅、または、予め定められる一定の幅にて設定される。また、フィルタ処理において除外する対象画素の選択(抽出画素の特定)に用いられる輝度値範囲は、代表値を中心として設定されるのであるならば、基準値判定範囲と異なっていてもよい。
基準値設定部412では、注目画素の輝度値にかかわらず、対象領域における輝度値の代表値を基準値として設定することも可能である。この場合も、各対象画素の輝度値と基準値との差が小さいほど当該対象画素の輝度値に対する重み付けが大きくなるフィルタ処理により、処理済み画像において、パターン領域のエッジを保存しつつ、コントラストが高い粒状要素を除去することができる。一方、処理済み画像においてエッジが鈍ることを抑制するには、注目画素の輝度値が当該代表値を中心として設定される輝度値範囲内である場合に、当該注目画素の輝度値が基準値として設定され、当該輝度値範囲外である場合に、当該代表値が基準値として設定されることが好ましい。
上記実施の形態では、エッジ保存型平滑化フィルタの一つであるバイラテラルフィルタを変形した処理が行われるが、フィルタ処理部413では、各対象画素の輝度値と基準値との差が小さいほど当該対象画素の輝度値に対する重み付けが大きくなる他のフィルタ処理が行われてもよい。このようなフィルタ処理として、εフィルタにおける注目画素の輝度値を基準値に置き換えた処理や、特開2008−205737号公報(上記特許文献2)に記載の手法における注目画素の輝度値を基準値に置き換えた処理を例示することができる。
処理済み画像の用途等によっては、各注目画素の対象領域に含まれる複数の対象画素から抽出画素を特定するステップS16の処理が省略され、フィルタ処理部413におけるフィルタ処理において、対象領域に含まれる全ての対象画素の輝度値を用いて、注目画素の新たな輝度値が求められてよい。
既述のように、内部に含まれるフィラーや表面の微小な凹凸等の影響により、透明基材を撮像した画像では、パターン領域のエッジよりもコントラストが高い粒状要素が含まれ易くなる。したがって、画像においてパターン領域のエッジを保存しつつ、コントラストが高い粒状要素を除去することが可能な上記画像処理は、透明基材上に形成された透明電極膜を示す画像に対する処理として特に適しているといえる。もちろん、有色の基材や基材以外の対象物を撮像して、パターン領域のエッジよりもコントラストが高い粒状要素を含む画像が取得される場合に、上記画像処理が行われてもよい。画像処理装置である画像処理部41による処理は、基材9上のパターンの検査以外に、様々な用途に利用可能である。
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
1 画像取得装置
8 撮像画像
8a 処理済み画像
9 基材
13 撮像ユニット
41 画像処理部
71,72 注目画素
81 パターン領域
91 パターン
411 代表値取得部
412 基準値設定部
413 フィルタ処理部
711,721 対象領域
811 エッジ
831〜833 粒状要素
P1,P2 (注目画素の)輝度値
PA 代表値
R1,R2 基準値判定範囲
S11〜S18 ステップ

Claims (14)

  1. 画像処理装置であって、
    パターン領域を示すとともに、前記パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、各画素を注目画素として、前記注目画素を中心とする所定サイズの領域に含まれる複数の対象画素における輝度値の分布の中央近傍を示す値を代表値として取得する代表値取得部と、
    前記注目画素の輝度値が前記代表値を中心として設定される輝度値範囲内である場合に、前記注目画素の輝度値を基準値として設定し、前記注目画素の輝度値が前記輝度値範囲外である場合に前記代表値を基準値として設定する基準値設定部と、
    前記複数の対象画素の輝度値を用いるとともに、各対象画素の輝度値と前記基準値との差が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより前記注目画素の新たな輝度値を求めるフィルタ処理部と、
    を備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記代表値取得部が、前記複数の対象画素における輝度値のばらつきを示す値を求め、
    前記基準値設定部が、前記ばらつきを示す値に基づいて前記輝度値範囲の幅を決定し、前記輝度値範囲を用いて前記基準値を設定することを特徴とする画像処理装置。
  3. 請求項1または2に記載の画像処理装置であって、
    前記フィルタ処理部が、前記複数の対象画素のうち、輝度値が前記代表値を中心として設定される輝度値範囲外となる対象画素の前記輝度値を前記フィルタ処理において除外することを特徴とする画像処理装置。
  4. 画像処理装置であって、
    パターン領域を示すとともに、前記パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、各画素を注目画素として、前記注目画素を中心とする所定サイズの領域に含まれる複数の対象画素における輝度値の分布の中央近傍を示す値を代表値として取得する代表値取得部と、
    前記注目画素の輝度値が前記代表値を中心として設定される輝度値範囲内である場合に、前記注目画素の輝度値を基準値として設定し、前記注目画素の輝度値が前記輝度値範囲外である場合に前記代表値を基準値として設定する、または、前記注目画素の輝度値にかかわらず前記代表値を基準値として設定する基準値設定部と、
    前記複数の対象画素の輝度値を用いるとともに、各対象画素の輝度値と前記基準値との差が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより前記注目画素の新たな輝度値を求めるフィルタ処理部と、
    を備え、
    前記フィルタ処理部が、前記複数の対象画素のうち、輝度値が前記代表値を中心として設定される輝度値範囲外となる対象画素の前記輝度値を前記フィルタ処理において除外することを特徴とする画像処理装置。
  5. 請求項1ないしのいずれかに記載の画像処理装置であって、
    前記フィルタ処理において、前記各対象画素と前記注目画素との距離が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなることを特徴とする画像処理装置。
  6. 請求項1ないしのいずれかに記載の画像処理装置であって、
    前記画像が、透明基材上に形成された透明電極膜を示す画像であることを特徴とする画像処理装置。
  7. 基材上に形成された薄膜パターンの画像を取得する画像取得装置であって、
    前記基材を撮像することにより撮像画像を取得する撮像ユニットと、
    前記撮像画像に対して処理を行う請求項1ないしのいずれかに記載の画像処理装置と、
    を備えることを特徴とする画像取得装置。
  8. 画像処理方法であって、
    a)パターン領域を示すとともに、前記パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、各画素を注目画素として、前記注目画素を中心とする所定サイズの領域に含まれる複数の対象画素における輝度値の分布の中央近傍を示す値を代表値として取得する工程と、
    b)前記注目画素の輝度値が前記代表値を中心として設定される輝度値範囲内である場合に、前記注目画素の輝度値を基準値として設定し、前記注目画素の輝度値が前記輝度値範囲外である場合に前記代表値を基準値として設定する工程と、
    c)前記複数の対象画素の輝度値を用いるとともに、各対象画素の輝度値と前記基準値との差が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより前記注目画素の新たな輝度値を求める工程と、
    を備えることを特徴とする画像処理方法。
  9. 請求項に記載の画像処理方法であって、
    前記a)工程において、前記複数の対象画素における輝度値のばらつきを示す値が求められ、
    前記b)工程において、前記ばらつきを示す値に基づいて前記輝度値範囲の幅が決定され、前記輝度値範囲を用いて前記基準値が設定されることを特徴とする画像処理方法。
  10. 請求項またはに記載の画像処理方法であって、
    前記c)工程において、前記複数の対象画素のうち、輝度値が前記代表値を中心として設定される輝度値範囲外となる対象画素の前記輝度値が前記フィルタ処理において除外されることを特徴とする画像処理方法。
  11. 画像処理方法であって、
    a)パターン領域を示すとともに、前記パターン領域のエッジよりもコントラストが高い粒状要素を含む画像において、各画素を注目画素として、前記注目画素を中心とする所定サイズの領域に含まれる複数の対象画素における輝度値の分布の中央近傍を示す値を代表値として取得する工程と、
    b)前記注目画素の輝度値が前記代表値を中心として設定される輝度値範囲内である場合に、前記注目画素の輝度値を基準値として設定し、前記注目画素の輝度値が前記輝度値範囲外である場合に前記代表値を基準値として設定する、または、前記注目画素の輝度値にかかわらず前記代表値を基準値として設定する工程と、
    c)前記複数の対象画素の輝度値を用いるとともに、各対象画素の輝度値と前記基準値との差が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなるフィルタ処理を行うことにより前記注目画素の新たな輝度値を求める工程と、
    を備え、
    前記c)工程において、前記複数の対象画素のうち、輝度値が前記代表値を中心として設定される輝度値範囲外となる対象画素の前記輝度値が前記フィルタ処理において除外されることを特徴とする画像処理方法。
  12. 請求項ないし11のいずれかに記載の画像処理方法であって、
    前記フィルタ処理において、前記各対象画素と前記注目画素との距離が小さいほど前記各対象画素の輝度値に対する重み付けが大きくなることを特徴とする画像処理方法。
  13. 請求項ないし1のいずれかに記載の画像処理方法であって、
    前記画像が、透明基材上に形成された透明電極膜を示す画像であることを特徴とする画像処理方法。
  14. 基材上に形成された薄膜パターンの画像を取得する画像取得方法であって、
    前記基材を撮像することにより撮像画像を取得する工程と、
    前記撮像画像に対して処理を行う請求項ないし1のいずれかに記載の画像処理方法と、
    を備えることを特徴とする画像取得方法。
JP2014126237A 2014-06-19 2014-06-19 画像処理装置、画像取得装置、画像処理方法および画像取得方法 Expired - Fee Related JP6286291B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014126237A JP6286291B2 (ja) 2014-06-19 2014-06-19 画像処理装置、画像取得装置、画像処理方法および画像取得方法
TW104116214A TWI582415B (zh) 2014-06-19 2015-05-21 影像處理裝置,影像取得裝置,影像處理方法及影像取得方法
KR1020150079832A KR101671112B1 (ko) 2014-06-19 2015-06-05 화상 처리 장치, 화상 취득 장치, 화상 처리 방법 및 화상 취득 방법
CN201510340961.1A CN105282461B (zh) 2014-06-19 2015-06-18 图像的处理装置和取得装置、处理方法以及取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014126237A JP6286291B2 (ja) 2014-06-19 2014-06-19 画像処理装置、画像取得装置、画像処理方法および画像取得方法

Publications (2)

Publication Number Publication Date
JP2016004020A JP2016004020A (ja) 2016-01-12
JP6286291B2 true JP6286291B2 (ja) 2018-02-28

Family

ID=55088046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014126237A Expired - Fee Related JP6286291B2 (ja) 2014-06-19 2014-06-19 画像処理装置、画像取得装置、画像処理方法および画像取得方法

Country Status (4)

Country Link
JP (1) JP6286291B2 (ja)
KR (1) KR101671112B1 (ja)
CN (1) CN105282461B (ja)
TW (1) TWI582415B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776877B (zh) * 2016-11-28 2020-05-01 常州市星网计算机技术有限公司 摩托车零件型号自动识别方法
JP2019036821A (ja) * 2017-08-14 2019-03-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7173763B2 (ja) * 2018-06-20 2022-11-16 株式会社日本マイクロニクス 画像生成装置および画像生成方法
CN110645909A (zh) * 2019-08-16 2020-01-03 广州瑞松北斗汽车装备有限公司 车身外观缺陷检测方法及检测系统
KR20210152075A (ko) * 2020-06-05 2021-12-15 삼성디스플레이 주식회사 표시 기판 검사 방법 및 이를 수행하는 표시 기판 검사 장치
WO2022163859A1 (ja) * 2021-02-01 2022-08-04 三菱重工業株式会社 検査装置、および検査方法
KR20230170294A (ko) 2022-06-10 2023-12-19 마채준 휠체어가 들어갈 수 있는 치유농업용 텃밭 상자(화단)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1310189C (zh) * 2003-06-13 2007-04-11 金宝电子工业股份有限公司 数位相机中降低影像杂讯及加强边缘的方法
JP4635651B2 (ja) * 2005-03-08 2011-02-23 パナソニック株式会社 パターン認識装置およびパターン認識方法
KR20070099398A (ko) * 2006-04-03 2007-10-09 삼성전자주식회사 기판검사장치와 이를 이용한 기판검사방법
JP2008205737A (ja) * 2007-02-19 2008-09-04 Olympus Corp 撮像システム、画像処理プログラム、画像処理方法
JP5052301B2 (ja) * 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
JP2009182735A (ja) * 2008-01-30 2009-08-13 Kyocera Corp ノイズ処理方法および画像処理装置、並びに情報コード読取装置
JP5416377B2 (ja) * 2008-08-28 2014-02-12 アンリツ産機システム株式会社 画像処理装置及びそれを備えたx線異物検出装置並びに画像処理方法
JP2010052304A (ja) * 2008-08-28 2010-03-11 Canon Inc 画像形成装置
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
KR101590868B1 (ko) * 2009-07-17 2016-02-02 삼성전자주식회사 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체
CN101782530A (zh) * 2010-01-29 2010-07-21 天津大学 薄膜表面微观缺陷扩展的光学检测方法及实施装置
KR101231212B1 (ko) * 2011-03-11 2013-02-07 이화여자대학교 산학협력단 영상에서의 잡음 제거 방법
JPWO2012153568A1 (ja) * 2011-05-10 2014-07-31 オリンパスメディカルシステムズ株式会社 医用画像処理装置
KR101376450B1 (ko) * 2011-06-01 2014-03-19 다이닛뽕스크린 세이조오 가부시키가이샤 화상취득장치, 패턴검사장치 및 화상취득방법
JP5728348B2 (ja) * 2011-09-21 2015-06-03 株式会社Screenホールディングス パターン画像表示装置およびパターン画像表示方法
JP5810778B2 (ja) * 2011-09-15 2015-11-11 株式会社リコー 画像処理装置および画像処理方法
KR20130031572A (ko) * 2011-09-21 2013-03-29 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
JP2013235517A (ja) * 2012-05-10 2013-11-21 Sharp Corp 画像処理装置、画像表示装置、コンピュータプログラム及び記録媒体
WO2014049667A1 (ja) * 2012-09-28 2014-04-03 株式会社島津製作所 デジタル画像処理方法および撮影装置
TWI612712B (zh) * 2012-10-25 2018-01-21 應用材料股份有限公司 繞射光學元件及用於圖案化薄膜電化學元件的方法

Also Published As

Publication number Publication date
KR101671112B1 (ko) 2016-10-31
CN105282461B (zh) 2018-06-26
TWI582415B (zh) 2017-05-11
CN105282461A (zh) 2016-01-27
KR20150145695A (ko) 2015-12-30
TW201612505A (en) 2016-04-01
JP2016004020A (ja) 2016-01-12

Similar Documents

Publication Publication Date Title
JP6286291B2 (ja) 画像処理装置、画像取得装置、画像処理方法および画像取得方法
US10867382B2 (en) Detecting mura defects in master panel of flat panel displays during fabrication
KR102084535B1 (ko) 결함 검사 장치, 결함 검사 방법
US11769248B2 (en) Image processing device, image processing method, and image processing non-transitory computer readable medium for verifying detectable range of defect image
CN108022219B (zh) 一种二维图像灰度修正方法
JP2010181328A (ja) 太陽電池ウェハ表面の検査装置,太陽電池ウェハ表面の検査用プログラム,太陽電池ウェハ表面の検査方法
Bátor et al. A comparison of a track shape analysis-based automated slide scanner system with traditional methods
JP6191623B2 (ja) 画像生成装置、欠陥検査装置および欠陥検査方法
JP2006242759A (ja) 周期性パターンのムラ検査方法
EP4010873B1 (en) Use of an hdr image in a visual inspection process
JP2008249413A (ja) 欠陥検出方法および装置
CN117252861A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
JP2019066222A (ja) 外観検査装置および外観検査方法
JP2012237585A (ja) 欠陥検査方法
KR20160097651A (ko) 유효화 영상처리기법을 이용한 시료의 패턴 검사 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US20170024862A1 (en) Method and system for estimating point spread function
TWI751184B (zh) 產生一樣本之三維(3-d)資訊之方法及三維(3-d)量測系統
US20230138331A1 (en) Motion in images used in a visual inspection process
JP2013200238A (ja) 画像検査方法および画像検査装置
JP6182024B2 (ja) ムラ測定方法およびムラ測定装置
JP2021103095A (ja) 厚み測定装置
JP2009250653A (ja) 表面検査方法および装置
KR102584696B1 (ko) 표시 패널의 광학 검사 방법
CN104835123B (zh) 基于先验模型的光片显微成像条纹噪声去除方法
JP5998691B2 (ja) 検査方法、検査装置及びガラス板の製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180205

R150 Certificate of patent or registration of utility model

Ref document number: 6286291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees