JP6338836B2 - 情報コード読取装置 - Google Patents
情報コード読取装置 Download PDFInfo
- Publication number
- JP6338836B2 JP6338836B2 JP2013195606A JP2013195606A JP6338836B2 JP 6338836 B2 JP6338836 B2 JP 6338836B2 JP 2013195606 A JP2013195606 A JP 2013195606A JP 2013195606 A JP2013195606 A JP 2013195606A JP 6338836 B2 JP6338836 B2 JP 6338836B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information code
- unit
- light receiving
- receiving sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 121
- 230000001629 suppression Effects 0.000 claims description 55
- 238000003384 imaging method Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 29
- 239000003550 marker Substances 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 18
- 230000004075 alteration Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Lenses (AREA)
Description
情報コードを撮像可能な受光センサと、
前記情報コードからの光を集め、前記情報コードの像を前記受光センサに結像させる結像部と、
予めぼけ状態が定められたぼけ画像を前記受光センサに生成させる被写界深度拡大部と、
前記受光センサによって撮像された撮像画像を用い、前記被写界深度拡大部によるぼけ状態に対応する所定のぼけ状態抑制処理を行う復元部と、
前記復元部によって前記ぼけ状態抑制処理が行われた画像を解析して解読処理を行う解読部と、
前記受光センサによって撮像された前記撮像画像から、前記情報コードのサイズを検出するサイズ検出部と、
を備え、
前記復元部は、前記サイズ検出部によって検出されたサイズが所定サイズよりも大きい場合に、前記撮像画像又は当該撮像画像の一部領域の画像から画素を間引いた画像に対して前記ぼけ状態抑制処理を行い、前記サイズ検出部によって検出されたサイズが前記所定サイズ以下の場合に、前記撮像画像又は当該撮像画像の一部領域の画像に対して前記ぼけ状態抑制処理を行い、
前記受光センサからの距離範囲毎に、各距離範囲に対応するPSFデータが予めそれぞれ取得されて記憶され、
前記復元部は、撮像画像内において検出されるマーカ光の照射位置の基準位置からのずれ量によって把握される前記情報コードまでの距離に応じた前記PSFデータを選定し、その選定されたPSFデータを用いて前記ぼけ状態抑制処理を行うことを特徴とする。
情報コードを撮像可能な受光センサと、
前記情報コードからの光を集め、前記情報コードの像を前記受光センサに結像させる結像部と、
予めぼけ状態が定められたぼけ画像を前記受光センサに生成させる被写界深度拡大部と、
前記受光センサによって撮像された撮像画像の中から、前記情報コードが配されるコード画像領域の画像を抽出する抽出部と、
前記抽出部によって抽出された前記コード画像領域の画像のみに、前記被写界深度拡大部によるぼけ状態に対応する所定のぼけ状態抑制処理を行う復元部と、
前記復元部によって前記ぼけ状態抑制処理が行われた前記コード画像領域の画像を解析して解読処理を行う解読部と、
を有し、
前記受光センサからの距離範囲毎に、各距離範囲に対応するPSFデータが予めそれぞれ取得されて記憶され、
前記復元部は、撮像画像内において検出されるマーカ光の照射位置の基準位置からのずれ量によって把握される前記情報コードまでの距離に応じた前記PSFデータを選定し、その選定されたPSFデータを用いて前記ぼけ状態抑制処理を行い、
前記受光センサによって撮像された前記撮像画像から、前記情報コードのサイズを検出するサイズ検出部を備え、
前記復元部は、前記サイズ検出部によって検出された前記情報コードのサイズが所定サイズよりも大きい場合に、前記抽出部によって抽出された前記コード画像領域の画像から画素を間引いた画像に対して前記ぼけ状態抑制処理を行い、前記サイズ検出部によって検出された前記情報コードのサイズが前記所定サイズ以下の場合に、前記コード画像領域の画像に対して画素の間引きを行わずに前記ぼけ状態抑制処理を行うことを特徴とする。
このように、情報コードのサイズが相対的に大きい場合に、撮像画像又は当該撮像画像の一部領域の画像から画素を間引いた画像に対してぼけ状態抑制処理を行えば、より短い時間でぼけ状態抑制処理を行うことができる。特に、情報コードのサイズが相対的に大きい場合には、各セルに対する画素の割り当てが多くなるため、画素を間引くことによるコード画像領域への影響が小さく、このような場合に間引きを行えばより効果的である。
一方、情報コードのサイズが相対的に小さい場合には、間引きを行わずに画素の割り当てを重視すればより効果的である。
このように、情報コードのサイズが相対的に大きい場合に、コード画像領域の画像から画素を間引いた画像に対してぼけ状態抑制処理を行えば、処理時間の増大が懸念される大きいコード画像に対してより短い時間でぼけ状態抑制処理を行うことができる。また、このように情報コードのサイズが相対的に大きい場合には、各セルに対する画素の割り当てが多くなるため、画素を間引くことによるコード画像領域への影響が小さく、このような場合に間引きを行えばより効果的である。
一方、情報コードのサイズが相対的に小さい場合には、間引きを行わなくても処理時間が増大しにくいため、このような場合には間引きを行わずに画素の割り当てを重視すればより効果的である。
このように構成すれば、撮像画像において、明色セルと暗色セルが集中する領域をより正確に検出し易くなり、情報コードの画像が配されるコード画像領域をより正確に抽出し易くなる。
以下、本発明を具現化した第1実施形態について、図面を参照して説明する。
(全体構成)
図1に示す情報コード読取装置10は、読取対象物Rに組み込まれた情報コード100(明色セルと暗色セルとを備えた情報コード)を読み取る機能を有する。図2に示すように、情報コード読取装置10は、ハードウェア的には二次元コードを読取可能なコードリーダとして構成されており、ケースによって外郭が構成され、このケース内に各種電子部品が収容された構成をなしている。
次に、図1の読取装置10で行われる読取処理について説明する。
読取装置10では、まず受光センサ23にて画像が撮像される。そして、得られた撮像画像において、マーカ位置の検出が行われ、ずれ量が算出される。このずれ量算出処理では、撮像画像内においてマーカ光の照射位置を検出し、そのマーカ光の照射位置のずれ量(撮像画像において予め定められた基準位置P1(例えば中心位置)からのずれ量)を算出する。
なお、本構成では、制御回路40は、抽出部の一例に相当し、受光センサによって撮像された撮像画像の中から、情報コードが配されるコード画像領域の画像を抽出するように機能している。撮像画像内でのコード画像領域の抽出は、情報コードの分野で公知のラベリング処理によって行うようにしてもよい。
例えば、S10で得られた撮像画像の中から、受光量が第1閾値を超える第1画素領域と、受光量が第1閾値以下となる第2画素領域とを検出し、撮像画像の所定方向における第1画素領域と第2画素領域との変化度合いに基づいて情報コードの画像が配されるコード画像領域を抽出する。具体的には、図6のように、受光センサ23によって得られた撮像画像を同一サイズの複数の領域に分割し、それら分割された各領域ごとに、所定方向に走査したときに明から暗又は暗から明への変化量が所定値以上となるか否かを判定している。例えば、図6(A)の例では、図6(B)に示す領域B1のような縦16画素、横16画素の領域を1つの領域として複数の領域(図6では、領域B1〜B5を概念的に図示し、他の領域の図示は省略)に分割しており、各領域ごとに上記判定を行っている。具体的には、図6(B)のような分割領域において、例えば、各行の画素群(横方向の画素行)に対して横方向に走査して各画素の輝度(受光量)を求め、それが画素の輝度を波形化する。そして、全ての行の画素群(横方向の画素行)の波形(例えば、各行の波形において、横軸を画素の位置(列位置)とし、縦軸を輝度(受光量)とするような波形)を求め、全ての行の画素群(横方向の画素行)の波形において、輝度(受光量)が所定閾値を跨ぐ変化点(明から暗又は暗から明への変化点)の数を求める。そして、このような変化点の数が所定値以上となる領域を、「明から暗又は暗から明への変化量が所定値以上となる領域」として、これをコード画像領域として抽出している。なお、本構成では、例えば、このように抽出されたコード画像領域を全て含む2N行、2N列の画素領域(但しNは自然数)を特定し、この領域をコード画像領域としている(図6(A)参照)。
本構成では、制御回路40がサイズ検出部の一例に相当し、受光センサ23によって撮像された撮像画像から情報コード100のサイズを検出するように機能する。具体的には、上述の抽出処理により、2N行、2N列の画素領域として抽出されたコード画像領域の大きさを「情報コード100のサイズ」として検出しており、コード画像領域の行数及び列数を示す画素数(2N)が所定値以下であれば小サイズとし、画素数(2N)が所定値を超える場合には大サイズとしている。
g(x,y)=h(x,y)*f(x,y) …式(1)
ここで、g(x,y)は撮像して得られた画像データ、すなわち、観測画像である劣化画像を表す。また、h(x,y)は劣化を表すPSFデータを表し、f(x,y)は劣化のない原画像を表し、*は畳み込み積分を表す。
ここで、G(u,v)、H(u,v)、及びF(u,v)は、劣化画像g(x,y)、PSFh(x,y)、及び原画像f(x,y)のフーリエ変換をそれぞれ表す。
ここで、F(u,v)は推定された原画像のフーリエ変換で、つまり、復元された画像(復元画像)である。また、K(u,v)は、画像復元のためのフィルタであり、以下、単に画像復元フィルタと呼ぶ。G(u,v)は劣化画像のフーリエ変換である。
この構成では、被写界深度拡大部によって被写界深度が拡大された画像を生成することができ、その画像を復元した上で読み取ることができるため、読み取り可能となる距離範囲を広げることができる。また、被写界深度拡大部により、決まったぼけ方でぼけ画像を生成し、そのぼけ方でのぼけ状態を抑制するように復元処理(ぼけ状態抑制処理)を行うことができるため、闇雲にぼけ状態の抑制処理を行う方法と比較して、より短い時間でより効果的に鮮明化を図ることができる。
このように、情報コード100のサイズが相対的に大きい場合に、コード画像領域の画像から画素を間引いた画像に対してぼけ状態抑制処理を行えば、処理時間の増大が懸念される大きいコード画像に対してより短い時間でぼけ状態抑制処理を行うことができる。また、このように情報コード100のサイズが相対的に大きい場合には、各セルに対する画素の割り当てが多くなるため、画素を間引くことによるコード画像領域への影響が小さく、このような場合に間引きを行えばより効果的である。
一方、情報コード100のサイズが相対的に小さい場合には、間引きを行わなくても処理時間が増大しにくいため、このような場合には間引きを行わずに画素の割り当てを重視すればより効果的である。
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
23…受光センサ
27…結像レンズ(結像部、被写界深度拡大部)
28…位相板(被写界深度拡大部)
29…絞り部材(被写界深度拡大部)
40…制御回路(抽出部、復元部、解読部、サイズ検出部)
100…情報コード
Claims (8)
- 情報コードを撮像可能な受光センサと、
前記情報コードからの光を集め、前記情報コードの像を前記受光センサに結像させる結像部と、
予めぼけ状態が定められたぼけ画像を前記受光センサに生成させる被写界深度拡大部と、
前記受光センサによって撮像された撮像画像を用い、前記被写界深度拡大部によるぼけ状態に対応する所定のぼけ状態抑制処理を行う復元部と、
前記復元部によって前記ぼけ状態抑制処理が行われた画像を解析して解読処理を行う解読部と、
前記受光センサによって撮像された前記撮像画像から、前記情報コードのサイズを検出するサイズ検出部と、
を備え、
前記復元部は、前記サイズ検出部によって検出されたサイズが所定サイズよりも大きい場合に、前記撮像画像又は当該撮像画像の一部領域の画像から画素を間引いた画像に対して前記ぼけ状態抑制処理を行い、前記サイズ検出部によって検出されたサイズが前記所定サイズ以下の場合に、前記撮像画像又は当該撮像画像の一部領域の画像に対して前記ぼけ状態抑制処理を行い、
前記受光センサからの距離範囲毎に、各距離範囲に対応するPSFデータが予めそれぞれ取得されて記憶され、
前記復元部は、撮像画像内において検出されるマーカ光の照射位置の基準位置からのずれ量によって把握される前記情報コードまでの距離に応じた前記PSFデータを選定し、その選定されたPSFデータを用いて前記ぼけ状態抑制処理を行うことを特徴とする情報コード読取装置。 - 情報コードを撮像可能な受光センサと、
前記情報コードからの光を集め、前記情報コードの像を前記受光センサに結像させる結像部と、
予めぼけ状態が定められたぼけ画像を前記受光センサに生成させる被写界深度拡大部と、
前記受光センサによって撮像された撮像画像の中から、前記情報コードが配されるコード画像領域の画像を抽出する抽出部と、
前記抽出部によって抽出された前記コード画像領域の画像のみに、前記被写界深度拡大部によるぼけ状態に対応する所定のぼけ状態抑制処理を行う復元部と、
前記復元部によって前記ぼけ状態抑制処理が行われた前記コード画像領域の画像を解析して解読処理を行う解読部と、
を有し、
前記受光センサからの距離範囲毎に、各距離範囲に対応するPSFデータが予めそれぞれ取得されて記憶され、
前記復元部は、撮像画像内において検出されるマーカ光の照射位置の基準位置からのずれ量によって把握される前記情報コードまでの距離に応じた前記PSFデータを選定し、その選定されたPSFデータを用いて前記ぼけ状態抑制処理を行い、
前記受光センサによって撮像された前記撮像画像から、前記情報コードのサイズを検出するサイズ検出部を備え、
前記復元部は、前記サイズ検出部によって検出された前記情報コードのサイズが所定サイズよりも大きい場合に、前記抽出部によって抽出された前記コード画像領域の画像から画素を間引いた画像に対して前記ぼけ状態抑制処理を行い、前記サイズ検出部によって検出された前記情報コードのサイズが前記所定サイズ以下の場合に、前記コード画像領域の画像に対して画素の間引きを行わずに前記ぼけ状態抑制処理を行うことを特徴とする情報コード読取装置。 - 前記抽出部は、前記撮像画像において、受光量が第1閾値を超える第1画素領域と、受光量が前記第1閾値以下となる第2画素領域とを検出し、前記撮像画像の所定方向における前記第1画素領域と前記第2画素領域との変化度合いに基づいて前記情報コードの画像が配されるコード画像領域を抽出することを特徴とする請求項2に記載の情報コード読取装置。
- 前記結像部は、結像レンズであって、
前記被写界深度拡大部は、前記結像レンズの一部として構成されていることを特徴とする請求項1から請求項3のいずれか一項に記載の情報コード読取装置。 - 前記被写界深度拡大部は、前記結像レンズで生じる色収差によって前記ぼけ画像を発生させることを特徴とする請求項4に記載の情報コード読取装置。
- 前記被写界深度拡大部は、位相板として構成されていることを特徴とする請求項1から請求項4のいずれか一項に記載の情報コード読取装置。
- 前記被写界深度拡大部は、前記情報コードからの光が前記受光センサに入り込むまでの経路に配置される所定形状の貫通孔を備えた絞り部材を有し、前記絞り部材の前記所定形状に応じた前記ぼけ画像を発生させることを特徴とする請求項1から請求項3のいずれか一項に記載の情報コード読取装置。
- 前記復元部は、前記ぼけ状態抑制処理としてウィナーフィルタを用いたフィルタ処理を行うことを特徴とする請求項1から請求項7のいずれか一項に記載の情報コード読取装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013195606A JP6338836B2 (ja) | 2013-09-20 | 2013-09-20 | 情報コード読取装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013195606A JP6338836B2 (ja) | 2013-09-20 | 2013-09-20 | 情報コード読取装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015060531A JP2015060531A (ja) | 2015-03-30 |
JP6338836B2 true JP6338836B2 (ja) | 2018-06-06 |
Family
ID=52817969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013195606A Active JP6338836B2 (ja) | 2013-09-20 | 2013-09-20 | 情報コード読取装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6338836B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9798912B1 (en) * | 2016-09-26 | 2017-10-24 | Symbol Technologies, Llc | Imaging module and reader for, and method of, reading targets by image capture with a substantially constant resolution over an extended range of working distances |
JP7402088B2 (ja) | 2020-03-19 | 2023-12-20 | 株式会社キーエンス | 光学読取装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3275010B2 (ja) * | 1995-02-03 | 2002-04-15 | ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド | 拡大された被写界深度を有する光学システム |
JPH0973517A (ja) * | 1995-09-05 | 1997-03-18 | Toshiba Corp | 帳票イメージ出力装置 |
JP4288756B2 (ja) * | 1999-04-08 | 2009-07-01 | 株式会社デンソー | 情報コード概略存在領域推定方法、情報コード読取方法及び装置、記録媒体 |
JP4059173B2 (ja) * | 2003-06-27 | 2008-03-12 | 株式会社デンソーウェーブ | 光学的情報読取装置および光学的情報の読取方法 |
JP2009033561A (ja) * | 2007-07-27 | 2009-02-12 | Kyocera Corp | 情報コード読取装置およびその方法 |
JP2009089082A (ja) * | 2007-09-28 | 2009-04-23 | Kyocera Corp | 画像復元装置およびその方法 |
JP5402587B2 (ja) * | 2009-12-04 | 2014-01-29 | 株式会社デンソーウェーブ | 光学的情報読取装置 |
-
2013
- 2013-09-20 JP JP2013195606A patent/JP6338836B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015060531A (ja) | 2015-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6140935B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 | |
EP3239929B1 (en) | Image processing apparatus, image processing method and program | |
JP5454821B2 (ja) | 多重解像度手順を利用してロバストな深度マップを生成するためのシステム及び方法 | |
JP5733032B2 (ja) | 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体 | |
JP5818091B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、および、プログラム | |
US9454687B2 (en) | Barcode imaging | |
CN101795406B (zh) | 利用可变调制器获取光场数据的设备和方法 | |
CN111982023B (zh) | 图像捕捉装置组件、三维形状测量装置和运动检测装置 | |
KR20150079638A (ko) | 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치 | |
KR20180027952A (ko) | ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법 | |
JP6336148B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 | |
JP2016513320A (ja) | 少なくとも1つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 | |
JP6904261B2 (ja) | 電子装置、電子装置の制御方法、および、プログラム | |
JP2007074079A (ja) | 画像入力装置 | |
EP4027635A1 (en) | Systems, methods, and appratuses for focus selection using image disparity | |
JP2009134587A (ja) | 画像処理装置 | |
JP6338836B2 (ja) | 情報コード読取装置 | |
US20160381342A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
JP2007298376A (ja) | 境界の位置決定装置、境界の位置を決定する方法、当該装置としてコンピュータを機能させるためのプログラム、および記録媒体 | |
Guo et al. | Barcode imaging using a light field camera | |
CN112014858A (zh) | 修正测距异常的距离图像生成装置 | |
JP2014155071A5 (ja) | ||
JP2008118180A (ja) | 定型画像読取装置およびこれを用いた定型画像読取方法 | |
JP2008145121A (ja) | 三次元形状測定装置 | |
JP2004257934A (ja) | 3次元形状計測方法及び3次元形状計測装置並びにその処理プログラムと記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170621 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170629 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20170804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6338836 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |