JP5624532B2 - 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5624532B2 JP5624532B2 JP2011231092A JP2011231092A JP5624532B2 JP 5624532 B2 JP5624532 B2 JP 5624532B2 JP 2011231092 A JP2011231092 A JP 2011231092A JP 2011231092 A JP2011231092 A JP 2011231092A JP 5624532 B2 JP5624532 B2 JP 5624532B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tomographic image
- region
- image processing
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000004590 computer program Methods 0.000 title claims description 4
- 206010047642 Vitiligo Diseases 0.000 claims description 114
- 238000000605 extraction Methods 0.000 claims description 98
- 230000003902 lesion Effects 0.000 claims description 31
- 210000003583 retinal pigment epithelium Anatomy 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 9
- 108091008695 photoreceptors Proteins 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000002207 retinal effect Effects 0.000 description 46
- 241000519995 Stachys sylvatica Species 0.000 description 28
- 238000012014 optical coherence tomography Methods 0.000 description 28
- 210000004204 blood vessel Anatomy 0.000 description 18
- 239000000790 retinal pigment Substances 0.000 description 15
- 210000004379 membrane Anatomy 0.000 description 13
- 239000012528 membrane Substances 0.000 description 13
- 239000000835 fiber Substances 0.000 description 12
- 210000001328 optic nerve Anatomy 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 210000005081 epithelial layer Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 210000000608 photoreceptor cell Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 210000000416 exudates and transudate Anatomy 0.000 description 4
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 210000000981 epithelium Anatomy 0.000 description 3
- 238000000409 membrane extraction Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 244000066764 Ailanthus triphysa Species 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000004127 vitreous body Anatomy 0.000 description 2
- 101100517196 Arabidopsis thaliana NRPE1 gene Proteins 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 101100190825 Bos taurus PMEL gene Proteins 0.000 description 1
- 101100528977 Cupriavidus necator (strain ATCC 17699 / DSM 428 / KCTC 22496 / NCIMB 10442 / H16 / Stanier 337) rpe2 gene Proteins 0.000 description 1
- 101100073341 Oryza sativa subsp. japonica KAO gene Proteins 0.000 description 1
- 101100091557 Oryza sativa subsp. japonica RPE gene Proteins 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 101150005492 rpe1 gene Proteins 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Description
被検眼の眼底画像を取得する眼底画像取得手段と、
前記被検眼の断層画像を取得する断層画像取得手段と、
前記眼底画像から病変領域を抽出する第1の抽出手段と、
前記断層画像を解析する解析手段と、
前記断層画像の所定の層に基づいて、前記断層画像の深さ方向の所定の位置を決定する決定手段と、
前記抽出された病変領域に対応する前記断層画像の領域における前記所定の位置から、所定の輝度以上の領域を前記断層画像の病変領域として抽出する第2の抽出手段と、
前記断層画像と前記第2の抽出手段により抽出された病変領域とを表示手段に表示させる表示制御手段と、を有する。
図2を参照して、第1実施形態に係る画像処理システムの機器構成を説明する。画像処理装置210は、断層像撮像装置220や眼底画像撮像装置230で撮像された画像や、データサーバ240が格納されている画像を画像処理する。画像処理装置210の詳細な構成は図3に示す通りである。断層像撮像装置220は、眼部の断層像を撮像する装置で、例えばタイムドメイン方式のOCTやフーリエドメイン方式のOCTからなる。断層像撮像装置220は、不図示の操作者(技師や医師)による操作に応じて不図示の被検者(患者)の眼部の断層像を3次元的に撮像する。取得した断層像は画像処理装置210やデータサーバ240に送信する。
式(1)において、pはあるAスキャンライン上のボクセルの座標を表しており、pEXUDATEはそのAスキャンラインにおいて白斑が最も存在しうると推定された位置513の座標を表す。また、hEXUDATEは白斑の大きさ(白斑の重心から辺縁までの距離値)の平均値であり、事前に取得済みの複数の断層像に存在する白斑領域から取得する。式(1)では確信度を2値(0または1)で定義していたが、確信度は0以上1以下の多値で与えてもよい。式(2)では、ガウス関数に基づき確信度を定義する。
また式(3)や式(4)に示すように、基準となる位置513からの距離値に単純に反比例する値としてもよいし、距離値の2乗に反比例するように設定してもよい。
さらに点集中度フィルタのフィルタ出力値などの画像特徴量を存在確信度としてもよいし、線分509との組み合わせに基づき設定してもよい。
式(5)においてvは半径r、r+Dの2つの同心円で定義される円環内の各ボクセルを指す方向ベクトルの集合V[r,D]の1つの要素であり、g(p+v)はボクセルp+vにおける断面像の輝度値勾配ベクトルである。また`・'は2つのベクトルの内積を表す。R1、R2は、2つの同心円のうち、内側の同心円の半径であり、点集中度フィルタを同心円の半径を変えて適用することで大きさの異なる白斑を抽出することが可能となる。なお塊状構造を有する領域を強調するフィルタとしては、トップハット演算の出力結果を用いてもよいし、注目ボクセルpを中心とする円とその周辺での輝度値の差で得られる輝度値コントラストを用いてもよい。さらにこれらのフィルタは断層像のBスキャン画像ごとに独立に適用できる2次元フィルタでも構わないし、断層像全体に適用できる3次元フィルタでも構わない。次にC(p)とI(p)またはF(p)のうち少なくとも1つの値に対するしきい値処理により、白斑領域REXUDATEを抽出する。本実施例ではC(p)、I(p)、 F(p)すべてを用いる例について説明する。
ここでVOCTは断層像内のボクセルを要素とする集合を表す。TC、TI、TRは事前に取得済みの複数の断層像を利用した予備実験から決定可能である。具体的には、TC、TI、TRとしてある1組の値を与えた時の白斑の未抽出率EFNと誤抽出率EFPを計算する。そして、その計算結果を用いて次式で定義される評価値Eを計算する。
TC、TI 、TRを変更しながら評価値Eを計算する。そして、Eが最も小さくなるようなTC、TI 、TRを、式(6)の閾値とする。白斑抽出方法は、C(p)、I(p)、 F(p)に対するしきい値処理に限定されるものではない。具体的には、C(p)、I(p)、F(p)を特徴量としてSVMやAdaBoost等で識別器を構築し、得られた識別器により白斑抽出を行ってもよい。この場合には、さらに複数の特徴量を追加する。例えば、断層像や存在確信度画像に対する平均値、分散、歪度、尖度、エントロピー、Sobelフィルタ、Laplacianフィルタ、Gaussianフィルタ、最大値フィルタ、最小値フィルタなどである。また、これらの組み合わせからなるフィルタの出力値も特徴量として使用可能である。
本実施形態では、第1実施形態のS407における白斑存在確信度を、網膜層境界間距離と存在確信度の相関情報に関する事前知識に基づき設定するように変更した例について説明する。本実施形態に対応する画像処理システムの機器構成は図2及び図3に示したものと同様である。第1実施形態では、網膜色素上皮層境界から一定距離DRPE-EXUDATEだけ離れた位置に最も高い存在確信度を割り当て、この位置から離れるにしたがって小さな存在確信度を割り当てていた。しかしながら、内境界膜‐網膜色素上皮層境界間距離は被検者によってさまざまである。また同一被検者であっても、眼底内の場所により距離は異なる。そのため、上述の存在確信度の設定方法では、白斑が存在する位置に適切に確信度を割り当てることができない可能性がある。そこで本実施形態では、複数の被検眼から内境界膜‐網膜色素上皮層境界間距離と存在確信度との関係を事前に取得し、その情報をデータサーバ240に保存しておく。即ち、データサーバ240には、内境界膜‐網膜色素上皮層境界間の各画素の確信度の集合が、該内境界膜‐網膜色素上皮層境界間距離と関連づけて複数格納されることになる。そしてデータサーバ240に格納されていない新規の被検眼に対して存在確信度を計算する際には、白斑存在確信度計算部355はデータサーバ240内に格納されている内境界膜‐網膜色素上皮層境界間距離と存在確信度の関係を利用する。
式(8)において、Sdは内境界膜‐網膜色素上皮層境界間距離が距離値dであるAスキャンライン上のラベル画像を示すインデックスの集合であり、iはあるインデックスを表す。またN[d]は距離値がdであるようなAスキャンラインの本数を表す。式(8)で得られたラベル値の平均M[d](p)を距離値がdであるようなAスキャンラインにおける白斑の存在確信度とする。
本実施形態では、図4のS408の断層像内白斑抽出で抽出した領域に関する誤抽出判定を行う例を説明する。S406では、網膜層抽出結果に加えて、眼底画像から取得した白斑領域を利用して、白斑抽出処理を適用する領域を限定している。そのため、もし眼底画像において白斑以外の領域を誤って白斑として抽出した場合、断層像内で白斑の存在しない領域に対して白斑抽出処理を適用することになる。以下、具体的に説明する。
上述の実施形態に係る画像処理装置210では、はじめに断層像から抽出した網膜層境界と眼底画像から抽出した白斑領域を利用して、白斑の存在する可能性の高い領域を特定していた。そして、その領域内で白斑存在確信度を計算し、最後に白斑の存在確信度と画像特徴に基づき断層像から白斑を抽出していた。本実施形態に係る画像処理装置においても、白斑抽出処理対象領域を限定し、解剖学的知識に基づき存在確信度を計算し、存在確信度と画像特徴に基づき白斑を抽出する点では、第1の実施形態と同様である。ただし第1実施形態では、白斑抽出処理対象領域を限定する際に、断層像網膜層抽出結果に加えて、眼底画像から抽出した白斑領域を断層像に投影して得られる投影領域も用いていた。それに対して本実施形態では、眼底画像等の2次元画像を用いることなく、断層像網膜層抽出結果のみを用いて対象領域を限定する。
[その他の実施形態]
上記の各実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本実施形態では、本発明をコンピュータ上で動作するソフトウェアとして実現する。
Claims (18)
- 被検眼の眼底画像を取得する眼底画像取得手段と、
前記被検眼の断層画像を取得する断層画像取得手段と、
前記眼底画像から病変領域を抽出する第1の抽出手段と、
前記断層画像を解析する解析手段と、
前記断層画像の所定の層に基づいて、前記断層画像の深さ方向の所定の位置を決定する決定手段と、
前記抽出された病変領域に対応する前記断層画像の領域における前記所定の位置から、所定の輝度以上の領域を前記断層画像の病変領域として抽出する第2の抽出手段と、
前記断層画像と前記第2の抽出手段により抽出された病変領域とを表示手段に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。 - 前記決定手段は、前記所定の層から所定の距離の位置を前記所定の位置として決定することを特徴とする請求項1に記載の画像処理装置。
- 前記所定の層は、網膜色素上皮層であり、
前記第2の抽出手段は、前記網膜色素上皮層から所定の距離の塊状構造を前記断層画像の病変領域として抽出する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記決定手段は、前記所定の層と、前記解析された断層画像の深さ方向の別の層との距離に基づいて、前記所定の位置を決定することを特徴とする請求項1に記載の画像処理装置。
- 前記決定手段は、前記断層画像における外網状層と視細胞内節接合部との間の位置を前記所定の位置として決定することを特徴とする請求項4に記載の画像処理装置。
- 前記第2の抽出手段は、前記所定の位置における前記所定の輝度以上で且つ所定の大きさの領域を前記断層画像の病変領域として抽出することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記第2の抽出手段は、前記断層画像から白斑領域を前記断層画像の病変領域として抽出することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記第1の抽出手段は、前記眼底画像から白斑領域を前記病変領域として抽出し、
前記第2の抽出手段は、前記断層画像の白斑領域を前記断層画像の病変領域として抽出する
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 被検眼の眼底画像及び断層画像を処理する画像処理装置が実行する画像処理方法であって、
前記被検眼を撮像して得た前記眼底画像を取得する眼底画像取得工程と、
前記被検眼を撮像して得た前記断層画像を取得する工程と、
前記眼底画像から病変領域を抽出する第1の抽出工程と、
前記断層画像を解析する解析工程と、
前記断層画像の所定の層に基づいて、前記断層画像の深さ方向の所定の位置を決定する決定工程と、
前記抽出された病変領域に対応する前記断層画像の領域における前記所定の位置から、所定の輝度以上の領域を前記断層画像の病変領域として抽出する第2の抽出工程と、
前記断層画像と前記第2の抽出工程において抽出された病変領域とを表示部に表示させる表示制御工程と、
を有することを特徴とする画像処理方法。 - 前記決定工程では、前記所定の層から所定の距離の位置を前記所定の位置として決定することを特徴とする請求項9に記載の画像処理方法。
- 前記所定の層は、網膜色素上皮層であり、
前記第2の抽出工程では、前記網膜色素上皮層から所定の距離の塊状構造を前記断層画像の病変領域として抽出する
ことを特徴とする請求項9又は10に記載の画像処理方法。 - 前記決定工程では、前記所定の層と、前記解析された断層画像の深さ方向の別の層との距離に基づいて、前記所定の位置を決定することを特徴とする請求項9に記載の画像処理方法。
- 前記決定工程では、前記断層画像における外網状層と視細胞内節接合部との間の位置を前記所定の位置として決定することを特徴とする請求項12に記載の画像処理方法。
- 前記第2の抽出工程では、前記所定の位置における前記所定の輝度以上で且つ所定の大きさの領域を前記断層画像の病変領域として抽出することを特徴とする請求項9乃至13のいずれか1項に記載の画像処理方法。
- 前記第2の抽出工程では、前記断層画像から白斑領域を前記断層画像の病変領域として抽出することを特徴とする請求項9乃至14のいずれか1項に記載の画像処理方法。
- 前記第1の抽出工程では、前記眼底画像から白斑領域を前記病変領域として抽出し、
前記第2の抽出工程では、前記断層画像の白斑領域を前記断層画像の病変領域として抽出する
ことを特徴とする請求項9乃至15のいずれか1項に記載の画像処理方法。 - 請求項1乃至8のいずれか1項に記載の画像処理装置と、
前記断層画像を撮影する断層像撮影装置と
を備え、
前記断層画像取得手段は、前記断層像撮影装置が撮影した前記断層画像を取得することを特徴とする眼科システム。 - コンピュータを請求項1乃至8のいずれか1項に記載の画像処理装置として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011231092A JP5624532B2 (ja) | 2011-10-20 | 2011-10-20 | 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011231092A JP5624532B2 (ja) | 2011-10-20 | 2011-10-20 | 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009133453A Division JP4850927B2 (ja) | 2009-06-02 | 2009-06-02 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012011258A JP2012011258A (ja) | 2012-01-19 |
JP2012011258A5 JP2012011258A5 (ja) | 2012-09-06 |
JP5624532B2 true JP5624532B2 (ja) | 2014-11-12 |
Family
ID=45598344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011231092A Expired - Fee Related JP5624532B2 (ja) | 2011-10-20 | 2011-10-20 | 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5624532B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107737410B (zh) * | 2017-10-12 | 2024-04-09 | 佛山科学技术学院 | 一种白癜风治疗系统及其实现方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4971863B2 (ja) * | 2007-04-18 | 2012-07-11 | 株式会社トプコン | 光画像計測装置 |
JP4971872B2 (ja) * | 2007-05-23 | 2012-07-11 | 株式会社トプコン | 眼底観察装置及びそれを制御するプログラム |
JP5148928B2 (ja) * | 2007-05-31 | 2013-02-20 | 株式会社トプコン | 眼底検査装置及びプログラム |
JP5160826B2 (ja) * | 2007-07-19 | 2013-03-13 | 株式会社トプコン | 角膜観察装置 |
JP4850892B2 (ja) * | 2008-12-19 | 2012-01-11 | キヤノン株式会社 | 眼底画像表示装置及びその制御方法、コンピュータプログラム |
-
2011
- 2011-10-20 JP JP2011231092A patent/JP5624532B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012011258A (ja) | 2012-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4850927B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6594033B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5955163B2 (ja) | 画像処理装置および画像処理方法 | |
JP4909377B2 (ja) | 画像処理装置及びその制御方法、コンピュータプログラム | |
JP6005663B2 (ja) | 血管画像における動静脈比の自動測定 | |
US8699774B2 (en) | Image processing apparatus, control method thereof, and program | |
US9898818B2 (en) | Automated measurement of changes in retinal, retinal pigment epithelial, or choroidal disease | |
JP5631339B2 (ja) | 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム | |
US20110137157A1 (en) | Image processing apparatus and image processing method | |
JP2010094381A (ja) | 画像処理装置、画像処理方法 | |
KR20120048603A (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
JP2019202229A (ja) | 画像処理装置、画像処理方法及びプログラム | |
de Sisternes et al. | A machine learning approach for device-independent automated segmentation of retinal cysts in spectral domain optical coherence tomography images | |
JP5624532B2 (ja) | 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム | |
Ni et al. | Angle closure glaucoma detection using fractal dimension index on SS-OCT images | |
JP5017486B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6033478B2 (ja) | 眼科装置、層厚比較方法およびプログラム | |
JP5677492B2 (ja) | 画像処理装置、画像処理方法 | |
JP5871890B2 (ja) | 眼科装置、層厚比較方法およびプログラム | |
JP5236094B2 (ja) | 画像処理装置、画像処理方法 | |
Nakagawa et al. | Comparison of the depth of an optic nerve head obtained using stereo retinal images and HRT | |
JP2017012921A (ja) | 眼科装置、層厚比較方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140926 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5624532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |