JP5436630B2 - 断層像撮像装置および断層撮像方法、プログラム - Google Patents
断層像撮像装置および断層撮像方法、プログラム Download PDFInfo
- Publication number
- JP5436630B2 JP5436630B2 JP2012157940A JP2012157940A JP5436630B2 JP 5436630 B2 JP5436630 B2 JP 5436630B2 JP 2012157940 A JP2012157940 A JP 2012157940A JP 2012157940 A JP2012157940 A JP 2012157940A JP 5436630 B2 JP5436630 B2 JP 5436630B2
- Authority
- JP
- Japan
- Prior art keywords
- tomographic image
- tomographic
- image
- fundus
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、断層像撮像装置および断層撮像方法に関し、特に眼科診療等に用いられる断層像撮像装置および断層撮像方法に関する。
光干渉断層計(OCT;Optical Coherence Tomography)などを利用した眼部断層像撮像装置は、網膜層内部の状態を3次元的に観察することが可能であり、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。
図5に、眼底におけるOCTの計測範囲及び対応する網膜の断層像の模式図を示す。図5において、501は眼底像、RXYは眼底の平面(x軸:水平方向、y軸:垂直方向)におけるOCTの2次元の計測範囲を表す。図5の例では、RXYは矩形領域である。そして、T1〜Tnは計測範囲RXYに対して網膜の奥行き方向を撮像して得られる黄斑部の2次元断層像(B−Scan像)である。一つの断層像は、複数の網膜の奥行き方向をスキャンするスキャンライン(以降A−スキャンラインと呼ぶ)で構成される。z軸は、このA−スキャンの方向を表し、RZはz軸方向におけるOCTの奥行き方向の1次元の計測範囲を表す。OCTの撮像では、眼底に対して設定された計測範囲RXYを順にラスタスキャンする(x軸方向のスキャンを主走査、y軸方向のスキャンを副走査と呼ぶ)ことで、これらの断層像群として3次元データを一度に取得できる。また、Mは中心窩、Aは内境界膜、Bは網膜色素上皮層境界を表す。内境界膜Aから網膜色素上皮層境界Bまでの間の網膜層の領域は、失明の主な原因である緑内障や加齢黄斑変性などの疾患の解剖的特徴が現れるため、OCTの断層像を用いた診断に非常に役立つ。そのため、断層像を撮像する際は、この領域が断層像の深さ方向の上端と下端から途切れないように撮像を行うことが重要である。
一般的なOCT装置では、3次元データを撮像する前の被験眼観察時に、計測範囲RXYの中心を通る断層像のみを、1枚若しくは数枚実時間で取得し、表示するようにしている。こうすることで、断層像に網膜層の領域が収まっているかを目視で確認し、撮像する位置を適切に調整していた。また、特許文献1では、被験眼観察時に取得した1枚の断層像を解析して網膜層が写っているかどうかを判別することで、断層像に網膜層が写るように自動的に撮像する位置を調整する技術が紹介されている。
しかしながら、上記の手法では、撮影者或いはコンピュータが計測範囲RXYの中心を通る数枚の断層像しか認識しないため、被験眼観察時に、その後撮像する3次元データに網膜層が適切に収まるかどうかを判別することができなかった。特に網膜層の湾曲が激しい近視眼を撮像する場合、被験眼観察時に計測範囲RXYの中心を通る断層像に網膜層が収まっていたとしても、中心から離れた位置の断層像では網膜層が適切に収まらなくなる可能性があった。そのような場合、撮像は失敗となり、結果として断層像を撮り直さなければならなかった。
本発明は上記の課題に鑑みてなされたものであり、光干渉断層計を用いた撮像装置において、設定された計測範囲において断層像の深さ方向の撮影位置を容易且つ適切に設定可能にすることを目的とする。
上記の目的を達成するための、本発明の一態様による断層像撮像装置は、以下の構成を有する。すなわち、
眼底からの戻り光と参照ミラーからの戻り光を光干渉させて眼底の断層像を撮影する断層像撮像装置であって、
断層像を取得する取得手段と、
前記取得手段で取得された断層像を含む画像を表示装置の画面に表示させ、前記断層像が前記画像の上端、下端のいずれか一方にかかる場合に警告表示する表示制御手段と、を備える。
眼底からの戻り光と参照ミラーからの戻り光を光干渉させて眼底の断層像を撮影する断層像撮像装置であって、
断層像を取得する取得手段と、
前記取得手段で取得された断層像を含む画像を表示装置の画面に表示させ、前記断層像が前記画像の上端、下端のいずれか一方にかかる場合に警告表示する表示制御手段と、を備える。
本発明によれば、光干渉断層計を用いた撮影装置において、設定された計測範囲において断層像の深さ方向の撮影位置を容易且つ適切に設定することが可能になる。
[第1実施形態]
本実施形態は、光干渉断層計(以下、OCT)により被験眼の断層画像を撮影する際に、計測範囲において複数部位のスキャンを繰り返しながら表示することにより、計測対象が撮影画像内に収まるように調整することを可能にしたものである。より具体的には、本実施形態の断層像撮像装置は、OCTで診断用の3次元データの撮像を行う前の被験眼観察時に、被検眼の計測範囲RXYの中央と端部の位置の断層像を取得し、それらを実時間で確認画面上に並べて表示する。このとき、網膜の3次元形状は楕円体に近似できるため、計測範囲RXYの中心から外側に向かうほど、中心に対する網膜の奥行き(z軸)方向の位置の差が単調に大きくなる性質を有する。この性質により、計測範囲RXYの中央と端部の位置における断層像の状態を参照可能にすることで、撮影者にその後撮像する3次元データに網膜層が収まるかどうかを常に認識させることを可能にする。ここで、計測範囲RXYの中央と端部の位置とは、それぞれ、計測範囲RXYの中心を通る位置及び、計測範囲RXYの最も外側の端の領域を含む位置を表す。以下に具体例を幾つか示す。
本実施形態は、光干渉断層計(以下、OCT)により被験眼の断層画像を撮影する際に、計測範囲において複数部位のスキャンを繰り返しながら表示することにより、計測対象が撮影画像内に収まるように調整することを可能にしたものである。より具体的には、本実施形態の断層像撮像装置は、OCTで診断用の3次元データの撮像を行う前の被験眼観察時に、被検眼の計測範囲RXYの中央と端部の位置の断層像を取得し、それらを実時間で確認画面上に並べて表示する。このとき、網膜の3次元形状は楕円体に近似できるため、計測範囲RXYの中心から外側に向かうほど、中心に対する網膜の奥行き(z軸)方向の位置の差が単調に大きくなる性質を有する。この性質により、計測範囲RXYの中央と端部の位置における断層像の状態を参照可能にすることで、撮影者にその後撮像する3次元データに網膜層が収まるかどうかを常に認識させることを可能にする。ここで、計測範囲RXYの中央と端部の位置とは、それぞれ、計測範囲RXYの中心を通る位置及び、計測範囲RXYの最も外側の端の領域を含む位置を表す。以下に具体例を幾つか示す。
図13は、計測範囲RXYに対応する中央と端部の位置を示す図である。図13の(a)及び(b)は、計測範囲RXYが矩形である場合の中央と端部の位置を示す2種類の図である。(c)及び(d)は、計測範囲RXYが平行四辺形である場合の中央と端部の位置を示す2種類の図である。(e)及び(f)は、計測範囲RXYが円形である場合の中央と端部の位置を示す2種類の図である。(a)〜(f)の各図における1301は眼底像、RXYは2次元の計測範囲である。また、1302、1306、1310、1314、1318、1321は計測範囲RXYの中央の位置を示す。1303と1304、1307と1308、1311と1312、1315と1316、1319、1322は端部の位置を示す。また、(c)及び(d)におけるP1、P2、P3、P4は計測範囲RXYの4つの頂点を示す。このとき、各図における中央と端部の位置は、全て上記の定義を満たす位置である。計測範囲RXYが矩形の場合は、中央と端部の位置をそれぞれ、(a)のように図中のx軸と平行な線分としても良いし、(b)のようにy軸と平行な線分としても良い。計測範囲RXYが平行四辺形の場合は、中央と端部の位置をそれぞれ、(c)のように図中の辺P1P4と平行な線分としても良いし、(d)のように図中の辺P1P2と平行な線分としても良い。計測範囲RXYが円形の場合は、計測範囲RXYの中央の位置をそれぞれ、(e)のように図中のx軸と平行な線分としても良いし、(f)のようにy軸と平行な線分としても良い。端部の位置は、計測範囲RXYの円周の位置とする。すなわち、円周状に走査して得られた断層像を用いる。以下に説明する本実施形態では、一例として図13の(a)の場合を具体的に説明するが、計測範囲の形状及び中央と端部の位置はこの例に限定されない。
そして、中央部および両端部の断層像をリアルタイムで表示することにより、ユーザは奥行き方向の計測範囲から網膜層がはみ出しているか(奥行き方向に関して途切れているか)どうかを容易に判断できる。また、リアルタイムで表示される中央部および両端部の断層像をみながらOCTの参照ミラーを移動することが出来るため、参照ミラーを容易に適切な位置にセットすることができる。また、上記の断層像から網膜層が、計測範囲の奥行き方向において途切れているかを検知し、途切れている場合には、その旨を警告提示することで、撮影者が網膜層の途切れを認識する支援を行うようにする。ここで、網膜層の奥行き方向の途切れは、例えば、断層像の上辺または下辺に対して網膜層が接するまたは交差するかを判断することで検出される。さらに、断層像における網膜層の位置を認識し、網膜層が断層像から途切れないようにz軸方向の計測深度を自動調整することを可能とし、撮影者の負担を軽減しかつ撮像ミスを防ぐ。以下に具体例を説明する。
図14は、網膜層の途切れを説明する図である。図14の(a)、(b)はそれぞれ、断層像上辺、下辺における網膜層の途切れの一例を表す図である。1401、1402はそれぞれ、(a)、(b)の場合における画像内で網膜層が途切れている断層像である。各図におけるx軸は主走査方向、z軸はA−スキャン方向である。図に示す通り、断層像上の座標の範囲は0≦x≦xmax、0≦z≦zmaxである。(a)におけるAは眼底の内境界膜である。(a)において、x=0の直線(断層像上辺)と内境界膜Aが交差しているため、内境界膜Aが途切れている状態を表す。また、(b)におけるBは網膜色素上皮層境界である。(b)において、x=xmaxの直線(断層像下辺)と網膜色素上皮境界Bが交差しているため、網膜色素上皮層境界Bが途切れている状態を表す。このように、本実施形態における網膜層の途切れとは、具体的には内境界膜または網膜色素上皮層境界の途切れを表すものとする。
次に、図1のブロック図と、図3のフローチャートを参照して、本実施形態の断層像撮像装置10の構成、および断層像撮像装置10が実行する具体的な処理の手順を説明する。
ステップS301において、計測範囲取得部101は、指示取得部100から被験者の眼底に対する2次元の計測範囲RXYを設定するための操作者による指示情報を取得し、計測範囲RXYを特定する。この指示情報は、断層像撮像装置10に備えられた不図示のキーボードやマウスを介して、操作者によって入力される。眼底上の計測範囲RXYの指示として、例えば、断層像取得対象の眼底上の部位や位置の指定などの指示(これを指示1と定義する)を取得する。そして、この指示1の内容に基づき矩形の計測範囲RXYを特定する。特定された計測範囲RXYは、断層像取得位置設定部102へと送信される。
ステップS302において、断層像取得位置設定部102は、計測範囲取得部101から計測範囲RXYを取得し、この計測範囲の中から断層像を取得する位置(以降、断層像取得位置Pと呼ぶ)を設定する。断層像取得位置Pには、診断用の撮影よりも少ない予め定められた複数の位置が設定される。本ステップでは、断層像取得位置Pとして、例えば計測範囲RXYの中央と端部の位置を設定する。もちろん、断層像取得位置Pはこの組み合わせに限られるものではない。例えば、中央部と両端部の間に一つずつ取得位置を追加し、断層像取得位置Pを5つとしても良い。
図6の(a)は、計測範囲RXYにおける断層像取得位置Pを示す図である。601は眼底像を表し、眼底像601内のRXYは2次元の計測範囲を表す。計測範囲RXY内のCは、計測範囲RXYの中心を通り図中のx軸に平行な線分(以降、中央部と呼ぶ)、Uは計測範囲RXYの上辺(以降、上端部と呼ぶ)、Lは計測範囲RXYの下辺(以降、下端部と呼ぶ)、をそれぞれ表す。本実施形態では、計測範囲RXYの中央部と両端部を示す位置として、計測範囲RXYの中央部C、上端部U、下端部Lの3つの位置を適用する。これらの位置は、図13の(a)に相当する(1302〜1304)。以降で説明する断層像取得時には、中央部C、上端部U、下端部Lの位置に対して、z軸方向に計測範囲RZの領域をスキャンした断層像を取得することになる。しかし、前述の通り、計測範囲RXYの中央と端部の位置はこれに限定されず、図13の(b)〜(f)のような位置であっても良い。こうして、設定された断層像取得位置P(中央部C、上端部U、下端部L)は、断層像取得部103へと送信される。
ステップS303において、移動量設定部109は、指示取得部100から網膜の深度方向の計測位置を手動設定するための操作者による指示情報を取得する。この指示は、不図示のユーザーインターフェイスを用いて、操作者によって入力される。計測位置を設定するための指示として、ここでは、深度方向(z軸方向)への計測位置の移動量(以降、深度方向移動量Dと呼ぶ)を取得する。そして、設定した深度方向移動量Dの値は、断層像取得部103へと送信される。
ステップS304において、断層像取得部103は断層像取得位置設定部102から取得した断層像取得位置P及び、移動量設定部109から取得した深度方向移動量Dに基づき、被験眼の断層像を撮像する。
断層像取得部103は、本実施形態ではフーリエドメイン方式のOCTからなる。図2に、断層像取得部103の機能及び装置構成を示す。断層像取得部103は、断層像取得位置Pに従ってガルバノミラー駆動機構203を制御し、ガルバノミラー204を駆動する。ガルバノミラー駆動機構203は、信号光を主走査及び副走査方向(図6のx軸及びy軸方向)にスキャンするようにガルバノミラー204を駆動する。ここでは、図6の中央部C、上端部U、下端部Lの3箇所の位置を実時間で撮像するため、1回の主走査において、これらの3箇所を同時にスキャンするように制御する。具体的には、副走査方向において、スキャン位置を中央部C、上端部U、下端部Lの3箇所の間で高速に切り替えることで、副走査の位置を固定して主走査を行う場合の1/3のサンプリング間隔で主走査方向にスキャンするように制御する。また、断層像取得部103は、深度方向移動量Dに従って参照ミラー駆動機構209を制御し、参照ミラー202を駆動する。
そして、低コヒーレンス光源200からの光ビームは、ハーフミラー201により、対物レンズ210を経由して被測定物体211に向かう信号光と参照ミラー202に向かう参照光とに分割される。次に、被測定物体211及び参照ミラー202によりそれぞれ反射された信号光及び参照光を重畳することにより干渉光が生成される。この干渉光は回折格子205によって波長λ1〜λnの波長成分に分光され、各波長成分が1次元光センサアレイ206によって検出される。1次元光センサアレイ206を構成する各光センサは、検出した波長成分の光強度の検出信号を画像再構成部208に出力する。
画像再構成部208は、1次元光センサアレイ206から出力された干渉光の各波長成分の検出信号に基づいて、この干渉光についての波長−光強度の関係、すなわち干渉光の光強度分布(波長スペクトル)を求める。求めた干渉光の波長スペクトルをフーリエ変換し、網膜の断層像を再構成する。
図6の(b)は、中央部C、上端部U、下端部Lにおいて取得された断層像を示す図である。RZは図5と同様にz軸方向における1次元の計測範囲を表す。この計測範囲RZは、制御・移動された参照ミラー202の位置に基づいて決定される、断層像の深さ方向(奥行き方向)の範囲である。TCは図6の(a)の中央部Cに対応する断層像(以降、中央部断層像と呼ぶ)、TUは図6の(a)の上端部Uに対応する断層像(以降、上端部断層像と呼ぶ)、TLは図6の(a)の下端部Lに対応する断層像(以降、下端部断層像と呼ぶ)、を表す。撮像された断層像の画像データは、記憶部104へと送信される。
次に、ステップS305において、表示方法設定部105は、記憶部104に記憶された断層像の画像データを取得し、断層像の画像データを並べて同時に表示する表示方法に設定する(これを表示方法1と定義する)。
図7は、表示方法1の一例を表している。TUは、上端部断層像、TCは中央部断層像、TLは下端部断層像を表す。また、図5と同様に、各断層像内のAは内境界膜、Bは網膜色素上皮層境界を表す。図7に示すように本実施形態では、上から順に上端部断層像TU、中央部断層像TC、下端部断層像TLを並べて表示する方法を適用している。しかし、断層像の表示方法は、各断層像が並んだ状態で同時に確認できるのであれば、この方法に限定されない。例えば、これらの断層像を横や斜めに並べて表示しても良い。また、図8は、網膜層に途切れが生じている場合の表示方法1の一例を表している。図8におけるTU、TC、TL、A、Bは、図7と同様にそれぞれ、上端部断層像、中央部断層像、下端部断層像、内境界膜、網膜色素上皮層境界を表す。図8では、上端部断層像TU及び下端部断層像TLにおいて、内境界膜Aが上辺から途切れている。断層像の並べ方は図7と同様である。
このように、中央と端部の断層像を並べて表示させることにより、ユーザは断層像から網膜層が途切れているかどうかを確認することができ、撮像後の3次元データから網膜層に途切れが生じるかどうかを判断することができる。そして、設定された表示方法1のデータ及び表示する断層像の画像データは、表示部106に送信される。
次の、ステップS306からS308の処理は、断層像における網膜層の途切れを検出し、途切れが検出された断層像の表示形態を他の断層像と異ならせることにより、警告を行う処理である。まず、ステップS306において、網膜層抽出部107は、記憶部104に記憶された断層像の画像データを取得し、断層像のそれぞれから画像解析により網膜層を抽出する。
本ステップでは、網膜層として、図7の内境界膜A及び網膜色素上皮層境界Bの2つの層を抽出する。内境界膜Aは、画像上で低輝度の領域として描出されるその上側の硝子体領域と、高輝度の領域として描出されるその下側の神経線維層に挟まれた境界であるため、画像上の輝度勾配が大きくなる性質がある。そこで本実施形態では、1つのA−スキャンラインに関して、画像上端からz軸正方向に注目画素を順に走査し、注目画素近傍の画像勾配が一定閾値TAを超えた位置で走査を停止することで、停止位置の画素を、内境界膜の画素として抽出する。これを全てのA−スキャンラインに対して繰り返すことで、断層像から内境界膜の抽出を行う。
また、網膜色素上皮層境界Bとその一つ上側の境界である視細胞内節外節接合部(IS/OS)との間に挟まれた領域(網膜色素上皮層)は、網膜層の中でも特に高輝度の領域として描出される。それに比べてIS/OSの上側の領域は比較的低輝度であるため、IS/OSにおける画像上の輝度勾配が大きくなる性質がある。そこで本実施形態では、1つのA−スキャンラインに関して、抽出された内境界膜Aの位置を基点にz軸正方向に注目画素を走査し、注目画素近傍の画像勾配が一定閾値TIを超えた位置で走査を停止することで、停止位置の画素をIS/OSの画素として抽出する。これを全てのA−スキャンラインに対して繰り返すことで、断層像からIS/OSの層が抽出される。
そして、1つのA−スキャンラインに関して、IS/OSを基点としてz軸正方向にさらに注目画素を走査し、輝度値が一定閾値TBよりも低くなる位置で走査を停止することで、停止位置の画素を網膜色素上皮層境界Bの画素として抽出する。これを全てのA−スキャンラインに対して繰り返すことで網膜色素上皮層境界Bの層が抽出される。そして、断層像の画像データ及び抽出された網膜層データ(内境界膜、IS/OS、網膜色素上皮層境界の3つの境界データ)は、網膜層途切れ検出部108に送信される。
ステップS307において、網膜層途切れ検出部108は、網膜層抽出部107から取得した断層像の画像データ及び網膜層データに基づき網膜層の途切れを検出し、網膜層の途切れを検出した網膜層データを生成する。このデータを網膜層途切れ検出データと定義する。途切れ、すなわち網膜層が深さ方向の計測範囲からはみ出していることが検出された場合は、網膜層が途切れていることを表すフラグをTrueに設定し、検出されなかった場合は、Falseに設定する。このフラグを、途切れ検出フラグEと定義する。そして、途切れ検出フラグE=Trueのときは、途切れ検出フラグEの値と網膜層途切れ検出データを、記憶部104に送信しステップS308に移る。途切れ検出フラグE=Falseのときは、途切れ検出フラグEの値のみを記憶部104に送信しステップS312に移る。
本ステップでは、網膜層の途切れを以下の方法で検出する。まず、図8の断層像上における内境界膜Aの途切れの検出方法を説明する。1つのA−スキャンラインにおける、ステップS306で検出された内境界膜A上の点をpAとする。このとき、点pAに対して上側(z軸負の方向)の一定領域(例えば3画素程度)を参照領域Xと定義する。そして、参照領域Xの輝度値が本来内境界膜Aの上側に存在する硝子体領域の輝度値から一定範囲に収まる場合は途切れていない、収まらない場合は途切れていると判定する。この条件式を下記の式で表す。
式(1)において、VXは参照領域Xの平均輝度値、VCorpusは硝子体領域の平均輝度値、TAは一定の輝度値の幅を示す正の定数である。このように、式(1)を満たさない場合は、点pAとして硝子体領域と隣接しない別の点が検出されているため、A−スキャンライン上に内境界膜Aが写っておらず断層像上辺から途切れているとみなせる。また、点pAの上側に画素が存在しない場合は、点pAは断層像の上辺に位置するので、途切れていると判定する。
次に、網膜色素上皮層境界Bの途切れの検出方法を説明する。1つのA−スキャンラインにおける、ステップS306で検出された網膜色素上皮層境界B上の点をpB、IS/OS上の点をpIとする。このとき、点pIとpBに挟まれた領域を参照領域Yと定義する。そして、参照領域Yの輝度値が本来IS/OSと網膜色素上皮層境界に挟まれた網膜色素上皮層の領域の輝度値から一定範囲に収まる場合は途切れていない、収まらない場合は途切れていると判定する。この条件式を下記の式で表す。
式(2)において、VYは参照領域Yの平均輝度値、VRPEは網膜色素上皮層の平均輝度値、TBは一定の輝度値の幅を示す正の定数である。このように、式(2)を満たさない場合は、点pB、pIとして網膜色素上皮層の領域と隣接しない別の点が検出されているため、A−スキャンライン上に網膜色素上皮層が写っておらず断層像下辺から途切れているとみなせる。また、式(2)を満たしていたとしても、点pBの下側に画素が存在しない場合は、点pBは断層像の下辺に位置するので、途切れていると判定する。
以上のようにしてA−スキャンラインごとに途切れているかどうかが判定された網膜層データ(内境界膜Aまたは網膜色素上皮層境界B)と断層像の画像データを合わせたデータを、網膜層途切れ検出データとする。
次に、ステップS308において、表示方法設定部105は、記憶部104から途切れ検出フラグE=Trueのデータ及び網膜層途切れ検出データを取得し、表示方法を警告表示する方法(これを表示方法2と定義する)に設定する。以下で説明するように、表示方法2では、網膜層が深さ方向にはみ出していることが検出された断層像の表示形態を、他の断層像の表示形態(網膜層がはみ出していない断層像の表示形態)と異ならせる。
図9は表示方法2の一例として内境界膜が途切れた場合の警告表示を示す図である。この表示方法は、網膜層途切れ検出データが内境界膜のデータである場合に適用される。図9の表示方法2は、図8の表示方法1の各部分が警告表示用に変更されたものに相当する。図9において、TUは、上端部断層像、TCは中央部断層像、TLは下端部断層像を表す。901は、内境界膜が途切れていることを文章で伝える警告表示、902は途切れが生じている内境界膜の端点の位置を示す矢印を表す。また、各断層像内のAは途切れが生じている内境界膜が太く強調表示されたものを表す。図9では、TUとTLのように内境界膜に途切れが生じている断層像は拡大表示、TCのように途切れが生じていない断層像は縮小表示されている。
また、図10は、表示方法2の一例として網膜色素上皮層境界が途切れた場合の警告表示を示す図である。この表示方法は、網膜層途切れ検出データが網膜色素上皮層境界のデータである場合に適用される。図10において、TUは上端部断層像、TCは中央部断層像、TLは下端部断層像を表す。1001は、網膜色素上皮層境界が途切れていることを文章で伝える警告表示、1002は途切れが生じている網膜色素上皮層境界の端点の位置を示す矢印を表す。また、各断層像内のBは途切れが生じている網膜色素上皮層境界が太く強調表示されたものを表す。図10では、TUとTLのように網膜色素上皮層境界に途切れが生じている断層像は拡大表示、TCのように途切れが生じていない断層像は縮小表示されている。
このように、網膜層が途切れていることを、文章表示や途切れている箇所の表示、層の強調表示、断層像の拡大表示により示すことで、観察者が網膜層の途切れを認識する支援を行うことができる。そして、表示方法2のデータは表示部106に送信される。そして、ステップS309において、表示部106は、表示方法設定部105から表示方法2のデータを取得し、不図示のモニタ上に表示するよう表示制御する。
次に、ステップS310において、移動量設定部109は、途切れ検出フラグE=Trueの場合に、指示取得部100から計測深度の自動調整を指示するための操作者による入力が取得されたか否かを判定する。この指示は、不図示のユーザーインターフェイスを用いて、操作者によって入力される。このとき、移動量設定部109が自動調整を指示する入力が取得された場合には、ステップS311へと移る。取得されなかった場合には、ステップS303へと移る。
ステップS311において、移動量設定部109は、ステップS310で取得した網膜層途切れ検出データに基づき、網膜に対して奥行き方向の計測深度を自動調整するための移動量を設定する。次に、設定した移動量に基づき、断層像取得部103は断層像の画像データを取得する。その次に、表示方法設定部105は、取得した断層像の表示方法を、表示方法1に設定する。そして、設定した表示方法1のデータは記憶部104に送信される。本ステップの処理の詳細については、図4に示すフローチャートを用いて後に詳しく説明する。
ステップS312において、表示部106は、表示方法設定部105から表示方法1のデータを取得し、不図示のモニタ上に表示するよう表示制御する。そして、ステップS313において、指示取得部100は、断層像撮像装置10による断層像の解析・表示処理を終了するか否かの指示を外部から取得する。この指示は、不図示のユーザーインターフェイスを用いて、操作者によって入力される。処理を終了せずに、眼底像上の注目箇所の指定を行った場合、処理はステップS301に戻る。処理を終了する指示を取得した場合には、断層像撮像装置10はその処理を終了する。
次に、図4を参照して、ステップS311の計測深度の自動調整処理を説明する。
ステップS401において、移動量設定部109は、網膜層途切れ検出部108から網膜層途切れ検出データを取得して解析し、必要な移動量を設定する(これを深度方向移動量D’と定義する)。断層像の撮影時において、参照ミラー202が深度方向移動量Dだけ移動することにより、計測範囲RZの断層像が得られる。そして、深度方向移動量D’が設定されると、断層像の撮影時において参照ミラー202の深度方向移動量Dの移動開始位置がD’だけシフトされ、計測範囲RZがD’だけシフトする。本ステップでは、網膜層途切れ検出データが内境界膜の途切れを示すデータである場合は、網膜層の上側が途切れているため、z軸の負の方向に計測範囲RZを移動させる(深度方向移動量D’は負の値になる)。逆に、網膜層途切れ検出データが網膜色素上皮層境界のデータである場合は、下側の網膜層が途切れているため、z軸正の方向に計測範囲RZを移動させる(深度方向移動量D’は正の値になる)。
ステップS401において、移動量設定部109は、網膜層途切れ検出部108から網膜層途切れ検出データを取得して解析し、必要な移動量を設定する(これを深度方向移動量D’と定義する)。断層像の撮影時において、参照ミラー202が深度方向移動量Dだけ移動することにより、計測範囲RZの断層像が得られる。そして、深度方向移動量D’が設定されると、断層像の撮影時において参照ミラー202の深度方向移動量Dの移動開始位置がD’だけシフトされ、計測範囲RZがD’だけシフトする。本ステップでは、網膜層途切れ検出データが内境界膜の途切れを示すデータである場合は、網膜層の上側が途切れているため、z軸の負の方向に計測範囲RZを移動させる(深度方向移動量D’は負の値になる)。逆に、網膜層途切れ検出データが網膜色素上皮層境界のデータである場合は、下側の網膜層が途切れているため、z軸正の方向に計測範囲RZを移動させる(深度方向移動量D’は正の値になる)。
まず、内境界膜が途切れた場合(深度方向移動量D’が負の値の場合)の深度方向移動量D’の設定方法を説明する。本実施形態では、正の定数をdCとして、深度方向移動量D’=−dCと設定しても良いし、網膜層が途切れなくなるために必要な距離dX(正の値)を計算して、深度方向移動量D’=−dXと設定しても良い。dXの設定方法を以下で説明する。
図11の(a)は、途切れた内境界膜の推定ラインと断層像との位置関係を示す図である。1101は、端部の断層像(上端部断層像または下端部断層像)であり、Aは内境界膜を表す。また、A’は内境界膜Aの輪郭を外挿することにより推定された、途切れた内境界膜の推定ラインを表す。さらに、d1は推定ラインA’と断層像の上辺の左端との距離、d2は推定ラインA’と断層像の上辺の右端との距離を表す。
推定ラインA’の推定方法として、網膜の3次元形状が楕円体に近似できることを利用して、例えば検出された内境界膜Aに対して楕円形状をフィッティングして得られる曲線を推定ラインA’として適用する方法を用いる。その他、網膜の形状を考慮した推定方法であれば、この方法に限定しない。
そして、距離dXとして、距離d1と距離d2のうち値が大きいものを採用する。図11の(a)の例ではd1>d2が成り立つので、dX=d1となる。これにより、断層像の上辺から最も離れている推定ラインA’上の位置からの、断層像の上辺までの距離を、距離dXとして設定できる。従って、z軸負の方向に距離dXだけ計測範囲RZを移動させることで、断層像に内境界膜Aを収めることができる。
次に、網膜色素上皮層境界が途切れた場合の深度方向移動量D’の設定方法を説明する。この場合は、内境界膜が途切れた場合と符号を逆にして、D’=dCとしても良いし、D’=dXとしても良い。dXの設定方法を以下で説明する。
図11の(b)は、途切れた網膜色素上皮層境界の推定ラインと断層像との位置関係を示す図である。1102は、端部の断層像(上端部断層像または下端部断層像)であり、Bは網膜色素上皮層境界を表す。また、B’は途切れた網膜色素上皮層境界の輪郭を外装して得られた推定ラインを表し、d3は、推定ラインB’の最もz座標が大きい位置と断層像の下辺との距離を表す。網膜色素上皮層境界も網膜の一部であるので、推定ラインB’も推定ラインA’と同様の方法で求める。そして、距離dX=d3と設定することで、z軸正の方向にdXだけ計測範囲RZを移動させ、断層像に網膜色素上皮層境界Bを収めることができる。こうして、設定した深度方向移動量D’の値は断層像取得部103へと送信される。
ステップS402において、断層像取得部103は、移動量設定部109から取得した深度方向移動量D’及びステップS302で断層像取得位置設定部102により設定された断層像取得位置Pに基づき、被験眼の断層像を撮像する。処理の詳細はステップS303と同様であるため、省略する。撮像された断層像の画像データは、記憶部104へと送信される。
ステップS403において、網膜層抽出部107は、記憶部104に記憶された断層像の画像データを取得し、画像解析により網膜層を抽出する。処理の詳細はステップS306と同様であるため、省略する。断層像の画像データ及び抽出された網膜層のデータは、網膜層途切れ検出部108に送信される。そして、ステップS404において、網膜層途切れ検出部108は、網膜層抽出部107から取得した断層像の画像データ及び抽出された網膜層のデータに基づき網膜層の途切れを検出する。処理の詳細はステップS307と同様であるため、省略する。途切れ検出フラグE=Trueのときは、途切れ検出フラグEの値と網膜層途切れ検出データを、記憶部104に送信しステップS401に移る。途切れ検出フラグE=Falseのときは、途切れ検出フラグEの値のみを記憶部104に送信しステップS405に移る。
ステップS405において、表示方法設定部105は、記憶部104に記憶された断層像の画像データと途切れ検出フラグE=Falseの値を取得し、断層像の画像データを並べて同時に表示する表示方法、すなわち表示方法1に設定する。処理の詳細はステップS304と同様であるため、省略する。設定された表示方法1のデータ及び表示する断層像の画像データは、表示部106に送信される。
以上の手順により計測深度の自動調整が行われる。但し、ステップS401において深度方向移動量D’=−dCと設定した場合は(内境界膜が途切れているとき)、ステップS402において参照ミラーを一定量だけ移動させた断層像を取得する。従って、この処理とステップS404で網膜層の途切れをチェックする、という手順を何度も繰り返し(ステップS401〜S404)、網膜の途切れが検出されなくなったときに次の処理に移るという流れになる。
一方、ステップS401において深度方向移動量D’=−dXと設定した場合は、ステップS402において途切れが生じなくなるために必要なだけ参照ミラーを移動させた断層像を取得する。従って、ステップS404で網膜層の途切れを一度チェックした後に、次の処理に移るという流れになる。或いは、この場合、必要なだけ参照ミラーを移動させているので、ステップS403、S404による確認処理を省略するようにしてもよい。
以上、述べた構成によれば、網膜の3次元形状は楕円体に近似できるため、被験眼の計測範囲RXYにおける中央と端部の断層像を実時間で参照可能にすることで、撮像後に得られる3次元データ全体に網膜層が収まるかどうかを被験眼観察時に判断可能になる。そして、網膜層の途切れが検出された場合に警告提示することで、撮影者が網膜層の途切れを認識する支援を行うことができる。さらに、網膜層の途切れが検出された場合に、撮影者の指示により網膜層の途切れの状態を解析し、網膜層が断層像から途切れないように網膜の奥行き方向の計測深度を自動調整することで、撮影者が位置を調整する負担を軽減しかつ撮影ミスを防ぐことができる。
一方、網膜層の途切れが検出された場合に、撮影者が自動調整の指示を与えないときは計測深度の手動入力を取得できるようにする。このように構成することで、撮影者は網膜層の途切れを示す警告表示を参照しながら、手動で計測深度の位置合わせ(参照ミラー202の位置合わせ)を行うことができる。このとき、参照ミラー202の位置合わせを行った結果はリアルタイムに表示方法2で表示され、網膜層の途切れが解消すると表示方法1による表示が実行される。
また、図1において、網膜層抽出部107及び網膜層途切れ検出部108、表示方法設定部105における表示方法2を省くことで、表示方法1のみが表示方法設定部105で適用され、表示部106によって実時間で表示される構成にすることもできる。この場合、網膜層の途切れの検出が行われないため、移動量設定部109には撮影者からの手動による計測深度の指示のみが入力される。従って、撮影者は計測範囲RXYの中央部と両端部の位置におけるそのままの断層像を実時間で参照しながら、手動で計測深度の位置合わせを行うことができる。この場合、図3のS303〜S305が繰り返し実行されることになる。
その他、自動調整を行う場合には、ユーザは断層像をチェックする必要がない。よって、表示方法設定部105での表示方法を中央部の断層像1枚のみの表示にするようにしてもよい。このように、両端部の断層像表示及び網膜層途切れの警告表示を行わずに、網膜層が途切れた場合に移動量設定部109が計測深度を自動調整する構成にすることもできる。この場合、撮影者には両端部の断層像の状態が提示されないので、撮影者は端部の断層像の状態を意識することなく、コンピュータが自動調整した位置に基づいて撮影ミスのない3次元データを取得することができる。この構成では、網膜に途切れが生じた場合に、断層像の提示以外の何らかの通知手段(音声通知など)を用いて途切れの発生を撮影者に通知した後に撮影者からの指示を取得して自動調整しても良いし、通知せずに自動調整しても良い。
(その他の実施形態)
前記それぞれの実施形態は、本発明を撮像装置として実現したものである。しかしながら、本発明の実施形態は撮像装置のみに限定されるものではない。本実施形態では、本発明をコンピュータ上で動作するソフトウェアとして実現する構成を説明する。図12は、断層像撮像装置10の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。
前記それぞれの実施形態は、本発明を撮像装置として実現したものである。しかしながら、本発明の実施形態は撮像装置のみに限定されるものではない。本実施形態では、本発明をコンピュータ上で動作するソフトウェアとして実現する構成を説明する。図12は、断層像撮像装置10の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。
CPU1201は、RAM1202やROM1203に格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、断層像撮像装置10の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。RAM1202は、外部記憶装置1204からロードされたコンピュータプログラムやデータを一時的に記憶するエリアを備えると共に、CPU1201が各種の処理を行うために必要とするワークエリアを備える。記憶部104の機能はRAM1202によって実現される。ROM1203は、一般にコンピュータのBIOSや設定データなどが格納されている。外部記憶装置1204は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにオペレーティングシステムやCPU1201が実行するコンピュータプログラム等を保存する。また本実施形態の説明において既知としている情報はここに保存されており、必要に応じてRAM1202にロードされる。モニタ1205は、液晶ディスプレイなどにより構成されている。例えば、表示部106が出力する内容を表示することができる。キーボード1206、マウス1207は入力デバイスであり、操作者はこれらを用いて、各種の指示を断層像撮像装置10に与えることができる。インターフェイス1208は、断層像取得部103との間でデータのやり取りを行うためのインらーフェイスである。なお、外部の機器との間で各種データのやりとりを行うための、IEEE1394やUSB、イーサネット(登録商標)ポート等によって構成されるインターフェイスを備えてもよい。インターフェイス1208を介して取得したデータは、RAM1202に取り込まれる。上述した各構成要素は、バス1209によって相互に接続される。
なお、本実施形態における断層像撮像装置10の各部の機能は、各部の機能を実現するコンピュータプログラムをCPU1201が実行し、コンピュータ全体を制御することで実現される。また、上記実施形態では、同フローチャートに従ったプログラムコードは、例えば外部記憶装置1204からRAM1202に既にロードされているものとする。
以上説明したように、上記実施形態によれば、被験眼の計測範囲における中央と端部の位置の断層像を実時間で並べて表示されるため、その後撮像する3次元データに網膜層が収まるかどうかを被験眼観察時に判別可能になる。或いは、断層像において深さ方向の撮影範囲から網膜層がはみ出さないように自動的に深度方向の撮影範囲が調整される。そのため、3次元データ撮像後の断層像において網膜層が途切れてしまうという撮影ミスを防ぐことができる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。
Claims (9)
- 眼底からの戻り光と参照ミラーからの戻り光を光干渉させて眼底の断層像を撮影する断層像撮像装置であって、
断層像を取得する取得手段と、
前記取得手段で取得された断層像を含む画像を表示装置の画面に表示させ、前記断層像が前記画像の上端、下端のいずれか一方にかかる場合に警告表示する表示制御手段と、を備えることを特徴とする断層像撮像装置。 - 前記断層像の網膜層が網膜の深さ方向の計測範囲に入っていないことを検出する検出手段を更に備え、
前記表示制御手段は、前記検出手段の出力に基づき前記画面に警告表示することを特徴とする請求項1に記載の断層像撮像装置。 - 前記網膜の深さ方向の計測範囲は前記参照ミラーの位置に関連付けられていることを特徴とする請求項1に記載の断層像撮像装置。
- 前記取得手段は、
低コヒーレンス光源と、
前記光源から発生した低コヒーレンス光を被検眼側と前記参照ミラー側に分岐する第一の光学部材と、
前記第一の光学部材で分岐された低コヒーレンス光を被検眼の眼底に走査しながら照射する第二の光学部材と、
前記被検眼の眼底からの前記低コヒーレンス光の戻り光と移動された前記参照ミラーからの戻り光を光干渉させて前記被検眼の断層像を構成する構成部と、を有することを特徴とする請求項1乃至3のいずれか1項に記載の断層像撮像装置。 - 低コヒーレンス光源と、
前記光源から発生した低コヒーレンス光を被検眼側と参照ミラー側に分岐する第一の光学部材と、
前記第一の光学部材で分岐された低コヒーレンス光を被検眼の眼底に走査しながら照射する第二の光学部材と、
操作者に指示に基づいて前記参照ミラーの位置を移動する駆動部と、
前記被検眼の眼底からの前記低コヒーレンス光の戻り光と移動された前記参照ミラーからの戻り光を光干渉させて前記被検眼の断層像を構成する構成部と、
前記構成部で構成された断層像を含む画像を表示装置の画面に表示させ、前記断層像が前記画像の上端部にかかる場合に前記画面の上部に警告表示する表示制御部と、を有することを特徴とする断層像撮像装置。 - 眼底からの戻り光と参照ミラーからの戻り光を光干渉させて眼底の断層像を撮影する断層像撮像装置であって、
断層像を取得する取得手段と、
ユーザーインターフェイスを介した操作者の指示に基づき画像中の前記断層像の位置を変更して該画像を表示装置の画面に表示させ、前記断層像が前記画像の上端部にかかる場合に前記画面の上部に警告表示する表示制御手段と、を備えることを特徴とする断層像撮像装置。 - 眼底からの戻り光と参照ミラーからの戻り光を光干渉させて眼底の断層像を撮影する断層像撮像装置であって、
断層像を取得する取得手段と、
ユーザーインターフェイスを介した操作者の指示に基づき画像中の前記断層像の表示位置を変更して該画像を表示装置の画面に表示させ、前記断層像の網膜層が前記画像の所定位置に収まらない場合に警告表示する表示制御手段と、を備えることを特徴とする断層像撮像装置。 - 眼底からの戻り光と参照ミラーからの戻り光を光干渉させて眼底の断層像を撮影する断層像撮像装置による断層撮像方法であって、
操作者に指示された網膜の深度方向の測定位置に基づきで断層像を取得する取得工程と、
前記取得工程で取得された断層像を含む画像表示装置の画面に表示させ、前記断層像が前記画像の端部にかかる場合に前記画面の表示形態を変更する表示制御工程と、を有することを特徴とする断層像撮像方法。 - 請求項8に記載された断層像撮像方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012157940A JP5436630B2 (ja) | 2012-07-13 | 2012-07-13 | 断層像撮像装置および断層撮像方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012157940A JP5436630B2 (ja) | 2012-07-13 | 2012-07-13 | 断層像撮像装置および断層撮像方法、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012056473A Division JP5174258B2 (ja) | 2012-03-13 | 2012-03-13 | 断層像撮像装置およびその制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012192260A JP2012192260A (ja) | 2012-10-11 |
JP5436630B2 true JP5436630B2 (ja) | 2014-03-05 |
Family
ID=47084716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012157940A Active JP5436630B2 (ja) | 2012-07-13 | 2012-07-13 | 断層像撮像装置および断層撮像方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5436630B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016002740A1 (ja) * | 2014-07-01 | 2016-01-07 | 興和株式会社 | 断層像撮影装置 |
EP3175777A4 (en) * | 2014-07-30 | 2018-03-28 | KOWA Co., Ltd. | Tomography device |
WO2019016887A1 (ja) * | 2017-07-19 | 2019-01-24 | 宏 小川 | 断層画像撮影装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0866364A (ja) * | 1994-08-26 | 1996-03-12 | Canon Inc | 眼科機器 |
JP2000237144A (ja) * | 1999-02-19 | 2000-09-05 | Canon Inc | 眼科撮影装置 |
JP2004290329A (ja) * | 2003-03-26 | 2004-10-21 | Konica Minolta Holdings Inc | 医用画像処理装置、医用ネットワークシステム及び医用画像処理装置のためのプログラム |
JP5095167B2 (ja) * | 2006-09-19 | 2012-12-12 | 株式会社トプコン | 眼底観察装置、眼底画像表示装置及び眼底観察プログラム |
JP5085086B2 (ja) * | 2006-10-04 | 2012-11-28 | 株式会社トプコン | 眼底観察装置、眼底画像表示装置及びプログラム |
JP5007114B2 (ja) * | 2006-12-22 | 2012-08-22 | 株式会社トプコン | 眼底観察装置、眼底画像表示装置及びプログラム |
JP4996917B2 (ja) * | 2006-12-26 | 2012-08-08 | 株式会社トプコン | 光画像計測装置及び光画像計測装置を制御するプログラム |
JP4938483B2 (ja) * | 2007-02-07 | 2012-05-23 | 富士フイルム株式会社 | 放射線撮像システム、放射線撮像方法、及びプログラム |
JP4921201B2 (ja) * | 2007-02-23 | 2012-04-25 | 株式会社トプコン | 光画像計測装置及び光画像計測装置を制御するプログラム |
-
2012
- 2012-07-13 JP JP2012157940A patent/JP5436630B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012192260A (ja) | 2012-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5017328B2 (ja) | 断層像撮像装置およびその制御方法、プログラム、記憶媒体 | |
EP2932888A1 (en) | Ophthalmologic device | |
EP2147634A1 (en) | Eyeground observing device and program for controlling same | |
JP5767014B2 (ja) | 眼科観察システム及び画像処理方法 | |
CN111970957B (zh) | 图像处理方法、计算机可读的存储介质及图像处理装置 | |
JP7441783B2 (ja) | 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法 | |
JP2012042348A (ja) | 断層画像表示装置およびその制御方法 | |
CN112420166B (zh) | 信息处理装置 | |
US9642519B2 (en) | Image processing apparatus and control method of image processing apparatus | |
US20180303334A1 (en) | Ophthalmic imaging apparatus and ophthalmic information processing apparatus | |
US9307902B2 (en) | Image processing device, image processing system, image processing method, and program | |
JP2013153844A (ja) | 画像処理装置、画像処理方法及びプログラム。 | |
CN112004457A (zh) | 图像处理方法、程序、图像处理装置及眼科系统 | |
JP2014140474A (ja) | 眼科撮影装置および撮影制御プログラム | |
JP5436630B2 (ja) | 断層像撮像装置および断層撮像方法、プログラム | |
JP5543536B2 (ja) | 断層像撮像装置および断層撮像方法、プログラム | |
JP2023158161A (ja) | 画像処理方法、プログラム、画像処理装置、及び眼科システム | |
JP5174258B2 (ja) | 断層像撮像装置およびその制御方法、プログラム | |
JP2020031873A (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP2019054974A (ja) | 眼科装置 | |
JP2023017402A (ja) | 前眼部解析装置、前眼部解析方法、およびプログラム | |
WO2015098912A1 (ja) | 断層像撮影装置 | |
JP2018164613A (ja) | 眼科装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5436630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |