JP6278295B2 - 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム - Google Patents

脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム Download PDF

Info

Publication number
JP6278295B2
JP6278295B2 JP2013124960A JP2013124960A JP6278295B2 JP 6278295 B2 JP6278295 B2 JP 6278295B2 JP 2013124960 A JP2013124960 A JP 2013124960A JP 2013124960 A JP2013124960 A JP 2013124960A JP 6278295 B2 JP6278295 B2 JP 6278295B2
Authority
JP
Japan
Prior art keywords
blood vessel
choroidal
data
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013124960A
Other languages
English (en)
Other versions
JP2015000131A (ja
Inventor
安野 嘉晃
嘉晃 安野
煉 段
煉 段
伊藤 雅英
雅英 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tsukuba NUC
Original Assignee
University of Tsukuba NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tsukuba NUC filed Critical University of Tsukuba NUC
Priority to JP2013124960A priority Critical patent/JP6278295B2/ja
Priority to US14/897,631 priority patent/US10136812B2/en
Priority to PCT/JP2014/065319 priority patent/WO2014199976A1/ja
Publication of JP2015000131A publication Critical patent/JP2015000131A/ja
Application granted granted Critical
Publication of JP6278295B2 publication Critical patent/JP6278295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A61B3/1233Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4795Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Description

本発明は、光干渉計測技術分野であって、光干渉断層計(光コヒーレンストモグラフィー:Optical Coherence Tomography、略して「OCT」という)で得られた画像に対する画像処理の技術に関し、特に、目の眼底における脈絡膜の血管の可視化し解析する光干渉断層計装置及びその画像処理プログラムに関する。
上記本発明の画像処理プログラムは、概要としては、3次元のOCT断層画像を解析し擬似的な眼底造影画像を構築する擬似造影画像作成のためのアルゴリズムと、擬似的な眼底造影画像をさらに処理することで、眼底疾患のため診断脈絡血管構造から定量評価するために有用な値(具体的には、脈絡膜の直径、脈絡膜網の厚さ)を取得するアルゴリズムと、を有するものである。
従来、医療分野等で用いられる非侵襲の断層計測技術の1つとして、時間的に低コヒーレンス光をプローブ(探針)として用いる光断層画像化法「光コヒーレンストモグラフィー」(OCT)がある(特許文献1参照)。OCTは、光を計測プローブとして用いるため、被計測物体の屈折率分布、分光情報、偏光情報(複屈折率分布)等が計測できるという利点がある。
基本的なOCT43は、マイケルソン干渉計を基本としており、その原理を図8で説明する。光源44から射出された光は、コリメートレンズ45で平行化された後に、ビームスプリッター46により参照光と物体光に分割される。物体光は、物体アーム内の対物レンズ47によって被計測物体48に集光され、そこで散乱・反射された後に再び対物レンズ47、ビームスプリッター46に戻る。
一方、参照光は参照アーム内の対物レンズ49を通過した後に参照鏡50によって反射され、再び対物レンズ49を通してビームスプリッター46に戻る。このようにビームスプリッター46に戻った物体光と参照光は、物体光とともに集光レンズ51に入射し光検出器52(フォトダイオード等)に集光される。
OCTの光源44は、時間的に低コヒーレンス光(異なった時刻に光源から出た光同士は極めて干渉しにくい光)の光源を利用する。時間的低コヒーレンス光を光源としたマイケルソン型の干渉計では、参照アームと物体アームの距離がほぼ等しいときにのみ干渉信号が現れる。
この結果、参照アームと物体アームの光路長差(τ)を変化させながら、光検出器52で干渉信号の強度を計測すると、光路長差に対する干渉信号(インターフェログラム)が得られる。
そのインターフェログラムの形状が、被計測物体48の奥行き方向の反射率分布を示しており、1次元の軸方向走査により被計測物体48の奥行き方向の構造を得ることができる。このように、OCT43では、光路長走査により、被計測物体48の奥行き方向の構造を計測できる。
このような軸方向の走査のほかに、横方向の機械的走査を加え、2次元の走査を行うことで被計測物体の2次元断面画像が得られる。この横方向の走査を行う走査装置としては、被計測物体を直接移動させる構成、物体は固定したままで対物レンズをシフトさせる構成、被計測物体も対物レンズも固定したままで、対物レンズの瞳面付近においたガルバノミラーの角度を回転させる構成等が用いられている。
以上の基本的なOCTが発展したものとして、分光器を用いてスペクトル信号を得るスペクトルドメインOCT(SD−OCT)と、光源の波長を走査してスペクトル干渉信号を得る波長走査型OCT(Swept Source OCT、略して「SS−OCT」という。)がある。SD−OCTには、フーリエドメインOCT(Fourier Domain OCT、略して「FD−OCT」という。特許文献2参照)、及び偏光感受型OCT(Polarization-Sensitive OCT、略して「PS−OCT」という。特許文献3参照)がある。
FD−OCTは、被計測物体からの反射光の波長スペクトルを、スペクトロメーター(スペクトル分光器)で取得し、このスペクトル強度分布に対してフーリエ変換することで、実空間(OCT信号空間)上での信号を取り出すことを特徴とするものであり、このFD−OCTは、奥行き方向の走査を行う必要がなく、x軸方向の走査を行うことで被計測物体の断面構造を計測可能である。
SS−OCTは、高速波長スキャニングレーザーにより光源の波長を変え、スペクトル信号と同期取得された光源走査信号を用いて干渉信号を最配列し、信号処理を加えることで3次元光断層画像を得るものである。なお、光源の波長を変える手段として、モノクロメーターを利用したものでも、SS−OCTとして利用可能である。
ドップラー光コヒーレンストモグラフィー(ドップラーOCT)による、網膜の血流の分布の計測が知られている。これは、上記FD−OCT等を用いて、網膜の血流の分布が計測を行うことのできる手段であり、同様に、スペクトルドメインOCTを使うことによって、横断面網膜血流画像形成が得られ、また三次元の網膜の脈管構造も観察することができる。
本発明者らは、従来、ドップラーOCTに着目し、生体内、特に眼底の血流を非侵襲で計測する手法の研究・開発を行って来た。従来、本発明者らはSD−OCTを技術基盤上にドップラーOCTを実装し、眼底血流検査に成功してきたが、近年OCTの技術基板はSD−OCTから、次世代であるSS−OCTに移行しつつある。
ところで、近年、眼科分野における病気として、緑内障や加齢黄斑変性症(AMD)が多いことが社会的な問題となっており、その効果的な診断、治療のために、眼底の断層画像の計測データに基づき、定量的に評価する技術が重要となっている。
眼底において、脈絡膜は、網膜色素上皮(RPE)と強膜との間にあり、多くの血管(脈絡膜血管)を有する層である。そして、脈絡膜は、網膜の外層に酸素及び栄養を供給する機能を有する。脈絡膜血管の形態の変化は、緑内障や加齢黄斑変性症(AMD)等、循環異常に係る眼病の診断に役立つものである。そこで、脈絡膜血管の画像は、眼科学ではきわめて有用である。
従来、脈絡膜血管の画像化手段として、通常、インドシアニングリーン蛍光眼底血管造影(ICGA)が使用されており、近赤外線及び近赤外線検出器を使用すると、蛍光造影より透過性を向上することができる。
ところで、上記緑内障や加齢黄斑変性症(AMD)等の病気の診断に、血管を分離して識別できるようにすることは必要であり、そのために、2次元画像又は3次元画像の血管を分離するために多くのアルゴリズムが提案されている(非特許文献1、2参照)。
脈絡膜の血管の分離画像は、脈絡膜の血管の直感的な視覚像だけでなく、形態面における定量的な情報を得ることができ、これは、血流に関連する眼の病気の病理を理解するために有用なことである。
血管の識別は、通常は、追尾に基づく手段(非特許文献3参照)と、ウィンドウに基づく手段(非特許文献4、5参照)の2つの異なる手段で行われている。追尾に基づく手段は、血管を抽出する必要の部位をなぞる手段であり時間がかかり、他方、ウィンドウに基づく手段は、フィルターを利用して血管の境界等を検出する手段でありさらに画像の精度を上げる必要がある。
最近、病因検出及び領域成長手法を利用した脈絡膜の血管の自動抽出方法が開発され、3D画像を得て、脈絡膜の血管を抽出された(非特許文献6参照)
また、マルチスケールの3Dエッジフィルターを利用した自動血管分離手段が提案されている(非特許文献7参照)
特開2002−310897号公報 特開平11−325849号公報 特開2004−028970号公報
M. Martinez-Perez, A. Hughes, A.Stanton, S. Thom, A. Bharath, and K. Parker,"Retinal blood vessel segmentation by means of scale-space analysis and region growing,"in"Medical Image Computing and Computer-Assisted Intervention lMICCAIl9,",vol. 1679 of Lecture Notes in Computer Science, C. Taylor and A. Colchester, eds.(Springer Berlin Heidelberg, 1999), pp. 90-97. J.Staal, M. Abramoff, M. Niemeijer, M. Viergever, and B. van Ginneken,"Ridge-based vessel segmentation in color images of the retina,"IEEE Trans.Med.Imag. 23, 501-509(2004). W.Cai and A.C.S. Chung,"Multi-resolution vessel segmentation using normalized cuts in retinal images,"Lecture Notes in Computer Science 4191, 928-936(2006). Q. Li, J. You, L. Zhang, and P. Bhattacharya, "A multiscale approach to retinal vessel segmentation using gabor filters and scale multiplication, "Systems, Man and Cybernetics, 2006. SMC '06, IEEE International Conference on 4, 3521-3527(2006). M.D. Saleh, C. Eswaran, and A. Mueen,"An automated blood vessel segmentation algorithm using histogram equalization and automatic threshold selection, "J. Digit. Imag. 24, 564-572(2011). L.Zhang, K. Lee, M.Niemeijer, R.F. Mullins, M.Sonka, and M.D. Abrmoff,"Automated segmentation of the choroid from clinical sd-oct,"Invest. Ophthalmol. Vis.Sci. 53, 7510-7519(2012). V. Kajic, M.Esmaeelpour, C. Glittenberg, M.F. Kraus, J. Honegger, R. Othara, S. Binder, J.G. Fujimoto, and W. Drexler, "Automated three-dimensional choroidal vessel segmentation of 3d 1060 nm oct retinal data,"Biomed. Opt. Express 4, 134-150(2013). N.Otsu,"A threshold selection method from gray-level histograms, "Systems,Man and Cybernetics,IEEE Transactions on 9,62-66(1979).
現在、眼科診療において、眼底血管可視化検査ICGAが広く用いられている。この検査は眼底疾患の確定診断に不可欠なものであるが、染色濃度の正面画像しか提供することができず、深さ方向については良い分解度は得られないという問題がある。
要するに、深さ方向の異なる層で得られる画像信号がオーバーラップしてしまい、特に、毛細血管の密度が多い部位では、血管の輪郭が不鮮明となってしまう。また、ICGAは、染料を投入する侵襲検査であるために、患者の身体に負担をかけ、同時に、副作用のリスクの伴うという問題がある。
−方、本発明のベースとなるOCTは非侵襲の眼底構造可視化技術であるが、OCTで得られる脈絡膜血管の画像を得るための画像処理において、次のような問題が生じる。
(2)脈絡膜血管の画像を得るためには、脈絡膜の層のみ取り込む必要があるが、脈絡膜より奥側に位置する強膜との境界がOCTの断層画像でははっきりせず、境界に近い強膜の一部も脈絡膜血管のように誤認される偽血管の画像が生じる。
(3)OCTで得られた計測データの画像化処理において、画像を構成する画素(ピクセル)ごとの白黒の2値化処理の際に生じる、例えば、2値データ(1又は0)が同じ複数の画素が大きな密度で存在する領域が、脈絡膜血管ではないのに脈絡膜血管のように見えてしまうという偽血管の画像が生じる。
なお、上記非特許文献1〜7に示される方法は、確かに文献の記載からすると良い結果が得られるようであるが、数学的モデル及び分離プログラムは比較的複雑である。
本発明は、従来、眼科診断に必須であるにもかかわらず侵襲的にしか得られなかった眼底造影と近い画像情報を非侵襲に得ることが可能とすることを課題とするとともに、OCTで得られた計測データから、脈絡膜の層内に存在する脈絡膜血管のみの画像を得て、それにより、脈絡膜血管の太さや、血管網の厚さ等の形態を正確に得て、定量評価を可能とし、眼科診断の的確性を向上させる光干渉断層計装置及びその画像処理プログラムを実現する。
本発明は上記課題を解決するために、光干渉断層計と、該光干渉断層計で取得したOCT計測データに基づき三次元のOCT断層画像を得て、該三次元のOCT断層画像の画像処理を行うコンピュータと、を備えた脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置であって、前記コンピュータは、前記三次元のOCT断層画像から脈絡膜の血管の画像のみを選択的に分離して脈絡膜の血管の画像データを取得する手段、及び脈絡膜の血管の画像データに基づき脈絡膜の血管の形状の定量評価を行うためのデータを得る手段、として機能し、前記脈絡膜の血管の画像データを取得する手段は、OCT計測データから脈絡膜の断層画像データを抽出し、該脈絡膜の断層画像データから脈絡膜における深さ方向の等間隔ごとの位置でスライスした画像のデータを抽出して、該スライスした画像のデータから脈絡膜の血管の画像データを得る構成であることを特徴とする脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置を提供する。
前記脈絡膜の血管の画像データを取得する手段は、大きさの異なる複数のウィンドウのそれぞれについて、前記スライスした画像の画素の色濃度が、予め定めた所定の閾値以上であるか否かに応じて画素毎に2値化し、血管推定部分が抽出された2値画像を得て、該血管推定部分が抽出された2値画像において、当該ウィンドウ内における各画素に対する2値データの異なる画素の存在する割合が、予め定めた所定値以上の領域は擬血管として消去するとともに、当該ウィンドウの寸法に対する予め定めた所定の大きさの直径より小さな直径の前記血管推定部分を、ノイズであり非血管として消去して、脈絡膜の血管網の2値画像のデータを得る構成であることが好ましい。
前記脈絡膜の血管の画像データを取得する手段は、前記三次元のOCT断層画像から眼底におけるブルッフ膜の前側の領域の深さ方向の勾配を検出することで、眼底における視細胞との内節外節結合部の位置のデータを得て、該内節外節結合部及びブルッフ膜の位置のデータを使用して網膜色素上皮周辺の高反射構造体を抽出し、該高反射構造体における光強度を平均することによって、高反射構造体における網膜血管による陰を特定する画像データを得て、該画像データを、線状を強調するフィルターであるフランジフィルターにかけて得られた画像データを2値化し、網膜血管の陰の2値画像のデータを得る構成であることが好ましい。
前記脈絡膜の血管の画像データを取得する手段は、前記脈絡膜の断層画像データに基づき、血管の部分に相当する全ての画素について、光強度の大小により、中小の血管と大きな血管に分類した分類データを作成し、該分類データに基づき、大きさの異なる複数のウィンドウのそれぞれについて得た前記脈絡膜の血管網の2値画像のデータを選択的に組み合わせるとともに、前記網膜血管の陰の2値画像のデータに基づき、脈絡膜の血管のみを分離した脈絡膜網の血管の2値画像のデータを形成する構成であることが好ましい。
前記脈絡膜の血管の形状の定量評価を行うためのデータを得る手段は、前記脈絡膜の血管のみを分離した脈絡膜網の血管の2値画像のデータに基づき、脈絡膜の血管の直径を見積もり、該見積もりで得られたデータを基に脈絡膜の血管の直径分布データを作成するとともに、脈絡膜血管網の厚さを計測し、該計測で得られたデータを基に脈絡膜血管網の厚さマップを作成する構成であることが好ましい。
本発明は上記課題を解決するために、光干渉断層計と、該光干渉断層計で取得したOCT計測データに基づき三次元のOCT断層画像を得て、該三次元のOCT断層画像の画像処理を行うコンピュータと、を備えた脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置におけるコンピュータに搭載される画像処理プログラムであって、前記コンピュータを、前記三次元のOCT断層画像から脈絡膜の血管の画像のみを選択的に分離して脈絡膜の血管の画像データを取得する手段、及び脈絡膜の血管の画像データに基づき脈絡膜の血管の形状の定量評価を行うためのデータを得る手段、として機能させるものであり、前記脈絡膜の血管の画像データを取得する手段は、OCT計測データから脈絡膜の断層画像データを抽出し、該脈絡膜の断層画像データから脈絡膜における深さ方向の等間隔ごとの位置でスライスした画像のデータを抽出して、該スライスした画像のデータから脈絡膜の血管の画像データを得ることを特徴とする脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置におけるコンピュータに搭載される画像処理プログラムを提供する。
前記画像処理プログラムによって、前記脈絡膜の血管の画像データを取得する手段は、大きさの異なる複数のウィンドウのそれぞれについて、前記スライスした画像の画素の色濃度が、予め定めた所定の閾値以上であるか否かに応じて画素毎に2値化し血管推定部分が抽出された2値画像を得て、該血管推定部分が抽出された2値画像において、当該ウィンドウ内における各画素に対する2値データの異なる画素の存在する割合が、予め定めた所定値以上の領域は擬血管として消去するとともに、当該ウィンドウの寸法に対する予め定めた所定の大きさの直径より小さな直径の前記血管推定部分を、ノイズであり非血管として消去して、脈絡膜の血管網の2値画像のデータを得ることが好ましい。
前記画像処理プログラムによって、前記脈絡膜の血管の画像データを取得する手段は、前記三次元のOCT断層画像から眼底におけるブルッフ膜の前側の領域の深さ方向の勾配を検出することで、眼底における視細胞との内節外節結合部の位置のデータを得て、該内節外節結合部及びブルッフ膜の位置のデータを使用して網膜色素上皮周辺の高反射構造体を抽出し、該高反射構造体における光強度を平均することによって、高反射構造体における網膜血管による陰を特定する画像データを得て、該画像データを、線状を強調するフィルターであるフランジフィルターにかけて得られた画像データを2値化し、網膜血管の陰の2値画像のデータを得ることが好ましい。
前記画像処理プログラムによって、前記脈絡膜の血管の画像データを取得する手段は、前記脈絡膜の断層画像データに基づき、血管の部分に相当する全ての画素について、光強度の大小により、中小の血管と大きな血管に分類した分類データを作成し、該分類データに基づき、大きさの異なる複数のウィンドウのそれぞれについて得た前記脈絡膜の血管網の2値画像のデータを選択的に組み合わせるとともに、前記網膜血管の陰の2値画像のデータに基づき、脈絡膜の血管のみを分離した脈絡膜網の血管の2値画像のデータを形成することが好ましい。
前記画像処理プログラムによって、前記脈絡膜の血管の形状の定量評価を行うためのデータを得る手段は、前記脈絡膜の血管のみを分離した脈絡膜網の血管の2値画像のデータに基づき、脈絡膜の血管の直径を見積もり、該見積もりで得られたデータを基に脈絡膜の血管の直径分布データを作成するとともに、脈絡膜血管網の厚さを計測し、該計測で得られたデータを基に脈絡膜血管網の厚さマップを作成することが好ましい。
本発明に係る眼底血管の可視化機能を有する光干渉断層計及びそのプログラムによれば、次のような効果が生じる。
(1)従来、眼科診断に必須であるにもかかわらず侵襲的にしか得られなかった眼底造影と近しい画像情報を非侵襲に得ることが可能とする。
(2)ドップラー機能を有しないOCT装置で得られた画像を解析することで、ドップラー機能を有するOCT(ドップラーOCT)を用いて得られる擬似眼底造影像と同様、もしくは、さらに高コントラストな画像をドップラ一拡張されていない通常のOCT画像から得ることができる。
(3)ドップラー機能を有しない通常のOCT装置で得られた画像の画像処理で得られたデータを利用することにより、眼底血管の血管系などの定量評価を可能とする。なお、本発明を、ドップラーOCT画像に適用すれば、従来、さらに高コントラストな擬似眼底造影像を得ることができる。
本発明に係る光干渉断層計装置の実施例の全体構成を示す図である。 上記実施例の光干渉断層計装置の画像処理を行うコンピュータを示す図である。 上記実施例の光干渉断層計装置に搭載された画像処理プログラムによるフローを示す図である。 上記実施例の光干渉断層計で取得される断層像を示す写真である。 (a)は上記実施例の光干渉断層計装置で取得される断層像をスライスした画像を示す写真であり、(b)は(a)を2値化した白黒画像である。 (a)は上記実施例の光干渉断層計装置で取得される網膜のスライスした画像であり、(b)は(a)を2値化した白黒画像であり、(c)は(b)の網膜血管を強調できるように画像処理した図である。 (a)〜(d)は、それぞれ網膜色素上皮から25μm、100μm、175μm、250μmだけ、深さ方向の内部にある正面像(en-face像)の血管径の分布を示す図である。 従来の基本的なOCTを説明する図である。
本発明に係る脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラムを実施するための実施するための形態を実施例に基づいて図面を参照して、以下に説明する。
本発明に係る光干渉断層計装置1は、図1に示すように、光干渉断層計2と、該光干渉断層計で取得したOCT計測データを画像処理するコンピュータ17とを備えている。
光干渉断層計(OCT)2は、三次元のOCT断層画像を得るためのOCT計測データが取得できれば、どのような種類のものでもよいが、この実施例では、光干渉断層計として、波長走査型光干渉断層計(SS−OCT)を使用する。このSS−OCT2について、その概要を、まず説明する。
図1において、波長走査型光源3から出射された出力光を、ファイバー4を通してファイバーカップラー5に送る。この出力光を、ファイバーカップラー5において、ファイバー6を通して被計測物体7への照射する物体光と、ファイバー8を通して固定参照鏡9に照射する参照光に分割する。
物体光は、ファイバー6、レンズ10、角度が可変な走査鏡11及びレンズ12を介して、被計測物体7に照射、反射され、同じルートでファイバーカップラー5に戻る。参照光は、ファイバー8、レンズ13及びレンズ14を介して固定参照鏡9に照射、反射されて同じルートでファイバーカップラー5に戻る。
そして、これらの物体光と参照光はファイバーカップラー5で重ねられ、ファイバー15を通して光検知器16(PD(フォトダイオード)等のポイントセンサが使用される。)に送られ、スペクトル干渉信号として検出され、スペクトル干渉信号がOCT計測データとして、コンピュータ17に取り込まれる。
コンピュータ17において、光検知器16における検知出力であるOCT計測データに基づいて、被計測物体7の奥行き方向(A方向)と走査鏡の走査方向であるB方向及びC方向の3次元のOCT断層画像が形成される。コンピュータ17には、ディスプレー18が接続されている。
波長走査型光源3は、時間的に波長を変化させて走査する光源であり、即ち波長が時間依存性を有する光源である。これにより、A−スキャン(被計測物体の奥行き方向への走査。このスキャンの結果Aラインが得られる)をするために、固定参照鏡9を走査(光軸方向に移動して行う光軸方向の走査)することなく、被計測物体7の奥行き方向の反射率分布を得て奥行き方向の構造を取得することができる。
従って、B−スキャン(光軸方向と直交する1次方向の走査)及びC−スキャン(光軸方向と直交する2次方向の走査)をするだけで、3次元のOCT断層画像を得るためのOCT計測データを取得することができる。
そして、光検知器16における検知出力であるOCT計測データに基づいて、コンピュータ17によって3次元のOCT断層画像が形成され、コンピュータ17に接続されたディスプレー18で表示することができる。
本発明に係る画像処理プログラムは、光干渉断層計装置を構成するコンピュータに搭載され、そのコンピュータを、光干渉断層計で取得されるOCT計測データを画像処理して、脈絡膜血管の太さや、血管網の厚さ等の形態を正確に取得する手段として機能させる画像処理プログラムに関する。
(画像処理手段、画像処理プログラム)
光干渉断層計で得られたOCT計測データの処理を、コンピュータ17を用いて画像処理する画像処理手段の構成、及びコンピュータ17に搭載される本発明に係る画像処理プログラムについて、以下説明する。
上記構成の光干渉断層計で得られたOCT計測データは、画像処理装置として使用するコンピュータ17に入力される。このコンピュータ17は通常のコンピュータであり、図2に示すように、入力部21、出力部22、CPU23、記憶装置24及びデータバス25を備えている。コンピュータ17の記憶装置24は、本発明に係る画像処理プログラムが記憶されて搭載されている。
コンピュータ17に入力された光干渉断層計で計測されたOCT計測データに基づき 本発明に係る画像処理プログラムは、図3のフローに示すように、OCT断層画像を形成し、このOCT断層画像を処理して、脈絡膜の血管の画像のみを選択的に分離して脈絡膜の血管の画像データを取得する手段、及び脈絡膜の血管の画像データに基づき脈絡膜の血管の形状の定量評価を行うためのデータを得る手段(脈絡膜血管の太さや、血管網の厚さ等の形態を正確に取得する手段として機能させる手段)として、コンピュータ17を機能させる画像処理プログラムである。
脈絡膜の血管の画像のみを選択的に分離して脈絡膜の血管の画像データを取得する手段は、図3のフローにおける(1)〜(9)の脈絡膜の血管分離プロセスに示す各機能を行うものであり、具体的には、以下の(1)〜(9)で説明する手段を含む。
また、脈絡膜の血管の画像データに基づき脈絡膜の血管の形状の定量評価を行うためのデータを得る手段は、図3のフローにおける(10)〜(13)の脈絡膜の血管定量評価用データ作成プロセスに示す各機能を行うものであり、具体的には、以下の(10)〜(13)で説明する手段を含む。
以下、OCT断層画像を画像処理するために、画像処理プログラムによって、コンピュータが機能する手段を、図3のフローに従って、順次説明する。
(1)脈絡膜の断層画像についての画像データを抽出する手段(図3の(1))
OCT計測データにより、被計測物体である眼底の3次元の断層画像が得られるが、画像処理プログラムは、コンピュータを、この3次元の断層画像のうち、大まかに脈絡膜の領域に相当する断層画像についての画像データを抽出するように機能させる。
このように脈絡膜領域を抽出するために、ブルッフ膜(脈絡膜と網膜色素上皮を隔てる構造)を検出して自動的に切り分ける。この切り出しは、脈絡膜及びブルッフ膜のA−ラインについて、網膜色素上皮から深さ方向に手前から奥に向かって信号の二乗強度を計算し、その勾配が最小値となる画素をもってブルッフ膜と認定しブルッフ膜は自動的に除去する。
(2)脈絡膜の3次元の断層画像を等間隔ごとの深さ位置でスライスした複数の画像のデータを抽出する手段(図3の(2))
画像処理プログラムは、コンピュータを、網膜色素上皮から、脈絡膜の深さ方向に等間隔の複数の深さ位置において、脈絡膜の3次元の断層画像をスライス(より詳しくは、深さ方向に直交して厚みを薄く切り取ること)し、各深さ位置における眼の正面から見た2次元の画像(正面像(en-face像))を抽出するように機能させる。
なお、断層画像をスライスした脈絡膜の領域は、例えば、網膜色素上皮と脈絡膜の間に位置するブルッフ膜から例えば370μmの深さまでの領域について選択し、この領域には、脈絡膜の奥にある強膜も一部含まれる。
即ち、ブルッフ膜のすぐ下の領域について脈絡膜を十分に含む領域(例えば370μm)を選択し、解析領域として平坦化(薄い平坦面としてスライス)する。このとき、黄斑の周りの典型的な最大脈絡膜の厚さを考慮に入れて、ボリュームを選択するため、ほとんどの場合、脈絡膜のすべてと強膜のいくらかを含む領域となる。
また、スペックルを減らすため適当な平均フィルター(20×20画素:水平方向に58.6μm、深さ方向に58.6μmなど)をかけ、画質の向上を図る。
図4(a)〜(d)は、それぞれ脈絡膜の深さ方向に異なる位置でスライス(水平面に20×20画素を含み、58.6μm四方の面積であり、厚さは58.6μmでスライス)して抽出した画像を示し、網膜色素上皮からの深さが、(a)は25μm、(b)は100μm、(c)は175μm、(d)は250μmである。
次に、画像処理プログラムは、上記(2)でスライスした複数の画像のデータについて、正面視で47μmウィンドウ(47μm四方の窓)、94μmウィンドウ(94μm四方の窓)、188μmウィンドウ(188μm四方の窓)、375μmウィンドウ(375μm四方の窓)のそれぞれについて、以下の(3)、(4)、(5)の手段を順次行うように、コンピュータを機能させる。
(3)血管推定部分を抽出し2値画像を形成する手段(図3の(3))
画像処理プログラムは、コンピュータを、上記(2)でスライスした複数の画像のデータについて、血管推定部分を抽出するように機能させる。ここで、血管推定部分とは、「脈絡膜の血管であろうと推定できる程度の部分」であって、実際は、血管以外の部分、陰等、非血管部分を含んでいる。
血管推定部分を抽出し2値画像を形成する手段は、血管と非血管の画像データの色濃度の違いに着目し、上記ウィンドウ内に含まれる複数の画素毎に、色濃度が予め定めた所定の閾値以上の場合は「1」とし、該閾値未満の場合は「0」として、画素毎に2値化する。
そして、「1」とされた画素は血管推定部分とし黒を割り当て、「0」とされた画素は非血管部分として白を割り当てて、白黒の2値画像を形成する。このような動作を、1枚の画像データの全域について、上記ウィンドウをそれぞれずらすようにして行い、1枚の画像データの全域についての白黒の2値画像を形成する。
図5(a)はスライスした画像の一例を示す図であるが、血管推定部分を抽出し2値画像を形成する手段で、画素毎に2値化することで、図5(b)に示すような白黒の2値画像が得られる。
以上の手段をより詳細に説明すると次のとおりである。正面像(en-face像)を部分に分割しそのウィンドウ(領域)について次の式(数1)で決まる閾値(アダプティブ閾値という)で2値化する。
ここで、xとxは横方向の座標、yとyは縦方向の座標である。和Σは(x、y) を中心とするウィンドウ(領域)内(例えば、wμm×wμm等)の画素についておこなう。I(x、y)は、OCT像強度の対数をとったものであり、g(x、y)はエッジ強度とよばれ、次の式(数2)で定義される。
このようなフィルター(アダプティブフィルターという)により血管領域の画素を「1」、非血管領域の画素を「0」とした2値画像が得られる。このような本発明の手段は、高速にかつ簡単な手順でグレースケール画像を2値化する手段である。
(4)ビジネスフィルターにより疑血管を消去する手段(図3の(4))
上記(3)の血管推定部分を抽出し2値画像を形成する手段により、図5(b)に示すような白黒の2値画像が得られるが、この2値画像に、血管でなく単なる背景部分(バックグラウンド)であっても血管と識別される非血管部分(これを「疑血管」と言う)が含まれてしまう。
このような場合、ウィンドウ(領域)内がバックグラウンドのみで血管を含んでいない場合、適切な2値化ができずバックグラウンドも血管と分類してしまう。その場合、連続した血管ではなく、細かなエッジの集合のようになる。本発明に係る画像処理プログラムは、このような疑血管をビジネスフィルターにより消去する手段として、コンピュータを機能させる。
ビジネスフィルターにより血管と擬血管を識別する原理は、次のとおりである。ウィンドウ内の「或る1つの画素A」(その2値データは例えば「0」)に対して、「2値データの異なる画素B」(その2値データは例えば「1」)が該ウィンドウ内に存在する場合、上記「或る画素A」はエッジピクセルとして定義される。
このようなエッジピクセルが20%以上存在する領域にある血管推定部分は、擬血管として消去する。エッジピクセルの比率をビジネス値という。具体的には、図5(b)に示すような白黒の2値画像の全領域について、ウィンドウをずらしてエッジピクセルの比率であるビジネス値を取得する。
真の血管の部分の画素の2値データは「1」とし、2値画像において黒が割り当てられ、非血管の部分の画素の2値データは「0」とし、2値画像において白が割り当てられている場合に、非血管の部分の領域は、ビジネス値が高くなる。
このビジネス値が20%以上存在する領域は、擬血管として、消去する。擬血管が消去された後の2値画像(ここでは図示しない)では、例えば、図5(b)の中程の高さの右側の領域の偽血管の部分は消去される。
さらに分かり易く説明すると、ビジネスフィルターは、2値画像のある特定の画素に着目し、その周囲8画素を用いてビジーであるかどうか定義する。周囲がすべて自分と同じ値であればビジーではなく、逆に、1画素でも自分と異なる値であればビジーとする。
上記アダプティブフィルターで用いたウィンドウ(領域)と同じウィンドウ(領域)において、そのビジネス値(ビジー度)は、ビジー画素の数(エッジ画素という)の数と、本ウィンドウ(領域)の全画素数の比の値で定義される。一般にランダムな画像であればビジネス値は上がり、ウィンドウ(領域)がはっきり分かれているような画像ではビジネス値は小さくなる。
例えば、ウィンドウ(領域)の大きさがwx×wy=375μmのとき、ビジネス値が0.2 より大きなウィンドウ(領域)は血管を含まないウィンドウ(領域)であるとして非血管領域として「0」をセットする。
(5)非血管画素の消去する手段(図3の(5))
ウィンドウの大きさが血管の直径に対してかなり大きい場合は、血管におけるコントラストの変化部分が、血管と非血管を識別の支障となる。
即ち、ウィンドウ(領域)wの大きさが血管径よりずっと大きい場合十分なコントラストが得られず、血管構造の検出がうまくいかない(後記するが経験的にはウィンドウの寸法の5分の1より小さい場合など)。逆にいえば、検出された小さいサイズ(ウィンドウの寸法の5分の1より小さい)の血管はアーチファクト(偽像、ノイズ)といえ、これを消す必要がある。
そのために、本発明の画像処理プログラムは、上記(4)で得られた2値画像から、さらに非血管部分を構成する画素を消去する手段として、コンピュータを機能させる。以下、その機能の詳細を説明する。
まず、上記(4)で得られた2値画像を、逆転する。即ち、血管を表示する画素は「1」で黒であったが、それを「0」で白とし、血管以外の部分を表示する画素は「0」で白であったが、それを「1」で黒とする。
そして、2つの画素より小さな直径の粒部分は消去する。このような動作の目的は、大きな血管の小さな孔の部分を埋めることにある。このようなことをしないと、次に説明する形態的な分析(morphlogical analysys)において、上記粒部分は、2つの隣接する薄い血管として認識されてしまうから、その前処理として行うのである。
上記前処理を行ってから、形態的な分析(morphlogical analysys)を行う。本発明者らは、本発明の研究開発の過程で、上記(4)に示すビジネスフィルターにより疑血管を消去する手段では、ウィンドウの寸法より小さな直径(ウィンドウの寸法に対する予め定めた所定の大きさの直径より小さな直径、具体的には、ウィンドウの寸法の1/5より小さな直径)の血管は識別できないという知見を得た。
換言すると、ウィンドウの寸法の1/5より小さな直径の血管推定部分は、ノイズであって非血管であるから消去する。このような知見に基づいて、形態的な分析(morphlogical analysys)の手始めとして、ウィンドウの寸法より1/5より小さな直径の血管推定部分は、ノイズであって非血管であるから消去する。
次に、形態的な分析(morphlogical analysys)として、ヘイウッドの円形ファクタ(Heywood Circularity Factor:「有る形状の外周の長さ」/「円周の長さ」)を用いて、血管とは異なる形状である、円形又は円形に近い形状の部分を構成する画素を消去する。このヘイウッドの円形ファクタ(Heywood Circularity Factor)自体は、周知であって、(「有る形状の外周の長さ」/「円周の長さ」)で定義される。
具体的には、ヘイウッドの円形ファクタ<1.5の部分を構成する画素を消去する。このファクタが1.5未満であると、円形又は円形に近い形状で長細い血管ではないと認識され、1.5以上あると、長細いもの、即ち、血管と認識される。このようにして、非血管部分を構成する画素を消去する。
以上整理すると、まず、2値画像を反転する(血管領域が「0」、それ以外が「1」)。2画素以下の「1」の領域を除去する(「0」とする)。これは大血管中の小さな穴(ノイズ)を除去するためである。
次いで除去したい構造の円(たとえば直径w/5)とのコンボリューション(たたみ込み演算)をおこない、「1」の値を持つ領域を広げる(ダイレーション)。次いで領域の縮小(エロージョン)をおこなうことにより、小さい構造は除去されるが、大きな構造は維持される。
(6)網膜色素上皮周辺の高反射構造体を分離する手段(図3の(6))
脈絡膜のOCT断層画像には、その手前にある網膜の血管の陰が投影されており、これが脈絡膜の血管として誤認されてしまう。この誤認は、脈絡膜の厚さや脈絡膜の血管の太さを正確に定量評価する際に、阻害要因となる。この陰を取り除く必要がある。
その解決の手始めとして、本発明に係る画像処理プログラムは、コンピュータを、網膜色素上皮周辺の高反射構造体を分離する手段として機能させる。この手段は、図3のフロー図に示すように、上記(1)の脈絡膜を抽出する動作と並行して、下記のような動作を行う。
即ち、網膜色素上皮と視細胞(光受容体)との内節外節結合部(IS/OSライン)は、高い反射率を持つ高反射構造体であり、この内節外節結合部に網膜血管が位置している。そのため、網膜血管の投影像はこの高反射構造体である内節外節結合部に最もはっきり投影されて見える。
そのため、OCT断層画像の光強度の正の最大勾配位置から高反射構造体に投影された網膜血管の投影像が抽出できる。具体的には、ブルッフ膜の前側の領域の深さ方向の勾配(変化度)を計測し光強度の正の最大勾配位置検出することで、網膜色素上皮と視細胞(光受容体)との内節外節結合部の位置のデータを得る。
そして、この内節外節結合部及びブルッフ膜の位置のデータを使用することで、網膜色素上皮周辺の高反射構造体を分離して光強度を抽出することができる。分離された高反射構造体における光強度を平均することによって、図6(a)に示すように、高反射構造体における画像を得る。このようなデータは、次に説明する網膜血管の陰の信号を特定する。
(7)網膜血管による陰を分離する手段(図3の(7))
上記(6)で説明したとおり、網膜血管は、脈絡膜の画像データに陰として入り込み、スライスした画像のデータ内で脈絡膜の血管として誤認されてしまう。この誤認は、脈絡膜の厚さや脈絡膜の血管の太さを正確に定量評価する際に、阻害要因となる。
そのため、上記(6)で得られた高反射構造体における画像を利用して、網膜血管による陰を脈絡膜の血管とは分離する必要がある。本発明に係る画像処理プログラムは、コンピュータを、網膜血管による陰を分離する手段として機能させ、次のような動作を行わせる。
高反射構造体における画像データを、線状を強調するフィルターであるフランジフィルターにかけて、適当な閾値を持つ非線形2値化処理(フランジフィルターなど)をおこない、血管部分を「1」、それ以外を「0」として、図6(b)に示すような画像データを得る。
その後、血管の連続性を確保するためにモルフォロジカルクロージング処理(「1」の値を持つ領域の縮小(エロージョン)の後で領域を広げる(ダイレーション)処理)をおこない、これにより、実際より若干太めに抽出された網膜血管画像の影は脈絡膜血管画像から差し引かれる。これにより、網膜血管像は完全に除去され、図6(c)に示すような2値画像のデータを得ることができる。
(8)光強度に基づき画素を分類する手段(図3の(8))
前記したとおり、大きさの異なる4つのウィンドウについて、上記(3)〜(5)のプロセスを行うが、後記する理由によって、4つのウィンドウについて得られたデータについて、適切に組み合わせて、最終的に、脈絡膜の血管の厚さ、直径等の定量的評価を行う。
この4つのウィンドウについて得られたデータの適切な組み合わせのために、事前に大きな血管に相当する画素と、中小の血管に相当する画素を、次のように分類しておく。本発明に係る画像処理プログラムは、コンピュータを、OCT断層画像における各画素の光強度に基づき画素を分類する手段として機能させる。
結合プロセスでは、上記(1)で得られた脈絡膜の断面像部分における全ての画素を、まず、大きな血管を構成する画素と、中小の血管を構成する画素に分ける。計測光は、脈絡膜を通過し、血液で散乱するために、厚い脈絡膜の血管のOCTで得られるスペクトル干渉信号の強度、即ちOCT断層画像の光強度は、網膜色素上皮近くに存在する薄い中小の血管よりも小さい。
このようなOCT断層画像の光強度の違いによって、主に薄い中小の血管に対応する明るい画素と、主に厚い血管に相当する暗い画素に分類する。実際は、この分類は、周知のオオツ閾値(非特許文献8参照)によって行われ、全ての画素について、同時に、OCT断層画像のその光強度がオオツ閾値より、大きい場合は中小の血管に分類し、小さい場合は大きな血管に分類し、大まかな分類であるが分類データを生成する。
(9)異なるウィンドウに基づく画像処理データを結合する手段(図3の(9))
観測している全視野(たとえば6mm四方)を複数の領域に分割する場合、いくつかのスケールに分割し、それぞれから血管構造を抽出し、合成する手段が有効である。
例えば、6mm四方を複数の、たとえば、1/128、1/64、1/32、1/16の4つのスケールに分割すると、その領域の大きさは、それぞれ、w(=w=w)=47μm、94μm、188μm、375μm となる。
血管径は数ミクロンから数百ミクロンに及んでいるため、アダプティブ閾値によって、それぞれの分割はそれに最適な直径の血管を抽出することができる。よって、上記複数の(4つの)スケールの結果を組み合わせて血管を抽出する手段が有効となる。
この点についてさらに分かり易く説明する。上記(5)に示す手段によって、ウィンドウの寸法より1/5より小さな直径の血管推定部分は、ノイズであって非血管であるから消去した。しかしながら、それは、真の小さな血管が分離されることではない。小さなウィンドウは、適切な分離に適切ではない。
その理由は次のとおりである。血管推定部分を抽出し2値画像を形成する手段は、ウィンドウ内に含まれる複数の画素毎に、色濃度が所定の閾値以上の場合は「1」とし、該閾値未満の場合は「0」として、画素毎に2値化した。
もし、血管と背景の間の境界における真の縁部の画素の数が、当該ウィンドウ内できわめて少ない場合は、上記(5)に示す手段は適切な閾値を提供することができない。それ故、小さなウィンドウは、大きな直径を有する血管を識別できない。
脈絡膜の血管の直径は、数μmから数百μmの範囲まであるので、直径において広いレインジで血管を識別することが必要である。そのために、本発明では、前記したとおり、複数の大きさのウィンドウを使用して画像処理を行い、マルチスケールで広い直径範囲について、血管の識別を可能とするのである。
本実施例では、前記のとおり、ウィンドウの縦横の大きさwを、47μm、94μm、188μm、375μmとしたが、これは、6mmの画像の1/128、1/64、1
/32、1/16に相当する大きさである。
本発明に係る画像処理プログラムは、コンピュータを、4つの異なる大きさウィンドウに基づいて得られた画像処理データを結合する手段(どの大きさのウィンドウに基づく画像処理データを使用するか選択する手段)として機能させる。
この画像処理データを結合する手段は、次のようにしてどの大きさのウィンドウに基づく画像処理データV(x,y,z,w)を使用するか選択する。ここで、wの大きさのウィンドウに基づく2値画像のデータ(血管画素は「1」、非血管画素は「0」)である。
(ア)I(x,y,z)≧kの場合は、V(x,y,z,w=47)∪V(x,y,z,w=94)の画像処理データが使用できる。
ここで、I(x,y,z)は、OCT断層画像のx,y,zの画素の光強度(対数値)であり、kはオオツ閾値である。V(x,y,z,w=47)は、w=47μmのウィンドウに基づく2値画像のデータである。V(x,y,z,w=94)は、w=94μmのウィンドウに基づく2値画像のデータである。∪は論理和演算を意味する。
要するに、上記(8)においてオオツ閾値k以上で分類された画素に対応して、47μm又は94μmの大きさのウィンドウに基づく2値画像処理データを採用する。これは、小さな血管については、小さなウィンドウに基づく2値画像処理データを採用するという意味である。
(イ)I(x,y,z)≧kではない場合は、V(x,y,z,w=94)∪V(x,y,z,w=188)∪V(x,y,z,w=375)の2値画像のデータが使用できる。
ここで、V(x,y,z,w=188)はw=188μmのウィンドウに基づく2値画像のデータであり、V(x,y,z,w=375)はw=375μmのウィンドウに基づく2値画像のデータである。∪は論理和演算を意味する。
要するに、上記(8)においてオオツ閾値k以上ではないと分類された画素に対応して、94μm、188μm又は375μmの大きさのウィンドウに基づく2値画像のデータを採用する。これは、大きな血管については、大きなウィンドウに基づく2値画像のデータを採用するという意味である。
以上のようにして、本発明に係る画像処理プログラムは、コンピュータを、断層画像の画素の光強度に対応して、大きさの異なるウィンドウに基づく2値画像のデータを組み合わせる作業を行う機能をさせることとなる。
なお、上記(6)における網膜色素上皮周辺の高反射構造体を分離する手段と、上記(7)における網膜血管による陰を分離する手段による2値画像のデータは、この(9)のプロセスにおいて、異なる大きさのウィンドウに基づく2値画像のデータに反映される。
(10)脈絡膜の血管の直径を見積もる手段(図3の(10))
本発明に係る画像処理プログラムは、上記(9)において最終的に得られた2値画像のデータに基づき、白黒の2値画像の各部の血管の直径を見積もる手段として機能させる。
具体的には、血管の長手方向に直交する方向の長さをもって直径とする。円形パターンによるモルフォロジカルオープニング(「1」の値を持つ領域の領域を広げる(ダイレーション)の後で縮小(エロージョン)処理)によってパターンより大きな直径を持つ血管が抽出される。
従って、抽出したい最小の直径をdとし、最大の直径をdimaxとすると、d=i×d(i=1……imax) の径の円でモルフォロジカルオープニングすることで血管径を分類することができる。
(11)脈絡膜の血管の直径の分布データを作成する手段(図3の(11))
本発明に係る画像処理プログラムは、上記(10)において得られた2値画像の各部の血管の直径の見積もりデータに基づき、脈絡膜の血管の直径の分布データを作成する手段として機能させる。
上記(10)における血管径を分類する処理を、異なる深さの正面像(en-face像)に施すことにより、図7に示すような血管径の分布を求めることができる。
図7(a)〜(d)は、それぞれ網膜色素上皮(RPE)から25μm、100μm、175μm、250μmだけ、深さ方向の内部にある正面像(en-face像)の血管径の分布を示す図であり、明るさは、血管径を示しており、明るさと血管径の大きさの指標は図7の下に示す。但し、脈絡膜血管のない領域と網膜血管の領域は、明るさとは関係なく、黒く見える部分である。
ところで、上記のとおり血管径の分布を求める手段は、円形パターンが小さくなると多くの時間を要する。円形パターンの直径を最大の検出したい血管径に固定し(例えば、d=d(=dimax))、その代わり、血管像の正面像(en-face像)をN/i× N/iにリサイズ(画素数を減らし画像サイズをi 分の1にすること)しながらモルフォロジカルオープニングをおこなうことで、高速に血管径の分類をおこなうことができる。
(12)脈絡膜の血管網の厚さを計測する手段(図3の(12))
本発明に係る画像処理プログラムは、上記(10)において得られた2値画像の各部の血管の直径の見積もりデータに基づき、脈絡膜の血管網の厚さを計測する手段として機能させる。
この脈絡膜の血管網の厚さを計測する手段は、具体的には、次のとおりである。脈絡膜血管網の厚さは、網膜色素上皮(RPE)と脈絡膜血管の後ろ側(奥側)の包絡面をなめらかに結んだエンベロプ(いわば、血管網の領域に風呂敷をかけたような面)の領域の厚さである。
このエンベロープを能動的変形表面モデル(active deformable surface model)を用いて抽出する。まず、網膜色素上皮(RPE)を平坦化し裏返し、上部(眼底の奥側)から変形可能なメッシュをかける。ここでの説明では、z座標(眼底の深さ方向の座標)について、手前側(眼底の奥側)を正(z)とする。
メッシュにおける格子点を制御点とし、この制御点に相互作用(力)を与えると表面の変形がおこり、なめらかで、最適なエンベロープとなる。この作業をすべての制御点に繰り返しおこなう。相互作用(力)Fは下記の式で定義される。
(τ) =αF (τ)+βR (τ)+G
ここで、τは繰り返し数、jは制御点の番号であり、Gは負の定数(重力のようなもの)でメッシュ(制御点)全体に下向きの力をかける。R (τ)は変形表面の局所的な硬直性で、次の式(数3)で表される。
ここでS(x、y)は制御点間を、例えば、2次元のバイキュービック補間(求める位置の周辺の4×4(16点)の高さ情報を用いて面を3次関数で表し補間する方法)等適当な補間方法によって得られたなめらかな表面であり、(u、ν)はj番目の制御点の座標である。P (τ)は局所的な場所における平均血管径から定義される斥力である。
局所的な場所は、例えば、制御点を中心としてメッシュの大きさにとることができる。αとβは正の定数で上記3つの力のバランスをとる。制御点の位置(z座標)は繰り返し操作により更新される。つまり、制御点の位置は、次の式(数4)に示される。
ここで、z (τ)はτ番目の繰り返しにおけるj番目の制御点の位置であり、Fθは予め決められている正の閾値である。繰り返しはすべての制御点が安定(収束)するまで繰り返される。収束したら制御点について、例えば、2次元のバイキュービック補間等、適当な補間をおこない血管網のエンベロープを求める。
(13)脈絡膜の血管網の厚さマップを作成する手段(図3の(13))
本発明に係る画像処理プログラムは、上記(12)において得られた脈絡膜の血管網の厚さを計測データに基づき、脈絡膜の血管網の厚さマップを作成する手段として機能させる。
以上、脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラムを実施するための形態を実施例に基づいて説明したが、本発明はこのような実施例に限定されることなく、特許請求の範囲記載の技術的事項の範囲内で、いろいろな実施例があることは言うまでもない。
本発明に係る脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラムを使用すれば、ドップラ一拡張されていない通常の光干渉断層計装置で取得されたOCT画像から、脈絡膜の血管網を他の層及び非血管から分離して抽出し、定量評価を可能とするので、眼科診断装置への利用が最適である。
例えば、擬似血管造影検査、脈絡膜血管の定量評価による緑内障、糖尿病網膜症、加齢黄斑変性症等の超早期診断に、きわめて有用であり、さらに、光干渉断層計装置ドップラ一拡張されたOCT画像へも適用可能である。
1 光干渉断層計装置
2 波長走査型OCT
3 波長走査型光源
4、6、8、15 ファイバー
5 ファイバーカップラー
7 被計測物体
9 固定参照鏡
11 走査鏡
10、12、13、14 レンズ
16 光検知器
17 コンピュータ
18 ディスプレー
21 入力部
22 出力部
23 CPU
24 記憶装置
25 データバス
43 OCT
44 光源
45 コリメートレンズ
46 ビームスプリッター
47 物体アーム内の対物レンズ
48 被計測物体
49 参照アーム内の対物レンズ
50 参照鏡
51 集光レンズ
52 光検出器(フォトダイオード等)

Claims (8)

  1. 光干渉断層計と、該光干渉断層計で取得したOCT計測データに基づき三次元のOCT断層画像を得て、該三次元のOCT断層画像の画像処理を行うコンピュータと、を備えた脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置であって、
    前記コンピュータは、前記三次元のOCT断層画像から脈絡膜の血管の画像のみを選択的に分離して脈絡膜の血管の画像データを取得する手段、及び脈絡膜の血管の画像データに基づき脈絡膜の血管の形状の定量評価を行うためのデータを得る手段、として機能し、
    前記脈絡膜の血管の画像データを取得する手段は、OCT計測データから脈絡膜の断層画像データを抽出し、該脈絡膜の断層画像データから脈絡膜における深さ方向の等間隔ごとの位置でスライスした画像のデータを抽出して、該スライスした画像のデータから脈絡膜の血管の画像データを得る構成であり、
    前記脈絡膜の血管の画像データを取得する手段は、大きさの異なる複数のウィンドウのそれぞれについて、
    前記スライスした画像の画素の色濃度が、予め定めた所定の閾値以上であるか否かに応じて画素毎に2値化し、血管推定部分が抽出された2値画像を得て、
    該血管推定部分が抽出された2値画像において、当該ウィンドウ内における各画素に対する2値データの異なる画素の存在する割合が、予め定めた所定値以上の領域は擬血管として消去するとともに、当該ウィンドウの寸法に対する予め定めた所定の大きさの直径より小さな直径の前記血管推定部分を、ノイズであり非血管として消去して、脈絡膜の血管網の2値画像のデータを得る構成であることを特徴とする脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置。
  2. 前記脈絡膜の血管の画像データを取得する手段は、前記三次元のOCT断層画像から眼底におけるブルッフ膜の前側の領域の深さ方向の勾配を検出することで、眼底における視細胞との内節外節結合部の位置のデータを得て、該内節外節結合部及びブルッフ膜の位置のデータを使用して網膜色素上皮周辺の高反射構造体を抽出し、該高反射構造体における光強度を平均することによって、高反射構造体における網膜血管による陰を特定する画像データを得て、該画像データを、線状を強調するフィルターであるフランジフィルターにかけて得られた画像データを2値化し、網膜血管の陰の2値画像のデータを得る構成であることを特徴とする請求項1に記載の脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置。
  3. 前記脈絡膜の血管の画像データを取得する手段は、前記脈絡膜の断層画像データに基づき、血管の部分に相当する全ての画素について、光強度の大小により、中小の血管と大きな血管に分類した分類データを作成し、該分類データに基づき、大きさの異なる複数のウィンドウのそれぞれについて得た前記脈絡膜の血管網の2値画像のデータを選択的に組み合わせるとともに、前記網膜血管の陰の2値画像のデータに基づき、脈絡膜の血管のみを分離した脈絡膜網の血管の2値画像のデータを形成する構成であることを特徴とする請求項2に記載の脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置。
  4. 前記脈絡膜の血管の形状の定量評価を行うためのデータを得る手段は、前記脈絡膜の血管のみを分離した脈絡膜網の血管の2値画像のデータに基づき、脈絡膜の血管の直径を見積もり、該見積もりで得られたデータを基に脈絡膜の血管の直径分布データを作成するとともに、脈絡膜血管網の厚さを計測し、該計測で得られたデータを基に脈絡膜血管網の厚さマップを作成する構成であることを特徴とする請求項3に記載の脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置。
  5. 光干渉断層計と、該光干渉断層計で取得したOCT計測データに基づき三次元のOCT断層画像を得て、該三次元のOCT断層画像の画像処理を行うコンピュータと、を備えた脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置におけるコンピュータに搭載される画像処理プログラムであって、
    前記コンピュータを、前記三次元のOCT断層画像から脈絡膜の血管の画像のみを選択的に分離して脈絡膜の血管の画像データを取得する手段、及び脈絡膜の血管の画像データに基づき脈絡膜の血管の形状の定量評価を行うためのデータを得る手段、として機能させるものであり、
    前記脈絡膜の血管の画像データを取得する手段は、OCT計測データから脈絡膜の断層画像データを抽出し、該脈絡膜の断層画像データから脈絡膜における深さ方向の等間隔ごとの位置でスライスした画像のデータを抽出して、該スライスした画像のデータから脈絡膜の血管の画像データを得ることができ、
    前記脈絡膜の血管の画像データを取得する手段は、大きさの異なる複数のウィンドウのそれぞれについて、
    前記スライスした画像の画素の色濃度が、予め定めた所定の閾値以上であるか否かに応じて画素毎に2値化し血管推定部分が抽出された2値画像を得て、
    該血管推定部分が抽出された2値画像において、当該ウィンドウ内における各画素に対する2値データの異なる画素の存在する割合が、予め定めた所定値以上の領域は擬血管として消去するとともに、当該ウィンドウの寸法に対する予め定めた所定の大きさの直径より小さな直径の前記血管推定部分を、ノイズであり非血管として消去して、脈絡膜の血管網の2値画像のデータを得ることを特徴とする脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置におけるコンピュータに搭載される画像処理プログラム。
  6. 前記脈絡膜の血管の画像データを取得する手段は、前記三次元のOCT断層画像から眼底におけるブルッフ膜の前側の領域の深さ方向の勾配を検出することで、眼底における視細胞との内節外節結合部の位置のデータを得て、該内節外節結合部及びブルッフ膜の位置のデータを使用して網膜色素上皮周辺の高反射構造体を抽出し、該高反射構造体における光強度を平均することによって、高反射構造体における網膜血管による陰を特定する画像データを得て、該画像データを、線状を強調するフィルターであるフランジフィルターにかけて得られた画像データを2値化し、網膜血管の陰の2値画像のデータを得ることを特徴とする請求項5に記載の脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置におけるコンピュータに搭載される画像処理プログラム。
  7. 前記脈絡膜の血管の画像データを取得する手段は、前記脈絡膜の断層画像データに基づき、血管の部分に相当する全ての画素について、光強度の大小により、中小の血管と大きな血管に分類した分類データを作成し、該分類データに基づき、大きさの異なる複数のウィンドウのそれぞれについて得た前記脈絡膜の血管網の2値画像のデータを選択的に組み合わせるとともに、前記網膜血管の陰の2値画像のデータに基づき、脈絡膜の血管のみを分離した脈絡膜網の血管の2値画像のデータを形成することを特徴とする請求項6に記載の脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置におけるコンピュータに搭載される画像処理プログラム。
  8. 前記脈絡膜の血管の形状の定量評価を行うためのデータを得る手段は、前記脈絡膜の血管のみを分離した脈絡膜網の血管の2値画像のデータに基づき、脈絡膜の血管の直径を見積もり、該見積もりで得られたデータを基に脈絡膜の血管の直径分布データを作成するとともに、脈絡膜血管網の厚さを計測し、該計測で得られたデータを基に脈絡膜血管網の厚さマップを作成することを特徴とする請求項7に記載の脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置におけるコンピュータに搭載される画像処理プログラム。
JP2013124960A 2013-06-13 2013-06-13 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム Active JP6278295B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013124960A JP6278295B2 (ja) 2013-06-13 2013-06-13 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム
US14/897,631 US10136812B2 (en) 2013-06-13 2014-06-10 Optical coherence tomography apparatus for selectively visualizing and analyzing vascular network of choroidal layer, and image-processing program and image-processing method for the same
PCT/JP2014/065319 WO2014199976A1 (ja) 2013-06-13 2014-06-10 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置、その画像処理プログラム及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013124960A JP6278295B2 (ja) 2013-06-13 2013-06-13 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2015000131A JP2015000131A (ja) 2015-01-05
JP6278295B2 true JP6278295B2 (ja) 2018-02-14

Family

ID=52022268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013124960A Active JP6278295B2 (ja) 2013-06-13 2013-06-13 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム

Country Status (3)

Country Link
US (1) US10136812B2 (ja)
JP (1) JP6278295B2 (ja)
WO (1) WO2014199976A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6427059B2 (ja) * 2015-04-14 2018-11-21 株式会社トプコン 眼科画像表示装置及び眼科撮影装置
JP2016214781A (ja) * 2015-05-26 2016-12-22 ソニー株式会社 手術システム、並びに画像処理装置および方法
JP2017029483A (ja) * 2015-08-03 2017-02-09 株式会社ニデック 眼科撮影装置
JP6632267B2 (ja) * 2015-09-04 2020-01-22 キヤノン株式会社 眼科装置、表示制御方法およびプログラム
CN108292433B (zh) * 2015-11-23 2022-12-27 光学实验室成像公司 血管内图像中的阴影的检测与验证
JP6624945B2 (ja) 2016-01-21 2019-12-25 キヤノン株式会社 画像形成方法及び装置
EP3744254A4 (en) * 2018-01-25 2021-11-03 Osaka University STRESS CONDITION DETECTION METHOD AND STRESS DETECTION DEVICE
WO2019181981A1 (ja) * 2018-03-20 2019-09-26 株式会社ニコン 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法
WO2019203311A1 (ja) 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
JP7238319B2 (ja) * 2018-10-10 2023-03-14 株式会社ニコン 画像処理方法、画像処理装置、画像処理プログラム、及び血管径算出装置
EP3891704A1 (en) * 2018-12-07 2021-10-13 Mayo Foundation for Medical Education and Research Systems and methods for quantifying vessel features in ultrasound doppler images
CN109730633A (zh) * 2018-12-28 2019-05-10 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 基于光学相干断层成像体扫描的脉络膜血管造影方法及设备
JPWO2020217409A1 (ja) * 2019-04-25 2020-10-29
JP7467875B2 (ja) * 2019-10-16 2024-04-16 株式会社ニコン 画像処理装置、画像処理方法、および画像処理プログラム
US11151718B2 (en) 2019-10-30 2021-10-19 Nikon Corporation Image processing method, image processing device, and storage medium
JP6849776B2 (ja) * 2019-11-27 2021-03-31 キヤノン株式会社 情報処理装置及び情報処理方法
US20210319551A1 (en) * 2020-04-10 2021-10-14 Topcon Corporation 3d analysis with optical coherence tomography images
US11893745B2 (en) * 2020-12-09 2024-02-06 Raytheon Company System and method for generating and displaying contours
CN112734787B (zh) * 2020-12-31 2022-07-15 山东大学 基于图像分解的眼科sd-oct高反射点分割方法及实现系统
JPWO2022177028A1 (ja) * 2021-02-22 2022-08-25
KR102566442B1 (ko) * 2021-06-04 2023-08-14 고려대학교 산학협력단 광간섭단층촬영을 이용하여 맥락막 기질의 특성을 분석하는 장치 및 방법
CN114332001A (zh) * 2021-12-24 2022-04-12 北京阅影科技有限公司 血管信息的处理方法及其装置、计算机可读存储介质
WO2023199848A1 (ja) * 2022-04-13 2023-10-19 株式会社ニコン 画像処理方法、画像処理装置、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL122114A0 (en) * 1997-10-21 1998-04-05 Suetliza Eduardo Apparatus for simultaneous bilateral digital retinal angiography
DE19814057B4 (de) 1998-03-30 2009-01-02 Carl Zeiss Meditec Ag Anordnung zur optischen Kohärenztomographie und Kohärenztopographie
US6276798B1 (en) * 1998-09-29 2001-08-21 Applied Spectral Imaging, Ltd. Spectral bio-imaging of the eye
JP2002310897A (ja) 2001-04-13 2002-10-23 Japan Science & Technology Corp 光コヒーレンストモグラフィーにおける透光体の動きによる高速光遅延発生方法及びその高速光遅延発生装置
JP4045140B2 (ja) 2002-06-21 2008-02-13 国立大学法人 筑波大学 偏光感受型光スペクトル干渉コヒーレンストモグラフィー装置及び該装置による試料内部の偏光情報の測定方法
JP4461259B2 (ja) * 2006-08-09 2010-05-12 国立大学法人 筑波大学 光断層画像の処理方法
JP4389032B2 (ja) * 2007-01-18 2009-12-24 国立大学法人 筑波大学 光コヒーレンストモグラフィーの画像処理装置
JP2013518695A (ja) * 2010-02-08 2013-05-23 オレゴン ヘルス アンド サイエンス ユニバーシティ 超高感度光学微小血管造影用の方法および装置
JP6086345B2 (ja) * 2012-11-29 2017-03-01 国立大学法人大阪大学 眼科装置
WO2015013632A1 (en) * 2013-07-26 2015-01-29 The Regents Of The University Of Michigan Automated measurement of changes in retinal, retinal pigment epithelial, or choroidal disease
ES2706749T3 (es) * 2013-11-04 2019-04-01 Cyrill Gyger Método para procesar datos de imagen que representan un volumen tridimensional

Also Published As

Publication number Publication date
JP2015000131A (ja) 2015-01-05
US10136812B2 (en) 2018-11-27
WO2014199976A1 (ja) 2014-12-18
US20160135683A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
JP6278295B2 (ja) 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム
US11935241B2 (en) Image processing apparatus, image processing method and computer-readable medium for improving image quality
US10660515B2 (en) Image display method of providing diagnosis information using three-dimensional tomographic data
US10299677B2 (en) Volume analysis and display of information in optical coherence tomography angiography
US8794763B2 (en) Method for finding the lateral position of the fovea in an SDOCT image volume
US10354385B2 (en) Optical coherence tomography (OCT) data processing method, storage medium storing program for executing the OCT data processing method, and processing device
JP2015515894A (ja) Oct血管造影データの解析および可視化
US8632180B2 (en) Automated detection of uveitis using optical coherence tomography
US20210183019A1 (en) Image processing apparatus, image processing method and computer-readable medium
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020137678A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6815798B2 (ja) 眼科撮影装置及び眼科画像処理装置
JP7195745B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018046959A (ja) 眼科撮影装置
JP2020039430A (ja) 画像処理装置、画像処理方法及びプログラム
US20190274538A1 (en) Image processing device, image processing method, and program
JP7106304B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018057828A (ja) 画像処理装置及び画像処理方法
Lin Deep-learning Enabled Accurate Bruch’s Membrane Segmentation in Ultrahigh-Resolution Spectral Domain and Ultrahigh-Speed Swept Source Optical Coherence Tomography
US20240057861A1 (en) Grade evaluation apparatus, ophthalmic imaging apparatus, non-transitory computer-readable storage medium, and grade evaluation method
JP2018047084A (ja) 眼科検査装置
JP2019154715A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019154717A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180105

R150 Certificate of patent or registration of utility model

Ref document number: 6278295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250