JP6647013B2 - 画像処理装置、画像処理方法及び光干渉断層撮影装置 - Google Patents

画像処理装置、画像処理方法及び光干渉断層撮影装置 Download PDF

Info

Publication number
JP6647013B2
JP6647013B2 JP2015215220A JP2015215220A JP6647013B2 JP 6647013 B2 JP6647013 B2 JP 6647013B2 JP 2015215220 A JP2015215220 A JP 2015215220A JP 2015215220 A JP2015215220 A JP 2015215220A JP 6647013 B2 JP6647013 B2 JP 6647013B2
Authority
JP
Japan
Prior art keywords
polarization
image
retardation
subject
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015215220A
Other languages
English (en)
Other versions
JP2017080345A5 (ja
JP2017080345A (ja
Inventor
福原 誠
誠 福原
住谷 利治
利治 住谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015215220A priority Critical patent/JP6647013B2/ja
Priority to PCT/JP2016/004555 priority patent/WO2017073024A1/en
Priority to US15/772,027 priority patent/US20180310818A1/en
Publication of JP2017080345A publication Critical patent/JP2017080345A/ja
Publication of JP2017080345A5 publication Critical patent/JP2017080345A5/ja
Application granted granted Critical
Publication of JP6647013B2 publication Critical patent/JP6647013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、被検体の偏光断層画像を処理する画像処理装置及び画像処理方法、光干渉を用いて被検体を断層撮影する光干渉断層撮影装置に関する。
近年、眼科装置において、眼底組織の光学特性や動き等をイメージングすることが可能な光干渉断層計(optical coherence tomography;以下OCT)の開発が試みられている。このようなOCTの一つである偏光OCT装置は、眼底組織の光学特性の一つである偏光特性(リターデーションとオリエンテーション、偏光解消)を用いてイメージングを行う。リターデーションやオリエンテーションは、被検体の偏光異方性(複屈折)を表す指標である。リターデーションにより異方性の度合い、オリエンテーションにより光学軸の方向を可視化する事ができる。偏光異方性は、例えば、組織を構成する繊維質の屈折率の異方性に起因する。また、偏光解消は、被検体が偏光を解消する度合いを表す指標である。偏光解消は、例えば、微小構造を有する組織(例えばメラニン)において、測定光が反射する際に偏光の方向や位相がランダムに変化する事に起因すると考えられている(非特許文献1参照)。
偏光OCTは、偏光特性を利用して、偏光断層画像を構成し、眼底組織の区別やセグメンテーションを行うことができる。偏光OCT装置は、試料を観測する測定光として円偏光に変調した光を用い、干渉光を2つの互いに直交する偏光成分として分割して検出し、偏光断層画像を生成する。2つの直交する偏光成分の位相差を示す偏光断層画像としてリターデーション(複屈折の度合い)とオリエンテーション(光学軸の方向)を算出することができる。また、偏光成分の強度や位相差からストークスベクトルが得られる。眼底の特定の組織において、偏光が解消することが知られており、リターデーションやストークスベクトルが不均一となる。ストークスベクトルから偏光の均一性を示すDOPU(degree of polarization uniformity)を算出することで、偏光解消の程度を取得することができる(非特許文献2参照)。このとき、取得される断層画像に任意のウィンドウを設定し、各ウィンドウに対してDOPUを計算する。DOPUは、偏光の均一性を表す数値であり、偏光が保たれている個所においては1に近い数値となり、偏光が解消された箇所においては1よりも小さい数値となるものである。DOPUにより、ウィンドウ内の均一性を算出する事で、安定して偏光解消を評価する事ができる。
例えば、網膜内の構造においては、視神経繊維層(NFL)が偏光異方性を有する。NFLを観測する事で、視神経繊維層の異常にまつわる疾患(例えば、緑内障)の診断に役立つ事が期待されている。また、網膜内の構造においては、網膜色素上皮(RPE)層が偏光を解消する性質を持つ。偏光を解消する性質を持つ領域(偏光解消領域)を取得する事でRPE層を可視化する事が出来、RPE層の異常に関する疾患(例えば、加齢黄班変性)の診断に役立つ事が期待されている。
B.Baumann,et al,"Polarization sensitive optical coherence tomography of melanin provides intrinsic contrast based on depolarization",Biomedical OPTICS EXPRESS,Vol.3,No.7,P1670−1683(2012) E.Gotzinger,et al,"Retinal pigment epithelium segmentation by polarization sensitive optical coherence tomography",OPTICS EXPRESS,Vol.16,No.21,P16410−16422(2008)
偏光OCTではリターデーションやオリエンテーション、DOPUなどを偏光情報から求めるために解析データが膨大になり、解析処理に時間を要する。そのため、撮影から解析結果を表示するまでの時間短縮が偏光OCTの課題である。特に、DOPUの計算は、長時間を要してしまう課題があった。これは、断層画像の全領域にウィンドウを設定する必要があり、また、2つの直交する偏光成分の強度比と位相差を用いて、画素毎にストークスベクトルを計算する必要があるからである。また、各ウィンドウにおいて画素毎に計算されたストークスベクトルの各要素(ストークスパラメータ)を平均した値を元に、DOPUの計算が実行されるためでもある。
本発明の目的の一つは、このような問題点に鑑みなされたもので、偏光解消領域の抽出に要する計算時間を高速化することである。
本発明に係る画像処理装置の一つは、
光干渉を用いて被検体から取得される互いに異なる偏光の光に対応する複数の断層信号を処理する画像処理装置において、
前記複数の断層信号に基づいて、前記被検体のリターデーションの値を演算する第一の演算手段と、
前記演算されたリターデーションの値の分布に基づいて、前記被検体のリターデーション画像における前記被検体の偏光解消領域の候補領域を抽出する第一の抽出手段と、
前記抽出された候補領域前記複数の断層信号に基づいて、前記抽出された候補領域の偏光の均一性を示す値の分布を演算する第二の演算手段と、
前記演算された偏光の均一性を示す値の分布に基づいて、前記抽出された候補領域の偏光の均一性を示す画像における前記被検体の偏光解消領域を抽出する第二の抽出手段と、を有する。
また、本発明に係る画像処理装置の一つは、
光干渉を用いて被検体から取得される互いに異なる偏光の光に対応する複数の断層信号を処理する画像処理装置において、
前記複数の断層信号を用いて得た前記被検体の偏光の位相差を示す値に基づいて、前記被検体の偏光の位相差を示す画像における前記被検体の偏光解消領域の候補領域を抽出する第一の抽出手段と、
前記抽出された候補領域前記複数の断層信号を用いて得た前記抽出された候補領域の偏光の均一性を示す値に基づいて、前記抽出された候補領域の偏光の均一性を示す画像における前記被検体の偏光解消領域を抽出する第二の抽出手段と、を有する。
本発明によれば、偏光解消領域の抽出に要する計算時間を高速化することが出来る。
本実施形態に係る画像処理装置としての撮影フローを示す図である。 本実施形態に係る画像処理装置を示す図である。 本実施形態に係る画像処理装置の断層画像を示す図である。 本実施形態に係る画像処理装置で取得される偏光解消層のリターデーション分布を示す図である。 本実施形態に係る画像処理装置で取得される非偏光解消層と偏光解消層のリターデーション分布を示す図である。 本実施形態に係る各種マップを示す図である。
以下、本発明の実施形態について図面に基づいて説明する。図2は、本実施形態に係る画像処理装置を内部に含む、あるいは本実施形態に係る画像処理装置を通信可能に接続された光干渉断層撮影装置を示す図である。なお、本実施形態においては、被検眼を被検体とし、被検体の画像を得る光干渉断層撮影装置(眼科装置)について説明する。図2に示すように、光干渉断層撮影装置は、スペクトル領域型の偏光OCT(spectral−domain polarization sensitive OCT;以下、SD−PS−OCT)である。光干渉断層撮影装置は、干渉光学計100、前眼部撮像部160、内部固視灯170及び制御装置180を有している。前眼部撮像部160により観察される被検体の前眼部の画像を用いて、装置のアライメントが行われ、アライメント完了後に、内部固視灯170を点灯し、被検眼に注視させた状態で、干渉光学計100による眼底の撮像が行われる。
<干渉光学計100>
次に、干渉光学計100の構成について説明する。光源101は、低コヒーレント光源であるSLD(super luminescent diode)であり、中心波長850nm、バンド幅50nmの光を出射する。光源101としてSLDを用いたが、ASE(Amplified Spontaneous Emission)等、低コヒーレント光が出射できる光源であれば何れでも良い。光源101から出射された光は、偏光保持ファイバ102、偏光コントローラ103を介して、偏光保持ファイバカップラ104に導かれ、測定光と参照光に分岐される。
偏光コントローラ103は、光源101から出射された光の偏光の状態を調整するものであり、光を直線偏光に調整する。本実施形態の場合、偏光コントローラ103は、後述するファイバカップラ123内の偏光ビームスプリッタで分岐される偏光方向を基準にして、垂直方向に偏光調整する。本実施形態では、偏光コントローラ103は、インラインの偏光コントローラとするが、これに限定されるものではない。偏光コントローラ103は、例えば、複数のパドルを有するパドル型の偏光コントローラであってもよい。また例えば、偏光コントローラ103は、λ/4波長板とλ/2波長板とを組合せた偏光コントローラであってもよい。
偏光保持ファイバカップラ104の分岐比は、90(参照光):10(測定光)である。分岐された測定光は、偏光保持ファイバ105を介してコリメータ106から平行光として出射される。出射された測定光は、Xスキャナ107、レンズ108、109、Yスキャナ110を介し、ダイクロイックミラー111に到達する。ここで、Xスキャナ107とYスキャナ110は、眼底Erにおいて測定光をそれぞれ水平方向と垂直方向にスキャンするガルバノミラーから構成される。Xスキャナ107及びYスキャナ110は、駆動制御部181により制御され、眼底Erの領域を測定光により走査することができる。
ダイクロイックミラー111は、800nm〜900nmの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー111により反射された測定光は、レンズ112を介し、45°傾けて設置されたλ/4波長板113を通過する事で位相が90°ずれ、円偏光の光に偏光制御される。ここで、被検眼に入射される光は、λ/4波長板113を45°傾けて設置することで円偏光の光に偏光制御されるが、被検眼の特性により眼底Erにおいて円偏光とならない場合がある。そのため、駆動制御部181の制御により、λ/4波長板113の傾きを微調整できるように構成されている。
円偏光に偏光制御された測定光は、ステージ116上に乗ったフォーカスレンズ114により、被検体である眼の前眼部Eaを介し、眼底Erの網膜層にフォーカスされる。眼底Erを照射した測定光は各網膜層で反射・散乱し、上述の光学経路を経由して偏光保持ファイバカップラ104に戻る。
一方、偏光保持ファイバカップラ104で分岐された参照光は、偏光保持ファイバ117を介してコリメータ118から平行光として出射される。出射された参照光は22.5°傾けて設置されたλ/4波長板119で偏光制御される。参照光は分散補償ガラス120を介し、コヒーレンスゲートステージ121上のミラー122で反射され、偏光保持ファイバカップラ104に戻る。参照光は、λ/4波長板119を二度通過する事で直線偏光の光が偏光保持ファイバカップラ104に戻ることになる。本実施形態の場合、後述するファイバカップラ123で分岐される偏光方向を基準にして、45°直線偏光に偏光調整する。コヒーレンスゲートステージ121は、被検者の眼軸長の相違等に対応する為、駆動制御部181で制御されている。
偏光保持ファイバカップラ104に戻った測定光の反射光と参照光は合波されて干渉光となり、偏光ビームスプリッタを内蔵したファイバカップラ123に入射し、異なる偏光方向であるP偏光の光とS偏光の光に分岐比50:50で分割される。P偏光の光は、偏光保持ファイバ124、コリメータ130を介し、グレーティング131により分光されレンズ132、ラインカメラ133で受光される。同様に、S偏光の光は、偏光保持ファイバ125、コリメータ126を介し、グレーティング127により分光されレンズ128、ラインカメラ129で受光される。なお、グレーティング127、131、ラインカメラ129、133は、各偏光の方向に合わせて配置されている。ラインカメラ129、133でそれぞれ受光した光は、光の強度に応じた電気信号として出力され、信号処理部182で受ける。
<前眼部撮像部160>
前眼部撮像部160について説明する。前眼部撮像部160は、波長1000nmの照明光を発するLED115a、115bから成る照明光源115により前眼部Eaを照射する。前眼部Eaで反射された光は、フォーカスレンズ114、λ/4波長板113、レンズ112、ダイクロイックミラー111を介し、ダイクロイックミラー161に達する。ダイクロイックミラー161は、980nm〜1100nmの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー161で反射された光は、レンズ162、163、164を介し、前眼部カメラ165で受光される。前眼部カメラ165で受光された光は、電気信号に変換され、信号処理部182で受ける。
<内部固視灯170>
内部固視灯170について説明する。内部固視灯170は、表示部171及びレンズ172を有する。表示部171には、複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部181の制御により撮像したい部位に合わせて変更される。表示部171からの光は、レンズ172を介し、被検眼に導かれる。表示部171から出射される光は520nmで、駆動制御部181により所望のパターンが表示される。
<制御装置180>
制御装置180について説明する。制御装置180は、駆動制御部181、信号処理部182、制御部183、表示部184から構成される。駆動制御部181は、上述の通り各部を制御する。信号処理部182は、ラインカメラ129、133及び前眼部カメラ165それぞれから出力される信号に基づき、画像を生成する。信号処理部182はまた、生成した画像の解析、解析結果の可視化情報の生成を行う。なお、画像の生成などの詳細については、後述する。制御部183は、光干渉断層撮影装置全体を制御すると共に、信号処理部182で生成された画像等を表示部184の表示画面に表示する。表示部184は、制御部183の制御の下、後述するように種々の情報を表示する。ここで、表示部184は、例えば、液晶等のディスプレイである。なお、信号処理部182で生成された画像データは、制御部183に有線で送信されても良いし、無線で送信されても良い。この場合、制御部183を画像処理装置とみなすことができる。なお、制御装置180は、CPU、ROM、RAM等で構成され、後述する制御装置180の機能や処理は、CPUがROM等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
<画像処理方法>
次に、信号処理部182における画像生成、画像解析について説明する。
<断層信号生成>
信号処理部182は、ラインカメラ129、133から入力した干渉信号に対して、SD−PS−OCTに用いられる再構成処理を行うことで、断層信号を生成する。まず信号処理部182は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のAスキャンを平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に信号処理部182は、干渉信号を波長から波数の関数に変換し、フーリエ変換を行うことによって断層信号を生成する。以上の処理を2つの偏光成分の干渉信号に対して行うことにより、各偏光成分に基づいた2つの断層信号AH、AVと断層信号の位相ΦH、ΦVが生成される。
<輝度画像生成>
信号処理部182は、前述した2つの断層信号から断層輝度画像を生成する。信号処理部182は、断層信号を、Xスキャナ107及びYスキャナ110の駆動に同期して整列させることにより、各偏光成分に基づいた2つの断層画像(第1の偏光に対応する断層画像、第2の偏光に対応する断層画像とも言う)を生成する。輝度画像は従来のOCTにおける断層画像と基本的に同じもので、その画素値rは各ラインカメラ129、133から得られた断層信号AH、AVから(式1)によって計算される。図3(a)に黄斑部の輝度画像の例を示す。
Figure 0006647013

<リターデーション画像生成>
次に、偏光の位相差を示す画像の一例であるリターデーション画像の生成について説明する。第一の演算手段の一例である信号処理部182は、互いに直行する偏光成分の断層信号からリターデーション画像を生成する。リターデーション画像の各画素の値δは、断層像を構成する各画素の位置において、垂直偏光成分と水平偏光成分の間の位相差を数値化したものであり、各断層信号AH、AVの振幅から(式2)によって計算される。
δ=arctan[AV/AH] ・・・(式2)
図3(b)は、このように生成された黄斑部のリターデーション画像(偏光の位相差を示す断層画像とも言う)の例を示したものであり、各Bスキャン画像に対して(式2)を計算することによって得ることができる。図3(b)は、断層画像において位相差が生じる箇所を表示しており、濃淡の濃い場所は位相差が小さく、濃淡の淡い場所は位相差が大きいことを表している。図3(b)の右側の濃淡バーは、リターデーションが0から90°の値を表す。リターデーション画像を生成することにより、複屈折性のある層を把握することが可能となる。網膜内の構造においては、視神経繊維層(nerve fiber layer;以下、NFL)が特異的な複屈折性を持つ。
干渉光が偏光解消されている場合のリターデーションについて説明する。偏光解消は例えば、組織内の微小構造(例えばメラミン)での反射に由来すると考えられている。偏光解消する領域では、微小構造の境界面で測定光が反射する際に、偏光が変化する。偏光の変化の仕方は反射面によって異なり、異なる偏光が不均一(ランダム)に混合されて反射光となる。すなわち反射光の偏光成分の振幅が不均一(ランダム)になる。偏光の解消の仕方は、測定光を反射する微小構造の大きさと撮影装置の分解能との関係によって変わる。
微小構造による反射に対し、撮影装置の分解能が低い場合、不均一な偏光は平均化されて観測される。観測される偏光成分には偏りが無い為、偏光ビームスプリッタで分岐した互いに直交する偏光成分の強度は等しくなる(AV=AH)。従って、(式2)で算出するリターデーションは(式3)のように一定値となる。
δ=arctan(AV/AH)=tan−1(1)=45° ・・・(式3)
偏光解消する領域では、リターデーションは定義できない為、不正確な値が算出されている事になる。
一方、微小構造による反射に対し、撮影装置の分解能が高い場合、不均一(ランダム)な偏光は分離して観測される。その結果、図4に示すように観測される偏光成分の強度比(AV/AH)も画素毎に不均一な値となる。従って、(式2)で算出するリターデーションも画素毎に不均一となる。不均一で局所的な状態が算出されている為、被検体の組織の正確な状態を表しているとは言い難い。なお、不均一なリターデーションとなる場合でも、リターデーションの値を空間的に平均化すると一定値(δ=45°)に近づく。なお、リターデーションの値を空間的に平均化した値(平均値)は、リターデーションの値の均一性を示す値の一例である。
リターデーションが一定値となるか不均一となるかは、撮影装置の相対的な分解能の違いであり、本質的には同じ現象である。本実施形態の中では、不均一な状態になる場合も含めて、偏光解消と呼ぶ。
被検体が眼である場合、偏光解消する領域の例としては、網膜色素上皮(retinal pigmented epithelium;以下、RPE)が挙げられる。図3(b)の例では、Aに示す領域がリターデーションを空間的に平均した場合に45度となる領域であり、偏光解消の候補領域となる。この偏光解消の候補領域を抽出した例を図3(c)に示す。
<リターデーションマップの生成>
網膜の平面方向であるリターデーションマップを生成する画像生成手段の一例である信号処理部182は、複数のBスキャン像に対して得たリターデーション(Retardation)画像からリターデーションマップを生成する。まず、信号処理部182は、各Bスキャン画像において、網膜色素上皮(以下、「RPE」ともいう)を検出する。RPEは偏光を解消する性質を持っているため、各Aスキャンを深度方向に沿って内境界膜(以下、「ILM」ともいう)からRPEを含まない範囲でリターデーションの分布を調べ、その最大値を当該Aスキャンにおけるリターデーションの代表値とする。信号処理部182は、以上の処理を全てのリターデーション画像に対して行うことにより、リターデーションマップを生成する。図6(a)には、視神経乳頭部のリターデーションマップの例が示されている。また、図6(c)には、視神経乳頭部及び黄斑部のリターデーションマップの例が示されている。濃淡の濃い場所は上記比を示す値が小さく、濃淡の淡い場所は上記比を示す値が大きいことを表している。視神経乳頭部において、複屈折性を持つ層としては網膜神経線維層(以下、「RNFL」ともいう)であり、リターデーションマップは、2つの偏光がRNFLの複屈折性とRNFLの厚みとで受ける影響の違いを示す画像である。そのため、RNFLが厚い箇所では上記比を示す値が大きくなり、RNFLが薄い箇所では上記比を示す値が小さくなる。したがって、リターデーションマップにより、眼底全体のRNFLの厚みを把握することが出来、緑内障の診断に用いることが出来る。
<複屈折マップの生成>
信号処理部182は、先に生成されたリターデーション画像の各Aスキャン画像において、ILMからRNFLの範囲でリターデーションδの値を線形近似し、その傾きを当該Aスキャン画像の網膜上の位置における複屈折として決定する。すなわち、リターデーションはRNFLにおける距離と複屈折と積であるため、各Aスキャン画像において深さとリターデーションの値をプロットすると線形の関係が得られる。したがって、このプロットに対して最小二乗法等により線形近似を行い、その傾きを求めればそれが当該Aスキャン画像におけるRNFLの複屈折の値となる。この処理を取得した全てのリターデーション画像に対して行うことで、網膜の平面方向である複屈折マップを生成する。図6(b)には、視神経乳頭部の複屈折マップの例が示されている。複屈折マップは、複屈折の値を直接マップ化するため、RNFLの厚さが変化しない場合であっても、その繊維構造が変化した場合に、複屈折の変化として描出することができる。
<オリエンテーション画像生成>
次に、偏光の位相差を示す画像の一例であるオリエンテーション画像の生成について説明する。信号処理部182は、互いに直行する偏光成分の断層信号の位相ΦH、ΦVからオリエンテーション画像を生成する。オリエンテーション画像の各画素の値θは、断層像を構成する各画素の位置において、測定光に対する光軸の方向を表している。互いに直行する偏光成分の断層信号の位相の差ΔΦ(=ΦV−ΦH)から(式4)によって計算される。
θ=(π−ΔΦ)/2 ・・・(式4)
図6(d)には、視神経乳頭部及び黄斑部のオリエンテーションマップの例が示されている。光学軸の向きは、被検体の内部構造の異方性に起因する。異方性は例えば、神経繊維の走行によって発生する。そのため、オリエンテーション画像を生成する事により、複屈折がある層の異方性の向きを把握する事が可能となる。干渉光が偏光解消されている場合について説明する。偏光解消されている場合、各偏光成分の位相に相関が無い(もしくはランダムになる)ため、位相差ΔΦは、ばらついた値となる。偏光解消する領域では、オリエンテーションは定義できない為、断層像で表示した場合、不正確な値が算出されている事になる。
<DOPU画像生成>
次に、DOPU(degree of polarization uniformity)像の生成について説明する。DOPUは、偏光の均一性を表す数値であり、偏光が保たれている個所においては1に近い数値となり、偏光が解消された箇所においては1よりも小さい数値となるものである。第二の演算手段の一例である信号処理部182は、取得した断層信号AH、AVとそれらの位相ΦH、ΦVの差ΔΦ(=ΦV−ΦH)から、画素毎にストークスベクトルSを(式5)により計算する。
Figure 0006647013

次に、信号処理部182は、各Bスキャン画像を概ね測定光の主走査方向に70μm、深度方向に18μm程度の大きさのウィンドウを設定する。そして、信号処理部182は、各ウィンドウにおいて(式5)で画素毎に計算されたストークスベクトルの各要素(ストークスパラメータ)を平均する。そして、信号処理部182は、当該ウィンドウ内のDOPUを(式6)により計算する。
Figure 0006647013

ただし、Qm、Um、Vmは、各ウィンドウ内のストークスパラメータQ、U、Vを平均し、強度Iで規格化した値である。DOPUにより、ウィンドウ内の均一性を算出する事で、安定して偏光解消を評価する事ができる。DOPUのウィンドウサイズを適切に選択することにより偏光解消時に、リターデーションが一定値となる場合と、不均一となる場合どちらでも評価できる。平均化する領域はウィンドウの大きさで決まるが、被検体及び撮影装置の分解能や画素サイズ等を考慮して、決定すれば良い。
信号処理部182は、この処理を以下に述べる偏光解消の候補領域に対して行うことで、図3(d)に示す黄斑部のDOPU画像(偏光の均一度を示す断層画像とも言う)を生成する。図3(d)の右側の濃淡バーは、DOPUが0から1の値を表す。濃淡の淡い場所は偏光が均一で、濃淡の濃い場所は偏光が不均一であることを表している。
次に、第二の抽出手段の一例である信号処理部183が行う、DOPUの値から偏光解消領域を抽出する方法について説明する。網膜内の構造においては、網膜色素上皮(RPE)が偏光を解消する性質があるため、DOPU画像においてRPEに対応する部分は、他の領域に対してその値が小さくなる。従って、DOPUの値を閾値として、偏光解消領域を抽出する事ができる。閾値は、測定装置の画素サイズやウィンドウの設定の仕方によって変わり、事前に被検体を測定する事で、決定すればよい。例えば0.75を閾値とすればよい。図3(d)において、2層の偏光解消候補領域の内、濃淡が濃い下層の領域(Bの領域)が偏光解消領域のRPEに相当する。上層の領域は、エリプソイド領域(EZ)の下部領域に相当し、リターデーションの値から偏光解消の候補領域として抽出されるが、偏光解消度が低いため、DOPU計算により偏光解消層では無いと判断することが可能である。DOPU画像は、RPE等の偏光を解消する層を画像化しているので、病気などによりRPEが変形している場合においても、輝度の変化よりも確実にRPEを画像化出来る。図3(e)にRPEを抽出した例を示す。図中では、濃い領域(Bの領域)が、RPEに相当する。
<偏光解消の候補領域の抽出方法>
偏光解消の候補領域の抽出にあたり、リターデーションの値を用いる方法について説明する。偏光解消の候補領域の抽出は、第一の抽出手段の一例である信号処理部182により実行される。一般に被検体が人眼場合、リターデーションは45°より小さいため、この特性を利用することで、偏光解消の候補領域を抽出する事ができる。偏光解消をしない場合、すなわちリターデーションが保たれている場合、被検体の組織の偏光特性を反映した分布(ピーク)をもつ。一方、偏光解消をする場合、一定値(45°)あるいは、平均すると約45°となるように画素毎にばらついた値となる。リターデーションが一定値となるか不均一となるかは、撮影装置の相対的な分解能の違いによる。微小構造による反射に対し、撮影装置の分解能が低ければ、不均一な偏光が平均化されて観測されるため偏光の偏りが無くなる。偏光の偏りが無くなると、偏光成分の強度比は等しくなる(AV=AH)。従って、リターデーションδは一定値となる。一方、微小構造による反射に対し、撮影装置の分解能が高ければ、不均一(ランダム)な偏光は分離して観測される為、偏光成分の強度比(AV/AH)も不均一な値となる。この場合、画素毎のリターデーションも不均一となる。リターデーションの不均一性は、DOPU計算時と同様に、所定のウィンドウを設けて、平均値やばらつきで評価すればよい。図5(a)はRFNLに、図5(b)はRPE層にウィンドウを設定したときのリターデーションの分布例である。図5(a)では、リターデーションは45°以下に偏りを持って分布しているが、一方、図5(b)は、0°から89度まで、ウィンドウ内でばらつきが大きく、偏光が解消していると判断できる。
以上のことから、偏光解消の判断指標として、例えばリターデーションの平均値を利用することが出来る。リターデーションが理想的にランダムに分布している場合、リターデーションの平均値は45°となるが、設定したウィンドウの範囲内で平均を算出するため、誤差を含む。
そこで、信頼区間の考え方に基づき、判定指標とするリターデーションの値Rthを決定する。ウィンドウ内のリターデーションの平均値をμ、標準偏差をσ、自由度をN、t値をTとすると、Rthは式(7)より求められる。
Figure 0006647013

表1は、網膜層の中で、神経線維層(NFL)、内網状層(IPL)、網膜色素上皮(RPE)、脈絡膜(Chroid)の4層に対し、ウィンドウを設定した時のリターデーションの平均値と標準偏差を示している。発明者らの鋭意検討の結果、RPE層に設定したウィンドウ内のリターデーションの平均値μは44.9°が、標準偏差σは23°が得られている。
Figure 0006647013

自由度Nとしてウィンドウ内の画素数から1を除いた89を、99.9%の信頼水準を保証するt値として3.29を式(7)に代入し、Rthとして44.9±8.0°が得られる。即ち、RPE層に対し同様のウィンドウを設定した場合、リターデーションの平均値は99.9%の確率で36.9°から52.9°の値に収まることなる。
ここで、被検体のリターデーションが通常45°より小さいことを鑑み、例えばウィンドウ内のリターデーションの平均値が36.9°よりも高い場合に偏光解消の候補として抽出を行っても良い。実際の撮影においては、被検体による差異や撮影環境による誤差が乗ることを考慮し、本実施形態では更に余裕をみて平均値が35°以上となる場合に、偏光解消の候補領域として抽出を行う。
信頼区間は装置環境やウィンドウサイズに依存するため、Rthの値は設計事項である。そのため、装置環境や設定するウィンドウサイズに応じて適宜設定しても良い。
また、リターデーションが通常45°より小さいことを鑑み、偏光解消の候補領域として、ウィンドウ内で45°を超えるリターデーションの数を利用しても良い。偏光解消をしている場合、理想的にはウィンドウ内に含まれる画素の半数が45°以上のリターデーションとなる。例えば、90画素のウィンドウを設定する場合、45°以上のリターデーションの画素数は、理想的には45となる。そこで、例えば45°以上のリターデーションの画素数が40画素以上となる場合に、偏光解消の候補領域としても良い。
<セグメンテーション>
信号処理部182は、前述した輝度画像を用いて断層画像のセグメンテーションを行う。まず、信号処理部182は、処理の対象とする断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。次に、信号処理部182は、作成したメディアン画像とSobel画像から、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、信号処理部182は、Sobel画像から作成したプロファイル内のピークを検出する。信号処理部182は、検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を抽出する。更に、信号処理部182は、Aスキャンラインの方向に各層厚をそれぞれ計測し、網膜の平面方向である各層の層厚マップを作成することができる。
また、セグメンテーションの結果を使って、リターデーションから複屈折を得る事もできる。リターデーションの深さ方向への変化率(傾き)が複屈折に相当する。
<偏光解消領域の抽出処理>
次に、本実施形態の撮影フローを、図1を用いて説明する。図1のフローチャートは、撮影装置による、測定処理を示すフローチャートである。検者が、例えば表示部184に表示された測定開始ボタン(不図示)や物理的に本装置に設けられた測定開始ボタンを操作することで測定モードが選択されたとする。すると、制御装置180は、測定開始指示を受け付け、動作モードを測定モードに設定し、測定を開始する。
S1において、駆動制御部181は、測定光を被検体に照射する。
次に、S2において、制御装置180は、ラインカメラ129、133から干渉信号を得て、信号処理により被検体に対応する断層信号AH、AVを取得する。断層信号AH、AVには、被検体の偏光特性の情報が含まれている。
次に、S3において、被検体の偏光特性を算出する。算出する被検体の偏光特性は、少なくともリターデーションを含む。偏光特性としてリターデーションを算出した例を図3(b)に示す。
次に、S4において、信号処理部182はリターデーション断層画像の全領域に対しウィンドウを設定する。設定するウィンドウサイズは、被検体及び撮影装置の分解能や画素サイズ等を考慮して、決定すれば良い。例えば、DOPUと同様な測定光の主走査方向に70μm、深度方向に18μm程度の大きさとすれば良い。
次に、S5において、信号処理部182はS4で設定したウィンドウ毎にリターデーションの平均値を算出する。
次に、S6において、信号処理部182はS5で算出したリターデーションの平均値が閾値以上、例えば35°以上となるウィンドウを偏光解消の候補領域として抽出する。偏光解消の候補領域を抽出した例を図3(c)に示す。
次に、S7において、信号処理部182はS6で偏光解消の候補領域として抽出されたウィンドウに対してDOPUを算出する。
次に、S8において、信号処理部182は偏光解消領域を抽出する。偏光解消領域の抽出はDOPUを用いればよい。DOPUの値が閾値以下の領域(例えば、DOPUが0.75以下の領域)を、偏光解消領域とすればよい。DOPUを取得した例を図3(d)に示す。
最後に、S9において、表示制御手段の一例である制御部183は偏光解消領域を輝度画像に重畳し、表示部184に重畳画像を表示して測定処理を終える。抽出した偏光解消領域を輝度画像に重畳した例を図3(e)に示す。
<比較例>
ここで、ストークスベクトルの計算を用いずに偏光解消を検出する公知文献として、国際公開第2012/0265059号がある。この文献には、測定光の偏光を変化させながら信号を取得し、検出光の強度情報が変化しない領域を特定することで、偏光解消を検知するシステムが開示されている。このシステムは、測定光の偏光状態を変化させながら信号の取得を行うため、偏光を変化させながら信号を取得るための制御システムが必要となる。また、同じ撮影箇所において測定光の偏光状態を変えた複数枚の信号データが必要となるため、信号処理の計算量やデータ量が多くなり、解析に長時間を要するといった同様の課題が生じる。
<その他の実施形態>
上記の説明においては、光源101から出射された出射光は偏光コントローラ103で垂直偏光に調整されたが、出射光は、水平偏光等の他の方位角の直線偏光に調整されてもよい。他の方位角とする場合、波長板の角度、及び算出式を対応した形にすればよい。
また、上記実施形態の撮影装置は、スペクトル領域型のPS−OCT(SD−PS−OCT)で説明したが、波長掃引型のPS−OCT(swept source PS−OCT)や、Time−Domain−OCTにも適用できる。また、EOM素子(電気光学変調素子)により測定光の偏光を変調する方式のPS−OCT等他のPS−OCTの方式であってもよい。
また、撮影装置の被検体は、上記実施形態に限定されるものではない。撮影装置は、被検体の偏光特性を測定するOCTであればよく、例えば、皮膚、内臓、血管、歯等、眼以外の生体や、生体以外の試料等の偏光特性を測定するOCTであってもよい。撮影装置はまた、内視鏡であってもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。例えば、断層信号の取得(図1のS1からS2)と、後処理(図1のS3からS9)を別々に行っても良い。
以上、上述した各実施形態によれば、被検体に偏光解消領域があっても、偏光OCT画像を見やすく表示することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (14)

  1. 光干渉を用いて被検体から取得される互いに異なる偏光の光に対応する複数の断層信号を処理する画像処理装置において、
    前記複数の断層信号に基づいて、前記被検体のリターデーションの値を演算する第一の演算手段と、
    前記演算されたリターデーションの値の分布に基づいて、前記被検体のリターデーション画像における前記被検体の偏光解消領域の候補領域を抽出する第一の抽出手段と、
    前記抽出された候補領域前記複数の断層信号に基づいて、前記抽出された候補領域の偏光の均一性を示す値の分布を演算する第二の演算手段と、
    前記演算された偏光の均一性を示す値の分布に基づいて、前記抽出された候補領域の偏光の均一性を示す画像における前記被検体の偏光解消領域を抽出する第二の抽出手段と、
    を有することを特徴とする画像処理装置。
  2. 前記第一の抽出手段は、前記リターデーション画像における前記演算されたリターデーションの値の分布が35°以上である領域を、前記候補領域として抽出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第一の抽出手段は、前記リターデーション画像に設定するウィンドウ内における前記演算されたリターデーションの値の分布の平均値が閾値以上である領域を、前記候補領域として抽出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記抽出された偏光解消領域に基づいて、前記リターデーション画像の深さ方向に垂直な方向である前記被検体の平面方向のマップを生成する画像生成手段を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記複数の断層信号に基づいて、前記リターデーション画像の深さ方向に垂直な方向である前記被検体の平面方向の複数の位置で、前記深さ方向におけるリターデーションの代表値を特定し、前記特定された代表値を用いてリターデーションマップを生成する画像生成手段を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  6. 光干渉を用いて被検体から取得される互いに異なる偏光の光に対応する複数の断層信号を処理する画像処理装置において、
    前記複数の断層信号を用いて得た前記被検体の偏光の位相差を示す値に基づいて、前記被検体の偏光の位相差を示す画像における前記被検体の偏光解消領域の候補領域を抽出する第一の抽出手段と、
    前記抽出された候補領域前記複数の断層信号を用いて得た前記抽出された候補領域の偏光の均一性を示す値に基づいて、前記抽出された候補領域の偏光の均一性を示す画像における前記被検体の偏光解消領域を抽出する第二の抽出手段と、
    を有することを特徴とする画像処理装置。
  7. 前記第一の抽出手段は、前記偏光の位相差を示す画像における前記偏光の位相差を示す値の平均値が35°以上である領域を、前記候補領域として抽出することを特徴とする請求項6に記載の画像処理装置。
  8. 前記第二の抽出手段は、前記演算された偏光の均一性を示す値が閾値以下である領域を、前記偏光解消領域として抽出することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記抽出された偏光解消領域を、前記複数の断層信号に基づいて生成された前記被検体の断層輝度画像に重ねて表示手段に表示させる表示制御手段を更に有することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 測定光を照射した前記被検体からの戻り光と前記測定光に対応する参照光とを干渉して得た干渉光を分割して得た互いに異なる偏光の光を検出する検出手段を有する光干渉断層撮影装置に通信可能に接続され、
    前記検出された互いに異な偏光の光に基づいて前記断層信号が取得されることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記被検体は、被検眼であることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 光干渉を用いて被検体から取得される互いに異なる偏光の光に対応する複数の断層信号を処理する画像処理方法において、
    前記複数の断層信号に基づいて、前記被検体のリターデーションの値を演算する工程と、
    前記演算されたリターデーションの値の分布に基づいて、前記被検体のリターデーション画像における前記被検体の偏光解消領域の候補領域を抽出する工程と、
    前記抽出された候補領域前記複数の断層信号に基づいて、前記抽出された候補領域の偏光の均一性を示す値の分布を演算する工程と、
    前記演算された偏光の均一性を示す値の分布に基づいて、前記抽出された候補領域の偏光の均一性を示す画像における前記被検体の偏光解消領域を抽出する工程と、
    を有することを特徴とする画像処理方法。
  13. 光干渉を用いて被検体から取得される互いに異なる偏光の光に対応する複数の断層信号を処理する画像処理方法において、
    前記複数の断層信号を用いて得た前記被検体の偏光の位相差を示す値に基づいて、前記被検体の偏光の位相差を示す画像における前記被検体の偏光解消領域の候補領域を抽出する工程と、
    前記抽出された候補領域前記複数の断層信号を用いて得た前記抽出された候補領域の偏光の均一性を示す値に基づいて、前記抽出された候補領域の偏光の均一性を示す画像における前記被検体の偏光解消領域を抽出する工程と、
    を有することを特徴とする画像処理方法。
  14. 請求項1または1に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
JP2015215220A 2015-10-30 2015-10-30 画像処理装置、画像処理方法及び光干渉断層撮影装置 Active JP6647013B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015215220A JP6647013B2 (ja) 2015-10-30 2015-10-30 画像処理装置、画像処理方法及び光干渉断層撮影装置
PCT/JP2016/004555 WO2017073024A1 (en) 2015-10-30 2016-10-12 Image processing apparatus, image processing method, and optical interference tomographic apparatus
US15/772,027 US20180310818A1 (en) 2015-10-30 2016-10-12 Image processing apparatus, image processing method, and optical interference tomographic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015215220A JP6647013B2 (ja) 2015-10-30 2015-10-30 画像処理装置、画像処理方法及び光干渉断層撮影装置

Publications (3)

Publication Number Publication Date
JP2017080345A JP2017080345A (ja) 2017-05-18
JP2017080345A5 JP2017080345A5 (ja) 2018-10-04
JP6647013B2 true JP6647013B2 (ja) 2020-02-14

Family

ID=57211549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015215220A Active JP6647013B2 (ja) 2015-10-30 2015-10-30 画像処理装置、画像処理方法及び光干渉断層撮影装置

Country Status (3)

Country Link
US (1) US20180310818A1 (ja)
JP (1) JP6647013B2 (ja)
WO (1) WO2017073024A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7077093B2 (ja) * 2018-03-26 2022-05-30 三菱重工業株式会社 領域検出装置、領域検出方法及びそのプログラム
CN113670827A (zh) * 2021-08-20 2021-11-19 华南师范大学 偏振敏感型光学相干-高光谱显微成像装置及其检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4614548B2 (ja) * 2001-01-31 2011-01-19 パナソニック株式会社 超音波診断装置
US7612880B2 (en) * 2003-08-06 2009-11-03 Arizona Board Of Regents On Behalf Of The University Of Arizona Advanced polarization imaging method, apparatus, and computer program product for retinal imaging, liquid crystal testing, active remote sensing, and other applications
US8208996B2 (en) 2008-03-24 2012-06-26 Carl Zeiss Meditec, Inc. Imaging of polarization scrambling tissue
EP2243420A1 (en) * 2009-04-24 2010-10-27 Schmidt-Erfurth, Ursula Method for determining exudates in the retina
JP2014110884A (ja) * 2012-10-30 2014-06-19 Canon Inc 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
WO2017073024A1 (en) 2017-05-04
US20180310818A1 (en) 2018-11-01
JP2017080345A (ja) 2017-05-18

Similar Documents

Publication Publication Date Title
KR101570666B1 (ko) 화상처리장치 및 화상처리방법
JP6071331B2 (ja) 画像処理装置及び画像処理方法
US9913581B2 (en) Photography apparatus and photography method
US10198814B2 (en) Image processing device and image processing method
US10244937B2 (en) Image processing apparatus and image processing method
EP2756796B1 (en) Ophthalmic apparatus and ophthalmic method
JP6265600B2 (ja) 制御装置及び制御装置の作動方法
US9289116B2 (en) Image processing apparatus and image processing method
US9700199B2 (en) Image processing apparatus and image processing method
JP2016022010A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014083285A (ja) 画像処理装置及び画像処理方法
JP6647013B2 (ja) 画像処理装置、画像処理方法及び光干渉断層撮影装置
WO2017073025A1 (en) Image processing apparatus, image processing method, and optical interference tomographic apparatus
JP2013146445A (ja) 画像処理装置及び画像処理方法
JP6381622B2 (ja) 画像処理装置及び画像処理方法
JP2017140316A (ja) 画像処理装置、画像処理方法およびそのプログラム
JP6437055B2 (ja) 画像処理装置及び画像処理方法
JP5936368B2 (ja) 光干渉断層撮影装置及びその作動方法
JP6039185B2 (ja) 撮影装置
JP2019111396A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200114

R151 Written notification of patent or utility model registration

Ref document number: 6647013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151