JP7199477B2 - 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム - Google Patents

眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム Download PDF

Info

Publication number
JP7199477B2
JP7199477B2 JP2021111860A JP2021111860A JP7199477B2 JP 7199477 B2 JP7199477 B2 JP 7199477B2 JP 2021111860 A JP2021111860 A JP 2021111860A JP 2021111860 A JP2021111860 A JP 2021111860A JP 7199477 B2 JP7199477 B2 JP 7199477B2
Authority
JP
Japan
Prior art keywords
fundus
image
region
data
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021111860A
Other languages
English (en)
Other versions
JP2021168932A (ja
Inventor
寛一 ▲徳▼田
太樹 相見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2021111860A priority Critical patent/JP7199477B2/ja
Publication of JP2021168932A publication Critical patent/JP2021168932A/ja
Application granted granted Critical
Publication of JP7199477B2 publication Critical patent/JP7199477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラムに関する。
視覚障害の原因疾患の1つに、加齢黄斑変性(Age-related Macular Degeneration:AMD)がある。加齢黄斑変性は、加齢により直接的に又は間接的に黄斑部が障害される疾患である。加齢黄斑変性は、滲出型加齢黄斑変性(exudative AMD)と萎縮型加齢黄斑変性(atrophic AMD)とに分類される。滲出型加齢黄斑変性は、脈絡膜から脈絡膜新生血管が網膜色素上皮層(Retinal Pigment Epithelium:以下、RPE)の下層に侵入したり網膜とRPEとの間に侵入したりすることにより網膜が障害される疾患である。萎縮型加齢黄斑変性は、RPEが徐々に萎縮することで網膜が障害され、視力が徐々に低下する疾患である。
滲出型加齢黄斑変性に対する有効な治療方法として、光線力学的療法(Photo Dynamic Therapy:PDT)、薬物療法、レーザー凝固などが知られている。これに対して、萎縮型加齢黄斑変性に対する有効な治療方法は、現在のところ十分に確立されていない。従って、萎縮型加齢黄斑変性の状態を把握することは極めて重要である。
萎縮型加齢黄斑変性には、中心窩を中心とする所定の領域内にいわゆる地図状萎縮(Geographic Atrophy:GA)が見られる。地図状萎縮は、眼底画像、フルオレセイン蛍光眼底造影画像、眼底自発蛍光検査画像などから特定されたり、光コヒーレンストモグラフィを用いて取得された網膜の断層像から特定されたりする(例えば、特許文献1~特許文献3)。特定された地図状萎縮を観察することで、萎縮型加齢黄斑変性の状態を把握することができる(例えば、特許文献4)。
米国特許出願公開第2015/0201829号明細書 特開2015-136626号公報 特開2016-107148号公報 特表2014-505552号公報
萎縮型加齢黄斑変性の状態の把握には、地図状萎縮を伴う領域(地図状萎縮領域)の形態(形状、サイズ)や分布を観察することが有効である。しかしながら、従来の技術では、地図状萎縮領域の形態や分布を詳細に観察することができなかった。それにより、萎縮型加齢黄斑変性に対して適確な診断を行うことが困難であった。
本発明は、このような事情を鑑みてなされたものであり、その目的は、眼底における萎縮領域の形態や分布を詳細に観察するための新たな技術を提供することにある。
いくつかの実施形態の第1態様は、光コヒーレンストモグラフィを用いて収集された被検眼の眼底のデータを解析することにより前記眼底における萎縮領域を特定し、前記複数の萎縮領域のそれぞれの形態を表す形態パラメータを生成する解析部と、前記眼底の画像データを記憶する記憶部と、前記記憶部に記憶された前記画像データに基づいて前記被検眼の眼底画像を表示手段に表示させと共に、前記解析部により特定された前記複数の萎縮領域の前記形態パラメータの合計値を前記表示手段に表示させ、且つ前記眼底画像における前記萎縮領域に対応する領域を識別可能に表示させる表示制御部と、を含む眼科情報処理装置である。
いくつかの実施形態の第2態様では、第1態様において、前記形態パラメータは、前記萎縮領域の面積を含む。
いくつかの実施形態の第3態様は、第1態様又は第2態様において、前記形態パラメータは、前記萎縮領域の外周囲長を含む。
いくつかの実施形態の第4態様は、第1態様~第3態様のいずれかにおいて、前記表示制御部は、前記複数の萎縮領域の個数を前記表示手段に表示させる。
いくつかの実施形態の第5態様では、第1態様~第4態様のいずれかにおいて、前記眼底画像は、前記データに基づいて生成された網膜色素上皮層からブルッフ膜までの範囲のシャドウグラム、前記眼底を撮影することにより得られた蛍光眼底造影画像、前記眼底を撮影することにより得られた眼底撮影画像、プロジェクション画像、又はCスキャン画像である。
いくつかの実施形態の第6態様は、光コヒーレンストモグラフィを用いて前記被検眼をスキャンすることにより前記データを収集するデータ収集部と、前記表示手段と、上記のいずれかに記載の眼科情報処理装置と、を含む眼科システムである。
いくつかの実施形態の第7態様は、光コヒーレンストモグラフィを用いて収集された被検眼の眼底のデータを解析することにより前記眼底における複数の萎縮領域を特定し、前記複数の萎縮領域のそれぞれの形態を表す形態パラメータを生成する解析ステップと、前記眼底の画像データに基づいて前記被検眼の眼底画像を表示手段に表示させると共に、前記解析ステップにおいて特定された前記複数の萎縮領域の前記形態パラメータの合計値を前記表示手段に表示させ、且つ前記眼底画像における前記萎縮領域に対応する領域を識別可能に表示させる表示ステップと、を含む眼科情報処理方法である。
いくつかの実施形態の第8態様では、第7態様において、前記形態パラメータは、前記萎縮領域の面積を含む。
いくつかの実施形態の第9態様は、第7態様又は第8態様において、前記形態パラメータは、前記萎縮領域の外周囲長を含む。
いくつかの実施形態の第10態様では、第7態様~第9態様のいずれかにおいて、前記表示ステップは、前記複数の萎縮領域の個数を前記表示手段に表示させる。
いくつかの実施形態の第11態様では、第7態様~第10態様のいずれかにおいて、前記眼底画像は、前記データに基づいて生成された網膜色素上皮層からブルッフ膜までの範囲のシャドウグラム、前記眼底を撮影することにより得られた蛍光眼底造影画像、前記眼底を撮影することにより得られた眼底撮影画像、プロジェクション画像、又はCスキャン画像である。
いくつかの実施形態の第11態様は、コンピュータに、上記のいずれかに記載の眼科情報処理方法の各ステップを実行させるプログラムである。
本発明に係るいくつかの実施形態によれば、眼底における萎縮領域の形態や分布を詳細に観察するための新たな技術を提供することができるようになる。
実施形態に係る眼科システムの構成の一例を表す概略図である。 実施形態に係る眼科装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の動作フローの一例を表す概略図である。 実施形態に係る眼科情報処理装置の動作フローの一例を表す概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態の変形例に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態の変形例に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態の変形例に係る眼科情報処理装置の動作を説明するための概略図である。 実施形態の変形例に係る眼科装置の構成の一例を表す概略図である。
この発明のいくつかの実施形態に係る眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラムの例について、図面を参照しながら詳細に説明する。なお、この明細書で引用する文献に記載された事項や任意の公知技術を実施形態に援用することができる。
実施形態に係る眼科システムは、眼科情報処理装置を含む。実施形態に係る眼科情報処理方法は、眼科情報処理装置により実行される。実施形態に係る眼科情報処理方法は、プログラムにしたがってコンピュータにより実行可能である。
実施形態に係る眼科情報処理装置は、眼科装置により光学的に取得された被検眼の眼底のデータに対して所定の解析処理や所定の表示処理を施すことが可能である。いくつかの実施形態に係る眼科装置は、被検眼の眼底の正面画像を取得する機能を備える。被検眼の眼底の正面画像を取得する機能を備えた眼科装置には、光コヒーレンストモグラフィ(Optical Coherence Tomography:OCT)装置、眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡、手術用顕微鏡などがある。いくつかの実施形態に係る眼科装置は、被検眼の光学的な特性を測定する機能を備える。被検眼の光学的な特性を測定する機能を備えた眼科装置には、レフラクトメーター、ケラトメーター、眼圧計、ウェーブフロントアナライザー、スペキュラーマイクロスコープ、視野計などがある。いくつかの実施形態に係る眼科装置は、レーザー治療に用いられるレーザー治療装置の機能を備える。
[眼科システム]
図1に、実施形態に係る眼科システムの構成例のブロック図を示す。実施形態に係る眼科システム1は、眼科装置10と、眼科情報処理装置(眼科画像処理装置、眼科解析装置)100と、操作装置180と、表示装置190とを含む。
眼科装置10は、被検眼のデータを光学的に収集する。眼科装置10は、被検眼の眼底をスキャンすることにより被検眼の眼底のデータを光学的に収集する。例えば、眼科装置10は、OCTを用いて被検眼の眼底の3次元のOCTデータを取得する。眼科装置10は、取得された被検眼のデータから被検眼の眼底の画像を取得することが可能である。眼底の画像には、眼底の断層像及び正面画像が含まれる。眼底の断層像には、Bスキャン画像などがある。眼底の正面画像には、Cスキャン画像、シャドウグラム、又はプロジェクション画像などがある。眼科装置10は、取得された被検眼のデータを眼科情報処理装置100に送信する。
いくつかの実施形態では、眼科装置10と眼科情報処理装置100とは、データ通信ネットワークを介して接続される。いくつかの実施形態に係る眼科情報処理装置100は、データ通信ネットワークを介して選択的に接続された複数の眼科装置10の1つからデータを受信する。
眼科情報処理装置100は、取得された被検眼のデータを解析することにより地図状萎縮領域(萎縮領域)を特定し、眼底の正面画像や断層像における地図状萎縮領域を識別可能に表示装置190に表示させる。
眼科情報処理装置100は、取得された被検眼のデータから形成された眼底の正面画像における地図状萎縮領域に相当する領域をハイライト表示させる。いくつかの実施形態に係る眼科情報処理装置100は、取得された被検眼のデータから眼底の正面画像を形成し、形成された正面画像と特定された地図状萎縮領域との位置合わせを行い、位置合わせが行われた地図状萎縮領域を表す画像を眼底の正面画像にオーバーレイ表示させる。
眼科情報処理装置100は、取得された被検眼のデータから形成された眼底の断層像における地図状萎縮領域に相当する領域をハイライト表示させる。いくつかの実施形態に係る眼科情報処理装置100は、取得された被検眼のデータから眼底の断層像を形成し、形成された断層像と特定された地図状萎縮領域との位置合わせを行い、位置合わせが行われた地図状萎縮領域を表す画像を眼底の断層像にオーバーレイ表示させる。
操作装置180及び表示装置190は、ユーザインターフェイス部として情報の表示、情報の入力、操作指示の入力など、眼科情報処理装置100とそのユーザとの間で情報をやりとりするための機能を提供する。操作装置180は、レバー、ボタン、キー、ポインティングデバイス等の操作デバイスを含む。いくつかの実施形態に係る操作装置180は、音で情報を入力するためのマイクロフォンを含む。表示装置190は、フラットパネルディスプレイ等の表示デバイスを含む。いくつかの実施形態では、操作装置180及び表示装置190の機能は、タッチパネルディスプレイのような入力機能を有するデバイスと表示機能を有するデバイスとが一体化されたデバイスにより実現される。いくつかの実施形態では、操作装置180及び表示装置190は、情報の入出力を行うためのグラフィカルユーザインターフェイス(GUI)を含む。
[眼科装置]
図2に、実施形態に係る眼科装置10の構成例のブロック図を示す。
眼科装置10には、被検眼のOCTデータを取得するための光学系が設けられている。眼科装置10は、スウェプトソースOCTを実行する機能を備えているが、実施形態はこれに限定されない。例えば、OCTの種別はスウェプトソースOCTには限定されず、スペクトラルドメインOCT等であってもよい。スウェプトソースOCTは、波長掃引型(波長走査型)光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光をバランスドフォトダイオード等で検出し、波長の掃引及び測定光のスキャンに応じて収集された検出データにフーリエ変換等を施して画像を形成する手法である。スペクトラルドメインOCTは、低コヒーレンス光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光のスペクトル分布を分光器で検出し、検出されたスペクトル分布にフーリエ変換等を施して画像を形成する手法である。
眼科装置10は、制御部11と、データ収集部12と、画像形成部13と、通信部14とを含む。
制御部11は、眼科装置10の各部を制御する。特に、制御部11は、データ収集部12、画像形成部13、及び通信部14を制御する。
データ収集部12は、OCTを用いて被検眼をスキャンすることにより被検眼のデータ(3次元のOCTデータ)を収集する。データ収集部12は、干渉光学系12Aと、スキャン光学系12Bとを含む。
干渉光学系12Aは、光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光を参照光路を経由した参照光と干渉させて干渉光を生成し、生成された干渉光を検出する。干渉光学系12Aは、ファイバーカプラと、バランスドフォトダイオード等の受光器とを少なくとも含む。ファイバーカプラは、光源からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光と参照光路を経由した参照光と干渉させて干渉光を生成する。受光器は、ファイバーカプラにより生成された干渉光を検出する。干渉光学系12Aは、光源を含んでよい。
スキャン光学系12Bは、制御部11からの制御を受け、干渉光学系12Aにより生成された測定光を偏向することにより被検眼の眼底における測定光の入射位置を変更する。スキャン光学系12Bは、例えば、被検眼の瞳孔と光学的に略共役な位置に配置された光スキャナを含む。光スキャナは、例えば、測定光を水平方向にスキャンするガルバノミラーと、垂直方向にスキャンするガルバノミラーと、これらを独立に駆動する機構とを含んで構成される。それにより、測定光を眼底平面上の任意の方向にスキャンすることができる。
干渉光学系12Aによる干渉光の検出結果(検出信号)は、干渉光のスペクトルを示す干渉信号である。
画像形成部13は、制御部11からの制御を受け、データ収集部12により収集された被検眼のデータに基づいて被検眼の眼底の断層像の画像データを形成する。この処理には、ノイズ除去(ノイズ低減)、フィルタ処理、FFT(Fast Fourier Transform)などの処理が含まれている。このようにして取得される画像データは、複数のAライン(被検眼内における各測定光の経路)における反射強度プロファイルを画像化することにより形成された一群の画像データを含むデータセットである。画質を向上させるために、同じパターンでのスキャンを複数回繰り返して収集された複数のデータセットを重ね合わせる(加算平均する)ことができる。
画像形成部13は、3次元のOCTデータに各種のレンダリングを施すことで、Bスキャン画像、Cスキャン画像、プロジェクション画像、シャドウグラムなどを形成することができる。Bスキャン画像やCスキャン画像のような任意断面の画像は、指定された断面上の画素(ピクセル、ボクセル)を3次元のOCTデータから選択することにより形成される。プロジェクション画像は、3次元のOCTデータを所定方向(Z方向、深さ方向、Aスキャン方向)に投影することによって形成される。シャドウグラムは、3次元のOCTデータの一部(例えば特定層に相当する部分データ)を所定方向に投影することによって形成される。
いくつかの実施形態に係る眼科装置10には、画像形成部13により形成された画像に対して各種のデータ処理(画像処理)や解析処理を施すデータ処理部が設けられる。例えば、データ処理部は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
制御部11及び画像形成部13のそれぞれは、プロセッサを含む。プロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を含む。画像形成部13の機能は、画像形成プロセッサにより実現される。いくつかの実施形態では、制御部11及び画像形成部13の双方の機能が1つのプロセッサにより実現される。いくつかの実施形態では、眼科装置10にデータ処理部が設けられている場合、データ処理部の機能もまたプロセッサにより実現される。
プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。記憶回路や記憶装置の少なくとも一部がプロセッサに含まれていてよい。また、記憶回路や記憶装置の少なくとも一部がプロセッサの外部に設けられていてよい。
記憶装置等は、各種のデータを記憶する。記憶装置等に記憶されるデータとしては、データ収集部12により取得されたデータ(測定データ、撮影データ等)や、被検者及び被検眼に関する情報などがある。記憶装置等には、眼科装置10の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。
通信部14は、制御部11からの制御を受け、眼科情報処理装置100との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。
いくつかの実施形態に係る眼科装置10は、画像形成部13により形成された被検眼の画像データを眼科情報処理装置100に送信する。
いくつかの実施形態に係る眼科装置10には、被検眼の眼底の画像を取得するための眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡が設けられる。いくつかの実施形態では、眼底カメラにより取得される眼底画像は、フルオレセイン蛍光眼底造影画像又は眼底自発蛍光検査画像である。
[眼科情報処理装置]
図3及び図4に、実施形態に係る眼科情報処理装置100の構成例のブロック図を示す。図3は、眼科情報処理装置100の機能ブロック図を表す。図4は、図3の解析部200の機能ブロック図を表す。
実施形態に係る眼科情報処理装置100は、眼科装置10により取得された被検眼の眼底のデータを解析して眼底における地図状萎縮領域を特定する。眼科情報処理装置100は、眼底の正面画像又は断層像において、特定された地図状萎縮領域を識別可能に表示装置190に表示させる。
眼科情報処理装置100は、制御部110と、画像形成部120と、データ処理部130と、通信部140とを含む。
画像形成部120は、制御部110からの制御を受け、眼科装置10により取得された3次元のOCTデータからBスキャン画像、Cスキャン画像、プロジェクション画像、シャドウグラムなどを形成する。画像形成部120は、画像形成部13と同様に上記の画像を形成することが可能である。
データ処理部130は、画像形成部120により形成された画像に対して各種のデータ処理(画像処理)や解析処理を施す。例えば、データ処理部130は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部130は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部130は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
データ処理部130は、形成された被検眼の画像に対して所定のデータ処理を施す。データ処理部130は、解析部200と、位置合わせ処理部210とを含む。
解析部200は、画像形成部120により形成された被検眼の眼底の画像データ(又は眼科装置10により取得された被検眼の眼底の画像データ)に対して所定の解析処理を施す。いくつかの実施形態に係る解析処理には、眼底における地図状萎縮領域の特定処理や、地図状萎縮領域の分布情報の生成処理や、地図状萎縮領域の形態情報の生成処理や、眼底における層厚の分布情報の生成処理などが含まれる。
解析部200は、セグメンテーション処理部201と、領域特定部202と、分布情報生成部203と、形態情報生成部204と、層厚分布情報生成部205とを含む。
セグメンテーション処理部201は、眼科装置10により取得された被検眼のデータに基づいてAスキャン方向の複数の層領域を特定する。いくつかの実施形態に係るセグメンテーション処理部201は、3次元のOCTデータを解析することにより、被検眼の複数の組織に相当する複数の部分データセットを特定する。セグメンテーション処理は、特定の組織や組織境界を特定するための画像処理である。例えば、セグメンテーション処理部201は、OCTデータに含まれる各Aスキャン画像における画素値(輝度値)の勾配を求め、勾配が大きい位置を組織境界として特定する。なお、Aスキャン画像は、眼底の深さ方向にのびる1次元画像データである。なお、眼底の深さ方向は、例えば、Z方向、OCT測定光の入射方向、軸方向、干渉光学系の光軸方向などとして定義される。
典型的な例において、セグメンテーション処理部201は、眼底(網膜、脈絡膜等)及び硝子体を表す3次元のOCTデータを解析することにより、眼底の複数の層組織に相当する複数の部分データセットを特定する。各部分データセットは、層組織の境界によって画成される。部分データセットとして特定される層組織の例として、網膜を構成する層組織がある。網膜を構成する層組織には、内境界膜、神経繊維層、神経節細胞層、内網状層、内顆粒層、外網状層、外顆粒層、外境界膜、視細胞層、RPEがある。セグメンテーション処理部201は、ブルッフ膜、脈絡膜、強膜、硝子体等に相当する部分データセットを特定することができる。いくつかの実施形態に係るセグメンテーション処理部201は、病変部に相当する部分データセットを特定する。病変部の例として、剥離部、浮腫、出血、腫瘍、ドルーゼンなどがある。
いくつかの実施形態に係るセグメンテーション処理部201は、RPEに対して強膜側の所定のピクセル数分の層組織をブルッフ膜として特定し、当該層組織に相当する部分データセットをブルッフ膜の部分データセットとして取得する。
領域特定部202は、セグメンテーション処理部201により特定された複数の層組織の部分データセットを解析することにより、地図状萎縮領域を特定するための2つの層組織に相当する領域を特定する。いくつかの実施形態に係る領域特定部202は、ブルッフ膜に相当する領域より強膜側の層組織に対応する第1領域と、内境界膜に相当する領域からRPEに相当する領域までの層組織に対応する第2領域とを特定する。いくつかの実施形態では、第2領域は、ブルッフ膜に相当する領域より角膜側の層組織に対応する領域である。
分布情報生成部203は、各Aスキャンについて、領域特定部202により特定された第1領域及び第2領域の画素値に基づいてコントラスト比を求め、眼底平面(Aスキャン方向に直交する平面)におけるコントラスト比の2次元の分布情報を生成する。いくつかの実施形態では、分布情報生成部203は、各Aスキャンについて、領域特定部202により特定された第1領域の画素値の積算値と第2領域の画素値の積算値との比の分布情報を生成する。いくつかの実施形態に係る分布情報生成部203は、各Aスキャンについて、第1領域のAスキャン方向の画素値の積算値に対する第2領域のAスキャン方向の画素値の積算値の比をコントラスト比として求め、求められたコントラスト比の2次元の分布情報を生成する。以下、コントラスト比の2次元の分布情報をコントラストマップと表記する。
解析部200は、分布情報生成部203により生成されたコントラストマップにおいて、コントラスト比が大きい位置を地図状萎縮に起因して信号成分が減衰した位置として特定する。解析部200は、特定された位置に基づいて地図状萎縮領域を特定する。例えば、解析部200は、分布情報生成部203により生成されたコントラストマップにおいて、コントラスト比が所定の閾値以上である位置を含む領域を地図状萎縮領域として特定する。このような地図状萎縮領域を特定する手法に関連する技術が、米国特許出願公開第2015/0201829号明細書、特開2015-136626号公報、又は特開2016-107148号公報に開示されている。
形態情報生成部204は、特定された地図状萎縮領域の形態を表す形態情報を生成する。形態情報の例として、地図状萎縮領域の面積や外周囲長などがある。形態情報生成部204は、地図状萎縮領域が描出された画像に対して公知の手法を適用することにより地図状萎縮領域の面積や外周囲長を求めることが可能である。いくつかの実施形態に係る形態情報生成部204は、特定された地図状萎縮領域ごとに形態情報を生成する。いくつかの実施形態に係る形態情報生成部204は、特定された地図状萎縮領域ごとの形態パラメータ(面積、外周囲長)の合計値を形態情報として生成する。いくつかの実施形態では、形態情報は、特定された地図状萎縮領域の個数を含む。
層厚分布情報生成部205は、セグメンテーション処理部201により特定された複数の層組織の部分データセットを解析することにより、各層組織のAスキャン方向の厚さを特定し、眼底平面における各層の層厚の2次元の分布情報を生成する。いくつかの実施形態に係る層厚分布情報生成部205は、操作装置180を用いて指定された1以上の層組織の層厚の2次元の分布情報(Aスキャン方向に直交する平面の分布情報)を生成する。いくつかの実施形態に係る層厚分布情報生成部205は、内境界膜、神経線維層(NFL)、神経節細胞層(GCL)、内網状層(IPL)、内顆粒層(INL)、外網状層(OPL)、外顆粒層(ONL)、外境界膜(ELM)、RPE、脈絡膜、強膜、脈絡膜-強膜境界面(CSI)の少なくとも1つ、又は隣接する2以上の層の層厚の2次元の分布情報を生成する。
位置合わせ処理部210は、画像形成部120によって形成された眼底の正面画像と解析部200によって特定された地図状萎縮領域を表す画像との位置合わせを行う。位置合わせ処理部210は、画像形成部120によって形成された眼底の断層像と解析部200によって特定された地図状萎縮領域を表す画像との位置合わせを行う。位置合わせ処理部210は、画像の拡大、縮小、回転等を行うためのアフィン変換等の公知の処理により画像の位置合わせを行うことが可能である。
位置合わせ処理は、例えば、双方の画像から特徴部位を検出する処理と、双方の特徴部位を基準として双方の画像を位置合わせする処理とを含む。いくつかの実施形態では、位置合わせ処理は、眼底の正面画像又は断層像における地図状萎縮領域の位置情報を用いて正面画像又は断層像における地図状萎縮領域を表す画像の位置を特定する処理と、特定された地図状萎縮領域を表す画像を正面画像又は断層像に対して位置合わせする処理とを含む。
位置合わせ処理部210は、画像形成部120によって形成された眼底の断層像と解析部200によって特定された地図状萎縮領域を表す画像との位置合わせを行う。
通信部140は、制御部110からの制御を受け、眼科情報処理装置100の通信部14との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。
制御部110は、眼科情報処理装置100の各部を制御する。特に、制御部110は、画像形成部120と、データ処理部130と、通信部140とを制御する。制御部110は、主制御部111と、記憶部112とを含む。主制御部111は、表示制御部111Aを含む。
表示制御部111Aは、各種の情報を表示装置190に表示させる。例えば、表示制御部111Aは、画像形成部120により形成された被検眼の眼底画像(正面画像、断層像)や、データ処理部130によるデータ処理結果の画像を表示装置190に表示させる。特に、表示制御部111Aは、被検眼の眼底画像を表示装置190に表示させ、且つ眼底画像における地図状萎縮領域に対応する領域を識別可能に表示させる。いくつかの実施形態に係る表示制御部111Aは、被検眼の眼底画像を表示装置190に表示させ、且つ眼底画像における地図状萎縮領域に対応する領域をハイライト表示させる。例えば、表示制御部111Aは、地図状萎縮領域又はその背景領域内の画素の輝度がそれ以外の領域の画素の輝度より高くなるように地図状萎縮領域又はその背景領域を表示させる。いくつかの実施形態に係る表示制御部111Aは、位置合わせ処理部210により位置合わせが行われた地図状萎縮領域を表す画像を眼底画像にオーバーレイ表示させる。
また、表示制御部111Aは、形態情報生成部204により生成された形態情報を表示装置190に表示させる。いくつかの実施形態に係る表示制御部111Aは、形態情報生成部204により生成された形態情報を当該形態情報に対応する地図状萎縮領域に関連付けて表示装置190に表示させる。
制御部110は、操作装置180に対するユーザの操作内容に対応した操作指示信号に基づいて、眼科システム1の各部を制御する。
制御部110、画像形成部120、及びデータ処理部130のそれぞれは、プロセッサを含む。画像形成部120の機能は、画像形成プロセッサにより実現される。データ処理部130の機能は、データ処理プロセッサにより実現される。いくつかの実施形態では、制御部110、画像形成部120、及びデータ処理部130のうち少なくとも2つの機能が1つのプロセッサにより実現される。
記憶部112は、各種のデータを記憶する。記憶部112に記憶されるデータとしては、眼科装置10により取得されたデータ(測定データ、撮影データ等)、画像形成部120により形成された画像データ、データ処理部130によるデータ処理結果、被検者及び被検眼に関する情報などがある。記憶部112には、眼科情報処理装置100の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。
表示装置190は、「表示手段」の一例である。地図状萎縮領域は、「萎縮領域」の一例である。
[動作例]
いくつかの実施形態に係る眼科情報処理装置100の動作例について説明する。
図5に、実施形態に係る眼科情報処理装置100の動作の一例を示す。図5は、眼科情報処理装置100の動作例のフロー図を表す。図5では、眼科情報処理装置100(記憶部112)において、眼科装置10により取得された被検眼の3次元のOCTデータが既に保存されているものとする。
(S1:被検者を選択)
ユーザが操作装置180を用いて被検者IDを入力することにより、被検者を選択する。
(S2:検査データを表示)
記憶部112には、被検者IDに対応して被検者の検査データがあらかじめ関連付けられたデータベースが記憶されている。制御部110は、ステップS1において入力された被検者IDを検索キーとしてデータベースを検索し、当該被検者IDに対応した検査データを取得する。表示制御部111Aは、データベースを検索することにより得られた当該被検者IDに対応した検査データを表示装置190に表示させる。検査データには、過去の検査において取得された1以上の被検眼画像が含まれる。
(S3:被検眼画像を選択)
眼科情報処理装置100は、ステップS2において表示装置190に表示された被検者の検査データ中の1以上の被検眼画像から解析対象の被検眼画像を選択させる。被検者は、操作装置180に対して操作を行うことにより、解析対象の被検眼画像を選択する。制御部110は、ユーザによる操作装置180に対する操作内容に対応した操作指示信号の入力を受け付ける。
(S4:表示)
表示制御部111Aは、ステップS3において入力された操作指示信号に基づいて指定された被検眼画像を選択し、選択された被検眼画像を表示装置190に表示させる。
(S5:領域解析実行?)
次に、制御部110は、ステップS4において表示された被検眼画像に対して地図状萎縮領域の解析を実行するか否かを判定する。制御部110は、操作装置180に対する解析実行を指示する操作内容に対応した操作指示信号に基づいて地図状萎縮領域の解析を実行するか否かを判定することが可能である。
地図状萎縮領域の解析を実行すると判定されたとき(S5:Y)、眼科情報処理装置100の動作はステップS6に移行する。地図状萎縮領域の解析を実行しないと判定されたとき(S5:N)、眼科情報処理装置100の動作は終了である(エンド)。
(S6:萎縮領域を特定)
ステップS5において地図状萎縮領域の解析を実行すると判定されたとき(S5:Y)、制御部110は、解析部200に地図状萎縮領域の解析を実行させることにより地図状萎縮領域を特定させる。ステップS6の詳細については後述する。制御部110は、眼底における地図状萎縮領域の位置や形状を特定するための領域特定情報を被検者又は被検眼に関連付けて記憶部112に保存する。
(S7:形態解析)
続いて、制御部110は、ステップS6において特定された地図状萎縮領域それぞれの面積及び外周囲長を形態情報生成部204に算出させる。形態情報生成部204は、地図状萎縮領域の面積の合計値と、外周囲長の合計値と、特定された地図状萎縮領域の個数とを含む形態情報を生成する。制御部110は、ステップS7において生成された形態情報を上記の領域特定情報と共に被検者又は被検眼に関連付けて記憶部112に保存する。
いくつかの実施形態に係る制御部110は、眼底における各層の層厚の2次元の分布情報を層厚分布情報生成部205に生成させる。制御部110は、ステップS7において生成された分布情報を上記の領域特定情報と共に被検者又は被検眼に関連付けて記憶部112に保存する。
(S8:表示)
次に、制御部110は、画像形成部120によって事前に形成された眼底の正面画像とステップS6において特定された地図状萎縮領域を表す画像との位置合わせを位置合わせ処理部210に行わせる。表示制御部111Aは、当該地図状萎縮領域を表す画像を眼底の正面画像に重畳させて表示装置190に表示させる。ここで、眼底の正面画像は、RPEからブルッフ膜までの範囲のシャドウグラムであってよい。また、表示制御部111Aは、ステップS7において生成された形態情報を当該形態情報に対応する地図状萎縮領域に関連付けて表示装置190に表示させる。
同様に、制御部110は、画像形成部120によって事前に形成された眼底の断層像とステップS6において特定された地図状萎縮領域を表す画像との位置合わせを位置合わせ処理部210に行わせる。表示制御部111Aは、当該地図状萎縮領域を表す画像を眼底の断層像に重畳させて表示装置190に表示させる。また、表示制御部111Aは、ステップS7において生成された形態情報を当該形態情報に対応する地図状萎縮領域に関連付けて表示装置190に表示させる。以上で眼科情報処理装置100の動作は終了である(エンド)。
次に、図6~図12を参照しつつ図5のステップS6の動作例について説明する。
図6に、図5のステップS6の動作例のフロー図を示す。図7は、ステップS22の動作説明図を表す。図8は、ステップS23の動作説明図を表す。図9Aは、ステップS24の動作説明図を表す。図9Bは、ステップS25の動作説明図を表す。図10は、ステップS26の動作説明図を表す。図11及び図12は、ステップS27の動作説明図を表す。
(S21:Bスキャン画像を取得)
上記のようにステップS5において地図状萎縮領域の解析を実行すると判定されたとき(S5:Y)、制御部110は、記憶部112に保存されている被検眼の眼底のデータを読み出し、読み出されたデータに基づいてBスキャン画像を画像形成部120に形成させる。いくつかの実施形態において、ステップS21では、眼科装置10からBスキャン画像が取得される。
(S22:セグメンテーション処理)
制御部110は、ステップS21において取得されたBスキャン画像に対するセグメンテーション処理をセグメンテーション処理部201に実行させる。セグメンテーション処理部201は、ステップS21において取得されたBスキャン画像に対してAスキャン方向の複数の層領域を特定する。セグメンテーション処理部201は、図7に示すように、Bスキャン画像IMG1において、網膜を構成する、内境界膜300、神経繊維層、神経節細胞層、内網状層、内顆粒層、外網状層、外顆粒層、外境界膜、視細胞層、RPE301を特定する。また、セグメンテーション処理部201は、特定されたRPE301に対して強膜側の所定のピクセル数分の層組織をブルッフ膜302として特定する。
(S23:コントラストマップを作成)
続いて、制御部110は、ステップS22におけるセグメンテーション処理の結果を用いてコントラストマップをデータ処理部130に作成させる。すなわち、領域特定部202は、セグメンテーション処理部201により特定された複数の層組織の部分データセットを解析することにより、ブルッフ膜302に相当する領域より強膜側の層組織に対応する第1領域と、内境界膜300に相当する領域からRPE301に相当する領域までの層組織に対応する第2領域とを特定する。
分布情報生成部203は、各Aスキャンについて、第1領域のAスキャン方向の画素値の積算値に対する第2領域のAスキャン方向の画素値の積算値の比をコントラスト比として求め、求められたコントラスト比の2次元の分布情報をコントラストマップとして生成する(図8)。
(S24:スムージング処理)
次に、制御部110は、ステップS23において生成されたコントラストマップに対してスムージング処理をデータ処理部130に実行させる。隣接する画素同士の画素値の変化が一般的に小さい傾向があり、画素値に重畳されるノイズ成分も同様であることに着目し、スムージング処理によりノイズ成分が除去されたコントラストマップが得られる(図9A)。
(S25:2値化処理)
続いて、制御部110は、ステップS24におけるスムージング処理後コントラストマップに対して2値化処理をデータ処理部130に実行させる。それにより、図9Bに示すような2値化マップが得られる。
(S26:領域を探索)
制御部110は、ステップS25において得られた2値化マップに対して公知の領域拡張法を適用することにより領域を解析部200に探索させる(図10)。
(S27:輪郭を抽出)
制御部110は、ステップS26における探索により得られた領域に対して公知の輪郭抽出処理を施すことにより、領域の輪郭を解析部200に抽出させる(図11)。解析部200は、抽出された輪郭に基づいて地図状萎縮領域を特定する(図12)。以上で、図5のステップS6の処理は終了である(エンド)。
図13に、いくつかの実施形態において表示装置190に表示される解析情報の一例を示す。
例えば、ステップS8では、表示制御部111Aは、地図状萎縮領域を表す画像IMGXをシャドウグラム(眼底の正面画像)IMG2に重畳させて表示装置190に表示させる。
また、表示制御部111Aは、地図状萎縮領域の面積の合計値、外周囲長の合計値、地図状萎縮領域の数を含む形態情報350を表示装置190に表示させることができる。いくつかの実施形態に係る表示制御部111Aは、各地図状萎縮領域の形態情報を対応する地図状萎縮領域に関連付けて表示装置190に表示させる。それにより、各地図状萎縮領域の形態を詳細に観察することができるようになる。
図14に、いくつかの実施形態において表示装置190に表示される解析情報の他の例を示す。
例えば、ステップS8では、表示制御部111Aは、地図状萎縮領域を表す画像IMGY(Bスキャン断面の画像)を眼底のBスキャン画像IMG3に重畳させて表示装置190に表示させる。それにより、Bスキャン画像において地図状萎縮領域の形態を詳細に観察することができるようになる。
<変形例>
いくつかの実施形態に係る構成は、上記の構成に限定されるものではない。
〔第1変形例〕
萎縮型加齢黄斑変性の診断には、黄斑部(中心窩)に対する地図状萎縮の相対位置が有効である。いくつかの実施形態の変形例に係る眼科情報処理装置は、眼科装置により取得された被検眼の眼底のデータを解析することにより眼底における黄斑部(中心窩)に対する地図状萎縮領域の位置又は距離を表す位置情報を生成する。
以下、いくつかの実施形態の変形例に係る眼科情報処理装置について、上記の実施形態に係る眼科情報処理装置との相違点を中心に説明する。本変形例に係る眼科情報処理装置の構成が上記の眼科情報処理装置100の構成と異なる点は、解析部である。
図15に、実施形態の変形例に係る解析部200aの構成例のブロック図を示す。図15において、図4と同様の部分には同一符号を付し、適宜説明を省略する。
本変形例において、図3に示すデータ処理部130における解析部200に代えて、図15に示す変形例に係る解析部200aが設けられる。解析部200aが解析部200と異なる点は、解析部200に対して位置情報生成部206aが追加されている点である。
解析部200aは、被検眼の3次元のOCTデータを公知の手法により解析することにより中心窩に相当する領域を特定し、中心窩を中心とする所定の半径の領域を黄斑部として特定する。
位置情報生成部206aは、解析部200aにより特定された黄斑部の代表位置に対する地図状萎縮領域の代表位置の相対位置、双方の代表位置の距離、所定期間における地図状萎縮領域の代表位置の移動方向や移動距離を示すベクトル情報、又は所定期間における黄斑部の代表位置に対する地図状萎縮領域の代表位置の移動方向や移動距離を示すベクトル情報を表す位置情報を生成する。黄斑部の代表位置の例として、中心窩の位置、黄斑部の重心位置、黄斑部の輪郭部において地図状萎縮領域に最も近い(或いは最も遠い)位置などがある。地図状萎縮領域の代表位置の例として、地図状萎縮領域の中心位置、重心位置、地図状萎縮領域の輪郭部において黄斑部(又は中心窩)に最も近い(或いは最も遠い)位置などがある。いくつかの実施形態の変形例に係る表示制御部111Aは、位置情報生成部206aにより生成された位置情報を対応する地図状萎縮領域に関連付けて表示装置190に表示させる。
図16に、実施形態の変形例において表示装置190に表示される解析情報の一例を示す。
例えば、表示制御部111Aは、地図状萎縮領域を表す画像IMGXと解析部200aにより特定された黄斑部の位置(範囲)を表す画像IMGZとをシャドウグラム(眼底の正面画像)IMG2に重畳させて表示装置190に表示させる。画像IMGZは、中心窩の位置を表す画像であってよい。
また、表示制御部111Aは、地図状萎縮領域の面積の合計値、外周囲長の合計値、地図状萎縮領域の数を含む形態情報に加えて、黄斑部に対する地図状萎縮領域の相対位置を表す位置情報を表示装置190に表示させることができる。いくつかの実施形態に係る表示制御部111Aは、各地図状萎縮領域の位置情報を対応する地図状萎縮領域に関連付けて表示装置190に表示させる。それにより、各地図状萎縮領域の位置を詳細に観察することができるようになる。
図17に、実施形態の変形例において表示装置190に表示される解析情報の他の例を示す。
例えば、表示制御部111Aは、地図状萎縮領域を表す画像IMGY(Bスキャン断面の画像)と解析部200aにより特定された黄斑部の位置(範囲)を表す画像IMGZ1を眼底のBスキャン画像IMG3に重畳させて表示装置190に表示させる。それにより、Bスキャン画像において黄斑部に対する地図状萎縮領域の位置を詳細に観察することができるようになる。
〔第2変形例〕
いくつかの実施形態に係る眼科装置は、眼科装置10の機能に加えて、眼科情報処理装置100の機能、操作装置180の機能、及び表示装置190の機能の少なくとも1つを備える。
以下、いくつかの実施形態の変形例に係る眼科装置について、上記の実施形態に係る眼科装置との相違点を中心に説明する。
図18に、実施形態の変形例に係る眼科装置10bの構成例のブロック図を示す。図18において、図2と同様の部分には同一符号を付し、適宜説明を省略する。
本変形例に係る眼科装置10bの構成が上記の実施形態に係る眼科装置10の構成と異なる点は、眼科装置10bが、眼科情報処理装置100の機能と、操作装置180の機能と、表示装置190の機能とを備えている点である。眼科装置10bは、制御部11bと、データ収集部12と、画像形成部13と、眼科情報処理部15bと、操作部16bと、表示部17bとを含む。
制御部11bは、眼科装置10bの各部を制御する。特に、制御部11bは、データ収集部12と、画像形成部13と、眼科情報処理部15bと、操作部16bと、表示部17bとを制御する。
眼科情報処理部15bは、眼科情報処理装置100と同様の構成を有し、眼科情報処理装置100と同様の機能を備えている。操作部16bは、操作装置180と同様の構成を有し、操作装置180と同様の機能を備えている。表示部17bは、表示装置190と同様の構成を有し、表示装置190と同様の機能を備えている。
本変形例によれば、コンパクトな構成で、地図状萎縮領域の形態や分布を詳細に観察することが可能な眼科装置を提供することができる。
<効果>
以下、いくつかの実施形態に係る眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラムの効果について説明する。
いくつかの実施形態に係る眼科情報処理装置(100)は、解析部(200、200a)と、記憶部(112)と、表示制御部(111A)とを含む。解析部は、光コヒーレンストモグラフィを用いて収集された被検眼の眼底のデータを解析することにより眼底における萎縮領域(地図状萎縮領域)を特定する。記憶部は、眼底の画像データを記憶する。表示制御部は、記憶部に記憶された画像データに基づいて被検眼の眼底画像を表示手段(表示装置190)に表示させ、且つ眼底画像における萎縮領域に対応する領域を識別可能に表示させる。
このような構成によれば、被検眼の眼底画像を表示手段に表示させると共に、眼底画像における萎縮領域を識別可能に表示させるようにしたので、光コヒーレンストモグラフィを用いて特定された地図状萎縮領域などの萎縮領域の形態や分布を詳細に観察することが可能になる。
いくつかの実施形態に係る眼科情報処理装置では、解析部は、セグメンテーション処理部(201)と、分布情報生成部(203)とを含む。セグメンテーション処理部は、被検眼の眼底のデータに基づいてAスキャン方向の複数の層領域を特定する。分布情報生成部は、ブルッフ膜より強膜側の層領域のAスキャン方向の画素値の積算値と、ブルッフ膜より角膜側の層領域のAスキャン方向の画素値の積算値との比の分布情報(コントラストマップ)を生成する。解析部は、分布情報に基づいて萎縮領域を特定する。
このような構成によれば、光コヒーレンストモグラフィを用いて取得されたデータから地図状萎縮領域などの萎縮領域を特定し、特定された萎縮領域を識別可能に表示させるようにしたので、被検者の負担を軽減しつつ、萎縮領域の形態や分布を詳細に観察することが可能になる。
いくつかの実施形態に係る眼科情報処理装置は、位置合わせ処理部(210)を含む。位置合わせ処理部は、眼底画像と分布情報に基づいて特定された萎縮領域を表す画像との位置合わせを行う。表示制御部は、位置合わせ処理部により位置合わせが行われた萎縮領域を表す画像を眼底画像にオーバーレイ表示させる。
このような構成によれば、地図状萎縮領域などの萎縮領域を表す画像を眼底画像にオーバーレイ表示させるようにしたので、眼底における萎縮領域の形態や分布を把握しやすくなり、萎縮型加齢黄斑変性に対する適確な診断を補助することができるようになる。
いくつかの実施形態に係る眼科情報処理装置では、解析部は、形態情報生成部(204)を含む。形態情報生成部は、被検眼の眼底のデータを解析することにより萎縮領域の形態を表す形態情報を生成する。表示制御部は、形態情報を表示手段に表示させる。
このような構成によれば、地図状萎縮領域などの萎縮領域の形態の把握が容易になり、個々の萎縮領域の形態を詳細に観察することができるようになる。表示制御部は、形態情報を対応する萎縮領域に関連付けて表示手段に表示させてもよい。
いくつかの実施形態に係る眼科情報処理装置では、形態情報は、萎縮領域の面積及び外周囲長の少なくとも1つを含む。
このような構成によれば、萎縮領域の形態を面積や外周囲長で表すようにしたので、萎縮領域の形態を定量的に、且つ詳細に観察することができるようになる。
いくつかの実施形態に係る眼科情報処理装置では、表示制御部は、解析部により特定された複数の萎縮領域のそれぞれに対して、萎縮領域の面積、又は萎縮領域の外周囲長の少なくとも1つを表示手段に表示させる。
このような構成によれば、地図状萎縮領域などの萎縮領域の形態の把握が容易になり、個々の萎縮領域の形態を詳細に観察することができるようになる。
いくつかの実施形態に係る眼科情報処理装置では、形態情報は、解析部により特定された複数の萎縮領域の面積の合計値、又は複数の萎縮領域の外周囲長の合計値を含む。
このような構成によれば、萎縮領域の形態や分布を定量的に、且つ詳細に観察することができるようになる。
いくつかの実施形態に係る眼科情報処理装置では、形態情報は、萎縮領域の個数を含む。
このような構成によれば、萎縮領域の形態や分布を定量的に、且つ詳細に観察することができるようになる。
いくつかの実施形態に係る眼科情報処理装置では、解析部は、位置情報生成部(206a)を含む。位置情報生成部は、眼底のデータを解析することにより眼底における黄斑部に対する萎縮領域の位置又は距離を表す位置情報を生成する。表示制御部は、位置情報を表示手段に表示させる。
このような構成によれば、萎縮型加齢黄斑変性の進行度を容易に把握することができるため、進行する萎縮型加齢黄斑変性に対する適確な診断を補助することができるようになる。表示制御部は、位置情報を対応する萎縮領域に関連付けて表示手段に表示させてもよい。
いくつかの実施形態に係る眼科情報処理装置では、解析部は、眼底のデータに基づいて眼底における黄斑部の位置を特定し、表示制御部は、解析部により特定された黄斑部の位置を表す画像を眼底画像にオーバーレイ表示させる。
このような構成によれば、萎縮型加齢黄斑変性の進行度を容易に把握することができるため、進行する萎縮型加齢黄斑変性に対する適確な診断を補助することができるようになる。
いくつかの実施形態に係る眼科情報処理装置では、眼底画像は、眼底のデータに基づいて生成された網膜色素上皮層からブルッフ膜までの範囲のシャドウグラム、眼底を撮影することにより得られた蛍光眼底造影画像、眼底を撮影することにより得られた眼底撮影画像、プロジェクション画像、又はCスキャン画像である。
このような構成によれば、シャドウグラムなどの被検眼の眼底の正面画像を表示手段に表示させると共に、正面画像における萎縮領域を識別可能に表示させるようにしたので、地図状萎縮領域などの萎縮領域の形態や分布を詳細に観察することが可能になる。
いくつかの実施形態に係る眼科情報処理装置では、表示制御部は、眼底のデータに基づいて形成された眼底の断層像を眼底画像として表示手段に表示させ、且つ断層像における萎縮領域に対応する領域を識別可能に表示させる。
このような構成によれば、被検眼の眼底の断層像を表示手段に表示させると共に、断層像における萎縮領域を識別可能に表示させるようにしたので、地図状萎縮領域などの萎縮領域の形態や分布を詳細に観察することが可能になる。
いくつかの実施形態に係る眼科システム(1)は、データ収集部(12)と、表示手段(表示装置190)と、上記のいずれかに記載の眼科情報処理装置とを含む。データ収集部は、光コヒーレンストモグラフィを用いて被検眼をスキャンすることにより眼底のデータを収集する。
このような構成によれば、被検眼の眼底画像における萎縮領域を識別可能に表示させるようにしたので、地図状萎縮領域などの萎縮領域の形態や分布を詳細に観察することが可能な眼科システムを提供することができるようになる。
いくつかの実施形態に係る眼科情報処理方法は、解析ステップと、表示ステップとを含む。解析ステップは、光コヒーレンストモグラフィを用いて収集された被検眼の眼底のデータを解析することにより眼底における萎縮領域(地図状萎縮領域)を特定する。表示ステップは、眼底の画像データに基づいて被検眼の眼底画像を表示手段(表示装置190)に表示させ、且つ眼底画像における萎縮領域に対応する領域を識別可能に表示させる。
このような構成によれば、被検眼の眼底画像を表示手段に表示させると共に、眼底画像における萎縮領域を識別可能に表示させるようにしたので、光コヒーレンストモグラフィを用いて特定された地図状萎縮領域などの萎縮領域の形態や分布を詳細に観察することが可能になる。
いくつかの実施形態に係る眼科情報処理方法では、解析ステップは、セグメンテーション処理ステップと、分布情報生成ステップとを含む。セグメンテーション処理ステップは、眼底のデータに基づいてAスキャン方向の複数の層領域を特定する。分布情報生成ステップは、セグメンテーション処理ステップにおいて特定されたブルッフ膜より強膜側の層領域のAスキャン方向の画素値の積算値と、ブルッフ膜より角膜側の層領域のAスキャン方向の画素値の積算値との比の分布情報(コントラストマップ)を生成する。解析ステップは、分布情報に基づいて萎縮領域を特定する。
このような構成によれば、光コヒーレンストモグラフィを用いて取得されたデータから地図状萎縮領域などの萎縮領域を特定し、特定された萎縮領域を識別可能に表示させるようにしたので、被検者の負担を軽減しつつ、萎縮領域の形態や分布を詳細に観察することが可能になる。
いくつかの実施形態に係る眼科情報処理方法は、位置合わせステップを含む。位置合わせステップは、眼底画像と分布情報に基づいて特定された萎縮領域との位置合わせを行う。表示ステップは、位置合わせステップにおいて位置合わせが行われた萎縮領域を表す画像を眼底画像にオーバーレイ表示させる。
このような構成によれば、地図状萎縮領域などの萎縮領域を表す画像を眼底画像にオーバーレイ表示させるようにしたので、眼底における萎縮領域の形態や分布を把握しやすくなり、萎縮型加齢黄斑変性に対する適確な診断を補助することができるようになる。
いくつかの実施形態に係る眼科情報処理方法では、解析ステップは、形態情報生成ステップを含む。形態情報生成ステップは、眼底のデータを解析することにより萎縮領域の形態を表す形態情報を生成する。表示ステップは、形態情報を表示手段に表示させる。
このような構成によれば、地図状萎縮領域などの萎縮領域の形態の把握が容易になり、萎縮領域の形態を詳細に観察することができるようになる。
いくつかの実施形態に係る眼科情報処理方法では、形態情報は、萎縮領域の面積、外周囲長の少なくとも1つを含む。
このような構成によれば、萎縮領域の形態を面積や外周囲長で表すようにしたので、萎縮領域の形態を定量的に、且つ詳細に観察することができるようになる。
いくつかの実施形態に係る眼科情報処理方法では、表示ステップは、解析ステップにおいて特定された複数の萎縮領域のそれぞれに対して、萎縮領域の面積、又は萎縮領域の外周囲長の少なくとも1つを表示手段に表示させる。
このような構成によれば、地図状萎縮領域などの萎縮領域の形態の把握が容易になり、個々の萎縮領域の形態を詳細に観察することができるようになる。
いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の眼科情報処理方法の各ステップを実行させる。
このような構成によれば、コンピュータに被検眼の眼底画像における萎縮領域を識別可能に表示させるようにしたので、地図状萎縮領域などの萎縮領域の形態や分布を詳細に観察するためのプログラムを提供することができるようになる。
いくつかの実施形態に係る眼科情報処理方法を実現するためのプログラムを、コンピュータによって読み取り可能な任意の記録媒体に記憶させることができる。記録媒体は、磁気、光、光磁気、半導体などを利用した電子媒体であってよい。典型的には、記録媒体は、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、ソリッドステートドライブなどである。
また、インターネットやLAN等のネットワークを通じてコンピュータプログラムを送受信することも可能である。
以上に説明した態様は、この発明を実施するための例に過ぎない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。
1 眼科システム
10、10b 眼科装置
11、11b、110 制御部
12 データ収集部
12A 干渉光学系
12B スキャン光学系
13、120 画像形成部
14、140 通信部
15b 眼科情報処理部
16b 操作部
17b 表示部
100 眼科情報処理装置
111 主制御部
111A 表示制御部
112 記憶部
130 データ処理部
180 操作装置
190 表示装置
200、200a 解析部
201 セグメンテーション処理部
202 領域特定部
203 分布情報生成部
204 形態情報生成部
205 層厚分布情報生成部
206a 位置情報生成部
210 位置合わせ処理部

Claims (8)

  1. 光コヒーレンストモグラフィを用いて収集された被検眼の眼底のデータを解析することにより前記眼底における萎縮領域を特定し、所定期間における前記萎縮領域の代表位置の移動方向を表す情報を生成する解析部と、
    前記眼底の画像データを記憶する記憶部と、
    前記記憶部に記憶された前記画像データに基づいて前記被検眼の眼底画像を表示手段に表示させると共に、前記解析部により特定された前記萎縮領域の代表位置の移動方向を表す情報を前記表示手段に表示させ、且つ前記眼底画像における前記萎縮領域に対応する領域を識別可能に表示させる表示制御部と、
    を含み、
    前記代表位置は、前記萎縮領域の輪郭部において中心窩に最も近い位置である、眼科情報処理装置。
  2. 前記情報は、前記所定期間における前記代表位置の移動距離を含む
    ことを特徴とする請求項1に記載の眼科情報処理装置。
  3. 前記眼底画像は、前記データに基づいて生成された網膜色素上皮層からブルッフ膜までの範囲のシャドウグラム、前記眼底を撮影することにより得られた蛍光眼底造影画像、前記眼底を撮影することにより得られた眼底撮影画像、プロジェクション画像、又はCスキャン画像である
    ことを特徴とする請求項1又は請求項2に記載の眼科情報処理装置。
  4. 光コヒーレンストモグラフィを用いて前記被検眼をスキャンすることにより前記データを収集するデータ収集部と、
    前記表示手段と、
    請求項1~請求項3のいずれか一項に記載の眼科情報処理装置と、
    を含む眼科システム。
  5. コンピュータが、光コヒーレンストモグラフィを用いて収集された被検眼の眼底のデータを解析することにより前記眼底における萎縮領域を特定すると共に、所定期間における前記萎縮領域の代表位置の移動方向を表す情報を生成する解析ステップと、
    前記コンピュータが、前記眼底の画像データに基づいて前記被検眼の眼底画像を表示手段に表示させると共に、前記解析ステップにおいて特定された前記萎縮領域の代表位置の移動方向を表す情報を前記表示手段に表示させ、且つ前記眼底画像における前記萎縮領域に対応する領域を識別可能に表示させる表示ステップと、
    を含み、
    前記代表位置は、前記萎縮領域の輪郭部において中心窩に最も近い位置である、眼科情報処理装置の作動方法。
  6. 前記情報は、前記所定期間における前記代表位置の移動距離を含む
    ことを特徴とする請求項5に記載の眼科情報処理装置の作動方法。
  7. 前記眼底画像は、前記データに基づいて生成された網膜色素上皮層からブルッフ膜までの範囲のシャドウグラム、前記眼底を撮影することにより得られた蛍光眼底造影画像、前記眼底を撮影することにより得られた眼底撮影画像、プロジェクション画像、又はCスキャン画像である
    ことを特徴とする請求項5又は請求項6に記載の眼科情報処理装置の作動方法。
  8. コンピュータに、請求項5~請求項7のいずれか一項に記載の眼科情報処理装置の作動方法の各ステップを実行させることを特徴とするプログラム。
JP2021111860A 2017-11-24 2021-07-06 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム Active JP7199477B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021111860A JP7199477B2 (ja) 2017-11-24 2021-07-06 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017225876A JP6910935B2 (ja) 2017-11-24 2017-11-24 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
JP2021111860A JP7199477B2 (ja) 2017-11-24 2021-07-06 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017225876A Division JP6910935B2 (ja) 2017-11-24 2017-11-24 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021168932A JP2021168932A (ja) 2021-10-28
JP7199477B2 true JP7199477B2 (ja) 2023-01-05

Family

ID=66631409

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017225876A Active JP6910935B2 (ja) 2017-11-24 2017-11-24 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
JP2021111860A Active JP7199477B2 (ja) 2017-11-24 2021-07-06 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017225876A Active JP6910935B2 (ja) 2017-11-24 2017-11-24 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11896310B2 (ja)
EP (1) EP3714767B1 (ja)
JP (2) JP6910935B2 (ja)
WO (1) WO2019102739A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004492A1 (en) * 2020-06-29 2022-01-06 Osaka University Medical diagnostic apparatus and method for evaluation of pathological conditions using 3d optical coherence tomography data and images
CN114641830A (zh) * 2020-10-15 2022-06-17 京东方科技集团股份有限公司 食物体积、热量计算方法、电子装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008295804A (ja) 2007-05-31 2008-12-11 Topcon Corp 眼底検査装置及びプログラム
JP2010268916A (ja) 2009-05-20 2010-12-02 Topcon Corp 前眼部観察装置
JP2013165953A (ja) 2012-01-20 2013-08-29 Canon Inc 画像処理装置及び画像処理方法
JP2015136626A (ja) 2014-01-21 2015-07-30 株式会社トプコン 地図状萎縮の同定及び測定

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061769A2 (en) * 2005-11-18 2007-05-31 Duke University Method and system of coregistrating optical coherence tomography (oct) with other clinical tests
US7792249B2 (en) * 2007-12-23 2010-09-07 Oraya Therapeutics, Inc. Methods and devices for detecting, controlling, and predicting radiation delivery
WO2012103502A2 (en) 2011-01-28 2012-08-02 Optovue, Inc. Computer-aided diagnosis of retinal pathologies using frontal en-face views of optical coherence tomography
KR20140008746A (ko) * 2012-07-11 2014-01-22 삼성전자주식회사 움직이는 장기에 초음파를 조사하여 장기 특정 부위의 온도 변화를 나타내는 온도 맵을 생성하는 방법 및 초음파 시스템
US9107610B2 (en) * 2012-11-30 2015-08-18 Kabushiki Kaisha Topcon Optic neuropathy detection with three-dimensional optical coherence tomography
JP6719891B2 (ja) * 2015-01-07 2020-07-08 キヤノン株式会社 画像処理装置及び画像処理方法
US10117568B2 (en) * 2015-01-15 2018-11-06 Kabushiki Kaisha Topcon Geographic atrophy identification and measurement
JP6726734B2 (ja) * 2015-03-26 2020-07-22 アイコー,エルエルシー 画像解析のためのシステム
JP6843521B2 (ja) * 2016-04-28 2021-03-17 キヤノン株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008295804A (ja) 2007-05-31 2008-12-11 Topcon Corp 眼底検査装置及びプログラム
JP2010268916A (ja) 2009-05-20 2010-12-02 Topcon Corp 前眼部観察装置
JP2013165953A (ja) 2012-01-20 2013-08-29 Canon Inc 画像処理装置及び画像処理方法
JP2015136626A (ja) 2014-01-21 2015-07-30 株式会社トプコン 地図状萎縮の同定及び測定

Also Published As

Publication number Publication date
EP3714767A1 (en) 2020-09-30
EP3714767B1 (en) 2024-05-22
EP3714767A4 (en) 2021-08-04
JP2021168932A (ja) 2021-10-28
WO2019102739A1 (ja) 2019-05-31
US20200281464A1 (en) 2020-09-10
JP2019092919A (ja) 2019-06-20
US11896310B2 (en) 2024-02-13
JP6910935B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
JP5697733B2 (ja) 3次元光コヒーレンストモグラフィを用いた視神経障害の検出
JP5913392B2 (ja) 神経障害解析装置
JP6843521B2 (ja) 画像処理装置及び画像処理方法
JP5767014B2 (ja) 眼科観察システム及び画像処理方法
JP7199477B2 (ja) 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム
JP2016028781A (ja) 眼科画像処理装置および眼科イメージング装置
JP2018075229A (ja) 画像処理方法、画像処理装置およびプログラム
JP5514026B2 (ja) 眼底画像処理装置及び眼底観察装置
JP6736734B2 (ja) 眼科撮影装置及び眼科情報処理装置
JP6849776B2 (ja) 情報処理装置及び情報処理方法
JP7246862B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP7126818B2 (ja) 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム
JP2022111263A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018191761A (ja) 情報処理装置、情報処理方法及びプログラム
JP7162479B2 (ja) 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
JP6976147B2 (ja) 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
JP7262929B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6503040B2 (ja) 眼科観察装置
JP7412229B2 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
JP2023128334A (ja) 情報処理装置、光コヒーレンストモグラフィ装置、情報処理方法、及びプログラム
JP2021087817A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221220

R150 Certificate of patent or registration of utility model

Ref document number: 7199477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150