JP6947226B2 - 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法 - Google Patents

画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法 Download PDF

Info

Publication number
JP6947226B2
JP6947226B2 JP2019562705A JP2019562705A JP6947226B2 JP 6947226 B2 JP6947226 B2 JP 6947226B2 JP 2019562705 A JP2019562705 A JP 2019562705A JP 2019562705 A JP2019562705 A JP 2019562705A JP 6947226 B2 JP6947226 B2 JP 6947226B2
Authority
JP
Japan
Prior art keywords
image
image processing
fundus
region
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019562705A
Other languages
English (en)
Other versions
JPWO2019130583A1 (ja
Inventor
真梨子 廣川
真梨子 廣川
泰士 田邉
泰士 田邉
朋春 藤原
朋春 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2019130583A1 publication Critical patent/JPWO2019130583A1/ja
Priority to JP2021151384A priority Critical patent/JP7264195B2/ja
Application granted granted Critical
Publication of JP6947226B2 publication Critical patent/JP6947226B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A61B3/1233Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Hematology (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法に関する。
特許文献1には、被験者の網膜血管における梗塞を検出することが開示されている。
特許5535905号公報
本開示の技術の第1の態様の画像処理方法は、被検眼の眼底画像から無灌流領域を推定することを含む。
本開示の技術の第2の態様の画像処理方法は、被検眼の眼底画像に対して第1画像処理を行い、第1無灌流領域候補を抽出ことと、前記眼底画像に対して第2画像処理を行い、第2無灌流領域候補を抽出することと、前記第1無灌流領域候補であり前記第2無灌流領域候補でもある候補を、推定無灌流領域として抽出することと、を含む。
本開示の技術の第3の態様の画像処理プログラムは、コンピュータに第1の態様又は第2の態様の画像処理方法を実行させる。
本開示の技術の第4の態様の画像処理装置は、プロセッサに画像処理方法を実行させるための画像処理プログラムを記憶する記憶装置と、前記記憶装置に記憶されている画像処理プログラムを実行することにより前記画像処理方法を実行する処理装置と、を備える画像処理装置であって、前記画像処理方法は、第1の態様又は第2の態様の画像処理方法である。
本開示の技術の第5の態様の画像表示装置は、第1の態様又は第2の態様の画像処理方法により推定された無灌流領域を表示する表示部を備える。
本開示の技術の第6の態様の画像表示方法は、被検眼の眼底画像の眼底画像データと、前記眼底画像を画像処理して得られた無灌流領域候補画像の無灌流領域候補画像データとを受信することと、前記眼底画像データに基づいて眼底画像表示領域に前記眼底画像を表示し、前記無灌流領域候補画像データに基づいて無灌流領域候補画像表示領域に前記無灌流領域候補画像を表示した画面を生成することと、を含む。
本開示の技術の第7の態様の画像表示装置は、被検眼の眼底画像と、前記眼底画像を画像処理して得られた無灌流領域候補画像と、を同一の画面に表示する表示部を備える。
眼科システム100のブロック図である。 眼科装置110の全体構成の一例を示す概略構成図である。 眼科装置110に含まれる広角光学系19の概略的な構成の一例を示す概念図である。 画像ビューワ150及び管理サーバ140の電気系の構成のブロック図である。 管理サーバ140の機能のブロック図である。 管理サーバ140のCPU162が実行する画像処理プログラムのフローチャートである。 眼底画像(SLO画像(UWFSLO眼底画像))を示す図である。 毛細血管が強調された眼底画像を示す図である。 ステップ306の処理結果を簡略化して表現した図であり、UWFSLO画像の一部分を拡大表示した模式図である。 図9の6つの1次候補402、404、406、408、410、412から、候補412が除外されることを示す図である。 図9の6つの1次候補402、404、406、408、410、412から、候補402、404が除外されることを示す図である。 血管の終端400E1、400E2、400E3に沿う候補450Bが絞り込まれることを示す図である。 図9の6つの1次候補402、404、406、408、410、412から、候補402、404、412が除外されることを示す図である。 推定無灌流領域406NPA、408NPA、410NPAを示す図である。 推定無灌流領域406NPA、408NPA、410NPAの周囲に色枠を付与した様子を示す図である。 推定無灌流領域406NPA、408NPA、410NPAに薄く色を載せた様子を示す図である。 推定無灌流領域406NPA、408NPA、410NPAに現実の色と同様な色や、異なる色を載せた様子を示す図である。 画像ビューワ150のディスプレイ156の画面500を示す図である。 NPA経過観察ボタン524がクリックされた場合の画面500を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、以下では、説明の便宜上、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
図1を参照して、眼科システム100の構成を説明する。一例として図1に示すように、眼科システム100は、眼科装置110と、視野計測器120と、レーザ凝固装置130、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150と、を備えている。
眼科装置110は、眼底画像と断層画像とを取得する。視野計測器120は、患者の視野を計測する。レーザ凝固装置130は、患者の眼底の病変部を、病気の進行を抑えるために、レーザにより凝固する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像を、被験者のIDに対応して記憶すると共に、指定された眼底画像から無灌流領域(NPA(Non Perfusion Area))を推定する。画像ビューワ150は、管理サーバ140により推定された無灌流領域(NPA)候補画像を表示する。
ここで、無灌流領域(NPA)は、眼底において、網膜毛細血管床の閉塞などにより、血液が流れていないまたはほとんど流れていない領域であり、眼底において、無血管もしくは血管が粗な領域である無血管領域(AVA(avascular area))でもある。
眼科装置110、視野計測器120、レーザ凝固装置130、管理サーバ140、画像ビューワ150は、ネットワーク160を介して、相互に接続されている。
管理サーバ140は、本開示の技術の「画像処理装置」の一例である。画像ビューワ150は、本開示の技術の「画像表示装置」の一例である。
次に、図2を参照して、眼科装置110の構成を説明する。図2に示すように、眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、被検眼の眼底を撮影する。制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read−Only memory)16C、および入出力(I/O)ポート16Dを備えたコンピュータによって実現される。
入出力(I/O)ポート16Dには、記憶装置17が接続されている。なお、記憶装置17とは、例えば、不揮発性メモリ(Non−volatile memory(NVM)やハードディスク)で構成される。また、入出力(I/O)ポート16Dは、通信インターフェース(I/F)15を介して、ネットワーク160に接続されている。
また、制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。なお、以下では、説明の便宜上、「撮影」とは、ユーザが眼科装置110を用いて被写体を示す画像を取得することをいう。
撮影装置14は、制御装置16の制御下で作動する。撮影装置14は、SLOユニット18、広角光学系19、およびOCTユニット20を含む。
なお、以下の説明では、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心27と眼球の中心Oとを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
本実施形態にかかる眼科装置110は、眼科装置110で実現可能な主要な機能の一例として、第1機能と第2機能との2つの機能を有している。第1機能は、眼科装置110を走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope。以下、「SLO」という。)として作動させ、SLOによる撮影を行う機能(以下、SLO撮影系機能という。)である。第2機能は、眼科装置110を光干渉断層計(Optical Coherence Tomography。以下、「OCT」という。)として作動させ、OCTによる撮影を行う機能(以下、OCT撮影系機能という。)である。なお、以下では、説明の便宜上、SLOによる撮影を行う機能を「SLO撮影系機能」と称する。また、以下では、説明の便宜上、OCTによる撮影を行う機能を「OCT撮影系機能」と称する。
SLO撮影系機能は、眼科装置110の構成のうち、制御装置16と、SLOユニット18と、広角光学系19とによって実現される。SLOユニット18は、光源18A、検出素子18B、およびダイクロイックミラー18C等を含んで、被検眼12の眼底を撮影するように構成されている。つまり、眼科装置110は、SLO撮影系機能を働かせることで、被検眼12の眼底(例えば撮影可能領域12A)を被写体として撮影する。具体的には、SLOユニット18からの光(以下、「SLO光」という。)が広角光学系19によって被検眼12の瞳孔を通して撮影可能領域12Aに対して、第1光学スキャナ22によりX方向(水平方向)、第3光学スキャナ29によりY方向(垂直方向)に走査され、その反射光による眼底画像(SLO画像(後述するUWFSLO眼底画像))がSLOユニット18で取得される。なお、SLO撮影系機能は、周知の機能であるため、詳細な説明は省略する。なお、撮影可能領域12Aは、眼球の中心Oからの内部照射角に換算すると約200度の範囲内である。
OCT撮影系機能は、制御装置16、OCTユニット20、および広角光学系19によって実現される。OCTユニット20は、光源20A、センサ(分光器)20B、ファイバカプラ20C、および、偏光調整器21Dを含む参照光学系21E等を含み、眼底の膜厚方向について複数の断層領域を撮影する。つまり、眼科装置110は、OCT撮影系機能として作動することで、眼底(例えば、撮影可能領域12A)の膜厚方向の領域である断層領域が撮影される。具体的には、OCTユニット20の光源20Aからの光(以下、信号光(LS)という。)が、ファイバカプラ20Cで分岐し、一方の信号光は、広角光学系19によって被検眼12の瞳孔を通して、撮影可能領域12Aに対して、第2光学スキャナ24によりX方向(水平方向)、および第3光学スキャナ29によりY方向(垂直方向)に走査される。一方の信号光は、断層領域で反射し、反射光は、ファイバカプラ20Cを介してセンサ20Bに入射する経路を進む。
ここで、信号光(LS)の光路長は、光源20Aから断層領域までと断層領域からセンサ20Bまでとにより定まる。
なお、信号光の内、断層領域から反射しセンサ20Bに入射する反射光を特に戻り光と言う。
また、ファイバカプラ20Cで分岐した他方の信号光は、偏光調整器21Dで光路長が調整されて、センサ20Bに入射する経路を進む。
なお、他方の信号光、即ち、光源20A、ファイバカプラ20C、偏光調整器21D、及びセンサ20Bに進む信号光を、参照光(LR)と言う。
センサ20Bには、戻り光と参照光とが干渉されて干渉光となって、入射する。センサ20B、干渉光の各スペクトル成分を検出する。制御装置16は、センサ20Bでの検出結果を用いて断層領域を示す断層画像(以下、「OCT画像」という)を取得する。
取得された、SLO画像やOCT画像は、通信インターフェース(I/F)15とネットワーク160を介して患者IDとともに管理サーバ140に送信される。
次に、図3を参照して、眼科装置110に含まれる広角光学系19の構成を説明する。図3に示すように、共通光学系28は、第3光学スキャナ29の他に、スリットミラー30および楕円鏡32を含む。なお、ダイクロイックミラー26、スリットミラー30、および楕円鏡32が側面視端面図で表されている。なお、共通光学系28は、スリットミラー30および楕円鏡32に代えて、複数のレンズ群を用いた構成でもよい。
スリットミラー30は、楕円状の第1反射面30Aを有する。第1反射面30Aは、第1焦点P1および第2焦点P2を有する。楕円鏡32も、楕円状の第2反射面32Aを有する。第2反射面32Aは、第1焦点P3および第2焦点P4を有する。
スリットミラー30、楕円鏡32、および第3光学スキャナ29は、第1焦点P3および第2焦点P2が第3光学スキャナ29で共通の位置になるように配置されている。また、スリットミラー30、楕円鏡32、および第3光学スキャナ29は、第2焦点P4が被検眼12の瞳孔の中心部に位置するように配置されている。さらに、第1光学スキャナ22、第2光学スキャナ24、およびスリットミラー30は、第1焦点P1が第1光学スキャナ22および第2光学スキャナ24に位置するように配置されている。
つまり、第1光学スキャナ22、第2光学スキャナ24、および第3光学スキャナ29は、被検眼12の瞳孔の中心部と共役な位置に配置されている。
なお、広角光学系19は、楕円鏡を用いた広角光学系だけでなく、広角レンズを用いた光学系や、複数のレンズの組合せからなる広角光学系を用いてもよい。
本実施の形態では、図3に示す広角光学系19により、眼底の視野角(FOV:Field of View)を眼底中心から眼底周辺までの広範囲の眼底領域を観察できる角度とすることができる。当該広範囲の眼底領域の大きさは内部照射角と外部照射角で定義される。
外部照射角とは、眼科装置110側から、すなわち被検眼12の外部からの光照射角である。つまり、被検眼12の眼底に対して走査光が被検眼12の瞳孔の中心27(すなわち、瞳孔の正対視中央点(図2も参照))へ向かう角度が外部照射角である。この外部照射角はまた眼底から反射して瞳孔の中心27から被検眼12の外部に射出して眼科装置110へ向かう光の角度に等しい。
一方、内部照射角とは、被検眼12の眼球の中心Oを基準位置として、被検眼12の眼底が走査光により照射されることで実質的に撮影可能な光照射角を表している。外部照射角Aと内部照射角Bとは、対応関係にあるが、以下の説明では、眼科装置としての説明であるため、眼底の視野角に対応する照射角として、外部照射角を用いる。
眼科装置110は、被検眼12の眼底領域である撮影可能領域12A(図2も参照)内を撮影する。この撮影可能領域12Aは広角光学系19による走査光の走査可能な最大領域であり、外部照射角Aでは、約160度である(内部照射角は200度程度に対応)。撮影可能領域12Aを撮影して得たSLO画像をUWFSLO画像と称する。なお、UWFとは、Ultra−Widefield(超広角)の略称を指す。
次に、図4を参照して、画像ビューワ150の電気系の構成を説明する。図4に示すように、画像ビューワ150は、コンピュータ本体152を備えている。コンピュータ本体152は、CPU162、RAM166、ROM164、入出力(I/O)ポート168を有する。入出力(I/O)ポート168には、記憶装置154、ディスプレイ156、マウス155M、キーボード155K、および通信インターフェース(I/F)158が接続されている。記憶装置154は、例えば、不揮発メモリで構成される。入出力(I/O)ポート168は、通信インターフェース(I/F)158を介して、ネットワーク160に接続されている。従って、画像ビューワ150は、眼科装置110および管理サーバ140と通信することができる。
画像ビューワ150のディスプレイ156は、本開示の技術の「表示部」の一例である。
管理サーバ140の電気系の構成は、画像ビューワ150の電気系の構成と同様に、CPU162、RAM166、ROM164、及び入出力(I/O)ポート168を有するコンピュータ本体152と、入出力(I/O)ポート168に接続された記憶装置154、ディスプレイ156、マウス155M、及びキーボード155Kとを備える。
管理サーバ140のCPU162は、本開示の技術の「画像処理装置」の一例である。
管理サーバ140の記憶装置154には、被検者の眼底画像データや画像処理プログラム154Pが記憶されている。
ここでは、記憶装置154に画像処理プログラム154Pが記憶されている場合について説明しているが、本開示の技術はこれに限定されるものではなく、ROM164に画像処理プログラム154Pが記憶されていてもよい。
画像処理プログラム154Pは、本開示の技術に係る画像処理プログラムの一例である。
管理サーバ140の電気系の構成として、画像ビューワ150におけるディスプレイ156、マウス155M、キーボード155Kに対応する要素を省略してもよい。
次に、図5を参照して、管理サーバ140のCPU162が画像処理プログラム154Pを実行することで実現される各種機能について説明する。画像処理プログラム154Pは、受付機能、取得機能、強調画像処理機能、推定処理機能、作成機能、及び送信機能を備えている。CPU162がこの各機能を有する画像処理プログラム154Pを実行することで、CPU162は、図5に示すように、受付部200、取得部202、強調画像処理部204、推定処理部206、作成部208、及び送信部210として機能する。
また、強調画像処理部204、推定処理部206、作成部208を一体の画像処理チップ(IC、回路などのハード構成)とするようにしてもよい。
次に、図1に示す眼科システム100の全体の動作を説明する。
最初に、眼科システム100は、患者の被検眼12(図2も参照)の診断をするために、患者の被検眼12の基礎的な情報を収集する。具体的には、眼軸長などを図示せぬ眼軸長測定器などで測定する。さらに、患者は、医師の指示に従って、視野計測器120が配置された部屋に行く。視野計測器120は、網膜に光刺激を与えて患者の応答をみることにより視認可能な範囲(視野マップ)を測定する。視野計測器120は、測定した視野マップを患者IDと共に管理サーバ140に送信する。管理サーバ140は、患者のIDに対応して視野マップを、記憶装置154(図4も参照)に記憶する。また、患者は、医師の指示に従って、眼科装置110が配置された部屋に行く。眼科装置110は、患者の被検眼12を撮影して眼底画像(SLO画像(UWFSLO眼底画像)やOCT画像)を取得する。眼科装置110は、取得した眼底画像を患者IDと共に管理サーバ140に送信する。管理サーバ140は、患者IDに対応させて眼底画像を記憶装置154に記憶する。
医者は、患者の被検眼12の診察を行う場合、被検眼12の眼底画像を用いて、眼底に無灌流領域が存在するか否かの情報を用いる場合がある。まず、患者IDが画像ビューワ150に入力されると、画像ビューワ150は、患者の眼底画像を管理サーバ140から取得し、取得した眼底画像を、ディスプレイ156に表示する。そして表示された眼底画像に対して灌流領域候補画像を作成する指示を画像ビューワ150から管理サーバ140へ送信する。
管理サーバ140は、指定された眼底画像に基づいて作成された無灌流領域候補画像の画像データを画像ビューワ150へ送信する。
無灌流領域候補画像とは、推定された無灌流領域が重畳表示された眼底画像である。
管理サーバ140は、詳細には後述するが、指定された眼底画像を記憶装置154から読み出し、読み出した眼底画像から無灌流領域を推定し、無灌流領域の候補領域となる最終の画像(無灌流領域候補画像または候補群画像)を作成し、作成した最終の画像の画像データを画像ビューワ150に送信する。
画像ビューワ150は、無灌流領域候補画像の画像データを通信I/F158で受信し、無灌流領域候補画像をディスプレイ156に対して表示させる。
ここで、眼底画像は、眼科装置110で撮影されたUWFSLO眼底画像であり、眼底の広範囲を対象としてNPAが存在するか否かを推定できる。UWFSLO画像に限らず同一患者の眼底画像(過去に撮影されたUWFSLO眼底画像や、別機器で撮影された眼底画像など)でNPAを推定できることは言うまでもない。
医者は、ディスプレイ156に表示された無灌流領域候補画像に基づいて患者の被検眼12を診断する。被検眼12に問題がなければ診断は終了する。しかし、医者は、被検眼12に問題があり、OCT画像が必要であると診断した場合には、画像ビューワ150を介して、眼科装置110を用いて眼底の断層画像を取得すべく、OCTによる撮影を行う指示を、眼科装置110に出力するようにしてもよい。
OCTによる撮影を行う指示があった場合、眼科装置110は、眼科装置110で取得したOCT画像を、患者IDと共に管理サーバ140に送信する。管理サーバ140は、患者IDに対応させたOCT画像を記憶装置154に記憶すると共に、画像ビューワ150に送信する。
画像ビューワ150は、詳細には後述するが、図18に示すように、画像ビューワ150のディスプレイ156の画面500に、さまざまな表示モードの画面表示を行う。
次に、図6を参照して、管理サーバ140のCPU162が実行する画像処理プログラムを説明する。管理サーバ140のCPU162が画像処理プログラム154Pを実行することで、図6に示す画像処理が実現される。
図6に示す画像処理は、本開示の技術の「画像処理方法」の一例である。
画像処理プログラム154Pは、受付部200(図5も参照)が、命令データを画像ビューワ150から受け付けた時にスタートする。命令データは、画像ビューワ150から発せられ、指定されたUWFSLO画像から無灌流領域(NPA)候補画像を作成し、無灌流領域(NPA)候補画像の画像データを画像ビューワ150へ送信する命令である。
画像処理プログラム154Pがスタートすると、ステップ302で、取得部202は、記憶装置154に複数の患者IDの各々に対応して記憶された複数のUWFSLO画像の中から、指定されたUWFSLO画像を取得する。UWFSLO画像には、図7に示すように、網膜の血管構造や視神経乳頭などの構造物が含まれている。
次にステップ304で、強調画像処理部204は、取得されたUWFSLO画像に対し、血管部分を強調する強調画像処理を行う。これは、毛細血管を含む血管を際立たせる処理であり、無灌流領域(NPA)を精度よく推定するための処理である。
強調画像処理は、ヒストグラム平均化または適応ヒストグラム均等化(CLAHE(Contrast Limited Adaptive Histogram Equalization))のような画像ヒストグラムを用いた強調処理の他、階調変換に基づくコントラスト変換処理、アンシャープマスクなど特定周波数帯域の周波数強調処理、ウィーナーフィルターなどのデコンボリューション処理、血管部の形状を強調するモルフォロジー処理などの種々の方法を用いることができるが、ヒストグラム平均化または適応ヒストグラム均等化であることが好ましい。強調画像処理により、血管が強調され、図8に示すように、毛細血管も強調される。
よって、血管が強調されたUWFSLO画像からであると無灌流領域(NPA)を精度よく推定することができる。そこで、本開示の技術では、次のステップ306〜312で、推定処理部206は、血管が強調されたUWFSLO画像から複数の無灌流領域(NPA)を推定する。
具体的には、ステップ306で、推定処理部206は、無灌流領域(NPA)の1次候補を選定する。より具体的には、血管が強調されたUWFSLO画像(図8参照)から、第1の暗さ以下の複数の画素を抽出し、当該第1の暗さ以下の暗い画素が連続する所定面積以上の面積を有する単数または複数の領域を、無灌流領域(NPA)の1次候補として、選定する。
ここで、第1の暗さ以下の暗い画素とは、当該画素における画素値が第1の所定値以下の画素をいう。
なお、画素値としては、例えば、明度を表す輝度値を用いてもよいが、輝度値に代えてまたは輝度値と共に、彩度及び色相の少なくとも一方を表す値を用いてもよい。
1次候補は、本開示の技術の「第1無灌流領域候補」の一例である。
図9は、ステップ306の処理結果を簡略化して表現した図であり、UWFSLO画像の一部分を拡大表示した模式図である。図9には、血管400とともに、無灌流領域(NPA)の6つの1次候補402、404、406、408、410、412が示されている。
ステップ306の後、画像処理は、ステップ308、ステップ310に進む。
ステップ308で、推定処理部206は、無灌流領域(NPA)の単数または複数の1次候補から、各候補の領域内の画素値の平均値に基づいて、1次候補から暗い候補のみを選定する。具体的には、無灌流領域(NPA)の単数または複数の1次候補の各々の領域内の画素値の平均値を計算し、計算した平均値が、第2の所定値よりも小さい単数または複数の候補を、暗領域として、選定する。第2の所定値は、第1の所定値よりも所定値小さい値である。つまり、第1の暗さの1次候補のなかから、第1の暗さよりも暗い第2の暗さ以下の暗い暗領域である候補(所定の平均画素値以下の候補)のみを抽出し、第1の2次候補とする。
第1の2次候補は、本開示の技術の「第2無灌流領域候補」の一例である。
ステップ306の処理の後にステップ308の処理を実行すると、ステップ306で抽出された6つの1次候補402、404、406、408、410、412(図9参照)から、例えば、図10に示すように、1次候補412が除外される。よって、第1の2次候補402A、404A、406A、408A、410Aが絞り込まれる。
ステップ310で、推定処理部206は、無灌流領域(NPA)の複数の1次候補から血管に沿う領域のみ絞り込む。具体的には、まず、推定処理部206は、(1)血管を抽出する。血管は、画素値に基づくモルフォロジー処理や2値化などの方法で、抽出される。なお、抽出した領域を血管領域という。次に、推定処理部206は、(2)当該血管領域と、無灌流領域(NPA)の単数または複数の1次候補または候補群の各々の領域群の周縁とのなす距離を距離変換などの方法で算出し、当該距離が一定の範囲にある領域を選定する。
ここで、一定の範囲にあるとは、第1の所定の距離よりも大きいと共に、第1の所定の距離よりも大きい第2の所定の距離よりも小さい第1の範囲である(すなわち走行する血管に沿う場合)。
このようにステップ310では、推定処理部206は、1次候補の中から、血管との距離が第1の距離以下である領域を、第2の2次候補として抽出する。よって、例えば、図11に示すように、候補402、404は、血管に沿う領域ではないので除外される。よって、第2の2次候補406B、408B、410B、412Bが、走行する血管に沿う候補として、絞り込まれる。
なお、第2の2次候補としては、図12に示すように、血管の終端400E1、400E2、400E3から一定の範囲にある領域450Bを第2の2次候補としてもよい。
第2の2次候補は、本開示の技術の「第2無灌流領域候補」の一例である。
ステップ308とステップ310とは、何れを先に実行してもよく、同時でもよい。ステップ308とステップ310との処理が終了後、画像処理は、ステップ312に進む。
ステップ312で、推定処理部206は、第1の2次候補と第2の2次候補とを統合する統合処理を行う。具体的には、第1の2次候補(複数の暗領域)であるとともに第2の2次候補(血管に沿う複数の領域)でもある領域を抽出し、推定無灌流領域として特定する。
図9に示す例では、ステップ306で、無灌流領域(NPA)の6つの1次候補402、404、406、408、410、412が得られる。しかし、図13に示すように、ステップ308では、候補412が除外され、ステップ310では、候補402、404が除外される。よって、ステップ312では、図14に示すように、候補406、408、410が、推定無灌流領域406NPA、408NPA、410NPAとして、特定される。
次のステップ314で、作成部208は、UWFSLO画像において、推定無灌流領域の周囲に色枠を付与し、無灌流領域候補画像を作成する。無灌流領域候補画像は、UWFSLO画像上に推定無灌流領域の位置を簡単に認識できるように、UWFSLO画像上に推定無灌流領域が重畳して表示された眼底画像を指す。UWFSLO画像上に推定無灌流領域の位置を簡単に認識できるように、推定無灌流領域を枠で囲んで表示した画像である。表示例として、UWFSLO画像の一部であるが、図15に示すように、推定無灌流領域406NPA、408NPA、410NPAの周囲に色枠を付与された表示である。
さらに、作成部208は、図16に示すように、推定無灌流領域406NPA、408NPA、410NPAに薄く色(UWFSLO画像の濃度よりも濃い第1の濃度の色)を載せることにより、無灌流領域候補画像を作成するようにしてもよい。なお、ステップ314では、作成部208は、図17に示すように、推定無灌流領域406NPA、408NPA、410NPAに、現実の色と同様な色や、異なる色を載せるようにしてもよい。なお、推定無灌流領域406NPA、408NPA、410NPAの周囲の枠は、点線枠でもよい。
この無灌流領域候補画像は、医者が糖尿病性網膜症や網膜静脈閉塞症などの診断や進行具合の判断を行うにあたっての情報の一つとなる。
次のステップ316で、送信部210は、ステップ314で作成された無灌流領域候補画像の画像データを、画像ビューワ150に送信する。
画像ビューワ150は、無灌流領域候補の画像データを受信し、ディスプレイ156に対して、無灌流領域候補画像を表示させる。
以下、無灌流領域候補画像の表示方法を、図18及び図19に示した画像ビューワ150のディスプレイ156の画面500を参照して、より詳細に説明する。
図18及び図19に示した表示方法は、本開示の技術の「画像表示方法」の一例である。
図18には、画像ビューワ150のディスプレイ156のNPA分析モードの表示内容が画面500に示されている。画面500は、患者情報表示欄502、UWFSLO画像表示欄504、OCT画像表示欄506、無灌流領域候補画像表示欄508、及び2つの拡大画像表示欄510、512を有する。また、画面500には、メニューボタン522、NPA経過観察ボタン524、NPA分析ボタン526、NPAレーザ凝固ボタン528、NPA視野解析ボタン530、及びOCT分析ボタン540を有する。さらに、画面500には、ツールボタン表示欄540を有する。
図18はNPA分析モードの表示画面なので、メニューボタン522、NPA経過観察ボタン524、NPA分析ボタン526、NPAレーザ凝固ボタン528、NPA視野解析ボタン530、及びOCT分析ボタン540の中で、NPA分析ボタン526がアクティブであることを示す第1表示形態であり、他のボタンは非アクティブであることを示す第2表示形態で表示されている。第1表示形態と第2表示形態は色の違い(第1表示形態は緑色、第2表示形態は赤色など)、立体的な表示(第1表示形態は影付き表示など画面から浮き出たような表示、第2表示形態は影なしの表示など)など様々な表示形態をとることができる。
患者情報表示欄502は、患者ID表示欄502A、患者氏名表示欄502B、性別表示欄502C、年齢表示欄502D、及び受信履歴表示欄502Eを有する。画像ビューワ150は、管理サーバ140に記憶されている患者ID、患者氏名、性別、年齢、受信履歴を取得する。画像ビューワ150は、取得した患者ID、患者氏名、性別、年齢、受信履歴をそれぞれ患者ID表示欄502A、患者氏名表示欄502B、性別表示欄502C、年齢表示欄502D、及び受信履歴表示欄502Eに表示する。
画像ビューワ150は、画面500のUWFSLO画像表示欄504に、患者のUWFSLO画像を表示し、無灌流領域候補画像表示欄508に、無灌流領域候補画像を表示する。
無灌流領域候補画像表示欄508には、医者による観察/診断を行いやすくするために、UWFSLO画像表示欄504に表示されたUWFSLO画像とは異なる倍率で無灌流領域候補画像が表示される。例えば、UWFSLO画像表示欄504に表示されたUWFSLO画像の大きさに比べて所定倍率拡大した大きさで無灌流領域候補画像が表示される。UWFSLO画像表示欄504に表示されたUWFSLO画像の大きさに比べて所定倍率縮小した大きさで無灌流領域候補画像が表示されるようにしてもよい。なお、各所定倍率を変更できるようにしてもよい。
医者は、無灌流領域候補画像の中の一部を拡大して見たい場合もある。そこで、例えば、図18に示すように、拡大して見たい領域508A、508Bを医者はマウスなどの入力手段を操作し、無灌流領域候補画像表示欄508内の拡大表示したい領域を指定する。領域508A、508Bが指定されると、画像ビューワ150は、無灌流領域候補画像における、指定された領域508A、508Bの部分の画像508AA、508BBを、拡大画像表示欄510、512に拡大表示する。
医者が、無灌流領域候補画像を見て、OCT画像を取得する必要があると判断した場合には、無灌流領域候補画像表示欄508に表示された無灌流領域候補画像において、OCT画像を取得する指定領域508Cを指定する。指定領域は直線、あるいは、矩形でもよい。そのとき、UWFSLO画像表示欄504に表示されたUWFSLO画像上にも、無灌流領域候補画像上で指定された508Cに対応する位置に指定領域504Aが表示されるようにしてもよい。
OCT画像を取得する領域508Cが指定されると、指定された領域508CのOCT画像を取得する指示を、管理サーバ140を経由して眼科装置110のオペレータへ出す。患者は、眼科装置110が配置された部屋に再度行く。眼科装置110は、指示に基づいてOCT画像が取得され、OCT画像が管理サーバ140へ送信される。そして、管理サーバ140から画像ビューワ150へOCT画像データが送信され、画像ビューワ150は、OCT画像表示欄506に、OCT画像を表示させる。このように、医者は、被検眼12に問題があると判断した箇所のOCT画像を確認し、被検眼12を診察する。
なお、ツールボタン表示欄540には、線を表示するためのアイコン、矩形を表示するためのアイコン、画像上に文字を入力する文字入力アイコン、手書きの図を画像上に重畳表示させるペン入力アイコンなど、さまざまな入力補助ツールを呼び出すボタンが表示されている。
患者情報表示欄502には受信履歴表示欄502Eが設けられている。図18に示す例では、2017年6月20日、2017年9月22日、2017年12月20日に受信履歴が表示されている。受信履歴を見たいと判断した医者は、NPA経過観察ボタン524をクリックする。NPA経過観察ボタン524がクリックされると、画像ビューワ150のディスプレイ156の画面500は、図18のNPA分析モードの表示状態から、図19のNPA経過観察モードの表示状態に変更される。
図19に示すように、NPA経過観察モードの画面5001は、患者情報表示欄502、ツールボタン表示欄540に加えて、UWFSLO経過画像表示欄524A、無灌流領域候補画像表示欄524Dを有する。なお、患者情報表示欄502、ツールボタン表示欄540及び無灌流領域候補画像表示欄524Dは、図18と同様の表示欄である。図19はNPA経過観察モードの表示画面なので、メニューボタン522、NPA経過観察ボタン524、NPA分析ボタン526、NPAレーザ凝固ボタン528、NPA視野解析ボタン530、及びOCT分析ボタン540の中で、NPA経過観察ボタン524がアクティブであることを示す第1表示形態であり、他のボタンは非アクティブであることを示す第2表示形態で表示されている。
UWFSLO経過画像表示欄524Aは、過去の複数(上記例では3つ)のUWFSLO画像(経過画像)の経過画像表示領域524A1〜524A3と、スライダ524Cを有するスライダバー524Bとを有する。
患者が4回以上受信している場合、4つ以上の全てのUWFSLO画像を同時に表示することも考えられるが、全て表示するとその分、各画像の表示領域を小さくする必要があり、見づらくなる。そこで、上記のように3つの経過画像表示領域524A1〜524A3を設ける。スライダ524Cの位置は、右端は現在を、より左側が過去の時期に対応する。画像ビューワ150は、スライダ524Cの位置に対応する時期の3つのUWFSLO画像を経過画像表示領域524A1〜524A3に表示する。
医者は、UWFSLO経過画像表示欄524Aに表示されている3つのUWFSLO画像からNPA分析したい画像をマウスなどの入力手段を用いて選択する。例えば、524A3の経過画像が選択された場合、524A3の枠の色を524A1と524A2の枠の色と異なる色で表示させる。枠の色ではなく枠の線の太さを変化させるようにしてもよいし、枠の色及び太さの両方を変えるようにしてもよい。
次に、医者は、NPA推定ボタン525Eをマウスなどで押下(クリック)し、選択した経過画像524A3に対して無灌流領域候補画像を作成するように、画像ビューワ150は管理サーバ140に命令を出す。管理サーバ140は、経過画像524A3の画像を読み出して図6で説明した画像処理を行う。そして、得られた経過画像524A3に対応する無灌流領域候補画像を管理サーバの記憶装置154に保存するとともに、画像処理した無灌流領域候補画像の画像データを画像ビューワ150へ送信する。
画像ビューワ150は、受信した経過画像524A3を画像処理した無灌流領域候補画像の画像データに基づいて、画面5001の無灌流領域候補画像表示欄524Dに、経過画像524A3を画像処理した無灌流領域候補画像を表示する。画像ビューワ150は、選択された経過画像524A3の表示枠と、無灌流領域候補画像表示欄524Dの表示枠を同じ色や線のスタイルあるいは太さで表示するようにしてもよい。
なお、3つのUWFSLO画像(経過画像)の各々を画像処理した3つの無灌流領域候補画像を無灌流領域候補画像表示欄524Dに表示してもよい。
また、医者が、UWFSLO経過画像表示欄524Aの3つの中から経過画像を選択せずに、NPA推定ボタン525Eを押下した場合、画像ビューワ150は、患者IDに紐づけられた(つまり、患者IDの画像フォルダに格納されている524A1、524A2、524A3)すべてのUWFSLO画像に対して、無灌流領域候補画像を作成させる命令を管理サーバ140へ出力する。患者IDの画像フォルダに格納されているUWFSLO画像の中にすでに無灌流領域候補画像が作成されているUWFSLO画像がある場合は、まだ無灌流領域候補画像が作成されていないUWFSLO画像に対して無灌流領域候補画像を作成させるような命令としてもよい。
管理サーバ140は、経過画像524A1、524A2、524A3の画像を順次読み出して図6で説明した画像処理を順次行う。そして、得られた経過画像524A3を管理サーバの記憶装置154に保存するとともに、画像処理した無灌流領域候補画像の画像データを画像ビューワ150へ送信する。そして、得られた経過画像524A1、524A2、524A3に対するそれぞれの無灌流領域候補画像を管理サーバの記憶装置154に保存するとともに、画像処理した3つの新たな無灌流領域候補画像の画像データを画像ビューワ150へ送信する。
3つの新たな無灌流領域候補画像の画像データを受信した画像ビューワ150は、画面5001のUWF画像の経過画像表示領域に、受信した3つの無灌流領域候補画像を受信履歴に基づいて表示する。さらに、経過画像表示領域に表示された3つの無灌流領域候補画像の中から1つが選択された場合には、選択された無灌流領域候補画像を拡大して無灌流領域候補画像表示欄524Dに表示する。例えば、最新の受信履歴を持つ無灌流領域候補画像524A3が選択された場合、無灌流領域候補画像524A3の表示枠と、無灌流領域候補画像表示欄524Dの表示枠を同じ色や線のスタイルあるいは太さで表示するようにしてもよい。
また、受診日の異なる無灌流領域候補画像を比較し、新たに発生した推定無灌流領域の色を変化させて表示するよう画像処理を施して、経過観察画像表示領域に表示される複数の無灌流領域候補画像を表示してもよい。例えば、図19の524A1に表示される2017年6月20日に撮影されたUWFSLO画像を処理して得られた推定無灌流領域を青色で表示したとする。図19の524A2に表示される2017年9月22日に撮影されたUWFSLO画像を処理して得られた推定無灌流領域の中で、2017年6月20日における推定無灌流領域と同じと推定される推定無灌流領域は青色で表示され、2017年9月22日の画像処理で初めて出現した推定無灌流領域を赤色で表示するなどの処理も行うことが可能である。このような画像処理により、患者の症状の進行具合を診断するための有益な情報を医者に提供し、診断をサポートすることができる。
次に、図18の画面500及び図19の画面5001に表示されている、メニューボタン522、NPAレーザ凝固ボタン528、及びNPA視野解析ボタン530、OCT分析ボタン540の機能について説明する。
メニューボタン522は、眼科電子カルテのメニュー画面に戻るためのボタンである。メニュー画面には、初期設定やユーザ登録、眼底観察モード、前眼部診断モードなどを選択するためのツールが表示される。メニュー画面中の『眼底観察モード』を選択すると、図18の画面500に遷移する。
OCT分析ボタン540は、眼科装置110で得られた網膜の断層画像や視神経層の厚さマップなど、網膜を撮影して得られたBスキャンデータやOCTボリュームデータを用いた画像解析を行う画面に遷移するためのボタンである。
NPAレーザ凝固ボタン528は、レーザ凝固装置130を用いた治療に関する分析を行うための画面に遷移するためのボタンである。診断の結果、医者は、患者の眼底に病変部があり、病気の進行を抑える必要があると判断した場合には、レーザ凝固装置130により眼底にレーザを照射して凝固する治療を行う場合もある。この場合には、NPAレーザ凝固ボタン528をクリックする。NPAレーザ凝固ボタン528がクリックされると、レーザを照射する位置を決定するために、無灌流領域候補画像を用いて適切なレーザ照射位置を提示するようにシミュレーション機能を備えた画面に遷移する。
NPA視野解析ボタンは、視野計測器120で得られた視野マップ(視認可能な範囲を示したマップ)と無灌流領域候補画像とを用いて、視野に関する分析を行うための画面に遷移するためのボタンである。NPA視野解析ボタン530がクリックされると、視野計測器120による視野マップと無灌流領域候補画像を組み合わせて表示するNPA視野解析モードに移行する。視野マップと無灌流領域を強調した画像を組み合わせた解析処理を行うことにより、網膜上のNPAの位置と視野の相関関係を調べることが可能となる。
(実施の形態の効果)
上記のように、本実施の形態では、眼底像を画像処理することにより、無灌流領域を推定することができる。
また、本実施の形態では、血管部分を強調する強調画像処理がなされた眼底画像から複数の無灌流領域を推定するので、複数の無灌流領域を、精度よく推定することができる。
さらに、UWFSLO画像を用いて無灌流領域を推定することにより、網膜周辺領域のNPAを早期に発見することができ、糖尿病性網膜症の他、網膜静脈閉塞症、網膜静脈分枝閉塞症を早期に発見できる。
また、レーザ凝固装置130によるレーザ凝固手術によるレーザ照射位置の指定に役立つ。さらに、視野計測器120の視野検査データと視野検査データと無灌流領域を強調した画像を組み合わせた解析処理を行うことにより、NPAと視野の相関関係を調べることが可能となる。
さらに、経過観察により、無灌流領域を継続的に観察することにより、治療の効果や症状の進行を確認するため医者をサポートする情報を提供することができる。
(変形例)
<第1の変形例>
本開示の技術では、ステップ308とステップ310の何れかを先に実行し、それにより推定される無潅流領域候補群を2次候補とし、続いて、もう一方のステップにおいて2次候補から3次候補を絞り込むようにしてもよい。例えば、ステップ308の処理を実行した後、その候補をさらにステップ310で絞り込む、もしくは、逆に、ステップ310の処理を実行した後、その候補をさらにステップ308で絞り込むようにしてもよい。これにより、ステップ312を省略することができる。
また、ステップ306とステップ308の絞り込みで推定無潅流領域としてもよい。ステップ306とステップ310の絞り込みで推定無潅流領域としてもよい。
<第2の変形例>
本開示の技術では、ステップ312の処理は、上記内容に変えて、推定処理部206は、ステップ312の統合として、少なくとも暗領域かまたは血管に沿う領域である複数の領域を無灌流領域候補群として選出するようにしてもよい。
<第3の変形例>
上記実施の形態では、ステップ314では、UWFSLO画像において、推定された複数の無灌流領域について、周囲に色枠を付与し且つ薄く色を載せている。しかし、本開示の技術はこれに限定されず、血管部分を省略し且つ複数の無灌流領域を示す画像のみを作成したり、血管部分を省略し且つ上記のように複数の無灌流領域を強調した画像のみを作成したり、してもよい。
<第4の変形例>
本開示の技術では、表示する情報としてはさらに、左右眼情報、発生無灌流領域個数の時間変化のグラフ、平均無灌流領域面積の時間変化のグラフ、無灌流領域総和面積の時間変化のグラフ含めるようにしてもよい。 さらに、レーザ凝固手術中に、UWFSLO眼底画像に、無灌流領域候補画像を重ねて表示してもよい。
<第5の変形例>
上記実施の形態では、図6の画像処理プログラムを、管理サーバ140が実行しているが、本開示の技術はこれに限定されない。例えば、第1に、図6の画像処理プログラムを眼科装置110の記憶装置17に記憶しておき、眼科装置110が、UWFSLO画像を取得する毎に、図6の画像処理プログラムを実行してもよい。第2に、画像ビューワ150が、ステップ302〜314を実行するようにしてもよい。なお、第2の場合におけるステップ302では、指定された眼底画像の画像データを、管理サーバ140から取得し、ステップ316の上記内容に代えて、複数の無灌流領域を強調した画像を、ディスプレイ156に表示する。第1の場合には、眼科装置110が、本開示の技術の画像処理装置の一例である。第2の場合には、画像ビューワ150が、本開示の技術の画像処理装置の一例である。
<第6の変形例>
上記実施の形態では、画像ビューワ150で、複数の無灌流領域を強調した画像を、ディスプレイ156に表示しているが、本開示の技術はこれに限定されない。例えば、図7のUWFSLO画像、図8のUWFSLO画像において血管が強調された画像、図15〜図17の複数の無灌流領域を強調した画像を表示してもよい。この場合、図7、図8、図15〜図17の画像を、一覧表示したりクリックする毎に切り替えて順に表示したり、選択的に表示したり、してもよい。
<第7の変形例>
本開示の技術では、ステップ306で取得された無灌流領域の1次候補と、ステップ308、310で候補から除去された候補の画像とを、一覧表示したりクリックする毎に切り替えて順に表示したり、選択的に表示したり、してもよい。
<第8の変形例>
上記実施の形態では、UWFSLO画像として眼底全体の画像を取得しているが、本開示の技術はこれに限定されず、経過観察として、既に発見された病変部を含む所定領域のみのUWFSLO画像を取得するようにしてもよい。
<第9の変形例>
UWFSLO画像を画像処理する例を説明したが、眼底カメラによる眼底画像でもよいし、画角が比較的小さい(例えば、内部照射角で100°以下)のSLO眼科装置あるいは眼底カメラなど、さまざまな眼科装置で撮影された眼底画像でも適用できることは言うまでもない。
<第10の変形例>
上記実施の形態では、眼科装置110、視野計測器120、レーザ凝固装置130、管理サーバ140、及び画像ビューワ150を備えた眼科システム100を例として説明したが、本開示の技術はこれに限定されない。例えば、第1の例として、眼科装置110が、視野計測器120及びレーザ凝固装置130の少なくとも一方の機能を更に有してもよい。また、第2の例として、上記実施の形態における眼科装置110、視野計測器120、及びレーザ凝固装置130を備える。そして、第1の例及び第2の例において、眼科装置110が、管理サーバ140及び画像ビューワ150の少なくとも一方の機能を更に有してもよい。これにより、眼科装置110が備える機能に対応する管理サーバ140及び画像ビューワ150の少なくとも一方の装置を省略することができる。
また、管理サーバ140を省略し、画像ビューワ150が管理サーバ140の機能を実行するようにしてもよい。
なお、上記実施の形態で説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
なお、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGAまたはASIC等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
12 被検眼
100 眼科システム
110 眼科装置
120 視野計測器
130 レーザ凝固装置
140 管理サーバ
150 画像ビューワ
154 記憶装置
154P 画像処理プログラム

Claims (9)

  1. 被検眼の眼底画像に対して第1画像処理を行い、第1無灌流領域候補を抽出ことと、
    前記眼底画像に対して第2画像処理を行い、第2無灌流領域候補を抽出することと、
    前記第1無灌流領域候補であり前記第2無灌流領域候補でもある候補を、推定無灌流領域として抽出することと、
    を含む画像処理方法。
  2. 前記推定無灌流領域を前記眼底画像上に重畳した無灌流領域候補画像を作成することをさらに含む請求項に記載の画像処理方法。
  3. 前記無灌流領域候補画像を表示することをさらに含む請求項2に記載の画像処理方法。
  4. 前記眼底画像に、血管部分を強調する強調画像処理を行うことを更に含み、
    前記第1無灌流領域候補を抽出する場合、前記強調画像処理された眼底画像に対して、前記第1画像処理を行い、
    前記第2無灌流領域候補を抽出する場合、前記強調画像処理された眼底画像に対して、前記第2画像処理を行う、
    ことを特徴とする請求項1〜請求項3の何れか1項に記載の画像処理方法。
  5. 前記眼底画像は、Ultra−Widefield(超広角)の眼底画像であることを特徴とする請求項1〜請求項4の何れか1項に記載の画像処理方法。
  6. 前記第1無灌流領域候補は、暗領域であり、
    前記第2無灌流領域候補は、血管に沿う領域である、
    ことを特徴とする請求項1〜請求項5の何れか1項に記載の画像処理方法。
  7. コンピュータに請求項1〜請求項の何れか1項に記載の画像処理方法を実行させる画像処理プログラム。
  8. 処理装置に請求項1〜請求項6の何れか1項に記載の画像処理方法を実行させるための画像処理プログラムを記憶する記憶装置と、
    前記記憶装置に記憶されている画像処理プログラムを実行することにより前記画像処理方法を実行する前記処理装と、
    を備える画像処理装置。
  9. 請求項2、請求項3、又は、請求項4〜請求項6において直接又は他の請求項を介して間接的に請求項2に従属する請求項に記載の画像処理方法により作成された無灌流領域候補画像を受信する受信部と、
    前記受信された無灌流領域候補画像を表示する表示部と、
    を備える画像表示装置。
JP2019562705A 2017-12-28 2017-12-28 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法 Active JP6947226B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021151384A JP7264195B2 (ja) 2017-12-28 2021-09-16 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/047379 WO2019130583A1 (ja) 2017-12-28 2017-12-28 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021151384A Division JP7264195B2 (ja) 2017-12-28 2021-09-16 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法

Publications (2)

Publication Number Publication Date
JPWO2019130583A1 JPWO2019130583A1 (ja) 2020-12-10
JP6947226B2 true JP6947226B2 (ja) 2021-10-13

Family

ID=67066914

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019562705A Active JP6947226B2 (ja) 2017-12-28 2017-12-28 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法
JP2021151384A Active JP7264195B2 (ja) 2017-12-28 2021-09-16 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021151384A Active JP7264195B2 (ja) 2017-12-28 2021-09-16 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法

Country Status (5)

Country Link
US (2) US11712160B2 (ja)
EP (1) EP3733050A4 (ja)
JP (2) JP6947226B2 (ja)
CN (2) CN116807381A (ja)
WO (1) WO2019130583A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022000185A (ja) * 2017-12-28 2022-01-04 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220398701A1 (en) * 2019-08-30 2022-12-15 Nikon Corporation Image processing method, image processing device, and program
JP7248142B2 (ja) * 2019-10-15 2023-03-29 株式会社ニコン 画像処理方法、画像処理装置、プログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5535905B1 (ja) 1971-07-09 1980-09-17
US7404640B2 (en) * 2002-06-14 2008-07-29 Physical Sciences, Inc. Monitoring blood flow in the retina using a line-scanning laser ophthalmoscope
JP4855150B2 (ja) * 2006-06-09 2012-01-18 株式会社トプコン 眼底観察装置、眼科画像処理装置及び眼科画像処理プログラム
JP4940070B2 (ja) * 2007-09-10 2012-05-30 国立大学法人 東京大学 眼底観察装置、眼科画像処理装置及びプログラム
JP5535905B2 (ja) 2008-06-04 2014-07-02 株式会社網膜情報診断研究所 網膜情報診断システム
US8436610B2 (en) * 2008-12-09 2013-05-07 Siemens Medical Solutions Usa, Inc. Perfusion adaptive blood proton spin tagged MR image data processing system
JP2010233916A (ja) * 2009-03-31 2010-10-21 Chiba Univ 眼底画像処理装置及び眼底画像処理プログラム並びに眼底画像処理方法
MY147093A (en) * 2009-05-13 2012-10-31 Inst Of Technology Petronas Sdn Bhd Apparatus for monitoring and grading diabetic retinopathy
JP5790002B2 (ja) * 2011-02-04 2015-10-07 株式会社ニデック 眼科撮影装置
JP5704879B2 (ja) 2009-09-30 2015-04-22 株式会社ニデック 眼底観察装置
US8672480B2 (en) 2009-09-30 2014-03-18 Nidek Co., Ltd. Ophthalmic photographing apparatus
JP5698465B2 (ja) * 2010-04-22 2015-04-08 キヤノン株式会社 眼科装置、表示制御方法及びプログラム
JP5702991B2 (ja) * 2010-11-19 2015-04-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP5849470B2 (ja) * 2011-07-04 2016-01-27 株式会社ニコン 培地供給装置、顕微鏡システム
JP5979904B2 (ja) * 2012-02-20 2016-08-31 キヤノン株式会社 画像処理装置、眼科撮影システム、及び画像処理方法
TW201406707A (zh) * 2012-05-04 2014-02-16 Acucela Inc 用以治療糖尿病性視網膜病變及其他眼部疾病之方法
US9357916B2 (en) * 2012-05-10 2016-06-07 Carl Zeiss Meditec, Inc. Analysis and visualization of OCT angiography data
EP3342327A1 (en) * 2012-09-10 2018-07-04 Oregon Health & Science University Quantification of local circulation with oct angiography
US20140276025A1 (en) * 2013-03-14 2014-09-18 Carl Zeiss Meditec, Inc. Multimodal integration of ocular data acquisition and analysis
JP5730375B2 (ja) * 2013-10-31 2015-06-10 キヤノン株式会社 画像処理装置及びその制御方法、並びに、プログラム
CN103870687A (zh) * 2014-03-05 2014-06-18 中国人民解放军第四军医大学 激光光凝范围和糖尿病性视网膜病变预后的关系研究方法
JP6535985B2 (ja) * 2014-06-30 2019-07-03 株式会社ニデック 光コヒーレンストモグラフィ装置、光コヒーレンストモグラフィ演算方法及び光コヒーレンストモグラフィ演算プログラム
US11071452B2 (en) 2014-06-30 2021-07-27 Nidek Co., Ltd. Optical coherence tomography device, optical coherence tomography calculation method, and optical coherence tomography calculation program
JP6469387B2 (ja) * 2014-08-26 2019-02-13 株式会社トプコン 眼底解析装置
WO2016040317A1 (en) * 2014-09-08 2016-03-17 The Cleveland Clinic Foundation Automated analysis of angiographic images
US10368734B2 (en) * 2015-02-19 2019-08-06 Carl Zeiss Meditec, Inc. Methods and systems for combined morphological and angiographic analyses of retinal features
US11284792B2 (en) * 2015-03-06 2022-03-29 University Of Washington Methods and systems for enhancing microangiography image quality
US20160278983A1 (en) * 2015-03-23 2016-09-29 Novartis Ag Systems, apparatuses, and methods for the optimization of laser photocoagulation
US20160278627A1 (en) * 2015-03-25 2016-09-29 Oregon Health & Science University Optical coherence tomography angiography methods
JP6604743B2 (ja) * 2015-04-30 2019-11-13 キヤノン株式会社 情報処理装置、その作動方法、及びコンピュータプログラム
US10751327B2 (en) * 2015-08-19 2020-08-25 East Carolina University Treatment and management of augmentation in restless legs syndrome
JP6702764B2 (ja) * 2016-03-08 2020-06-03 キヤノン株式会社 光干渉断層データの処理方法、該方法を実行するためのプログラム、及び処理装置
US10426331B2 (en) * 2016-07-20 2019-10-01 Oregon Health & Science University Automated quantification of nonperfusion in the retina using optical coherence tomography angiography
US11712160B2 (en) 2017-12-28 2023-08-01 Nikon Corporation Image processing method, image processing program, image processing device, image display device, and image display method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022000185A (ja) * 2017-12-28 2022-01-04 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法
US11712160B2 (en) 2017-12-28 2023-08-01 Nikon Corporation Image processing method, image processing program, image processing device, image display device, and image display method

Also Published As

Publication number Publication date
JP2022000185A (ja) 2022-01-04
US11712160B2 (en) 2023-08-01
US20230320584A1 (en) 2023-10-12
US20200359888A1 (en) 2020-11-19
CN111526779B (zh) 2023-07-11
JPWO2019130583A1 (ja) 2020-12-10
CN111526779A (zh) 2020-08-11
JP7264195B2 (ja) 2023-04-25
EP3733050A4 (en) 2021-08-11
EP3733050A1 (en) 2020-11-04
WO2019130583A1 (ja) 2019-07-04
CN116807381A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
KR102507711B1 (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 컴퓨터 판독가능 매체
US10098542B2 (en) Fundus observation apparatus
US10383511B2 (en) Image processing apparatus, image processing method, and program
JP7264195B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法
US11284791B2 (en) Image processing method, program, and image processing device
JP7521634B2 (ja) 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法
JP2007029460A (ja) 眼科画像処理装置及び眼科画像処理プログラム
US20230084582A1 (en) Image processing method, program, and image processing device
US20230355089A1 (en) Image signal output device and method, and image data conversion device, method, and program
JP2024105697A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP7205539B2 (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
JP7264177B2 (ja) 画像処理方法、画像表示方法、画像処理装置、画像表示装置、画像処理プログラム、及び画像表示プログラム
WO2021111840A1 (ja) 画像処理方法、画像処理装置、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210830

R150 Certificate of patent or registration of utility model

Ref document number: 6947226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250