JPWO2019203311A1 - 画像処理方法、プログラム、及び画像処理装置 - Google Patents

画像処理方法、プログラム、及び画像処理装置 Download PDF

Info

Publication number
JPWO2019203311A1
JPWO2019203311A1 JP2020514438A JP2020514438A JPWO2019203311A1 JP WO2019203311 A1 JPWO2019203311 A1 JP WO2019203311A1 JP 2020514438 A JP2020514438 A JP 2020514438A JP 2020514438 A JP2020514438 A JP 2020514438A JP WO2019203311 A1 JPWO2019203311 A1 JP WO2019203311A1
Authority
JP
Japan
Prior art keywords
image
blood vessel
thickness
image processing
choroidal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020514438A
Other languages
English (en)
Other versions
JP7279712B2 (ja
Inventor
泰士 田邉
泰士 田邉
朋春 藤原
朋春 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2019203311A1 publication Critical patent/JPWO2019203311A1/ja
Priority to JP2023078175A priority Critical patent/JP2023100930A/ja
Application granted granted Critical
Publication of JP7279712B2 publication Critical patent/JP7279712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Hematology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

脈絡膜血管の太さを可視化する。脈略膜血管が可視化された脈略膜血管画像から、渦静脈位置を検出する。脈略膜血管画像を画像処理することにより、脈略膜血管画像から、第1太さの第1太さ脈絡膜血管と、前記第1太さと異なる第2太さの第2太さ脈絡膜血管とを抽出する。脈略膜血管画像に渦静脈位置を示す矩形枠を重畳表示させるとともに、第1太さ脈絡膜血管を赤色で、第2太さ脈絡膜血管を青色で表示する太さ解析眼底画像を生成する。

Description

本開示の技術は、画像処理方法、プログラム、及び画像処理装置に関する。
特開2015−131号公報には、OCT(Optical Coherence Tomography:以下、OCTと称する。)の計測データから脈絡膜血管網を定量化する技術が開示されている。
本開示の技術の第1の態様の画像処理方法は、脈略膜血管が可視化された眼底画像から、渦静脈位置を検出するステップと、前記眼底画像を画像処理することにより、第1太さの第1太さ脈絡膜血管と、前記第1太さと異なる第2太さの第2太さ脈絡膜血管とを抽出するステップと、前記眼底画像に前記渦静脈位置を示す位置表示画像を重畳表示させるとともに、前記第1太さ脈絡膜血管を第1表示方法で、前記第2太さ脈絡膜血管を前記第1表示方法とは異なる第2表示方法で表示する太さ解析眼底画像を生成するステップと、を含む。
本開示の技術の第2の態様の画像処理方法は、脈略膜血管が可視化された眼底画像から、渦静脈位置を検出するステップと、前記渦静脈位置を中心とした円と脈絡膜血管との交点を検出するステップと、前記交点における前記脈絡膜血管の太さを特定するステップと、前記交点での脈絡膜血管の太さとの関係を示すグラフを作成するステップと、を含む。
本開示の技術の第3の態様の画像処理方法は、脈略膜血管が可視化された眼底画像から、渦静脈位置を検出するステップと、前記渦静脈位置を中心とした円と脈絡膜血管との交点を検出するステップと、前記交点における前記脈絡膜血管の血管径を特定するステップと、前記血管径と前記脈絡膜血管の本数とのヒストグラムを作成するステップと、を含む。
本開示の技術の第4の態様のプログラムは、コンピュータに第1の態様から第3の態様の何れかの画像処理方法を実行させる。
本開示の技術の第5の態様の画像処理装置は、処理装置に画像処理方法を実行させるためのプログラムを記憶する記憶装置と、前記記憶装置に記憶されているプログラムを実行することにより前記画像処理方法を実行する処理装置と、を備える画像処理装置であって、前記画像処理方法は、第1の態様から第3の態様の何れかの画像処理方法である。
本開示の技術の第6の態様の画像処理方法は、脈絡膜血管が可視化された眼底画像から、渦静脈位置を検出するステップと、前記眼底画像における前記脈絡膜血管の太さを解析するステップと、前記渦静脈位置と前記脈絡膜血管の太さとの関係を示す表示画面を作成するステップと、を含む。
眼科システム100のブロック図である。 眼科装置110の全体構成を示す概略構成図である。 管理サーバ140の電気系の構成のブロック図である。 管理サーバ140のCPU162の機能のブロック図である。 第1の実施の形態の画像処理プログラムのフローチャートである。 脈絡膜血管画像を示す図である。 脈絡膜血管画像の2値化画像を示す図である。 図5のステップ204の脈絡膜血管の太さ解析処理プログラムのフローチャートである。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管の太さ解析処理を説明する説明図である。 脈絡膜血管解析モードの表示画面300を示す図である。 血管径を表示する表示画面を含む表示画面300を示す図である。 血管径を表示する表示画面においてVV位置が重畳されて表示される表示画面300を示す図である。 太さ1アイコン362がクリックされると表示される表示画面300を示す図である。 太さ2アイコン364がクリックされると表示される表示画面300を示す図である。 太さ3アイコン366がクリックされると表示される表示画面300を示す図である。 第4の実施の形態の画像処理プログラムのフローチャートである。 脈絡膜血管画像から生成した2値化画像において、VV位置402を中心とし、所定半径のサークル404を設定した図である。 サークル404と細線との交点406を検出した図である。 脈絡膜血管画像の2値化画像から生成した距離画像を示す図である。 サークルの最も上端からの角度と血管径とのグラフである。 脈絡膜血管の本数と血管径のヒストグラムである。 血管径の各データを表示する表示画面を示す図である。 血管径解析結果とVV位置解析結果を組み合わせた表示画面を示す図である。 画像処理プログラムのフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。
図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のIDに対応して記憶する。画像ビューワ150は、管理サーバ140により取得した眼底画像を表示する。
眼科装置110、眼軸長測定器120、管理サーバ140、画像ビューワ150は、ネットワーク130を介して、相互に接続されている。
なお、他の眼科機器(OCT計測、視野測定、眼圧測定などの検査機器)や人工知能を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、眼軸長測定器120、管理サーバ140、及び画像ビューワ150に接続されていてもよい。
次に、図2を参照して、眼科装置110の構成を説明する。図2に示すように、眼科装置110は、制御ユニット20、表示/操作ユニット30、及びSLOユニット40を備え、被検眼12の後眼部(眼底)を撮影する。さらに、眼底のOCTデータを取得する図示せぬOCTユニットを備えていてもよい。
制御ユニット20は、CPU22、メモリ24、及び通信インターフェース(I/F)26等を備えている。表示/操作ユニット30は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ32及び入力/指示デバイス34を備えている。
SLOユニット40は、G光(緑色光:波長530nm)の光源42、R光(赤色光:波長650nm)の光源44、IR光(赤外線(近赤外光):波長800nm)の光源46を備えている。光源42、44、46は、制御ユニット20により命令されて、各光を発する。SLOユニット40は、光源42、44、46からの光を、反射又は透過して1つの光路に導く光学系50、52、54、56を備えている。光学系50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
SLOユニット40は、光源42、44、46からの光を、被検眼12の後眼部(眼底)に渡って、2次元状に走査する広角光学系80を備えている。SLOユニット40は、被検眼12の後眼部(眼底)からの光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット40は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット40は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット40は、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、及びビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
広角光学系80は、光源42、44、46からの光を、X方向に走査するポリゴンミラーで構成されたX方向走査装置82、Y方向に走査するガルバノミラーで構成されたY方向走査装置84、及び、図示しないスリットミラーおよび楕円鏡を含み、走査された光を、広角にする光学系86を備えている。光学系86により、眼底の視野角(FOV:Field of View)を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を撮影することができる。具体的には、被検眼12の外部からの外部光照射角で約120度(被検眼12の眼球の中心Oを基準位置として、被検眼12の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、200度程度)の広範囲の眼底領域を撮影することができる。光学系86は、スリットミラーおよび楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。X方向走査装置82及びY方向走査装置84の各走査装置はMEMSミラーを用いて構成された二次元スキャナを用いてもよい。
光学系86としてスリットミラーおよび楕円鏡を含むシステムを用いる場合には、国際出願PCT/JP2014/084619や国際出願PCT/JP2014/084630に記載された楕円鏡を用いたシステムを用いる構成でもよい。2014年12月26日に国際出願された国際出願PCT/JP2014/084619(国際公開WO2016/103484)の開示及び2014年12月26日に国際出願された国際出願PCT/JP2014/084630(国際公開WO2016/103489)の開示の各々は、その全体が参照により本明細書に取り込まれる。
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
カラー眼底画像は、G光及びR光で同時に被検眼12の眼底が撮影されることにより、得られる。より詳細には、制御ユニット20が、同時に発光するように光源42、44を制御し、被検眼12の眼底に渡って、広角光学系80によりG光及びR光が走査される。そして、被検眼12の眼底から反射されたG光がG光検出素子72により検出され、第2眼底画像(G色眼底画像)の画像データが眼科装置110のCPU22により生成される。同様に、被検眼12の眼底から反射されたR光がR光検出素子74により検出され、第1眼底画像(R色眼底画像)の画像データが、眼科装置110のCPU22により生成される。また、IR光が照射された場合は、被検眼12の眼底から反射されたIR光がIR光検出素子76により検出され、IR眼底画像の画像データが眼科装置110のCPU22により生成される。
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は、網膜を通過して脈絡膜まで到達する。よって、第1眼底画像(R色眼底画像)には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光は、網膜までしか到達しない。よって、第2眼底画像(G色眼底画像)には、網膜に存在する血管(網膜血管)の情報が含まれる。
眼科装置110のCPU22は、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とを所定の比率で混合し、カラー眼底画像として、ディスプレイ32に表示する。なお、カラー眼底画像ではなく、第1眼底画像(R色眼底画像)、第2眼底画像(G色眼底画像)、あるいは、IR眼底画像を表示するようにしてもよい。
第1眼底画像(R色眼底画像)の画像データ、第2眼底画像(G色眼底画像)の画像データ、IR眼底画像の画像データは、通信IF26を介して眼科装置110から管理サーバ140へ送付される。
このようにG光及びR光で同時に被検眼12の眼底が撮影されるので、第1眼底画像(R色眼底画像)の各位置と、この位置に対応する第2眼底画像(G色眼底画像)における位置とは、眼底において同じ位置である。
図1の眼軸長測定器120は、被検眼12の眼軸方向(Z方向)の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。眼軸長測定器120は、第1のモード又は第2のモードにより測定された眼軸長を管理サーバ140に送信する。第1のモード及び第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として管理サーバ140に送信する。
眼軸長は患者のデータの一つとして管理サーバ140に患者情報として保存されるとともに、眼底画像解析にも利用される。
次に、図3を参照して、管理サーバ140の構成を説明する。図3に示すように、管理サーバ140は、制御ユニット160、及び表示/操作ユニット170を備えている。制御ユニット160は、CPU162を含むコンピュータ、記憶装置であるメモリ164、及び通信インターフェース(I/F)166等を備えている。なお、メモリ164には、画像処理プログラムが記憶されている。表示/操作ユニット170は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ172及びタッチパネル174を備えている。
画像ビューワ150の構成は、管理サーバ140と同様であるので、その説明を省略する。
次に、図4を参照して、管理サーバ140のCPU162が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、画像処理機能、表示制御機能、及び処理機能を備えている。CPU162がこの各機能を有する画像処理プログラムを実行することで、CPU162は、図4に示すように、画像処理部182、表示制御部184、及び処理部186として機能する。
次に、図5を用いて、管理サーバ140による画像処理を詳細に説明する。管理サーバ140のCPU162が画像処理プログラムを実行することで、図5のフローチャートに示された画像処理(画像処理方法)が実現される。
画像処理プログラムは、管理サーバ140が眼底画像を眼科装置110から受信し、眼底画像に基づいて脈絡膜血管画像を生成した時に実行される。
なお、脈絡膜血管画像は以下のようにして生成される。管理サーバ140の画像処理部182は、ブラックハットフィルタ処理を第2眼底画像(G色眼底画像)に施すことにより、第2眼底画像(G色眼底画像)から網膜血管を抽出する。次に、画像処理部182は、第1眼底画像(R色眼底画像)から、第2眼底画像(G色眼底画像)から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第2眼底画像(G色眼底画像)から抽出された網膜血管の位置情報を用いて第1眼底画像(R色眼底画像)の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部182は、網膜血管が除去された第1眼底画像(R色眼底画像)の画像データに対し、適応ヒストグラム均等化処理(Contrast Limited Adaptive Histograph Equalization)を施すことにより、第1眼底画像(R色眼底画像)において、脈絡膜血管を強調する。これにより、図6に示す脈絡膜血管画像が得られる。生成された脈絡膜血管画像はメモリ164に記憶される。
また、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)から脈絡膜血管画像を生成しているが、画像処理部182は、第1眼底画像(R色眼底画像)あるはIR光で撮影されたIR眼底画像を用いて脈絡膜血管画像を生成してもよい。脈絡膜眼底画像を生成する方法について、2018年3月20日に出願された特願2018−052246の開示は、その全体が参照により、本明細書に取り込まれる。
画像処理プログラムがスタートすると、図5のステップ200で、処理部186は、脈絡膜血管画像(図6参照)をメモリ164から読み出す。
ステップ202で、画像処理部182は、脈絡膜血管画像に対して眼底領域を切り出し(瞼などを除去)、眼底領域に対して二値化処理を施し、二値化画像(図7)を生成する。
ステップ204では、画像処理部182は、二値化画像で白色となっている脈絡膜血管の太さを解析する太さ解析処理を実行する。太さ解析処理により、太さがt3(μm)以上の第1太さの血管のみが抽出された第1太さ血管画像、太さがt2(μm)以上からt3(μm)未満の第2太さの血管のみが抽出された第2太さ血管画像、及び、太さがt1(μm)以上からt2(μm)未満の第3太さの血管のみが抽出された第3太さ血管画像を生成する。ここで、t1は160(μm)、t2は320(μm)、t3は480(μm)としている。
なお、t1は、160(μm)、t2は、320(μm)としているが、血管の太さを区分する値は、あくまで例示であり、各々他の値でもよい。
血管太さ解析処理の詳細については後述する。
ステップ206で、表示制御部184は、第1太さ血管画像の血管部分を赤色、第2太さ血管画像の血管部分を緑色、第3太さ血管画像の血管部分を青色でそれぞれ着色した3つの画像を生成する。さらに、これら3つの血管画像を合成し、太さ別に色分けされた色付き脈絡膜血管画像を生成する。第1太さ血管画像の血管部分、第2太さ血管画像の血管部分、及び第3太さ血管画像の血管部分をそれぞれ赤色、緑色、及び青色としているが、それぞれ別の色でもよい。
ステップ208で、処理部186は、ステップ206で生成された各種画像をメモリ164に保存する。
次に、図8を参照して、管理サーバ140の画像処理部182で実行される、ステップ204の脈絡膜血管の太さ解析処理について説明する。
ステップ212で画像処理部182は、生成された二値化画像(図7参照)に対して第1収縮処理を行う。図9Aは脈絡膜血管の一部を模式化して表示した図であり、第1の太さ(画素数で7画素)、第2の太さ(画素数で5画素)、第3の太さ(画素数で3画素)の3種類の太さの血管242A、244A、246Aと、1画素の大きさのノイズ241、243である2か所が白色で表示された図である。図9Aに対し、白色部分のエッジから3画素収縮する第1収縮処理(白から黒に画素の色を変える)を実行すると、図9Bに示すように、第1の太さの血管242Aの一部242Bが白色で残り、他の白色部分は消滅する。次にステップ214で画像処理部182は、第1収縮処理した二値化画像(図9B)に対して第1膨張処理を行う。第1膨張処理では白色部分から外側に白色画素を3画素膨張させる(黒から白に画素の色を変える)処理を行う。この処理により、図9Cに示すように第1の太さの血管242Aのみが再現される。そして、ステップ216で画像処理部182は、第1の太さの血管242Aの部分に赤色を付すことにより、図9Dに示すようにノイズ241、243が除去され且つ赤色の第1太さ血管画像BG1を生成する。
ステップ218で画像処理部182は、生成された二値化画像(図7参照)に対して第2収縮処理を行う。図9Aに対し、白色部分のエッジから2画素収縮する第2収縮処理(白から黒に画素の色を変える)を実行すると、図9Eに示すように、第1の太さの血管242Aと第2の太さの血管244Aの一部242C、244Cが白色で残り、他の白色部分は消滅する。次にステップ220で画像処理部182は、第2収縮処理した二値化画像(図9E)に対して第2膨張処理を行う。第2膨張処理では白色部分から外側に白色画素を2画素膨張させる処理を行う。この処理により、図9Fに示すように第1の太さの血管242Aと第2の太さの血管244Aのみが再現される。そして、ステップ222で画像処理部182は、第2膨張処理後の二値化画像(図9F)と第1膨張処理後の二値化画像(図9C)の差をとり、残った部分に緑色を付すことにより、図9Gに示すノイズが除去され且つ緑色の第2太さ血管画像BG2を生成する。
ステップ224で画像処理部182は、生成された二値化画像(図7参照)に対して第3収縮処理を行う。図9Aに対し、白色部分のエッジから1画素収縮する第3収縮処理(白から黒に画素の色を変える)を実行すると、図9Hに示すように、第1の太さの血管242A、第2の太さの血管244A、及び第3の太さの血管246Aの一部242D、244D、246Dとノイズの一部が白色で残り、他の白色部分は消滅する。次にステップ226で画像処理部182は、第3収縮処理した二値化画像(図9H)に対して第3膨張処理を行う。第3膨張処理では白色部分から外側に白色画素を1画素膨張させる処理を行う。この処理により、図9Iに示すように第1の太さの血管と第2の太さの血管と第3の血管が再現される。そして、ステップ228で第3膨張処理後の二値化画像(図9I)と第2膨張処理後の二値化画像(図9F)の差をとり、残った部分に青色を付すことにより、図9Jに示すノイズが除去され且つ青色の第3太さ血管画像BG3を生成する。
ステップ230で画像処理部182は、第1太さ血管画像BG1から第1太さの血管の位置を抽出し、第2太さ血管画像BG2から第2太さの血管の位置を抽出し、第3太さ血管画像BG3から第3太さの血管の位置を抽出し、太さ情報と血管位置情報を組み合わせた情報を作成する。
ステップ232で画像処理部182は、太さ情報と血管位置情報を組み合わせた情報と、第1太さ血管画像BG1、第2太さ血管画像BG2、第3太さ血管画像BG3とをメモリ164に保存する。そして、図5のステップ206へ進む。
次に、第1実施形態の脈絡膜血管解析モードの表示画面について説明する。管理サーバ140は、以下の脈絡膜血管解析モードの表示画面に表示させるための各種データを有する。
まず、上記のように、眼科装置110から管理サーバ140には、眼底画像(第1眼底画像(R色眼底画像)及び第2眼底画像(G色眼底画像))の画像データが送信され、管理サーバ140は、眼底画像(第1眼底画像(R色眼底画像)及び第2眼底画像(G色眼底画像))の画像データを有する。管理サーバ140は、各脈絡膜血管と、当該脈絡膜血管の太さに応じて各脈絡膜血管に対応付けされた色のデータとを有する。
また、患者の眼底が撮影される際には、眼科装置110には、患者の個人情報が入力される。個人情報には、患者のID、氏名、年齢、及び視力等が含まれる。また、患者の眼底が撮影される際には、眼底が撮影される眼は、右眼なのか左眼なのかを示す情報も入力される。更に、患者の眼底が撮影される際には、撮影日時も入力される。眼科装置110から管理サーバ140には、個人情報、右眼・左眼の情報、及び、撮影日時のデータが送信される。管理サーバ140は、個人情報、右眼・左眼の情報、及び、撮影日時のデータを有する。管理サーバ140は、眼軸長のデータを有する。
以上のように管理サーバ140は、以上の脈絡膜血管解析モードの表示画面に表示させるためのデータ(コンテンツデータ)を有する。
ところで、医者が患者の脈絡膜血管の状態を診断する場合がある。この場合、医者は、画像ビューワ150を介して、管理サーバ140に、脈絡膜血管解析モードの表示画面を生成する要求を送信する。当該指示を受信した管理サーバ140は、画像ビューワ150に、脈絡膜血管解析モードの表示画面のデータを送信する。脈絡膜血管解析モードの表示画面のデータを受信した画像ビューワ150は、脈絡膜血管解析モードの表示画面のデータに基づいて、図10に示す脈絡膜血管解析モードの表示画面300を、画像ビューワ150のディスプレイ172に表示する。
ここで、図10に示す脈絡膜血管解析モードの表示画面300を説明する。図10に示すように、脈絡膜血管解析モードの表示画面300は、患者の個人情報を表示する個人情報表示欄302、画像表示欄320、及び脈絡膜解析ツール表示欄330を有する。
個人情報表示欄302は、患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、視力表示欄312、及び患者選択アイコン314を有する。患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、及び視力表示欄312に、各情報を表示する。なお、患者選択アイコン314がクリックされると、患者一覧を画像ビューワ150のディスプレイ172に表示し、解析対象となる患者をユーザ(医者)に選択させる。
画像表示欄320は、撮影日付表示欄322N1から322N3、右眼情報表示欄324R、左眼情報表示欄324L、RG画像表示欄326、及び脈絡膜血管画像表示欄328を有する。撮影日付表示欄322N1から322N3はそれぞれ、2016年1月1日、2017年1月1日、及び2018年1月1日の各撮影日に対応する。なお、RG画像は、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とを、各画素値の大きさを所定の割合(例えば、1:1)で合成することにより得られる画像である。
脈絡膜解析ツール表示欄330は、複数の脈絡膜解析を選択するアイコン類が表示される欄である。渦静脈位置アイコン332、対称性アイコン334、血管径アイコン336、渦静脈・黄斑/乳頭アイコン338、及び脈絡膜解析レポートアイコン340を備える。渦静脈位置アイコン332は、渦静脈位置の解析結果を表示させることを指示する。対称性アイコン334は、眼底の脈絡膜血管の対称性の解析結果を表示することを指示する。血管径アイコン336は、脈絡膜血管の径に関する解析結果を表示させることを指示する。渦静脈・黄斑/乳頭アイコン338は、渦静脈、黄斑、及び視神経乳頭の間の位置の解析結果を表示させることを指示する。脈絡膜解析レポートアイコン340は、脈絡膜解析レポートを表示させることを指示する。
図10に示す例では、患者ID:123456により識別される患者の右眼の眼底(アイコン324Rが点灯)が、撮影日付表示欄322N1から322N3の内の撮影日付表示欄322N3がクリックされた撮影日付表示欄に対応する日に撮影されたRG画像及び脈絡膜画像が表示される。
次に、画像ビューワ150に表示される脈絡膜血管解析モードの表示画面の第1の表示態様を説明する。画像ビューワ150は、図10に示す脈絡膜血管解析モードの表示画面300を、画像ビューワ150のディスプレイ172に表示する。図10の脈絡膜解析ツール表示欄330における血管径アイコン336がクリックされると、図11に示される血管径表示画面に変更される(図10の画像表示欄320が図11の血管径表示画面320aに変わる)。
図11に示すように、血管径表示画面320aは、色付き血管径画像を表示する色付き血管径画像表示欄352、色付き血管径画像の一部の拡大画像を表示する拡大画像表示欄354と、縮小された脈絡膜血管画像が表示される縮小脈絡膜血管画像表示欄356を含む。
画像ビューワ150は、GUI(Graphic User Interface、以下GUIと称する)により、縮小脈絡膜血管画像表示欄356で領域、例えば、図11に示すように矩形の領域が指定されると、色付き血管径画像表示欄352に、対応する位置に矩形枠353を表示すると共に、指定された領域の拡大画像を拡大画像表示欄354に表示する。
画像表示欄320aには、さらに、第1太さの脈絡膜血管、第2太さの脈絡膜血管、第3太さの脈絡膜血管の画像を表示することを指示する太さ1アイコン362、太さ2アイコン364、太さ3アイコン366と、全ての太さの脈絡膜血管の画像を表示することを指示するALLアイコン368が設けられている。
血管径⇔脈絡膜アイコン370は、色付き血管径画像表示欄352と縮小脈絡膜血管画像表示欄356との表示内容を切り替えるボタンである。図11の表示状態で血管径⇔脈絡膜アイコン370がクリックされると、色付き血管径画像表示欄352には脈絡膜眼底画像が表示され、縮小脈絡膜血管画像表示欄356には縮小された色付き血管画像が表示される。図11には、ALLアイコン368がクリックされ、色付き血管径画像表示欄352及び拡大画像表示欄354の各々に全ての太さの脈絡膜血管の画像が表示されている。また、図11には、血管径⇔脈絡膜アイコン370がクリックされて、脈絡膜血管画像表示欄356の脈絡膜血管画像より色付き血管径画像表示欄352の血管径画像のほうが大きく表示される例が示されている。
太さ1アイコン362がクリックされた場合は、赤色で表示された第1太さ血管のみが第1太さ血管画像で、色付き血管径画像表示欄352に表示される。太さ2アイコン364がクリックされた場合は、緑色で表示された第2太さ血管のみが第2太さ血管画像で、色付き血管径画像表示欄352に表示される。太さ3アイコン366がクリックされた場合は、青色で表示された第3太さ血管のみが第3太さ血管画像で、色付き血管径画像表示欄352に表示される。
画像ビューワ150の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。画像ビューワ150のユーザ(眼科医など)がアイコン等をクリックすると、画像ビューワ150から管理サーバ140に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ150からの指示信号を受信した管理サーバ140は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ150に送信する。管理サーバ140から画像データを受信した画像ビューワ150は、受信した画像データに基づいて画像をディスプレイに表示する。管理サーバ140での表示画面の生成処理は、CPU162で動作する表示画面生成プログラムによって行われる。
次に、画像ビューワ150に表示される脈絡膜血管解析モードの表示画面の第2の表示態様を説明する。第1の表示態様と同様に、画像ビューワ150は、図10に示す脈絡膜血管解析モードの表示画面300を、画像ビューワ150のディスプレイ172に表示する。図10の脈絡膜解析ツール表示欄330における血管径アイコン336がクリックされると、図12に示される血管径を表示する表示画面に変更される(図10の画像表示欄320が図12の血管径表示画面320bに変わる)。第2の表示態様で第1の表示態様と表示内容には同じ符号を付してその説明を省略する
図12に示すように、血管径表示画面320bは、色付き血管径画像を表示する色付き血管径画像表示欄352、色付き血管径画像の拡大画像を表示する拡大画像表示欄354、縮小された脈絡膜血管画像上に渦静脈(Vortex Vein、以下、VVと称する)の位置が重畳された脈絡膜血管画像の縮小脈絡膜血管画像表示欄356を含む。縮小脈絡膜血管画像表示欄356に表示された脈絡膜血管画像にはVV位置376が丸枠で表示されている。図12では3つのVV位置が丸枠で示されている。
渦静脈VVとは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに4から6個存在する。VVの位置は、脈絡膜血管の走行方向に基づいて算出される。
画像ビューワ150は、図12に示す表示画面300のデータは管理サーバ140から受信するが、管理サーバ140は、図12に示す表示画面300のデータの作成のため、図24に示す表示画面データ作成処理プログラムを実行する。以下、図24に示す表示画面データ作成処理プログラムを説明する。
ステップ200で、処理部186は、脈絡膜血管画像(図6参照)をメモリ164から読み出す。
ステップ401で、VVの位置を検出するVVの位置検出処理を実行する。
ここで、VVの位置検出処理について説明する。VVの位置検出処理は、ステップ200で読み出された脈絡膜血管画像を解析することにより行われる。画像処理部182は、VV位置を、次のように解析する。
画像処理部182は、脈絡膜血管画像における各脈絡膜血管の走行方向(血管走行方向)を検出する。具体的には、第1に、画像処理部182は、脈絡膜血管画像の各画素について、下記の処理を実行する。即ち、画像処理部182は、画素に対して、当該画素を中心とした領域(セル)を設定し、セル内の各画素における輝度の勾配方向のヒストグラムを作成する。
輝度の勾配方向は、例えば、0度以上から180度未満の角度で示される。なお、0度は直線(水平線)の方向と定義する。画像処理部182は、輝度の勾配方向が、例えば、0度、20度、40度、60度、80度、100度、120度、140度、160度の9つのビン(各ビンの幅が20度)があるヒストグラムを作成するため、各ビンに対応する勾配方向のセル内の画素数をカウントする。
ヒストグラムの1つのビンの幅は20度に相当し、0度のビンには、0度以上10度未満と170度以上180度未満の勾配方向を持つ、セル内の画素数(カウント値)が設定される。20度のビンは、10度以上30度未満の勾配方向を持つ、セル内の画素数(カウント値)が設定される。同様に、40度、60度、80度、100度、120度、140度、160度のビンのカウント値も設定される。ヒストグラムのビンの数が9であるので、画素の血管走行方向は9種類の方向の何れかで定義される。なお、ビンの幅を狭くし、ビンの数を多くすることにより、血管走行方向の分解能を上げることができる。各ビンにおけるカウント値(ヒストグラムの縦軸)は規格化がなされ、解析点に対するヒストグラムが作成される。
次に、画像処理部182は、各セルにおけるヒストグラムにおいて、最もカウントが少なかったビンの勾配方向を各セルの内の画素における勾配方向とする。この勾配方向が、血管走行方向に対応する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい(例えば、血管と血管以外のものでは輝度の差が大きい)。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するカウントは少なくなる。以上の処理により、脈絡膜血管画像の各画素における血管走行方向が検出される。
画像処理部182は、M(自然数)×N(自然数)(=L)個の仮想の粒子の初期位置を設定する。具体的には、画像処理部182は、脈絡膜血管画像上に等間隔に、縦方向にM個、横方向にN個、合計L個の初期位置を設定する。検出された血管走行方向の情報を用いて、脈絡膜血管上で仮想の粒子を血管走行方向に移動させていく処理を行うことにより、渦静脈VVの位置を推定する。渦静脈VVは複数の脈絡膜血管が集まる部位のため、最終的には画像上に配した複数の仮想の粒子が血管をたどり、渦静脈の位置に集まることを利用した処理である。
画像処理部182は、VV位置を推定する。具体的には、画像処理部182は、L個の各々の位置について以下の処理を行う。即ち、画像処理部182は、最初の位置(L個の何れか)の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、L個の全ての位置において実行する。その時点で仮想の粒子が一定個数以上集まっている点をVV位置とする。
VV位置情報(VVの個数や、脈絡膜血管画像上での座標など)は、メモリ164に記憶される。VV位置情報は、図12から15や、後述する図22の脈絡膜血管解析モードの表示画面の第3の実施の形態の画面作成に用いられる。
ステップ204で、画像処理部182は、上記のように、二値化画像で白色となっている脈絡膜血管の太さを解析する太さ解析処理を実行する。
ステップ403で、画像処理部182は、VV位置と太さ解析結果を、メモリ164に保存する。ステップ405で、画像処理部182は、表示画面(図12など)を作成する。
このように画像ビューワ150は、図12に示す表示画面300のデータは管理サーバ140から送信されるが、管理サーバ140が図12に示す表示画面データ作成処理プログラムを実行して、図12などの表示画面300のデータを作成すると、管理サーバ140は、表示画面のデータを画像ビューワ150に送信する。
VV位置情報(VVの個数や、脈絡膜血管画像上での座標など)は、メモリ164に記憶される。VV位置情報は、図12から15や、後述する図22の脈絡膜血管解析モードの表示画面の第3の実施の形態の画面作成に用いられる。
画像ビューワ150は、脈絡膜血管画像の縮小脈絡膜血管画像表示欄356で拡大表示したいVV領域、例えば、図12に示すように矩形の領域がGUIで指定されると、色付き血管径画像表示欄352に、対応する位置に矩形枠353とその中のVV位置376をとり囲む丸枠を表示する。そして、指定されたVV領域の拡大画像を拡大画像表示欄354に表示する。拡大画像には、VV位置376とその周囲を取り囲む丸枠が重畳表示される。
図12には、ALLアイコン368がクリックされ、色付き血管径画像表示欄352及び拡大画像表示欄354の各々に全ての太さの脈絡膜血管の画像が表示される。この状態で、例えば、太さ1アイコン362がクリックされると、色付き血管径画像表示欄352及び拡大画像表示欄354の表示内容は、図13の血管径画像表示欄372R及び拡大画像表示欄374Rに示すように、第1太さの血管のみの画像となる。第1太さの血管には赤が関係づけられているので、第1太さの血管は赤色で表示される。太さ2アイコン364がクリックされると、色付き血管径画像表示欄352及び拡大画像表示欄354の表示内容は、図14の血管径画像表示欄372B及び拡大画像表示欄374Bに示すように、第2太さの血管のみの画像となる。第2太さの血管には青が関係づけられているので、第2太さの血管は緑色で表示される。太さ3アイコン366がクリックされると、色付き血管径画像表示欄352及び拡大画像表示欄354の表示内容は、図15の血管径画像表示欄372G及び拡大画像表示欄374Gに示すように、第3太さの血管のみの画像となる。第3太さの血管には緑が関係づけられているので、第3太さの血管は青色で表示される。
次に、画像ビューワ150に表示される脈絡膜血管解析モードの表示画面の第3の表示態様を説明する。第1の表示態様と同様に、画像ビューワ150は、図10に示す脈絡膜血管解析モードの表示画面300を、画像ビューワ150のディスプレイ172に表示する。図10の脈絡膜解析ツール表示欄330における血管径アイコン336がクリックされると、図22に示される血管径解析結果とVV位置解析結果を組み合わせた表示画面に変更される(図10の画像表示欄320が図22の血管径表示画面320cに変わる)。
次に、脈絡膜血管解析モードの表示画面の第3の表示態様を説明する。第3の表示態様で第1の表示態様と同じ部分には同じ符号を付してその説明を省略する。
図22に示すように、血管径表示画面320cは、縮小脈絡膜血管画像表示欄356の脈絡膜血管画像上にVV位置376が重畳表示された脈絡膜血管画像が表示されている。図22において脈絡膜血管画像にはVV位置を中心とした所定半径の丸枠が表示されている。図12では3つのVV位置が丸枠で示されている。
血管径表示画面320cは、さらに、VV位置拡大画像420、VV細線化画像422、VV血管径方向性マップ424、血管径ヒストグラム426を表示する表示欄、及び太さ解析プロットアイコン380を有する。太さ解析プロットアイコン380は、後述する図23の表示画面へ表示内容を切り替えるボタンである。
GUIで、VV位置が指定されると、脈絡膜血管画像の縮小脈絡膜血管画像表示欄356において、指定されたVV位置の丸枠を取り囲むように矩形枠377が表示される。そして、矩形枠377のVV位置拡大画像420が表示欄に表示される。VV位置拡大画像420は、指定されたVV周辺の脈絡膜血管が詳細に解析されたデータにより作成されて表示される。同様に作成されたVV血管径方向性マップ424がVV血管径方向性マップ表示欄に表示される。
次に、図16を参照して、VV細線化画像422及びVV血管径方向性マップ424の作成処理方法(画像処理プログラム)について詳細に説明する。図16に示す画像処理プログラムは、図5のプログラムと同様に、眼底画像に基づいて脈絡膜血管画像を生成した時に実行される。
図16のステップ1232で、処理部186は、脈絡膜血管画像(図6参照)を読み出し、ステップ1234で、画像処理部182は、前述したVV位置解析処理を実行する。
ステップ1236で、画像処理部182は、脈絡膜血管画像において、VV位置を含む所定領域の画像を抽出する。
ステップ1238で、画像処理部182は、抽出した所定領域の画像から2値化画像を生成する。ステップ1240で、画像処理部182は、図17に示すように、生成した2値化画像において、VV位置402を中心とした所定半径のサークル404を設定する。サークル404の所定半径は、6mmである。必要とする解析に応じて、サークル404の半径を2mmから20mmの間で設定できるようにしてもよい。VV位置周辺の血管走行パターンに基づいてサークル404の半径を設定するようにしてもよい。
ステップ1242で、画像処理部182は、2値化画像を細化処理する。ステップ1244で、画像処理部182は、図18に示すように、サークル404と細線との交点406を検出する。ステップ1246で、画像処理部182は、2値化画像から、図19に示すように、距離画像を生成する。距離画像は、2値化画像における線の太さに応じて、線のエッジから中央に向かって徐々に輝度が大きくなり、線の中央の位置の輝度は、線の太さが太くなるに従って大きくなる画像である。
ステップ1248で、画像処理部182は、距離画像から、各交点406に対応する位置の輝度値を抽出する。ステップ1250で、画像処理部182は、メモリ164に記憶されている画素の輝度と血管径の対応関係を示したルックアップテーブルにしたがって、各交点406の輝度値を血管径に変換する。
ステップ1252で、表示制御部184は、図20に示すように、交点406が位置するサークルの所定位置(例えば、最も上端)からの角度を横軸とし、交点406における血管径を縦軸としたグラフを作成する。このグラフからVV位置402から走行する血管の太さと血管の走行方向が可視化できる。
ステップ1254で、表示制御部184は、図21に示すように、各交点406での血管径を集計し、ビンの数が6、ビンの幅が200μmである脈絡膜血管の本数と血管径のヒストグラムを作成する。このヒストグラムからVVへつながる血管の太さの分布が可視化でき、VVへ流入する血流量などの推測が可能になる。
ステップ1256で、処理部186は、次の各データを保存する。VV位置、2値化画像、VV位置402を中心とし、所定半径のサークル404、サークル404と細線との交点406、距離画像、各交点406に対応する位置の輝度値、各交点406の輝度値から変換された血管径、角度と血管径とのグラフ、及び脈絡膜血管の本数と血管径のヒストグラムの各データがメモリ164に保存される。
次に、図22の太さ解析プロットアイコン380をクリックすると、画像ビューワ150に表示される、脈絡膜血管解析モードの表示画面の第4の表示態様を説明する。図22の太さ解析プロットアイコン380がクリックされると、図23に示される血管径解析結果とVV位置解析結果を組み合わせた表示画面に変更される(図22の画像表示欄320cが図23の画像表示欄320dに変わる)。第4の表示態様で第1の表示態様と同じ表示態様の部分には同じ符号を付してその説明を省略する。
次に、図23の画像表示欄320dについて説明する。画像表示欄320dの中央には、渦静脈(VV)の位置が重畳された色付き脈絡膜血管画像500が表示される。図23では、脈絡膜血管画像500の左上にVV520、左下にVV540、右上にVV560、右下にVV580の4つのVVが存在している。
さらに、VV520を中心とした所定半径のサークル522が脈絡膜血管画像500に重畳表示されている。同様に他のVVについても、サークル542、562、582が重畳表示されている。
画像表示欄320dの左上にはさらに、サークル拡大表示画像524と、円グラフ526とが表示される。サークル拡大表示画像524は、サークル522で囲まれたエリアの色付き脈絡膜血管画像の拡大表示画像である。円グラフ526には、サークル522内の血管領域の総画素数を100としたときの、複数の太さの各々の血管の血管領域の画素数の占める割合が示されている。具体的には、例えば、円グラフ526には、第1に、太い血管である第1太さ(480μm以上)の血管領域の画素数の占める割合、第2に、中程度である第2太さ(320μm以上から480μm未満)の血管領域の画素数の占める割合、第3に、細い第3太さ(320μm未満)の血管領域の画素数の占める割合が含まれている。同様に、画像表示欄320dの左下には、サークル拡大表示画像544と円グラフ546、画像表示欄320dの右上には、サークル拡大表示画像564と円グラフ566、画像表示欄320dの右下には、サークル拡大表示画像584と円グラフ586が表示されている。
画像表示欄320d内に表示される各画像は、管理サーバ140の画像処理部182で作成される。
第4の表示態様では、眼科医などのユーザは、表示画面にすべてのVVの位置と、各VVの拡大画像と血管太さ分布を総合的に把握できる。
以上説明した各実施の形態では、眼底画像から脈絡膜血管を抽出し、脈絡膜血管の太さを判別する。
従来、OCTの計測データから脈絡膜血管網を定量化するが、太さまでは把握することができない。しかし、上記のように各実施の形態では、第1眼底画像(R色眼底画像)又はIR眼底画像と、第2眼底画像(G色眼底画像)とから、網膜血管と脈絡膜血管とを分離し、脈絡膜血管の太さを判別し、判別した太さを、異なる色で表示することにより、可視化する。よって、脈絡膜血管の太さを把握することができる。
さらに渦静脈VV位置周辺の脈絡膜血管の太さを解析し、可視化するので、眼科医の診断を支援することができる。
上記実施の形態では、VV位置を解析し、VV周辺の脈絡膜血管の太さを解析することができる。
上記実施の形態では、脈絡膜血管の各太さの位置情報を保持するので、統計処理を簡単に行うことができる。
上記実施の形態では、被検眼12の外部からの外部光照射角で約120度(上記内部光照射角で、200度程度)の広範囲の眼底領域を撮影するので、広範囲の眼底の脈絡膜を可視化することができる。よって、眼底周辺部の脈絡膜血管の太さを解析するだけでなく、眼球の赤道付近に存在する渦静脈VV周辺の脈絡膜血管の太さを解析することができる。
次に、本開示の技術の種々の変形例を説明する。
<第1の変形例>
上記各実施の形態では、脈絡膜血管画像を解析しているが、本開示の技術はこれに限定されず、例えば、OCT−En Face画像(3DのOCTデータから構築される眼底画像)、ICG(indocyanine green)蛍光造影法により得られる画像、FA(Fluorescein Angiography)により得られた画像)、FAF(Fundus AutoFuluorescence、自家蛍光撮影により得られた画像)等により得られる眼底の断面の画像を解析してもよい。
<第2の変形例>
上記各実施の形態では、太さに応じて色を変えて脈絡膜血管を表示しているが、本開示の技術はこれに限定されず、太さに応じて輝度値を変えて脈絡膜血管を表示してもよい。
<第3の変形例>
上記実施の形態では、管理サーバ140が、予め画像処理プログラムを実行しているが、本開示の技術はこれに限定されない。例えば、次のようにしてもよい。例えば、画像ビューワ150のディスプレイ172に図10に示す脈絡膜血管解析モードの表示画面300が表示されている状態で、血管径アイコン336がクリックされた場合に、管理サーバ140が画像処理プログラムを実行する。具体的には、血管径アイコン336がクリックされた場合、画像ビューワ150が、管理サーバ140に命令を送信する。管理サーバ140が当該命令を受信した時に、画像処理プログラムを実行するようにしてもよい。
<第4の変形例>
上記実施の形態では、眼科装置110により内部光照射角が200度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、内部照射角で100度以下の眼科装置で撮影された眼底画像でもよいし、眼底画像を複数合成したモンタージュ画像でも本開示の技術を適用してもよい。
<第5の変形例>
上記実施の形態では、SLO撮影ユニットを備えた眼科装置110により眼底画像を撮影しているが、脈絡膜血管を撮影できる眼底カメラによる眼底画像でもよいし、OCTアンジオグラフィーにより得られた画像でも本開示の技術を適用してもよい。
<第6の変形例>
上記実施の形態では、管理サーバ140が画像処理プログラムを実行する。本開示の技術はこれに限定されない。例えば、眼科装置110又は画像ビューワ150が画像処理プログラムを実行するようにしてもよい。眼科装置110が画像処理プログラムを実行する場合には、画像処理プログラムはメモリ24に記憶されている。また、画像ビューワ150が画像処理プログラムを実行する場合には、画像処理プログラムは、画像ビューワ150のメモリ164に記憶されている。
<第7の変形例>
上記実施の形態では、眼科装置110、眼軸長測定器120、管理サーバ140、及び画像ビューワ150を備えた眼科システム100を例として説明したが、本開示の技術はこれに限定されない。例えば、第1の例として、眼軸長測定器120を省略し、眼科装置110が、眼軸長測定器120の機能を更に有してもよい。また、第2の例として、眼科装置110が、管理サーバ140及び画像ビューワ150の少なくとも一方の機能を更に有してもよい。例えば、眼科装置110が管理サーバ140の機能を有する場合、管理サーバ140を省略することができる。この場合、画像処理プログラムは、眼科装置110又は画像ビューワ150が実行する。また、眼科装置110が画像ビューワ150の機能を有する場合、画像ビューワ150を省略することができる。第3の例として、管理サーバ140を省略し、画像ビューワ150が管理サーバ140の機能を実行するようにしてもよい。
<その他の変形例>
上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA又はASIC等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

Claims (11)

  1. 脈略膜血管が可視化された眼底画像から、渦静脈位置を検出するステップと、
    前記眼底画像を画像処理することにより、第1太さの第1太さ脈絡膜血管と、前記第1太さと異なる第2太さの第2太さ脈絡膜血管とを抽出するステップと、
    前記眼底画像に前記渦静脈位置を示す位置表示画像を重畳表示させるとともに、前記第1太さ脈絡膜血管を第1表示方法で、前記第2太さ脈絡膜血管を前記第1表示方法とは異なる第2表示方法で表示する太さ解析眼底画像を生成するステップと、
    を含む画像処理方法。
  2. 前記渦静脈位置を検出するステップでは、渦静脈位置を複数検出する、請求項1に記載の画像処理方法。
  3. 前記眼底画像は、赤色光の波長以上の波長の光を用いて眼底を撮影することにより、得られる、
    請求項1又は請求項2に記載の画像処理方法。
  4. 脈略膜血管が可視化された眼底画像から、渦静脈位置を検出するステップと、
    前記渦静脈位置を中心とした円と脈絡膜血管との交点を検出するステップと、
    前記交点における前記脈絡膜血管の太さを特定するステップと、
    前記交点の前記円における位置と、前記交点の脈絡膜血管の太さとの関係を示すグラフを作成するステップと、
    を含む画像処理方法。
  5. 脈略膜血管が可視化された眼底画像から、渦静脈位置を検出するステップと、
    前記渦静脈位置を中心とした円と脈絡膜血管との交点を検出するステップと、
    前記交点における前記脈絡膜血管の血管径を特定するステップと、
    前記血管径と前記脈絡膜血管の本数とのヒストグラムを作成するステップと、
    を含む画像処理方法。
  6. コンピュータに請求項1から請求項5の何れか1項に記載の画像処理方法を実行させるプログラム。
  7. 処理装置に画像処理方法を実行させるためのプログラムを記憶する記憶装置と、
    前記記憶装置に記憶されているプログラムを実行することにより前記画像処理方法を実行する処理装置と、
    を備える画像処理装置であって、
    前記画像処理方法は、請求項1から請求項5の何れか1項に記載の画像処理方法である、
    画像処理装置。
  8. 脈絡膜血管が可視化された眼底画像から、渦静脈位置を検出するステップと、
    前記眼底画像における前記脈絡膜血管の太さを解析するステップと、
    前記渦静脈位置と前記脈絡膜血管の太さとの関係を示す表示画面を作成するステップと、
    を含む画像処理方法。
  9. 前記表示画面の画像データを出力するステップをさらに備えることを特徴とする請求項8に記載の画像処理方法。
  10. 前記表示画面には、前記渦静脈位置が重畳された渦静脈位置重畳眼底画像が含まれることを特徴とする請求項9に記載の画像処理方法。
  11. 前記表示画面には、前記太さの解析結果により脈絡膜血管画像が可視化された脈絡膜血管画像が含まれることを特徴とする請求項10に記載の画像処理方法。
JP2020514438A 2018-04-18 2019-04-18 画像処理方法、プログラム、及び画像処理装置 Active JP7279712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023078175A JP2023100930A (ja) 2018-04-18 2023-05-10 画像処理方法、プログラム、及び画像処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018080275 2018-04-18
JP2018080275 2018-04-18
PCT/JP2019/016654 WO2019203311A1 (ja) 2018-04-18 2019-04-18 画像処理方法、プログラム、及び画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023078175A Division JP2023100930A (ja) 2018-04-18 2023-05-10 画像処理方法、プログラム、及び画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2019203311A1 true JPWO2019203311A1 (ja) 2021-04-22
JP7279712B2 JP7279712B2 (ja) 2023-05-23

Family

ID=68240078

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020514438A Active JP7279712B2 (ja) 2018-04-18 2019-04-18 画像処理方法、プログラム、及び画像処理装置
JP2023078175A Pending JP2023100930A (ja) 2018-04-18 2023-05-10 画像処理方法、プログラム、及び画像処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023078175A Pending JP2023100930A (ja) 2018-04-18 2023-05-10 画像処理方法、プログラム、及び画像処理装置

Country Status (5)

Country Link
US (1) US11284791B2 (ja)
JP (2) JP7279712B2 (ja)
CN (1) CN111970957B (ja)
DE (1) DE112019002024T5 (ja)
WO (1) WO2019203311A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019203310A1 (ja) * 2018-04-18 2021-04-22 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
KR102375775B1 (ko) * 2020-02-10 2022-03-21 주식회사 메디픽셀 혈관 영상에 기초한 주요 혈관 영역 추출 방법 및 장치
US20210319551A1 (en) * 2020-04-10 2021-10-14 Topcon Corporation 3d analysis with optical coherence tomography images
WO2021210281A1 (ja) * 2020-04-14 2021-10-21 株式会社ニコン 画像処理方法、画像処理装置、及び画像処理プログラム
JPWO2021210295A1 (ja) * 2020-04-15 2021-10-21
WO2022113409A1 (ja) * 2020-11-26 2022-06-02 株式会社ニコン 画像処理方法、画像処理装置、及びプログラム
WO2024057942A1 (ja) * 2022-09-16 2024-03-21 国立大学法人北海道大学 眼底画像処理装置および眼底画像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007330558A (ja) * 2006-06-15 2007-12-27 Topcon Corp 分光眼底測定装置及びその測定方法
JP2008110202A (ja) * 2006-10-04 2008-05-15 Yukinori Takibatake 赤外光眼底撮影方法および装置
JP2008229157A (ja) * 2007-03-22 2008-10-02 Chiba Univ 眼底画像処理装置及び眼底撮影装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198532B1 (en) * 1991-02-22 2001-03-06 Applied Spectral Imaging Ltd. Spectral bio-imaging of the eye
EP1992277A1 (en) * 2007-05-14 2008-11-19 Institut National De La Sante Et De La Recherche Medicale (Inserm) Optical device and method for acquiring images of eye structures
US8356901B2 (en) * 2010-03-05 2013-01-22 Richard R Spaide Systems and methods for widefield mapping of the retina
JP5924955B2 (ja) * 2012-01-27 2016-05-25 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、眼科装置およびプログラム
WO2013163758A1 (en) * 2012-05-01 2013-11-07 Boyd Shelley Romayne Methods for treating and diagnosing blinding eye diseases
JP6278295B2 (ja) 2013-06-13 2018-02-14 国立大学法人 筑波大学 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム
JP6469387B2 (ja) * 2014-08-26 2019-02-13 株式会社トプコン 眼底解析装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007330558A (ja) * 2006-06-15 2007-12-27 Topcon Corp 分光眼底測定装置及びその測定方法
JP2008110202A (ja) * 2006-10-04 2008-05-15 Yukinori Takibatake 赤外光眼底撮影方法および装置
JP2008229157A (ja) * 2007-03-22 2008-10-02 Chiba Univ 眼底画像処理装置及び眼底撮影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MORIYAMA MUKA ET AL.: "Detection of posterior vortex veins in eyes with pathologic myopia by ultra-widefield indocyanine gr", BRITISH JOURNAL OF OPHTHALMOLOGY, vol. Volume 101, Issue 9, JPN7022003964, 18 September 2017 (2017-09-18), pages 1179 - 1184, ISSN: 0004854367 *

Also Published As

Publication number Publication date
JP7279712B2 (ja) 2023-05-23
WO2019203311A1 (ja) 2019-10-24
JP2023100930A (ja) 2023-07-19
US11284791B2 (en) 2022-03-29
DE112019002024T5 (de) 2021-01-07
CN111970957A (zh) 2020-11-20
CN111970957B (zh) 2024-02-27
US20210022600A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP7279712B2 (ja) 画像処理方法、プログラム、及び画像処理装置
JP7279711B2 (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
JP7441783B2 (ja) 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法
JP2023060069A (ja) 画像処理方法、画像処理装置、画像処理プログラム、及び血管径算出装置
JP2023158161A (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2019203310A1 (ja) 画像処理方法、プログラム、及び画像処理装置
JP7419946B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021111840A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2022181729A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2022113409A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2021210295A1 (ja) 画像処理方法、画像処理装置、及びプログラム
US20210027476A1 (en) Image processing method, program, and image processing device
JP2024059709A (ja) 画像処理方法
WO2021074961A1 (ja) 画像処理方法、画像処理装置、およびプログラム
WO2021074963A1 (ja) 画像処理方法、画像処理装置、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R150 Certificate of patent or registration of utility model

Ref document number: 7279712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150