[第1実施形態]
図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定装置120と、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150と、レーザ治療装置135と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定装置120は、患者の眼軸長を測定する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像、眼軸長、及び断層画像を、患者のIDに対応して記憶する。画像ビューワ150は、管理サーバ140から取得した眼底画像を表示する。レーザ治療装置135は、患者の被検眼に対してレーザ治療を行う。レーザ治療としては、眼底の領域に対して特殊な波長のレーザ光を照射するレーザ光凝固又は光線力学的療法等が挙げられる。
眼科装置110、眼軸長測定装置120、管理サーバ140、画像ビューワ150は、ネットワーク130を介して、相互に接続されている。
眼軸長測定装置120は、被検眼12の眼軸方向の長さである眼軸長を測定する第1のモードと第2のモードとの2つの眼軸長測定モードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定するモードである。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
眼軸長測定装置120は、第1のモード又は第2のモードにより測定された眼軸長を管理サーバ140に送信する。第1のモード及び第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均値を眼軸長として管理サーバ140に送信する。
次に、図2を参照して、眼科装置110の構成を説明する。なお、本明細書では、説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
眼科装置110は、撮影装置14及び制御装置16を含む。撮影装置14は、SLOユニット18、撮影光学系19、及びOCTユニット20を備えており、被検眼12の眼底を示す眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO眼底画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
制御装置16は、CPU(Central Processing Unit)16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、及び入出力(I/O)ポート16Dを有するコンピュータを備えている。
制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
また、制御装置16は、I/Oポート16Dに接続された画像処理装置17を備えている。画像処理装置17は、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。なお、制御装置16は、図示しない通信インターフェースを介してネットワーク130に接続される。
ここで、図3を参照して、制御装置16のCPU16Aが処理プログラムを実行することで実現される各種機能について説明する。処理プログラムは、ROM16CまたはRAM16Bに記憶されており、初期設定時あるいは起動時に読みだされる。なお、図示しない記憶装置(ハードディスク等)を備え、処理プログラムは、図示しない記憶装置に記憶され、初期設定時あるいは起動時に読みだされるようにしてもよい。
処理プログラムは、撮影制御機能、表示制御機能、画像処理機能、及び処理機能を備えている。CPU16Aがこれらの各機能を有する処理プログラムを実行することで、CPU16Aは、図3に示すように、撮影制御部202、表示制御部204、画像処理部206、及び処理部208として機能する。
上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの表示制御部204の制御下で動作する画像処理プロセッサユニットを備え、画像処理プロセッサユニットが、表示制御部204が出力指示した画像信号に基づいて、SLO眼底画像等を表示するようにしてもよい。
撮影装置14は、制御装置16の撮影制御部202の制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、及びOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、及び広角光学系30を含む。
第1光学スキャナ22は、SLOユニット18から射出された光をX方向、及びY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、及びY方向に2次元走査する。第1光学スキャナ22及び第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
広角光学系30は、共通光学系28を有する対物光学系(図2では不図示)、及びSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
楕円鏡を含むシステムを用いる場合には、国際出願PCT/JP2014/084619や国際出願PCT/JP2014/084630に記載された楕円鏡を用いたシステムを用いる構成でもよい。2014年12月26日に国際出願された国際出願PCT/JP2014/084619(国際公開WO2016/103484)の開示及び2014年12月26日に国際出願された国際出願PCT/JP2014/084630(国際公開WO2016/103489)の開示の各々は、その全体が参照により本明細書に取り込まれる。
広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底Fへ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施の形態では、内部照射角は200度としている。
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWFSLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。
SLOシステムは、図2に示す制御装置16、SLOユニット18、及び撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
SLOユニット18は、G光(緑色光)の光源42、R光(赤色光)の光源44、及びIR光(赤外線(例えば、近赤外光))の光源46と、光源42,44,46からの光を、反射又は透過して1つの光路に導く光学系50,52,54,56とを備えている。光学系50,56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。G光は、光学系50,54で反射し、R光は、光学系52,54を透過し、IR光は、光学系52,56で反射して、それぞれ1つの光路に導かれる。
SLOユニット18は、R光及びG光を発するモードと、赤外線を発するモードなど、発光させる光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図2では、G光の光源42、R光の光源44、及びIR光の光源46の3つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、更に、B光(青色光)の光源や白色光の光源を更に備え、G光、R光、及びB光を発するモードや、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された反射光は、広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射される。
SLOユニット18は、被検眼12の後眼部(眼底)からの光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット18は、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、及びビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、G光の場合、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ58,60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。画像処理部206の制御下で動作する画像処理装置17は、G光検出素子72、R光検出素子74、及びIR光検出素子76で検出された信号に基づいてSLO眼底画像を生成する。
OCTシステムは、図2に示す制御装置16、OCTユニット20、及び撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、広いFOV12Aでの眼底撮影を可能とする。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、及び第2の光カプラ20Fを含む。
光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30および第2光学スキャナ24を経由してOCTユニット20へ入射され、コリメートレンズ20E及び第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。画像処理部206の制御下で動作する画像処理装置17は、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
なお、本実施形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
次に、図4を参照して、眼科装置110に含まれる撮影光学系19の詳細構成を説明する。図4に示すように、共通光学系28は、楕円鏡30,32と、両者の間に配置された第3光学スキャナ29と、を含む。楕円鏡30,32も共に所謂回転楕円面の反射面30A,32Aを有している。回転楕円面は、楕円に固有の2つの焦点を結ぶ軸を中心に回転して形成される面であり、図4では、共に楕円の一部として示されている。
上述の通り、第1光学スキャナ22及び第2光学スキャナ24はそれぞれの光線をY方向(図の紙面内)で走査するため、楕円鏡30はY方向の走査光のみを反射するためにX方向での幅は小さくてよい。このため、楕円鏡30はY方向に延びた細長い形状であり、スリットミラーと呼ばれている。一方、楕円鏡32では第3光学スキャナ29によりX方向(図の紙面に垂直な面内)の走査が追加されるため、楕円鏡32のX方向の幅は第3光学スキャナ29のX方向での走査光を受容するのに必要な幅を有している。図4では、ダイクロイックミラーなどの合成部26及び楕円鏡30,32は側面視断面図として表されているが、相互間の位置は配置の順序を示す目的であるため正確ではない。
楕円鏡30の楕円反射面30Aは、第1焦点P1及び第2焦点P2を有する。第1光学スキャナ22及び第2光学スキャナ24はダイクロイックミラーなどの合成部26を介してそれぞれ第1焦点P1に一致して配置されている。また、第2焦点P2には、第3光学スキャナ29が配置されている。そして、楕円鏡32の楕円反射面32Aも2つの焦点P3,P4を有し、焦点P3はスリットミラーの楕円反射面の第2焦点P2に一致しており、焦点P4の位置には被検眼12の瞳孔中心が位置するように構成されている。従って、第1光学スキャナ22、第2光学スキャナ24、及び第3光学スキャナ29は、それぞれ被検眼12の瞳孔の中心部と共役な位置関係になるように構成されている。このような2つの楕円鏡30,32並びに3つの光学スキャナ22,24,29の組み合わせた撮影光学系19により、SLOにおいてもOCTにおいても極めて広い外部照射角の光線によって眼底を走査することが可能となっている。
なお、共通光学系28を達成するためには上述のとおり楕円鏡を用いることが大変有効である。楕円鏡は必ずしも2枚設ける必要はなく、1枚の構成とすることも可能である。例として、国際公開公報 WO2016/103484やWO2016/103489に開示されている構成を用いてもよい。
次に、図5を参照して、管理サーバ140の構成を説明する。図5に示すように、管理サーバ140は、制御ユニット160、及び表示/操作ユニット170を備えている。制御ユニット160は、CPU162を含むコンピュータ、記憶装置であるメモリ164、及び通信インターフェース(I/F)166等を備えている。表示/操作ユニット170は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ172及びタッチパネルなどの入力/指示デバイス174を備えている。
画像ビューワ150は、基本的に管理サーバ140と同様のハードウェア資源を有している。図24に示すように、画像ビューワ150において、制御ユニット160Aは、図5に示す制御ユニット160に対応しており、表示/操作ユニット170Aは、図5に示す表示/操作ユニット170に対応している。また、図24に示すように、制御ユニット160Aにおいて、CPU162Aは、図5に示すCPU162に対応しており、メモリ164Aは、図5に示すメモリ164に対応しており、通信I/F166Aは、図5に示す通信I/F166に対応している。更に、図24に示すように、表示/操作ユニット170Aにおいて、ディスプレイ172Aは、図5に示すディスプレイ172に対応しており、入力/指示デバイス174Aは、図5に示す入力/指示デバイス174に対応している。
図25に示すようにCPU162Aにおいて、画像処理部182Aは、図6に示す画像処理部182に対応しており、表示制御部184Aは、図6に示す表示制御部184に対応しており、処理部186Aは、図6に示す処理部186に対応している。
なお、画像ビューワ150は、本開示の技術に係る眼科装置及び画像表示装置の一例である。制御ユニット160Aは、本開示の技術に係るコンピュータの一例である。ディスプレイ172Aは、本開示の技術に係る表示部の一例である。また、メモリ164Aは、制御プログラムを記憶している。メモリ164Aに記憶されている制御プログラムは、本開示の技術に係る眼科プログラム及び画像表示プログラムの一例である。
次に、図6を参照して、CPU162Aが制御プログラムを実行することで実現される各種機能について説明する。制御プログラムは、画像処理機能、表示制御機能、及び処理機能を備えている。CPU162Aがこの各機能を有する制御プログラムを実行することで、CPU162Aは、図25に示すように、画像処理部182A、表示制御部184A、及び処理部186Aとして機能する。
記憶装置154は、患者毎に患者データを記憶している。ここで言う「患者」は、上述した被検者の一例である。患者データは、患者を特定する患者IDと、2次元画像を示す2次元画像データと、3次元画像を示す3次元画像データと、位置対応情報とを含むデータである。なお、以下では、説明の便宜上、2次元画像データを2D画像データとも称する。また、以下では、説明の便宜上、3次元画像データを3D画像データとも称する。
位置対応情報は、2次元画像内の全画素の各々について、2次元画像の画素の位置を示す2次元位置情報が、3次元画像内の対応する画素の位置を示す3次元位置情報に対応付けられた情報である。
図25に示す処理部186Aは、CPU162Aを、画像処理部182A及び表示制御部184として動作させるために必要な処理を行う。画像処理部182Aは、本開示の技術に係る「取得部」の一例である。また、画像処理部182A及び表示制御部184は、本開示の技術に係る「画像生成部」の一例である。
画像処理部182Aは、2次元画像及び3次元画像を取得する。表示制御部184Aは、2次元画像内の2次元変換対象領域が指定された場合、2次元変換対象領域を示す2次元変換対象領域画像を2次元画像上に重畳表示する。ここで、「2次元変換対象領域」は、本開示の技術に係る「領域」の一例であり、上述した「2次元変換対象領域画像」は、本開示の技術に係る「第1画像」の一例である。また、以下では、説明の便宜上、上述した2次元変換対象領域画像と後述の3次元変換対象領域画像とを区別して説明する必要がない場合、「変換対象領域画像」と称する。
そして、表示制御部184Aは、3次元画像内の2次元変換対象領域が対応する位置に合わせて2次元変換対象領域画像を変換した3次元加工画像を3次元画像に重畳表示する。このように、3次元画像内の2次元変換対象領域が対応する位置に合わせて2次元変換対象領域画像が変換されるので、3次元加工画像は、3次元画像内の2次元変換対象領域が対応する位置の幾何特性に合った画像になる。ここで言う「3次元加工画像」は、本開示の技術に係る「第2画像」の一例である。また、以下では、説明の便宜上、上述した2次元変換対象領域と後述の3次元変換対象領域とを区別して説明する必要がない場合、「変換対象領域」と称する。
なお、明細書において、「重畳表示」とは、一方の画像に対して他方の画像を重ねた表示を意味する他に、一方の画像の表示領域内に他方の画像を埋め込んだ表示も意味する。
表示制御部184Aは、第1既定条件又は第2既定条件を満足した場合に、回転表示を指示する回転表示指示信号をディスプレイ172Aに出力することで、3次元画像を回転表示させて3次元加工画像を視認可能な位置に表示させる。すなわち、換言すると、表示制御部184Aは、第1既定条件又は第2既定条件を満足した場合に、3次元加工画像を視認可能な位置に表示させるように、3次元画像を回転表示させる制御をディスプレイ172Aに対して行う。
なお、第1既定条件とは、3次元加工画像の大きさが閾値を超えたとの条件を指す。閾値とは、3次元加工画像を反映させた形態で3次元画像が表示された場合に、ユーザがディスプレイ172Aを通して、3次元加工画像の全貌を正面側から視認することができなくなる3次元加工画像の大きさの下限値として予め定められた値を指す。閾値は、実機による試験及び/又はコンピュータ・シミュレーション等によって得られた値である。ここで言う「3次元加工画像の大きさ」の概念には、3次元加工画像の面積及び長さの各々が含まれる。
また、第2既定条件とは、3次元加工画像の位置が所定範囲から外れたとの条件を指す。所定範囲とは、3次元加工画像を反映させた形態で3次元画像が表示された場合に、ユーザがディスプレイ172Aを通して、3次元加工画像の全貌を正面側から視認することができる範囲として予め定められた範囲を指す。所定範囲は、実機による試験及び/又はコンピュータ・シミュレーション等によって得られた範囲である。
一方、表示制御部184Aは、3次元画像内の3次元変換対象領域が指定された場合、3次元変換対象領域を示す3次元変換対象領域画像を3次元画像上に重畳表示する。ここで、「3次元変換対象領域」は、本開示の技術に係る「領域」の一例であり、上述した「3次元変換対象領域画像」は、本開示の技術に係る「第1画像」の一例である。
そして、表示制御部184Aは、2次元画像内の3次元変換対象領域が対応する位置に合わせて3次元変換対象領域画像を変換した2次元加工画像を2次元画像に重畳表示する。このように、2次元画像内の3次元変換対象領域が対応する位置に合わせて3次元変換対象領域画像が変換されるので、2次元加工画像は、2次元画像内の3次元変換対象領域が対応する位置の幾何特性に合った画像になる。ここで言う「2次元加工画像」は、本開示の技術に係る「第2画像」の一例である。
なお、以下では、説明の便宜上、上述した2次元加工画像と上述した3次元加工画像とを区別して説明する必要がない場合、「加工画像」と称する。また、以下では、説明の便宜上、2次元加工画像を示す信号を「2次元加工画像信号」と称し、3次元加工画像を示す信号を「3次元加工画像信号」と称する。また、以下では、「2次元加工画像信号」と「3次元加工画像信号」とを区別して説明する必要がない場合、「加工画像信号」と称する。また、以下では、2次元変換対象領域が指定される2次元画像を「指定対象2次元画像」と称し、3次元変換対象領域が指定される3次元画像を「指定対象3次元画像」と称する。「指定対象2次元画像」と「指定対象3次元画像」とを区別して説明する必要がない場合、「指定対象画像」と称する。
表示制御部184Aは、ディスプレイ172Aに対して2次元画像と3次元画像とを視覚的に対比可能に並べて表示させる。すなわち、換言すると、表示制御部184Aは、2次元画像と3次元画像とが視覚的に対比可能に並べてディスプレイ172Aに表示されるようにディスプレイ172Aを制御する。
表示制御部184Aは、2次元画像及び3次元画像の各々の表示面積を変更する変更指示が与えられた場合に、変更指示に応じて表示面積の変更を指示する変更指示信号をディスプレイ172Aに出力することで、ディスプレイ172Aに対して2次元画像及び3次元画像の各々の表示面積を変更させる。すなわち、換言すると、CPU162Aは、変更指示が与えられた場合に、ディスプレイ172A内で2次元画像及び3次元画像の各々の表示面積が変更されるようにディスプレイ172Aを制御する。
表示制御部184Aは、ディスプレイ172Aに対して2次元画像、3次元画像、及びOCT画像を視覚的に対比可能に並べて表示させる。すなわち、換言すると、表示制御部184Aは、ディスプレイ172Aに2次元画像、3次元画像、及びOCT画像が視覚的に対比可能に並べて表示されるようにディスプレイ172Aを制御する。
なお、OCT画像は、本開示の技術に係る断層画像の一例である。また、OCT画像信号とは、被検眼12のうちの加工画像に対応する位置に対するOCTによる撮影が行われて得られたOCT画像を示す信号を指す。また、変換対象領域が線状の場合、OCT画像は2次元OCT画像であり、変換対象領域が面状の場合、OCT画像は3次元OCT画像である。2次元OCT画像とは、眼科装置110によって所謂Bスキャンが行われて得られたBスキャン画像を指し、3次元OCT画像とは、例えば、眼科装置110によって所謂Cスキャンが行われて得られたCスキャン画像を指す。
表示制御部184Aは、OCT画像に対する拡大表示指示が与えられた場合に、拡大表示指示に応じてOCT画像の拡大表示を指示する拡大表示指示信号をディスプレイ172Aに出力することで、ディスプレイ172Aに対してOCT画像を拡大表示させる。すなわち、換言すると、表示制御部184Aは、OCT画像に対する拡大表示指示が与えられた場合に、ディスプレイ172AにOCT画像が拡大表示されるようにディスプレイ172Aを制御する。なお、OCT画像に対する拡大表示指示とは、ディスプレイ172Aに対してOCT画像を拡大して表示させる指示を指す。
表示制御部184Aは、加工画像信号をディスプレイ172Aに出力することで、加工画像の位置にレーザ照射位置マークが反映された形態で第2画像をディスプレイ172Aに対して表示させる。すなわち、換言すると、表示制御部184Aは、レーザ照射位置マークを反映させた形態で加工画像がディスプレイ172Aに表示されるようにディスプレイ172Aを制御する。レーザ照射位置マークは、画像処理部182Aによって生成される。なお、レーザ照射位置マークとは、手術用レーザの照射位置のパターンを指す。手術用レーザとは、被検眼12に対するレーザ手術で用いられるレーザを指す。
画像処理部182Aは、指定対象画像から血管領域又は無血管領域を検出する。本実施形態では、画像処理部182Aでの検出結果に基づいて血管領域が変換対象領域として指定される。本実施形態において、血管領域とは、新生血管領域を意味する。ここで、無血管領域とは、被検眼12の眼底において、無血管な領域又は血管が粗な領域を指す。血管領域又は無血管領域(AVA(avascular area))は、画像処理部182Aにより、第1画像から無灌流領域(NPA(Non Perfusion Area))が特定されることで検出される。なお、無灌流領域とは、眼底において、網膜毛細血管床の閉塞等により、血液が流れていない又は殆ど流れていない領域を指す。
図23に示すように、レーザ治療装置135は、管理サーバ140に比べ、制御ユニット160に代えて制御ユニット160Bを有する点、及び表示/操作ユニット170に代えて表示/操作ユニット170Bを有する点が異なる。
制御ユニット160Bは、図5に示す制御ユニット160に比べ、レーザ照射ユニット135Aを有する点が異なる。制御ユニット160Bは、レーザ照射ユニット135Aを有する点を除いて、基本的に図5に示す制御ユニット160と同様のハードウェア資源を有している。制御ユニット160Bにおいて、CPU162Bは、図5に示すCPU162に対応しており、メモリ164Bは、図5に示すメモリ164に対応しており、通信I/F166B、図5に示す通信I/F166に対応している。レーザ照射ユニット135Aは、CPU162Bに接続されており、CPU162Bの制御下で、手術用レーザを被検眼12の眼底に照射する。
表示/操作ユニット170Bは、基本的に図5に示す表示/操作ユニット170と同様のハードウェア資源を有している。表示/操作ユニット170Bにおいて、ディスプレイ172Bは、図5に示すディスプレイ172に対応しており、入力/指示デバイス174Bは、図5に示す入力/指示デバイス174に対応している。
次に、図7を参照して、眼科システム100の全体の動作を説明する。
最初に、眼科システム100は、患者の被検眼12の診断をするために、患者の被検眼12の基礎的な情報を収集する。具体的には、まず、眼科医の指示に従って、眼軸長測定装置120により患者の眼軸長が測定される。眼軸長測定装置120は、測定した眼軸長を患者IDと共に管理サーバ140に送信する。管理サーバ140は、患者IDに対応して眼軸長を、メモリ164に記憶する。なお、メモリ164には、患者各IDに対応して、患者の個人情報が記憶されている。個人情報には、患者の氏名、年齢、性別、及び視力等が含まれる。
また、眼科装置110の撮影装置14により患者の被検眼12が撮影され、UWFSLO眼底画像が取得される。眼科装置110は、取得したUWFSLO眼底画像を患者IDと共に管理サーバ140に送信する。管理サーバ140は、患者IDに対応させてUWFSLO眼底画像をメモリ164に記憶する。
ここで、眼科装置110を用いたUWFSLO眼底画像の取得について詳細に説明する。まず、オペレータが患者IDなどを、入力/表示装置16Eを介して、入力する。眼科装置110のCPU16Aの表示制御部204は入力/表示装置16Eのディスプレイに、患者情報とモード選択のための図示しないメニュー画面(SLOモードやOCTモード、各種設定モードなどを選択するメニュー画面)を表示する。オペレータがメニュー画面でSLOモードを選択すると、表示制御部204は、図18に示すビューワ用の2D/3D表示画面600を入力/表示装置16Eのディスプレイ172に表示させる。図18に示すように、2D/3D表示画面600は、患者情報表示欄502及び被検眼確認画面250を有する。また、2D/3D表示画面600は、左眼ボタン510、右眼ボタン512、メニューボタン518、OCT撮影ボタン602、及びOCT範囲設定ボタン604を有する。
患者情報表示欄502は、患者ID表示欄502A、患者氏名表示欄502B、年齢表示欄502C、性別表示欄502D、眼軸長表示欄502E、及び視力表示欄502Fを有する。表示制御部184Aは、管理サーバ140から、患者のID、患者の氏名、患者の年齢、患者の性別、患者の眼軸長、及び患者の視力のデータを取得する。表示制御部184Aは、取得したこれらのデータに基づく情報を、患者ID表示欄502A、患者氏名表示欄502B、年齢表示欄502C、性別表示欄502D、眼軸長表示欄502E、及び視力表示欄502Fに表示する。
左眼ボタン510は、眼底を撮影する眼が左眼であることを指定するためのボタンであり、右眼ボタン512は、眼底を撮影する眼が右眼であることを指定するためのボタンである。OCT撮影ボタン602は、OCT撮影を指示するためのボタンであり、OCT範囲設定ボタン604は、OCT撮影する撮影希望範囲を設定するためのボタンである。2D/3D表示画面600の被検眼確認画面250には、管理サーバ140から取得されたUWFSLO眼底画像400Sが表示されている。また、図18では、被検眼確認画面250にUWFSLO眼底画像400S1と横並びの位置に3次元画像400S2とが表示されている。なお、図18では、左眼のUWFSLO眼底画像400S1と左眼の3次元画像400S2が示されている。
次に、表示制御処理の実行開始の指示が画像ビューワ150の入力/指示デバイス174Aによって受け付けられた場合にCPU162Aが制御プログラムを実行することで実現される表示制御処理について図8を参照して説明する。
図8に示す表示制御処理では、先ず、ステップ298で、画像処理部182Aは、メモリ164Aから患者データを読み出す。
次のステップ300で、画像処理部182Aは、ステップ298の処理が実行されることでメモリ164Aから読み出された患者データから、SLO眼底画像及び3次元画像を取得する。本ステップ300で取得されるSLO眼底画像は、上述した指定対象2次元画像の一例であり、本ステップ300で取得される3次元画像は、上述した指定対象3次元画像の一例である。
次のステップ302で、表示制御部184Aは、上記ステップ300の処理が実行されることで得られたSLO眼底画像及び3次元画像に基づいて、ディスプレイ172Aに対して、本開示の技術に係る「表示画面」の一例である被検眼確認画面250を表示させ、その後、表示制御処理はステップ304へ移行する。なお、本第1実施形態では、被検眼確認画面250は、画像処理部182Aによって生成され、生成された被検眼確認画面250が表示制御部184Aの制御下でディスプレイ172Aに表示される。
図9に示すように、被検眼確認画面250は、表示画面分割ライン252を介して、本開示の技術に係る「2次元表示領域」の一例であるSLO眼底画像表示画面250Aと、本開示の技術に係る「3次元表示領域」の一例である3次元画像表示画面250Bとに大別される。
表示画面分割ライン252とは、SLO眼底画像表示画面250Aと3次元画像表示画面250Bとを横方向に並べて表示されるようにディスプレイ172Aの全画面を2分割する縦ラインを指す。すなわち、ディスプレイ172Aの全画面を2分割して得た一方の画面がSLO眼底画像表示画面250Aであり、他方の画面が3次元画像表示画面250Bである。図9では、SLO眼底画像表示画面250AにSLO眼底画像が表示され、3次元画像表示画面250Bに3次元画像が表示されている。
SLO眼底画像表示画面250Aの大きさと3次元画像表示画面250Bの大きさは可変であり、表示画面分割ライン252を左右方向に移動させることで、SLO眼底画像表示画面250Aの大きさと3次元画像表示画面250Bの大きさとが表示制御部184Aにより変更される。
本実施形態では、画像処理部182Aにより、2次元画像(以下、2D画像とも称する)が3次元画像(以下、3D画像とも称する)に変換され、3D画像が2D画像に変換される。すなわち、画像処理部182Aは、2D画像を示す2D画像データを眼球モデルに基づいて、3D画像を示す3D画像データに変換し、その逆変換で3D画像データから2D画像データを生成する。なお、2次元画像の3次元画像への変換方法は、米国特許8422750号に開示されている技術を利用することができる。
ステップ304で、処理部186Aは、入力/指示デバイス174Aによって予め定められた3つの指示のうちの1つの指示を受け付けたか否かを判定する。ここで、予め定められた3つの指示とは、指定部位観察指示、OCT撮影支援指示、及びレーザ照射支援指示を指す。指定部位観察指示とは、後述の指定部位観察処理の実行開始の指示を指す。OCT撮影支援指示とは、後述のOCT撮影支援処理の実行開始の指示を指す。レーザ照射支援指示とは、後述のレーザ照射支援処理の実行開始の指示を指す。
ステップ304において、入力/指示デバイス174Aによって予め定められた3つの指示のうちの1つの指示を受け付けていない場合は、判定が否定されて、表示制御処理はステップ310へ移行する。ステップ304において、入力/指示デバイス174Aによって予め定められた3つの指示のうちの1つの指示を受け付けた場合は、判定が肯定されて、表示制御処理はステップ306へ移行する。
ステップ306で、処理部186Aは、入力/指示デバイス174Aによって受け付けられた指示が指定部位観察指示か否かを判定する。ステップ306において、入力/指示デバイス174Aによって受け付けられた指示が指定部位観察指示でない場合は、判定が否定されて、ステップ306の判定が再び行われる。ステップ306において、入力/指示デバイス174Aによって受け付けられた指示が指定部位観察指示の場合は、判定が肯定されて、表示制御処理はステップ308へ移行する。
ステップ308で、CPU162Aは、図10に示す指定部位観察処理を実行し、その後、ステップ310へ移行する。
図10に示す指定部位観察処理では、先ず、ステップ308Aで、処理部186Aは、SLO眼底画像表示画面250Aに表示されているSLO眼底画像内で、2次元変換対象領域が指定されたか否かを判定する。ここで、2次元変換対象領域は、入力/指示デバイス174Aによって受け付けられた指示に応じて定まる。
なお、ここでは、入力/指示デバイス174Aによって受け付けられた指示に応じて2次元変換対象領域が定まる形態例を挙げているが、本開示の技術はこれに限定されない。SLO眼底画像から血管領域又は無血管領域が画像処理部182Aにより検出され、画像処理部182Aでの検出結果に基づいて血管領域が2次元変換対象領域として指定されるようにしてもよい。また、画像処理部182Aにより新生血管領域が検出され、検出された新生血管領域が2次元変換対象領域として指定されるようにしてもよい。
図11A1では、2次元変換対象領域が指定され、指定された2次元変換対象領域を示す2次元変換対象領域画像250A1が指定された態様が示されている。図11A1に示すように、SLO眼底画像内において2次元変換対象領域画像250A1が指定されると、2次元変換対象領域画像250A1がSLO眼底画像上に重畳表示され、かつ、他の画像領域と区別可能に強調表示される。図11A1では、2次元変換対象領域画像250A1の輪郭が破線で表示されることで、他の画像領域と区別可能な強調表示を実現している。
ステップ308Aにおいて、SLO眼底画像表示画面250Aに表示されているSLO眼底画像内で、2次元変換対象領域が指定された場合は、判定が肯定されて、指定部位観察処理はステップ308Bへ移行する。ステップ308Aにおいて、SLO眼底画像表示画面250Aに表示されているSLO眼底画像内で、2次元変換対象領域が指定されていない場合は、判定が否定されて、指定部位観察処理はステップ308Eへ移行する。
ステップ308Bで、画像処理部182Aは、第1変換テーブルを作成し、その後、指定部位関観察処理はステップ308Cへ移行する。ここで、第1変換テーブルとは、ステップ308Aの処理で指定された2次元変換対象領域画像の各画素に関する2次元位置情報と、3次元画像内のうちの対応する各画素に関する3次元位置情報との対応関係を示すテーブルを指す。第1変換テーブルは、患者データに含まれる位置対応情報から、ステップ308Aの処理で指定された2次元変換対象領域画像の各画素に対応する位置対応情報を抽出することによって作成される。
ステップ308Cで、画像処理部182Aは、ステップ308Aの処理で指定された2次元変換対象領域画像の各画素に関する2次元位置情報を、ステップ308Bの処理で作成した第1変換テーブルに従って、3次元位置情報に変換し、その後、指定部位観察処理はステップ308Dへ移行する。
ステップ308Dで、表示制御部184Aは、3次元加工画像を示す3次元加工画像信号をディスプレイ172Aに出力し、その後、指定部位観察処理は終了する。ここで、3次元加工画像信号は、画像処理部182Aによって生成される。3次元加工画像信号としては、2次元変換対象領域画像250A1を3次元変換した3次元画像を示す信号が挙げられる。
換言すると、3次元加工画像信号は、ステップ308Aで指定された2次元変換対象領域を示す2次元変換対象領域画像を、ステップ300で取得された3次元画像内の対応する位置の幾何特性に合わせて変換して得た3次元加工画像を示す信号である。3次元加工画像は、3次元画像表示画面250Bに表示されている3次元画像のうち、上記のステップ308Cの処理が実行されることで得られた3次元位置情報により特定される各画素で形成された画像である。
また、ステップ308Dの処理が実行されることで、3次元加工画像信号が表示制御部184Aによってディスプレイ172Aに出力されると、ディスプレイ172Aは、3次元加工画像が反映された形態で3次元画像を表示する。換言すると、CPU162Aは、ステップ308Dの処理を実行することで、3次元加工画像を反映させた形態の3次元画像がディスプレイ172Aに表示されるようにディスプレイ172Aを制御する。
すなわち、SLO眼底画像内において2次元変換対象領域が指定された場合に、3次元画像内の2次元変換対象領域画像が対応する位置に合わせて2次元変換対象画像を変換した画像が3次元画像に重畳表示される。
図11A1では、2次元変換対象領域画像250A1の各画素に関する2次元画像情報に対応する3次元位置情報により特定された3次元加工画像250B1の輪郭が破線で表示されている。このように3次元加工画像250B1の輪郭が破線で表示されることで、3次元画像内において3次元加工画像250B1が他の領域と区別可能に表示される。換言すると、2次元変換対象領域画像250A1がジオメトリー変換されて得られた3次元加工画像250B1が3次元画像内で他の領域と区別可能に表示される。
また、図11A1に示すように、2次元変換対象領域画像250A1が矩形の場合、眼科装置110によってOCTボリュームデータが取得される。そして、OCTボリュームデータは、眼科装置110から管理サーバ140を介して画像ビューワ150の画像処理部182Aによって取得される。画像処理部182Aによって取得されたOCTボリュームデータは、画像処理部182Aによって各種画像処理が施される。各種画像処理が施されたOCTボリュームデータは、表示制御部184Aによってディスプレイ172Aに出力され、ディスプレイ172Aに網膜の3D画像が表示される。ここで言う「OCTボリュームデータ」とは、図11A2に示すように、いわゆるCスキャン画像である3次元OCT画像259を指す。
なお、ここでは、説明の便宜上、2次元変換対象領域画像250A1が矩形である場合を例示したが、本開示の技術はこれに限定されない。SLO眼底画像に対して、台形状又は円形状等の面状の領域が指定された場合に、3次元OCT画像が眼科装置110によって取得され、3次元OCT画像がディスプレイ172Aに表示されるようにすればよい。
ステップ308A~308Dの処理が実行されると、2次元変換対象領域画像が3次元画像内の対応する位置の幾何特性に合わせて変換され、互いに関連する2次元変換対象領域画像と3次元加工画像とが対比可能な状態でディスプレイ172Aに並べて表示される。
また、ユーザによって指定された2次元変換対象領域を示す2次元変換対象領域画像の態様としては、図11B1に示す線状の2次元変換対象領域画像250A3が挙げられる。図11B1では、3次元画像表示画面250Bに、2次元変換対象領域画像250A3に対応する線状の3次元加工画像250B3が表示されている。なお、図11Cでは、図11B1に示す例よりも線分を長くした2次元変換対象領域画像250A3と、図11B1に示す例よりも線分を長くした3次元加工画像250B3が示されている。
また、線状の2次元変換対象領域がユーザによって指定されると、指定された線状の2次元変換対象領域を示す2次元変換対象領域画像250A3に基づいて、いわゆるBスキャン画像である2次元OCT画像が眼科装置110によって取得される。そして、2次元OCT画像は、眼科装置110から管理サーバ140を介して画像ビューワ150の画像処理部162によって取得される。画像ビューワ150の画像処理部162によって取得された2次元OCT画像は、画像ビューワ150の画像処理部162によって各種画像処理が施される。各種画像処理が施された2次元OCT画像は、表示制御部184Aによってディスプレイ172Aに出力され、ディスプレイ172Aに、図11B2に示すように、網膜の断層画像が表示される。
なお、図11B1に示す3次元画像表示画面250Bに3次元画像が表示されている状態で、画像ビューワ150の入力/指示デバイス174Aによってユーザからの指示が受け付けられると、ディスプレイ172Aにプルダウンメニューが表示される。プルダウンメニューには、「回転」というメニューが含まれており、ユーザが入力/指示デバイス174Aを介して、「回転」というメニューを選択することで、入力/指示デバイス174に含まれるマウスによるドラッグ操作により3次元画像を回転させることが可能となる。なお、3次元画像表示画面250B内での3次元画像の回転は、表示制御部184Aが入力/指示デバイス174Aによって受け付けられた指示に応じてディスプレイ172Aを制御することによって実現される。
また、2次元OCT画像は、SLO眼底画像及び3次元画像と並べて表示されるようにしてもよい。図14Aでは、被検眼確認画面260が示されている。被検眼確認画面260は、上述した被検眼確認画面250とOCT画像表示画面260Cとが組み合わされた画面である。すなわち、被検眼確認画面260は、SLO眼底画像表示画面250Aと、3次元画像表示画面250Bと、OCT画像表示画面260Cとに大別される。図14Aでは、縦分割ラインである表示画面分割ライン252と横分割ライン264とによってディスプレイ172の全画面が3分割されている。
図14Aでは、表示画面分割ライン252を横方向に跨いで、SLO眼底画像表示画面250Aと3次元画像表示画面250Bとが配置されている。SLO眼底画像表示画面250にはSLO眼底画像が表示され、3次元画像表示画面250Bには3次元画像が表示されている。また、図14Aでは、横分割ライン264を縦方向に跨いで、下側に、被検眼確認画面250が表示され、上側に、OCT画像表示画面260Cが表示されている。OCT画像表示画面260Cには、最新のBスキャン画像、すなわち、画像ビューワ150の画像処理部162によって取得された最新のOCT画像信号により示されるOCT画像が表示されている。
なお、図14Aでは、OCT画像表示画面260CにBスキャン画像が表示されているが、本開示の技術はこれに限定されない。図11A1に示すように、2次元変換対象領域画像250A1又は3次元変換対象領域画像250B2が面状の場合、OCT画像表示画面260Cに、Bスキャン画像に代えて、2次元変換対象領域画像250A1又は3次元変換対象領域画像250B2に対応する網膜の3D画像として、3次元OCT画像259(図11A2参照)が表示されるようにしてもよい。
また、表示制御部184Aは、画像ビューワ150の入力/指示デバイス174によって受け付けられた指示に応じて、ディスプレイ172Aに対して、OCT画像を拡大して表示させるようにしてもよい。なお、図14Bでは、OCT画像表示画面260Cが拡大されることで、OCT画像が拡大して表示されている。
このように、画像ビューワ150が、ディスプレイ172Aに対してOCT画像を表示させることで、医者は、被検眼12の問題があると判断した箇所のOCT画像を確認し、被検眼12を診察することが可能となる。また、画像ビューワ150が、SLO眼底画像と3次元画像とOCT画像とを視覚的に対比可能に並べてディスプレイ172Aに表示させることで、医者は、被検眼12のどの部分のOCT画像が表示されているのかを容易に特定することができる。
なお、SLO眼底画像と3次元画像とOCT画像とがディスプレイ172Aに並べて表示される他の態様としては、図15Aに示す態様が挙げられる。図15Aでは、SLO眼底画像表示画面266Aと3次元画像表示画面266BとOCT画像表示画面266Cとがディスプレイ172Aの横方向に一列に並んで表示されている。また、図15Aでは、SLO眼底画像表示画面266Aがディスプレイ172Aの中央部に表示され、SLO眼底画像表示画面266Aを挟んでOCT画像表示画面266Cと3次元画像表示画面266Bとが表示されている。
SLO眼底画像表示画面266Aには、SLO眼底画像が表示され、かつ、SLO眼底画像内に、OCTのBスキャン位置として線状の2次元変換対象領域画像268が表示されている。3次元画像表示画面266Bには、3次元画像が表示され、かつ、3次元画像内に、2次元変換対象領域画像268に対応する3次元加工画像270が表示されている。OCT画像表示画面266Cには、被検眼12のうち、3次元加工画像270に対応する位置のBスキャン画像である2次元OCT画像が表示されている。
また、図15Bでは、SLO眼底画像表示画面269Aと3次元画像表示画面269BとOCT画像表示画面269Cとがディスプレイ172Aの横方向に一列に並んで表示されている。また、図15Bでは、SLO眼底画像表示画面269Aがディスプレイ172Aの中央部に表示され、SLO眼底画像表示画面269Aを挟んでOCT画像表示画面269Cと3次元画像表示画面269Bとが表示されている。
SLO眼底画像表示画面269Aには、SLO眼底画像が表示され、かつ、SLO眼底画像内に、OCTのCスキャン位置として矩形状の2次元変換対象領域画像272が表示されている。3次元画像表示画面269Bには、3次元画像が表示され、かつ、3次元画像内に、2次元変換対象領域画像268に対応する面状の3次元加工画像274が表示されている。OCT画像表示画面266Cには、被検眼12のうち、3次元加工画像274に対応する位置のCスキャン画像である3次元OCT画像が表示されている。
ステップ308Eで、処理部186Aは、3次元画像表示画面250Bに表示されている3次元画像内で、3次元変換対象領域が指定されたか否かを判定する。ここで、3次元変換対象領域は、入力/指示デバイス174Aによって受け付けられた指示に応じて定まる。
なお、ここでは、入力/指示デバイス174Aによって受け付けられた指示に応じて3次元変換対象領域が定まる形態例を挙げているが、本開示の技術はこれに限定されない。SLO眼底画像から血管領域又は無血管領域が画像処理部182Aにより検出され、画像処理部182Aでの検出結果に基づいて血管領域が3次元変換対象領域として指定されるようにしてもよい。また、画像処理部182Aにより新生血管領域が検出され、検出された新生血管領域が3次元変換対象領域として指定されるようにしてもよい。
図11A1では、3次元変換対象領域が指定され、指定された3次元変換対象領域を示す3次元変換対象領域画像250B2が指定された態様が示されている。図11A1に示すように、3次元画像内において3次元変換対象領域250B2が指定されると、3次元変換対象領域画像250B2が3次元画像上に重畳表示され、かつ、他の画像領域と区別可能に強調表示される。図11A1では、3次元変換対象領域250B2の輪郭が一点鎖線で表示されることで、他の画像領域と区別可能な強調表示を実現している。
ステップ308Eにおいて、3次元画像表示画面250Bに表示されている3次元画像内で、3次元変換対象領域が指定された場合は、判定が肯定されて、指定部位観察処理はステップ308Fへ移行する。ステップ308Eにおいて、3次元画像表示画面250Bに表示されている3次元画像内で、3次元変換対象領域が指定されていない場合は、判定が否定されて、指定部位観察処理はステップ308Iへ移行する。
また、図11A1に示すように、3次元変換対象領域250B2が矩形の場合、眼科装置110によってOCTボリュームデータが取得される。そして、OCTボリュームデータは、眼科装置110から管理サーバ140を介して画像ビューワ150の画像処理部162によって取得される。画像ビューワ150の画像処理部162によって取得されたOCTボリュームデータは、画像ビューワ150の画像処理部162によって各種画像処理が施される。各種画像処理が施されたOCTボリュームデータは、表示制御部184Aによってディスプレイ172Aに出力され、図11A2に示すように、ディスプレイ172Aに網膜の3D画像が表示される。
なお、ここでは、説明の便宜上、3次元変換対象領域画像250B2が矩形である場合を例示したが、本開示の技術はこれに限定されない。SLO眼底画像に対して、台形状又は円形状等の面状の領域が指定された場合に、3次元OCT画像が眼科装置110によって取得され、3次元OCT画像がディスプレイ172Aに表示されるようにすればよい。
ステップ308Fで、画像処理部182Aは、第2変換テーブルを作成し、その後、指定部位関観察処理はステップ308Gへ移行する。ここで、第2変換テーブルとは、ステップ308Eの処理で指定された3次元変換対象領域画像の各画素に関する3次元位置情報と、SLO眼底画像内のうちの対応する各画素に関する2次元位置情報との対応関係を示すテーブルを指す。第2変換テーブルは、患者データに含まれる位置対応情報から、ステップ308Eの処理で指定された3次元変換対象領域画像の各画素に対応する位置対応情報を抽出することによって作成される。
ステップ308Gで、画像処理部182Aは、ステップ308Eの処理で指定された3次元変換対象領域画像の各画素に関する3次元位置情報を、ステップ308Fの処理で作成した第2変換テーブルに従って、2次元位置情報に変換し、その後、指定部位観察処理はステップ308Hへ移行する。
ステップ308Hで、表示制御部184Aは、2次元加工画像を示す2次元加工画像信号をディスプレイ172Aに出力し、その後、指定部位観察処理は終了する。ここで、2次元加工画像信号は、画像処理部182Aによって生成される。2次元加工画像信号としては、3次元変換対象領域画像250B2を2次元変換した2次元画像を示す信号が挙げられる。
換言すると、2次元加工画像信号は、ステップ308Eで指定された3次元変換対象領域を示す3次元変換対象領域画像を、ステップ300の処理で取得されたSLO眼底画像内の対応する位置の幾何特性に合わせて変換して得た2次元加工画像を示す信号である。2次元加工画像は、SLO眼底画像表示画面250Aに表示されているSLO眼底画像のうち、上記のステップ308Gの処理が実行されることで得られた2次元位置情報により特定される各画素で形成された画像である。
また、ステップ308Hの処理が実行されることで、2次元加工画像信号が表示制御部184Aによってディスプレイ172Aに出力されると、ディスプレイ172Aは、2次元変換後画像が反映された形態でSLO眼底画像を表示する。換言すると、CPU162は、ステップ308Hの処理を実行することで、2次元変換後画像を反映させた形態のSLO眼底画像がディスプレイ172Aに表示されるようにディスプレイ172Aを制御する。
すなわち、3次元画像内において3次元変換対象領域が指定された場合に、2次元画像内の3次元変換対象領域が対応する位置に合わせて3次元変換対象画像を変換した画像がSLO眼底画像に重畳表示される。
図11A1では、3次元変換対象領域250B2の各画素に関する3次元画像情報に対応する2次元位置情報により特定された2次元加工画像250A2の輪郭が一点鎖線で表示されている。このように2次元変換後画像250A2の輪郭が一点鎖線で表示されることで、SLO眼底画像内において2次元加工画像250A2が他の領域と区別可能に表示される。換言すると、3次元変換対象領域画像250B2がジオメトリー変換されて得られた2次元加工画像250A2がSLO眼底画像内で他の領域と区別可能に表示される。
ステップ308E~308Hの処理が実行されると、3次変換対象領域画像がSLO眼底画像内の対応する位置の幾何特性に合わせて変換され、互いに関連する3次元変換対象領域と2次元加工画像とが対比可能な状態でディスプレイ172Aに並べて表示される。
ステップ308Iで、処理部186Aは、入力/指示デバイス174によって、上述した変更指示が受け付けられたか否かを判定する。本ステップ308Iにおいて、変更指示は、表示画面分割ライン252をSLO眼底画像表示画面250A及び3次元画像表示画面250Bのうちの一方の側から他方の側へ移動させることで実現される。
ステップ308Iにおいて、入力/指示デバイス174によって、変更指示を受け付けられていない場合は、判定が否定されて、指定部位観察処理はステップ308Aへ移行する。ステップ308Iにおいて、入力/指示デバイス174によって変更指示を受け付けられた場合は、判定が肯定されて、指定部位観察処理はステップ308Jへ移行する。
ステップ308Jで、表示制御部184Aは、変更指示信号をディスプレイ172Aに出力し、その後、指定部位観察処理は終了する。変更指示信号がディスプレイ172に出力されると、ディスプレイ172Aでは、SLO眼底画像及び3次元画像の各々の表示面積が変更される。換言すると、CPU162は、ステップ308Jの処理を実行することで、入力/指示デバイス174によって受け付けられた変更指示に従って、SLO眼底画像及び3次元画像の各々の表示面積(表示領域の面積)が変更されるようにディスプレイ172Aを制御する。
具体的には、図12Aに示すように、表示画面分割ライン252をSLO眼底画像表示画面250A側から3次元画像表示画面250B側へ移動させると、ディスプレイ172Aは、SLO眼底画像を拡大して表示し、3次元画像を縮小して表示する。図12Aでは、ディスプレイ172Aは、SLO眼底画像表示画面250Aの面積が増大する一方で、SLO眼底画像表示画面250Aの面積が増大した分だけ3次元画像表示画面250Bの面積は減少する。ディスプレイ172Aは、SLO眼底画像表示画面250Aの面積の増大に応じてSLO眼底画像表示画面250A内のSLO眼底画像の面積を増大させて表示する。また、ディスプレイ172Aは、3次元画像表示画面250Bの面積の減少に応じて3次元画像表示画面250B内の3次元画像の面積を減少させて表示する。
すなわち、換言すると、ディスプレイ172Aは、SLO眼底画像表示画面250Aの表示面積を大きくすることでSLO眼底画像を拡大して表示し、かつ、3次元画像表示画面250Bの表示面積を小さくすることで3次元画像を縮小して表示する。
また、図12Bに示すように、表示画面分割ライン252を3次元画像表示画面250B側からSLO眼底画像表示画面250A側へ移動させると、ディスプレイ172Aは、3次元画像を拡大して表示し、SLO眼底画像を縮小して表示する。図12Bでは、ディスプレイ172Aは、3次元画像表示画面250Bの面積が増大する一方で、3次元画像表示画面250Bの面積が増大した分だけSLO眼底画像表示画面250Aの面積は減少する。ディスプレイ172Aは、3次元画像表示画面250Bの面積の増大に応じて3次元画像表示画面250B内の3次元画像の面積を増大させて表示する。また、ディスプレイ172Aは、SLO眼底画像表示画面250Aの面積の減少に応じてSLO眼底画像表示画面250A内のSLO眼底画像の面積を減少させて表示する。
すなわち、換言すると、ディスプレイ172Aは、3次元画像表示画面250Bの表示面積を大きくすることで3次元画像を拡大して表示し、かつ、SLO眼底画像表示画面250Aの表示面積を小さくすることでSLO眼底画像を縮小して表示する。
このように、CPU162Aは、ステップ308Jの処理を実行することで、画像ビューワ150の入力/指示デバイス174Aによって受け付けられた変更指示に従って、SLO眼底画像及び3次元画像の各々の表示面積が変更されるようにディスプレイ172Aを制御する。
一方、図8に示す表示制御処理では、ステップ312で、処理部186Aは、入力/指示デバイス174Aによって受け付けられた指示がOCT撮影支援指示か否かを判定する。ステップ312において、画像入力/指示デバイス174Aによって受け付けられた指示がOCT撮影支援指示でない場合は、判定が否定されて、表示制御処理はステップ316へ移行する。ステップ312において、入力/指示デバイス174Aによって受け付けられた指示がOCT撮影支援指示の場合は、判定が肯定されて、表示制御処理はステップ314へ移行する。
ステップ314で、処理部186Aは、ユーザにより画像ビューワ150の入力/指示デバイス174Aを介して、OCTによる撮影位置が指定されると、撮影位置を示す撮影位置情報を眼科装置110に送信する。
ステップ316で、処理部186Aは、入力/指示デバイス174Aによって受け付けられた指示がレーザ照射支援指示か否かを判定する。ステップ316において、入力/指示デバイス174Aによって受け付けられた指示がレーザ照射支援指示でない場合は、判定が否定されて、表示制御処理はステップ312へ移行する。ステップ316において、入力/指示デバイス174Aによって受け付けられた指示がレーザ照射支援指示の場合は、判定が肯定されて、表示制御処理はステップ318へ移行する。
ステップ318で、処理部186Aは、ユーザにより入力/指示デバイス174Aを介して、レーザ治療装置135によるレーザの照射先が指定されると、レーザの照射先の位置を示すレーザ照射位置情報をディスプレイ172A及びレーザ治療装置135のうちの少なくとも一方に出力する。なお、レーザ照射位置情報の出力先は、入力/指示デバイス174Aによって受け付けられた指示に応じて定められる。
レーザ照射位置情報がディスプレイ172Aに出力されると、図13に示すように、ディスプレイ172Aは、レーザ照射位置マーク280を表示する。レーザ照射位置マーク280は、2次元変換対象領域画像の位置に相当する位置と3次元加工画像の位置に相当する位置との各々に対して付与され、レーザ治療装置135によるレーザの照射先の目印となる。図13において、SLO眼底画像表示画面250A内のレーザ照射位置マーク280、及び3次元画像表示画面250B内のレーザ照射位置マーク280は、本開示の技術に係る「第2領域を示すマーク」の一例である。
ディスプレイ172Aでは、レーザ照射位置マーク280が2次元変換対象領域画像の位置に相当する位置と3次元加工画像の位置に相当する位置との各々に重畳表示される。そして、このように2次元変換対象領域画像の位置に相当する位置と3次元加工画像の位置に相当する位置との各々にレーザ照射位置マーク280が重畳表示された形態でSLO眼底画像及び3次元画像がディスプレイ172Aに対比可能に並べて表示される。
すなわち、CPU162Aは、ステップ318の処理を実行することで、2次元変換対象領域画像の位置に相当する位置と3次元加工画像の位置に相当する位置との各々にレーザ照射位置マーク280を反映させた形態でSLO眼底画像及び3次元画像が表示されるようにディスプレイ172Aを制御する。
なお、図13では、被検眼12に対するレーザ手術中の被検眼12を示すSLO眼底画像である術中2次元眼底画像が表示されている。また、図13では、被検眼12に対するレーザ手術中の被検眼12を示す3次元画像である術中3次元画像が表示されている。これにより、画像ビューワ150は、ユーザに対してレーザ手術中の被検眼12の態様を高精度に把握させることができる。
しかし、本開示の技術はこれに限定されない。被検眼12の眼底に対するレーザ手術後の被検眼12を示すSLO眼底画像である術後2次元眼底画像が表示され、被検眼12に対するレーザ手術後の被検眼12を示す3次元画像である術後3次元画像が表示されるようにしてもよい。この場合、画像ビューワ150は、ユーザに対してレーザ手術後の被検眼12の眼底の状態を高精度に把握させることができる。
レーザ照射位置情報がレーザ治療装置135に出力されると、レーザ治療装置135は、レーザ照射位置情報により示される位置にレーザを照射する。
なお、上記第1実施形態では、SLO眼底画像又は3次元画像のうち、ユーザによって指定される領域として、被検眼12の眼底内の領域に相当する領域を例に挙げて説明したが、本開示の技術はこれに限定されない。3次元画像内の複数の箇所がユーザによって指定され、被検眼12のうち、ユーザによって指定された複数の箇所の各々に対応する各箇所に対して、OCTによる撮影が行われるようにしてもよい。図16では、ディスプレイ172Aに被検眼確認画面286が表示されている。被検眼確認画面286は、3次元画像表示画面286Aと、第1OCT画像表示画面286Bと、第2OCT画像表示画面286Cとを有する画面である。3次元画像表示画面286Aには、3次元画像が表示され、かつ、3次元画像のうち、被検眼12の前眼部を示す前眼部画像領域と被検眼12の後眼部を示す後眼部画像領域との各々に対して線状の3次元変換対象領域284A,284Bが表示されている。
第1OCT画像表示画面286Bには、被検眼12の前眼部のうち、3次元変換対象領域284Aに対応する位置に対してOCTによる撮影が行われることによって得られたBスキャン画像である2次元OCT画像が表示されている。第2OCT画像表示画面286Cには、被検眼12の後眼部である網膜のうち、3次元変換対象領域284Aに対応する位置に対してOCTによる撮影が行われることによって得られたBスキャン画像である2次元OCT画像が表示されている。
なお、図16では、3次元画像に各々対応する2次元前眼部画像及びSLO眼底画像と、3次元変換対象領域画像284A,284Bの各々に対応する2次元加工画像は表示されていない。しかし、本開示の技術はこれに限定されない。3次元画像の各々対応する2次元前眼部画像及びSLO眼底画像と、3次元変換対象領域画像284A,284Bの各々に対応する2次元加工画像とが、3次元画像と2次元OCT画像と共にディスプレイ172に並べて表示されるようにしてもよい。
また、3次元変換対象領域画像284A,284Bを含む3次元画像、2次元加工画像を含むSLO眼底画像、及び、3次元変換対象領域画像284A,284Bの各々に対応する2次元OCT画像のうち、指定された画像が拡大されて表示されるようにしてもよい。
以上説明したように、本第1実施形態では、画像処理部182AによりSLO眼底画像及び3次元画像が取得される。そして、取得されたSLO眼底画像及び3次元画像のうちのSLO眼底画像がディスプレイ172Aに表示された状態で2次元変換対象領域が指定された場合、取得されたSLO眼底画像及び3次元画像のうちの3次元画像内の2次元変換対象領域画像が対応する位置に合わせて2次元変換対象領域画像を変換した3次元加工画像が3次元画像に重畳表示される。従って、画像ビューワ150は、被検眼内の注目部位をユーザに対して高精度に把握させることができる。
また、本第1実施形態では、画像処理部182Aにより取得されたSLO眼底画像及び3次元画像のうちの3次元画像がディスプレイ172Aに表示された状態で3次元変換対象領域が指定された場合、SLO眼底画像内の3次元変換対象領域画像が対応する位置に合わせて3次元変換対象領域画像を変換した2次元加工画像がSLO眼底画像に重畳表示される。従って、画像ビューワ150は、被検眼内の注目部位をユーザに対して高精度に把握させることができる。
また、本第1実施形態では、表示制御部184Aは、2次元加工画像が重畳表示されたSLO眼底画像をディスプレイ172Aに表示させる。これにより、画像ビューワ150は、ユーザに対して、SLO眼底画像内での2次元加工画像の位置を容易に把握させることができる。
また、本第1実施形態では、表示制御部184Aは、3次元加工画像が重畳表示された3次元画像をディスプレイ172Aに表示させる。これにより、画像ビューワ150は、ユーザに対して、3次元画像内での3次元加工画像の位置を容易に把握させることができる。
また、本第1実施形態では、表示制御部184Aは、上述した第1既定条件又は第2既定条件を満足した場合に、回転表示を指示する回転表示指示信号をディスプレイ172Aに出力することで、3次元画像を回転表示させて3次元加工画像を視認可能な位置に表示させる。これにより、画像ビューワ150は、3次元画像内での3次元加工画像の大きさ又は位置に拘わらず、ユーザに対して、被検眼内の指定された部位の全貌を容易に把握させることができる。
また、本第1実施形態では、表示制御部184Aは、ディスプレイ172Aに対して2次元画像と3次元画像とを視覚的に対比可能に並べて表示させる。これにより、画像ビューワ150は、ユーザに対して被検眼内の注目部位(特に眼底)を高精度に把握させることができる。
また、本第1実施形態では、表示制御部184Aは、変更指示が与えられた場合に、変更指示信号をディスプレイ172Aに出力することで、ディスプレイ172Aに対して2次元画像及び3次元画像の各々の表示面積を変更する。これにより、画像ビューワ150は、ユーザの要求に応じた表示面積で2次元画像及び3次元画像をディスプレイ172Aに対して表示させることができる。
また、本第1実施形態では、表示制御部184Aは、ディスプレイ172Aに対して2次元画像、3次元画像、及びOCT画像を視覚的に対比可能に並べて表示させる。これにより、画像ビューワ150は、ユーザに対して被検眼内の注目部位を高精度に把握させることができる。
また、本第1実施形態では、表示制御部184Aは、拡大表示指示が与えられた場合に、拡大表示指示信号をディスプレイ172Aに出力することで、ディスプレイ172Aに対してOCT画像を拡大表示させる。これにより、画像ビューワ150は、ユーザに対して、被検眼内の指定された部位の全貌を、OCT画像を通して容易に把握させることができる。
また、本第1実施形態では、変換対象領域が線状の場合、2次元OCT画像がディスプレイ172Aに表示され、変換対象領域が面状の場合、3次元OCT画像がディスプレイ172Aに表示される。これにより、画像ビューワ150は、簡単な操作で2次元OCT画像と3次元OCT画像とを選択的にユーザに対して提示することができる。
また、本第1実施形態では、表示制御部184Aが、2次元加工画像信号をディスプレイ172Aに出力することで、2次元加工画像の位置に相当する位置にレーザ照射位置マークが反映された形態でSLO眼底画像をディスプレイ172Aに対して表示させる。これにより、画像ビューワ150は、手術用レーザが照射される位置をユーザに対して高精度に把握させることができる。
また、本第1実施形態では、表示制御部184Aが、3次元加工画像信号をディスプレイ172Aに出力することで、3次元加工画像の位置に相当する位置にレーザ照射位置マークが反映された形態で3次元画像をディスプレイ172Aに対して表示させる。これにより、画像ビューワ150は、手術用レーザが照射される位置をユーザに対して高精度に把握させることができる。
また、本第1実施形態では、SLO眼底画像及び/又は3次元画像から血管領域又は無血管領域が画像処理部182Aにより検出され、画像処理部182Aでの検出結果に基づいて血管領域が変換対象領域として指定される。これにより、画像ビューワ150は、ユーザに対して病変部の位置を高精度に把握させることができる。
また、本第1実施形態では、画像処理部182Aにより新生血管領域が検出され、検出された新生血管領域が変換対象領域として指定される。これにより、画像ビューワ150は、ユーザに対して病変部の位置を高精度に把握させることができる。
また、本第1実施形態では、第1画像の複数個所の各々が変換対象領域として指定された場合、指定された変換対象領域の各々について加工画像が生成される。これにより、画像ビューワ150は、ユーザに対して複数の注目箇所の位置を高精度に把握させることができる。
更に、本第1実施形態では、被検眼12のうちの前眼部と後眼部とを含む複数個所の各々が変換対象領域として指定された場合、指定された変換対象領域の各々について加工画像が生成される。これにより、画像ビューワ150は、ユーザに対して被検眼12のうちの前眼部及び後眼部の各々の注目箇所の位置を高精度に把握させることができる。
なお、上記第1実施形態では、眼科装置110の係員が、線状の変換対象領域の場合に、SLO眼底画像内の線状の変換対象領域と3次元画像内の線状の変換後画像とを参照しながら、2次元OCT画像が生成されるように、眼科装置110に対してOCTによる撮影の設定を行う。また、面状の変換対象領域の場合に、SLO眼底画像内の面状の変換対象領域と3次元画像内の面状の変換後画像とを参照しながら、3次元OCT画像が得られるように、眼科装置110に対してOCTによる撮影の設定を行う。
しかし、本開示の技術はこれに限定されない。上述した変換対象領域又は変換後画像の各画素に対応付けられた(φX,φY)に従ってOCTによる撮影で信号光が走査されるようにCPU16AがOCTユニット20及び撮影光学系19を制御することで2次元又は3次元OCT画像が得られるようにしてもよい。この場合、2次元OCT画像又は3次元OCT画像を得るために要する係員の手間を軽減することができる。すなわち、医師は、診察室で画像ビューワ150を通して変換対象領域を指定すれば、眼科装置110により、指定した変換対象領域に対応する箇所のOCTによる撮影が実行される。これにより、医師は、被検眼12の眼底内で、自身が要求した箇所に対するOCTによる撮影により得られたOCT画像を得ることができる。つまり、医師は、診察室内で画像ビューワ150を通して線状の変換対象領域を指定すれば2次元OCT画像を得ることができ、面状の変換対象領域を指定すれば3次元OCT画像が得ることができる。
また、上記各実施形態では、SLO眼底画像内において2次元変換対象領域が指定された場合に、3次元画像内の2次元変換対象領域が対応する位置に合わせて2次元変換対象画像を変換した画像が3次元画像に重畳表示される形態例(図10に示すステップ308A~ステップ308D)を挙げて説明したが、本開示の技術はこれに限定されない。2次元変換対象領域が重畳されたSLO眼底画像が3次元に変換された3次元画像が生成され、生成された3次元画像が表示されるようにしてもよい。この場合も、上記各実施形態と同様の効果を得ることができる。
また、上記第1実施形態では、3次元画像内において3次元変換対象領域が指定された場合に、SLO眼底画像内の3次元変換対象領域が対応する位置に合わせて3次元変換対象画像を変換した画像が2次元画像に重畳表示される形態例(図10に示すステップ308E~ステップ308H)を挙げて説明したが、本開示の技術はこれに限定されない。例えば、3次元変換対象領域が重畳された3次元画像が2次元に変換された2次元画像が生成され、生成された3次元画像が表示されるようにしてもよい。この場合も、上記各実施形態と同様の効果を得ることができる。
また、上記第1実施形態では、表示制御処理が画像ビューワ150によって実行される形態例を示したが、本開示の技術はこれに限定されない。表示制御処理は、眼科装置110又は管理サーバ140によって実行されるようにしてもよいし、眼科装置110、管理サーバ140、画像ビューワ150、及び他の装置のうちの少なくとも1つによって実行されるようにしてもよい。また、表示制御処理は、眼科装置110、管理サーバ140、画像ビューワ150、及び他の装置のうちの少なくとも2台によって分散されて実行されるようにしてもよい。
また、上記第1実施形態では、制御プログラムをメモリ164から読み出す場合を例示したが、必ずしも最初からメモリ164に記憶させておく必要はない。SSD(Solid State Drive)、USB(universal serial bus)メモリ、又はDVD-ROM(Digital Versatile Disc Read Only Memory)等の非一時的なコンピュータ読み取り可能な可搬型の記憶媒体に先ずは制御プログラムを記憶させておいてもよい。この場合、記憶媒体の主要プログラムが画像ビューワ150にインストールされ、インストールされた制御プログラムがCPU162によって実行される。なお、ここでは、可搬型の記憶媒体を例示したが、内蔵型の記憶媒体であってもよい。
また、通信網(図示省略)を介して画像ビューワ150に接続される他のコンピュータ又はサーバ装置等の記憶部に制御プログラムを記憶させておき、制御プログラムが画像ビューワ150の要求に応じてダウンロードされた後にインストールされるようにしてもよい。この場合、インストールされた制御プログラムはCPU162によって実行される。
また、上記第1実施形態で説明した表示制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記第1実施形態では、コンピュータを利用したソフトウェア構成により表示制御処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。コンピュータを利用したソフトウェア構成に代えて、FPGA又はASIC等のハードウェア構成のみによって、表示制御処理が実行されるようにしてもよい。表示制御処理がソフトウェア構成とハードウェア構成との組み合わせた構成によって実行されるようにしてもよい。
表示制御処理等の各種処理を実行するハードウェア資源としては、例えば、プログラムを実行することで各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、他のハードウェア資源としては、例えば、専用に設計されたFPGA(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、又はASIC(Application Specific Integrated Circuit)などの回路構成を有するプロセッサである専用電気回路が挙げられる。また、これらのプロセッサのハードウェア的な構造としては、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。各種処理を実行するハードウェア資源は、上述した複数種類のプロセッサのうちの1つであってもよいし、同種または異種の2つ以上のプロセッサの組み合わせであってもよい。
[第2実施形態]
本第2実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素には同一の符号を付し、その説明を省略する。
メモリ164には、2D/3D表示画面生成プログラムが記憶されている。CPU162は、メモリ164から2D/3D表示画面生成プログラムを読み出し、読み出した2D/3D表示画面生成プログラムを実行する。
一方、メモリ164には、OCT表示画面生成プログラムが記憶されている。CPU162は、メモリ164からOCT表示画面生成プログラムを読み出し、読み出したOCT表示画面生成プログラムを実行する。
図17には、CPU162によって2D/3D表示画面生成プログラムが実行されることで実現される2D/3D表示画面生成処理の流れが示されている。
図17に示す2D/3D表示画面生成処理では、ステップ600Sで、画像処理部182は、眼科装置110によって被検眼の眼底が撮影されて得られたUWFSLO眼底画像を眼科装置110から取得する。
次のステップ602Sで、画像処理部182は、眼科装置110から取得したUWFSLO眼底画像を画像変換することで3D眼底画像を生成する。ここで、3D眼底画像とは、眼底を示す3次元の画像を指す。なお、画像処理部182は、上記第1実施形態で説明した2次元画像の3次元画像への変換方法を利用して3D眼底画像を生成する。
次のステップ604Sで、画像処理部182は、図18に示すビューワ用の2D/3D表示画面600を示す2D/3D表示画面情報を生成する。
次のステップ606Sで、画像処理部182は、2D/3D表示画面情報を画像ビューワ150に送信し、その後、2D/3D表示画面生成処理を終了する。
2D/3D表示画面生成処理に含まれるステップ606Sの処理が実行されることによって2D/3D表示画面情報が画像ビューワ150に送信されると、表示制御部184が2D/3D表示画面情報を受信する。表示制御部184は、図18に示すように、ディスプレイ172に対して、受信した2D/3D表示画面情報により示される2D/3D表示画面600を表示させる。
なお、図18では、ステップ600Sの処理が実行されることで取得されたSLO眼底画像の一例であるUWFSLO眼底画像400S1と、ステップ602Sの処理が実行されることで生成された3D眼底画像である3次元画像400S2とが被検眼確認画面250内に横並びで表示されている。
また、図12Aと同様に、図19Aでも、表示画面分割ライン252をSLO眼底画像表示画面250A側から3次元画像表示画面250B側へ移動させると、ディスプレイ172は、表示制御部184の制御下で、UWFSLO眼底画像400S1を拡大して表示し、3次元画像400S2を縮小して表示する。
また、図12Bと同様に、図19Bでも、表示画面分割ライン252を3次元画像表示画面250B側からSLO眼底画像表示画面250A側へ移動させると、ディスプレイ172は、表示制御部184の制御下で、3次元画像400S2を拡大して表示し、UWFSLO眼底画像400S1を縮小して表示する。
図20に示すように、画像処理部182により、UWFSLO眼底画像400S1に対して、OCT取得位置を示す線分矢印402Sが作成される。線分矢印402Sは、図14Aに示す2次元変換対象領域250A3に相当するマークである。線分矢印402Sの位置、形状、及び大きさは、入力/指示デバイス174又は入力/指示デバイス174Aによって受け付けられた指示に応じて定められる。すなわち、ユーザは、入力/指示デバイス174又は入力/指示デバイス174Aを介して、UWFSLO眼底画像400S1上での線分矢印402Sの位置、形状、及び大きさを指定する。なお、線分矢印402Sの位置は、本開示の技術に係る「2次元眼底画像上で指定された第1位置」の一例である。
線分矢印402Sが定められると、画像処理部182により、3D画像上位置が求められる。3D画像上位置は、本開示の技術に係る「3次元眼球画像上の第2領域」の一例である。3D画像上位置とは、UWFSLO眼底画像400S1上で指定された線分矢印402Sの位置に対応する、3D画像上の位置を指す。3D画像上位置は、例えば、図10に示す指定部位観察処理に含まれるステップ308A~ステップ308Dの処理と同様の処理が画像処理部182によって実行されることで求められる。
3D画像上位置が求められると、画像処理部182により、図20に示すように、3D画像上位置に基づいて円弧矢印402Tが作成される。そして、画像処理部182により、円弧矢印402Tが重畳された3次元画像400S2が作成される。
そして、管理サーバ140が眼科装置110を制御することにより、眼科装置110は、被検眼のうちの線分矢印402Sの領域及び円弧矢印402Tの領域から特定される部位に対して、光干渉断層撮影、すなわち、OCTユニット20によるOCT撮影を行う。
このように、本第2実施形態では、線分矢印402Sの位置及び円弧矢印402Tの位置が、光干渉断層撮影、すなわち、OCTユニット20によるOCT撮影を行う位置とされている。なお、円弧矢印402Tは、本開示の技術に係る「第2領域を示すマーク」の一例である。
画像処理部182は、OCT撮影が行われることによって得られたOCT画像を取得し、メモリ164に記憶する。なお、ここで言う「OCT画像」とは、OCTユニット20により取得されたOCTデータに基づいて作成されたOCT画像を指す。
図21には、CPU162によってOCT表示画面生成プログラムが実行されることで実現されるOCT表示画面生成処理の流れが示されている。なお、図21に示すフローチャートの説明では、便宜上、メモリ164に、2D画像、3D画像、及びOCT画像が既に記憶されていることを前提とする。ここで言う「2D画像」とは、図17に示す2D/3D表示画面生成処理に含まれるステップ600Sの処理が実行されることで取得されたUWFSLO眼底画像を指す。また、ここで言う「3D画像」とは、図17に示す2D/3D表示画面生成処理に含まれるステップ602Sの処理が実行されることで生成された3D眼底画像を指す。
図21に示すOCT表示画面生成処理では、先ず、ステップ650Sで、画像処理部182は、メモリ164から、2D画像、3D画像、OCT画像、及びOCT取得位置を読み出す。OCT取得位置とは、UWFSLO眼底画像400S1上での線分矢印402Sの位置を指す。
次のステップ652Sで、画像処理部182は、OCT表示画面の指令を取得する。OCT表示画面の指令とは、ディスプレイ172に対して、図22に示すOCT表示画面700の表示を開始させる指令を指す。OCT表示画面の指令は、ユーザによって受付デバイス(図示省略)を介して与えられる。受付デバイスとしては、入力/指示デバイス174が挙げられる。また、受付デバイスの他の例としては、管理サーバ140と通信可能な外部装置に接続されたキーボード、マウス、及び/又はタッチパネル等が挙げられる。管理サーバ140と通信可能な外部装置としては、眼科装置110及び画像ビューワ150等が挙げられる。
次のステップ654Sで、画像処理部182は、OCT取得位置を重畳したOCT表示画面を作成する。
本ステップ654Sでは、図22に示すように、線分矢印402Sが重畳されたUWFSLO眼底画像400S1と、円弧矢印402Tが重畳された3次元画像400S2と、ステップ650Sの処理が実行されることで読み出されたOCT画像と、を含むOCT表示画面700が画像処理部182によって作成される。
次のステップ656Sで、表示制御部184は、ステップ654Sの処理で作成したOCT表示画面700を示すOCT表示画面情報を画像ビューワ150に送信し、その後、OCT表示画面生成処理を終了する。
OCT表示画面生成処理に含まれるステップ656Sの処理が実行されることによってOCT表示画面情報が画像ビューワ150に送信されると、表示制御部184がOCT表示画面情報を受信する。表示制御部184は、図22に示すように、ディスプレイ172に対して、受信したOCT表示画面情報により示されるOCT表示画面700を表示させる。
図22に示すように、OCT表示画面700は、図18に示す2D/3D表示画面600に比べ、SLO眼底画像表示画面250Aに代えてSLO眼底画像表示画面508Aを有する点、3次元画像表示画面250Bに代えて3次元画像表示画面508Bを有する点が異なる。また、OCT表示画面700は、図18に示す2D/3D表示画面600に比べ、断層画像表示画面702を有する点が異なる。
SLO眼底画像表示画面508Aには、線分矢印402Sが重畳されたUWFSLO眼底画像400S1が表示される。3次元画像表示画面508Bには、円弧矢印402Tが重畳された3次元画像400S2が表示される。断層画像表示画面702には、被検眼のうちの線分矢印402Sの位置及び円弧矢印402Tの位置から特定された部位がOCT撮影されて得られたOCT画像708が表示される。
図21に示すOCT表示画面生成処理では、線分矢印402Sが円弧矢印402Tに変換される形態例を挙げて説明したが、本開示の技術はこれに限定されない。先に、3D画像上で円弧矢印402Tの位置、大きさ、及び形状がユーザによって指定され、指定された円弧矢印402Tが線分矢印402Sに変換されるようにしてもよい。これは、3D画像上で指定された円弧矢印402Tの位置に対応する、UWFSLO眼底画像400S1上の位置が画像処理部182によって求められることを意味する。
円弧矢印402Tから線分矢印402Sへの変換は、図10に示す指定部位観察処理に含まれるステップ308E~ステップ308Hの処理と同様の処理が画像処理部182によって実行されることで実現される。なお、円弧矢印402Tから線分矢印402Sへ変換される場合、円弧矢印402Tの領域は、本開示の技術に係る「3次元眼球画像上で指定された第1領域」の一例であり、線分矢印402Sの領域は、本開示の技術に係る「2次元眼底画像上の第2領域」の一例である。また、円弧矢印402Tから線分矢印402Sへ変換される場合、線分矢印402Sは、本開示の技術に係る「第2領域を示すマーク」の一例である。
また、被検眼のうちの線分矢印402Sの位置及び円弧矢印402Tの位置から特定される部位に対して、レーザ治療装置135によるレーザ治療が行われるようにしてもよい。つまり、線分矢印402Sの位置及び円弧矢印402Tの位置を、レーザ治療を行う位置としてもよい。
なお、上記第2実施形態では、管理サーバ140により2D/3D表示画面生成処理が実行される場合について説明したが、本開示の技術はこれに限定されない。2D/3D表示画面生成処理は、眼科装置110、レーザ治療装置135、又は画像ビューワ150によって実行されるようにしてもよい。また、眼科装置110、レーザ治療装置135、管理サーバ140、及び画像ビューワ150のうちの少なくとも2つ以上の装置により2D/3D表示画面生成処理が分散処理されるようにしてもよい。
また、上記第2実施形態では、管理サーバ140によりOCT表示画面生成処理が実行される場合について説明したが、本開示の技術はこれに限定されない。OCT表示画面生成処理は、眼科装置110、レーザ治療装置135、又は画像ビューワ150によって実行されるようにしてもよい。また、眼科装置110、レーザ治療装置135、管理サーバ140、及び画像ビューワ150のうちの少なくとも2つ以上の装置によりOCT表示画面生成処理が分散処理されるようにしてもよい。
また、上記第2実施形態では、2D/3D表示画面生成プログラム及びOCT表示画面生成プログラム(以下、「画面生成プログラム」と称する)をメモリ164から読み出す場合を例示したが、必ずしも最初からメモリ164に記憶させておく必要はない。SSD、USBメモリ、又はDVD-ROM等の任意の可搬型の記憶媒体に先ずは制御プログラムを記憶させておいてもよい。この場合、記憶媒体の画面生成プログラムが眼科装置110、管理サーバ140、又は画像ビューワ150等にインストールされ、インストールされた画面生成プログラムがCPUによって実行される。
また、通信網(図示省略)を介して眼科装置110、管理サーバ140、又は画像ビューワ150に接続される他のコンピュータ又はサーバ装置等の記憶部に画面生成プログラムを記憶させておき、画面生成プログラムが眼科装置110、管理サーバ140、又は画像ビューワ150の要求に応じてダウンロードされた後にインストールされるようにしてもよい。この場合、インストールされた画面生成プログラムはCPUによって実行される。
また、上記第2実施形態で説明した2D/3D表示画面生成処理及びOCT表示画面生成処理はあくまでも一例である。従って、本開示の技術の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記第2実施形態では、コンピュータを利用したソフトウェア構成により2D/3D表示画面生成処理及びOCT表示画面生成処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。コンピュータを利用したソフトウェア構成に代えて、FPGA又はASIC等のハードウェア構成のみによって、2D/3D表示画面生成処理及びOCT表示画面生成処理のうちの少なくとも1つの処理が実行されるようにしてもよい。2D/3D表示画面生成処理及びOCT表示画面生成処理のうちの少なくとも1つの処理がソフトウェア構成とハードウェア構成との組み合わせた構成によって実行されるようにしてもよい。
2D/3D表示画面生成処理及びOCT表示画面生成処理等の各種処理を実行するハードウェア資源としては、プログラムを実行することで各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、他のハードウェア資源としては、専用に設計されたFPGA、PLD、又はASICなどの回路構成を有するプロセッサである専用電気回路が挙げられる。また、これらのプロセッサのハードウェア的な構造としては、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。各種処理を実行するハードウェア資源は、上述した複数種類のプロセッサのうちの1つであってもよいし、同種または異種の2つ以上のプロセッサの組み合わせであってもよい。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。