JP7432652B2 - Ophthalmology image display device - Google Patents

Ophthalmology image display device Download PDF

Info

Publication number
JP7432652B2
JP7432652B2 JP2022074168A JP2022074168A JP7432652B2 JP 7432652 B2 JP7432652 B2 JP 7432652B2 JP 2022074168 A JP2022074168 A JP 2022074168A JP 2022074168 A JP2022074168 A JP 2022074168A JP 7432652 B2 JP7432652 B2 JP 7432652B2
Authority
JP
Japan
Prior art keywords
image
frontal
images
data set
front image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022074168A
Other languages
Japanese (ja)
Other versions
JP2022093539A (en
Inventor
太樹 相見
正博 秋葉
篤司 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2022074168A priority Critical patent/JP7432652B2/en
Publication of JP2022093539A publication Critical patent/JP2022093539A/en
Application granted granted Critical
Publication of JP7432652B2 publication Critical patent/JP7432652B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、眼科画像表示装置に関する。 The present invention relates to an ophthalmological image display device.

眼科分野において画像診断は重要な位置を占める。近年ではOCTの活用が進んでいる。OCTは、被検眼のBモード画像や3次元画像の取得だけでなく、Cモード画像やシャドウグラムなどの正面画像(en-face画像)の取得にも利用されるようになってきている。また、被検眼の特定部位を強調した画像を取得することや、機能情報を取得することも行われている。例えば、OCTにより収集された時系列データに基づいて、網膜血管や脈絡膜血管が強調された画像(アンギオグラム)を構築することができる。更に、OCTにより収集された時系列データにおける位相情報から血流情報(血流速度、血流量等)を得ることも可能である。このような画像化技術は、例えば特許文献1-3に開示されている。 Image diagnosis occupies an important position in the field of ophthalmology. In recent years, the use of OCT has progressed. OCT has come to be used not only to obtain B-mode images and three-dimensional images of the eye to be examined, but also to obtain en-face images such as C-mode images and shadowgrams. Furthermore, it is also possible to obtain an image in which a specific part of the eye to be examined is emphasized, and to obtain functional information. For example, an image (angiogram) in which retinal blood vessels and choroidal blood vessels are emphasized can be constructed based on time-series data collected by OCT. Furthermore, it is also possible to obtain blood flow information (blood flow velocity, blood flow volume, etc.) from phase information in time series data collected by OCT. Such imaging techniques are disclosed in, for example, Patent Documents 1 to 3.

特開2014-200680号公報JP2014-200680A 特表2015-515894号公報Special Publication No. 2015-515894 特表2010-523286号公報Special Publication No. 2010-523286

眼科画像診断では、一般に、複数の画像が順次に又は一覧として参照される。特にOCT画像診断においては、ユーザは、Bモード画像や正面画像や形態画像や機能画像などの様々な種別の画像を、スライス位置やスライス厚やスライス範囲を適宜に変更しながら観察する。しかし、このような観察を円滑かつ迅速に行うことは従来の技術では困難であった。 In ophthalmological image diagnosis, a plurality of images are generally referred to sequentially or as a list. Particularly in OCT image diagnosis, a user observes various types of images, such as B-mode images, frontal images, morphological images, and functional images, while appropriately changing slice positions, slice thicknesses, and slice ranges. However, it has been difficult to perform such observations smoothly and quickly using conventional techniques.

例えば、眼底の様々な深さ位置における注目部位(血管、病変部、層組織等)を観察したい場合、複数の画像を順次に表示可能な従来技術によれば、深さ位置を切り替えながら一つひとつ正面画像を表示する必要があるため、異なる深さ位置における注目部位の状態を総合的に把握することは難しかった。また、複数の正面画像を一覧として表示可能な従来技術によれば、複数の深さ位置における注目部位の状態を個々に把握することはできるが、各正面画像が被検眼のどの範囲を表しているか、正面画像間の位置関係はどのようになっているか、を容易に把握できないという問題があった。更に、注目部位が深さ方向にどのように分布しているか総合的に把握することも困難であった。 For example, if you want to observe a site of interest (vessels, lesions, layered tissue, etc.) at various depths of the fundus, you can use conventional technology that can display multiple images sequentially. Because it is necessary to display images, it is difficult to comprehensively understand the state of the region of interest at different depth positions. In addition, according to the conventional technology that can display multiple frontal images as a list, it is possible to individually grasp the state of the target area at multiple depth positions, but it is difficult to understand which range of the eye each frontal image represents. There has been a problem in that it is not easy to determine whether the front images are present or what the positional relationship is between the front images. Furthermore, it is also difficult to comprehensively understand how the region of interest is distributed in the depth direction.

本発明に係る眼科画像表示装置の目的は、被検眼の様々な深さ位置の状態を容易にかつ総合的に把握することにある。 The purpose of the ophthalmological image display device according to the present invention is to easily and comprehensively understand the conditions of the eye to be examined at various depth positions.

実施形態の眼科画像表示装置は、光コヒーレンストモグラフィを用いて眼底の一部及び硝子体の一部を含む被検眼の3次元領域をスキャンして取得された3次元データセットを記憶する記憶部と、前記3次元データセットのセグメンテーションを行うことにより、前記眼底の複数の層組織に相当する複数の部分データセットと前記硝子体に相当する部分データセットとを特定するセグメンテーション処理部と、前記3次元データセットと前記眼底の前記複数の層組織に相当する前記複数の部分データセットと前記硝子体に相当する前記部分データセットとに基づいて前記眼底及び前記硝子体の双方を表すBモード画像と深さ位置が異なる前記眼底の複数の正面画像とを形成し、かつ、前記複数の正面画像を合成して合成正面画像を形成する画像処理部と、前記Bモード画像と前記複数の正面画像と前記合成正面画像とを所定のレイアウトで表示手段に表示させる表示制御部と、操作部とを備える。前記表示制御部により前記Bモード画像と前記複数の正面画像と前記合成正面画像とが前記表示手段に表示された後に、前記複数の正面画像のうちの一の正面画像が表す前記3次元データセットのスライス範囲を変更するための操作が前記操作部を用いて行われたとき、前記画像処理部は、この新たなスライス範囲に基づいて新たな正面画像を形成し、かつ、前記一の正面画像を前記新たな正面画像で置換して新たな合成正面画像を形成する。前記表示制御部は、前記新たなスライス範囲に対応する前記Bモード画像の部分領域を示す新たなスライス範囲情報を表示させ、前記一の正面画像に代えて前記新たな正面画像を表示させ、かつ、前記合成正面画像に代えて前記新たな合成正面画像を表示させる。 The ophthalmological image display device of the embodiment includes a storage unit that stores a three-dimensional data set obtained by scanning a three-dimensional region of the eye to be examined including a part of the fundus and a part of the vitreous body using optical coherence tomography. and a segmentation processing unit that performs segmentation of the three-dimensional data set to identify a plurality of partial data sets corresponding to a plurality of layer tissues of the fundus and a partial data set corresponding to the vitreous body; a B-mode image representing both the fundus of the eye and the vitreous body based on a dimensional data set, the plurality of partial data sets corresponding to the plurality of layer tissues of the fundus, and the partial data set corresponding to the vitreous body; an image processing unit that forms a plurality of frontal images of the fundus having different depth positions and synthesizes the plurality of frontal images to form a composite frontal image; The display device includes a display control unit that causes a display unit to display the composite frontal image in a predetermined layout, and an operation unit. After the display control unit displays the B-mode image, the plurality of frontal images, and the composite frontal image on the display means, the three-dimensional data set is displayed by one frontal image among the plurality of frontal images. When an operation for changing the slice range of the first front image is performed using the operation unit, the image processing unit forms a new front image based on this new slice range, and is replaced with the new front image to form a new composite front image. The display control unit displays new slice range information indicating a partial area of the B-mode image corresponding to the new slice range, and displays the new front image in place of the first front image, and , the new composite front image is displayed instead of the composite front image.

実施形態によれば、被検眼の様々な深さ位置の状態を容易にかつ総合的に把握することが可能である。 According to the embodiment, it is possible to easily and comprehensively understand the conditions of the eye to be examined at various depth positions.

実施形態に係る眼科画像表示装置の構成の一例を表す概略図である。1 is a schematic diagram showing an example of the configuration of an ophthalmologic image display device according to an embodiment. 実施形態に係る眼科画像表示装置の構成の一例を表す概略図である。1 is a schematic diagram showing an example of the configuration of an ophthalmologic image display device according to an embodiment. 実施形態に係る眼科画像表示装置が表示する画面の一例を表す概略図である。FIG. 2 is a schematic diagram showing an example of a screen displayed by the ophthalmologic image display device according to the embodiment. 実施形態に係る眼科画像表示装置が表示する画面の一例を説明するための概略図である。FIG. 2 is a schematic diagram for explaining an example of a screen displayed by the ophthalmologic image display device according to the embodiment. 実施形態に係る眼科画像表示装置が表示する画面の一例を説明するための概略図である。FIG. 2 is a schematic diagram for explaining an example of a screen displayed by the ophthalmologic image display device according to the embodiment. 実施形態に係る眼科撮影装置の構成の一例を表す概略図である。1 is a schematic diagram showing an example of the configuration of an ophthalmologic imaging apparatus according to an embodiment.

本発明の例示的な実施形態について、図面を参照しながら説明する。なお、この明細書で引用する文献に記載されている事項や公知技術を本発明やその実施形態に援用することが可能である。 Exemplary embodiments of the invention will be described with reference to the drawings. Note that matters described in the documents cited in this specification and known techniques can be incorporated into the present invention and its embodiments.

実施形態は、被検眼の画像を観察するためのGUI(Graphical User Interface)を提供する。このGUIは、少なくともOCT画像の観察に使用される。OCT画像には、任意の断面モードの画像(Bモード画像、Cモード画像、多断面再構成(MPR)画像等)、3次元データセット(ボリュームデータ、スタックデータ等)の任意の範囲を投影して得られるシャドウグラム、被検眼の実質的に同じ範囲を繰り返しスキャンして得られた複数の2次元データセットから構成された3次元データセットに基づき形成された血管強調画像(アンギオグラム)などがある。この3次元データセットは、例えば、複数のB断面B1、B2、・・・、Bnをそれぞれ所定回数ずつ(例えば4回ずつ)スキャンして、各B断面Bi(i=1、2、・・・、n)のBモード画像を所定枚数ずつ(例えば4枚ずつ)形成し、これらを同じ3次元座標系に埋め込むことによって(更に、それをボクセル化することによって)取得される。このような画像形成技術は既知である。 The embodiment provides a GUI (Graphical User Interface) for observing an image of a subject's eye. This GUI is used at least for observing OCT images. An image in any cross-sectional mode (B-mode image, C-mode image, multi-planar reconstruction (MPR) image, etc.) or any range of three-dimensional data set (volume data, stack data, etc.) can be projected onto the OCT image. blood vessel-enhanced images (angiograms) formed based on three-dimensional data sets composed of multiple two-dimensional data sets obtained by repeatedly scanning substantially the same area of the eye to be examined. be. This three-dimensional data set is created by, for example, scanning a plurality of B cross sections B1, B2, . . Such imaging techniques are known.

実施形態の眼科画像表示装置は、3次元データセットから画像を形成する機能(レンダリング機能、画像形成部)を有している。眼科画像表示装置は、眼科OCT装置により取得された3次元データセットをネットワーク(院内LAN等)や記録媒体を介して取得し、ユーザやコンピュータからの指示にしたがって3次元データセットをレンダリングすることにより観察用の画像を形成する。なお、画像が表示される表示デバイスは、眼科画像表示装置に含まれていてもいなくてもよい。 The ophthalmological image display device of the embodiment has a function (rendering function, image forming unit) of forming an image from a three-dimensional data set. The ophthalmological image display device acquires the 3D data set acquired by the ophthalmology OCT device via a network (in-hospital LAN, etc.) or recording medium, and renders the 3D data set according to instructions from the user or computer. Form an image for observation. Note that the display device on which the image is displayed may or may not be included in the ophthalmologic image display apparatus.

実施形態の眼科撮影装置は、上記のような眼科画像表示装置に加え、OCTを実行するための光学系や駆動系や制御系やデータ処理系を備える。眼科撮影装置は、例えばフーリエドメインOCT(周波数ドメインOCT)を実行可能に構成される。フーリエドメインOCTには、スペクトラルドメインOCTとスウェプトソースOCTとがある。スペクトラルドメインOCTは、広帯域の低コヒーレンス光源と分光器とを用いて、干渉光のスペクトルを空間分割で取得し、それをフーリエ変換することによって被検眼を画像化する手法である。スウェプトソースOCTは、波長掃引光源(波長可変光源)と光検出器(バランスドフォトダイオード等)とを用いて、干渉光のスペクトルを時分割で取得し、それをフーリエ変換することによって被検眼を画像化する手法である。眼科撮影装置は、OCT以外のモダリティを含んでいてもよい。そのようなモダリティとして、眼底カメラ、SLO(Scanning Laser Ophthalmoscope)、スリットランプ顕微鏡、眼科手術用顕微鏡などがある。 In addition to the ophthalmologic image display device as described above, the ophthalmologic imaging apparatus of the embodiment includes an optical system, a drive system, a control system, and a data processing system for performing OCT. The ophthalmologic imaging device is configured to be able to perform, for example, Fourier domain OCT (frequency domain OCT). Fourier domain OCT includes spectral domain OCT and swept source OCT. Spectral domain OCT is a method that uses a broadband low-coherence light source and a spectrometer to acquire the spectrum of interference light by spatial division, and images the eye by Fourier transforming the spectrum. Swept source OCT uses a wavelength swept light source (tunable wavelength light source) and a photodetector (balanced photodiode, etc.) to acquire the spectrum of interference light in a time-division manner, and then Fourier transforms it to detect the eye being examined. This is a method of creating images. The ophthalmologic imaging device may include modalities other than OCT. Such modalities include fundus cameras, SLOs (Scanning Laser Ophthalmoscopes), slit lamp microscopes, and ophthalmic surgery microscopes.

〈眼科画像表示装置〉
[構成]
眼科画像表示装置の実施形態を説明する。眼科画像表示装置の構成例を図1及び図2に示す。眼科画像表示装置1は、被検眼の画像を観察するためのGUIや被検眼に関する各種情報を表示デバイス2に表示させる。表示デバイス2は眼科画像表示装置1の一部であってもよいし、眼科画像表示装置1に接続された外部装置であってもよい。
<Ophthalmological image display device>
[composition]
An embodiment of an ophthalmologic image display device will be described. An example of the configuration of an ophthalmologic image display device is shown in FIGS. 1 and 2. The ophthalmological image display apparatus 1 causes the display device 2 to display a GUI for observing an image of the eye to be examined and various information regarding the eye to be examined. The display device 2 may be a part of the ophthalmological image display apparatus 1 or may be an external device connected to the ophthalmological image display apparatus 1.

眼科画像表示装置1は、制御部10と、記憶部20と、データ入出力部30と、データ処理部40と、操作部50とを含む。 The ophthalmological image display device 1 includes a control section 10, a storage section 20, a data input/output section 30, a data processing section 40, and an operation section 50.

(制御部10)
制御部10は、眼科画像表示装置1の各部を制御する。制御部10はプロセッサを含む。なお、本明細書において「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を意味する。制御部10は、例えば、記憶回路や記憶装置(記憶部20等)に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。
(Control unit 10)
The control unit 10 controls each part of the ophthalmologic image display device 1. Control unit 10 includes a processor. Note that in this specification, "processor" refers to, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), a programmable logic device ( For example, SPLD (Simple Programmable Logic Device), CPLD (Complex Programmable Logic Device), FPGA (Field Programmable Gate Array), and other circuits. The control unit 10 realizes the functions according to the embodiment by, for example, reading and executing a program stored in a storage circuit or a storage device (such as the storage unit 20).

制御部10は表示制御部11を含む。表示制御部11は、表示デバイス2に情報を表示させるための制御を実行する。表示制御部11は、記憶部20に格納された情報に基づいて表示制御を実行することができる。 The control section 10 includes a display control section 11 . The display control unit 11 executes control for causing the display device 2 to display information. The display control unit 11 can perform display control based on information stored in the storage unit 20.

図2に示すように、表示制御部11は、GUI表示制御部111と、正面画像表示制御部112と、合成正面画像表示制御部113と、Bモード画像表示制御部114と、セグメント表示制御部115とを備える。 As shown in FIG. 2, the display control section 11 includes a GUI display control section 111, a front image display control section 112, a composite front image display control section 113, a B-mode image display control section 114, and a segment display control section. 115.

GUI表示制御部111は、記憶部20に記憶されているGUIテンプレート21及び表示制御プログラム22に基づいて、GUIとしての画面やダイアログやアイコン等を表示デバイス2に表示させる。 The GUI display control unit 111 causes the display device 2 to display a screen, dialog, icon, etc. as a GUI based on the GUI template 21 and display control program 22 stored in the storage unit 20.

正面画像表示制御部112は、表示制御プログラム22に基づいて、Cモード画像やシャドウグラムや血管強調画像(アンギオグラム)等の正面画像を、GUI画面に表示させる。詳細については後述するが、本実施形態では、3次元データセットDから形成された複数の正面画像のそれぞれが、GUI画面の所定の表示領域に表示される。 The frontal image display control unit 112 displays frontal images such as a C-mode image, a shadowgram, and a blood vessel enhanced image (angiogram) on the GUI screen based on the display control program 22 . Although details will be described later, in this embodiment, each of the plurality of frontal images formed from the three-dimensional data set D is displayed in a predetermined display area of the GUI screen.

合成正面画像表示制御部113は、被検眼の複数の正面画像の合成画像(合成正面画像)をGUI画面の所定の表示領域に表示させる。なお、合成正面画像は、単一の画像データに基づく画像でもよいし、複数の画像データに基づく画像でもよい。前者の場合、合成正面画像表示制御部113は、データ処理部40により形成された合成正面画像をGUI画面に表示させる。後者の場合、合成正面画像表示制御部113は、複数の画像データを重ねて表示させるこの表示制御は、例えば、レイヤ表示機能を用いて実行される。具体的には、合成正面画像表示制御部113は、複数の画像データに基づく複数の画像を複数のレイヤにそれぞれ表示させる処理と、各レイヤの不透明度(α値)を設定する処理と、これらレイヤを重ねて表示させる処理とを実行することができる。 The composite frontal image display control unit 113 displays a composite image (combined frontal image) of a plurality of frontal images of the subject's eye in a predetermined display area of the GUI screen. Note that the composite frontal image may be an image based on single image data, or may be an image based on multiple image data. In the former case, the composite front image display control unit 113 displays the composite front image formed by the data processing unit 40 on the GUI screen. In the latter case, the composite front image display control unit 113 performs this display control to display a plurality of image data in an overlapping manner using, for example, a layer display function. Specifically, the composite front image display control unit 113 performs a process of displaying a plurality of images based on a plurality of image data on a plurality of layers, a process of setting the opacity (α value) of each layer, and a process of setting the opacity (α value) of each layer. It is possible to execute processing for displaying layers in an overlapping manner.

Bモード画像表示制御部114は、3次元データセットDから形成されたBモード画像をGUI画面の所定の表示領域に表示させる。 The B-mode image display control unit 114 displays the B-mode image formed from the three-dimensional data set D in a predetermined display area of the GUI screen.

セグメント表示制御部115は、各正面画像が表す3次元データセットDのスライス範囲(セグメント)に対応するBモード画像の部分領域を示す情報(セグメント情報)をGUI画面に表示させる。セグメント情報は、対応する正面画像に割り当てられた色で表示される。 The segment display control unit 115 causes the GUI screen to display information (segment information) indicating a partial region of the B-mode image corresponding to the slice range (segment) of the three-dimensional data set D represented by each frontal image. Segment information is displayed in the color assigned to the corresponding front image.

表示制御部11(GUI表示制御部111、正面画像表示制御部112、合成正面画像表示制御部113、Bモード画像表示制御部114、セグメント表示制御部115)が実行する処理の具体例については後述する。 Specific examples of processing executed by the display control unit 11 (GUI display control unit 111, front image display control unit 112, composite front image display control unit 113, B-mode image display control unit 114, segment display control unit 115) will be described later. do.

(記憶部20)
記憶部20には各種情報が記憶される。本実施形態では、GUIテンプレート21と、表示制御プログラム22と、データ処理プログラム23と、3次元データセットDとが、記憶部20に記憶される。
(Storage unit 20)
The storage unit 20 stores various information. In this embodiment, a GUI template 21, a display control program 22, a data processing program 23, and a three-dimensional data set D are stored in the storage unit 20.

GUIテンプレート21は、表示デバイス2にGUIとして表示される画面やダイアログやアイコン等のテンプレートを含む。 The GUI template 21 includes templates for screens, dialogs, icons, etc. that are displayed on the display device 2 as a GUI.

表示制御プログラム22は、GUIテンプレート21に基づき表示されるGUIに関する制御を制御部10が行うために実行されるプログラムを含む。特に、表示制御プログラム22には、GUIや画像を表示するための制御を表示制御部11が実行するためのプログラムが含まれている。本実施形態の表示制御は、ハードウェア(プロセッサ)としての表示制御部11と、ソフトウェアとしての表示制御プログラム22との協働によって実現される。表示処理の具体例については後述する。 The display control program 22 includes a program executed by the control unit 10 to control the GUI displayed based on the GUI template 21. In particular, the display control program 22 includes a program for the display control unit 11 to execute control for displaying GUIs and images. The display control of this embodiment is realized by cooperation between the display control unit 11 as hardware (processor) and the display control program 22 as software. A specific example of display processing will be described later.

データ処理プログラム23は、データ処理部40(及び制御部10)が各種データ処理を行うために実行されるプログラムを含む。本実施形態のデータ処理は、ハードウェア(プロセッサ)としてのデータ処理部40(及び制御部10)と、ソフトウェアとしてのデータ処理プログラム23との協働によって実現される。データ処理の具体例については後述する。 The data processing program 23 includes a program executed by the data processing section 40 (and the control section 10) to perform various data processing. The data processing of this embodiment is realized by cooperation between the data processing unit 40 (and control unit 10) as hardware (processor) and the data processing program 23 as software. A specific example of data processing will be described later.

3次元データセットDについて説明する。3次元データセットDは、被検眼の3次元領域の状態(形態、機能等)を表す画像データである。3次元データセットDは、3次元座標系によって画素(ピクセル、ボクセル等)の位置が定義された画像データを含んでよい。このような画像データの例として、2以上のBモード画像データを3次元座標系に埋め込んで形成されたスタックデータや、スタックデータのピクセルをボクセルに変換して形成されたボリュームデータがある。他の例の3次元データセットDは、2次元座標系によってピクセルの位置が定義されたBモード画像データの群を含んでもよい。更に他の例として、3次元データセットDは、時系列画像データであってよく、或いは、時系列画像データから構築された画像データであってよい。その一例として、血管が強調された3次元画像データ(3次元アンギオグラム)や、複数の縦断面(Bスキャン面)又は3次元領域における血流動態を表す画像データがある。3次元データセットDの種別は任意であり、その種別に応じた公知のOCT技術を利用して3次元データセットDが形成される。 Three-dimensional data set D will be explained. The three-dimensional data set D is image data representing the state (form, function, etc.) of a three-dimensional region of the eye to be examined. The three-dimensional data set D may include image data in which the positions of pixels (pixels, voxels, etc.) are defined by a three-dimensional coordinate system. Examples of such image data include stack data formed by embedding two or more B-mode image data into a three-dimensional coordinate system, and volume data formed by converting pixels of stack data into voxels. Another example of three-dimensional data set D may include a group of B-mode image data in which pixel positions are defined by a two-dimensional coordinate system. As yet another example, the three-dimensional data set D may be time-series image data or image data constructed from time-series image data. Examples include three-dimensional image data (three-dimensional angiogram) in which blood vessels are emphasized, and image data representing blood flow dynamics in a plurality of longitudinal sections (B-scan planes) or three-dimensional regions. The type of the three-dimensional data set D is arbitrary, and the three-dimensional data set D is formed using a known OCT technique according to the type.

眼科OCT装置(又はそれにより取得されたデータを処理するコンピュータ)により形成された3次元データセットDは、例えば、医療機関内、ネットワーク上などに設置された画像管理サーバに送信され格納される。3次元データセットDには付帯情報が関連付けられる。付帯情報には、被検者識別情報(患者ID等)、左眼/右眼の識別情報、撮影日時、医療機関識別情報などが含まれる。具体的な運用例として、3次元データセットDは、DICOM(Digital Imaging and COmmunication in Medicine)フォーマットで管理され、付帯情報の少なくとも一部はDICOMタグ情報に含まれる。或いは、被検者の電子カルテに3次元データセットDを関連付けて管理することも可能である。画像管理サーバは、眼科画像表示装置1からの要求を受けたことに対応し、当該被検者の3次元データセットDを検索して眼科画像表示装置1に送信する。他の運用例として、可搬記録媒体やモバイルコンピュータに3次元データセットDが保存されている場合、眼科画像表示装置1のリーダライタ(後述)等によって3次元データセットDが可搬記録媒体等から読み出される。このようにして入力された3次元データセットDは、制御部10によって記憶部20に記憶される。 The three-dimensional data set D formed by the ophthalmologic OCT device (or a computer that processes data acquired by the device) is transmitted to and stored in an image management server installed within a medical institution, on a network, or the like, for example. Additional information is associated with the three-dimensional data set D. The supplementary information includes patient identification information (patient ID, etc.), left eye/right eye identification information, imaging date and time, medical institution identification information, and the like. As a specific operational example, the three-dimensional data set D is managed in a DICOM (Digital Imaging and Communication in Medicine) format, and at least a part of the supplementary information is included in the DICOM tag information. Alternatively, it is also possible to manage the three-dimensional data set D in association with the electronic medical record of the subject. In response to receiving a request from the ophthalmological image display device 1, the image management server searches for the three-dimensional data set D of the subject and transmits it to the ophthalmological image display device 1. As another example of operation, when the 3D data set D is stored in a portable recording medium or a mobile computer, the 3D data set D is stored in the portable recording medium or the like by a reader/writer (described later) of the ophthalmological image display device 1. is read from. The three-dimensional data set D thus input is stored in the storage section 20 by the control section 10.

3次元データセットDが表す被検眼の部位は任意であり、例えば、眼底(網膜、脈絡膜、強膜等)、硝子体、水晶体、前眼部(角膜、前房、虹彩、水晶体、毛様体、チン小帯等)、及び、瞼のうちの少なくとも1つを含んでよい。以下、眼底の一部と硝子体の一部を含む被検眼の3次元領域をOCTスキャンして得られた3次元データセットDを典型例として説明する。 The parts of the eye to be examined represented by the three-dimensional data set D are arbitrary, and include, for example, the fundus (retina, choroid, sclera, etc.), vitreous body, crystalline lens, and anterior segment (cornea, anterior chamber, iris, crystalline lens, ciliary body). , Chin's frenulum, etc.), and the eyelids. Hereinafter, a three-dimensional data set D obtained by OCT scanning a three-dimensional region of a subject's eye including a part of the fundus and a part of the vitreous body will be described as a typical example.

(データ入出力部30)
データ入出力部30は、眼科画像表示装置1へのデータの入力と、眼科画像表示装置1からのデータの出力とを実行する。なお、データ入出力部30は、データの入力又は出力のみを行う構成であってもよい。データ入出力部30は、例えば、LAN、インターネット、専用線等の通信回線を介してデータの送受信を行うための通信デバイスを含んでよい。また、データ入出力部30は、記録媒体からのデータの読み取りと、記録媒体へのデータの書き込みとを行うためのリーダライタを含んでよい。また、データ入出力部30は、印刷媒体等に記録された情報を読み取るスキャナや、紙媒体に情報を記録するプリンタなどを含んでいてよい。
(Data input/output section 30)
The data input/output unit 30 inputs data to the ophthalmologic image display device 1 and outputs data from the ophthalmologic image display device 1 . Note that the data input/output unit 30 may be configured to only input or output data. The data input/output unit 30 may include, for example, a communication device for transmitting and receiving data via a communication line such as a LAN, the Internet, or a dedicated line. Further, the data input/output unit 30 may include a reader/writer for reading data from a recording medium and writing data to the recording medium. Further, the data input/output unit 30 may include a scanner that reads information recorded on a print medium or the like, a printer that records information on a paper medium, and the like.

(データ処理部40)
データ処理部40は、データ処理プログラム23を実行するプロセッサを含み、各種のデータ処理を行う。例えば、データ処理部40は、被検眼の画像データに対して画像処理を施す。その典型例として、データ処理部40は、3次元コンピュータグラフィクス(3DCG)等のレンダリングを実行する。
(Data processing unit 40)
The data processing unit 40 includes a processor that executes the data processing program 23, and performs various data processing. For example, the data processing unit 40 performs image processing on image data of the eye to be examined. As a typical example, the data processing unit 40 executes rendering such as three-dimensional computer graphics (3DCG).

図2に示すように、データ処理部40は画像処理部41を含む。画像処理部41は、3次元データセットDに基づいて様々な画像を形成する。例えば、画像処理部41は、3次元データセットDに基づいて、Bモード画像と、複数の正面画像と、これら正面画像(の少なくとも一部)が合成された合成正面画像とを形成する。画像処理部41は、セグメンテーション処理部411と、正面画像形成部412と、色変換部413と、合成正面画像形成部414と、Bモード画像形成部415と、セグメント特定部416とを含む。 As shown in FIG. 2, the data processing section 40 includes an image processing section 41. The image processing unit 41 forms various images based on the three-dimensional data set D. For example, the image processing unit 41 forms, based on the three-dimensional data set D, a B-mode image, a plurality of front images, and a composite front image in which (at least a portion of) these front images are combined. The image processing section 41 includes a segmentation processing section 411 , a front image forming section 412 , a color conversion section 413 , a composite front image forming section 414 , a B mode image forming section 415 , and a segment specifying section 416 .

セグメンテーション処理部411は、3次元データセットDを解析することにより、被検眼の複数の組織に相当する複数の部分データセットを特定する。セグメンテーションは、特定の組織や組織境界を特定するための画像処理であり、眼科OCTでは広く利用されている。セグメンテーション処理部411は、例えば、3次元データセットDに含まれる各Aモード画像における画素値(輝度値)の勾配を求め、勾配が大きい位置を組織境界として特定する。なお、Aモード画像は、眼底の深さ方向に延びる1次元画像データである。なお、眼底の深さ方向は、例えば、Z方向、OCT測定光の入射方向、軸方向、対物レンズの光軸方向などとして定義される。 The segmentation processing unit 411 specifies a plurality of partial data sets corresponding to a plurality of tissues of the eye to be examined by analyzing the three-dimensional data set D. Segmentation is image processing for identifying specific tissues or tissue boundaries, and is widely used in ophthalmology OCT. For example, the segmentation processing unit 411 determines the gradient of pixel values (luminance values) in each A-mode image included in the three-dimensional data set D, and identifies a position where the gradient is large as a tissue boundary. Note that the A-mode image is one-dimensional image data extending in the depth direction of the fundus. Note that the depth direction of the fundus is defined as, for example, the Z direction, the incident direction of OCT measurement light, the axial direction, the optical axis direction of the objective lens, etc.

典型的な例において、セグメンテーション処理部411は、眼底(網膜、脈絡膜等)及び硝子体を表す3次元データセットDを解析することにより、眼底の複数の層組織に相当する複数の部分データセットを特定する。各部分データセットは、層組織の境界によって画成される。部分データセットとして特定される層組織の例として、網膜を構成する、内境界膜、神経線維層、神経節細胞層、内網状層、内顆粒層、外網状層、外顆粒層、外境界膜、視細胞層、網膜色素上皮層がある。他の例として、ブルッフ膜、脈絡膜、強膜、硝子体等に相当する部分データセットを特定することができる。また、病変部に相当する部分データセットを特定することも可能である。病変部の例として、剥離部、浮腫、出血、腫瘍、ドルーゼンなどがある。 In a typical example, the segmentation processing unit 411 analyzes a three-dimensional data set D representing the fundus of the eye (retina, choroid, etc.) and the vitreous body, thereby generating a plurality of partial data sets corresponding to multiple layer tissues of the fundus of the eye. Identify. Each partial data set is defined by the boundaries of the layer organization. Examples of layer organizations identified as partial datasets include the inner limiting membrane, nerve fiber layer, ganglion cell layer, inner plexiform layer, inner nuclear layer, outer plexiform layer, outer nuclear layer, and outer limiting membrane that make up the retina. , photoreceptor layer, and retinal pigment epithelial layer. As another example, partial data sets corresponding to Bruch's membrane, choroid, sclera, vitreous body, etc. can be identified. It is also possible to specify a partial dataset corresponding to a lesion. Examples of lesions include avulsions, edema, hemorrhages, tumors, and drusen.

正面画像形成部412は、セグメンテーション処理部411により特定された複数の部分データセットの少なくとも一部に基づいて、複数の正面画像を形成する。各正面画像は、3次元データセットDの所定のスライス範囲を表す画像である。スライス範囲は、例えば、眼底の深さ方向に厚みを有する。スライス範囲は、例えば、ユーザ又は眼科画像表示装置1によって設定される。 The front image forming unit 412 forms a plurality of front images based on at least a portion of the plurality of partial data sets specified by the segmentation processing unit 411. Each frontal image is an image representing a predetermined slice range of the three-dimensional data set D. For example, the slice range has a thickness in the depth direction of the fundus. The slice range is set by the user or the ophthalmological image display device 1, for example.

スライス範囲は、セグメンテーション処理部411により特定された複数の部分データセットのうちの1つ以上に相当する領域であってよい。例えば、内境界膜(ILM)~内網状層(IPL)の範囲に相当する部分データセット群を含むスライス範囲(表層部)や、外顆粒層(ONL)~網膜色素上皮層(RPE)の範囲に相当する部分データセット群を含むスライス範囲(網膜外層部)や、脈絡膜(ブルッフ膜(BM)~脈絡膜-強膜境界(CSI))に相当する部分データセットを含むスライス範囲などを適用することが可能である。このように、スライス範囲の厚さ(Z方向における境界間距離)は一定でなくてもよいが、一定の厚さのスライス範囲を設定することも可能である。 The slice range may be a region corresponding to one or more of the plurality of partial data sets specified by the segmentation processing unit 411. For example, a slice range (superficial layer) that includes a partial dataset group corresponding to the range from the internal limiting membrane (ILM) to the inner plexiform layer (IPL), or a range from the outer nuclear layer (ONL) to the retinal pigment epithelial layer (RPE). Apply a slice range that includes a partial data set group corresponding to (outer retina), a slice range that includes a partial data set that corresponds to the choroid (Bruch's membrane (BM) to choroid-scleral boundary (CSI)), etc. is possible. In this way, the thickness of the slice range (distance between boundaries in the Z direction) does not have to be constant, but it is also possible to set a slice range with a constant thickness.

正面画像形成部412は、設定されたスライス範囲に含まれるデータを深さ方向(Z方向)に投影することにより正面画像を形成する。このような投影正面画像はシャドウグラムと呼ばれる。なお、3次元データセットDのZ方向の全範囲にわたる投影正面画像はプロジェクション画像と呼ばれ、眼底写真と3次元データセットDとのレジストレーションなどに用いられる。また、正面画像形成部412は、3次元データセットDの横断面(XY断面、水平断面)を表すCモード画像を正面画像として設定することも可能である。また、正面画像は、任意のMPR画像であってよい(例えば、XY平面に対して小さな角度を有する断面の画像でもよい)。 The front image forming unit 412 forms a front image by projecting data included in the set slice range in the depth direction (Z direction). Such a projected frontal image is called a shadowgram. Note that the projected front image covering the entire range of the three-dimensional data set D in the Z direction is called a projection image, and is used for registration between the fundus photograph and the three-dimensional data set D. The front image forming unit 412 can also set a C-mode image representing a cross section (XY cross section, horizontal cross section) of the three-dimensional data set D as the front image. Further, the front image may be any MPR image (for example, it may be an image of a cross section having a small angle with respect to the XY plane).

正面画像形成部412により形成される正面画像は、任意の種別のOCT画像であってよく、例えば、被検眼の形態を表す画像(通常のOCT画像)でも、血管強調画像(アンギオグラム)でも、血流動態画像(位相画像)でもよい。また、正面画像形成部412は、セグメンテーション処理部411により特定された層(又は層境界)に相当するスライス範囲をXY面に平坦化することによって正面画像(平坦化画像)を形成することも可能である。 The frontal image formed by the frontal image forming unit 412 may be any type of OCT image, for example, an image representing the morphology of the eye to be examined (normal OCT image), a blood vessel emphasis image (angiogram), It may also be a blood flow dynamic image (phase image). The front image forming unit 412 can also form a front image (flattened image) by flattening the slice range corresponding to the layer (or layer boundary) specified by the segmentation processing unit 411 on the XY plane. It is.

色変換部413は、正面画像形成部412により形成された複数の正面画像の少なくともいずれかをグレースケール画像からカラー画像に変換する。色変換部413は、正面画像の少なくとも一部の画素の値(輝度値)をカラー値に置換する。カラー値は一定値でもよいし、所定範囲にわたる値でもよい。また、色変換部413は、色変換の対象となる画素を選択する処理を行うことができる。この処理は、例えば、輝度値に関する閾値処理、形状解析(パターン解析、パターンマッチング等)、二値化、フィルタ処理などの任意の画像処理を含んでよい。 The color conversion unit 413 converts at least one of the plurality of front images formed by the front image forming unit 412 from a grayscale image to a color image. The color conversion unit 413 replaces the values (luminance values) of at least some pixels of the front image with color values. The color value may be a constant value or may be a value over a predetermined range. Further, the color conversion unit 413 can perform a process of selecting pixels to be subjected to color conversion. This processing may include, for example, arbitrary image processing such as threshold processing regarding brightness values, shape analysis (pattern analysis, pattern matching, etc.), binarization, and filter processing.

具体例を説明する。正面画像は血管強調画像(アンギオグラム)であるとする。限定を意図するものではないが、典型的な血管強調画像において、血管に相当する画素は比較的高い輝度値で表現される。つまり、血管に相当する画素は、黒の背景に白く(明るく)表現される。色変換部413は、例えば閾値処理、二値化又はハイパスフィルタ等の画像処理を用いて、正面画像に含まれる画素のうちから、輝度値が比較的高い画素(高輝度画素)を抽出する。更に、色変換部413は、抽出された各画素の輝度値を所定のカラー値に置換する。このカラー値が表す色は、当該正面画像に対して予め割り当てられた色である。詳細は後述するが、正面画像に割り当てられる色は、例えば、当該正面画像が表示されるGUI画面内の表示領域の枠部の表示色と同じ(又は類似)であってよい。また、全ての高輝度画素に対して同じカラー値を付与してもよいし、例えば輝度値の大きさに応じて異なるカラー値を付与してもよい。前者の場合、既定のカラー値(デフォルト値)が付与される。後者の例として、疑似カラー表示のためのカラーパレット(ルックアップテーブル)を用いた色変換がある。 A specific example will be explained. It is assumed that the frontal image is a blood vessel-enhanced image (angiogram). Although not intended to be limiting, in a typical blood vessel-enhanced image, pixels corresponding to blood vessels are expressed with relatively high brightness values. In other words, pixels corresponding to blood vessels are expressed as white (bright) on a black background. The color conversion unit 413 extracts pixels with relatively high brightness values (high-brightness pixels) from among the pixels included in the front image, using image processing such as threshold processing, binarization, or a high-pass filter. Further, the color conversion unit 413 replaces the extracted luminance value of each pixel with a predetermined color value. The color represented by this color value is a color assigned in advance to the front image. Although details will be described later, the color assigned to the front image may be, for example, the same (or similar) to the display color of the frame of the display area in the GUI screen where the front image is displayed. Furthermore, the same color value may be assigned to all high-luminance pixels, or different color values may be assigned depending on the magnitude of the luminance value, for example. In the former case, a predetermined color value (default value) is assigned. An example of the latter is color conversion using a color palette (lookup table) for pseudocolor display.

合成正面画像形成部414は、色変換部413によりカラー画像に変換された1以上の正面画像の少なくとも一部を含む複数の正面画像を合成する。それにより得られる画像を合成正面画像と呼ぶ。合成される複数の正面画像は同じ3次元データセットDから形成されたものであるから、複数の正面画像のレジストレーションは不要である。或いは、3次元データセットDにおける複数の正面画像の位置(複数のスライス範囲の位置)に基づく自然なレジストレーションを複数の合成画像に施すことができる。 The composite frontal image forming unit 414 combines a plurality of frontal images including at least a portion of the one or more frontal images converted into color images by the color converting unit 413. The image obtained thereby is called a composite frontal image. Since the plurality of frontal images to be synthesized are formed from the same three-dimensional data set D, registration of the plurality of frontal images is not necessary. Alternatively, natural registration based on the positions of the plurality of frontal images (positions of the plurality of slice ranges) in the three-dimensional data set D can be applied to the plurality of composite images.

合成正面画像には、複数のスライス範囲のオブジェクト(血管、病変部、層組織等)が表現されている。このとき、複数のスライス範囲の位置関係に応じて、オブジェクトの表現態様を変えることができる。例えば、眼底表面(内境界膜)に近い側のスライス範囲のオブジェクトを優先的に提示することができる。また、合成正面画像に表現されるオブジェクトの少なくとも一部(カラー値が付された所定のスライス範囲の血管等)はカラー表示される。 Objects (blood vessels, lesions, layered tissues, etc.) in a plurality of slice ranges are expressed in the composite frontal image. At this time, the representation mode of the object can be changed depending on the positional relationship of the plurality of slice ranges. For example, objects in a slice range closer to the fundus surface (internal limiting membrane) can be preferentially presented. Furthermore, at least a portion of the object represented in the composite frontal image (such as a blood vessel in a predetermined slice range to which a color value is assigned) is displayed in color.

なお、前述したように、合成正面画像表示制御部113がレイヤ表示機能等を利用して複数の正面画像を重ねて表示させる場合には、合成正面画像形成部414は不要であるか、或いはその動作が停止される。また、レイヤの不透明度(α値)に関する処理は、スライス範囲に応じた優先的提示(前述)の代替手段である。 Note that, as described above, when the composite front image display control unit 113 uses a layer display function or the like to display multiple front images in an overlapping manner, the composite front image forming unit 414 is unnecessary or Operation is stopped. Further, the processing regarding the opacity (α value) of the layer is an alternative to the preferential presentation according to the slice range (described above).

Bモード画像形成部415は、3次元データセットDに基づいて、予め設定された縦断面(横断面に直交する断面)を表すBモード画像を形成する。この処理には、例えばMPR処理等の公知の画像処理が適用される。 The B-mode image forming unit 415 forms a B-mode image representing a preset longitudinal section (a section perpendicular to the cross section) based on the three-dimensional data set D. Known image processing such as MPR processing is applied to this processing.

セグメント特定部416は、正面画像形成部412により形成された正面画像(特に合成正面画像の形成に用いられた正面画像)が表す3次元データセットDのスライス範囲(セグメント)に対応する、Bモード画像形成部415により形成されたBモード画像の部分領域を特定する。この部分領域の特定は、対象となるスライス範囲とBモード画像の縦断面との共通領域を求める処理に相当する。 The segment specifying unit 416 selects the B mode corresponding to the slice range (segment) of the three-dimensional data set D represented by the frontal image formed by the frontal image forming unit 412 (particularly the frontal image used to form the composite frontal image). A partial area of the B-mode image formed by the image forming unit 415 is specified. Identifying this partial region corresponds to a process of finding a common region between the target slice range and the longitudinal section of the B-mode image.

データ処理部40の機能は上記に限定されるものではない。例えば、データ処理部40は、以下において適宜に説明される機能や任意の公知の機能を実行可能であってよい。 The functions of the data processing section 40 are not limited to the above. For example, the data processing unit 40 may be capable of executing the functions described below as appropriate or any known functions.

(操作部50)
操作部50は、眼科画像表示装置1に対してユーザが指示を入力するために使用される。操作部50は、コンピュータに用いられる公知の操作デバイスを含んでよい。例えば、操作部50は、マウスやタッチパッドやトラックボール等のポインティングデバイスを含んでよい。また、操作部50は、キーボードやペンタブレット、専用の操作パネルなどを含んでよい。眼科画像表示装置1が眼科装置(例えばOCT装置)に接続されている場合、眼科装置に設けられた操作デバイス(ジョイスティック、ボタン、スイッチ等)を用いて眼科画像表示装置1に指示を入力できるように構成することが可能である。その場合、操作部50は、眼科装置の操作デバイスを含む。
(Operation unit 50)
The operation unit 50 is used by the user to input instructions to the ophthalmologic image display device 1 . The operation unit 50 may include a known operation device used in computers. For example, the operation unit 50 may include a pointing device such as a mouse, touch pad, or trackball. Further, the operation unit 50 may include a keyboard, a pen tablet, a dedicated operation panel, and the like. When the ophthalmologic image display device 1 is connected to an ophthalmologic device (for example, an OCT device), instructions can be input to the ophthalmologic image display device 1 using an operating device (joystick, button, switch, etc.) provided on the ophthalmologic device. It is possible to configure In that case, the operation unit 50 includes an operation device for the ophthalmological apparatus.

[表示画面及び使用形態]
眼科画像表示装置1の典型的な使用形態を表示画面の例とともに説明する。以下の例において、制御部10は、GUIテンプレート21及び表示制御プログラム22に基づいてGUI画面等を表示させ、表示制御プログラム22に基づいて画像等を表示させる。また、データ処理部40は、データ処理プログラム23に基づいて各種処理を実行する。
[Display screen and usage pattern]
A typical usage pattern of the ophthalmologic image display device 1 will be explained along with an example of a display screen. In the following example, the control unit 10 displays a GUI screen etc. based on the GUI template 21 and the display control program 22, and displays an image etc. based on the display control program 22. Further, the data processing unit 40 executes various processes based on the data processing program 23.

まず、眼科画像表示装置1のユーザ(医師等)がGUIの使用を開始するための指示を入力する。表示制御部11(GUI表示制御部111)は、この指示を受けると、表示制御プログラム22を起動させ、GUIテンプレート21に基づいてGUI画面を表示デバイス2に表示させる。ユーザは、このGUI画面に対し、操作部50を用いて患者IDを入力する。或いは、眼科画像表示装置1は、データ入出力部30に含まれるカードリーダで患者カード等を読み取ることにより患者IDを受け付ける。患者IDの入力方法はこれらに限定されない。なお、例えば記録媒体に保存された3次元データセットDが眼科画像表示装置1に入力される場合のように、患者IDの入力を行わなくてもよい場合もある。 First, a user (such as a doctor) of the ophthalmologic image display device 1 inputs an instruction to start using the GUI. Upon receiving this instruction, the display control unit 11 (GUI display control unit 111) starts the display control program 22 and displays a GUI screen on the display device 2 based on the GUI template 21. The user inputs the patient ID using the operation unit 50 on this GUI screen. Alternatively, the ophthalmological image display device 1 receives the patient ID by reading a patient card or the like with a card reader included in the data input/output unit 30. The method of inputting the patient ID is not limited to these methods. Note that there are cases where it is not necessary to input the patient ID, such as when a three-dimensional data set D stored in a recording medium is input to the ophthalmologic image display device 1.

制御部10は、データ入出力部30に含まれる通信デバイスを制御することで、入力された患者IDをネットワークを介して画像管理サーバに送る。画像管理サーバは、この患者IDを受け付け、それに関連付けられた画像データを検索し、検索された画像データを眼科画像表示装置1に送信する。このステップにおいては、例えば、当該被検眼(及び当該患者の他方の眼)について過去に取得された全ての又は幾つかの画像データが検索され送信される。画像管理サーバから送信される画像データには3次元データセットDが含まれている。 The control unit 10 sends the input patient ID to the image management server via the network by controlling a communication device included in the data input/output unit 30. The image management server accepts this patient ID, searches for image data associated with it, and sends the searched image data to the ophthalmological image display device 1. In this step, for example, all or some image data acquired in the past for the subject's eye (and the patient's other eye) are retrieved and transmitted. The image data transmitted from the image management server includes a three-dimensional data set D.

データ入出力部30に含まれる通信デバイスは、画像管理サーバから送信された画像データを受け付ける。制御部10は、受け付けられた画像データを患者IDとともに記憶部20に格納する。それにより、3次元データセットDを少なくとも含む画像データが記憶部20に記憶される。なお、本例において、3次元データセットDは眼底の3次元領域を表す画像データであり、眼底像(眼底写真)の画像データに含まれているものとする。 The communication device included in the data input/output unit 30 receives image data transmitted from the image management server. The control unit 10 stores the accepted image data in the storage unit 20 together with the patient ID. Thereby, image data including at least the three-dimensional data set D is stored in the storage unit 20. In this example, it is assumed that the three-dimensional data set D is image data representing a three-dimensional region of the fundus, and is included in the image data of the fundus image (fundus photograph).

GUI表示制御部111は、当該被検眼(又は当該患者)の画像データのリストをGUI画面に表示させる。ユーザは、操作部50を用いて所望の画像データを選択する。ここでは、3次元データセットDが選択されたものとする。制御部10は、選択された3次元データセットDを記憶部20から読み出してデータ処理部40に送る。 The GUI display control unit 111 displays a list of image data of the eye to be examined (or the patient) on the GUI screen. The user uses the operation unit 50 to select desired image data. Here, it is assumed that three-dimensional data set D has been selected. The control unit 10 reads the selected three-dimensional data set D from the storage unit 20 and sends it to the data processing unit 40.

このとき、図3に示すGUI画面1000が表示デバイス2に表示されている。GUI画面1000には、各種ソフトウェアキーとともに、複数の画像表示領域が設けられている。具体的には、複数の画像表示領域は、上段に設けられた4つの画像表示領域と、下段に設けられた3つの画像表示領域とを含む。 At this time, a GUI screen 1000 shown in FIG. 3 is displayed on the display device 2. The GUI screen 1000 is provided with various software keys and a plurality of image display areas. Specifically, the plurality of image display areas include four image display areas provided in the upper tier and three image display areas provided in the lower tier.

上段に配置された4つの画像表示領域(正面画像表示領域)1101~1104には、3次元データセットDを基に形成された正面画像が表示される。正面画像表示領域1101~1104のそれぞれの枠部は、所定の色で表示される。4つの枠部の色は全て異なっている。例えば、正面画像表示領域1101~1104の枠部は、それぞれ、オレンジ色、黄緑色、空色、青色で表示される。 A front image formed based on the three-dimensional data set D is displayed in four image display areas (front image display areas) 1101 to 1104 arranged in the upper row. Each frame of the front image display areas 1101 to 1104 is displayed in a predetermined color. The colors of the four frames are all different. For example, the frames of the front image display areas 1101 to 1104 are displayed in orange, yellow-green, sky blue, and blue, respectively.

正面画像表示領域1101~1104のそれぞれの下方には、正面画像に関する条件を設定するための条件設定部1200が設けられている。条件設定部1200には各種のソフトキーが設けられている。本例の条件設定部1200は、次のソフトウェアキーを含む:画像化されるスライス範囲を所定の選択肢(Superficial、Deep、Outer retina、Choriocapillaris等)から選択するためのプルダウンメニュー;ガウシアンフィルタの適用の有無を選択するためのチェックボックス;スライス範囲の上端となる眼底の層(境界)を選択するためのプルダウンメニュー;この上端位置を深さ方向(Z方向)に移動するための上下ボタン及びオフセット表示部;スライス範囲の下端となる眼底の層(境界)を選択するためのプルダウンメニュー;この下端位置を深さ方向に移動するための上下ボタン及びオフセット表示部;現在の設定内容をリセットするためのリセットボタン。なお、スライス範囲の上端及び下端の選択肢の典型的な例として、ILM(内境界膜)、NFL/GCL(神経線維層-神経節細胞層境界)、IPL/INL(内網状層-内顆粒層境界)、IS/OS(視細胞内節外節接合部)、RPE(網膜色素上皮層)、BM(ブルッフ膜)、CSI(脈絡膜-強膜境界)などがある。ユーザは、上端のプルダウンメニュー及び下端のプルダウンメニューのそれぞれにおいて所望のバウンダリ(組織及び組織境界をまとめてバウンダリと呼ぶ)を設定し、更に、Bモード画像等を参照しつつ上下ボタンを操作することにより上端及び下端のそれぞれのオフセットを設定することができる。設定されたバウンダリに相当する3次元データセットD中の領域は、3次元データセットDのセグメンテーションの結果に基づき特定される。 A condition setting section 1200 for setting conditions regarding the front image is provided below each of the front image display areas 1101 to 1104. The condition setting section 1200 is provided with various soft keys. The condition setting unit 1200 in this example includes the following software keys: a pull-down menu for selecting the slice range to be imaged from predetermined options (Superficial, Deep, Outer retina, Choriocapillaris, etc.); Check box to select presence/absence; Pull-down menu to select the layer (boundary) of the fundus that is the upper end of the slice range; Up/down buttons and offset display to move this upper end position in the depth direction (Z direction) section; pull-down menu for selecting the layer (boundary) of the fundus that is the lower end of the slice range; up and down buttons and offset display section for moving this lower end position in the depth direction; Reset button. Typical examples of options for the upper and lower ends of the slice range are ILM (internal limiting membrane), NFL/GCL (nerve fiber layer - ganglion cell layer boundary), IPL/INL (inner plexiform layer - inner nuclear layer). IS/OS (inner segment outer segment junction), RPE (retinal pigment epithelium), BM (Bruch's membrane), and CSI (choroid-scleral interface). The user sets the desired boundaries (tissues and tissue boundaries are collectively referred to as boundaries) in the pull-down menu at the top and the pull-down menu at the bottom, and then operates the up and down buttons while referring to the B-mode image, etc. It is possible to set the offsets of the upper and lower ends. The area in the three-dimensional data set D that corresponds to the set boundary is specified based on the result of segmentation of the three-dimensional data set D.

下段には、左側から順に、Bモード画像表示領域1400、合成正面画像表示領域1300、及び眼底像表示領域1500が配置されている。 In the lower row, a B-mode image display area 1400, a composite front image display area 1300, and a fundus image display area 1500 are arranged in order from the left side.

なお、この段階では、GUI画面1000に被検眼の画像は表示されていない。ただし、眼底像表示領域1500にはこの段階で既に眼底像が表示されていてよい。 Note that at this stage, the image of the eye to be examined is not displayed on the GUI screen 1000. However, the fundus image may already be displayed in the fundus image display area 1500 at this stage.

データ処理部40のBモード画像形成部415は、3次元データセットDに基づいてBモード画像を形成する。Bモード画像の断面の設定は、ユーザ又はBモード画像形成部415により実行される。Bモード画像表示制御部114は、形成されたBモード画像HをBモード画像表示領域1400に表示させる(図3を参照)。ユーザは、Bスキャン面を変更するための操作を行うことができる。例えば、Bモード画像表示領域1400の下方に設けられたスライダを左右方向に移動することで、Bスキャン面を平行移動させることができる。Bモード画像形成部415は、スライダの位置に応じた断面を表す新たなBモード画像を形成する。Bモード画像表示制御部114は、この新たなBモード画像でBモード画像Hを更新する。 The B-mode image forming section 415 of the data processing section 40 forms a B-mode image based on the three-dimensional data set D. Setting of the cross section of the B-mode image is executed by the user or the B-mode image forming unit 415. The B-mode image display control unit 114 displays the formed B-mode image H in the B-mode image display area 1400 (see FIG. 3). The user can perform operations to change the B-scan plane. For example, by moving a slider provided below the B-mode image display area 1400 in the left-right direction, the B-scan plane can be moved in parallel. The B-mode image forming unit 415 forms a new B-mode image representing a cross section according to the position of the slider. B-mode image display control unit 114 updates B-mode image H with this new B-mode image.

また、セグメンテーション処理部411は、3次元データセットDのセグメンテーションを行う。本例では、網膜を構成する複数の層組織に相当する複数の部分データセットと、脈絡膜に相当する部分データセットと、硝子体に相当する部分データセットとが、セグメンテーションによって特定される。Bモード画像表示制御部114は、セグメンテーションにより特定された層組織やその境界に相当するBモード画像H中の画像領域の表示態様を変更することができる。 Furthermore, the segmentation processing unit 411 performs segmentation of the three-dimensional data set D. In this example, a plurality of partial data sets corresponding to a plurality of layer tissues constituting the retina, a partial data set corresponding to the choroid, and a partial data set corresponding to the vitreous body are specified by segmentation. The B-mode image display control unit 114 can change the display mode of an image area in the B-mode image H that corresponds to the layer structure or its boundary identified by segmentation.

ユーザは、所望のスライス範囲を設定するためにBモード画像Hを参照することができる。条件設定部1200を用いてスライス範囲等が設定されると、正面画像形成部412は、設定されたスライス範囲に基づく正面画像を形成する。正面画像表示制御部112は、形成された正面画像を、この条件設定部1200に対応する正面画像表示領域(正面画像表示領域1101~1104のうち、この条件設定部1200の上方に配置された1つ)に表示させる。このような操作及び処理を繰り返すことで、正面画像表示領域1101~1104にそれぞれ正面画像G1~G4が表示される(図3を参照)。 The user can refer to the B-mode image H to set the desired slice range. When the slice range and the like are set using the condition setting unit 1200, the front image forming unit 412 forms a front image based on the set slice range. The front image display control unit 112 displays the formed front image in a front image display area corresponding to this condition setting unit 1200 (one of the front image display areas 1101 to 1104 located above this condition setting unit 1200). ). By repeating such operations and processing, front images G1 to G4 are displayed in front image display areas 1101 to 1104, respectively (see FIG. 3).

色変換部413は、4つの正面画像G1~G4の少なくとも一部の正面画像(グレースケール画像)を(部分的に)カラー画像に変換する。正面画像に付される色は、その正面画像が表示されている正面画像表示領域の枠部の色と同じである。例えば、色変換部413は、次の4つの処理のうちの一部又は全部を実行する:正面画像G1に描出された血管領域の画素に、正面画像表示領域1101の枠部と同じオレンジ色を割り当てる;正面画像G2に描出された血管領域の画素に、正面画像表示領域1102の枠部と同じ黄緑色を割り当てる;正面画像G3に描出された血管領域の画素に、正面画像表示領域1103の枠部と同じ空色を割り当てる;正面画像G4に描出された血管領域の画素に、正面画像表示領域1104の枠部と同じ青色を割り当てる。 The color conversion unit 413 converts at least part of the front images (grayscale images) of the four front images G1 to G4 (partially) into a color image. The color given to the front image is the same as the color of the frame of the front image display area in which the front image is displayed. For example, the color conversion unit 413 executes some or all of the following four processes: The same orange color as the frame of the front image display area 1101 is applied to the pixels of the blood vessel region depicted in the front image G1. Assign the same yellow-green color as the frame of the front image display area 1102 to the pixels of the blood vessel region depicted in the front image G2; Assign the frame of the front image display region 1103 to the pixels of the blood vessel region depicted in the front image G3 The same blue color as the frame of the front image display area 1104 is assigned to the pixels of the blood vessel region depicted in the front image G4.

合成正面画像形成部414は、色変換部413により(部分的な)カラー画像に変換された正面画像の一部又は全部を含む複数の正面画像を合成することにより合成正面画像を形成する。合成正面画像を形成する処理について図4及び図5を参照しつつ説明する。なお、説明の理解のために、図4及び図5には、被検眼の画像の代わりに図形が描かれている。 The composite front image forming unit 414 forms a composite front image by combining a plurality of front images including part or all of the front image converted into a (partial) color image by the color conversion unit 413. The process of forming a composite frontal image will be described with reference to FIGS. 4 and 5. Note that for the sake of understanding the explanation, figures are drawn in place of images of the eye to be examined in FIGS. 4 and 5.

図4に示すように、正面画像表示領域1101の枠部1101aはオレンジ色で表示され、円G1aが描出された正面画像G1が枠部1101a内に表示されている。正面画像表示領域1102の枠部1102aは黄緑色で表示され、三角形G2aが描出された正面画像G2が枠部1102a内に表示されている。正面画像表示領域1103の枠部1103aは空色で表示され、ひし形G3aが描出された正面画像G3が枠部1103a内に表示されている。正面画像表示領域1104の枠部1104aは青色で表示され、五角形G4aが描出された正面画像G4が枠部1104a内に表示されている。 As shown in FIG. 4, a frame 1101a of the front image display area 1101 is displayed in orange, and a front image G1 in which a circle G1a is drawn is displayed within the frame 1101a. A frame 1102a of the front image display area 1102 is displayed in yellow-green, and a front image G2 in which a triangle G2a is drawn is displayed within the frame 1102a. A frame portion 1103a of the front image display area 1103 is displayed in sky blue, and a front image G3 in which a diamond G3a is drawn is displayed within the frame portion 1103a. A frame 1104a of the front image display area 1104 is displayed in blue, and a front image G4 in which a pentagon G4a is drawn is displayed within the frame 1104a.

合成正面画像形成部414は、4つの正面画像G1~G4のうちの3つの正面画像G1~G3を合成する。正面画像G1の円G1aに相当する画素(高輝度画素)には、色変換部413によりオレンジ色が割り当てられている。正面画像G2の三角形G2aに相当する画素(高輝度画素)には、色変換部413により黄緑色が割り当てられている。正面画像G3のひし形G3aに相当する画素(高輝度画素)には、色変換部413により空色が割り当てられている。 The composite frontal image forming unit 414 combines three frontal images G1 to G3 of the four frontal images G1 to G4. The color conversion unit 413 assigns an orange color to a pixel (high-brightness pixel) corresponding to the circle G1a of the front image G1. The color conversion unit 413 assigns yellow-green to the pixel (high-brightness pixel) corresponding to the triangle G2a of the front image G2. The color conversion unit 413 assigns sky blue to the pixel (high-brightness pixel) corresponding to the diamond G3a of the front image G3.

合成正面画像形成部414は、3つの正面画像G1~G3を合成する(図5を参照)。それにより、オレンジ色の円G1aと、黄緑色の三角形G2aと、空色のひし形G3aとが描出された合成正面画像Gが得られる。合成正面画像表示制御部113は、形成された合成正面画像Gを合成正面画像表示領域1300に表示させる。図3に示す3つの正面画像G1~G3が合成される場合、正面画像G1~G3は互いに異なる深さ位置の血管強調画像(アンギオグラム)であるから、形成される合成正面画像Gには、正面画像G1中の血管領域がオレンジ色で表現され、正面画像G2中の血管領域が黄緑色で表現され、正面画像G3中の血管領域が空色で表現されている。すなわち、様々な深さに存在する血管が、深さ位置に応じた色によって識別可能に表現されている。 The composite frontal image forming unit 414 composites the three frontal images G1 to G3 (see FIG. 5). As a result, a composite front image G is obtained in which an orange circle G1a, a yellow-green triangle G2a, and a sky blue diamond G3a are depicted. The composite front image display control unit 113 displays the formed composite front image G in the composite front image display area 1300. When the three frontal images G1 to G3 shown in FIG. 3 are synthesized, the frontal images G1 to G3 are blood vessel-enhanced images (angiograms) at different depth positions. The blood vessel region in the front image G1 is expressed in orange, the blood vessel region in the front image G2 is expressed in yellow-green, and the blood vessel region in the front image G3 is expressed in sky blue. That is, blood vessels existing at various depths are identifiably expressed using colors depending on the depth position.

セグメント特定部416は、正面画像G1~G4のそれぞれのスライス範囲(セグメント)に対応するBモード画像Hの部分領域を特定する。セグメント表示制御部115は、セグメント特定部416により特定されたBモード画像Hの部分領域を示すセグメント情報をBモード画像H上に表示させる。各セグメント情報は、対応する正面画像に割り当てられた色で表示される。 The segment specifying unit 416 specifies a partial area of the B-mode image H corresponding to each slice range (segment) of the front images G1 to G4. The segment display control unit 115 causes segment information indicating the partial area of the B-mode image H specified by the segment specifying unit 416 to be displayed on the B-mode image H. Each segment information is displayed in the color assigned to the corresponding front image.

セグメント情報の表示例を図3に示す。本例では、正面画像G1のスライス範囲は「Superficial」に設定され、正面画像G2のスライス範囲は「Deep」に設定され、正面画像G3のスライス範囲は「Outer retina」に設定され、正面画像G4のスライス範囲は「Choriocapillaris」に設定されている。 FIG. 3 shows an example of displaying segment information. In this example, the slice range of the front image G1 is set to "Superficial," the slice range of the front image G2 is set to "Deep," the slice range of the front image G3 is set to "Outer retina," and the slice range of the front image G4 is set to "Outer retina." The slice range of is set to "Choriocapillaris".

正面画像G1のスライス範囲は、境界B1を上端とし境界B2を下端とする部分領域H1に相当し、これを表すセグメント情報として部分領域H1がオレンジ色(枠部1101aの色)で提示される。正面画像G2のスライス範囲は、境界B2を上端とし境界B3を下端とする部分領域H2に相当し、これを表すセグメント情報として部分領域H2が黄緑色(枠部1102aの色)で提示される。正面画像G3のスライス範囲は、境界B3を上端とし境界B4を下端とする部分領域H3に相当し、これを表すセグメント情報として部分領域H3が空色(枠部1103aの色)で提示される。正面画像G4のスライス範囲は、境界B4を上端とする部分領域H4に相当し、これを表すセグメント情報として部分領域H4が青色(枠部1104aの色)で提示される。なお、符号H5は硝子体に相当する部分領域を示す。 The slice range of the front image G1 corresponds to a partial area H1 having the boundary B1 as the upper end and the boundary B2 as the lower end, and the partial area H1 is presented in orange (the color of the frame 1101a) as segment information representing this. The slice range of the front image G2 corresponds to a partial region H2 having the boundary B2 as the upper end and the boundary B3 as the lower end, and the partial region H2 is presented in yellow-green (the color of the frame portion 1102a) as segment information representing this. The slice range of the front image G3 corresponds to a partial area H3 having the boundary B3 as the upper end and the boundary B4 as the lower end, and the partial area H3 is presented in sky blue (the color of the frame portion 1103a) as segment information representing this. The slice range of the front image G4 corresponds to a partial area H4 whose upper end is the boundary B4, and the partial area H4 is presented in blue (the color of the frame 1104a) as segment information representing this. Note that the symbol H5 indicates a partial region corresponding to the vitreous body.

ここで、正面画像G1~G4の全てについてセグメント情報を提示する必要はない。例えば、合成正面画像Gの形成に用いられた正面画像G1~G3についてのみセグメント情報を提示することができる。 Here, it is not necessary to present segment information for all of the front images G1 to G4. For example, segment information can be presented only for the front images G1 to G3 used to form the composite front image G.

ユーザは正面画像G1~G4のうちの所望の正面画像を指定することができる。所望の正面画像の指定は、例えば、操作部50に含まれるポインティングデバイスを用いて1以上の正面画像をクリックすることによって行われる。セグメント表示制御部115は、指定された正面画像に対応するセグメント情報のみを表示させる。例えば、正面画像G1が指定されると、それに対応する部分領域H1にのみセグメント情報が付され(つまりオレンジ色で表示され)、他の部分領域H2~H5はグレースケールで表示される。それにより、注目している正面画像に対応するセグメントを容易に把握できる。なお、指定された正面画像に対応するセグメントを疑似カラー表示することで、このセグメントを詳細に観察できるようにしてよい。 The user can specify a desired front image among the front images G1 to G4. Designation of a desired front image is performed, for example, by clicking on one or more front images using a pointing device included in the operation unit 50. The segment display control unit 115 displays only segment information corresponding to the designated front image. For example, when the front image G1 is specified, segment information is attached only to the corresponding partial area H1 (that is, it is displayed in orange), and the other partial areas H2 to H5 are displayed in gray scale. Thereby, the segment corresponding to the front image of interest can be easily grasped. Note that the segment corresponding to the specified front image may be displayed in pseudo color so that the segment can be observed in detail.

ユーザは、合成正面画像の形成に供される正面画像を選択することができる。この選択は、例えば、操作部50に含まれるポインティングデバイスを用いて2以上の正面画像をクリックすることによって行われる。また、現在の合成正面画像の形成に用いられた正面画像のいずれかを削除又は置換することや、新たな正面画像を付加することも可能である。合成正面画像形成部414は、正面画像の新たな組み合わせ(色変換がされた正面画像を含む)に基づいて新たな合成正面画像を形成する。合成正面画像表示制御部113は、現在の合成正面画像の代わりに新たな合成正面画像を表示させる。それにより、ユーザが指定した正面画像の組み合わせに基づく合成正面画像を観察することができる。 A user can select a frontal image to be used for forming a composite frontal image. This selection is performed, for example, by clicking on two or more front images using a pointing device included in the operation unit 50. It is also possible to delete or replace any of the frontal images used to form the current composite frontal image, or to add a new frontal image. The composite front image forming unit 414 forms a new composite front image based on a new combination of front images (including a color-converted front image). The composite front image display control unit 113 displays a new composite front image instead of the current composite front image. Thereby, a composite front image based on the combination of front images specified by the user can be observed.

正面画像の選択を自動で行うよう構成することも可能である。例えば、設定されたスライス範囲に基づいて正面画像の選択を行うことができる。具体例として、脈絡膜の一部や硝子体の一部がスライス範囲として指定された場合、このようなスライス範囲を合成正面画像の形成の対象から外すことができる。脈絡膜内には小さな血管が多数分布しており、血管領域に色を割り当てると正面画像全体が薄く色付いたように見えて、網膜血管の分布の把握を妨げるおそれがある。硝子体については、一般に、眼底血管の観察には不要である。なお、硝子体牽引のような硝子体の異常を観察する場合などには、硝子体の一部を含むスライス範囲を含めて合成正面画像を形成することができる。更に、硝子体と網膜との接触面や、網膜近傍の硝子体を観察したい場合などにも、硝子体の一部を含むスライス範囲を含めて合成正面画像を形成することができる。また、3次元データセットDの種別(血管強調画像、形態画像、血流動態画像等)に応じて、合成正面画像の形成の対象となるスライス範囲を切り替えることができる。 It is also possible to configure the front image to be automatically selected. For example, a front image can be selected based on a set slice range. As a specific example, if a part of the choroid or a part of the vitreous body is specified as a slice range, such a slice range can be excluded from the formation of a composite frontal image. Many small blood vessels are distributed within the choroid, and if colors are assigned to blood vessel regions, the entire frontal image will appear to be lightly colored, which may hinder understanding of the distribution of retinal blood vessels. The vitreous body is generally not necessary for observing fundus blood vessels. Note that when observing an abnormality of the vitreous body such as vitreous body traction, a composite frontal image can be formed including a slice range that includes a part of the vitreous body. Furthermore, when it is desired to observe the contact surface between the vitreous body and the retina or the vitreous body near the retina, it is possible to form a composite frontal image including a slice range that includes a part of the vitreous body. Further, depending on the type of the three-dimensional data set D (vessel-enhanced image, morphological image, blood flow dynamics image, etc.), the slice range that is the target of forming the composite frontal image can be switched.

ユーザは、現在の正面画像G1~G4のうち所望の正面画像のスライス範囲を任意に変更することができる。スライス範囲の変更には条件設定部1200が用いられる。ユーザは、操作部50に含まれるポインティングデバイス(マウス等)を用いて条件設定部1200内のソフトウェアキーを操作することにより、所望のスライス範囲を設定する。 The user can arbitrarily change the slice range of a desired front image among the current front images G1 to G4. The condition setting unit 1200 is used to change the slice range. The user sets a desired slice range by operating software keys in the condition setting section 1200 using a pointing device (such as a mouse) included in the operation section 50.

例えば正面画像G1のスライス範囲が変更されると、正面画像形成部412は、新たに設定されたスライス範囲に基づいて新たな正面画像を形成する。正面画像表示制御部112は、現在の正面画像G1の代わりに新たな正面画像を表示させる。 For example, when the slice range of the front image G1 is changed, the front image forming unit 412 forms a new front image based on the newly set slice range. The front image display control unit 112 displays a new front image instead of the current front image G1.

また、色変換部413は、新たな正面画像の一部(血管領域等)に正面画像G1に対応する色(オレンジ色)を割り当てる。合成正面画像形成部414は、この新たな正面画像を正面画像G1の代わりに用いて新たな合成正面画像を形成する。合成正面画像表示制御部113は、現在の合成正面画像Gの代わりに新たな合成正面画像を表示させる。新たな合成正面画像では、新たな正面画像における血管領域等が更新前の正面画像Gと同じ色で表現されている。 Further, the color conversion unit 413 assigns a color (orange) corresponding to the front image G1 to a part of the new front image (such as a blood vessel region). The composite front image forming unit 414 uses this new front image instead of the front image G1 to form a new composite front image. The composite front image display control unit 113 displays a new composite front image instead of the current composite front image G. In the new composite frontal image, blood vessel regions and the like in the new frontal image are expressed in the same color as the frontal image G before updating.

更に、セグメント特定部416は、新たな正面画像のスライス範囲に対応するBモード画像Hの部分領域を新たに求める。セグメント表示制御部115は、現在の正面画像G1に対応するセグメント情報の代わりに、新たに特定された部分領域を示す新たなセグメント情報を表示させる。 Furthermore, the segment specifying unit 416 newly obtains a partial region of the B-mode image H that corresponds to the slice range of the new front image. The segment display control unit 115 displays new segment information indicating the newly specified partial area instead of the segment information corresponding to the current front image G1.

このような構成によれば、正面画像のスライス範囲の任意の変更に対応して、正面画像の更新、合成正面画像の更新、及び、セグメント情報の更新を自動で行うことが可能である。 According to such a configuration, it is possible to automatically update the front image, update the composite front image, and update the segment information in response to any change in the slice range of the front image.

[作用・効果]
実施形態に係る眼科画像表示装置の作用及び効果について説明する。
[Action/Effect]
The functions and effects of the ophthalmologic image display device according to the embodiment will be described.

実施形態の眼科画像表示装置(1)は、記憶部(20)と、画像処理部(41)と、表示制御部(11)とを備える。記憶部(20)は、OCTを用いて被検眼をスキャンして取得された3次元データセット(D)を記憶する。画像処理部(41)は、3次元データセット(D)に基づいて、Bモード画像(H)と、複数の正面画像(G1~G4)と、複数の正面画像(G1~G4)が合成された合成正面画像(G)とを形成する。表示制御部(11)は、Bモード画像(H)と複数の正面画像(G1~G4)と合成正面画像(G)とを所定のレイアウトで表示手段(表示デバイス2)に表示させる。上記実施形態のGUI画面1000は、これら画像の表示レイアウトの例を提供する。 The ophthalmologic image display device (1) of the embodiment includes a storage section (20), an image processing section (41), and a display control section (11). The storage unit (20) stores a three-dimensional data set (D) obtained by scanning the subject's eye using OCT. The image processing unit (41) synthesizes the B-mode image (H), the plurality of frontal images (G1 to G4), and the plurality of frontal images (G1 to G4) based on the three-dimensional data set (D). A composite frontal image (G) is formed. The display control unit (11) causes the display means (display device 2) to display the B-mode image (H), the plurality of front images (G1 to G4), and the composite front image (G) in a predetermined layout. The GUI screen 1000 of the above embodiment provides an example of the display layout of these images.

表示制御部(11)は、複数の正面画像(G1~G4)を色で識別するための識別色情報(枠部1101a~1104aの色)を表示させる。また、表示制御部(11)は、複数の正面画像(G1~G4)のそれぞれが表す3次元データセット(D)のスライス範囲に対応するBモード画像(H)の部分領域(H1~H4)を、識別色情報に応じた色で示すスライス範囲情報(部分領域H1~H4の提示色)を表示させる。更に、表示制御部(11)は、識別色情報に応じた色でそれぞれが表現された複数の正面画像(G1~G4)の少なくとも一部に基づく合成正面画像(G)を表示させる。 The display control unit (11) displays identification color information (colors of frames 1101a to 1104a) for identifying the plurality of front images (G1 to G4) by color. The display control unit (11) also displays partial regions (H1 to H4) of the B-mode image (H) corresponding to the slice range of the three-dimensional data set (D) represented by each of the plurality of frontal images (G1 to G4). slice range information (presentation colors of partial areas H1 to H4) is displayed in a color corresponding to the identification color information. Further, the display control unit (11) displays a composite front image (G) based on at least a portion of the plurality of front images (G1 to G4), each of which is expressed in a color according to the identification color information.

このような実施形態によれば、複数の正面画像を観察するときに、正面画像の位置(深さ位置)や正面画像間の位置関係をスライス範囲情報によって把握でき、更に、様々な深さ位置におけるオブジェクト(血管、病変部、層組織等)の状態や分布を合成正面画像によって把握することができる。したがって、被検眼の様々な深さ位置の状態を容易にかつ総合的に把握することが可能となる。 According to such an embodiment, when observing a plurality of frontal images, the position (depth position) of the frontal images and the positional relationship between the frontal images can be grasped by the slice range information, and furthermore, The state and distribution of objects (vessels, lesions, layered tissues, etc.) can be understood using a composite frontal image. Therefore, it becomes possible to easily and comprehensively understand the conditions of the eye to be examined at various depth positions.

実施形態は、第1操作部(操作部50)を備えていてよい。複数の正面画像(G1~G4)のいずれかである第1正面画像のスライス範囲を変更するための操作が第1操作部を用いて行われると、画像処理部(41)は、この新たなスライス範囲に基づいて新たな正面画像を形成し、かつ、第1正面画像を新たな正面画像で置換して新たな合成正面画像を形成する。更に、表示制御部(11)は、新たなスライス範囲に対応するBモード画像の部分領域を示す新たなスライス範囲情報を表示させ、第1正面画像に代えて新たな正面画像を表示させ、かつ、合成正面画像に代えて新たな合成正面画像を表示させるように制御を実行する。 The embodiment may include a first operation section (operation section 50). When an operation for changing the slice range of the first front image, which is one of the plurality of front images (G1 to G4), is performed using the first operation section, the image processing section (41) A new front image is formed based on the slice range, and the first front image is replaced with the new front image to form a new composite front image. Further, the display control unit (11) displays new slice range information indicating a partial area of the B-mode image corresponding to the new slice range, displays a new front image in place of the first front image, and , executes control to display a new composite front image instead of the composite front image.

このような構成によれば、まず、ユーザは、所望のスライス範囲の正面画像を表示させることができる。更に、スライス範囲が変更されたことに対応し、新たなスライス範囲に対応する正面画像が自動で表示され、この新たなスライス範囲を示す新たなスライス範囲情報が自動で表示され、この新たな正面画像を用いた新たな合成正面画像が自動で表示される。つまり、スライス範囲が変更されたことに対応して各種の画像や情報が自動で更新される。したがって、所望の深さ位置の観察を容易に行うことができる。 According to such a configuration, first, the user can display a front image of a desired slice range. Furthermore, in response to the change in the slice range, a front image corresponding to the new slice range is automatically displayed, new slice range information indicating this new slice range is automatically displayed, and this new front image is automatically displayed. A new composite frontal image using the images is automatically displayed. In other words, various images and information are automatically updated in response to changes in the slice range. Therefore, observation at a desired depth position can be easily performed.

なお、本例において、表示制御部(11)は、第1正面画像に対応する識別色情報に応じた色で新たなスライス範囲情報を表示させることができる。つまり、スライス範囲の変更に対応してスライス範囲情報が更新されるが、更新前後のスライス範囲情報の表示色を同じにすることができる。また、第1操作部は、スライス範囲情報又はBモード画像に対する操作を行うためのポインティングデバイス(マウス等)を含んでいてよい。 In addition, in this example, the display control unit (11) can display new slice range information in a color according to the identification color information corresponding to the first front image. That is, although the slice range information is updated in response to changes in the slice range, the slice range information can be displayed in the same color before and after the update. Further, the first operation unit may include a pointing device (such as a mouse) for performing operations on the slice range information or the B-mode image.

実施形態は、第2操作部(操作部50)を備えていてよい。複数の正面画像(G1~G4)のいずれかである第2正面画像を指定するための操作が第2操作部を用いて行われると、表示制御部(11)は、複数の正面画像(G1~G4)に対応する複数のスライス範囲情報のうち第2正面画像に対応するスライス範囲情報のみを表示させるよう制御を行うことができる。 The embodiment may include a second operation section (operation section 50). When an operation for specifying a second front image, which is any one of the plurality of front images (G1 to G4), is performed using the second operation section, the display control section (11) causes the display control section (11) to specify the second front image, which is any one of the plurality of front images (G1 to G4). Control can be performed so that only slice range information corresponding to the second front image is displayed among the plurality of slice range information corresponding to G4).

このような構成によれば、ユーザは、所望の正面画像のスライス範囲を容易かつ明確に把握することができる。 According to such a configuration, the user can easily and clearly understand the desired slice range of the front image.

実施形態において、画像処理部(41)は、複数の正面画像(G1~G4)のそれぞれにおける高輝度画素に識別色情報に応じた色を割り当てた後、これら正面画像(G1~G4)の少なくとも一部を合成して合成正面画像(G)を形成するように構成されてよい。 In the embodiment, the image processing unit (41) assigns a color according to identification color information to each of the high-intensity pixels in each of the plurality of front images (G1 to G4), and then assigns a color to at least one of the plurality of front images (G1 to G4). It may be configured to combine some of the images to form a composite frontal image (G).

このような構成によれば、比較的高い輝度で表現されるオブジェクトを、スライス範囲の位置(深さ位置)に応じて色分けして表示させることが可能である。本例は、血管や病変の観察に有効である。 According to such a configuration, it is possible to display objects expressed with relatively high brightness in different colors depending on the position (depth position) of the slice range. This example is effective for observing blood vessels and lesions.

実施形態は、複数の正面画像のうちの2以上の正面画像を選択するための画像選択部を備えていてよい。上記実施形態では、例えば制御部10の一部が画像選択部として機能する。画像選択部は、そのためのコンピュータプログラムに応じて動作するプロセッサを含む。画像選択部は、所定の属性(例えば、スライス範囲の種別、3次元データセットの種別など)を参照して正面画像を自動で選択するよう構成されてもよいし、ユーザからの指示(操作)を受けて正面画像を選択するよう構成されてもよい。つまり、本例における正面画像の選択は、自動選択でも手動選択でもよい。画像処理部(41)は、画像選択部により選択された2以上の正面画像に基づいて他の合成正面画像を形成する。表示制御部(11)は、現に表示されている合成正面画像(G)に代えて、新たに形成された他の合成正面画像を表示させる。 The embodiment may include an image selection unit for selecting two or more front images from among the plurality of front images. In the above embodiment, for example, a part of the control unit 10 functions as an image selection unit. The image selection unit includes a processor that operates according to a computer program therefor. The image selection unit may be configured to automatically select a frontal image by referring to predetermined attributes (for example, the type of slice range, the type of three-dimensional dataset, etc.), or may be configured to automatically select a front image by referring to a predetermined attribute (for example, the type of slice range, the type of three-dimensional dataset, etc.) The front image may be selected based on the received information. That is, the selection of the front image in this example may be automatic selection or manual selection. The image processing section (41) forms another composite frontal image based on the two or more frontal images selected by the image selection section. The display control unit (11) displays another newly formed composite front image in place of the currently displayed composite front image (G).

このような構成によれば、自動又は手動で選択された2以上の正面画像から新たな合成正面画像を自動で形成して合成正面画像の表示を自動で更新することができる。したがって、観察作業の容易化を図ることが可能である。 According to such a configuration, a new composite front image can be automatically formed from two or more front images automatically or manually selected, and the display of the composite front image can be automatically updated. Therefore, it is possible to facilitate observation work.

実施形態において、画像処理部(41)は、セグメンテーション処理部(411)と、正面画像形成部(412)とを含んでいてよい。セグメンテーション処理部は、3次元データセットを解析することにより、被検眼の複数の組織に相当する複数の部分データセットを特定する。正面画像形成部は、特定された複数の部分データセットの少なくとも一部に基づいて複数の正面画像を形成する。 In the embodiment, the image processing section (41) may include a segmentation processing section (411) and a front image forming section (412). The segmentation processing unit specifies a plurality of partial data sets corresponding to a plurality of tissues of the eye to be examined by analyzing the three-dimensional data set. The front image forming unit forms a plurality of front images based on at least a portion of the plurality of identified partial data sets.

更に、画像処理部(41)は、正面画像形成部(412)により形成された複数の正面画像(G1~G4)の少なくとも一部のスライス範囲に対応するBモード画像(H)の部分領域(H1~H4)を特定する部分領域特定部(セグメント特定部416)を含んでいてよい。 Further, the image processing unit (41) generates a partial area ( H1 to H4) may be included.

このような構成によれば、眼底のような積層組織の正面画像を形成する処理を好適に行うことができる。例えば、単一の層組織を表す正面画像や、2以上の層組織の組み合わせを表す正面画像を提供することが可能である。更に、層組織の位置や層組織間の位置関係をBモード画像を参照して容易に把握することができる。なお、積層組織以外の眼組織に対して本構成を適用することも可能である。 According to such a configuration, processing for forming a front image of a laminated tissue such as the fundus of the eye can be suitably performed. For example, it is possible to provide a frontal image representing a single layered structure or a frontal image representing a combination of two or more layered structures. Furthermore, the positions of the layered structures and the positional relationships between the layered structures can be easily understood with reference to the B-mode image. Note that this configuration can also be applied to ocular tissues other than laminated tissues.

実施形態において、複数の正面画像(G1~G4)を色で識別するための識別色情報は、複数の正面画像(G1~G4)が表示される複数の表示領域(1101~1104)の枠部(1101a~1104a)にそれぞれ付された色を含んでよい。 In the embodiment, the identification color information for identifying the plurality of front images (G1 to G4) by color is the frame part of the plurality of display areas (1101 to 1104) in which the plurality of front images (G1 to G4) are displayed. (1101a to 1104a) may be included.

なお、識別色情報はこのような例示的な態様に限定されず、複数の正面画像(G1~G4)を色で識別可能な情報であればその態様は任意である。他の例として、識別色情報は、複数の正面画像(G1~G4)自体の表示色を含んでいてよい。 Note that the identification color information is not limited to such an exemplary form, and may be in any form as long as it is information that allows the plurality of front images (G1 to G4) to be identified by color. As another example, the identification color information may include the display colors of the plurality of front images (G1 to G4) themselves.

例えば、上記実施形態の色変換部413によって一部又は全部の画素の値がカラー値に変換された正面画像を表示させることが可能である。具体例として、血管領域がオレンジ色で表現された正面画像G1を正面画像表示領域1101に表示し、血管領域が黄緑色で表現された正面画像G2を正面画像表示領域1102に表示し、血管領域が空色で表現された正面画像G3を正面画像表示領域1103に表示し、血管領域が青色で表現された正面画像G4を正面画像表示領域1104に表示することができる。本例の場合、合成正面画像における各深さ位置の血管領域の色と、各深さ位置の正面画像中の血管領域の色とが一致しているので、双方の対応関係を把握しやすいという利点がある。 For example, it is possible to display a front image in which some or all of the pixel values have been converted into color values by the color conversion unit 413 of the above embodiment. As a specific example, a frontal image G1 in which a blood vessel region is expressed in orange is displayed in the frontal image display area 1101, a frontal image G2 in which a blood vessel region is expressed in yellow-green is displayed in the frontal image display area 1102, A frontal image G3 in which blood vessel regions are expressed in sky blue can be displayed in the frontal image display area 1103, and a frontal image G4 in which blood vessel regions are expressed in blue can be displayed in the frontal image display area 1104. In this example, the color of the blood vessel region at each depth position in the composite frontal image matches the color of the blood vessel region in the frontal image at each depth position, so it is easy to understand the correspondence between the two. There are advantages.

更に他の例として、既定の色のアイコンや画像を正面画像上又はその近傍に表示させたり、色を表す文字列(色の名称等)を正面画像上又はその近傍に表示させたりすることも可能である。 Furthermore, as another example, an icon or image of a predetermined color may be displayed on or near the front image, or a character string representing a color (color name, etc.) may be displayed on or near the front image. It is possible.

実施形態の作用及び効果はこれらに限定されず、実施形態として説明されたそれぞれの事項が提供する作用及び効果や、複数の事項の組み合わせが提供する作用及び効果も考慮されるべきである。 The functions and effects of the embodiments are not limited to these, and the functions and effects provided by each item described as an embodiment and the functions and effects provided by a combination of multiple items should also be considered.

〈眼科撮影装置〉
実施形態に係る眼科撮影装置は、例えば上記実施形態の眼科画像表示装置の一部又は全部を含んでよい。眼科撮影装置の構成例を図6に示す。なお、上記実施形態の眼科画像表示装置1(図1)と同様の構成部位には同じ符号を付し、特に言及しない限りその説明は省略する。また、図6に示す眼科撮影装置100は、図2に示す構成の一部又は全部を備えていてよい。更に、表示画面や表示画像については図3に示す態様と同じ又は類似であってよく、識別色情報の態様についても図4と同様であってよい。また、画像処理等のデータ処理については、図4及び図5を参照して説明した処理の一部又は全部、更にはその変形を適用することが可能である。
<Ophthalmology imaging device>
The ophthalmologic imaging device according to the embodiment may include, for example, a part or all of the ophthalmologic image display device of the embodiment described above. An example of the configuration of an ophthalmologic imaging device is shown in FIG. Note that the same components as those of the ophthalmological image display device 1 (FIG. 1) of the above embodiment are given the same reference numerals, and the description thereof will be omitted unless specifically mentioned. Further, the ophthalmologic imaging apparatus 100 shown in FIG. 6 may include part or all of the configuration shown in FIG. 2. Furthermore, the display screen and display image may be the same as or similar to the mode shown in FIG. 3, and the mode of identification color information may also be the same as that shown in FIG. Furthermore, with respect to data processing such as image processing, it is possible to apply some or all of the processing described with reference to FIGS. 4 and 5, and further modifications thereof.

眼科撮影装置100は、OCTを利用して被検眼のデータを収集する機能と、被検眼の画像を観察するためのGUIや被検眼に関する各種情報を表示デバイス2に表示させる機能とを備える。表示デバイス2は眼科撮影装置100の一部であってもよいし、眼科撮影装置100に接続された外部装置であってもよい。 The ophthalmologic imaging apparatus 100 has a function of collecting data of the eye to be examined using OCT, and a function of displaying a GUI for observing an image of the eye to be examined and various information regarding the eye to be examined on the display device 2. The display device 2 may be a part of the ophthalmologic imaging apparatus 100 or may be an external device connected to the ophthalmologic imaging apparatus 100.

眼科撮影装置100は、制御部10と、記憶部20と、データ処理部40と、操作部50と、データ収集部110とを含む。制御部10は表示制御部11を含む。記憶部20には、上記実施形態と同様に、GUIテンプレート21と、表示制御プログラム22と、データ処理プログラム23と、3次元データセットDとが記憶される。3次元データセットDは、データ収集部10により作成されて記憶部20に格納される。制御部10、記憶部20、データ処理部40及び操作部50は、上記実施形態の眼科画像表示装置1におけるそれらと同様の機能を少なくとも含んでよい。 The ophthalmologic imaging apparatus 100 includes a control section 10, a storage section 20, a data processing section 40, an operation section 50, and a data collection section 110. The control section 10 includes a display control section 11 . Similar to the embodiment described above, the storage unit 20 stores a GUI template 21, a display control program 22, a data processing program 23, and a three-dimensional data set D. The three-dimensional data set D is created by the data collection unit 10 and stored in the storage unit 20. The control unit 10, the storage unit 20, the data processing unit 40, and the operation unit 50 may include at least the same functions as those in the ophthalmologic image display device 1 of the above embodiment.

データ収集部110は、被検眼に対してOCTを実行することにより3次元データセットを収集する。データ収集部110は、例えばスペクトラルドメインOCT又はスウェプトソースOCTを利用した計測を実行するための構成(光学系、駆動系、制御系等)と、OCTにより取得されたデータに基づいて画像データを形成するための構成(プロセッサ)とを含む。画像データ形成処理は、例えば従来のOCT技術と同様に、ノイズ除去(ノイズ低減)、フィルタ処理、FFT(Fast Fourier Transform)などの処理を含む。 The data collection unit 110 collects a three-dimensional data set by performing OCT on the eye to be examined. The data collection unit 110 includes a configuration (optical system, drive system, control system, etc.) for performing measurement using, for example, spectral domain OCT or swept source OCT, and forms image data based on data acquired by OCT. and a configuration (processor) for doing so. Image data formation processing includes processing such as noise removal (noise reduction), filter processing, and FFT (Fast Fourier Transform), for example, similar to conventional OCT technology.

データ収集部110は、被検眼の3次元領域をスキャンする。そのときのスキャンモードは、例えばラスタスキャン(3次元スキャン)である。このラスタスキャンは、例えば、複数のB断面のそれぞれを所定回数ずつスキャンするように、つまり、複数のB断面を所定回数ずつ順次にスキャンするように実行される。データ収集部110は、ラスタスキャンにより収集されたデータに基づいて、各B断面について複数の断面像(Bモード画像)を形成する。これら断面像を単一の3次元座標系に埋め込むことによりスタックデータが形成される。このスタックデータにおいては、各B断面に所定枚数の断面像が割り当てられている。また、このスタックデータに対して補間処理等を施すことによりボリュームデータ(ボクセルデータ)が形成される。このボリュームデータについても、各B断面に相当する位置に所定数のボクセル群が割り当てられている。スタックデータやボリュームデータは、3次元データセットDの例である。作成された3次元データセットDは、制御部10により記憶部20に格納される。 The data collection unit 110 scans a three-dimensional region of the eye to be examined. The scan mode at that time is, for example, raster scan (three-dimensional scan). This raster scan is performed, for example, so that each of the plurality of B cross sections is scanned a predetermined number of times, that is, the plurality of B cross sections are sequentially scanned a predetermined number of times. The data collection unit 110 forms a plurality of cross-sectional images (B-mode images) for each B-section based on data collected by raster scanning. Stack data is formed by embedding these cross-sectional images into a single three-dimensional coordinate system. In this stack data, a predetermined number of cross-sectional images are assigned to each B cross-section. Further, volume data (voxel data) is formed by performing interpolation processing or the like on this stack data. Regarding this volume data as well, a predetermined number of voxel groups are assigned to positions corresponding to each B cross section. Stack data and volume data are examples of three-dimensional data set D. The created three-dimensional data set D is stored in the storage unit 20 by the control unit 10.

眼科撮影装置100は、このようにして得られた3次元データセットDに基づいて、上記実施形態の眼科画像表示装置1と同様のGUIや制御やデータ処理を提供する。データ処理部40は、3次元データセットDに基づいて、Bモード画像と、複数の正面画像と、これら正面画像の一部又は全部が合成された合成正面画像とを形成する。この処理は、上記実施形態の画像処理部41と同様であってよい(図2を参照)。 The ophthalmologic imaging device 100 provides the same GUI, control, and data processing as the ophthalmologic image display device 1 of the embodiment described above, based on the three-dimensional data set D obtained in this way. Based on the three-dimensional data set D, the data processing unit 40 forms a B-mode image, a plurality of front images, and a composite front image in which some or all of these front images are combined. This process may be similar to that of the image processing unit 41 of the above embodiment (see FIG. 2).

表示制御部11は、データ処理部40により形成されたBモード画像と複数の正面画像と合成正面画像とを所定のレイアウトで表示デバイス2に表示させる。更に、表示制御部11は、複数の正面画像を色で識別するための識別色情報を表示させる。また、表示制御部11は、複数の正面画像のそれぞれが表す3次元データセットDのスライス範囲に対応するBモード画像の部分領域を、識別色情報に応じた色で示すスライス範囲情報を表示させる。加えて、表示制御部11は、識別色情報に応じた色でそれぞれが表現された複数の正面画像に基づく合成正面画像を表示させる。 The display control unit 11 causes the display device 2 to display the B-mode image, the plurality of front images, and the composite front image formed by the data processing unit 40 in a predetermined layout. Furthermore, the display control unit 11 displays identification color information for identifying the plurality of front images by color. Further, the display control unit 11 displays slice range information indicating a partial region of the B-mode image corresponding to the slice range of the three-dimensional data set D represented by each of the plurality of front images in a color according to the identification color information. . In addition, the display control unit 11 displays a composite front image based on a plurality of front images, each of which is expressed in a color according to the identification color information.

このように、眼科撮影装置100は、実施形態に係る眼科画像表示装置にデータ収集部(OCT機能及びOCT画像形成機能)を追加した構成と言える。また、眼科撮影装置100は、上記実施形態の眼科画像表示装置に関する任意の事項(構成、制御、作用、効果等)を具備していてよい。 In this way, the ophthalmologic imaging apparatus 100 can be said to have a configuration in which a data collection section (OCT function and OCT image forming function) is added to the ophthalmologic image display apparatus according to the embodiment. Further, the ophthalmologic imaging device 100 may include any items (configuration, control, action, effect, etc.) regarding the ophthalmologic image display device of the above embodiment.

このような眼科撮影装置100によれば、上記実施形態の眼科画像表示装置1と同様に、被検眼の様々な深さ位置の状態を容易にかつ総合的に把握することが可能である。 According to such an ophthalmologic photographing apparatus 100, as with the ophthalmologic image display apparatus 1 of the embodiment described above, it is possible to easily and comprehensively understand the conditions of the subject's eye at various depth positions.

〈変形例〉
以上に説明した構成は、本発明を好適に実施するための一例に過ぎない。よって、本発明の要旨の範囲内における任意の変形(省略、置換、付加等)を適宜に施すことが可能である。
<Modified example>
The configuration described above is only one example for suitably implementing the present invention. Therefore, any modification (omission, substitution, addition, etc.) can be made as appropriate within the scope of the gist of the present invention.

例えば、実施形態に係る眼科画像表示装置及び眼科撮影装置において、上記した各種情報の色の表示は単色表現には限定されずグラデーション表現であってもよい。例えば、オレンジ色をベースとしたグラデーション(例:黒からオレンジ色混じりの白のグラデーション)で正面画像G1の一部又は全部を表示し、黄緑色をベースとしたグラデーション(例:黒から黄緑色混じりの白のグラデーション)で正面画像G2の一部又は全部を表示し、空色をベースとしたグラデーション(例:黒から空色混じりの白のグラデーション)で正面画像G3の一部又は全部を表示することができる。Bモード画像Hとともに表示されるセグメント情報として、オレンジ色をベースとしたグラデーションで部分領域H1を表示し、黄緑色をベースとしたグラデーションで部分領域H2を表示し、空色をベースとしたグラデーションで部分領域H3を表示し、青色をベースとしたグラデーションで部分領域H4を表示することができる。 For example, in the ophthalmologic image display device and the ophthalmologic imaging device according to the embodiments, the color display of the various information described above is not limited to monochromatic expression, but may be gradation expression. For example, part or all of the front image G1 is displayed with a gradation based on orange (e.g., a gradation from black to white mixed with orange), and a gradation based on yellow-green (e.g., from black to white mixed with yellow-green) is displayed. It is possible to display a part or all of the front image G2 with a gradation based on sky blue (for example, a gradation from black to white mixed with sky blue), and display a part or all of the front image G3 with a gradation based on sky blue (for example, a gradation from black to white mixed with sky blue). can. As the segment information displayed with the B-mode image H, the partial area H1 is displayed with an orange-based gradation, the partial area H2 is displayed with a yellow-green-based gradation, and the partial area H2 is displayed with a sky blue-based gradation. The area H3 can be displayed, and the partial area H4 can be displayed with a gradation based on blue.

また、深さ位置に応じてグラデーションを設定することが可能である。例えば、深さ位置(Z座標)とグラデーション(階調値)とが対応付けられたルックアップテーブルを予め記憶部212に記憶し、このルックアップテーブルを参照することにより正面画像の深さ位置に対応するグラデーションを特定し、特定されたグラデーションで当該正面画像の一部又は全部を表示することができる。更に、Bモード画像Hとともに表示されるセグメント情報についても、対応する正面画像と同じグラデーションで表示することができる。本例が適用される場合、複数の正面画像に割り当てられる色は同じであってもよい。この場合、複数の正面画像に描出されたオブジェクトの深さ位置はグラデーションによって認識される。このように、本発明における色による識別には、異なる色を用いた識別方法だけでなくグラデーションによる識別方法も含まれ、一般に、色に関する任意の特性を利用した識別方法もこれに含まれる。 Furthermore, it is possible to set a gradation depending on the depth position. For example, a lookup table in which depth positions (Z coordinates) and gradations (gradation values) are associated is stored in advance in the storage unit 212, and by referring to this lookup table, the depth position of the front image can be determined. A corresponding gradation can be specified, and part or all of the front image can be displayed using the specified gradation. Furthermore, the segment information displayed together with the B-mode image H can also be displayed with the same gradation as the corresponding front image. When this example is applied, the colors assigned to multiple frontal images may be the same. In this case, the depth position of the object depicted in the plurality of frontal images is recognized by gradation. In this way, the color-based identification in the present invention includes not only identification methods using different colors but also gradation-based identification methods, and generally also includes identification methods using any color-related characteristics.

1 眼科画像表示装置
2 表示デバイス
10 制御部
11 表示制御部
20 記憶部
D 3次元データセット
40 データ処理部
41 画像処理部
50 操作部

1 Ophthalmic image display device 2 Display device 10 Control section 11 Display control section 20 Storage section D 3D data set 40 Data processing section 41 Image processing section 50 Operation section

Claims (1)

光コヒーレンストモグラフィを用いて眼底の一部及び硝子体の一部を含む被検眼の3次元領域をスキャンして取得された3次元データセットを記憶する記憶部と、
前記3次元データセットのセグメンテーションを行うことにより、前記眼底の複数の層組織に相当する複数の部分データセットと前記硝子体に相当する部分データセットとを特定するセグメンテーション処理部と、
前記3次元データセットと前記眼底の前記複数の層組織に相当する前記複数の部分データセットと前記硝子体に相当する前記部分データセットとに基づいて前記眼底及び前記硝子体の双方を表すBモード画像と深さ位置が異なる前記眼底の複数の正面画像とを形成し、かつ、前記複数の正面画像を合成して合成正面画像を形成する画像処理部と、
前記Bモード画像と前記複数の正面画像と前記合成正面画像とを所定のレイアウトで表示手段に表示させる表示制御部と、
操作部と
を備え、
前記表示制御部により前記Bモード画像と前記複数の正面画像と前記合成正面画像とが前記表示手段に表示された後に、前記複数の正面画像のうちの一の正面画像が表す前記3次元データセットのスライス範囲を変更するための操作が前記操作部を用いて行われたとき、前記画像処理部は、この新たなスライス範囲に基づいて新たな正面画像を形成し、かつ、前記一の正面画像を前記新たな正面画像で置換して新たな合成正面画像を形成し、
前記表示制御部は、前記新たなスライス範囲に対応する前記Bモード画像の部分領域を示す新たなスライス範囲情報を表示させ、前記一の正面画像に代えて前記新たな正面画像を表示させ、かつ、前記合成正面画像に代えて前記新たな合成正面画像を表示させ、
前記3次元データセットのスライス範囲として前記硝子体の一部が指定された場合、前記画像処理部は、指定された前記硝子体の前記一部が除外された合成正面画像を形成する
ことを特徴とする眼科画像表示装置。
a storage unit that stores a three-dimensional data set obtained by scanning a three-dimensional region of the eye to be examined including a part of the fundus and a part of the vitreous body using optical coherence tomography;
a segmentation processing unit that performs segmentation of the three-dimensional data set to identify a plurality of partial data sets corresponding to a plurality of layer tissues of the fundus and a partial data set corresponding to the vitreous body;
a B mode that represents both the fundus and the vitreous body based on the three-dimensional data set, the plurality of partial data sets corresponding to the plurality of layer tissues of the fundus, and the partial data set corresponding to the vitreous body; an image processing unit that forms a plurality of frontal images of the fundus having different depth positions from the image, and synthesizes the plurality of frontal images to form a composite frontal image;
a display control unit that causes a display unit to display the B-mode image, the plurality of front images, and the composite front image in a predetermined layout;
Equipped with an operation section and
After the display control unit displays the B-mode image, the plurality of frontal images, and the composite frontal image on the display means, the three-dimensional data set is displayed by one frontal image among the plurality of frontal images. When an operation for changing the slice range of the first front image is performed using the operation unit, the image processing unit forms a new front image based on this new slice range, and replacing with the new frontal image to form a new composite frontal image;
The display control unit displays new slice range information indicating a partial area of the B-mode image corresponding to the new slice range, and displays the new front image in place of the first front image, and , displaying the new composite front image in place of the composite front image;
When a part of the vitreous body is designated as a slice range of the three-dimensional data set, the image processing unit forms a composite frontal image in which the designated part of the vitreous body is excluded. An ophthalmological image display device.
JP2022074168A 2021-03-01 2022-04-28 Ophthalmology image display device Active JP7432652B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022074168A JP7432652B2 (en) 2021-03-01 2022-04-28 Ophthalmology image display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021031623A JP2021079205A (en) 2021-03-01 2021-03-01 Ophthalmologic image display apparatus
JP2022074168A JP7432652B2 (en) 2021-03-01 2022-04-28 Ophthalmology image display device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021031623A Division JP2021079205A (en) 2021-03-01 2021-03-01 Ophthalmologic image display apparatus

Publications (2)

Publication Number Publication Date
JP2022093539A JP2022093539A (en) 2022-06-23
JP7432652B2 true JP7432652B2 (en) 2024-02-16

Family

ID=75961903

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021031623A Pending JP2021079205A (en) 2021-03-01 2021-03-01 Ophthalmologic image display apparatus
JP2022074168A Active JP7432652B2 (en) 2021-03-01 2022-04-28 Ophthalmology image display device

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021031623A Pending JP2021079205A (en) 2021-03-01 2021-03-01 Ophthalmologic image display apparatus

Country Status (1)

Country Link
JP (2) JP2021079205A (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142498A (en) 2008-12-19 2010-07-01 Canon Inc Fundus image display apparatus, control method thereof, and computer program
US20110182517A1 (en) 2010-01-20 2011-07-28 Duke University Segmentation and identification of layered structures in images
JP2012045298A (en) 2010-08-30 2012-03-08 Canon Inc Apparatus, method and system of image processing, and program
JP2014113207A (en) 2012-12-06 2014-06-26 Tomey Corporation Tomographic apparatus and tomographic image processing method
WO2015017536A1 (en) 2013-07-31 2015-02-05 The Board Of Trustees Of The Leland Stanford Junior University Method and system for evaluating progression of age-related macular degeneration
US20150092195A1 (en) 2013-09-30 2015-04-02 Carl Zeiss Meditec, Inc. Systems and methods for bidirectional functional optical coherence tomography

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2825213A1 (en) * 2011-01-28 2012-08-02 Optovue, Inc. Computer-aided diagnosis of retinal pathologies using frontal en-face views of optical coherence tomography

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142498A (en) 2008-12-19 2010-07-01 Canon Inc Fundus image display apparatus, control method thereof, and computer program
US20110182517A1 (en) 2010-01-20 2011-07-28 Duke University Segmentation and identification of layered structures in images
JP2012045298A (en) 2010-08-30 2012-03-08 Canon Inc Apparatus, method and system of image processing, and program
JP2014113207A (en) 2012-12-06 2014-06-26 Tomey Corporation Tomographic apparatus and tomographic image processing method
WO2015017536A1 (en) 2013-07-31 2015-02-05 The Board Of Trustees Of The Leland Stanford Junior University Method and system for evaluating progression of age-related macular degeneration
US20150092195A1 (en) 2013-09-30 2015-04-02 Carl Zeiss Meditec, Inc. Systems and methods for bidirectional functional optical coherence tomography

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KIM Dae Yu et al.,"Optical imaging of the chorioretinal vasculature in the living human eye",Proceedings of the National Academy of Sciences of the United States of America,2013年08月27日,Vol. 110、No. 35,pp. 14354-14359
POVAZAY Boris et al.,"Wide-Field Optical Coherence Tomography of the Choroid In Vivo",Investigative Ophthalmology and Visual Science,2009年04月30日,Vol. 50、No. 4,pp. 1856-1863
XU Jing et al.,"Real-time acquisition and display of flow contrast using speckle variance optical coherence tomogra,Journal of Biomedical Optics,2014年02月06日,Vol. 19、No. 2,pp. 026001-1 - 026001-5
ZHANG Qinqin et al.,"Swept Source OCT Angiography of Neovascular Macular Telangiectasia Type 2",Retina,2015年11月30日,Vol. 35、No. 11,pp. 2285-2299

Also Published As

Publication number Publication date
JP2021079205A (en) 2021-05-27
JP2022093539A (en) 2022-06-23

Similar Documents

Publication Publication Date Title
JP6779690B2 (en) Ophthalmic image processing equipment and ophthalmic imaging equipment
WO2017098824A1 (en) Ophthalmologic image display device and ophthalmologic imaging device
US10426335B2 (en) Ophthalmic image display device and ophthalmic imaging device
CN112601487A (en) Medical image processing apparatus, medical image processing method, and program
JP5148928B2 (en) Fundus examination apparatus and program
JP7220509B2 (en) OPHTHALMIC DEVICE AND OPHTHALMIC IMAGE PROCESSING METHOD
US11147449B2 (en) Ophthalmological device
JP2015083276A (en) Image processing device, image processing method and program
JP7432652B2 (en) Ophthalmology image display device
JP2018000685A (en) Image processing device, image processing method, and program
JP2019150485A (en) Image processing system, image processing method, and program
JP7386950B2 (en) Ophthalmology information processing device
JP7297133B2 (en) Ophthalmic information processing device and ophthalmic photographing device
US11596300B2 (en) Ophthalmologic information processing apparatus, ophthalmologic system, ophthalmologic information processing method, and recording medium causing an image of a subject&#39;s eye to be displayed
JP7086708B2 (en) Image processing equipment, image processing methods and programs
JP2024014001A (en) Image processing device, image processing method, and program
WO2019216019A1 (en) Image processing device, image processing method, and program
JP2019198384A (en) Image processing system, image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230817

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R150 Certificate of patent or registration of utility model

Ref document number: 7432652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150