WO2020217409A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2020217409A1
WO2020217409A1 PCT/JP2019/017728 JP2019017728W WO2020217409A1 WO 2020217409 A1 WO2020217409 A1 WO 2020217409A1 JP 2019017728 W JP2019017728 W JP 2019017728W WO 2020217409 A1 WO2020217409 A1 WO 2020217409A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
blood vessel
area density
image processing
vessel area
Prior art date
Application number
PCT/JP2019/017728
Other languages
English (en)
French (fr)
Inventor
真梨子 廣川
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2021515428A priority Critical patent/JPWO2020217409A1/ja
Priority to PCT/JP2019/017728 priority patent/WO2020217409A1/ja
Priority to US17/600,346 priority patent/US20220172358A1/en
Publication of WO2020217409A1 publication Critical patent/WO2020217409A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A61B3/1233—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • Patent Document 1 discloses an ophthalmic analysis device for analyzing eye data to be inspected including blood vessel information of the eye to be inspected. However, Patent Document 1 does not consider the point of facilitating the follow-up of the lesion by using the image of angiography (Optical Coherence Tomography-Angiografy; hereinafter, “OCT-A”).
  • OCT-A Optical Coherence Tomography-Angiografy
  • the image processing apparatus of the first disclosure technique acquires the first angiography image data of the eye to be inspected and the second angiography image data of the eye to be inspected generated after the first angiography image data.
  • the first blood vessel area density is calculated from the part and the first angiography image data
  • the second blood vessel area is calculated from the first blood vessel area density map data based on the first blood vessel area density and the second angiography image data.
  • the first generation unit that calculates the density and generates the second blood vessel area density map data based on the second blood vessel area density is compared with the first blood vessel area density map data and the second blood vessel area density map data. It has a second generation unit that generates comparative image data for the purpose, and an output unit that outputs the comparative image data.
  • the processor converts the first angiography image data of the eye to be inspected and the second angiography image data of the eye to be inspected generated after the first angiography image data.
  • the first blood vessel area density is calculated from the acquisition process to be acquired and the first angiography image data, and the first blood vessel area density map data based on the first blood vessel area density and the second angiography image data are used.
  • the first generation process that calculates the two blood vessel area densities and generates the second blood vessel area density map data based on the second blood vessel area density, the first blood vessel area density map data, and the second blood vessel area density map.
  • a second generation process for generating comparative image data for comparing data and an output process for outputting the comparative image data are executed.
  • FIG. 1 is an explanatory diagram showing Example 1 of generation of heat map data of the fundus before and after treatment by photodynamic therapy.
  • FIG. 2 is an explanatory diagram showing an example 2 of generation of heat map data of the fundus before and after treatment by photodynamic therapy.
  • FIG. 3 is an explanatory diagram showing a system configuration example of an ophthalmic system.
  • FIG. 4 is a block diagram showing an example of a computer hardware configuration.
  • FIG. 5 is a block diagram showing a functional configuration example of the image processing device.
  • FIG. 6 is a flowchart showing an example of an image processing procedure executed by the image processing apparatus.
  • FIG. 7 is an explanatory diagram showing an example of a display screen.
  • FIG. 1 is an explanatory diagram showing an example 1 of generating heat map data of the fundus before and after treatment with photodynamic therapy (PDT) for an eye to be examined in a patient with age-related macular degeneration.
  • photodynamic therapy is a treatment method in which a drug (bisdyne) that reacts with a laser beam is administered into the body by intravenous injection, and then a weak laser beam is applied to the lesion.
  • the uppercase alphabet "A" at the end of the code of the image data indicates that the imaging time is earlier than the image data whose code ends with "B" regardless of the presence or absence of treatment.
  • the image data having the end of the code “A” will be described as the image data before the treatment, and the image data having the end of the code “B” will be described as the image data after the treatment.
  • FIG. 1 shows an example of image processing in an image processing device.
  • the image processing apparatus acquires the first angiographic image data 101A as the image data to be inspected before the treatment.
  • the image processing device acquires the second angiographic image data 101B as the post-treatment eye image data for the same eye of a certain patient.
  • the first angiographic image data 101A and the second angiographic image data 101B are not distinguished, they are simply referred to as angiographic image data 101.
  • an image processing device detects a temporal change in blood flow by scanning three-dimensional OCT image data at the same position of the eye to be examined multiple times, and emphasizes blood vessels in three-dimensional angiographic image data (OCT-).
  • OCT- three-dimensional angiographic image data
  • Angiographic image data 101 is a planar image (Enface image) obtained by cutting out a two-dimensional plane at the depth of the choroid from the three-dimensional angiographic image data. That is, the angiographic image data 101 is choroidal blood vessel image data in which choroidal blood vessels are visualized.
  • the image processing apparatus binarizes the first angiographic image data 101A of (A) and generates the first angiographic image data 102A that has been binarized. Further, the image processing apparatus binarizes the second angiographic image data 101B (A) to generate the second angiographic image data 102B that has been binarized.
  • the first angiographic image data 102A that has been binarized and the second angiographic image data 102B that has been binarized are not distinguished, it is simply referred to as the angiographic image data 102 that has been binarized.
  • the image processing apparatus calculates the first blood vessel area density from the first angiographic image data 102A that has been binarized in (B), and the first blood vessel area density map data based on the first blood vessel area density. To generate.
  • the first heat map data (hereinafter, heat map data 103A) in which the value of the blood vessel area density is expressed in gray scale or color is generated as the first blood vessel area density map data.
  • the image processing apparatus calculates the second blood vessel area density from the second angiographic image data 102B that has been binarized in (B), and obtains the second blood vessel area density map data based on the second blood vessel area density. Generate.
  • the second heat map data (hereinafter referred to as heat map data 103B) in which the value of the second blood vessel area density is expressed in gray scale or color is generated as the second blood vessel area density map data.
  • the heat map data 103A based on the second blood vessel area density and the heat map data 103B based on the second blood vessel area density are not distinguished, it is simply referred to as the heat map data 103 based on the blood vessel area density.
  • the same scale is used for the gray scale or color for generating the heat map data 103A and the heat map data 103B. That is, the same blood vessel area density values in the heat map data 103A and the heat map data 103B are represented by the same color.
  • the blood vessel area density When the first blood vessel area density and the second blood vessel area density are not distinguished, it is simply referred to as the blood vessel area density.
  • the first blood vessel area density map data and the second blood vessel area density map data are not distinguished, they are simply referred to as blood vessel area density map data.
  • the blood vessel area density is the ratio of pixels indicating blood vessels shown in a certain size area (for example, 100 pixels ⁇ 100 pixels).
  • the image processing apparatus calculates the total blood vessel area density of the angiographic image data 102 by performing an averaging filter processing (details will be described later) on the angiographic image data 102 that has been binarized.
  • the image processing device generates heat map data 103 as blood vessel area density map data based on the blood vessel area density.
  • the heat map data is image data in which the area is filled with a color corresponding to the numerical value of the blood vessel area density. In FIG. 1, the darker the color (whiter), the higher the blood vessel area density (the same applies to the following figures).
  • the format is not limited to the heat map format in which the blood vessel area density is expressed by different colors, and image data in which the height of the blood vessel area density is expressed by contour lines or image data in which the blood vessel area density is displayed as a numerical value may be used.
  • the image processing device synthesizes the heat map data 103A and the heat map data 103B of (C) to generate the comparative image data 104.
  • the comparative image data 104 is image data including the heat map data 103A and the heat map data 103B.
  • the comparison image data 104 is displayed at the image processing device or the output destination of the comparison image data 104. Therefore, a user such as a doctor can compare the heat map data 103A and the heat map data 103B when the comparative image data 104 is displayed, and can visually recognize the therapeutic effect.
  • treatment of exudative age-related macular degeneration and central serous chorioretinopathy with anti-VEGF drugs is expected to reduce new blood vessels.
  • There was a new blood vessel before the treatment but the new blood vessel disappeared after the treatment, and by finding the difference in color of the heat map data 103, the user can visually recognize the area where the treatment was effective. it can.
  • the therapeutic effect it also has the effect of making it easier to visually recognize the deterioration of symptoms (such as dilation of blood vessels and development of new blood vessels).
  • FIG. 2 is an explanatory diagram showing an example 2 of generation of heat map data 103 of the fundus before and after treatment with photodynamic therapy (PDT) for the eye to be examined in a patient with age-related macular degeneration. Since the acquisition (A) to (C) heat map data generation are the same as those in FIG. 1, the description thereof will be omitted. (D) The image processing apparatus generates comparative image data 105 that visualizes the difference value between the first blood vessel area density and the second blood vessel area density used for generating the heat map data 103A and the heat map data 103B of (C). To do.
  • the comparative image data 105 is a difference image data in which the difference value between the first blood vessel area density and the second blood vessel area density is visualized in a heat map format.
  • the difference between the value of the first blood vessel area density in the target area of the first angiography image data 102A and the value of the second blood vessel area density in the same target area in the second angiography image data 102B is taken, and the difference is taken.
  • This is heat map data in which the target area is drawn with colors corresponding to the values.
  • the comparative image data 105 which is the difference image data of the blood vessel area density
  • the comparative image data 105 may be image data in which the area is filled with the corresponding color of gray scale. However, it is not limited to the comparative image data 105 in which the blood vessel area density is expressed by the difference in color, and may be image data in which the height of the difference value is expressed by contour lines or image data in which the difference value is displayed numerically.
  • the comparison image data 105 is displayed at the image processing device or the output destination of the comparison image data 105. Therefore, a user such as a doctor can visually recognize the above-mentioned therapeutic effect when the comparative image data 105 is displayed. Further, in the comparative image data 105, since the region having the blood vessel area density difference before and after the treatment and the region having no blood vessel area density difference are distinguished, the user can easily visually recognize the difference in the blood vessel area density difference.
  • the region where the blood vessel area density is reduced after the treatment is displayed in white as compared with that before the treatment. Therefore, the user can reduce the blood vessel area density by photodynamic therapy (PDT) (disappearance of new blood vessels, The contraction of the choroidal blood vessel diameter and the return of the dilated blood vessel to the normal blood vessel diameter) can be easily visually recognized.
  • PDT photodynamic therapy
  • FIG. 3 is an explanatory diagram showing a system configuration example of an ophthalmic system.
  • the ophthalmology device 301, the management server 303, and the terminal 304 are communicably connected to each other by a network 305 such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet.
  • a network 305 such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet.
  • the ophthalmic apparatus 301 has an SLO (Scanning Laser Opphalmoscope) unit and an OCT unit.
  • the SLO unit scans the laser beam on the eye to be inspected and generates SLO fundus image data of the eye to be inspected based on the reflected light from the fundus.
  • the OCT unit generates OCT image data of the fundus by an optical coherence tomography. In this embodiment, angiographic image data 101 is generated based on the OCT image data.
  • the management server 303 acquires and stores image data from the ophthalmic apparatus 301, and transmits the image data or the image data processed by the request to the ophthalmic apparatus 301 and the terminal 304.
  • the terminal 304 receives and displays the image data from the management server 303, and transmits the image data processed by the terminal 304, the input text information, and the like to the management server 303.
  • At least one of the ophthalmic apparatus 301, the management server 303, and the terminal 304 can execute the image processing ((A) acquisition to (D) comparative image generation) described with reference to FIGS. 1 and 2. Further, the image processing ((A) acquisition to (D) comparative image generation) may be executed by at least two or more computers of the ophthalmic apparatus 301, the management server 303, and the terminal 304.
  • the computer is a general term for the ophthalmic apparatus 301, the management server 303, and the terminal 304 shown in FIG.
  • the computer is an ophthalmic apparatus 301, it includes an SLO unit and an OCT-A unit (not shown).
  • FIG. 4 is a block diagram showing an example of a computer hardware configuration.
  • the computer 400 has a processor 401, a storage device 402, an input device 403, an output device 404, and a communication interface (communication IF) 405.
  • the processor 401, the storage device 402, the input device 403, the output device 404, and the communication IF 405 are connected by the bus 406.
  • the processor 401 controls the computer 400.
  • the storage device 402 serves as a work area for the processor 401. Further, the storage device 402 is a non-temporary or temporary recording medium for storing various programs and data. Examples of the storage device 402 include a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), and a flash memory.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • HDD Hard Disk Drive
  • the input device 403 inputs data.
  • the input device 403 includes, for example, a keyboard, a mouse, a touch panel, a numeric keypad, and a scanner.
  • the output device 404 outputs data.
  • the output device 404 includes, for example, a display and a printer.
  • the communication IF 405 connects to the network 305 and transmits / receives data.
  • the image processing apparatus is one or more computers 400 that execute at least one of (A) acquisition to (D) comparative image generation described with reference to FIG. 1 or 2. Therefore, the image processing device may be realized as an image processing system in which a plurality of computers 400 cooperate with each other.
  • FIG. 5 is a block diagram showing a functional configuration example of the image processing device 500.
  • FIG. 6 is a flowchart showing an example of an image processing procedure executed by the image processing apparatus 500.
  • the image processing device 500 includes an acquisition unit 501, a first generation unit 502, a second generation unit 503, and an output unit 504.
  • the first generation unit 502 includes a binarization processing unit 521, a blood vessel area density calculation unit 522, and a blood vessel area density map data generation unit 523.
  • the acquisition unit 501, the first generation unit 502, the second generation unit 503, and the output unit 504 cause the processor 401 to execute the program stored in the storage device 402 shown in FIG. 4, for example. It will be realized.
  • the acquisition unit 501 acquires the eye-tested image data such as the angiographic image data 101 and the SLO fundus image data of the designated patient (step S601).
  • the acquisition unit 501 receives the eye-tested image data from another computer 400 having the eye-tested image data via the network 305.
  • the acquisition unit 501 reads the image data to be inspected from the storage device 402.
  • the binarization processing unit 521 of the first generation unit 502 binarized the angiographic image data 101 to binarize the angiographic image data 101 as described with reference to FIGS. 1 and 2 (B). 102 is output (step S602). Specifically, the binarization processing unit 521 binarizes the angiographic image data 101 by a discriminant analysis method. For example, the binarization processing unit 521 binarizes the angiographic image data 101 at the brightness threshold value t at which the following equation (1) maximizes.
  • W1 is the number of pixels whose brightness value is smaller than the threshold value t when the binarization process is performed at the threshold value t.
  • m1 is an average value of the number of pixels w1.
  • w2 is the number of pixels whose luminance value is equal to or higher than the threshold value t when the binarization process is performed at the threshold value t.
  • m2 is an average value of the number of pixels w2.
  • the binarization processing unit 521 is not limited to the discriminant analysis method, and may execute the binarization processing at a preset threshold value t. Prior to the binarization process, pre-processing such as luminance adjustment and denoising processing may be executed.
  • the blood vessel area density calculation unit 522 of the first generation unit 502 calculates the blood vessel area density from the binarized angiographic image data 102 (step S603). Specifically, for example, the blood vessel area density calculation unit 522 rasterizes an averaging filter of a predetermined size region (for example, 100 pixels ⁇ 100 pixels described above) with respect to the angiographic image data 102 that has been binarized. By scanning, the convolution calculation is executed by the product-sum calculation of the weight in the averaging filter and the brightness value of the pixel.
  • the convolution operation result is an array of grayscale pixels having a value of 0 to 1. Each pixel of the convolution calculation result indicates the blood vessel area density.
  • the blood vessel area density map data generation unit 523 of the first generation unit 502 is based on the arrangement of the convolution calculation results calculated by the blood vessel area density calculation unit 522, as described in FIGS. 1 and 2 (C).
  • heat map data 103 is generated (step S604).
  • the blood vessel area density map data generation unit 523 converts each pixel indicating the blood vessel area density of the convolution calculation result from gray scale to RGB color.
  • the conversion method may be a method of converting to an RGB color value corresponding to the grayscale value by referring to the lookup table, or a method of calculating the RGB color value corresponding to the grayscale value based on the conversion formula. ..
  • the second generation unit 503 generates comparative image data 104 and 105 as described in FIGS. 1 and 2 (D) (step S605). Specifically, for example, is the second generation unit 503 displayed by the comparative image data 104 in which the two blood vessel area density map data are arranged side by side, or by the comparative image data 105 that visualizes the difference value of the two blood vessel area density data? Either the comparative image data 104 or the comparative image data 105 is generated based on the user's selection. Further, the second generation unit 503 may generate both the comparative image data 104 and 105, and may switch which of them is to be output according to the user's selection. Of course, it is also possible to display the comparative image data 104 and 105 together.
  • the output unit 504 outputs the comparative image data 104 and 105 generated by the second generation unit 503 (step S605). Specifically, for example, the output unit 504 displays the comparative image data 104 and the comparative image data 105 on the display device included in the image processing device 500, or the image processing device 500 displays the comparative image data 104 on another computer 400.
  • the comparison image data 105 is transmitted.
  • FIG. 9 is an explanatory diagram showing an example of a display screen.
  • the display screen 700 is displayed on a display connected to the output unit 504 (for example, the display of the management server 303) or the output destination computer 400 (for example, the display of the terminal 304) by the output unit 504.
  • the display screen 700 includes a patient information display area 701, an SLO fundus image data display area 702, an SLO fundus image data enlarged display area 703, a first angiography image data display area 704, and a second angiography image data display area. 705 and.
  • the patient information display area 701 is an area for displaying patient information.
  • the patient information is identification information that uniquely identifies a patient, such as a patient ID, a patient name, and a gender.
  • the SLO fundus image data display area 702 is the SLO fundus image data 720 captured by the SLO unit of the ophthalmologic apparatus 310 (the SLO fundus image data 720 is the SLO fundus image data captured on 2/19/2019 after the treatment. ) Is displayed.
  • the SLO fundus image data 720 is image data obtained by photographing a region of the fundus of the eye to be inspected, including the optic disc 721, the macula 722, and a blood vessel (indicated by a line segment).
  • the SLO fundus image data display area 702 is an area in which a rectangular area 723 can be selected.
  • the rectangular area 723 is a rectangular area selected by operating the input device 403 of the computer 400 on which the display screen 700 is displayed.
  • left and right eye identification information 724 (left eye in FIG. 7) indicating whether the eye to be inspected is the right eye or the left eye is displayed in the SLO fundus image data display area 702.
  • the SLO fundus image data enlarged display area 703 is an area for magnifying and displaying the SLO fundus image data 720. Specifically, for example, in the SLO fundus image data enlarged display area 703, the SLO partial fundus image data 730 in the rectangular area 723 is enlarged and displayed.
  • the first angiographic image data display area 704 is a first angiographic image generated using OCT fundus image data (not shown) taken on December 10, 2018 before treatment by the OCT unit of the ophthalmic apparatus 310. This is an area for displaying data 101A and heat map data 103A.
  • the first angiographic image data 101A is a partial angiographic image data of the region of the OCT fundus image data corresponding to the rectangular region 723 designated by the SLO fundus image data 720 of the first angiographic image data of the entire OCT fundus image data.
  • the heat map data 103A is partial heat map data of the region of the OCT fundus image data corresponding to the rectangular region 723 of the heat map data of the entire OCT fundus image data.
  • the second angiographic image data display area 705 is the second angiographic image data 101B generated from the OCT fundus image data (not shown) taken on February 19, 2019 after treatment with the OCT unit of the ophthalmic apparatus 310. , This is an area for displaying the heat map data 103B.
  • the second angiographic image data 101B is partial angiographic image data of a region corresponding to the rectangular region 723 at the same position in the second angiographic image data of the entire SLO fundus image data.
  • the heat map data 103B is partial heat map data of a region corresponding to the rectangular region 723 at the same position in the heat map data of the entire OCT fundus image data.
  • the computer 400 selects the rectangular region 723 from the SLO fundus image data 720, thereby selecting the partial angiographic image data 101 and the partial heat map of the region corresponding to the rectangular region 723 from the angiographic image data of the entire eye to be examined.
  • the data 103 is acquired and displayed in the first angiography image data display area 704 and the second angiography image data display area 705.
  • the computer 400 can display the partial angiography image data 101 and the partial heat map data 103 of the region that the user wants to pay attention to in conjunction with the selection of the rectangular region 723 on the SLO fundus image data 720. Therefore, it is possible to suppress misdiagnosis based on the discrepancy of the region that the user wants to pay attention to between the SLO fundus image data 720, the angiographic image data 101, and the heat map data 103. Further, since it is not necessary to select the region of interest from the angiographic image data of the entire eye to be inspected, it is possible to improve the convenience of the user.
  • the difference image data between the heat map data 103A and the heat map data 103B may be displayed on the display screen 700.
  • the place where the PDT treatment is performed (the place where the laser beam is applied in the PDT treatment) may be superimposed and displayed on the difference image data. Further, the place where the PDT treatment is performed (the place where the laser beam is applied in the PDT treatment) may be superimposed and displayed on the SLO fundus image data 720 and the heat map data 103A and 103B.
  • the computer 400 superimposes and displays mark data indicating the position of a specific tissue in the rectangular region 723 (circular mark data indicating the position of the macula 722 in FIG. 7) on the heat map data 103A and the heat map data 103B. You may. As a result, the user can intuitively grasp which position on the SLO fundus image data 720 the heat map data 103A and 103B correspond to.
  • the image processing device 500 may superimpose and display the positions of the heat map data 103A and 103B and the positions of the SLO fundus image data 720.
  • the superposition mixing ratio may be appropriately changed by user operation.
  • the image processing device 500 may superimpose and display the comparative image data 105, which is the difference image data of the heat map data 103A and 103B, and the SLO fundus image data 720 in alignment with each other.
  • the superposition mixing ratio may be appropriately changed by user operation.
  • the image processing device 500 of the above-described embodiment created the heat map data using the angiographic image data by OCT angiography
  • the angiographic image data by fluorescence imaging may also be used.
  • the image processing apparatus 500 may create heat map data using the choroidal blood vessel image data obtained by image processing the SLO fundus image data.
  • the choroidal blood vessel image data is obtained by image processing the green SLO fundus image data captured by the green laser beam and the red SLO fundus image data captured by the red light.
  • the image processing device 500 extracts retinal blood vessels by applying a black hat filter process to the green SLO fundus image data.
  • the image processing apparatus 500 removes the retinal blood vessels of the red SLO fundus image data by painting the pixels at the positions of the retinal blood vessels extracted from the green SLO fundus image data from the red SLO fundus image data by an inpainting process. ..
  • choroidal blood vessel image data can be obtained.
  • ophthalmology treated by photodynamic therapy using angiographic image data which is an effect image of the depth of the choroidal position from the three-dimensional OCT angiography data.
  • the therapeutic effect of the disease can be easily visualized.
  • the reliability of follow-up of the lesion is improved, and it is possible to suppress oversight of the lesion and, by extension, misdiagnosis.
  • the angiography image data which is an interface image is used, but the image processing apparatus uses the three-dimensional OCT angiography data of the space including the choroidal membrane to generate the three-dimensional heat map data. You may create it. By making it three-dimensional in this way, it is possible to spatially grasp in which region of the choroid the ophthalmic disease exists.
  • the present invention is not limited to the above contents, and may be any combination of these.
  • other aspects considered within the scope of the technical idea of the present invention are also included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Hematology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

画像処理装置は、被検眼の第１血管造影画像データと、前記第１血管造影画像データよりも後に生成された前記被検眼の第２血管造影画像データと、を取得する取得部と、前記第１血管造影画像データから第１血管面積密度を算出し、前記第１血管面積密度に基づいた第１血管面積密度マップデータと、前記第２血管造影画像データから第２血管面積密度を算出し、前記第２血管面積密度に基づいた第２血管面積密度マップデータとを生成する第１生成部と、前記第１血管面積密度マップデータおよび前記第２血管面積密度マップデータを比較するための比較画像データを生成する第２生成部と、前記比較画像データを出力する出力部と、を有する。

Description

画像処理装置、画像処理方法、および画像処理プログラム
　本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。
　特許文献１は、被検眼の血管情報を含む被検眼データを解析するための眼科解析装置を開示する。しかしながら、特許文献１では、血管造影（Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ－Ａｎｇｉｏｇｒａｐｈｙ。以下、「ＯＣＴ－Ａ」）の画像を利用して病変の経過観察を容易にする点については考慮されていない。
特開２０１７‐７７４１４号公報
　第１開示技術の画像処理装置は、被検眼の第１血管造影画像データと、前記第１血管造影画像データよりも後に生成された前記被検眼の第２血管造影画像データと、を取得する取得部と、前記第１血管造影画像データから第１血管面積密度を算出し、前記第１血管面積密度に基づいた第１血管面積密度マップデータと、前記第２血管造影画像データから第２血管面積密度を算出し、前記第２血管面積密度に基づいた第２血管面積密度マップデータとを生成する第１生成部と、前記第１血管面積密度マップデータおよび前記第２血管面積密度マップデータを比較するための比較画像データを生成する第２生成部と、前記比較画像データを出力する出力部と、を有する。
　第２開示技術の画像処理方法は、プロセッサが、被検眼の第１血管造影画像データと、前記第１血管造影画像データよりも後に生成された前記被検眼の第２血管造影画像データと、を取得する取得処理と、前記第１血管造影画像データから第１血管面積密度を算出し、前記第１血管面積密度に基づいた第１血管面積密度マップデータと、前記第２血管造影画像データから第２血管面積密度を算出し、前記第２血管面積密度に基づいた第２血管面積密度マップデータとを生成する第１生成処理と、前記第１血管面積密度マップデータおよび前記第２血管面積密度マップデータを比較するための比較画像データを生成する第２生成処理と、前記比較画像データを出力する出力処理と、を実行する。
図１は、光線力学的療法による治療前後の眼底のヒートマップデータの生成例１を示す説明図である。 図２は、光線力学的療法による治療前後の眼底のヒートマップデータの生成例２を示す説明図である。 図３は、眼科システムのシステム構成例を示す説明図である。 図４は、コンピュータのハードウェア構成例を示すブロック図である。 図５は、画像処理装置の機能的構成例を示すブロック図である。 図６は、画像処理装置が実行する画像処理手順例を示すフローチャートである。 図７は、表示画面例を示す説明図である。
　＜治療前後のヒートマップデータの生成例＞
　図１は、加齢性黄斑変性の患者の被検眼に対して光線力学的療法（Ｐｈｏｔｏ　Ｄｙｎａｍｉｃ　Ｔｈｅｒａｐｙ、ＰＤＴ）による治療前後の眼底のヒートマップデータの生成例１を示す説明図である。ここで、光線力学的療法（ＰＤＴ）とは、レーザ光線に反応する薬剤（ビスダイン）を静脈注射で体内に投与した後に、病変部に弱いレーザ光線を照射する治療法である。
　なお、画像データの符号の末尾の大文字アルファベットが「Ａ」は、治療の有無にかかわらず、符号の末尾が「Ｂ」の画像データよりも撮影時期が早いことを示す。本例では、符号の末尾が「Ａ」の画像データを治療前の画像データとし、符号の末尾が「Ｂ」の画像データを治療後の画像データとして説明する。
　（Ａ）は、画像処理装置での画像処理例を示す。画像処理装置は、治療前の被検眼画像データとして、第１血管造影画像データ１０１Ａを取得する。また、画像処理装置は、ある患者の同一被検眼についての治療後の被検眼画像データとして、第２血管造影画像データ１０１Ｂを取得する。第１血管造影画像データ１０１Ａおよび第２血管造影画像データ１０１Ｂを区別しない場合は、単に、血管造影画像データ１０１と表記する。
　たとえば、画像処理装置は、被検眼の同じ位置の３次元のＯＣＴ画像データを複数回スキャンすることで血流の時間的変化を検出し、血管を強調した３次元の血管造影画像データ（ＯＣＴ－アンジオグラフィ、ＯＣＴ－Ａ画像データ）を生成する。この３次元の血管造影画像データから脈絡膜の深さにおける二次元平面を切り出した平面画像（Ｅｎｆａｃｅ画像）が、血管造影画像データ１０１である。つまり、血管造影画像データ１０１は脈絡膜血管が可視化された脈絡膜血管画像データである。
　（Ｂ）画像処理装置は、（Ａ）の第１血管造影画像データ１０１Ａを二値化処理し、二値化処理済みの第１血管造影画像データ１０２Ａを生成する。また、画像処理装置は、（Ａ）の第２血管造影画像データ１０１Ｂを二値化処理し、二値化処理済みの第２血管造影画像データ１０２Ｂを生成する。二値化処理済みの第１血管造影画像データ１０２Ａおよび二値化処理済みの第２血管造影画像データ１０２Ｂを区別しない場合は、単に、二値化処理済みの血管造影画像データ１０２と表記する。
　（Ｃ）画像処理装置は、（Ｂ）の二値化処理済みの第１血管造影画像データ１０２Ａから、第１血管面積密度を算出し、第１血管面積密度に基づく第１血管面積密度マップデータを生成する。本実施例では、血管面積密度の値をグレイスケールまたは色（カラー）で表現した第１ヒートマップデータ（以下、ヒートマップデータ１０３Ａ）を第１血管面積密度マップデータとして生成する。
　また、画像処理装置は、（Ｂ）の二値化処理済みの第２血管造影画像データ１０２Ｂから、第２血管面積密度を算出し、第２血管面積密度に基づく第２血管面積密度マップデータを生成する。本実施例では、第２血管面積密度の値をグレイスケールまたは色（カラー）で表現した第２ヒートマップデータ（以下、ヒートマップデータ１０３Ｂ）を第２血管面積密度マップデータとして生成する。第２血管面積密度に基づくヒートマップデータ１０３Ａおよび第２血管面積密度に基づくヒートマップデータ１０３Ｂを区別しない場合は、単に、血管面積密度に基づくヒートマップデータ１０３と表記する。
　なお、ヒートマップデータ１０３Ａとヒートマップデータ１０３Ｂを生成するためのグレイスケールまたは色（カラー）は同じスケールを用いる。つまり、ヒートマップデータ１０３Ａとヒートマップデータ１０３Ｂにおける同一の血管面積密度の値は同じ色で表現される。第１血管面積密度と第２血管面積密度とを区別しない場合は、単に、血管面積密度と表記する。第１血管面積密度マップデータと第２血管面積密度マップデータとも、同様に、区別しない場合は、単に、血管面積密度マップデータと表記する。
　血管面積密度とは、あるサイズの領域（たとえば、１００画素×１００画素）内に示す血管を示す画素の割合である。画像処理装置は、二値化処理済みの血管造影画像データ１０２に対して平均化フィルタ処理（詳細は後述）を行うことで血管造影画像データ１０２の全体の血管面積密度を算出する。
　画像処理装置は、血管面積密度に基づいて血管面積密度マップデータとしてのヒートマップデータ１０３を生成する。ヒートマップデータは、血管面積密度の数値に対応した色で領域を塗りつぶした画像データである。図１では、色が濃い（白い）ほど血管面積密度が高いことを示す（以降の図も同様）。ただし、血管面積密度を色の違いで表現したヒートマップ形式には限定されず、血管面積密度の高さを等高線で表現した画像データや、血管面積密度を数値として表示した画像データでもよい。
　（Ｄ）画像処理装置は、（Ｃ）のヒートマップデータ１０３Ａおよびヒートマップデータ１０３Ｂを合成し、比較画像データ１０４を生成する。比較画像データ１０４は、ヒートマップデータ１０３Ａおよびヒートマップデータ１０３Ｂを含む画像データである。
　これにより、画像処理装置または比較画像データ１０４の出力先では、比較画像データ１０４が表示される。したがって、医者などのユーザは、比較画像データ１０４が表示された場合に、ヒートマップデータ１０３Ａおよびヒートマップデータ１０３Ｂを比較することができ、治療効果を視認することができる。
　光線力学的療法（ＰＤＴ）治療では、拡張していた血管が正常な血管径に戻ることが期待される。ＰＤＴ治療前とＰＤＴ治療後のヒートマップデータ１０３を比較する（ヒートマップデータの色の違いを見出す）ことにより、治療前に拡張していた血管が、治療後に正常な血管径に戻っていることを視認することができる。
　また、抗ＶＥＧＦ薬による滲出型の加齢黄斑変性や中心性漿液性脈絡網膜症などの治療では、新生血管の減少が期待される。治療前に新生血管があったが、治療後にはその新生血管が消滅していることも、ヒートマップデータ１０３の色の違いを見出すことにより、治療効果があった領域をユーザが視認することができる。また、治療効果だけでなく、症状の悪化（血管の拡張や新生血管の発生など）を視認しやすくなるという効果も奏する。
　図２は、加齢性黄斑変性の患者の被検眼に対して光線力学的療法（ＰＤＴ）による治療前後の眼底のヒートマップデータ１０３の生成例２を示す説明図である。（Ａ）取得～（Ｃ）ヒートマップデータ生成は、図１と同様であるため、説明を省略する。（Ｄ）画像処理装置は、（Ｃ）のヒートマップデータ１０３Ａおよびヒートマップデータ１０３Ｂの生成に用いられた第１血管面積密度と第２血管面積密度の差分値を可視化した比較画像データ１０５を生成する。
　比較画像データ１０５は、第１血管面積密度と第２血管面積密度の差分値をヒートマップ形式により可視化した差分画像データである。第１血管造影画像データ１０２Ａの対象領域内の第１血管面積密度の値と第２血管造影画像データ１０２Ｂ内の同一の対象領域内の第２血管面積密度の値との差をとり、その差分値に応じた色で対象領域を描画したヒートマップデータである。
　図２では、血管面積密度の差分画像データである比較画像データ１０５は、たとえば、グレイスケールの画像データであり、画素の値０が灰色をあらわし、画素の値が０よりも大きくなるほど白くなり、治療前に比べて治療後の血管面積密度が減少することを示す。また、画素の値が０よりも小さくなるほど黒くなり、治療前に比べて治療後の血管面積密度が増加することを示す。比較画像データ１０５は、グレイスケールの対応した色で領域を塗りつぶした画像データであってもよい。ただし、血管面積密度を色の違いで表現した比較画像データ１０５には限定されず、差分値の高さを等高線で表現した画像データや差分値を数値で表示した画像データでもよい。
　これにより、画像処理装置または比較画像データ１０５の出力先では、比較画像データ１０５が表示される。したがって、医者などのユーザは、比較画像データ１０５が表示された場合に、上述のような治療効果を視認することができる。また、比較画像データ１０５では、治療前後での血管面積密度差がある領域と血管面積密度差がない領域とが区別されるため、ユーザは、血管面積密度差の異同を視認しやすくなる。
　比較画像データ１０５では、治療前に比べて治療後の血管面積密度が減少した領域は白く表示されることから、ユーザは光線力学的療法（ＰＤＴ）により血管面積密度の減少（新生血管の消滅、脈絡膜血管径の収縮、拡張していた血管が正常な血管径に戻ったこと）を容易に視認できる。
　＜システム構成例＞
　図３は、眼科システムのシステム構成例を示す説明図である。眼科システム３００は、眼科装置３０１と、管理サーバ３０３と、端末３０４とが、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク３０５により通信可能に接続される。
　眼科装置３０１は、ＳＬＯ（Ｓｃａｎｎｉｎｇ　Ｌａｓｅｒ　Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：走査型レーザ検眼鏡）ユニットと、ＯＣＴユニットと、を有する。ＳＬＯユニットは、被検眼にレーザ光を走査し眼底からの反射光に基づいて、被検眼のＳＬＯ眼底画像データを生成する。ＯＣＴユニットは、光干渉断層計により、眼底のＯＣＴ画像データを生成する。本実施例では、このＯＣＴ画像データに基づいて、血管造影画像データ１０１が生成される。
　管理サーバ３０３は、眼科装置３０１から画像データを取得して格納し、要求に応じた画像データあるいは画像処理を行った画像データを、眼科装置３０１、端末３０４に送信する。端末３０４は、管理サーバ３０３から画像データを受信して表示したり、端末３０４で加工された画像データや入力されたテキスト情報などを管理サーバ３０３に送信したりする。
　眼科装置３０１、管理サーバ３０３および端末３０４のうち少なくとも１つは、図１および図２で説明した画像処理（（Ａ）取得～（Ｄ）比較画像生成）を実行可能である。また、眼科装置３０１、管理サーバ３０３および端末３０４のうち少なくとも２以上のコンピュータで、画像処理（（Ａ）取得～（Ｄ）比較画像生成）を実行可能としてもよい。
　＜コンピュータのハードウェア構成例＞
　つぎに、コンピュータのハードウェア構成例を示す。コンピュータは、図３に示した眼科装置３０１、管理サーバ３０３および端末３０４の総称である。なお、コンピュータが眼科装置３０１である場合、図示しないＳＬＯユニットとＯＣＴ－Ａユニットとを含む。
　図４は、コンピュータのハードウェア構成例を示すブロック図である。コンピュータ４００は、プロセッサ４０１と、記憶デバイス４０２と、入力デバイス４０３と、出力デバイス４０４と、通信インターフェース（通信ＩＦ）４０５と、を有する。プロセッサ４０１、記憶デバイス４０２、入力デバイス４０３、出力デバイス４０４、および通信ＩＦ４０５は、バス４０６により接続される。プロセッサ４０１は、コンピュータ４００を制御する。記憶デバイス４０２は、プロセッサ４０１の作業エリアとなる。また、記憶デバイス４０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス４０２としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス４０３は、データを入力する。入力デバイス４０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス４０４は、データを出力する。出力デバイス４０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ４０５は、ネットワーク３０５と接続し、データを送受信する。
　＜画像処理装置の機能的構成例＞
　つぎに、画像処理装置の機能的構成例について図５を用いて説明する。画像処理装置は、図１または図２で説明した（Ａ）取得～（Ｄ）比較画像生成のうち少なくとも１つを実行する１以上のコンピュータ４００である。したがって、画像処理装置は、複数のコンピュータ４００が連携する画像処理システムとして実現されてもよい。
　図５は、画像処理装置５００の機能的構成例を示すブロック図である。図６は、画像処理装置５００が実行する画像処理手順例を示すフローチャートである。
　画像処理装置５００は、取得部５０１と、第１生成部５０２と、第２生成部５０３と、出力部５０４と、を有する。第１生成部５０２は、二値化処理部５２１と血管面積密度算出部５２２と血管面積密度マップデータ生成部５２３とを有する。取得部５０１、第１生成部５０２、第２生成部５０３、および出力部５０４は、具体的には、たとえば、図４に示した記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより実現される。
　取得部５０１は、図１および図２の（Ａ）で説明したように、指定された患者の、血管造影画像データ１０１やＳＬＯ眼底画像データといった被検眼画像データを取得する（ステップＳ６０１）。取得部５０１は、被検眼画像データを有する他のコンピュータ４００からネットワーク３０５を介して被検眼画像データを受信する。また、すでに被検眼画像データが画像処理装置５００の記憶デバイス４０２に格納されている場合には、取得部５０１は、被検眼画像データを記憶デバイス４０２から読み出す。
　第１生成部５０２の二値化処理部５２１は、図１および図２の（Ｂ）で説明したように、血管造影画像データ１０１を二値化処理して、二値化した血管造影画像データ１０２を出力する（ステップＳ６０２）。具体的には、二値化処理部５２１は、判別分析法により、血管造影画像データ１０１を二値化処理する。たとえば、二値化処理部５２１は、下記式（１）が最大となる輝度のしきい値ｔで、血管造影画像データ１０１を二値化処理する。
　ｗ１×ｗ２（ｍ１－ｍ２）２・・・（１）
　ｗ１は、しきい値ｔで二値化処理した場合に、しきい値ｔよりも輝度値が小さい画素の数である。ｍ１は、画素数ｗ１の平均値である。ｗ２は、しきい値ｔで二値化処理した場合に、輝度値がしきい値ｔ以上となる画素の数である。ｍ２は、画素数ｗ２の平均値である。なお、二値化処理部５２１は、判別分析法に限らず、あらかじめ設定されたしきい値ｔで二値化処理を実行してもよい。なお、二値化処理の前に、輝度調整やデノイズ処理などの事前処理を実行するようにしてもよい。
　第１生成部５０２の血管面積密度算出部５２２は、二値化した血管造影画像データ１０２から血管面積密度を算出する（ステップＳ６０３）。具体的には、たとえば、血管面積密度算出部５２２は、二値化処理済みの血管造影画像データ１０２に対し、所定サイズの領域（たとえば、上述した１００画素×１００画素）の平均化フィルタをラスタスキャンすることにより、平均化フィルタ内の重みと画素の輝度値との積和演算で畳み込み演算を実行する。畳み込み演算結果は、０～１の値のグレイスケール画素の配列となる。畳み込み演算結果の各画素は血管面積密度を示す。
　第１生成部５０２の血管面積密度マップデータ生成部５２３は、図１および図２の（Ｃ）で説明したように、血管面積密度算出部５２２によって算出された畳み込み演算結果の配列に基づいて、血管面積密度マップデータとして、たとえば、ヒートマップデータ１０３を生成する（ステップＳ６０４）。具体的には、たとえば、血管面積密度マップデータ生成部５２３は、畳み込み演算結果の血管面積密度を示す各画素を、グレイスケールからＲＧＢカラーに変換する。変換方式は、ルックアップテーブルを参照してグレイスケールの値に対応するＲＧＢカラーの値に変換する方法でもよく、変換式に基づきグレイスケールの値に対応するＲＧＢカラーの値を計算する方法でもよい。
　第２生成部５０３は、図１および図２の（Ｄ）で説明したように、比較画像データ１０４，１０５を生成する（ステップＳ６０５）。具体的には、たとえば、第２生成部５０３は、二つの血管面積密度マップデータ並べた比較画像データ１０４による表示か、二つの血管面積密度データの差分値を可視化した比較画像データ１０５による表示かの、ユーザの選択に基づいて、比較画像データ１０４あるいは比較画像データ１０５のどちらかを生成する。また、第２生成部５０３は、比較画像データ１０４，１０５の両方を生成しておいて、ユーザの選択により、いずれを出力するかを切り替えるようにしてもよい。もちろん、比較画像データ１０４，１０５を共に表示するようにすることも可能である。
　出力部５０４は、第２生成部５０３によって生成された比較画像データ１０４，１０５を出力する（ステップＳ６０５）。具体的には、たとえば、出力部５０４は、画像処理装置５００が有する表示装置に比較画像データ１０４，比較画像データ１０５を表示したり、画像処理装置５００から他のコンピュータ４００に比較画像データ１０４，比較画像データ１０５を送信したりする。
　＜表示画面例＞
　図９は、表示画面例を示す説明図である。表示画面７００は、出力部５０４に接続されたディスプレイ（たとえば、管理サーバ３０３のディスプレイ）または出力部５０４による出力先のコンピュータ４００（たとえば、端末３０４のディスプレイ）で表示される。表示画面７００は、患者情報表示領域７０１と、ＳＬＯ眼底画像データ表示領域７０２と、ＳＬＯ眼底画像データ拡大表示領域７０３と、第１血管造影画像データ表示領域７０４と、第２血管造影画像データ表示領域７０５と、を有する。
　患者情報表示領域７０１は、患者情報を表示する領域である。患者情報とは、患者ＩＤ、患者名、性別など患者を一意に特定する識別情報である。
　ＳＬＯ眼底画像データ表示領域７０２は、眼科装置３１０のＳＬＯユニットで撮影されたＳＬＯ眼底画像データ７２０（ＳＬＯ眼底画像データ７２０は、治療後の２０１９／２／１９に撮影されたＳＬＯ眼底画像データとする）を表示する領域である。ＳＬＯ眼底画像データ７２０は、被検眼の眼底の、視神経乳頭７２１と、黄斑７２２と、血管（線分で表示）を含む領域を撮影して得られた画像データである。
　ＳＬＯ眼底画像データ表示領域７０２は、矩形領域７２３を選択可能な領域である。矩形領域７２３は、表示画面７００が表示されているコンピュータ４００の入力デバイス４０３を操作することにより選択された矩形の領域である。また、被検眼が右眼か左眼かを示す左右眼識別情報７２４（図７では左眼である）がＳＬＯ眼底画像データ表示領域７０２に表示されている。
　ＳＬＯ眼底画像データ拡大表示領域７０３は、ＳＬＯ眼底画像データ７２０を拡大表示する領域である。具体的には、たとえば、ＳＬＯ眼底画像データ拡大表示領域７０３には、矩形領域７２３内のＳＬＯ部分眼底画像データ７３０が拡大表示される。
　第１血管造影画像データ表示領域７０４は、眼科装置３１０のＯＣＴユニットで治療前の２０１８年１２月１０日に撮影されたＯＣＴ眼底画像データ（不図示）を用いて生成された第１血管造影画像データ１０１Ａ，ヒートマップデータ１０３Ａを表示する領域である。第１血管造影画像データ１０１Ａは、ＯＣＴ眼底画像データ全体の第１血管造影画像データのうちＳＬＯ眼底画像データ７２０で指定された矩形領域７２３に対応するＯＣＴ眼底画像データの領域の部分血管造影画像データである。同様に、ヒートマップデータ１０３Ａは、ＯＣＴ眼底画像データ全体のヒートマップデータのうち矩形領域７２３に対応するＯＣＴ眼底画像データの領域の部分ヒートマップデータである。
　第２血管造影画像データ表示領域７０５は、眼科装置３１０のＯＣＴユニットで治療後の２０１９年２月１９日に撮影されたＯＣＴ眼底画像データ（不図示）から生成された第２血管造影画像データ１０１Ｂ，ヒートマップデータ１０３Ｂを表示する領域である。第２血管造影画像データ１０１Ｂは、ＳＬＯ眼底画像データ全体の第２血管造影画像データのうち、矩形領域７２３と同一位置で対応する領域の部分血管造影画像データである。同様に、ヒートマップデータ１０３Ｂは、ＯＣＴ眼底画像データ全体のヒートマップデータのうち矩形領域７２３と同一位置で対応する領域の部分ヒートマップデータである。
　このように、コンピュータ４００は、ＳＬＯ眼底画像データ７２０から矩形領域７２３を選択することにより、被検眼全体の血管造影画像データから矩形領域７２３に対応する領域の部分血管造影画像データ１０１，部分ヒートマップデータ１０３を取得して、第１血管造影画像データ表示領域７０４および第２血管造影画像データ表示領域７０５に表示する。
　このため、コンピュータ４００は、ＳＬＯ眼底画像データ７２０上での矩形領域７２３の選択に連動して、ユーザが注目したい領域の部分血管造影画像データ１０１，部分ヒートマップデータ１０３を表示することができる。したがって、ＳＬＯ眼底画像データ７２０と血管造影画像データ１０１，ヒートマップデータ１０３との間においてユーザが注目したい領域の不一致に基づく誤診を抑制することができる。また、被検眼全体の血管造影画像データから注目したい領域を選択する必要がないため、ユーザの利便性の向上を図ることができる。
　さらに、ヒートマップデータ１０３Ａとヒートマップデータ１０３Ｂとの差分画像データを表示画面７００に表示するようにしてもうよい。ＰＤＴ治療した場所（ＰＤＴ治療でレーザ光線を当てた場所）を当該差分画像データに重畳表示するようにしてもよい。また、ＰＤＴ治療した場所（ＰＤＴ治療でレーザ光線を当てた場所）を、ＳＬＯ眼底画像データ７２０、ヒートマップデータ１０３Ａ、１０３Ｂに重畳表示するようにしてもよい。
　また、コンピュータ４００は、ヒートマップデータ１０３Ａおよびヒートマップデータ１０３Ｂに、矩形領域７２３内の特定の組織の位置を示すマークデータ（図７では、黄斑７２２の位置を示す円形のマークデータ）を重畳表示してもよい。これにより、ユーザは、ヒートマップデータ１０３Ａ，１０３Ｂが、ＳＬＯ眼底画像データ７２０上のどの位置に対応するか直感的に把握することができる。
　また、画像処理装置５００は、ヒートマップデータ１０３Ａ，１０３Ｂの位置と、ＳＬＯ眼底画像データ７２０の位置とを合わせて、重畳表示するようにしてもよい。重畳の混合比は、ユーザ操作により適宜変更可能としてもよい。画像処理装置５００は、ヒートマップデータ１０３Ａ，１０３Ｂの差分画像データである比較画像データ１０５とＳＬＯ眼底画像データ７２０とを位置を合わせて重畳表示するようにしてもよい。重畳の混合比は、ユーザ操作により適宜変更可能としてもよい。
　また、上述した実施例の画像処理装置５００は、ＯＣＴアンジオグラフィによる血管造影画像データを用いてヒートマップデータを作成したが、蛍光撮影による血管造影画像データでもよい。また、画像処理装置５００は、ＳＬＯ眼底画像データを画像処理して得られた脈絡膜血管画像データを用いてヒートマップデータを作成するようにしてもよい。脈絡膜血管画像データは、緑色レーザ光で撮影された緑ＳＬＯ眼底画像データと赤色光で撮影された赤ＳＬＯ眼底画像データとを画像処理することにより得られる。
　具体的には、画像処理装置５００はブラックハットフィルタ処理を緑ＳＬＯ眼底画像データに施すことにより、網膜血管を抽出する。つぎに、画像処理装置５００は、赤ＳＬＯ眼底画像データから、緑ＳＬＯ眼底画像データから抽出した網膜血管の位置の画素をインペインティング処理により塗りつぶすことにより赤ＳＬＯ眼底画像データの網膜血管を除去する。この処理により脈絡膜血管画像データを得ることができる。
　このように、上述した画像処理装置によれば、３次元のＯＣＴアンジオグラフィのデータから脈絡膜位置の深さのｅｎｆａｃｅ画像である血管造影画像データを利用して、光線力学的療法により治療された眼科疾患の治療効果を容易に可視化することができる。これにより、病変の経過観察の信頼性が向上し、病変の見逃しや、ひいては誤診の抑制を図ることができる。
　なお、上述した実施例では、ｅｎｆａｃｅ画像である血管造影画像データを用いたが、画像処理装置は、脈絡膜を含む空間の３次元のＯＣＴアンジオグラフィのデータを用いて、３次元のヒートマップデータを作成してもよい。このように、３次元化することにより、脈絡膜のどの領域に眼科疾患が存在するかを空間的に把握することができる。
　なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
１０１　血管造影画像データ、１０２　二値化処理済みの血管造影画像データ、１０３　血管造影画像データ、１０４，１０５　比較画像データ、３００　眼科システム、３０１　眼科装置、３０３　管理サーバ、３０４　端末、４００　コンピュータ、４０１　プロセッサ、５００　画像処理装置、５０１　取得部、５０２　第１生成部、５０３　第２生成部、５０４　出力部、５２１　二値化処理部、５２２　血管面積密度算出部　５２２、血管面積密度マップデータ生成部　５２３

Claims (12)

  1. 　被検眼の第１血管造影画像データと、前記第１血管造影画像データよりも後に生成された前記被検眼の第２血管造影画像データと、を取得する取得部と、
    　前記第１血管造影画像データから第１血管面積密度を算出し、前記第１血管面積密度に基づいた第１血管面積密度マップデータと、前記第２血管造影画像データから第２血管面積密度を算出し、前記第２血管面積密度に基づいた第２血管面積密度マップデータとを生成する第１生成部と、
    　前記第１血管面積密度マップデータおよび前記第２血管面積密度マップデータを比較するための比較画像データを生成する第２生成部と、
    　前記比較画像データを出力する出力部と、
    　を有する画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記比較画像データは、前記第１血管面積密度マップデータおよび前記第２血管面積密度マップデータを含む、画像処理装置。
  3. 　請求項１または２に記載の画像処理装置であって、
    　前記第１血管面積密度マップデータはヒートマップ形式で表現された第１ヒートマップデータであり、
    　前記第２血管面積密度マップデータは、前記ヒートマップ形式で表現された第２ヒートマップデータである、画像処理装置。
  4. 　請求項１に記載の画像処理装置であって、
    　前記比較画像データは、前記第１血管面積密度と、前記第２血管面積密度との差分値に基づいた差分画像データである、画像処理装置。
  5. 　請求項４に記載の画像処理装置であって、
    　前記差分画像データは、前記差分に基づいて作成された差分ヒートマップデータである、画像処理装置。
  6. 　請求項１から５のいずれか一つに記載の画像処理装置であって、
    　前記第１血管造影画像データおよび前記第２血管造影画像データは、ＯＣＴアンジオグラフィによる血管造影画像データである、画像処理装置。
  7. 　請求項１から５のいずれか一つに記載の画像処理装置であって、
    　前記第１血管造影画像データおよび前記第２血管造影画像データは、脈絡膜血管画像データである、画像処理装置。
  8. 　請求項６に記載の画像処理装置であって、
    　前記第１血管造影画像データは、前記被検眼の治療前に撮影された第１ＯＣＴ画像データに基づいて生成され、前記第２血管造影画像データは、前記被検眼の治療後に撮影された第２ＯＣＴ画像データに基づいて生成された、画像処理装置。
  9. 　請求項１から８のいずれか一つに記載の画像処理装置であって、
    　前記第２生成部は、前記被検眼の特定の組織の位置を示すマークデータを、前記第１血管面積密度マップデータ、第２血管面積密度マップデータまたは前記比較画像データに重畳する、画像処理装置。
  10. 　請求項１から８のいずれか一つに記載の画像処理装置であって、
    　前記第２生成部は、前記比較画像データと眼底画像データとを重畳した画像を生成する、画像処理装置。
  11. 　プロセッサが、
    　被検眼の第１血管造影画像データと、前記第１血管造影画像データよりも後に生成された前記被検眼の第２血管造影画像データと、を取得する取得処理と、
    　前記第１血管造影画像データから第１血管面積密度を算出し、前記第１血管面積密度に基づいた第１血管面積密度マップデータと、前記第２血管造影画像データから第２血管面積密度を算出し、前記第２血管面積密度に基づいた第２血管面積密度マップデータとを生成する第１生成処理と、
    　前記第１血管面積密度マップデータおよび前記第２血管面積密度マップデータを比較するための比較画像データを生成する第２生成処理と、
    　前記比較画像データを出力する出力処理と、
    　を実行する画像処理方法。
  12. 　請求項１１に記載の画像処理方法を前記プロセッサに実行させる画像処理プログラム。
PCT/JP2019/017728 2019-04-25 2019-04-25 画像処理装置、画像処理方法、および画像処理プログラム WO2020217409A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021515428A JPWO2020217409A1 (ja) 2019-04-25 2019-04-25
PCT/JP2019/017728 WO2020217409A1 (ja) 2019-04-25 2019-04-25 画像処理装置、画像処理方法、および画像処理プログラム
US17/600,346 US20220172358A1 (en) 2019-04-25 2019-04-25 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM (as amended)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/017728 WO2020217409A1 (ja) 2019-04-25 2019-04-25 画像処理装置、画像処理方法、および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2020217409A1 true WO2020217409A1 (ja) 2020-10-29

Family

ID=72941586

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017728 WO2020217409A1 (ja) 2019-04-25 2019-04-25 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US20220172358A1 (ja)
JP (1) JPWO2020217409A1 (ja)
WO (1) WO2020217409A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017077414A (ja) * 2015-10-21 2017-04-27 株式会社ニデック 眼科解析装置、眼科解析プログラム
JP2018019771A (ja) * 2016-08-01 2018-02-08 株式会社ニデック 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP2018171141A (ja) * 2017-03-31 2018-11-08 株式会社ニデック 眼底解析装置及び眼底解析プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6108827B2 (ja) * 2012-12-28 2017-04-05 キヤノン株式会社 眼科装置および位置合わせ方法
JP6278295B2 (ja) * 2013-06-13 2018-02-14 国立大学法人 筑波大学 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム
WO2016109750A1 (en) * 2014-12-30 2016-07-07 Optovue, Inc. Methods and apparatus for retina bloodvessel assesment with oct angiography
US20160278983A1 (en) * 2015-03-23 2016-09-29 Novartis Ag Systems, apparatuses, and methods for the optimization of laser photocoagulation
US10354378B2 (en) * 2016-04-06 2019-07-16 University Of Washington Systems and methods for quantitative assessment of microvasculature using optical coherence tomography angiography
JP7182350B2 (ja) * 2016-09-07 2022-12-02 株式会社ニデック 眼科解析装置、眼科解析プログラム
WO2018229251A1 (en) * 2017-06-16 2018-12-20 Imba - Institut Für Molekulare Biotechnologie Gmbh Blood vessel organoid, methods of producing and using said organoids
WO2019065219A1 (ja) * 2017-09-29 2019-04-04 株式会社ニデック 眼科装置
US10973406B2 (en) * 2018-03-06 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable medium
WO2020183799A1 (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
JP7312843B2 (ja) * 2019-10-10 2023-07-21 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017077414A (ja) * 2015-10-21 2017-04-27 株式会社ニデック 眼科解析装置、眼科解析プログラム
JP2018019771A (ja) * 2016-08-01 2018-02-08 株式会社ニデック 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP2018171141A (ja) * 2017-03-31 2018-11-08 株式会社ニデック 眼底解析装置及び眼底解析プログラム

Also Published As

Publication number Publication date
US20220172358A1 (en) 2022-06-02
JPWO2020217409A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
US20210104313A1 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
US20210224997A1 (en) Image processing apparatus, image processing method and computer-readable medium
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5733962B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2020036182A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
US20210224957A1 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
US11284791B2 (en) Image processing method, program, and image processing device
US11941788B2 (en) Image processing method, program, opthalmic device, and choroidal blood vessel image generation method
JP5588291B2 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP2018038611A (ja) 眼科解析装置、眼科解析プログラム
WO2020202680A1 (ja) 情報処理装置及び情報処理方法
CN108289606A (zh) 玻璃体视网膜手术期间oct图像的分辨率增强
US11871991B2 (en) Image processing method, program, and image processing device
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7435885B2 (ja) 眼科画像処理装置、および眼科画像処理プログラム
JP2022082077A (ja) 眼科画像処理装置、および、眼科画像処理プログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020217409A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7005382B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2021086560A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2020058615A (ja) 画像処理装置、学習済モデル、画像処理方法およびプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20210027467A1 (en) Image processing method, program, image processing device, and ophthalmic system
JP7406901B2 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19926176

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021515428

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19926176

Country of ref document: EP

Kind code of ref document: A1