WO2020003524A1 - 眼科画像処理装置、ｏｃｔ装置、眼科画像処理プログラム、および、数学モデル構築方法 - Google Patents

眼科画像処理装置、ｏｃｔ装置、眼科画像処理プログラム、および、数学モデル構築方法 Download PDF

Info

Publication number
WO2020003524A1
WO2020003524A1 PCT/JP2018/024915 JP2018024915W WO2020003524A1 WO 2020003524 A1 WO2020003524 A1 WO 2020003524A1 JP 2018024915 W JP2018024915 W JP 2018024915W WO 2020003524 A1 WO2020003524 A1 WO 2020003524A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
ophthalmologic
ophthalmic
mathematical model
Prior art date
Application number
PCT/JP2018/024915
Other languages
English (en)
French (fr)
Inventor
祐輔 坂下
佳紀 熊谷
涼介 柴
直樹 竹野
Original Assignee
株式会社ニデック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニデック filed Critical 株式会社ニデック
Priority to EP18924990.7A priority Critical patent/EP3815599A4/en
Priority to CN201880096917.2A priority patent/CN113365547A/zh
Priority to PCT/JP2018/024915 priority patent/WO2020003524A1/ja
Priority to JP2019553134A priority patent/JP6703319B1/ja
Publication of WO2020003524A1 publication Critical patent/WO2020003524A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present disclosure relates to an ophthalmologic image processing apparatus that processes an ophthalmologic image of a subject's eye, an OCT apparatus, an ophthalmologic image processing program executed by the ophthalmologic image processing apparatus, and a mathematical model construction that constructs a mathematical model used by the ophthalmologic image processing apparatus About the method.
  • the ophthalmologic imaging apparatus described in Patent Document 1 obtains a high-quality tomographic image by performing an averaging process on a plurality of tomographic images and suppressing speckle noise.
  • a typical object of the present disclosure is to provide an ophthalmologic image processing device, an OCT device, an ophthalmologic image processing program, and a mathematical model construction method for appropriately acquiring a high-quality ophthalmic image.
  • An ophthalmologic image processing device provided by a typical embodiment of the present disclosure is an ophthalmologic image processing device that processes an ophthalmic image that is an image of a tissue of an eye to be examined, and a control unit of the ophthalmologic image processing device includes an ophthalmic image processing device.
  • An ophthalmological image taken by an imaging device, or an averaging image obtained by averaging a plurality of ophthalmic images obtained by photographing the same part of tissue by the ophthalmologic imaging device was acquired as a base image, and trained by a machine learning algorithm. By inputting the base image into a mathematical model, a target image with higher image quality than the base image is obtained.
  • the mathematical model includes L images (a plurality of training ophthalmologic images of the same part of the tissue) Data based on the training ophthalmic image of L ⁇ 1) is used as input training data, and data of an averaged image obtained by averaging H (H> L) training ophthalmic images is used. It is trained as a force for training data.
  • An OCT apparatus processes an OCT signal based on reference light and reflected light of measurement light applied to a tissue of an eye to be examined, thereby capturing an ophthalmologic image of the tissue.
  • An OCT apparatus wherein the control unit of the OCT apparatus obtains, as a base image, an ophthalmological image of the tissue that has been taken, or an averaged image obtained by averaging a plurality of ophthalmologic images that have taken the same part of the tissue.
  • a mathematical model trained by a machine learning algorithm a target image with higher image quality than the base image is obtained, and the mathematical model is used for a plurality of training images of the same part of a tissue.
  • ophthalmic images data based on L (L ⁇ 1) training ophthalmic images is used as input training data, and H (H> L) averaging images obtained by averaging the training ophthalmic images are used. They are trained the data as output for the training data.
  • An ophthalmologic image processing program provided by a typical embodiment of the present disclosure is an ophthalmologic image processing program executed by an ophthalmologic image processing apparatus that processes an ophthalmologic image that is an image of a tissue of an eye to be inspected, wherein the ophthalmologic image processing program The program is executed by the control unit of the ophthalmologic image processing apparatus, so that an ophthalmologic image captured by the ophthalmologic image capturing apparatus, or an averaging of a plurality of ophthalmologic images obtained by capturing the same part of tissue by the ophthalmologic image capturing apparatus is performed.
  • Image acquisition step the ophthalmological image processing apparatus is executed, the mathematical model captures the same part of the tissue Of the plurality of training ophthalmic images, data based on L (L ⁇ 1) training ophthalmic images was used as input training data, and the H (H> L) training ophthalmic images were averaged.
  • the data of the averaging image is trained as output training data.
  • a mathematical model construction method provided by an exemplary embodiment according to the present disclosure is a mathematical model construction method that is constructed by being trained by a machine learning algorithm, and constructs a mathematical model that outputs a target image when a base image is input.
  • a mathematical model building method executed by the apparatus wherein an image set obtaining step of obtaining a plurality of training ophthalmic images of the same part of the tissue of the eye to be inspected, and L images of the plurality of training ophthalmic images Data based on the training ophthalmic image (L ⁇ 1) is used as input training data, and data of an averaged image obtained by averaging H (H> L) training ophthalmic images is used as output training data. Training the mathematical model to build the mathematical model.
  • a high-quality ophthalmologic image is appropriately acquired.
  • the control unit of the ophthalmologic image processing apparatus exemplified in the present disclosure is an ophthalmologic image captured by an ophthalmologic image capturing apparatus, or an averaging image obtained by averaging a plurality of ophthalmologic images capturing the same part of a tissue by the ophthalmic image capturing apparatus. Is acquired as a base image.
  • the control unit acquires a target image having higher quality than the base image by inputting the base image to the mathematical model trained by the machine learning algorithm.
  • the mathematical model is trained by a training data set which is a set of input training data and output training data.
  • training ophthalmic images obtained by imaging the same part of the tissue
  • data based on L (L ⁇ 1) training ophthalmic images is used as input training data.
  • data of an averaged image obtained by averaging H (H> L) training ophthalmologic images is regarded as output training data (sometimes referred to as correct answer data).
  • H is a number larger than the number of training ophthalmic images used for the input training data.
  • the mathematical model construction device that constructs a mathematical model executes an image set acquisition step and a training step.
  • the image set acquisition step a plurality of training ophthalmologic images of the same part of the tissue of the eye to be examined are acquired.
  • the training step among the plurality of training ophthalmic images, data based on L (L ⁇ 1) training ophthalmic images is used as input training data, and H (H> L) training ophthalmic images are used.
  • the mathematical model is constructed by training the mathematical model by using the data of the averaged image as training data for output.
  • the constructed mathematical model has a small number of ophthalmological images, or even when an averaged image of a small number of ophthalmic images is input as a base image, the same as an image obtained by averaging many ophthalmic images.
  • a target image in which the influence of noise is suppressed can be output. Therefore, it is easy to shorten the photographing time when photographing the base image. Further, even in the conventional image processing, it was possible to suppress the influence of noise without performing the averaging processing. However, in the conventional image processing, a weak signal and noise cannot be distinguished from each other, and a weak signal which is originally required may be deleted.
  • the mathematical model exemplified in the present disclosure can output, based on the base image, a target image in which a portion where the signal of the image has become weak due to an effect other than noise is not deleted. Therefore, a high-quality ophthalmic image is appropriately acquired.
  • the data used as the training data for input of the training data set (that is, “data based on the L training ophthalmic images”) is the data of the photographed ophthalmic image itself (that is, the original image that is not averaged). It may be data of an averaged image obtained by averaging a plurality of ophthalmologic images. Both the data of the original image and the data of the averaging image may be used as input training data.
  • the input training data is data of an original image
  • the base image input to the mathematical model is also an original image that has not been averaged.
  • the input training data is data of an averaged image
  • the base image is also an averaged image.
  • the number of images (at least one of the original image and the averaged image) used for the input training data may be one, or may be a plurality (for example, about 2 to 5). May be.
  • the number H of training ophthalmic images used when generating the averaged image used as the output training data is at least larger than the number of training ophthalmic images used for the input training data. For example, when L original images are used as input training data, H> L. When an image obtained by averaging L ′ images is used as input training data, H> L ′. Note that the number of ophthalmologic images used for the base image is smaller than H.
  • the ophthalmological image may be a two-dimensional tomographic image of the tissue of the subject's eye captured by the OCT apparatus.
  • the control unit of the ophthalmologic image processing device may acquire a plurality of base images of each of a plurality of different positions in the tissue of the eye to be inspected.
  • the control unit may acquire each target image at a plurality of positions by inputting each of the plurality of base images to the mathematical model.
  • the control unit generates, based on the plurality of target images, at least one of a three-dimensional tomographic image of the tissue and a two-dimensional front image when the tissue is viewed from the front (that is, the line of sight of the eye to be inspected). Is also good.
  • the ophthalmologic imaging apparatus includes a three-dimensional tomographic image generating step of generating a three-dimensional tomographic image of the tissue based on the plurality of target images, and a frontal surface generating a two-dimensional front image of the tissue based on the plurality of target images. At least one of the image generation steps may be performed. In this case, a three-dimensional tomographic image or a two-dimensional front image of a tissue in which the influence of noise is suppressed is appropriately generated without capturing a large number of two-dimensional tomographic images.
  • the two-dimensional front image may be a so-called “Enface image”.
  • the data of the Enface image includes, for example, integrated image data in which luminance values are integrated in the depth direction (Z direction) at each position in the XY direction, integrated values of spectrum data at each position in the XY direction, and a certain depth.
  • Luminance data at each position in the XY direction in the direction, luminance data at each position in the XY direction on any layer of the retina (for example, a retinal surface layer), or the like may be used.
  • the ophthalmological image may be a two-dimensional tomographic image of the fundus of the subject's eye taken by the OCT apparatus.
  • the control unit of the ophthalmologic image processing apparatus may identify at least one of the plurality of layers included in the fundus by performing analysis processing on the target image that is a two-dimensional tomographic image. That is, the ophthalmologic image processing apparatus may execute a segmentation step of identifying a fundus oculi layer from the acquired target image. In this case, the segmentation result in which the influence of noise is suppressed is appropriately acquired without capturing a large number of two-dimensional tomographic images.
  • the ophthalmologic image may not be a two-dimensional tomographic image, but may be a two-dimensional front image obtained by photographing a tissue (for example, the fundus) from the front (that is, the line of sight of the eye to be examined).
  • the two-dimensional front image may be an OCT angio image.
  • the OCT angio image may be, for example, a motion contrast image obtained by processing at least two OCT signals obtained at different times for the same position.
  • an image obtained by photographing autofluorescence (FAF) of the fundus of the eye to be inspected by a laser scanning optometer (SLO) may be used as an ophthalmologic image.
  • FAF image an image obtained by photographing autofluorescence (FAF) of the fundus of the eye to be inspected by a laser scanning optometer (SLO)
  • SLO laser scanning optometer
  • the imaging site of the ophthalmologic image may be, for example, the fundus of the eye to be examined or the anterior segment.
  • various images that can suppress the influence of noise by the averaging process of a plurality of images can be used as the ophthalmologic image according to the present disclosure.
  • the control unit of the ophthalmologic image processing apparatus may execute an analysis process different from the segmentation process for identifying the layer on the target image. For example, the control unit acquires a front image (for example, the above-described OCT angio image) of the fundus in which blood vessels are captured as a target image, and executes a process of analyzing the blood vessel density of the fundus with respect to the obtained target image. May be. Further, the control unit may perform an analysis process on an image generated based on a plurality of target images (for example, the above-described three-dimensional tomographic image or Enface image).
  • a front image for example, the above-described OCT angio image
  • the control unit may perform an analysis process on an image generated based on a plurality of target images (for example, the above-described three-dimensional tomographic image or Enface image).
  • the control unit of the ophthalmologic image processing apparatus may execute at least one of the simultaneous display processing and the switching display processing.
  • the simultaneous display processing the control unit causes the display device to simultaneously display the base image and the target image.
  • the switching display process the control unit switches between the base image and the target image according to the instruction input by the user and displays the target image on the display device.
  • the user can easily check both the target image in which the influence of the noise is suppressed and the base image (original image or an averaged image of the original images) on which the target image is based. Therefore, the user can perform diagnosis and the like more appropriately.
  • the base image and the target image may be displayed on the same display device, or may be displayed on different display devices.
  • the control unit may acquire a plurality of base images continuously shot by the ophthalmologic image shooting apparatus.
  • the control unit may acquire a plurality of target images by sequentially inputting the acquired plurality of base images to the mathematical model.
  • the control unit may generate moving image data of the organization based on the acquired plurality of target images. That is, the ophthalmologic image processing apparatus may execute a moving image generating step of generating moving image data of a tissue based on a plurality of target images.
  • the user can confirm the moving image of the organization displayed in a state where the influence of the noise is suppressed. That is, even in the related art, it is possible to suppress the influence of noise by averaging a plurality of ophthalmologic images.
  • one addition average image is created from a plurality of ophthalmologic images. Therefore, when a moving image of a tissue is displayed using the addition average image, the frame rate is liable to significantly decrease. In particular, when the shooting position changes over time, it is difficult to generate a good moving image using the averaged image.
  • the ophthalmologic image processing apparatus can generate a moving image of a tissue in which the influence of noise is suppressed, while suppressing a decrease in the frame rate. Therefore, the user can perform diagnosis and the like more appropriately.
  • the control unit may cause the display device to simultaneously display the moving image of the base image and the moving image of the target image.
  • the control unit may switch the moving image of the base image and the moving image of the target image to be displayed on the display device in accordance with an instruction input by the user. In this case, the user can easily check both the moving image of the target image and the moving image of the base image.
  • FIG. 9 is an explanatory diagram for describing a first acquisition pattern of input training data and output training data. It is an explanatory view for explaining the 2nd acquisition pattern of training data for input and training data for output. It is an explanatory view for explaining the 3rd acquisition pattern of input training data and output training data. It is an explanatory view for explaining the 4th acquisition pattern of input training data and output training data.
  • FIG. 6 is a flowchart of a high-quality moving image generation process executed by the ophthalmologic image processing apparatus 21.
  • 5 is a flowchart of a high-quality three-dimensional image generation process executed by the ophthalmologic image processing apparatus 21.
  • FIG. 3 is a diagram illustrating an example of a high-quality three-dimensional image 40.
  • a mathematical model construction device 1 constructs a mathematical model by training the mathematical model by a machine learning algorithm.
  • the constructed mathematical model outputs, based on the input base image, a target image having higher image quality than the base image (in the present embodiment, the influence of noise is appropriately suppressed).
  • the ophthalmologic image processing device 21 acquires a target image from a base image using a mathematical model.
  • the ophthalmologic image capturing apparatuses 11A and 11B capture ophthalmic images that are images of the tissue of the eye to be examined.
  • a personal computer (hereinafter, referred to as “PC”) is used as the mathematical model construction device 1 of the present embodiment.
  • the mathematical model construction device 1 constructs a mathematical model by training the mathematical model using the ophthalmic image acquired from the ophthalmologic image capturing device 11A.
  • devices that can function as the mathematical model construction device 1 are not limited to PCs.
  • the ophthalmologic image photographing device 11A may function as the mathematical model construction device 1.
  • the control units of a plurality of devices (for example, the CPU of the PC and the CPU 13A of the ophthalmologic imaging apparatus 11A) may cooperate to construct a mathematical model.
  • PC A PC is used for the ophthalmologic image processing apparatus 21 of the present embodiment.
  • a device that can function as the ophthalmologic image processing apparatus 21 is not limited to a PC.
  • the ophthalmologic image capturing apparatus 11B or a server may function as the ophthalmologic image processing apparatus 21.
  • the ophthalmologic image capturing apparatus (OCT apparatus in the present embodiment) 11B functions as the ophthalmologic image processing apparatus 21
  • the ophthalmologic image capturing apparatus 11B captures an ophthalmic image while generating a higher-quality ophthalmologic image than the captured ophthalmic image. Can be obtained properly.
  • a portable terminal such as a tablet terminal or a smartphone may function as the ophthalmologic image processing device 21.
  • the control units of a plurality of devices may perform various processes in cooperation with each other.
  • a CPU is used as an example of a controller that performs various processes.
  • a controller other than the CPU may be used for at least a part of the various devices.
  • the processing speed may be increased by adopting a GPU as a controller.
  • the mathematical model construction device 1 will be described.
  • the mathematical model construction device 1 is disposed, for example, at a manufacturer or the like that provides a user with an ophthalmologic image processing device 21 or an ophthalmologic image processing program.
  • the mathematical model construction device 1 includes a control unit 2 that performs various control processes, and a communication I / F 5.
  • the control unit 2 includes a CPU 3, which is a controller for controlling, and a storage device 4 capable of storing programs, data, and the like.
  • the storage device 4 stores a mathematical model construction program for executing a mathematical model construction process (see FIG. 2) described later.
  • the communication I / F 5 connects the mathematical model construction device 1 to another device (for example, the ophthalmologic image capturing device 11A and the ophthalmologic image processing device 21).
  • the mathematical model construction device 1 is connected to the operation unit 7 and the display device 8.
  • the operation unit 7 is operated by the user so that the user inputs various instructions to the mathematical model construction device 1.
  • the operation unit 7 for example, at least one of a keyboard, a mouse, and a touch panel can be used.
  • a microphone or the like for inputting various instructions may be used together with or instead of the operation unit 7.
  • the display device 8 displays various images.
  • various devices capable of displaying an image for example, at least one of a monitor, a display, a projector, and the like
  • the “image” in the present disclosure includes both a still image and a moving image.
  • the mathematical model construction device 1 can acquire ophthalmic image data (hereinafter, sometimes simply referred to as “ophthalmic image”) from the ophthalmologic image capturing device 11A.
  • the mathematical model construction device 1 may acquire the data of the ophthalmologic image from the ophthalmologic image capturing device 11A by, for example, at least one of a wired communication, a wireless communication, and a removable storage medium (for example, a USB memory).
  • the ophthalmologic image processing device 21 will be described.
  • the ophthalmologic image processing apparatus 21 is disposed, for example, in a facility (eg, a hospital or a health check-up facility) for performing a diagnosis or an examination of a subject.
  • the ophthalmologic image processing device 21 includes a control unit 22 that performs various control processes, and a communication I / F 25.
  • the control unit 22 includes a CPU 23, which is a controller for controlling, and a storage device 24 that can store programs, data, and the like.
  • the storage device 24 stores an ophthalmological image processing program for executing later-described ophthalmologic image processing (for example, a high-quality moving image generation process illustrated in FIG.
  • the ophthalmological image processing program includes a program for realizing the mathematical model constructed by the mathematical model construction device 1.
  • the communication I / F 25 connects the ophthalmologic image processing device 21 to another device (for example, the ophthalmologic image capturing device 11B and the mathematical model construction device 1).
  • the ophthalmologic image processing device 21 is connected to the operation unit 27 and the display device 28.
  • Various devices can be used for the operation unit 27 and the display device 28, similarly to the operation unit 7 and the display device 8 described above.
  • the ophthalmologic image processing device 21 can acquire an ophthalmologic image from the ophthalmologic image capturing device 11B.
  • the ophthalmologic image processing device 21 may acquire the ophthalmologic image from the ophthalmologic image capturing device 11B by at least one of, for example, wired communication, wireless communication, and a removable storage medium (for example, a USB memory). Further, the ophthalmologic image processing apparatus 21 may acquire, via communication or the like, a program or the like for realizing the mathematical model constructed by the mathematical model construction apparatus 1.
  • the ophthalmologic image photographing apparatuses 11A and 11B will be described.
  • an ophthalmic image capturing apparatus 11A that provides an ophthalmic image to the mathematical model construction apparatus 1 and an ophthalmic image capturing apparatus 11B that provides an ophthalmic image to the ophthalmic image processing apparatus 21 are used.
  • the number of ophthalmologic imaging devices used is not limited to two.
  • the mathematical model construction device 1 and the ophthalmologic image processing device 21 may acquire ophthalmologic images from a plurality of ophthalmologic image capturing devices.
  • the mathematical model construction device 1 and the ophthalmologic image processing device 21 may acquire an ophthalmologic image from one common ophthalmologic image capturing device.
  • the two ophthalmologic image capturing apparatuses 11A and 11B exemplified in the present embodiment have the same configuration. Accordingly, hereinafter, the two ophthalmologic image capturing apparatuses 11A and 11B will be described together.
  • an OCT apparatus is exemplified as the ophthalmologic image photographing apparatus 11 (11A, 11B).
  • an ophthalmologic image capturing device other than the OCT device for example, a laser scanning optometry device (SLO), a fundus camera, a corneal endothelial cell capturing device (CEM), or the like
  • SLO laser scanning optometry device
  • CEM corneal endothelial cell capturing device
  • the ophthalmologic image photographing apparatus 11 includes a control unit 12 (12A, 12B) for performing various control processes, and an ophthalmologic image photographing unit 16 (16A, 16B).
  • the control unit 12 includes a CPU 13 (13A, 13B), which is a controller for controlling, and a storage device 14 (14A, 14B) capable of storing programs, data, and the like.
  • the ophthalmological image photographing section 16 has various components necessary for photographing an ophthalmologic image of the eye to be examined.
  • the ophthalmologic image photographing unit 16 of the present embodiment includes an OCT light source, a branching optical element that branches the OCT light emitted from the OCT light source into measurement light and reference light, a scanning unit for scanning the measurement light, and a measurement light.
  • An optical system for irradiating the optometry, a light receiving element for receiving a combined light of the light reflected by the tissue of the subject's eye and the reference light and the like are included.
  • the ophthalmologic image photographing apparatus 11 can photograph a two-dimensional tomographic image and a three-dimensional tomographic image of the fundus of the eye to be examined.
  • the CPU 13 scans the scan line with the OCT light (measurement light) to capture a two-dimensional tomographic image of a cross section that intersects the scan line.
  • the CPU 13 can capture a three-dimensional tomographic image of the tissue by scanning the OCT light two-dimensionally.
  • the CPU 13 obtains a plurality of two-dimensional tomographic images by causing the measurement light to scan each of a plurality of scan lines at different positions in a two-dimensional region when the tissue is viewed from the front.
  • the CPU 13 obtains a three-dimensional tomographic image by combining a plurality of captured two-dimensional tomographic images.
  • the CPU 13 scans the same site on the tissue (on the same scan line in the present embodiment) with the measurement light a plurality of times, thereby capturing a plurality of ophthalmologic images of the same site.
  • the CPU 13 can obtain an averaging image in which the influence of speckle noise is suppressed by performing the averaging process on a plurality of ophthalmologic images of the same site.
  • the averaging process may be performed, for example, by averaging pixel values of pixels at the same position in a plurality of ophthalmologic images. The greater the number of images to be subjected to the averaging process, the more easily the effect of speckle noise is suppressed, but the longer the shooting time.
  • the ophthalmologic image photographing apparatus 11 executes a tracking process for following the scan position of the OCT light to the movement of the subject's eye while capturing a plurality of ophthalmologic images of the same site.
  • the mathematical model construction processing executed by the mathematical model construction device 1 will be described with reference to FIGS.
  • the mathematical model construction process is executed by the CPU 3 according to the mathematical model construction program stored in the storage device 4.
  • a mathematical model for outputting a high-quality target image from the base image is constructed by training the mathematical model with the training data set.
  • the training data set includes input training data and output training data.
  • data based on one to a plurality of ophthalmic images (two-dimensional tomographic image of the fundus in this embodiment) is used as input training data.
  • output training data data of an averaging image based on a number (H) of ophthalmic images larger than the number (L) of ophthalmic images used for input training data is used.
  • the training data for input and the training data for output target the same part of the tissue as an imaging target.
  • the CPU 3 acquires a set 30 (see FIGS. 3 to 6) of a plurality of training ophthalmic images 300A to 300X (X is an arbitrary integer of 2 or more) capturing the same part of the tissue. (S1). More specifically, in the present embodiment, a set of a plurality of two-dimensional tomographic images captured by scanning the same scan line on the fundus a plurality of times with the OCT light is used as an ophthalmological image set for training. It is obtained from the image photographing device 11A.
  • the CPU 3 obtains a signal (for example, an OCT signal) from which the two-dimensional tomographic image is generated from the ophthalmologic imaging apparatus 11A, and generates a two-dimensional tomographic image based on the obtained signal. Images may be obtained.
  • a signal for example, an OCT signal
  • OCT signal for example, an OCT signal
  • the CPU 3 acquires input training data from a part of the plurality of training ophthalmic images 300A to 300X in the set 30 (S2).
  • a specific method of acquiring the input training data can be appropriately selected, and the details will be described later with reference to FIGS.
  • the CPU 3 acquires, as output training data, an averaged image 31 (see FIGS. 3 to 6) of the plurality of training ophthalmic images 300A to 300X in the set 30 (S3).
  • the number H of the training ophthalmic images used for the averaging image 31 that is the output training data is larger than the number L of the training ophthalmic images used for the input training data.
  • all (for example, 120) of the plurality of training ophthalmic images 300A to 300X in the set 30 are used for the averaging image 31.
  • the averaging image 31 may be generated by the mathematical model construction device 1. Further, the mathematical model construction device 1 may acquire the averaging image 31 generated by the ophthalmologic image photographing device 11A.
  • the CPU 3 determines one of the training ophthalmic images 300A itself (that is, the original image that has not been subjected to the averaging process) among the training ophthalmic images 300A to 300X included in the set 30.
  • Data is acquired as input training data.
  • the ophthalmologic image processing apparatus 21 inputs the base image into the constructed mathematical model and obtains the target image, it is preferable to input one original image as the base image to the mathematical model. Since the ophthalmologic image processing apparatus 21 can acquire the target image based on one base image, the photographing time of the base image is easily reduced. In addition, when generating a moving image of a target image, it is easy to increase the frame rate of the moving image.
  • the second acquisition pattern of the training data for input will be described with reference to FIG.
  • the CPU 3 acquires, as the input training data, the original image data of a plurality of training ophthalmic images among the plurality of training ophthalmic images 300A to 300X included in the set 30.
  • data of two training ophthalmologic images 300A and 300B has been acquired as input training data.
  • the number of training ophthalmic images acquired as input training data can be changed within a range smaller than the number of training ophthalmic images used for the averaging image 31.
  • the ophthalmologic image processing apparatus 21 uses a number of ophthalmic images for training that is as close as possible to the number of training ophthalmic images used as input training data when inputting a base image to the constructed mathematical model.
  • the original image is input to the mathematical model as a base image.
  • the quality of the obtained target image is more likely to be improved than when one original image is input to the mathematical model as the base image.
  • one original image may be input to the mathematical model as a base image.
  • the number L of the original images used is 1 or more and smaller than the number used for the averaging image 31.
  • the CPU 3 calculates the data of the averaging image 32 obtained by averaging L (L ⁇ 2) training ophthalmic images among the plurality of training ophthalmic images 300A to 300X included in the set 30. , As input training data.
  • the data of the averaged image 32 of the two training ophthalmic images 300A and 300B is acquired as the input training data.
  • the number of training ophthalmic images used for the averaging image 32 can be changed within a range smaller than the number of training ophthalmic images used for the averaging image 31.
  • the ophthalmologic image processing apparatus 21 input the averaging image as the base image when inputting the base image to the constructed mathematical model. It is preferable that the number of ophthalmic images used for the averaging of the base images is as close as possible to the number of training ophthalmic images used for the averaging image 32. In this case, the quality of the acquired target image is more likely to be improved than in the case where one original image is input to the mathematical model as the base image. However, even when the third acquisition pattern is adopted, one original image may be input to the mathematical model as a base image.
  • the CPU 3 acquires a plurality of averaging images 32 obtained by averaging L (L ⁇ 2) training ophthalmologic images, and inputs data of the acquired plurality of averaging images 32 for input training. Use as data.
  • the data of the two averaged images 32A and 32B are obtained as input training data.
  • the ophthalmologic image processing apparatus 21 input a plurality of averaged images as the base image when inputting the base image to the constructed mathematical model. In this case, the quality of the acquired target image is more likely to be improved than when one original image is input as the base image.
  • one original image may be input to the mathematical model as a base image.
  • the CPU 3 may use both the data of the original image of the P training ophthalmic images and the data of the averaging image 32 of the P ′ training ophthalmic images as input training data.
  • the number of training ophthalmic images used for the averaging image 31 that is the output training data is based on the number of training ophthalmic images used for the input training data (for example, the sum of P and P ′). There are many.
  • one set of training data sets is obtained in which the data of the training ophthalmic image 300A is used as input training data, and the data of the averaging image 31 is used as output training data.
  • the CPU 3 can also acquire a training data set in which the data of the training ophthalmic image 300B is used as the input training data and the data of the averaging image 31 is used as the output training data. .
  • the CPU 3 executes the training of the mathematical model using the training data set by the machine learning algorithm (S4).
  • a machine learning algorithm for example, a neural network, a random forest, boosting, a support vector machine (SVM), and the like are generally known.
  • Neural networks are techniques that mimic the behavior of biological neuronal networks.
  • the neural network include a feedforward (forward propagation) neural network, an RBF network (radial basis function), a spiking neural network, a convolutional neural network, a recursive neural network (a recurrent neural network, a feedback neural network, etc.), a probability Neural network (Boltzmann machine, Bayesian network, etc.).
  • Random forest is a method of generating a large number of decision trees by learning based on training data that is randomly sampled.
  • a random forest is used, a branch of a plurality of decision trees previously learned as a discriminator is traced, and an average (or majority decision) of the results obtained from each decision tree is calculated.
  • Boosting is a method of generating a strong classifier by combining a plurality of weak classifiers.
  • a strong classifier is constructed by successively learning simple and weak classifiers.
  • SVM is a method for configuring two classes of pattern classifiers using linear input elements.
  • the SVM learns the parameters of the linear input element based on, for example, a criterion (hyperplane separation theorem) for obtaining a margin-maximizing hyperplane that maximizes the distance to each data point from training data.
  • a criterion hyperplane separation theorem
  • a mathematical model refers to, for example, a data structure for predicting a relationship between input data and output data.
  • the mathematical model is constructed by being trained using a training data set.
  • the training data set is a set of input training data and output training data.
  • the mathematical model is trained such that, when certain input training data is input, corresponding output training data is output. For example, the training updates the correlation data (eg, weights) for each input and output.
  • a multilayer neural network is used as a machine learning algorithm.
  • the neural network includes an input layer for inputting data, an output layer for generating data to be predicted, and one or more hidden layers between the input layer and the output layer.
  • a plurality of nodes also called units
  • CNN convolutional neural network
  • another machine learning algorithm may be used.
  • GAN adversarial generation network using two competing neural networks may be adopted as the machine learning algorithm.
  • the ophthalmologic image processing performed by the ophthalmologic image processing apparatus 21 will be described with reference to FIGS.
  • the ophthalmologic image processing is executed by the CPU 23 in accordance with the ophthalmologic image processing program stored in the storage device 24.
  • a description will be given of a high-quality moving image generation process which is an example of ophthalmologic image processing.
  • a high-quality moving image of a tissue is generated while a still image of a high-quality target image is acquired using a mathematical model.
  • the CPU 23 acquires a base image which is an ophthalmologic image (still image) (S11).
  • the base image of the present embodiment is a two-dimensional tomographic image of the fundus, like the training ophthalmologic images 300A to 300X described above.
  • the CPU 23 acquires a target image having a higher image quality than the base image by inputting the base image into the above-described mathematical model (S12).
  • the ophthalmologic image capturing apparatus 11B captures a moving image by continuously capturing a two-dimensional tomographic image of the fundus.
  • the CPU 23 sequentially acquires each still image constituting the moving image captured by the ophthalmologic image capturing device 11B.
  • the CPU 23 obtains, as a base image to be input to the mathematical model, at least one of the obtained original image of the still image and the averaged image obtained by averaging a plurality of original images.
  • the CPU 23 continuously obtains the target image by sequentially inputting the continuously obtained base images to the mathematical model.
  • the type of the base image (at least one of the original image and the averaging image) acquired in S11 and the number of the original images used for the base image to be input to the mathematical model depend on the acquisition pattern of the input training data described above. What is necessary is just to set suitably according to it.
  • the CPU 23 may obtain an averaging image by averaging a plurality of ophthalmologic images obtained by imaging the same imaging region.
  • the CPU 23 may acquire the averaging image generated by the ophthalmologic image photographing apparatus 11B.
  • a moving image of an organization is generated.
  • the frame rate the number of still images per unit time
  • the frame rate of the moving image of the target image it is necessary to increase the number of target images (still images) acquired per unit time as much as possible. Therefore, in S11 of FIG. 7, it is preferable that the minimum number of original images is acquired as the base image to be input to the mathematical model. For example, each time the CPU 23 acquires one original image from the ophthalmologic image photographing apparatus 11B, the CPU 23 inputs the acquired one original image into a mathematical model to generate a target image.
  • a moving image having the same frame rate as a moving image to be shot can be generated using a high-quality target image.
  • the CPU 23 determines whether or not an instruction to display the target image on the display device 28 has been input (S14).
  • the user operates the operation unit 27 to give an instruction on which of the target image, the base image, and both the target image and the base image to be displayed on the display device 28 by operating the operation unit 27. Can be entered. If the instruction to display the target image has not been input (S14: NO), the process proceeds to S17. If the instruction to display the target image has been input (S14: YES), the CPU 23 displays the target image on the display device 28 (S15). More specifically, in S15 of the present embodiment, a plurality of target images continuously acquired in S12 are sequentially displayed on the display device 28, so that a moving image of the organization is displayed.
  • a high-quality moving image of the tissue being captured is displayed on the display device 28 in real time based on the moving image of the original image captured by the ophthalmologic image capturing device 11B at that time.
  • the CPU 23 may generate moving image data of the target image based on the plurality of target images continuously acquired in S12 and store the data in the storage device.
  • the ophthalmologic image processing apparatus 21 can input a target image, a base image, and an instruction on which of the target image and the base image to display on the display device 28 by various methods.
  • the CPU 23 may cause the display device 28 to display an icon for inputting a display instruction for the target image, an icon for inputting a display instruction for the base image, and an icon for inputting a display instruction for both images.
  • the user may input a display instruction to the ophthalmologic image processing apparatus 21 by selecting a desired icon.
  • the CPU 23 determines whether or not an instruction to display the base image on the display device 28 has been input (S17). If it has not been input (S17: NO), the process proceeds directly to S20. If the instruction to display the base image has been input (S17: YES), the CPU 23 displays the base image on the display device 28 (S18). Specifically, in S18 of the present embodiment, a plurality of base images continuously acquired in S11 are sequentially displayed on the display device 28, so that a moving image of the tissue is displayed. As described above, the CPU 23 can switch between the target image and the base image to be displayed on the display device 28 according to the instruction input by the user. Therefore, the user can easily check both the target image and the base image.
  • the CPU 23 determines whether or not an instruction to simultaneously display the target image and the base image on the display device 28 has been input (S20). If not (S20: NO), the process proceeds to S23.
  • the simultaneous display instruction has been input (S20: YES)
  • the CPU 23 causes the display device 28 to simultaneously display the target image and the base image. Specifically, in S20 of the present embodiment, both the moving image of the target image and the moving image of the base image are displayed on the display device 28.
  • a still image instead of a moving image may be displayed.
  • the CPU 23 may switch between displaying a moving image and displaying a still image according to an instruction input by the user.
  • the CPU 23 may cause the storage device 24 to store at least one data of the moving image and the still image without displaying the moving image and the still image on the display device 28.
  • the CPU 23 can display on the display device 28 how many ophthalmic images are the target images corresponding to the averaging image. .
  • the averaging image 32 used as the training data for output is an averaging image based on H ophthalmological images
  • the target image acquired in S12 is also H This is an image equivalent to the averaging image of the ophthalmic images. Therefore, the CPU 23 causes the display device 28 to display that the target image being displayed is equivalent to the averaging image of the H ophthalmological images. Therefore, the user can appropriately grasp the quality of the target image.
  • Examples of the timing at which the target image is displayed include a timing at which the target image is displayed in real time during imaging by the ophthalmologic imaging apparatus 11B, a timing at which the user confirms whether or not the captured image is good, and an analysis result after imaging. Alternatively, there are a plurality of timings, such as timings to be displayed together with the report.
  • the CPU 23 separately issues a target image, a base image, and an instruction on which of the target image and the base image to display on the display device 28 at each of a plurality of timings at which the target image can be displayed. Can be entered.
  • the user sets in advance whether the target image, the base image, or both the target image and the base image are to be displayed on the display device 28 in accordance with the timing at which the target image can be displayed. I can put it. As a result, user convenience is further improved.
  • the CPU 23 determines whether or not an instruction to end the display has been input (S23). If not (S23: NO), the process returns to S11, and the processes of S11 to S23 are repeated.
  • the CPU 23 executes a segmentation process on the target image (in the present embodiment, at least one of a plurality of target images acquired continuously) (S24). ).
  • the segmentation process is a process of identifying at least one of a plurality of layers of a tissue shown in an image.
  • the layer may be identified by, for example, image processing on the target image, or a mathematical model trained by a machine learning algorithm may be used.
  • the user operates the operation unit 27 to manually perform the segmentation process.
  • the CPU 23 may display the target image on the display device 28 as the image on which the segmentation process is performed.
  • a high-quality three-dimensional tomographic image generation process which is an example of ophthalmologic image processing, will be described with reference to FIGS.
  • a high-quality two-dimensional tomographic image and a three-dimensional tomographic image are acquired using a mathematical model.
  • the ophthalmologic image capturing apparatus 11B captures a three-dimensional tomographic image of the tissue by two-dimensionally scanning the OCT light (measuring light). .
  • the ophthalmologic imaging apparatus 11B scans the measurement light on each of a plurality of scan lines at different positions in a two-dimensional area when the tissue is viewed from the front, so that a plurality of (first) (Zth) two-dimensional tomographic image is acquired. By combining a plurality of two-dimensional tomographic images, a three-dimensional tomographic image is obtained.
  • the CPU 23 uses the N-th (N is an initial value “1”) two-dimensional tomographic image as a base image among a plurality (first to Z-th) two-dimensional tomographic images photographed by the ophthalmologic image photographing apparatus 1B. It is acquired (S31). The CPU 23 acquires the N-th target image by inputting the acquired base image into the mathematical model (S32). Next, the CPU 23 determines whether or not the processing has been completed for all of the plurality of (first to Z-th) base images (S33). If not completed (S33: NO), "1" is added to the value of N (S34), and the process returns to S31. Until the processing for all the base images is completed, the processing of S31 to S33 is repeated.
  • N is an initial value “1” two-dimensional tomographic image
  • the CPU 23 can also generate an image other than the three-dimensional tomographic image based on a plurality of target images.
  • the CPU 23 may generate a two-dimensional front image (a so-called “Enface image”) when the tissue is viewed from the front based on the plurality of target images acquired in S32.
  • the CPU 23 can also perform an analysis process on the three-dimensional tomographic image 40 generated based on a plurality of target images. For example, the CPU 23 may perform a segmentation process on the three-dimensional tomographic image 40 to extract at least one of a plurality of layers included in the fundus. The CPU 23 may generate a thickness map that two-dimensionally shows the thickness distribution of at least one of the layers based on the result of the segmentation process. In this case, the thickness map is appropriately generated based on the three-dimensional tomographic image 40 in which the influence of noise is suppressed.
  • the CPU 23 may generate a two-dimensional tomographic image at an arbitrary position in the tissue included in the imaging range of the three-dimensional tomographic image 40 based on the three-dimensional tomographic image 40 generated based on the plurality of target images. Good.
  • the CPU 23 may cause the display device 28 to display the generated two-dimensional tomographic image.
  • the CPU 23 of the present embodiment inputs an instruction from a user to specify a position at which a tomographic image is generated.
  • the user may operate the operation unit 27 to specify the generation position of the tomographic image on the two-dimensional front image or the three-dimensional tomographic image 40 displayed on the display device 28.
  • the generation position of the tomographic image may be specified by, for example, a line of various shapes (a straight line, a circular line, or the like).
  • the CPU 23 may generate (extract) a two-dimensional tomographic image at a position designated by the user from the three-dimensional tomographic image 40. In this case, a tomographic image at an arbitrary position desired by the user is appropriately generated based on the three-dimensional tomographic image 40 in which the influence of noise is suppressed.
  • the CPU 23 may determine whether or not the ophthalmologic image captured by the ophthalmologic image capturing apparatus 11B is good each time one or more ophthalmologic images are captured.
  • the CPU 23 may input the good ophthalmic image as a base image to the mathematical model.
  • the CPU 23 may output an instruction to re-capture the ophthalmic image at the same position to the ophthalmologic image capturing apparatus 11B. In this case, the target image is obtained based on the good base image. Note that a specific method for determining whether or not the captured ophthalmic image is good can be appropriately selected.
  • the CPU 23 uses the strength of the signal of the captured ophthalmic image or an index indicating the good signal (for example, SSI (Signal Strength Index) or QI (Quality Index)) to improve the ophthalmic image. May be determined. Further, the CPU 23 may determine whether or not the ophthalmic image is good by comparing the captured ophthalmic image with the template.
  • SSI Signal Strength Index
  • QI Quality Index
  • the CPU 23 determines whether the plurality of target images or the plurality of base images based on the plurality of target images is good. May be extracted.
  • the CPU 23 may perform an analysis process on the extracted good target image or a target image based on the good base image. In this case, the accuracy of the analysis processing is improved.
  • a method of extracting a good image for example, various methods such as the above-described method using the SSI or the like can be adopted.
  • the CPU 23 may acquire the target image using the mathematical model exemplified in the present disclosure, and may generate the motion contrast image based on the acquired target image.
  • a motion contrast image a plurality of OCT signals are acquired at different times for the same position, and arithmetic processing is performed on the plurality of OCT signals.
  • the CPU 23 may acquire a target image based on each of the plurality of OCT signals (two-dimensional tomographic images), and may obtain a motion contrast image by performing arithmetic processing on the acquired plural target images. In this case, a motion contrast image in which the influence of noise is suppressed is appropriately generated.
  • the technology disclosed in the above embodiment is only an example. Therefore, it is also possible to change the technique exemplified in the above embodiment.
  • the ophthalmologic image processing apparatus 21 may execute only one of the high-quality moving image generation processing (see FIG. 7) and the high-quality three-dimensional tomographic image generation processing (see FIG. 8).
  • the process of acquiring the base image in S11 of FIG. 7 and S31 of FIG. 8 is an example of a “base image acquisition step”.
  • the process of acquiring the target image in S12 of FIG. 7 and S32 of FIG. 8 is an example of a “target image acquisition step”.
  • the process of generating a three-dimensional tomographic image in S35 of FIG. 8 is an example of a “three-dimensional tomographic image generating step”.
  • the segmentation process shown in S24 of FIG. 7 is an example of a “segmentation step”.
  • the process of switching and displaying the target image and the base image in S14 to S18 in FIG. 7 is an example of “switching display process” and “switching display step”.
  • the process of simultaneously displaying the target image and the base image in S21 of FIG. 7 is an example of the “simultaneous display process” and the “simultaneous display step”.
  • the process of generating the moving image data of the target image in S15 of FIG. 7 is an example of a “moving image generation step”.
  • the process of acquiring the training ophthalmic image set 30 in S1 of FIG. 2 is an example of an “image set acquiring step”.
  • the process of constructing a mathematical model in S2 to S4 in FIG. 2 is an example of a “training step”.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像または加算平均画像を、基画像として取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに基画像を入力することで、基画像よりも高画質の目的画像を取得する。数学モデルは、入力用訓練データおよび出力用訓練データによって訓練されている。入力用訓練データには、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚の訓練用眼科画像に基づくデータが使用される。出力用訓練データには、Ｈ枚（Ｈ＞Ｌ）の訓練用眼科画像を加算平均した加算平均画像のデータが使用される。

Description

眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および、数学モデル構築方法
　本開示は、被検眼の眼科画像を処理する眼科画像処理装置、ＯＣＴ装置、眼科画像処理装置において実行される眼科画像処理プログラム、および、眼科画像処理装置によって用いられる数学モデルを構築する数学モデル構築方法に関する。
　従来、高画質の画像を取得するための種々の技術が提案されている。例えば、特許文献１に記載の眼科撮影装置は、複数の断層画像を加算平均処理し、スペックルノイズを抑制することで、高画質の断層画像を取得する。
特開２０１５－９１０８号公報
　複数の画像を加算平均処理する技術では、ノイズの影響を抑制する精度を高めようとする程、同一部位が多数繰り返し撮影される必要がある。よって、加算する画像の枚数に比例して撮影時間が増加するという問題があった。
　本開示の典型的な目的は、高画質の眼科画像を適切に取得するための眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および、数学モデル構築方法を提供することである。
　本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像、または、前記眼科画像撮影装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得し、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質の目的画像を取得し、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されている。
　本開示における典型的な実施形態が提供するＯＣＴ装置は、参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、前記ＯＣＴ装置の制御部は、撮影した前記組織の眼科画像、または、前記組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得し、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質の目的画像を取得し、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されている。
　本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像、または、前記眼科画像撮影装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質の目的画像を取得する目的画像取得ステップと、を前記眼科画像処理装置に実行させ、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されている。
　本開示における典型的な実施形態が提供する数学モデル構築方法は、機械学習アルゴリズムによって訓練されることで構築され、基画像が入力されることで目的画像を出力する数学モデルを構築する数学モデル構築装置によって実行される数学モデル構築方法であって、被検眼の組織の同一部位を撮影した複数の訓練用眼科画像を取得する画像セット取得ステップと、前記複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして前記数学モデルを訓練させることで、前記数学モデルを構築する訓練ステップと、を含む。
　本開示に係る眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および数学モデル構築方法によると、高画質の眼科画像が適切に取得される。
　本開示で例示する眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像、または、眼科画像撮影装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに基画像を入力することで、基画像よりも高品質の目的画像を取得する。数学モデルは、入力用訓練データと出力用訓練データのセットである訓練データセットによって訓練されている。組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の訓練用眼科画像に基づくデータが、入力用訓練データとされる。また、複数の訓練用眼科画像のうち、Ｈ枚（Ｈ＞Ｌ）の訓練用眼科画像を加算平均した加算平均画像のデータが、出力用訓練データ（正解データと言われる場合もある）とされる。換言すると、Ｈは、入力用訓練データに使用される訓練用眼科画像の枚数よりも大きい数である。
　つまり、数学モデルを構築する数学モデル構築装置は、画像セット取得ステップと訓練ステップを実行する。画像セット取得ステップでは、被検眼の組織の同一部位を撮影した複数の訓練用眼科画像が取得される。訓練ステップでは、複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の訓練用眼科画像に基づくデータが入力用訓練データとされ、且つ、Ｈ枚（Ｈ＞Ｌ）の訓練用眼科画像の加算平均画像のデータが出力用訓練データとされて数学モデルが訓練されることで、数学モデルが構築される。
　この場合、構築された数学モデルは、少ない枚数の眼科画像、または、少ない枚数の眼科画像の加算平均画像が基画像として入力された場合でも、多数の眼科画像を加算平均した画像と同程度にノイズの影響が抑制された目的画像を出力することができる。従って、基画像を撮影する際の撮影時間を短縮することが容易である。また、従来の画像処理でも、加算平均処理を行わずにノイズの影響を抑制することは可能ではあった。しかし、従来の画像処理では、微弱な信号とノイズを区別することができずに、本来ならば必要である微弱な信号が消去されてしまう場合があった。これに対し、本開示で例示する数学モデルは、ノイズ以外の影響で画像の信号が微弱となった部分が消去されていない目的画像を、基画像に基づいて出力することができる。よって、高品質の眼科画像が適切に取得される。
　なお、訓練データセットの入力用訓練データとして用いるデータ（つまり、「Ｌ枚の訓練用眼科画像に基づくデータ」）は、撮影された眼科画像そのもの（つまり、加算平均されていない原画像）のデータあってもよいし、複数の眼科画像を加算平均した加算平均画像のデータであってもよい。原画像のデータと加算平均画像のデータが共に入力用訓練データとして用いられてもよい。入力用訓練データが原画像のデータである場合には、数学モデルに入力される基画像も、加算平均されていない原画像であることが望ましい。また、入力用訓練データが加算平均画像のデータである場合には、基画像も加算平均画像であることが望ましい。また、入力用訓練データに使用される画像（原画像および加算平均画像の少なくともいずれか）の数は、１枚であってもよいし、複数枚（例えば、２枚～５枚程度）であってもよい。また、出力用訓練データとして用いる加算平均画像を生成する際に使用する訓練用眼科画像の枚数Ｈは、少なくとも、入力用訓練データに使用される訓練用眼科画像の枚数よりも多い。例えば、入力用訓練データとしてＬ枚の原画像が使用される場合には、Ｈ＞Ｌとなる。また、入力用訓練データとして、Ｌ´枚の画像を加算平均した画像が使用される場合には、Ｈ＞Ｌ´となる。なお、基画像に使用する眼科画像の枚数は、Ｈ枚よりも少ない枚数となる。
　眼科画像は、ＯＣＴ装置によって撮影された被検眼の組織の二次元断層画像であってもよい。眼科画像処理装置の制御部は、被検眼の組織のうち、互いに異なる複数の位置の各々を撮影した複数の基画像を取得してもよい。制御部は、複数の基画像の各々を数学モデルに入力することで、複数の位置の各々の目的画像を取得してもよい。制御部は、複数の目的画像に基づいて、組織の三次元断層画像、および、組織を正面（つまり、被検眼の視線方向）から見た場合の二次元正面画像の少なくともいずれかを生成してもよい。つまり、眼科画像撮影装置は、複数の目的画像に基づいて組織の三次元断層画像を生成する三次元断層画像生成ステップ、および、複数の目的画像に基づいて組織の二次元正面画像を生成する正面画像生成ステップの少なくともいずれかを実行してもよい。この場合、多数の二次元断層画像が撮影されることなく、ノイズの影響が抑制された組織の三次元断層画像または二次元正面画像が適切に生成される。
　二次元正面画像は、所謂「Ｅｎｆａｃｅ画像」であってもよい。Ｅｎｆａｃｅ画像のデータは、例えば、ＸＹ方向の各位置で深さ方向（Ｚ方向）に輝度値が積算された積算画像データ、ＸＹ方向の各位置でのスペクトルデータの積算値、ある一定の深さ方向におけるＸＹ方向の各位置での輝度データ、網膜のいずれかの層（例えば、網膜表層）におけるＸＹ方向の各位置での輝度データ等であってもよい。
　眼科画像は、ＯＣＴ装置によって撮影された被検眼の眼底の二次元断層画像であってもよい。眼科画像処理装置の制御部は、二次元断層画像である目的画像に対して解析処理を行うことで、眼底に含まれる複数の層の少なくともいずれかを識別してもよい。つまり、眼科画像処理装置は、取得した目的画像から眼底の層を識別するセグメンテーションステップを実行してもよい。この場合、多数の二次元断層画像が撮影されることなく、ノイズの影響が抑制されたセグメンテーション結果が適切に取得される。
　なお、眼科画像として、二次元断層画像以外の画像を用いることも可能である。例えば、眼科画像は、二次元断層画像でなく、組織（例えば眼底）を正面（つまり、被検眼の視線方向）から撮影した二次元正面画像であってもよい。この場合、二次元正面画像は、ＯＣＴアンジオ画像であってもよい。ＯＣＴアンジオ画像は、例えば、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が処理されることで取得されるモーションコントラスト画像であってもよい。また、レーザ走査型検眼装置（ＳＬＯ）によって、被検眼の眼底の自発蛍光（ＦＡＦ）を撮影した画像（以下、「ＦＡＦ画像」という）が、眼科画像として用いられてもよい。ＯＣＴアンジオ画像およびＦＡＦ画像も、ＯＣＴ二次元断層画像と同様に、複数の画像の加算平均処理を行うことによってノイズの影響が適切に抑制される。また、眼科画像の撮影部位は、例えば、被検眼の眼底であってもよいし、前眼部であってもよい。以上のように、本開示における眼科画像には、複数の画像の加算平均処理によってノイズの影響を抑制可能な種々の画像を用いることができる。
　また、眼科画像処理装置の制御部は、層を識別するセグメンテーション処理とは異なる解析処理を目的画像に対して実行してもよい。例えば、制御部は、血管が写っている眼底の正面画像（例えば、前述したＯＣＴアンジオ画像等）を目的画像として取得し、取得した目的画像に対して、眼底の血管密度を解析する処理を実行してもよい。また、制御部は、複数の目的画像に基づいて生成した画像（例えば、前述した三次元断層画像またはＥｎｆａｃｅ画像等）に対して解析処理を行ってもよい。
　眼科画像処理装置の制御部は、同時表示処理および切替表示処理の少なくとも一方を実行してもよい。同時表示処理では、制御部は、基画像と目的画像を表示装置に同時に表示させる。切替表示処理では、制御部は、ユーザによって入力された指示に応じて、基画像と目的画像を切り替えて表示装置に表示させる。この場合、ユーザは、ノイズの影響が抑制された目的画像と、目的画像の基となった基画像（原画像、または、原画像の加算平均画像）の両方を容易に確認することができる。よって、ユーザは、診断等をより適切に行うことができる。なお、基画像と目的画像は、同一の表示装置に表示されてもよいし、別々の表示装置に表示されてもよい。
　制御部は、眼科画像撮影装置によって連続して撮影される複数の基画像を取得してもよい。制御部は、取得した複数の基画像を数学モデルに順次入力することで、複数の目的画像を取得してもよい。制御部は、取得した複数の目的画像に基づいて、前記組織の動画データを生成してもよい。つまり、眼科画像処理装置は、複数の目的画像に基づいて組織の動画データを生成する動画生成ステップを実行してもよい。この場合、ユーザは、ノイズの影響が抑制された状態で表示される組織の動画を確認することができる。つまり、従来の技術でも、複数の眼科画像を加算平均することでノイズの影響を抑制することは可能である。しかし、従来の技術では、複数の眼科画像から１つの加算平均画像が作成されるので、加算平均画像を用いて組織の動画を表示させる場合には、フレームレートが著しく低下し易い。特に、撮影位置が時間の経過に伴って変化する場合等には、加算平均画像を用いて良好な動画を生成することは困難である。これに対し、本開示の眼科画像処理装置は、フレームレートが低下することを抑制しつつ、ノイズの影響が抑制された組織の動画を生成することが可能である。よって、ユーザは、診断等をより適切に行うことができる。
　なお、制御部は、基画像の動画と目的画像の動画を表示装置に同時に表示させてもよい。また、制御部は、ユーザによって入力された指示に応じて、基画像の動画と目的画像の動画を切り替えて表示装置に表示させてもよい。この場合、ユーザは、目的画像の動画と基画像の動画の両方を容易に確認することができる。
数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。 数学モデル構築装置１が実行する数学モデル構築処理のフローチャートである。 入力用訓練データと出力用訓練データの第１取得パターンを説明するための説明図である。 入力用訓練データと出力用訓練データの第２取得パターンを説明するための説明図である。 入力用訓練データと出力用訓練データの第３取得パターンを説明するための説明図である。 入力用訓練データと出力用訓練データの第４取得パターンを説明するための説明図である。 眼科画像処理装置２１が実行する高画質動画生成処理のフローチャートである。 眼科画像処理装置２１が実行する高画質三次元画像生成処理のフローチャートである。 高画質三次元画像４０の一例を示す図である。
（装置構成）
　以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された基画像に基づいて、基画像よりも高画質の（本実施形態では、ノイズの影響が適切に抑制された）目的画像を出力する。眼科画像処理装置２１は、数学モデルを用いて、基画像から目的画像を取得する。眼科画像撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像を撮影する。
　一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、眼科画像撮影装置１１Ａから取得した眼科画像を利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。
　また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。眼科画像撮影装置（本実施形態ではＯＣＴ装置）１１Ｂが眼科画像処理装置２１として機能する場合、眼科画像撮影装置１１Ｂは、眼科画像を撮影しつつ、撮影した眼科画像よりも高画質の眼科画像を適切に取得することができる。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。
　また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。
　数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理（図２参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、眼科画像撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。
　数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。
　数学モデル構築装置１は、眼科画像撮影装置１１Ａから眼科画像のデータ（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ａから眼科画像のデータを取得してもよい。
　眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（例えば、図７に例示する高画質動画生成処理、および、図８に示す高画質三次元画像生成処理等）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、眼科画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。
　眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。
　眼科画像処理装置２１は、眼科画像撮影装置１１Ｂから眼科画像を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ｂから眼科画像を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。
　眼科画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像を提供する眼科画像撮影装置１１Ａと、眼科画像処理装置２１に眼科画像を提供する眼科画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの眼科画像撮影装置から眼科画像を取得してもよい。なお、本実施形態で例示する２つの眼科画像撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの眼科画像撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。
　また、本実施形態では、眼科画像撮影装置１１（１１Ａ，１１Ｂ）として、ＯＣＴ装置を例示する。ただし、ＯＣＴ装置以外の眼科画像撮影装置（例えば、レーザ走査型検眼装置（ＳＬＯ）、眼底カメラ、または角膜内皮細胞撮影装置（ＣＥＭ）等）が用いられてもよい。
　眼科画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。
　眼科画像撮影部１６は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。
　眼科画像撮影装置１１は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、ＣＰＵ１３は、スキャンライン上にＯＣＴ光（測定光）を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。また、ＣＰＵ１３は、ＯＣＴ光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、ＣＰＵ１３は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、ＣＰＵ１３は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。
　さらに、ＣＰＵ１３は、組織上の同一部位（本実施形態では、同一のスキャンライン上）に測定光を複数回走査させることで、同一部位の眼科画像を複数撮影する。ＣＰＵ１３は、同一部位の複数の眼科画像に対して加算平均処理を行うことで、スペックルノイズの影響が抑制された加算平均画像を取得することができる。加算平均処理は、例えば、複数の眼科画像のうち、同一の位置の画素の画素値を平均化することで行われてもよい。加算平均処理を行う画像の数が多い程、スペックルノイズの影響は抑制され易いが、撮影時間は長くなる。なお、眼科画像撮影装置１１は、同一部位の眼科画像を複数撮影する間に、被検眼の動きにＯＣＴ光の走査位置を追従させるトラッキング処理を実行する。
（数学モデル構築処理）
　図２～図６を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。
　数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、基画像から高画質の目的画像を出力するための数学モデルが構築される。詳細は後述するが、訓練データセットには、入力用訓練データと出力用訓練データが含まれる。本実施形態では、入力用訓練データとして、１枚～複数枚の眼科画像（本実施形態では眼底の二次元断層画像）に基づくデータが使用される。また、出力用訓練データとして、入力用訓練データに使用される眼科画像の枚数（Ｌ枚）よりも多い枚数（Ｈ枚）の眼科画像に基づく加算平均画像のデータが使用される。入力用訓練データと出力用訓練データは、組織の同一部位を撮影対象としている。
　図２に示すように、ＣＰＵ３は、組織の同一部位を撮影した複数の訓練用眼科画像３００Ａ～３００Ｘ（Ｘは２以上の任意の整数）のセット３０（図３～図６参照）を取得する（Ｓ１）。詳細には、本実施形態では、眼底上の同一のスキャンライン上にＯＣＴ光を複数回走査させることで撮影された、複数の二次元断層画像のセットが、訓練用眼科画像のセットとして、眼科画像撮影装置１１Ａから取得される。ただし、ＣＰＵ３は、二次元断層画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ａから取得し、取得した信号に基づいて二次元断層画像を生成することで、二次元断層画像を取得してもよい。
　次いで、ＣＰＵ３は、セット３０内の複数の訓練用眼科画像３００Ａ～３００Ｘの一部から、入力用訓練データを取得する（Ｓ２）。入力用訓練データの具体的な取得方法は適宜選択できるが、この詳細については、図３～図６を参照して後述する。
　次いで、ＣＰＵ３は、セット３０内の複数の訓練用眼科画像３００Ａ～３００Ｘの加算平均画像３１（図３～図６参照）を、出力用訓練データとして取得する（Ｓ３）。前述したように、出力用訓練データである加算平均画像３１に使用される訓練用眼科画像の枚数Ｈは、入力用訓練データに使用される訓練用眼科画像の枚数Ｌよりも多い。一例として、本実施形態では、図３～図６に示すように、セット３０内の複数の訓練用眼科画像３００Ａ～３００Ｘの全て（例えば１２０枚）が、加算平均画像３１に使用される。なお、加算平均画像３１は、数学モデル構築装置１が生成してもよい。また、数学モデル構築装置１は、眼科画像撮影装置１１Ａによって生成された加算平均画像３１を取得してもよい。
　図３を参照して、入力用訓練データの第１取得パターンについて説明する。第１取得パターンでは、ＣＰＵ３は、セット３０内に含まれる複数の訓練用眼科画像３００Ａ～３００Ｘのうち、１枚の訓練用眼科画像３００Ａのそのもの（つまり、加算平均処理されていない原画像）のデータを、入力用訓練データとして取得する。この場合、眼科画像処理装置２１は、構築された数学モデルに基画像を入力して目的画像を取得する際に、１枚の原画像を基画像として数学モデルに入力することが好ましい。眼科画像処理装置２１は、１枚の基画像に基づいて目的画像を取得することができるので、基画像の撮影時間が短縮され易い。また、目的画像の動画を生成する際に、動画のフレームレートを大きくし易い。
　図４を参照して、入力用訓練データの第２取得パターンについて説明する。第２取得パターンでは、ＣＰＵ３は、セット３０内に含まれる複数の訓練用眼科画像３００Ａ～３００Ｘのうち、複数枚の訓練用眼科画像の原画像のデータを、入力用訓練データとして取得する。図４に示す例では、２枚の訓練用眼科画像３００Ａ，３００Ｂのデータが、入力用訓練データとして取得されている。しかし、入力用訓練データとして取得する訓練用眼科画像の枚数は、加算平均画像３１に使用される訓練用眼科画像の枚数よりも少ない範囲内で変更することができる。第２取得パターンが採用される場合、眼科画像処理装置２１は、構築された数学モデルに基画像を入力する際に、入力用訓練データとして使用された訓練用眼科画像の枚数に極力近い枚数の原画像を、基画像として数学モデルに入力することが好ましい。この場合には、１枚の原画像が基画像がとして数学モデルに入力される場合に比べて、取得される目的画像の品質が向上し易い。ただし、第２取得パターンが採用された場合でも、１枚の原画像が基画像として数学モデルに入力されてもよい。以上のように、入力用訓練データとして原画像が使用される場合、使用される原画像の枚数Ｌは、１以上、且つ、加算平均画像３１に使用される枚数よりも小さい数となる。
　図５を参照して、入力用訓練データの第３取得パターンについて説明する。第３取得パターンでは、ＣＰＵ３は、セット３０内に含まれる複数の訓練用眼科画像３００Ａ～３００Ｘのうち、Ｌ枚（Ｌ≧２）の訓練用眼科画像を加算平均した加算平均画像３２のデータを、入力用訓練データとして取得する。図５に示す例では、２枚の訓練用眼科画像３００Ａ，３００Ｂの加算平均画像３２のデータが、入力用訓練データとして取得されている。しかし、加算平均画像３２に使用される訓練用眼科画像の枚数は、加算平均画像３１に使用される訓練用眼科画像の枚数よりも少ない範囲内で変更することができる。第３取得パターンが採用される場合、眼科画像処理装置２１は、構築された数学モデルに基画像を入力する際に、加算平均画像を基画像として入力することが好ましい。基画像の加算平均に使用する眼科画像の枚数は、加算平均画像３２に使用される訓練用眼科画像の枚数に極力近いことが好ましい。この場合には、１枚の原画像が基画像として数学モデルに入力される場合に比べて、取得される目的画像の品質が向上し易い。ただし、第３取得パターンが採用された場合でも、１枚の原画像が基画像として数学モデルに入力されてもよい。
　図６を参照して、入力用訓練データの第４取得パターンについて説明する。第４取得パターンでは、ＣＰＵ３は、Ｌ枚（Ｌ≧２）の訓練用眼科画像を加算平均した加算平均画像３２を複数枚取得し、取得した複数枚の加算平均画像３２のデータを入力用訓練データとして使用する。図６に示す例では、２枚の加算平均画像３２Ａ，３２Ｂのデータが、入力用訓練データとして取得されている。しかし、加算平均画像３２の枚数を変更することも可能である。第４取得パターンが採用される場合、眼科画像処理装置２１は、構築された数学モデルに基画像を入力する際に、複数枚の加算平均画像を基画像として入力することが好ましい。この場合には、１枚の原画像が基画像として入力される場合に比べて、取得される目的画像の品質が向上し易い。ただし、第４取得パターンが採用された場合でも、１枚の原画像が基画像として数学モデルに入力されてもよい。
　以上説明した４つのパターンは一例であり、上記のパターンを変更することも可能である。例えば、ＣＰＵ３は、Ｐ枚の訓練用眼科画像の原画像のデータと、Ｐ´枚の訓練用眼科画像の加算平均画像３２のデータを、共に入力用訓練データとして使用してもよい。この場合、出力用訓練データである加算平均画像３１に使用される訓練用眼科画像の枚数は、入力用訓練データに使用される訓練用眼科画像の枚数（例えば、ＰとＰ´の和）よりも多い。
　また、１組の訓練用眼科画像３００Ａ～３００Ｘのセット３０から、複数組の訓練データセットを取得することも可能である。例えば、図３に示す例では、訓練用眼科画像３００Ａのデータを入力用訓練データとし、加算平均画像３１のデータを出力用訓練データとする１組の訓練データセットが取得されている。ここで、ＣＰＵ３は、同一のセット３０から、訓練用眼科画像３００Ｂのデータを入力用訓練データとし、加算平均画像３１のデータを出力用訓練データとする訓練データセットを取得することも可能である。
　図２の説明に戻る。ＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ４）。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。
　ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。
　ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。
　ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。
　ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。
　数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。
　本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。ただし、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ　ａｄｖｅｒｓａｒｉａｌ　ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。
　数学モデルの構築が完了するまで（Ｓ５：ＮＯ）、Ｓ１～Ｓ４の処理が繰り返される。数学モデルの構築が完了すると（Ｓ５：ＹＥＳ）、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置２１に組み込まれる。
（眼科画像処理）
　図７～図９を参照して、眼科画像処理装置２１が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。
　図７を参照して、眼科画像処理の一例である高画質動画生成処理について説明する。高画質動画生成処理では、数学モデルを用いて高画質の目的画像の静止画が取得されると共に、組織の高画質の動画が生成される。
　まず、ＣＰＵ２３は、眼科画像（静止画像）である基画像を取得する（Ｓ１１）。本実施形態の基画像は、前述した訓練用眼科画像３００Ａ～３００Ｘと同様に、眼底の二次元断層画像である。ＣＰＵ２３は、前述した数学モデルに基画像を入力することで、基画像よりも高画質の目的画像を取得する（Ｓ１２）。
　図７に示す例では、眼科画像撮影装置１１Ｂは、眼底の二次元断層画像を連続して撮影することで、動画を撮影する。ＣＰＵ２３は、Ｓ１１において、眼科画像撮影装置１１Ｂによって撮影された動画を構成する各々の静止画像を、順次取得する。ＣＰＵ２３は、取得した静止画像の原画像、および、複数の原画像を加算平均した加算平均画像の少なくともいずれかを、数学モデルに入力する基画像として取得する。ＣＰＵ２３は、連続して取得される基画像を数学モデルに順次入力することで、目的画像を連続して取得する。
　Ｓ１１において取得する基画像の種類（原画像および加算平均画像の少なくともいずれか）、および、数学モデルに入力する基画像に使用する原画像の枚数は、前述した入力用訓練データの取得パターン等に応じて適宜設定されればよい。数学モデルに入力する基画像として加算平均画像が用いられる場合、ＣＰＵ２３は、同一の撮影部位を撮影した複数の眼科画像を加算平均することで、加算平均画像を取得してもよい。また、ＣＰＵ２３は、眼科画像撮影装置１１Ｂによって生成された加算平均画像を取得してもよい。
　なお、図７に例示する高画質動画生成処理では、組織の動画が生成される。ここで、良好な動画を生成するためには、フレームレート（単位時間あたりの静止画像の数）を極力大きくすることが望ましい。つまり、目的画像の動画のフレームレートを大きくするためには、単位時間あたりに取得する目的画像（静止画像）の数を極力大きくする必要がある。従って、図７のＳ１１では、極力少ない原画像が、数学モデルに入力する基画像として取得されることが好ましい。例えば、ＣＰＵ２３は、眼科画像撮影装置１１Ｂから１枚の原画像を取得する毎に、取得した１枚の原画像を数学モデルに入力して目的画像を生成することで、眼科画像撮影装置１１Ｂが撮影する動画と同じフレームレートの動画を、高画質の目的画像を用いて生成することができる。
　次いで、ＣＰＵ２３は、表示装置２８に目的画像を表示させる指示が入力されているか否かを判断する（Ｓ１４）。本実施形態では、ユーザは、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、操作部２７を操作することで眼科画像処理装置２１に入力することができる。目的画像を表示させる指示が入力されていなければ（Ｓ１４：ＮＯ）、処理はそのままＳ１７へ移行する。目的画像を表示させる指示が入力されている場合（Ｓ１４：ＹＥＳ）、ＣＰＵ２３は、目的画像を表示装置２８に表示させる（Ｓ１５）。詳細には、本実施形態のＳ１５では、Ｓ１２で連続して取得される複数の目的画像が表示装置２８に順次表示されることで、組織の動画が表示される。つまり、眼科画像撮影装置１１Ｂによってその時点で撮影されている原画像の動画に基づいて、撮影中の組織の高画質の動画がリアルタイムに表示装置２８に表示される。なお、ＣＰＵ２３は、Ｓ１２で連続して取得される複数の目的画像に基づいて、目的画像の動画のデータを生成し、記憶装置に記憶させてもよい。
　なお、眼科画像処理装置２１は、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、種々の方法で入力することができる。例えば、ＣＰＵ２３は、目的画像の表示指示を入力するアイコン、基画像の表示指示を入力するアイコン、および、両方の画像の表示指示を入力するアイコンを、表示装置２８に表示させてもよい。ユーザは、希望するアイコンを選択することで、表示指示を眼科画像処理装置２１に入力してもよい。
　次いで、ＣＰＵ２３は、表示装置２８に基画像を表示させる指示が入力されているか否かを判断する（Ｓ１７）。入力されていなければ（Ｓ１７：ＮＯ）、処理はそのままＳ２０へ移行する。基画像を表示させる指示が入力されている場合（Ｓ１７：ＹＥＳ）、ＣＰＵ２３は、基画像を表示装置２８に表示させる（Ｓ１８）。詳細には、本実施形態のＳ１８では、Ｓ１１で連続して取得される複数の基画像が表示装置２８に順次表示されることで、組織の動画が表示される。以上のように、ＣＰＵ２３は、ユーザによって入力された指示に応じて、目的画像と基画像を切り替えて表示装置２８に表示させることができる。よって、ユーザは、目的画像と基画像の両方を容易に確認することができる。
　次いで、ＣＰＵ２３は、目的画像と基画像を同時に表示装置２８に表示させる指示が入力されているか否かを判断する（Ｓ２０）。入力されていなければ（Ｓ２０：ＮＯ）、処理はそのままＳ２３へ移行する。同時表示指示が入力されていれる場合（Ｓ２０：ＹＥＳ）、ＣＰＵ２３は、目的画像と基画像を同時に表示装置２８に表示させる。詳細には、本実施形態のＳ２０では、目的画像の動画と基画像の動画が共に表示装置２８に表示される。
　なお、Ｓ１５，Ｓ１８，Ｓ２１では、動画でなく静止画が表示されてもよい。ＣＰＵ２３は、ユーザによって入力される指示に応じて、動画の表示と静止画の表示を切り替えてもよい。また、ＣＰＵ２３は、動画および静止画を表示装置２８に表示させずに、動画および静止画の少なくとも一方のデータを記憶装置２４に保存させてもよい。
　また、ＣＰＵ２３は、目的画像の動画または静止画を表示装置２８に表示させる際に、何枚の眼科画像の加算平均画像に相当する目的画像であるかを、表示装置２８に表示させることができる。例えば、数学モデルを構築する際に、出力用訓練データとして使用された加算平均画像３２が、Ｈ枚の眼科画像に基づく加算平均画像である場合には、Ｓ１２で取得される目的画像も、Ｈ枚の眼科画像の加算平均画像に相当する画像となる。従って、ＣＰＵ２３は、表示中の目的画像が、Ｈ枚の眼科画像の加算平均画像に相当する旨を、表示装置２８に表示させる。よって、ユーザは、目的画像の品質を適切に把握することができる。
　また、目的画像を表示させるタイミングには、例えば、眼科画像撮影装置１１Ｂによる撮影中にリアルタイムで表示させるタイミング、撮影された画像が良好であるか否かをユーザに確認させるタイミング、撮影後に解析結果またはレポートと共に表示させるタイミング等、複数のタイミングがある。ＣＰＵ２３は、目的画像を表示させることが可能な複数のタイミングのそれぞれに対し、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、別々に入力することができる。つまり、ユーザは、目的画像を表示させることが可能なタイミングに応じて、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかを、予め設定しておくことができる。その結果、ユーザの利便性がさらに向上する。
　次いで、ＣＰＵ２３は、表示を終了させる指示が入力されたか否かを判断する（Ｓ２３）。入力されていなければ（Ｓ２３：ＮＯ）、処理はＳ１１へ戻り、Ｓ１１～Ｓ２３の処理が繰り返される。表示を終了させる指示が入力されると（Ｓ２３：ＹＥＳ）、ＣＰＵ２３は、目的画像（本実施形態では、連続して取得される複数の目的画像の少なくともいずれか）に対するセグメンテーション処理を実行する（Ｓ２４）。セグメンテーション処理とは、画像に写っている組織の複数の層の少なくともいずれかを識別する処理である。層の識別は、例えば、目的画像に対する画像処理によって行われてもよいし、機械学習アルゴリズムによって訓練された数学モデルが利用されてもよい。目的画像に対するセグメンテーション処理が行われることで、ノイズの影響が抑制されたセグメンテーション結果が適切に取得される。なお、ユーザが操作部２７を操作して手動でセグメンテーション処理を行う場合もある。この場合にも、ＣＰＵ２３は、セグメンテーション処理が行われる対象となる画像として、目的画像を表示装置２８に表示させてもよい。
　図８および図９を参照して、眼科画像処理の一例である高画質三次元断層画像生成処理について説明する。高画質三次元断層画像生成処理では、数学モデルを用いて高画質の二次元断層画像および三次元断層画像が取得される。高画質三次元断層画像生成処理が実行される場合には、眼科画像撮影装置１１Ｂでは、ＯＣＴ光（測定光）が二次元的に走査されることで、組織における三次元断層画像が撮影される。詳細には、眼科画像撮影装置１１Ｂは、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数（１番目～Ｚ番目）の二次元断層画像を取得する。複数の二次元断層画像が組み合わされることで、三次元断層画像が取得される。
　ＣＰＵ２３は、眼科画像撮影装置１Ｂによって撮影された複数（１番目～Ｚ番目）の二次元断層画像のうち、Ｎ番目（Ｎの初期値は「１」）の二次元断層画像を、基画像として取得する（Ｓ３１）。ＣＰＵ２３は、取得した基画像を数学モデルに入力することで、Ｎ番目の目的画像を取得する（Ｓ３２）。次いで、ＣＰＵ２３は、複数（１番目～Ｚ番目）の基画像の全てに対する処理が完了したか否かを判断する（Ｓ３３）。完了していなければ（Ｓ３３：ＮＯ）、Ｎの値に「１」が加算されて（Ｓ３４）、処理はＳ３１へ戻る。全ての基画像に対する処理が完了するまで、Ｓ３１～Ｓ３３の処理が繰り返される。
　全ての基画像に対する処理が完了すると（Ｓ３３：ＹＥＳ）、取得された複数の目的画像が組み合わされることで、組織の三次元断層画像４０（図９参照）が生成される（Ｓ３５）。図８に例示した高画質三次元断層画像生成処理によると、三次元断層画像を構成する各々の二次元断層画像として加算平均画像を使用しなくても、加算平均画像と同等にノイズの影響が抑制された目的画像によって、三次元断層画像が生成される。
　なお、ＣＰＵ２３は、複数の目的画像に基づいて、三次元断層画像以外の画像を生成することも可能である。例えば、ＣＰＵ２３は、Ｓ３２で取得された複数の目的画像に基づいて、組織を正面から見た場合の二次元正面画像（所謂「Ｅｎｆａｃｅ画像」を生成してもよい。
　また、ＣＰＵ２３は、複数の目的画像に基づいて生成した三次元断層画像４０に対して解析処理を行うことも可能である。例えば、ＣＰＵ２３は、三次元断層画像４０に対して、眼底に含まれる複数の層の少なくともいずれかを抽出するセグメンテーション処理を行ってもよい。ＣＰＵ２３は、セグメンテーション処理の結果に基づいて、少なくともいずれかの層の厚み分布を二次元的に示す厚みマップを生成してもよい。この場合、ノイズの影響が抑制された三次元断層画像４０に基づいて、厚みマップが適切に生成される。
　また、ＣＰＵ２３は、複数の目的画像に基づいて生成した三次元断層画像４０に基づいて、三次元断層画像４０の撮影範囲に含まれる組織中の任意の位置の二次元断層画像を生成してもよい。ＣＰＵ２３は、生成した二次元断層画像を表示装置２８に表示させてもよい。一例として、本実施形態のＣＰＵ２３は、断層画像を生成する位置を指定するためのユーザからの指示を入力する。例えば、ユーザは、操作部２７を操作することで、表示装置２８に表示された二次元正面画像上または三次元断層画像４０上で、断層画像の生成位置を指定してもよい。断層画像の生成位置は、例えば、各種形状のライン（直線上のライン、円形状のライン等）で指定されてもよい。ＣＰＵ２３は、三次元断層画像４０から、ユーザによって指定された位置の二次元断層画像を生成（抽出）してもよい。この場合、ユーザが希望する任意の位置の断層画像が、ノイズの影響が抑制された三次元断層画像４０に基づいて適切に生成される。
　また、ＣＰＵ２３は、眼科画像撮影装置１１Ｂによって撮影された眼科画像が良好であるか否かを、眼科画像が１枚または複数枚撮影される毎に判定してもよい。ＣＰＵ２３は、撮影された眼科画像が良好であると判定した場合に、良好な眼科画像を基画像として数学モデルに入力してもよい。また、ＣＰＵ２３は、撮影された眼科画像が良好でないと判定した場合に、同じ位置の眼科画像を再撮影させる指示を眼科画像撮影装置１１Ｂに出力してもよい。この場合、良好な基画像に基づいて目的画像が取得される。なお、撮影された眼科画像が良好であるか否かを判定するための具体的な方法は、適宜選択できる。例えば、ＣＰＵ２３は、撮影された眼科画像の信号の強さ、または、信号の良好さを示す指標（例えば、ＳＳＩ（Ｓｉｇｎａｌ　Ｓｔｒｅｎｇｔｈ　Ｉｎｄｅｘ）またはＱＩ（Ｑｕａｌｉｔｙ　Ｉｎｄｅｘ）等）を用いて、眼科画像が良好であるか否かを判定してもよい。また、ＣＰＵ２３は、撮影された眼科画像をテンプレートと比較することで、眼科画像が良好であるか否かを判定してもよい。
　また、ＣＰＵ２３は、複数の目的画像のいずれかに対して解析処理（例えばセグメンテーション処理等）を行う場合、複数の目的画像、または、複数の目的画像の基となった複数の基画像から、良好な画像を抽出してもよい。ＣＰＵ２３は、抽出した良好な目的画像、または、良好な基画像に基づく目的画像に対して解析処理を行ってもよい。この場合、解析処理の精度が向上する。なお、良好な画像を抽出する手法には、例えば、前述したＳＳＩ等を利用する手法等、種々の手法を採用することができる。
　また、ＣＰＵ２３は、モーションコントラスト画像を生成する際に、本開示で例示した数学モデルを用いて目的画像を取得し、取得した目的画像に基づいてモーションコントラスト画像を生成してもよい。前述したように、モーションコントラスト画像を生成する際には、同一位置に関して異なる時間に複数のＯＣＴ信号が取得され、複数のＯＣＴ信号に対して演算処理が行われる。ＣＰＵ２３は、複数のＯＣＴ信号（二次元断層画像）の各々に基づいて目的画像を取得し、取得した複数の目的画像に対して演算処理を行うことで、モーションコントラスト画像を取得してもよい。この場合、ノイズの影響が抑制されたモーションコントラスト画像が適切に生成される。
　上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、眼科画像処理装置２１は、高画質動画生成処理（図７参照）、および、高画質三次元断層画像生成処理（図８参照）の一方のみを実行してもよい。
　なお、図７のＳ１１および図８のＳ３１で基画像を取得する処理は、「基画像取得ステップ」の一例である。図７のＳ１２および図８のＳ３２で目的画像を取得する処理は、「目的画像取得ステップ」の一例である。図８のＳ３５で三次元断層画像を生成する処理は、「三次元断層画像生成ステップ」の一例である。図７のＳ２４に示すセグメンテーション処理は、「セグメンテーションステップ」の一例である。図７のＳ１４～Ｓ１８で目的画像と基画像を切り替えて表示させる処理は、「切替表示処理」および「切替表示ステップ」の一例である。図７のＳ２１で目的画像と基画像を同時に表示させる処理は、「同時表示処理」および「同時表示ステップ」の一例である。図７のＳ１５で目的画像の動画データを生成する処理は、「動画生成ステップ」の一例である。図２のＳ１で訓練用眼科画像のセット３０を取得する処理は、「画像セット取得ステップ」の一例である。図２のＳ２～Ｓ４で数学モデルを構築する処理は、「訓練ステップ」の一例である。
１　　数学モデル構築装置
３　　ＣＰＵ
４　　記憶装置
１１　　眼科画像撮影装置
２１　　眼科画像処理装置
２３　　ＣＰＵ
２４　　記憶装置
２８　　表示装置
３０　　セット
３１　　加算平均画像
３２　　加算平均画像
３００　　訓練用眼科画像

 

Claims (8)

  1. 　被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
    　前記眼科画像処理装置の制御部は、
    　眼科画像撮影装置によって撮影された眼科画像、または、前記眼科画像撮影装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得し、
    　機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質の目的画像を取得し、
    　前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理装置。
  2. 　請求項１に記載の眼科画像処理装置であって、
    　前記眼科画像は、ＯＣＴ装置によって撮影された被検眼の二次元断層画像であり、
    　前記制御部は、
    　組織の異なる位置を撮影した複数の二次元断層画像を前記基画像として取得し、
    　前記複数の基画像の各々を前記数学モデルに入力することで、複数の前記目的画像を取得し、
    　前記複数の目的画像に基づいて、前記組織の三次元断層画像、および、前記組織を正面から見た場合の二次元正面画像の少なくともいずれかを生成することを特徴とする眼科画像処理装置。
  3. 　請求項１または２に記載の眼科画像処理装置であって、
    　前記眼科画像は、ＯＣＴ装置によって撮影された被検眼の眼底の二次元断層画像であり、
    　前記制御部は、
    　前記数学モデルを用いて取得した前記目的画像に対して解析処理を行うことで、前記眼底に含まれる複数の層の少なくともいずれかを識別することを特徴とする眼科画像処理装置。
  4. 　請求項１～３のいずれかに記載の眼科画像処理装置であって、
    　前記制御部は、前記基画像と前記目的画像を表示装置に同時に表示させる同時表示処理、および、入力された指示に応じて前記基画像と前記目的画像を切り替えて表示装置に表示させる切替表示処理の少なくとも一方を実行することを特徴とする眼科画像処理装置。
  5. 　請求項１～４のいずれかに記載の眼科画像処理装置であって、
    　前記制御部は、
    　前記眼科画像撮影装置によって連続して撮影される複数の前記基画像を取得し、
    　取得した前記複数の基画像を前記数学モデルに順次入力することで、複数の前記目的画像を取得し、
    　取得した前記複数の目的画像に基づいて、前記組織の動画データを生成することを特徴とする眼科画像処理装置。
  6. 　参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、
    　前記ＯＣＴ装置の制御部は、
    　撮影した前記組織の眼科画像、または、前記組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得し、
    　機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質の目的画像を取得し、
    　前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されていることを特徴とするＯＣＴ装置。
  7. 　被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
    　前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
    　眼科画像撮影装置によって撮影された眼科画像、または、前記眼科画像撮影装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、
    　機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質の目的画像を取得する目的画像取得ステップと、
    　を前記眼科画像処理装置に実行させ、
    　前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理プログラム。
  8. 　機械学習アルゴリズムによって訓練されることで構築され、基画像が入力されることで目的画像を出力する数学モデルを構築する数学モデル構築装置によって実行される数学モデル構築方法であって、
    　被検眼の組織の同一部位を撮影した複数の訓練用眼科画像を取得する画像セット取得ステップと、
    　前記複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして前記数学モデルを訓練させることで、前記数学モデルを構築する訓練ステップと、
    　を含む数学モデル構築方法。

     
PCT/JP2018/024915 2018-06-29 2018-06-29 眼科画像処理装置、ｏｃｔ装置、眼科画像処理プログラム、および、数学モデル構築方法 WO2020003524A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18924990.7A EP3815599A4 (en) 2018-06-29 2018-06-29 OPHTHALMIC IMAGE PROCESSING DEVICE, OCT DEVICE, OPHTHALMIC IMAGE PROCESSING PROGRAM, AND MATHEMATICAL MODEL CONSTRUCTION METHOD
CN201880096917.2A CN113365547A (zh) 2018-06-29 2018-06-29 眼科图像处理装置、oct装置、眼科图像处理程序及数学模型构建方法
PCT/JP2018/024915 WO2020003524A1 (ja) 2018-06-29 2018-06-29 眼科画像処理装置、ｏｃｔ装置、眼科画像処理プログラム、および、数学モデル構築方法
JP2019553134A JP6703319B1 (ja) 2018-06-29 2018-06-29 眼科画像処理装置、およびｏｃｔ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024915 WO2020003524A1 (ja) 2018-06-29 2018-06-29 眼科画像処理装置、ｏｃｔ装置、眼科画像処理プログラム、および、数学モデル構築方法

Publications (1)

Publication Number Publication Date
WO2020003524A1 true WO2020003524A1 (ja) 2020-01-02

Family

ID=68986330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024915 WO2020003524A1 (ja) 2018-06-29 2018-06-29 眼科画像処理装置、ｏｃｔ装置、眼科画像処理プログラム、および、数学モデル構築方法

Country Status (4)

Country Link
EP (1) EP3815599A4 (ja)
JP (1) JP6703319B1 (ja)
CN (1) CN113365547A (ja)
WO (1) WO2020003524A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022234828A1 (ja) * 2021-05-06 2022-11-10 国立大学法人筑波大学 情報処理装置およびプログラム
WO2023281965A1 (ja) * 2021-07-05 2023-01-12 株式会社ニデック 医療画像処理装置、および医療画像処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131214A (ja) * 1997-07-10 1999-02-02 Hitachi Medical Corp 画像処理装置
JP2015009108A (ja) 2013-07-02 2015-01-19 株式会社ニデック 眼科撮影装置及び眼科画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051516A1 (en) * 2011-08-31 2013-02-28 Carestream Health, Inc. Noise suppression for low x-ray dose cone-beam image reconstruction
JP5238893B1 (ja) * 2012-02-22 2013-07-17 株式会社東芝 Ｘ線ｃｔ装置、画像表示装置、画像表示方法
JP6987495B2 (ja) * 2016-11-18 2022-01-05 キヤノン株式会社 画像処理装置及びその作動方法、並びに、プログラム
EP3404611A1 (en) * 2017-05-19 2018-11-21 RetinAI Medical GmbH Reducing noise in an image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131214A (ja) * 1997-07-10 1999-02-02 Hitachi Medical Corp 画像処理装置
JP2015009108A (ja) 2013-07-02 2015-01-19 株式会社ニデック 眼科撮影装置及び眼科画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KENZO ISOGAWA; TAKASHI IDA; TAICHIRO SHIODERA; TOMOYUKI TAKEGUCHI: "Deep Shrinkage Convolution Neural Network for Adaptive Noise Reduction", IEEE SIGNAL PROCESSING LETTERS , vol. 25, no. 2, February 2018 (2018-02-01), pages 224 - 228, XP055508221, ISSN: 1070-9908, DOI: 10.1109/LSP.2017.2782270 *
KITAJMA MIKA : "Deep Learning Reconstruction", INNERVISION , vol. 33, no. 5, 25 April 2018 (2018-04-25), pages 6 - 7, XP009525639, ISSN: 0913-8919 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022234828A1 (ja) * 2021-05-06 2022-11-10 国立大学法人筑波大学 情報処理装置およびプログラム
WO2023281965A1 (ja) * 2021-07-05 2023-01-12 株式会社ニデック 医療画像処理装置、および医療画像処理プログラム

Also Published As

Publication number Publication date
JP6703319B1 (ja) 2020-06-03
JPWO2020003524A1 (ja) 2020-07-02
EP3815599A1 (en) 2021-05-05
CN113365547A (zh) 2021-09-07
EP3815599A4 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
US11633096B2 (en) Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions
JP7388525B2 (ja) 眼科画像処理装置および眼科画像処理プログラム
JP2024040372A (ja) 眼科画像処理プログラムおよび眼科画像処理装置
WO2020026535A1 (ja) 眼科画像処理装置、ｏｃｔ装置、および眼科画像処理プログラム
WO2020003524A1 (ja) 眼科画像処理装置、ｏｃｔ装置、眼科画像処理プログラム、および、数学モデル構築方法
WO2021106967A1 (ja) 眼底画像処理装置および眼底画像処理プログラム
JP2024045441A (ja) 眼科画像処理装置、および眼科画像処理プログラム
JP7147888B2 (ja) 眼科画像処理装置、ｏｃｔ装置、および眼科画像処理プログラム
JP6747617B2 (ja) 眼科画像処理装置、およびｏｃｔ装置
JP2019208851A (ja) 眼底画像処理装置および眼底画像処理プログラム
JP2022082077A (ja) 眼科画像処理装置、および、眼科画像処理プログラム
JP7439990B2 (ja) 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法
WO2021020419A1 (ja) 医療画像処理装置および医療画像処理プログラム
WO2020241794A1 (ja) 眼科画像処理装置、眼科画像処理プログラム、および眼科画像処理システム
WO2021045019A1 (ja) 眼科画像処理プログラムおよび眼科画像処理装置
JP7435067B2 (ja) 眼科画像処理装置および眼科画像処理プログラム
JP2021074095A (ja) 眼科画像処理装置および眼科画像処理プログラム
JP2020036837A (ja) 眼科画像処理装置、および眼科撮影装置
JP7180187B2 (ja) 眼科画像処理装置、ｏｃｔ装置、および眼科画像処理プログラム
JP7210927B2 (ja) 眼科画像処理装置、ｏｃｔ装置、および眼科画像処理プログラム
US20240169528A1 (en) Medical image processing device and storage medium storing medical image processing program
JP2020121038A (ja) 眼科画像処理装置、および眼科画像処理プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019553134

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924990

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE