WO2021106824A1 - 撮影装置およびその制御方法 - Google Patents

撮影装置およびその制御方法 Download PDF

Info

Publication number
WO2021106824A1
WO2021106824A1 PCT/JP2020/043562 JP2020043562W WO2021106824A1 WO 2021106824 A1 WO2021106824 A1 WO 2021106824A1 JP 2020043562 W JP2020043562 W JP 2020043562W WO 2021106824 A1 WO2021106824 A1 WO 2021106824A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
measurement light
beam diameter
light
Prior art date
Application number
PCT/JP2020/043562
Other languages
English (en)
French (fr)
Inventor
宏治 野里
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2021106824A1 publication Critical patent/WO2021106824A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a photographing device and a control method thereof.
  • OCT Optical Coherence Tomography: optical coherence tomography device or optical coherence tomography
  • Non-Patent Document 1 shows an example of AO-OCT.
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide a photographing device capable of acquiring a high-resolution image with a relatively simple configuration.
  • the configuration of the photographing apparatus of the present invention includes a generation means for generating an image of the subject based on the return light obtained by irradiating the subject with the measurement light, and the first acquired without performing wave surface correction.
  • the first resolution image generated by the generation means is obtained from the first resolution image. It is characterized by having a conversion means for converting an image having a second resolution having a resolution higher than the resolution.
  • Image processing parameters are acquired by learning in advance using a resolution image. An example in which a low-resolution image taken without aberration correction is processed by the learned image processing parameters will be described. Note that low resolution and high resolution are relative and do not represent specific numerical values.
  • the irradiated measurement light 105 passes through the light splitting unit 104 including the beam splitter and is guided to the optical system of adaptive optics.
  • the adaptive optics system is composed of an optical dividing unit 106, a wavefront sensor 115, a wavefront correction device 108, and reflection mirrors 107-1 to 4 for guiding the light to them.
  • the reflection mirrors 107-1 to 104-1 are installed so that at least the pupil of the eye to be inspected 111, the wavefront sensor 115, and the wavefront correction device 108 are optically conjugated. Further, as the optical splitting unit 106, a beam splitter was used in this embodiment.
  • the measurement light 105 transmitted through the light dividing unit 106 is reflected by the reflection mirrors 107-1 and 107-2 and is incident on the wavefront correction device 108.
  • the measurement light 105 reflected by the wave surface correction device 108 is further reflected by the reflection mirrors 107-3 and 107-4, and is guided to the scanning optical system.
  • variable shape mirror is used as the wavefront correction device 108.
  • the variable shape mirror is a mirror in which the reflecting surface is divided into a plurality of regions, and the wavefront of the return light can be changed by changing the angle of the reflecting surface in each region.
  • the wavefront correction device 108 it is also possible to use a spatial phase modulator using a liquid crystal element instead of the variable shape mirror. In that case, two spatial phase modulators may be used to correct both polarizations of the light from the eye 111.
  • the measurement light 105 reflected by the reflection mirrors 107-3 and 4 is scanned one-dimensionally or two-dimensionally by the scanning optical system 109-1.
  • one resonance scanner and one galvano scanner are used for the scanning optical system 109-1 for the main scanning (horizontal direction of the fundus) and for the sub-scanning (vertical direction of the fundus).
  • two galvano scanners may be used for the scanning optical system 109-1.
  • an optical element such as a mirror or a lens is used between the scanners.
  • the scanning optics may also have a tracking mirror 109-2.
  • the tracking mirror 109-2 is composed of two galvano scanners, and the photographing area can be further moved in two directions.
  • the scanning optical system 109-1 also serves as the tracking mirror 109-2
  • the tracking mirror 109-2 corresponds only to the resonance scanner direction of the scanning optical system 109-1
  • the tracking mirror 109-2 is 2.
  • a relay optical system (not shown) may be used.
  • the measurement light 105 scanned by the scanning optical system 109-1 and the tracking mirror 109-2 is incident on the eye to be inspected 111 through the eyepieces 110-1 and 110-2.
  • the beam diameter of the measurement light 105 incident on the eye 111 to be inspected is set to 6 mm, and when the aberration is ideally corrected, a spot of 3.5 ⁇ m is formed on the fundus.
  • the numerical value of this setting is just an example.
  • the measurement light 105 incident on the eye 111 to be inspected is reflected or scattered at the fundus.
  • By adjusting the positions of the eyepieces 110-1 and 110-2 it is possible to irradiate the optimum measurement point according to the diopter of the eye to be inspected 111.
  • a lens is used for the eyepiece, but a spherical mirror or the like may be used.
  • the return light reflected or scattered from the retina of the fundus of the eye to be inspected 111 travels in the opposite direction when it is incident, and is partially reflected by the wavefront sensor 115 by the light dividing unit 106 to measure the wavefront of the light beam.
  • Used for The light rays reflected by the light dividing unit 106 toward the wavefront sensor 115 pass through the relay optical systems 119-1 and 119-2 and enter the wavefront sensor 115.
  • An aperture 120 is installed between the relay optical systems 119-1 and 119-2 to prevent unnecessary reflected scattered light from a lens or the like from entering the wave surface sensor.
  • FIG. 3 shows a state in which light is focused on the CCD sensor 133.
  • the light rays that have passed through each microlens are focused on the spot 136.
  • the wavefront of the incident light beam is calculated from the position of each of the spots 136.
  • the slope of the wavefront at each aberration measurement point is calculated from the difference between the reference position of the spot and the position of the measured spot when light containing no aberration is incident. By integrating this slope, phase information at each aberration measurement point can be obtained. It is also possible to calculate the Zernike coefficient from the difference between each reference position and the measured spot position.
  • the return light transmitted through the light dividing unit 106 is partially reflected by the light dividing unit 104, and is guided to the light intensity sensor 114 through the collimator 112 and the optical fiber 113.
  • the return light is converted into an electric signal according to the intensity by the light intensity sensor 114, is composed as an image as a fundus image by the control unit 117, and is displayed on the display 118.
  • the wavefront sensor 115 is connected to the adaptive optics control unit 116 and transmits the received wavefront to the adaptive optics control unit 116.
  • the wavefront correction device 108 is also connected to the adaptive optics control unit 116, and performs modulation instructed by the adaptive optics control unit 116.
  • the adaptive optics control unit 116 calculates the modulation amount (correction amount) for each reflection surface of each region of the wavefront correction device 108 so as to correct the wavefront to an aberration-free wavefront based on the wavefront acquired by the measurement result of the wavefront sensor 115. It calculates and commands the wavefront correction device 108 to do so.
  • the wavefront measurement and the instruction to the wavefront correction device are repeatedly executed, and feedback control is always performed so that the optimum wavefront is obtained.
  • the eyepieces 110-1 and 110-2 correspond to the diopter of the eye to be inspected as in the present embodiment
  • the eyepieces 110-1 and 110-2 are good according to the diopter. It is important that it is adjusted to. By doing so, it is not necessary to correct the defocus component which occupies most of the aberration of the eye to be inspected by the aberration corrector when the aberration correction process is executed.
  • the correct aberration can be measured by cutting unnecessary light with the aperture 120 immediately before the wavefront sensor 115.
  • the signal light from the retina that should be passed through is also spread in the aperture 120, and most of it is cut by the aperture 120. Become.
  • step S101 of FIG. 5A light irradiation to the eye to be inspected 111 is started.
  • the photographing light and the wavefront measurement light are the same light (measurement light 105)
  • the photographing and the wavefront measurement can be performed in step S101.
  • step S102 the face position of the eye to be inspected 111 is adjusted and the focus is adjusted.
  • the focus value may be configured to input a value measured in advance by another device.
  • step S103 the wavefront sensor 115 acquires a Hartmann image.
  • step S104 the position of the eye to be inspected 111 with respect to the device is precisely adjusted with reference to the Hartmann image displayed on the display 118.
  • the aberration correction step S106 is an aberration correction flow, and is composed of steps S111 to S117 of FIG. 5B.
  • Control is started in step S111.
  • the aberration is measured by the wavefront sensor 115 to measure the aberration information.
  • the adaptive optics control unit 116 calculates the correction amount in step S113, and the adaptive optics control unit 116 drives the correction device 108 in step S114. Then, after the correction device 108 is driven, the aberration is measured in step S115.
  • This measurement is performed by measuring the spot of the Shack-Hartmann sensor and calculating the amount of movement (deviation amount) of the spot position of each measurement point from the reference position.
  • the processes of steps S113 to S115 will be repeated.
  • the general amount of movement is represented by the amount of displacement in the X and Y directions.
  • the Shack-Hartmann sensor of the 40 ⁇ 30 microlens array since the Shack-Hartmann sensor of the 40 ⁇ 30 microlens array is used, when the measurement light is incident on all the lens arrays, the spot movement at the measurement point of 1200 at 40 ⁇ 30 The amount is calculated.
  • the correction amount is calculated in step S113 from the movement amount data of this spot.
  • it is also possible to calculate the Zernike coefficient for expressing the wavefront from the measured movement amount of the spot and it goes without saying that the correction device 108 can be controlled based on the Zernike coefficient.
  • step S116 Completion is confirmed by determining that the amount of aberration is equal to or less than a predetermined value in step S116, and if the aberration correction is not completed, the adaptive optics processing of steps S113 to S115 is performed again. If the completion is confirmed in step S116, the aberration correction is terminated in step S117. Further, even after the aberration correction is completed, the aberration correction processing in steps S113 to S115 may be continued in order to cope with the fluctuation of the eye aberration due to tears or the like. In this case, when a certain amount of aberration is reached, the process proceeds to step S117 to return to the original shooting step, but in parallel with this, the aberration correction process continues, and the aberration correction is performed until the end of shooting.
  • SLO shooting is performed in step S107 of FIG. 5A to acquire a second image.
  • the SLO shooting is the same as the first image acquisition, and is performed in the flow shown in steps S121 to S125.
  • the obtained continuous moving image may be used as a moving image, or may be averaged and used as a single still image.
  • a first image taken without aberration correction and a second image taken with aberration corrected can be obtained. It should be noted that this process is executed for a plurality of different test eyes, and a plurality of first images and second images are acquired from the plurality of test eyes and used as teacher data.
  • the CNN processing unit 602 performs image processing using a convolutional neural network, and generates a second image from the first image as an input.
  • the learning processing unit 603 performs learning processing of the convolutional neural network referred to by the CNN processing unit 602.
  • the model is learned by CNN (Convolutional Neural Network), which is a kind of deep learning.
  • the configuration of the CNN includes a plurality of convolution processing block 700 groups.
  • the convolution processing block 700 includes a convolution layer 701, a batch normalization layer 702, and an activation layer 703 using a rectified linear function.
  • the composition of the CNN includes a synthetic (Merger) layer 704 and a final convolution layer 705.
  • the composite layer 704 synthesizes by connecting or adding the output value group of the convolution processing block 700 and the pixel value group constituting the image.
  • the final convolution layer 705 outputs a group of pixel values constituting the high-resolution second image om 702 synthesized by the composite layer 704.
  • the pixel value group constituting the input first image im701 is output through the convolution processing block 700, and the pixel value group constituting the input image im701 is a composite layer. Synthesized at 704. After that, the combined pixel value group is formed in the second image om702 with high image quality and high resolution in the final convolution layer 705. In addition, in order to improve the degree of freedom such as pixel density, a downsampling layer or an upsampling layer may be provided in the middle.
  • the first image in which the wavefront aberration is not corrected by the wavefront correction device as input and the second image in which the wavefront aberration is corrected by the wavefront correction device as output are used as training data.
  • this learning data it is assumed that the data taken in the shortest possible time is used.
  • the model is machine-learned (deep learning), and network parameters for performing image processing using the trained trained model are obtained.
  • FIG. 8 is an embodiment of a fundus observation device that performs image processing from learning data without using a wavefront correction device in the present embodiment.
  • the fundus observation device of FIG. 8 is an optical element group such as a wave surface correction device 108, a wave surface sensor 115, and reflection mirrors 107-3 to 107-4 for guiding the wave surface correction device 108, and aberration correction control from the fundus observation device of FIG. It has a configuration excluding the system 116. Further, it is desirable that the members constituting the fundus observation device of FIG. 8 and their arrangement have the same or substantially the same optical characteristics as the corresponding members of FIG. 1, but different optical characteristics may be used.
  • the return light reflected or scattered from the retina of the fundus of the eye to be inspected 111 travels in the opposite direction when it is incident, and a part of the return light is reflected by the light dividing portion 104, and the light intensity sensor passes through the collimator 112 and the optical fiber 113. It is guided to 114. It is converted into an electric signal according to the intensity of the light received by the light intensity sensor 114, and is formed into an image as a fundus image by the control unit 117. It is also displayed on the display 119 via the image processing unit 118.
  • step S201 of FIG. 9A Light irradiation is started in step S201 of FIG. 9A.
  • step S202 the face position adjustment and focus adjustment of the eye to be inspected 111 with respect to the device are performed.
  • step S203 SLO shooting is performed and the first image is acquired.
  • the SLO photographing process is as described in steps S121 to S125 of FIG. 5C.
  • step S204 image processing is performed in step S204 using the first image.
  • the image processing step will be described in steps S211 to S215 of FIG. 9B.
  • the first image is acquired from the photographing apparatus in step S212, and the image is made high resolution and high image quality in step S213 by using the trained model described above.
  • the obtained image is output in step S214.
  • step S205 is the same as the description of the flow after S108 in FIG. 5A.
  • FIG. 10 shows the photographing apparatus of this embodiment.
  • the configuration is the same as that of the first embodiment except for the beam diameter conversion element 1001.
  • the beam diameter conversion element 1001 converts the beam diameter of the measurement light 105.
  • the measurement light emitted from the collimator 103 has a first beam diameter of about ⁇ 6.5 mm, and if aberration correction is performed, a high-resolution fundus image can be obtained.
  • the measurement light of ⁇ 6.5 mm is greatly affected by the aberration of the eye to be inspected, and a high-resolution image cannot be obtained without the aberration correction mechanism.
  • the beam diameter conversion element 1001 converts the measurement light having a first beam diameter of ⁇ 6.5 mm input from the collimator side into a second beam diameter of about ⁇ 2.5 mm and irradiates the eye to be inspected 111 side.
  • the beam conversion element 1001 may be composed of two or more lens groups, or may be constructed by combining mirrors and the like. If it is about ⁇ 2.5 mm, the influence of the aberration of the eye is not so large, and a certain degree of image can be obtained. However, the resolution is not as good as that taken by correcting the aberration with the measurement light of ⁇ 6.5 mm.
  • the beam conversion element 1001 By removing the beam conversion element 1001 from the optical system, it is possible to take a picture without converting the beam diameter. By configuring the beam conversion element with a zoom optical system or the like, it is possible to dynamically change the beam diameter conversion method without removing the element.
  • the return light reflected and scattered by the fundus is converted from the second beam diameter to the first beam diameter by passing through the beam conversion element 1001 in the direction opposite to the outward path.
  • the beam conversion element 1001 is installed closer to the eye to be inspected 111 than the aberration correction element 108 and the wavefront sensor 115, but the installation position is not limited to this position.
  • the relationship between the wavefront sensor 115 and the wavefront correction element 108 changes depending on the presence or absence of the aberration correction element, so it is necessary to change the aberration correction control. ..
  • the first image which is the teacher data for learning of the present embodiment, obtained by taking a picture without correcting the wave surface of the measurement light of the first beam diameter, and the second image obtained by taking a picture with aberration correction.
  • the imaging control flow for acquiring an image and a third image captured by the measurement light of the second beam diameter will be described with reference to the flowchart of FIG.
  • the beam conversion element 1001 is removed from the optical path to obtain the measurement light 105 having the first beam diameter.
  • the first beam diameter is ⁇ 6.5 mm.
  • Steps S1103 to S1108 are the same as steps S102 to S107 of the first embodiment, and a first image at the time when the aberration is not corrected and a second image after the aberration correction are obtained.
  • the processing of SLO shooting is also the same as that of the first embodiment, and it is possible to obtain a continuous moving image or a still image by superimposing the images.
  • step S1109 If the second image can be acquired, the aberration correction is completed in step S1109.
  • step S1110 the beam conversion element 1001 is inserted into the optical path to convert the beam diameter of the measurement light from ⁇ 6.5 mm to ⁇ 2.5 mm.
  • step S1111 a third image (an image without aberration correction) is acquired.
  • step S1112 Proceed to step S1112, and if an end request has come, proceed to S1113 to end the shooting. If the end request has not arrived, the process returns to step S1102 and SLO shooting is continued.
  • the teacher data the first image taken in the state where the aberration is not corrected, the second image taken in the state where the aberration is corrected, and the third image taken in the second beam diameter are obtained. can get.
  • the relationship of resolution is that of the first image> the third image> the second image.
  • This example also has a configuration in which the model is learned by CNN (deep learning) as in the first embodiment.
  • CNN deep learning
  • the configuration of the CNN includes a plurality of convolution processing block groups as in the first embodiment.
  • a convolution processing block group 700 that performs processing based on the first image im701 of the first beam diameter that has not been corrected for aberration, and a convolution processing block that performs processing based on the third image of the second beam diameter. It is composed of a group of 1200.
  • the convolution processing blocks 700 and 1200 include convolution layers 701 and 1201, batch normalization layers 702 and 1202, and activation layers 703 and 1203 using a rectified linear function.
  • the results obtained from both flows are integrated by the synthetic (Merge) layer 704 and the final convolution layer 705 is executed.
  • the composite layer 704 synthesizes by connecting or adding the output value group of each convolution processing block and the pixel value group constituting the image.
  • the final convolution layer 705 outputs a group of pixel values constituting the high-resolution second image om 702 synthesized by the composite layer 704. After that, the combined pixel value group is formed in the second image om702 with high image quality and high resolution in the final convolution layer 705.
  • a downsampling layer or an upsampling layer may be provided in the middle.
  • the training data includes a first image in which the wavefront aberration is not corrected by the wavefront correction device with the first beam diameter as input, a third image with the second beam diameter, and a wavefront by the wavefront correction device as output.
  • the second image in which the aberration of the above is corrected is used as the training data.
  • this learning data it is assumed that the data taken in the shortest possible time is used.
  • a model is machine-learned, and network parameters for performing image processing using the trained model are obtained.
  • FIG. 13 is an example of a fundus observation device that performs image processing from learning data without using wavefront correction in this embodiment.
  • the fundus observation device of FIG. 13 is an optical element group such as a wave surface correction device 108, a wave surface sensor 115, and reflection mirrors 107-3 to 107-4 for guiding the wave surface correction device 108, and aberration correction control from the fundus observation device of FIG. It has a configuration excluding the system 116. Further, it is desirable that the members constituting the fundus observation device of FIG. 13 and their arrangement have the same or substantially the same optical characteristics as the corresponding members of FIG. 10, but different optical characteristics may be used.
  • the light emitted from the light source 101 is emitted as parallel rays (measurement light 105) by the collimator 103 through the single mode optical fiber 102.
  • the irradiated measurement light 105 passes through the light splitting unit 104 formed of a beam splitter and is irradiated to the eye to be inspected 111 through the scanning optical systems 109-1 and 109-2 and the eyepieces 110-1 and 110-2.
  • the measurement light applied to the eye 111 to be inspected is scanned by the fundus and reflected or scattered to become return light.
  • the return light reflected or scattered from the retina of the eye to be inspected 111 travels in the opposite direction when it is incident, and a part of the return light is reflected by the light dividing portion 104, and is reflected by the collimator 112 and the optical fiber 113 to the light intensity sensor 114. It is guided. It is converted into an electric signal according to the intensity of the light received by the light intensity sensor 114, and is formed into an image as a fundus image by the control unit 117. It is also displayed on the display 119 via the image processing unit 118.
  • an image is taken with a first beam diameter of ⁇ 6.5 mm, and the first image is acquired.
  • the beam conversion element 1301 is inserted into the optical path, an image is taken with a second beam diameter of ⁇ 2.5 mm, and a third image is acquired.
  • step S1402 Light irradiation is started in step S1401 of FIG. 14A.
  • step S1402 the face position of the eye to be inspected is adjusted and the focus is adjusted.
  • step S1405 the beam conversion element 1301 is inserted into the optical path to convert the beam diameter from ⁇ 6.5 mm to ⁇ 2.5 mm. Then, in step S1406, a third image is acquired.
  • step S1407 image processing is performed in step S1407 using the first image.
  • the flow of image processing will be described in steps S1410 to S1415 of FIG. 14B.
  • the first image is acquired from the photographing apparatus in step S1411, and the third image is acquired in step S1412.
  • the image is made high resolution and high image quality in step S1413.
  • the obtained image is output in step S1314.
  • the first image and the third image are input and the second image is output, but a configuration in which only the third image is input and the second image is output may be used.
  • each of the above-described embodiments is a realization of the present invention as a photographing apparatus.
  • the embodiment of the present invention is not limited to the imaging device or the imaging method described in the embodiment. It is also possible to realize the present invention as software that operates on a computer. Further, the CPU of the photographing apparatus controls the entire computer by using the computer programs and data stored in the RAM or ROM. It is also possible to control the execution of software corresponding to each part of the photographing apparatus, realize the function of each part, and execute each process performed at the time of image processing.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • the present invention has been described above with reference to the embodiments, the present invention is not limited to the above embodiments.
  • the present invention also includes inventions modified to the extent not contrary to the gist of the present invention, and inventions equivalent to the present invention.
  • the above-described embodiments can be appropriately combined as long as they do not contradict the gist of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

波面補正された高い分解能の画像を用いて学習された学習モデルを用いて、簡易な構成の撮影装置を用いて撮影された比較的低分解能な画像から高分解能な画像を取得可能とする。本発明の撮影装置は、測定光を被検体に照射することにより得られる戻り光に基づき、前記被検体の画像を生成する生成手段と、波面補正を実行せずに取得した第１の分解能の画像と、波面補正を実行して取得した第２の分解能の画像と、から得られる学習済モデルを用いて、前記生成手段で生成された第１の分解能の画像を、前記第１の分解能より高い分解能である第２の分解能の画像に変換する変換手段とを有する。

Description

撮影装置およびその制御方法
　本発明は、撮影装置およびその制御方法に関する。
　近年、眼科用の撮影装置として、眼底に２次元的にレーザ光を照射してその戻り光を受光して画像化するＳＬＯ（Ｓｃａｎｎｉｎｇ　Ｌａｓｅｒ　Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：走査レーザ検眼鏡）や、低コヒーレンス光の干渉を利用したイメージング装置が開発されている。低コヒーレンス光の干渉を利用したイメージング装置は、ＯＣＴ（Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ：光干渉断層像装置あるいは光干渉断層像法）と呼ばれ、特に、眼底あるいはその近傍の断層像を得る目的で用いられている。ＯＣＴの種類としては、ＴＤ－ＯＣＴ（Ｔｉｍｅ　Ｄｏｍａｉｎ　ＯＣＴ：タイムドメイン法）や、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ　Ｄｏｍａｉｎ　ＯＣＴ：スペクトラルドメイン法）等を含め、種々のものが開発されてきている。
　特に、このような眼科用の撮影装置は、近年において、照射レーザの高ＮＡ化等によってさらなる高解像度化が進められている。しかしながら、眼底を撮影する場合には、角膜や水晶体等の眼の光学組織を通して撮影をしなければならない。そのため、高解像度化が進むにつれて、これら角膜や水晶体による収差が撮影画像の画質に大きく影響するようになってきた。そこで、眼による収差を測定し、その収差を補正する補償光学（Ａｄａｐｔｉｖｅ　Ｏｐｔｉｃｓ：ＡＯ）機能を光学系に組み込んだ、ＡＯ－ＳＬＯやＡＯ－ＯＣＴの研究が進められている。例えば、非特許文献１に、ＡＯ－ＯＣＴの例が示されている。
　これらＡＯ－ＳＬＯやＡＯ－ＯＣＴは、一般的にはシャックハルトマン波面センサー方式によって戻り光の波面を測定する。シャックハルトマン波面センサー方式とは、眼に測定光を入射し、その戻り光を、マイクロレンズアレイを通してＣＣＤカメラに受光することによって戻り光の波面を測定するものである。測定した波面を補正するように可変形状ミラーや、空間位相変調器を駆動し、それらを通して眼底の撮影を行うことにより、ＡＯ－ＳＬＯやＡＯ－ＯＣＴは眼底の高分解能な平面画像や断層画像の撮影が可能となる（特許文献１）。
特開２０１５－２２１０９１号公報
　しかしながら、波面補正デバイスや関係する光学系を設ける必要があるため、眼底撮影装置の制御が複雑化すること、装置が大型化すること、更には高コスト化を招くことといったデメリットがある。
　本発明は、このような課題を解決するためになされたものであり、その目的は、比較的簡素な構成で高い分解能の画像の取得が可能な撮影装置を提供することにある。
　本発明の撮影装置の構成は、測定光を被検体に照射することにより得られる戻り光に基づき、前記被検体の画像を生成する生成手段と、波面補正を実行せずに取得した第１の分解能の画像と、波面補正を実行して取得した第２の分解能の画像と、から得られる学習済モデルを用いて、前記生成手段で生成された第１の分解能の画像を、前記第１の分解能より高い分解能である第２の分解能の画像に変換する変換手段とを有することを特徴とする。
本発明の実施形態１における学習用ＳＬＯ装置の構成例の模式図である。 シャックハルトマンセンサーの模式図である。 シャックハルトマンセンサーの模式図である。 測定された波面の模式図である。 収差がある場合の波面の模式図である。 収差がある場合の波面の模式図である。 実施形態１における標準的な制御ステップを示すフローチャートである。 実施形態１における標準的な制御ステップを示すフローチャートである。 実施形態１における標準的な制御ステップを示すフローチャートである。 教師データとなる撮影制御フローを説明するフローチャートである。 ＣＮＮ処理部の構成を説明する図である。 実施形態１におけるＳＬＯ装置の構成例の模式図である。 撮影制御フローを説明するフローチャートである。 撮影制御フローを説明するフローチャートである。 本発明の実施形態２における学習用ＳＬＯ装置の構成例の模式図である。 実施形態２の教師データとなる撮影制御フローを説明するフローチャートである。 実施形態２のＣＮＮ処理部の構成を説明する図である。 実施形態２におけるＳＬＯ装置の構成例の模式図である。 実施形態２の撮影制御フローを説明するフローチャートである。 実施形態２の撮影制御フローを説明するフローチャートである。
　本発明を実施するための形態を、以下の実施形態により説明する。但し、以下の実施形態の構成は、特許請求の範囲にかかわる本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
　［実施形態１］
　実施形態１として、本発明を適用した眼底撮影装置の構成について図１～図９Ｂを用いて説明する。
　なお、本実施形態においては、測定対象である被検体を眼とし、複数の被検眼のそれぞれの被検眼の収差を補正していない状態の低分解能な画像と、収差補正を行った状態の高分解能な画像とを用いて予め学習して画像処理パラメータを取得する。その学習された画像処理パラメータによって収差補正せずに撮影した低解像度の画像を処理するようにした一例について説明する。なお、低分解能、高分解能とは、相対的なものであり特定の数値を表すものではない。
　＜教師データ作成装置の説明＞
　画像処理パラメータを学習するための教師データとなる画像の取得方法について説明する。まず、教師データとなる眼底画像を撮影する撮影装置について、図１を用いて説明する。
　図１において、１０１は光源であり、波長７９５ｎｍのＳＬＤ光源（Ｓｕｐｅｒ　Ｌｕｍｉｎｅｓｃｅｎｔ　Ｄｉｏｄｅ）を用いた。光源１０１の波長は特に制限されるものではないが、眼底撮影用としては被検者の眩しさの軽減と分解能維持のために、７５０～１５００ｎｍ程度が好適に用いられる。本実施形態においてはＳＬＤ光源を用いたが、その他にレーザ等も用いられる。本実施形態では眼底撮影と波面測定のための光源を共用しているが、それぞれを別光源とし、光路の途中で合波する構成としても良い。
　光源１０１から照射された光は、単一モード光ファイバー１０２を通って、コリメータ１０３により、平行光線（測定光１０５）として照射される。照射される光の偏光は、単一モード光ファイバー１０２の経路に具備された不図示の偏光調整器により調整される。別の構成としては、コリメータ１０３から出射された後の光路に偏光を調整する光学部品を配置する構成がある。本実施形態においては、コリメータ１０３から出射される光の偏光が図の紙面に水平な偏光成分となるように偏光調整器が調整される。
　照射された測定光１０５はビームスプリッターからなる光分割部１０４を透過し、補償光学の光学系に導光される。
　補償光学系は、光分割部１０６、波面センサー１１５、波面補正デバイス１０８および、それらに導光するための反射ミラー１０７－１～４等から構成される。
　ここで、反射ミラー１０７－１～４は、少なくとも被検眼１１１の瞳と波面センサー１１５、波面補正デバイス１０８とが光学的に共役関係になるように設置されている。また、光分割部１０６として、本実施形態ではビームスプリッターを用いた。
　光分割部１０６を透過した測定光１０５は、反射ミラー１０７－１と１０７－２で反射されて波面補正デバイス１０８に入射する。波面補正デバイス１０８で反射された測定光１０５は、さらに反射ミラー１０７－３と１０７－４で反射され、走査光学系に導光される。
　本実施形態では、波面補正デバイス１０８として可変形状ミラーを用いた。可変形状ミラーは反射面が複数領域に分割されており、各領域の反射面の角度を変えることにより、戻り光の波面を変化させることができるミラーである。波面補正デバイス１０８としては、可変形状ミラーの代わりに液晶素子を用いた空間位相変調器を用いることも可能である。その場合、被検眼１１１からの光の両偏光を補正するために、２つの空間位相変調器を用いる場合もある。
　図１において、反射ミラー１０７－３、４で反射された測定光１０５は、走査光学系１０９－１によって、１次元もしくは２次元に走査される。本実施形態では走査光学系１０９－１に主走査用（眼底水平方向）と副走査用（眼底垂直方向）として一つの共振スキャナーと一つのガルバノスキャナーを用いた。別の構成では、走査光学系１０９－１に二つのガルバノスキャナーを用いることもある。走査光学系１０９－１内の各スキャナーを光学的な共役状態にするために、各スキャナーの間にミラーやレンズといった光学素子を用いる装置構成の場合もある。走査光学系はさらにトラッキングミラー１０９－２を持つ場合もある。トラッキングミラー１０９－２は２つのガルバノスキャナーから構成され、撮影領域をさらに２方向に移動させることが可能である。別の構成では、走査光学系１０９－１がトラッキングミラー１０９－２を兼ねる構成、トラッキングミラー１０９－２が走査光学系１０９－１の共振スキャナー方向のみに対応する構成、トラッキングミラー１０９－２が２次元ミラーである構成もある。また、走査光学系１０９－１とトラッキングミラー１０９－２を光学的に共役関係とするために、不図示のリレー光学系が用いられてもよい。
　走査光学系１０９－１およびトラッキングミラー１０９－２で走査された測定光１０５は、接眼レンズ１１０－１および１１０－２を通して被検眼１１１に入射される。なお、本実施形態において被検眼１１１に入射される測定光１０５のビーム径は６ｍｍに設定されており、理想的に収差が補正された場合は眼底上で３．５μｍのスポットを形成するが、この設定の数値はあくまでも一例である。被検眼１１１に入射された測定光１０５は眼底で反射もしくは散乱される。接眼レンズ１１０－１および１１０－２の位置を調整することによって、被検眼１１１の視度にあわせて最適な測定箇所の照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。
　被検眼１１１の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部１０６によって一部は波面センサー１１５に反射され、光線の波面を測定するために用いられる。光分割部１０６で波面センサー１１５に向けて反射された光線は、リレー光学系１１９－１、１１９－２を通り、波面センサー１１５に入射する。リレー光学系１１９－１と１１９－２の間にはアパーチャー１２０が設置されており、レンズ等からの不要な反射散乱光を波面センサーに入射させないようにする。
　本実施形態では、波面センサー１１５としてシャックハルトマンセンサーを用いた。図２Ａ，図２Ｂにシャックハルトマンセンサーの模式図を示す。１３１が波面を測定される光線であり、マイクロレンズアレイ１３２を通して、ＣＣＤセンサー１３３上の焦点面１３４に集光される。図２ＡのＡ―Ａ‘で示す位置から見た様子を示す図が図２Ｂであり、マイクロレンズアレイ１３２が、複数のマイクロレンズ１３５から構成されている様子を示したものである。光線１３１は各マイクロレンズ１３５を通してＣＣＤセンサー１３３上に集光されるため、光線１３１は、光線１３１が通過したマイクロレンズ１３５の個数分のスポットに分割されて集光される。
　図３にＣＣＤセンサー１３３上に集光された状態を示す。各マイクロレンズを通過した光線はスポット１３６に集光される。そして、この各スポット１３６の位置から、入射した光線の波面を計算する。収差を含まない光が入射したときのスポットの基準の位置と測定されたスポットの位置の差から各収差測定点における波面の傾きが算出される。この傾きを積分することによって、各収差測定点における位相情報が得られる。また、各基準位置と測定されたスポットの位置の差からＺｅｒｎｉｋｅ係数を算出することも可能である。
　例えば、図４Ａ，図４Ｂに球面収差を持つ波面を測定した場合の模式図を示す。光線１３１は、破線１３７で図４Ａで示すような波面で形成されている。光線１３１はマイクロレンズアレイ１３２によって、波面の局所的な垂線方向の位置に集光される。この場合のＣＣＤセンサー１３３の集光状態を図４Ｂ示す。光線１３１が球面収差を持つため、スポット１３６は中央部に偏った状態で集光される。この位置を計算することによって、光線１３１の波面が分かる。
　本実施形態においては、３０×４０個のマイクロレンズアレイを有するシャックハルトマンセンサーを用いた。
　図１において、光分割部１０６を透過した戻り光は光分割部１０４によって一部が反射され、コリメータ１１２、光ファイバー１１３を通して光強度センサー１１４に導光される。光強度センサー１１４で戻り光はその強度に応じた電気信号に変換され、制御部１１７によって眼底画像として画像に構成されて、ディスプレイ１１８に表示される。
　波面センサー１１５は補償光学制御部１１６に接続され、受光した波面を補償光学制御部１１６に伝える。波面補正デバイス１０８も補償光学制御部１１６に接続されており、補償光学制御部１１６から指示された変調を行う。補償光学制御部１１６は波面センサー１１５の測定結果による取得された波面を基に、収差のない波面へと補正するような波面補正デバイス１０８の各領域の反射面ごとの変調量（補正量）を計算し、波面補正デバイス１０８にそのように変調するように指令する。波面の測定と波面補正デバイスへの指示は繰り返し実行され、常に最適な波面となるようにフィードバック制御が行われる。
　本実施形態のように接眼レンズ１１０－１、１１０－２で被検眼の視度に対応するような光学系がある場合には、接眼レンズ１１０－１、１１０－２が視度に応じて良好に調整されていることが重要である。そうすることで収差補正処理実行時に、被検眼の収差の大部分を占めるデフォーカス成分を収差補正器で補正する必要がなくなる。
　また、波面センサー１１５の直前のアパーチャー１２０によって不要光をカットすることで正しい収差を測定することが可能となる。しかしながら、被検眼１１１の収差のデフォーカスが補正されていないと、本来は通過させるべき網膜からの信号光もアパーチャー１２０の部分で広がった状態となり、大部分がアパーチャー１２０でカットされてしまうことになる。
　さらに、収差補正を最大限動作させるためには、正しい位置に被検眼１１１を配置することが重要であり、不図示の前眼部モニターや波面センサー１１５の信号を見ながら、被検眼１１１の位置を調整する。なお、表示される波面センサー１１５からの信号は、例えば、図２Ｂに示したハルトマン像と呼ばれる画像である。
　次に、本実施形態の学習用の教師データとなる波面補正していない眼底像と波面補正された眼底像の撮影制御フローに関して、図５Ａ～図５Ｃのフローチャートを用いて説明する。
　図５ＡのステップＳ１０１において、被検眼１１１への光照射を開始する。本実施形態では、撮影光と波面測定光が同一の光（測定光１０５）であるため、ステップＳ１０１で撮影と波面測定が可能な状態となる。
　ステップＳ１０２において、被検眼１１１の顔位置調整、フォーカス調整を行う。フォーカス値はあらかじめ別の装置で測定した値を入力する構成でもよい。ステップＳ１０３において波面センサー１１５でハルトマン像を取得する。ステップＳ１０４において、ディスプレイ１１８に表示されたハルトマン像も参照しつつ装置に対する被検眼１１１の位置を精密に調整する。
　ここで、ステップＳ１０５でＳＬＯ撮影を行い第一の画像を取得する。ＳＬＯ撮影は図５ＣのステップＳ１２１～Ｓ１２５に示すフローで行われる。まず、ステップＳ１２１でスタートし、Ｓ１２２において光強度センサー１１４からの出力に基づいて、画像信号を取得する。ステップＳ１２３で取得した画像信号を記憶装置に記録する。記録するデータは取得した電圧データでもよいし、変換および加工した画像信号でもよい。連続した画像を取得することも可能であるので、取得ステップＳ１２４で終了か否かを確認し、終了要求が来るまでステップＳ１２２、Ｓ１２３を繰り返して連続画像として記録する。終了要求が来た場合にはステップＳ１２５で終了する。得られた連続動画は動画のままでもよいし、平均処理を行って単一の静止画像として使用することも可能である。
　その後、図５ＡのステップＳ１０６において収差補正を行う。収差補正ステップＳ１０６は収差補正のフローであり、図５ＢのステップＳ１１１～Ｓ１１７より構成される。ステップＳ１１１で制御を開始する。ステップＳ１１２において波面センサー１１５により収差を測定して収差情報を測定する。測定した結果を元にステップＳ１１３において補償光学制御部１１６により補正量を計算し、ステップＳ１１４において補償光学制御部１１６の制御に基づき補正デバイス１０８を駆動する。そして、補正デバイス１０８の駆動が行われた後、ステップＳ１１５において収差を測定する。
　この測定はシャックハルトマンセンサーのスポットを計測し、各測定点のスポット位置の基準位置からの移動量（ずれ量）を算出することで行う。ステップＳ１１３～Ｓ１１５までの処理が繰り返し行われることになる。一般的移動量はＸ方向とＹ方向の変位量であらわされる。本実施形態では、４０×３０のマイクロレンズアレイのシャックハルトマンセンサーを使用しているので、全レンズアレイに測定光が入射している場合には、４０×３０で１２００の測定点におけるスポットの移動量が算出される。このスポットの移動量データからステップＳ１１３において補正量を計算する。この方法以外にも、測定したスポットの移動量から波面を表現するためのＺｅｒｎｉｋｅ係数を算出する事も可能で、それを基に補正デバイス１０８を制御することが可能であることは言うまでもない。
　ステップＳ１１６において収差量が所定の値以下になったことを判断することにより完了確認を行い、収差補正が完了していない場合には、ステップＳ１１３～Ｓ１１５の補償光学の処理が再度行われる。ステップＳ１１６において完了が確認された場合には、ステップＳ１１７で収差補正を終了する。また、収差補正完了後も、涙等による眼収差の変動に対応するために、ステップＳ１１３～Ｓ１１５の収差補正処理を継続する場合もある。この場合、ある程度の収差量に達した時点でステップＳ１１７に進み元の撮影ステップに戻るが、それと並行して収差補正の処理が継続し、撮影終了まで収差補正が行われる。
　収差補正が完了すると、図５ＡのステップＳ１０７においてＳＬＯ撮影を行い第二の画像を取得する。ＳＬＯ撮影は第一の画像取得と同様で、ステップＳ１２１～Ｓ１２５に示すフローで行われる。得られた連続動画は動画のままでもよいし、平均処理を行って単一の静止画像として使用することも可能である。
　ステップＳ１０８に進み、終了要求が来ている場合にはＳ１０９に進み撮影を終了する。終了要求が来ていない場合には、ステップＳ１０２に戻り、ＳＬＯ撮影を継続する。
　このようにして、教師データとして、収差補正されていない状態で撮影した第一の画像と、収差補正された状態で撮影した第二の画像が得られる。なお、この処理は複数の異なる被検眼に対して実行され、複数の被検眼から複数の第一の画像と第二の画像を取得して教師データとしている。
　＜学習＞
　次に、図５Ａ～図５Ｃを用いて説明したように取得された第一の画像と第二の画像を用いて、第一の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。
　図６に画像処理部６００の機能構成を示す。画像処理部６００は制御部１１７に含まれ、画像取得部６０１と、ＣＮＮ処理部６０２と、学習処理部６０３を備えている。画像取得部６０１は、制御部１１７より同一被検眼の第一の画像および第二の画像を取得する。
　ＣＮＮ処理部６０２は、畳み込みニューラルネットワークを用いて画像処理を行って、入力となる第一の画像から、第二の画像を生成する。
　学習処理部６０３は、ＣＮＮ処理部６０２が参照する畳み込みニューラルネットワークの学習処理を行う。本実施形態では、ディープラーニング（深層学習）の一種であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）によってモデルを学習する。
　画像を変換するＣＮＮの構成例に関して図７を用いて説明する。
　当該ＣＮＮの構成には、複数の畳み込み処理ブロック７００群が含まれる。畳み込み処理ブロック７００は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層７０１と、バッチ正規化（Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ）層７０２と、正規化線形関数を用いた活性化（Ａｃｔｉｖａｔｉｏｎ）層７０３を含む。当該ＣＮＮの構成には、合成（Ｍｅｒｇｅｒ）層７０４と最後の畳み込み層７０５が含まれる。合成層７０４は、畳み込み処理ブロック７００の出力値群と画像を構成する画素値群とを連結したり加算したりして合成する。最後の畳み込み層７０５は、合成層７０４で合成された高分解能な第二の画像ｏｍ７０２を構成する画素値群を出力する。このような構成では、入力された第一の画像ｉｍ７０１を構成する画素値群が畳み込み処理ブロック７００を経て出力された値群と、入力された画像ｉｍ７０１を構成する画素値群とが、合成層７０４で合成される。その後、合成された画素値群は最後の畳み込み層７０５で高画質・高分解能な第二の画像ｏｍ７０２に形成される。なお、画素密度等の自由度を向上させるために、途中でダウンサンプリング層やアップサンプリング層を設けても良い。
　学習データとしては、入力として波面補正デバイスによる波面の収差補正を行っていない第一の画像と、出力として、波面補正デバイスによる波面の収差補正を行った第二の画像を学習データとする。この学習データは、可能な限り短い時間で撮影されたものを用いることとする。この学習データを用いて、モデルを機械学習（深層学習）し、学習した学習済モデルを用いて画像処理を行うネットワークパラメータを得る。
　＜ＣＮＮによる画像処理を用いた撮影＞
　次に、前述の学習結果（学習済モデル）を用いて、眼底像を撮影する方法について説明する。
　図８は、本実施形態において、波面補正デバイスを用いることなしに、学習データから画像処理を実施する眼底観察装置の実施形態である。図８の眼底観察装置は、図１における眼底観察装置から波面補正デバイス１０８、波面センサー１１５および、それらに導光するための反射ミラー１０７－３～１０７－４等の光学素子群、収差補正制御システム１１６を除いた構成となっている。また、図８の眼底観察装置を構成する部材及びその配置は、図１の対応する部材と光学特性が同一ないしはほぼ同一であることが望ましいが、異なる光学特性であってもかまわない。
　前述の教師データ作成時の眼底観察と同様に、光源１０１から照射された光は、単一モード光ファイバー１０２を通って、コリメータ１０３により、平行光線（測定光１０５）として照射される。照射された測定光１０５はビームスプリッターからなる光分割部１０４を透過し、走査光学系１０９－１、１０９－２や接眼レンズ１１０－１および１１０－２を通して被検眼１１１に入射される。
　被検眼１１１に入射された測定光は眼底で走査され反射もしくは散乱されて戻り光となる。接眼レンズ１１０－１および１１０－２の位置を調整することによって、被検眼１１１の視度にあわせて適切な測定位置へ照射を行うことが可能となる。
　被検眼１１１の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部１０４によってその一部が反射され、コリメータ１１２、光ファイバー１１３を通して光強度センサー１１４に導光される。光強度センサー１１４で受光した光の強度に応じた電気信号に変換され、制御部１１７によって眼底画像として画像に構成される。また、画像処理部１１８を介して、ディスプレイ１１９に表示される。
　このような撮影手法により第一の画像から第二の画像を生成する際のステップに関して図９Ａ，図９Ｂのフローチャートを用いて説明する。
　図９ＡのステップＳ２０１において光照射を開始する。ステップＳ２０２において装置に対する被検眼１１１の顔位置調整、フォーカス調整を行う。
　ここで、ステップＳ２０３においてＳＬＯ撮影を行い第一の画像を取得する。ＳＬＯ撮影の処理は、図５ＣのステップＳ１２１～Ｓ１２５で説明したとおりである。
　次に、第一の画像を用いてステップＳ２０４において画像処理を行う。画像処理のステップを図９ＢのステップＳ２１１～Ｓ２１５で説明する。ステップＳ２１２において撮影装置から第一の画像を取得し、前述の学習済モデルを用いてステップＳ２１３において画像を高分解能化・高画質化する。得られた画像をステップＳ２１４において出力する。
　ステップＳ２０５以降の処理は図５ＡのＳ１０８以降のフローの説明と同様である。
　このようにして、比較的安易な構成の装置を用いて撮影した第一の画像より、高画質・高分解能な第二の画像を得ることが可能となる。
　［実施形態２］
　次に実施形態１で説明した測定光のビーム径とは異なるビーム径の測定光で撮影を行って取得する第三の画像も用いて学習し、第三の画像から高分解能な第二の画像を得る例について説明する。
　図１０が本実施形態の撮影装置である。ビーム径変換素子１００１以外は実施形態１と同じ構成である。ビーム径変換素子１００１は測定光１０５のビーム径を変換する。
　例えば、コリメータ１０３から出射された測定光は第一のビーム径であるφ６．５ｍｍ程度であり、収差補正されれば高分解能な眼底画像が得られる。一方で、φ６．５ｍｍの測定光は被検眼の収差の影響を大きく受け、収差補正機構がなければ高分解能な画像が得られない。ビーム径変換素子１００１はコリメータ側から入力した第一のビーム径φ６．５ｍｍの測定光を第二のビーム径φ２．５ｍｍ程度に変換して被検眼１１１側に照射する。ビーム変換素子１００１は２枚以上のレンズ群で構成しても良いし、ミラー等を組み合わせて構築しても良い。φ２．５ｍｍ程度であれば、眼の収差の影響はそれほど大きくなく、ある程度の画像は得られる。ただし、分解能はφ６．５ｍｍの測定光で収差補正して撮影したほどよくない。
　ビーム変換素子１００１を光学系から抜去することで、ビーム径を変換しない状態での撮影が可能となる。ビーム変換素子をズーム光学系等で構成することにより、素子を抜去することなく動的にビーム径の変換方法を変更することも可能である。なお、眼底で反射散乱された戻り光は、ビーム変換素子１００１を往路とは逆向きに通過することにより、第二のビーム径から第一のビーム径に変換される。図１０では、ビーム変換素子１００１を収差補正素子１０８や波面センサー１１５よりも被検眼１１１側に設置したが、設置位置はこの位置に限定されるものではない。ただし、波面補正素子１０８と波面センサー１１５の間に設置した場合には、収差補正素子の有無により波面センサー１１５と波面補正素子１０８の関係性が変化するので、収差補正制御を変更する必要がある。
　＜教師データ作成＞
　本実施形態の学習用の教師データとなる、第一のビーム径の測定光の波面補正せずに撮影することにより得られる第一の画像と収差補正して撮影することにより得られる第二の画像、第二のビーム径の測定光で撮影する第三の画像を取得する撮影制御フローに関して、図１１のフローチャートを用いて説明する。
　ステップＳ１１００において撮影を開始し、ステップＳ１１０１において光照射を開始する。本実施形態では、撮影光と波面測定光が同一の測定光であるため、ステップＳ１１０１において撮影と波面測定が可能な状態となる。
　まず、ビーム変換素子１００１を光路から抜去し、第一のビーム径の測定光１０５とする。本実施形態では第一のビーム径をφ６．５ｍｍとする。
　ステップＳ１１０３～Ｓ１１０８は実施形態１のステップＳ１０２～Ｓ１０７と同様であり、収差補正していない時点での第一の画像と、収差補正後の第二の画像が得られる。ＳＬＯ撮影の処理も実施形態１と同様であり、連続動画や重ね合わせて静止画像を得ることが可能である。
　第二の画像が取得できれば、ステップＳ１１０９において収差補正を終了する。
　次に、ステップＳ１１１０において光路にビーム変換素子１００１を光路中に挿入し、測定光のビーム径をφ６．５ｍｍからφ２．５ｍｍに変換する。その後、ステップＳ１１１１において第三の画像（収差補正は行われていない画像）を取得する。
　ステップＳ１１１２に進み、終了要求が来ている場合にはＳ１１１３に進み撮影を終了する。終了要求が来ていない場合には、ステップＳ１１０２に戻り、ＳＬＯ撮影を継続する。
　このようにして、教師データとして、収差補正されていない状態で撮影した第一の画像と、収差補正された状態で撮影した第二の画像、第二のビーム径で撮影した第三の画像が得られる。分解能の関係は、第一の画像＞第三の画像＞第二の画像の関係になる。なお、教師データとして、複数の異なる被検眼の第一の画像、第二の画像、第三の画像を取得し記録している。
　＜学習＞
　次に、第一のビーム径で収差補正されていない状態で撮影した第一の画像、第一のビーム径で収差補正を行ったうえで撮影した第二の画像、および、第二のビーム径で撮影した第三の画像を用いて、第一の画像および第三の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。
　本例も実施形態１と同様にＣＮＮ（深層学習）によってモデルを学習する構成とする。画像を変換するＣＮＮの構成例に関して図１２を用いて説明する。
　当該ＣＮＮの構成には、実施形態１と同様に複数の畳み込み処理ブロック群が含まれる。収差補正していない第一のビーム径の第一の画像ｉｍ７０１をもとに処理を行う畳み込み処理ブロック群７００と、第二のビーム径の第三の画像をもとに処理を行う畳み込み処理ブロック群１２００とで構成される。
　畳み込み処理ブロック７００および１２００は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層７０１、１２０１と、バッチ正規化（Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ）層７０２、１２０２と、正規化線形関数を用いた活性化（Ａｃｔｉｖａｔｉｏｎ）層７０３、１２０３を含む。
　両フローより得られた結果は、合成（Ｍｅｒｇｅｒ）層７０４により統合され、最後の畳み込み層７０５が実行される。合成層７０４は、各畳み込み処理ブロックの出力値群と画像を構成する画素値群とを連結したり加算したりして合成する。最後の畳み込み層７０５は、合成層７０４で合成された高分解能な第二の画像ｏｍ７０２を構成する画素値群を出力する。その後、合成された画素値群は最後の畳み込み層７０５で高画質・高分解能な第二の画像ｏｍ７０２に形成される。なお、画素密度等の自由度を向上させるために、途中でダウンサンプリング層やアップサンプリング層を設けても良い。
　学習データとしては、入力として第一のビーム径による波面補正デバイスによる波面の収差補正を行っていない第一の画像と、第二のビーム径の第三の画像、出力として、波面補正デバイスによる波面の収差補正を行った第二の画像を学習データとする。この学習データは、可能な限り短い時間で撮影されたものを用いることとする。この学習データを用いて、モデルを機械学習し、学習したモデルを用いて画像処理を行うネットワークパラメータを得る。
　＜ＣＮＮによる画像処理を用いた撮影＞
　次に、前述の学習結果を用いて、眼底像を撮影する方法について説明する。
　図１３は、本実施例において、波面補正を用いることなしに、学習データから画像処理を実施する眼底観察装置の実施例である。図１３の眼底観察装置は、図１０における眼底観察装置から波面補正デバイス１０８、波面センサー１１５および、それらに導光するための反射ミラー１０７－３～１０７－４等の光学素子群、収差補正制御システム１１６をのぞいた構成となっている。また、図１３の眼底観察装置を構成する部材及びその配置は、図１０の対応する部材と光学特性が同一ないしはほぼ同一であることが望ましいが、異なる光学特性であってもかまわない。
　前述の教師データ作成時の眼底観察と同様に、光源１０１から照射された光は、単一モード光ファイバー１０２を通って、コリメータ１０３により、平行光線（測定光１０５）として照射される。照射された測定光１０５はビームスプリッターからなる光分割部１０４を透過し、走査光学系１０９－１、１０９－２や接眼レンズ１１０－１および１１０－２を通して被検眼１１１に照射される。
　被検眼１１１に照射された測定光は眼底で走査され反射もしくは散乱されて戻り光となる。接眼レンズ１１０－１および１１０－２の位置を調整することによって、被検眼１１１の視度にあわせて適切な測定位置の照射を行うことが可能となる。
　被検眼１１１の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部１０４によってその一部が反射され、コリメータ１１２、光ファイバー１１３を通して光強度センサー１１４に導光される。光強度センサー１１４で受光した光の強度に応じた電気信号に変換され、制御部１１７によって眼底画像として画像に構成される。また、画像処理部１１８を介して、ディスプレイ１１９に表示される。
　まず、ビーム変換素子１３０１を抜去した状態でφ６．５ｍｍの第一のビーム径にて撮影を行い、第一の画像を取得する。次にビーム変換素子１３０１を光路に挿入し、φ２．５ｍｍの第二のビーム径にて撮影を行い、第三の画像を取得する。
　このような撮影手法により、第一の画像および第三の画像から第二の画像を生成する際のフローに関して図１４のフローチャートを用いて説明する。
　図１４ＡのステップＳ１４０１において光照射を開始する。ステップＳ１４０２において被検眼の顔位置調整、フォーカス調整を行う。
　ここで、ステップＳ１４０３においてビーム径をφ６．５ｍｍに設定する。その後、ステップＳ１４０４において第一の画像を取得する。
　次に、ステップＳ１４０５において光路にビーム変換素子１３０１を光路中に挿入し、ビーム径をφ６．５ｍｍからφ２．５ｍｍに変換する。その後、ステップＳ１４０６において第三の画像を取得する。
　次に、第一の画像を用いてステップＳ１４０７において画像処理を行う。画像処理のフローを図１４ＢのステップＳ１４１０～Ｓ１４１５で説明する。ステップＳ１４１１において撮影装置から第一の画像を取得し、ステップＳ１４１２において第三の画像を取得する。
　前述の学習済モデルを用いて、ステップＳ１４１３において画像を高分解能化・高画質化する。得られた画像をステップＳ１３１４で出力する。
　ステップＳ１４０８以降の処理は図１１のＳ１１１２以降のフローの説明と同様である。
　このようにして、比較的安易な構成の装置を用いて撮影した第一の画像および第三の画像より、高画質・高分解能な第二の画像を得ることが可能となる。
　また、本実施形態では第一の画像と第三の画像を入力とし第二の画像を出力としたが、第三の画像のみ入力とし、第二の画像を出力とする構成でもよい。
　（その他の実施形態）
　上述したそれぞれの実施形態は、本発明を撮影装置として実現したものである。しかしながら、本発明の実施形態は、撮影装置、或いは、実施形態において述べた撮影方法のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。また、撮影装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、撮影装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現し、画像処理時に行われる各工程を実行することもできる。
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１９年１１月２８日提出の日本国特許出願特願２０１９－２１５７９０を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (14)

  1. 　測定光を被検体に照射することにより得られる戻り光に基づき、前記被検体の画像を生成する生成手段と、
    　波面補正を実行せずに取得した第１の分解能の画像と、波面補正を実行して取得した第２の分解能の画像と、から得られる学習済モデルを用いて、前記生成手段で生成された第１の分解能の画像を、前記第１の分解能より高い分解能である第２の分解能の画像に変換する変換手段と
    　を有することを特徴とする撮影装置。
  2. 　前記変換手段が、前記第１の分解能の画像と、前記第１の分解能より高く前記第２の分解能より低い第３の分解能の画像とを、前記学習済モデルを用いて、前記第２の分解能の画像に変換すること
    　を特徴とする請求項１に記載の撮影装置。
  3. 　前記変換手段が、前記第１の分解能より高い分解能の第３の分解能の画像を、前記学習済モデルを用いて、前記第２の分解能の画像に変換すること
    　を特徴とする請求項１に記載の撮影装置。
  4. 　前記学習済モデルは、前記生成手段により生成された、第１のビーム径の測定光に対応する第１の分解能の画像、前記第１のビーム径の測定光の波面を補正した光に対応する第２の分解能の画像、及び、前記第１のビーム径より細い第２のビーム径の測定光に対応する第３の分解能の画像を用いて深層学習することにより得られるモデルであること
    　を特徴とする請求項２又は３に記載の撮影装置。
  5. 　前記学習済モデルは、前記生成手段により生成された、第１のビーム径の測定光に対応する第１の分解能の画像と、前記第１のビーム径の測定光の波面を補正した光に対応する第２の分解能の画像の組み合わせを用いて深層学習することにより得られるモデルであること
    　を特徴とする請求項１に記載の撮影装置。
  6. 　前記学習済モデルは、前記生成手段により生成された、第１のビーム径の測定光に対応する第１の分解能の画像と前記第１のビーム径より細い第２のビーム径の測定光に対応する第３の分解能の画像の組み合わせ、及び、前記第１のビーム径の測定光の波面を補正した光に対応する第２の分解能の画像と前記第３の分解能の画像の組み合わせを用いて深層学習することにより得られるモデルであること
    　を特徴とする請求項２に記載の撮影装置。
  7. 　前記学習済モデルは、前記生成手段により生成された、第１のビーム径の測定光の波面を補正した光に対応する第２の分解能の画像と前記第１のビーム径より細い第２のビーム径の測定光に対応する第３の分解能の画像の組み合わせを用いて深層学習することにより得られるモデルであること
    　を特徴とする請求項３に記載の撮影装置。
  8. 　前記第１の分解能の画像、前記第２の分解能の画像、及び、前記第３の分解能の画像は、測定光の波面を測定する測定手段と、前記波面を補正する補正手段と、測定光のビーム径を設定する設定手段とを有する撮影装置により生成された画像であり、
    　前記第１の分解能の画像は、前記設定手段により前記測定光を前記第１のビーム径に設定し、前記補正手段による補正を行わずに生成した画像であり、
    　前記第２の分解能の画像は、前記設定手段により前記測定光を前記第１のビーム径に設定し、前記補正手段による補正を行い生成した画像であり、
    　前記第３の分解能の画像は、前記設定手段により前記測定光を前記第２のビーム径に設定し、前記補正手段による補正を行わずに生成した画像であること
    　を特徴とする請求項２乃至７のいずれか１項に記載の撮影装置。
  9. 　測定光を被検体に照射することにより得られる戻り光に基づき、前記被検体の画像を生成する生成手段と、
    　前記測定光の波面を補正する波面補正手段と、
    　前記波面補正手段で波面補正を実行せずに前記生成手段で生成した第１の分解能の画像を入力データとし、前記波面補正手段で波面補正を実行して前記生成手段で生成した第２の分解能の画像を教師データとして学習することにより学習済モデルを生成するモデル生成手段とを有することを特徴とする撮影装置。
  10. 　前記測定光のビーム径を変更する変更手段を更に有し、
    　学習済モデルが、前記第１の分解能より高く、前記第２分解能より低い分解能の第３の分解能の画像を更に入力データとして得られるモデルであり、
    　前記第１の分解能の画像と前記第２の分解能の画像は第１のビーム径の測定光を用いて生成され、前記第３の分解能の画像は前記第１のビーム径より細い第２のビーム径を用いて生成されることを特徴とする請求項９に記載の撮影装置。
  11. 　測定光を被検体に照射することにより得られる戻り光に基づき、前記被検体の画像を生成する生成工程と、
    　波面補正を実行せずに取得した第１の分解能の画像と、波面補正を実行して取得した第２の分解能の画像と、から得られる学習済モデルを用いて、前記生成工程で生成された第１の分解能の画像を、前記第１の分解能より高い分解能である第２の分解能の画像に変換する変換工程と
    　を有することを特徴とする撮影装置の制御方法。
  12. 　前記変換工程において、前記第１の分解能の画像と、前記第１の画像の分解能より高く前記第２の分解能より低い第３の分解能の画像とを、前記学習済モデルを用いて、前記第２の分解能の画像に変換すること
    　を特徴とする請求項１１に記載の撮影装置の制御方法。
  13. 　前記変換工程が、前記第１の分解能より低い第３の分解能の画像を、前記学習済モデルを用いて、前記第２の分解能の画像に変換すること
    　を特徴とする請求項１１に記載の撮影装置の制御方法。
  14. 　請求項１１乃至１３の何れか１項に記載の撮影装置の制御方法をコンピュータに実行させるコンピュータプログラム。
PCT/JP2020/043562 2019-11-28 2020-11-24 撮影装置およびその制御方法 WO2021106824A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-215790 2019-11-28
JP2019215790A JP2021083781A (ja) 2019-11-28 2019-11-28 撮影装置およびその制御方法

Publications (1)

Publication Number Publication Date
WO2021106824A1 true WO2021106824A1 (ja) 2021-06-03

Family

ID=76086316

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043562 WO2021106824A1 (ja) 2019-11-28 2020-11-24 撮影装置およびその制御方法

Country Status (2)

Country Link
JP (1) JP2021083781A (ja)
WO (1) WO2021106824A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235834A (ja) * 2011-05-10 2012-12-06 Canon Inc 収差補正方法、および該方法を用いた眼底撮像方法、および眼底撮像装置
JP2017189219A (ja) * 2016-04-11 2017-10-19 株式会社トプコン 眼科撮影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235834A (ja) * 2011-05-10 2012-12-06 Canon Inc 収差補正方法、および該方法を用いた眼底撮像方法、および眼底撮像装置
JP2017189219A (ja) * 2016-04-11 2017-10-19 株式会社トプコン 眼科撮影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAO FEI, JUNLEI ZHAO, HAOXIN ZHAO, DAI YUN, YUDONG ZHANG: "Deblurring adaptive optics retinal images using deep convolutional neural networks", BIOMEDICAL OPTICS EXPRESS, OPTICAL SOCIETY OF AMERICA, UNITED STATES, vol. 8, no. 12, 1 December 2017 (2017-12-01), United States, pages 5675, XP055678144, ISSN: 2156-7085, DOI: 10.1364/BOE.8.005675 *

Also Published As

Publication number Publication date
JP2021083781A (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
EP2878259B1 (en) Ophthalmologic apparatus and method of controlling the same
US9131841B2 (en) Image acquisition apparatus
US20120133888A1 (en) scanning ophthalmoscopes
JP5511324B2 (ja) 補償光学装置、補償光学方法、撮像装置、撮像方法
JP6097542B2 (ja) 補償光学装置、補償光学装置の制御方法、画像取得装置およびプログラム
JP5517571B2 (ja) 撮像装置および撮像方法
US9107619B2 (en) Optical-image pickup apparatus and method for controlling the same
US9339185B2 (en) Imaging apparatus that acquires a first image and, via an aberration correction unit, a second image of an area corresponding to a part of the first image
KR101477588B1 (ko) 보상 광학장치 및 촬상장치
JP2014108212A (ja) 撮像装置
US10213106B2 (en) System and method for eye tracking during retinal imaging
JP2014079464A (ja) 眼科装置及びその波面収差補正方法
WO2021106824A1 (ja) 撮影装置およびその制御方法
US9468375B2 (en) Imaging method and imaging apparatus
JP2021153786A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020131017A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016036588A (ja) 撮像装置および撮像方法
JP6572560B2 (ja) 波面補償付眼底撮影装置
KR101422731B1 (ko) 쥐과 망막의 단층 촬영을 위한 촬상 장치
WO2020166465A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5943953B2 (ja) 撮像装置及びその制御方法
JP2021137256A (ja) 眼科装置、眼科装置の作動方法、及びプログラム
JP2014128365A (ja) 光波面計測装置および光波面計測方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893925

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20893925

Country of ref document: EP

Kind code of ref document: A1