WO2022219864A1 - 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル - Google Patents

光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル Download PDF

Info

Publication number
WO2022219864A1
WO2022219864A1 PCT/JP2022/000953 JP2022000953W WO2022219864A1 WO 2022219864 A1 WO2022219864 A1 WO 2022219864A1 JP 2022000953 W JP2022000953 W JP 2022000953W WO 2022219864 A1 WO2022219864 A1 WO 2022219864A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
correction coefficient
intensity distribution
distribution
light correction
Prior art date
Application number
PCT/JP2022/000953
Other languages
English (en)
French (fr)
Inventor
誠史 福原
優 橋本
和也 鈴木
知子 兵土
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to CN202280027820.2A priority Critical patent/CN117157514A/zh
Priority to DE112022002153.5T priority patent/DE112022002153T5/de
Publication of WO2022219864A1 publication Critical patent/WO2022219864A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means

Definitions

  • One aspect of the embodiments relates to a light correction coefficient prediction method, a light correction coefficient prediction device, a machine learning method, a machine learning preprocessing method, and a learned learning model.
  • Patent Document 1 describes a Zernike coefficient that gives a wavefront shape for setting a phase pattern to be given to a wavefront modulation element in order to correct an aberration that exists in an objective lens.
  • a technique for changing the modulus to minimize the diameter is described.
  • Patent Document 2 when correcting aberrations generated in an optical system such as a laser microscope, the amount of correction of aberrations is expressed as a phase distribution of each function of Zernike polynomials, and relative phase modulation of each function A technique is described in which a phase modulation profile is obtained by changing the amount, and the phase modulation profile is generated by applying a voltage to electrodes provided on the phase modulation element.
  • Patent Document 3 describes a technique for correcting aberration of an eye to be examined in fundus examination, in which a wavefront measured by a wavefront sensor is modeled as a Zernike function, coefficients for each order are calculated, and based on the coefficients, the wavefront Calculating the amount of modulation of the correction device is described.
  • An object of the present invention is to provide a learning method, a machine learning preprocessing method, and a learned learning model.
  • a light correction coefficient prediction method is an intensity image obtained by observing an effect caused by light that has been corrected using an optical modulator based on the light correction coefficient. a step of obtaining a distribution; a step of calculating a comparison result of the intensity distribution with a target distribution to generate comparison data; predicting a light correction factor for correcting aberrations with respect to light such that the distribution approaches the target distribution.
  • a light correction coefficient prediction device provides an intensity image obtained by observing an effect caused by light that is corrected using an optical modulator based on the light correction coefficient, in a predetermined direction.
  • An acquisition unit that acquires the intensity distribution along the line, a generation unit that calculates the comparison result of the intensity distribution with the target distribution and generates comparison data, and inputs the light correction coefficient and comparison data that were the basis of the intensity distribution into the learning model.
  • a prediction unit for predicting a light correction coefficient for aberration correction with respect to light so that the intensity distribution approaches the target distribution.
  • a machine learning method is an intensity image that observes an effect caused by light that has been corrected using an optical modulator based on the light correction coefficient, along a predetermined direction.
  • a step of obtaining an intensity distribution a step of calculating a comparison result of the intensity distribution with a target distribution to generate comparison data, and inputting the light correction coefficient and the comparison data on which the intensity distribution is based into the learning model, training the learning model to output light correction coefficients for aberration correction with respect to light such that the intensity distribution approaches the target distribution.
  • a machine learning preprocessing method is a machine learning preprocessing method for generating data to be input to a learning model used in the machine learning method of the above aspect, the method comprising: obtaining an intensity distribution along a predetermined direction for an intensity image obtained by observing the effect caused by the light corrected using the optical modulator, and calculating a comparison result of the intensity distribution with a target distribution. generating comparison data; and concatenating the comparison data with the light correction coefficients on which the intensity distribution is based.
  • a learned learning model according to another aspect of the embodiment is a learning model constructed by training using the machine learning method of the above aspect.
  • an intensity distribution along a predetermined direction is obtained from an intensity image obtained by observing an effect caused by light whose wavefront has been corrected using an optical modulator, and the intensity distribution is obtained.
  • Comparison data between the distribution and the target distribution is generated, and the light correction coefficient used as the basis for correction by the light modulator and the comparison data are input to the learning model.
  • the data obtained by compressing the data amount from the intensity image is used for the learning model that predicts the light correction coefficient that can realize the correction so that the intensity distribution along the predetermined direction approaches the target distribution.
  • Data that accurately captures the intensity distribution along the line can be input. As a result, it is possible to shorten the calculation time during learning of the learning model or prediction of the light correction coefficient, and achieve highly accurate aberration correction.
  • optical aberration correction can be efficiently performed in a short computation time.
  • FIG. 1 is a schematic configuration diagram of an optical system 1 according to a first embodiment
  • FIG. 2 is a block diagram showing an example of a hardware configuration of a control device 11 of FIG. 1
  • FIG. 2 is a block diagram showing a functional configuration of a control device 11 of FIG. 1
  • FIG. 2 is a diagram showing an example of an intensity image input from an imaging device 7 in FIG. 1
  • FIG. 4 is a graph of an intensity distribution represented by coupled data of intensity distributions acquired by an acquisition unit 201 of FIG.
  • FIG. 11 is a block diagram showing the functional configuration of a control device 11A according to a third embodiment;
  • FIG. It is a schematic block diagram of 1 A of optical systems concerning a modification.
  • FIG. 11 is a graph of intensity distributions represented by concatenated data of intensity distributions obtained in a modified example
  • FIG. 1 is a configuration diagram of an optical system 1 according to the first embodiment.
  • This optical system 1 is an optical system for irradiating a sample with light for observation of the sample.
  • an optical system 1 includes a light source 3 that generates coherent light such as laser light, a condenser lens 5 that collects the light emitted from the light source 3, and a focal point of the condenser lens 5.
  • the sample to be observed is placed in the image sensor for actual observation. Instead of 7, it is arranged at the focal position of 5 of the condensing lens.
  • the spatial light modulator 9 provided in the optical system 1 is, for example, a device having a structure in which liquid crystal is arranged on a semiconductor substrate. It is an optical element capable of spatially modulating the phase of light and outputting the phase-modulated light.
  • the spatial light modulator 9 is configured to be able to receive a phase image from the control device 11, and operates to perform phase modulation corresponding to the luminance distribution in the phase image.
  • the control device 11 is the light correction coefficient prediction device of this embodiment, and is a computer such as a PC (Personal Computer).
  • FIG. 2 shows the hardware configuration of the control device 11.
  • the control device 11 physically includes a CPU (Central Processing Unit) 101 as a processor, a RAM (Random Access Memory) 102 or ROM (Read Only Memory) 103 as a recording medium, a communication module 104, an input/output module 106, etc., which are electrically connected to each other.
  • the control device 11 may include a display, a keyboard, a mouse, a touch panel display, etc. as an input device and a display device, and may include a data recording device such as a hard disk drive and a semiconductor memory. Also, the control device 11 may be configured by a plurality of computers.
  • FIG. 3 is a block diagram showing the functional configuration of the control device 11.
  • the control device 11 includes an acquisition unit 201 , a generation unit 202 , a learning unit 203 , a prediction unit 204 , a control unit 205 and a model storage unit 206 .
  • Each functional unit of the control device 11 shown in FIG. 3 operates the communication module 104, the input/output module 106, etc. under the control of the CPU 101 by loading the program onto hardware such as the CPU 101 and the RAM 102. Also, it is realized by reading and writing data in the RAM 102 .
  • the CPU 101 of the control device 11 causes the control device 11 to function as each functional unit shown in FIG. Execute the processing to be performed sequentially.
  • the CPU may be a single piece of hardware, or may be implemented in a programmable logic such as an FPGA like a soft processor.
  • the RAM and ROM may be stand-alone hardware, or may be built in programmable logic such as FPGA.
  • Various data necessary for executing this computer program and various data generated by executing this computer program are all stored in a built-in memory such as ROM 103 and RAM 102, or a storage medium such as a hard disk drive.
  • a learning model 207 used for executing the light correction coefficient prediction method and the machine learning method is stored in advance in the model storage unit 206 by being read by the CPU 101.
  • a learning model 207 is a learning model that predicts a light correction coefficient, which will be described later, by machine learning.
  • Machine learning includes supervised learning, deep learning, reinforcement learning, neural network learning, and the like.
  • a convolutional neural network is employed as an example of a deep learning algorithm that implements a learning model.
  • a convolutional neural network is an example of deep learning having a structure including an input layer, a convolutional layer, a pooling layer, a fully connected layer, a dropout layer, an output layer, and the like.
  • the learning model 207 an algorithm such as a recurrent neural network (RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), etc.) may be employed.
  • RNN Recurrent Neural Network
  • LSTM Long Short-Term Memory
  • the acquisition unit 201 acquires intensity distribution data along a predetermined direction from the intensity image input from the imaging device 7 .
  • the acquisition unit 201 sets a two-dimensional coordinate system XY defined by the X-axis and the Y-axis on the intensity image, and projects the luminance values of the pixels forming the intensity image onto each coordinate on the X-axis. , total sums of luminance values of pixels projected onto each coordinate, and obtain a distribution of sums of luminance values (luminance distribution) as intensity distribution data along the X-axis.
  • the acquisition unit 201 calculates the average value and standard deviation of the sum of the luminance values, and the distribution of each coordinate (luminance ) may be normalized.
  • the acquisition unit 201 may specify the maximum sum of luminance values and normalize the distribution of each coordinate by the maximum value. Similarly, the acquisition unit 201 acquires intensity distribution data along the Y axis, and one-dimensionally connects the intensity distribution data along the X axis and the intensity distribution data along the Y axis. , to obtain the concatenated data of the intensity distribution.
  • FIG. 4 is a diagram showing an example of an intensity image input from the imaging device 7, and FIG. 5 is a graph of intensity distribution represented by concatenated data of intensity distributions acquired by the acquisition unit 201.
  • the intensity image for example, the intensity distribution of the laser beam condensed to one spot by the condensing lens 5 is obtained.
  • Connected data is obtained in which the intensity distribution for each coordinate on the X-axis having , and the intensity distribution for each coordinate on the Y-axis having one peak are one-dimensionally linked.
  • the generation unit 202 calculates difference data, which is comparison data obtained by comparing the intensity distribution concatenated data acquired by the acquisition unit 201 and the preset intensity distribution target data. For example, as the target data of the intensity distribution, data connecting the ideal intensity distribution along the X-axis and the ideal intensity distribution along the Y-axis of the laser beam condensed at one point is set in advance. be.
  • the generation unit 202 calculates a difference value between each coordinate between the intensity distribution concatenated data and the intensity distribution target data, and generates difference data by one-dimensionally arranging the calculated difference values. Note that the generation unit 202 may calculate, as comparison data, a division value between each coordinate between the connected data of the intensity distribution and the target data of the intensity distribution instead of the difference data.
  • the target data used for generating the difference data by the generation unit 202 may be set to data of various intensity distributions. For example, it may be data corresponding to the intensity distribution of laser light focused at one point having a Gaussian distribution, or data corresponding to the intensity distribution of laser light focused at multiple points. Alternatively, the data may be data corresponding to the intensity distribution of the laser light in a striped pattern.
  • the control unit 205 controls phase modulation by the spatial light modulator 9 when processing corresponding to the light correction coefficient prediction method, machine learning method, and machine learning preprocessing method by the control device 11 is executed. That is, when the processing corresponding to the light correction coefficient prediction method is executed, the control unit 205 adjusts the phase modulation by the spatial light modulator 9 to the aberration caused by the optical system of the optical system 1 so as to cancel the aberration. Control to apply reverse phase modulation. During execution of processing corresponding to the light correction coefficient prediction method, machine learning method, and machine learning preprocessing method, the control unit 205 causes the phase image given to the spatial light modulator 9 for aberration correction to be given to the Zernike It is set based on the shape of the wavefront calculated using a polynomial.
  • the Zernike polynomials are orthogonal polynomials defined on the unit circle, and are polynomials used for correcting aberrations because they have terms corresponding to Seidel's five aberrations known as monochromatic aberrations. More specifically, the control unit 205 sets a plurality of Zernike coefficients (for example, six Zernike coefficients) of the Zernike polynomials as light correction coefficients, calculates the shape of the wavefront based on these Zernike coefficients, and calculates the shape of the wavefront.
  • the spatial light modulator 9 is controlled using the phase image corresponding to .
  • the learning unit 203 has the function of performing the following processing when executing the processing corresponding to the machine learning method and the preprocessing method for the machine learning. That is, the learning unit 203 continuously changes the combination of the values of the plurality of Zernike coefficients used for controlling the phase modulation by the control unit 205 to a combination of different values, and the phase modulation is controlled by the combination of values.
  • the control by the control unit 205 is set as follows. Then, the learning unit 203 acquires the difference data generated by the generation unit 202 according to the phase modulation control of the control unit 205 for each combination of Zernike coefficient values.
  • the learning unit 203 generates a plurality of input data by one-dimensionally connecting combinations of values of Zernike coefficients corresponding to the difference data for the difference data, and stores the plurality of input data in the model storage unit 206.
  • a learning model 207 is constructed by machine learning (training) by using it as learning data and teacher data for the learning model 207 .
  • the learning unit 203 uses a weighting factor or the like in the learning model 207 to predict Zernike coefficients that bring the difference data closer to zero-value continuous data, that is, bring the intensity distribution closer to the target intensity distribution.
  • the prediction unit 204 has a function of performing the following processing when executing processing corresponding to the light correction coefficient prediction method. That is, the prediction unit 204 sets a combination of values of a plurality of Zernike coefficients used for phase modulation control by the control unit 205 to a predetermined value set in advance or a value input by an operator (user) of the control device 11. , the control by the control unit 205 is set so that the phase modulation is controlled by the combination of the values. Then, the prediction unit 204 acquires the difference data generated by the generation unit 202 according to the phase modulation control of the control unit 205 .
  • the prediction unit 204 generates input data by one-dimensionally connecting combinations of values of Zernike coefficients used for phase modulation control by the control unit 205 for the difference data, and stores the input data in the model storage unit.
  • the learning model 207 is caused to output predicted values of combinations of values of the Zernike coefficients. That is, by using the learning model 207, the prediction unit 204 predicts a combination of Zernike coefficient values that brings the intensity distribution closer to the target intensity distribution. Further, the prediction unit 204 sets the control by the control unit 205 so that the phase modulation is controlled by the combination of predicted Zernike coefficient values when observing the actual sample.
  • FIG. 6 is a flow chart showing the procedure of learning processing by the optical system 1 .
  • step S1 when the controller 11 receives an instruction to start learning processing from an operator, a combination of Zernike coefficient values for controlling phase modulation by the spatial light modulator 9 is set to an initial value (step S1).
  • step S2 the controller 205 of the controller 11 controls the spatial light modulator 9 to perform phase modulation based on the set combination of Zernike coefficient values (step S2).
  • the acquisition unit 201 of the control device 11 acquires coupled data of the intensity distribution based on the intensity image of the phase-modulated light (step S3).
  • the generating unit 202 of the control device 11 generates difference data by calculating a difference value between the intensity distribution concatenated data and the target data (step S4).
  • the learning unit 203 of the control device 11 generates input data by concatenating a combination of current Zernike coefficient values used for phase modulation control when the difference data is generated (step S5).
  • the learning unit 203 determines whether or not there is a set value next to the combination of values of the Zernike coefficients (step S6). As a result of the determination, if it is determined that the next set value exists (step S6; YES), the processing of steps S1 to S5 is repeated to generate input data for the next combination of Zernike coefficient values.
  • step S6 when input data is generated for a predetermined number of combinations of Zernike coefficient values (step S6; NO), the learning unit 203 uses the generated plurality of input data as learning data and teacher data to generate a learning model. 207 is constructed (step S7: perform training). However, for example, if the expert has previously acquired the Zernike coefficients and the intensity image corresponding to the coefficients, the phase modulation is performed by the spatial light modulator 9 in step S2, and the acquisition unit 201 in step S3 It is also possible to omit the intensity image acquisition and instead utilize a combination of the previously acquired Zernike coefficients and the intensity image.
  • FIG. 7 is a flow chart showing the procedure of observation processing by the optical system 1 .
  • step S101 when the controller 11 receives an instruction from the operator to start pre-observation presetting processing, a combination of Zernike coefficient values for controlling phase modulation by the spatial light modulator 9 is set to a predetermined value (step S101).
  • step S102 the controller 205 of the controller 11 controls the spatial light modulator 9 to perform phase modulation based on the set combination of Zernike coefficient values (step S102).
  • the acquisition unit 201 of the control device 11 acquires coupled data of the intensity distribution based on the intensity image of the phase-modulated light (step S103). After that, the generating unit 202 of the control device 11 generates difference data by calculating a difference value between the intensity distribution concatenated data and the target data (step S104).
  • the predicting unit 204 of the control device 11 generates input data by concatenating, for the differential data, the combination of the current Zernike coefficient values used to control the phase modulation when the differential data was generated (step S105).
  • the prediction unit 204 inputs the generated input data to the learned learning model 207 to predict a combination of Zernike coefficient values that brings the intensity distribution closer to the target intensity distribution (step S106).
  • the processing of steps S101 to S106 may be repeated multiple times as necessary.
  • control unit 205 of the control device 11 controls the phase modulation by the spatial light modulator 9 based on the combination of predicted Zernike coefficient values (step S107).
  • the sample to be observed is set in the optical system 1, and the sample is observed using the phase-modulated light (step S108).
  • an intensity distribution along a predetermined direction is acquired from an intensity image obtained by observing light whose wavefront has been corrected using the spatial light modulator 9, and the intensity distribution and the target distribution are obtained. Difference data is generated, and the light correction coefficients used as the basis for correction by the light modulator and the difference data are input to the learning model.
  • the learning model 207 that predicts Zernike coefficients that can realize wavefront correction such that the intensity distribution along a predetermined direction approaches the target intensity distribution, the data amount is compressed from the intensity image. , data accurately capturing the intensity distribution along a predetermined direction can be input.
  • the conventional method of using an image as an input for a learning model tends to result in an increase in learning time, an increase in prediction time, and an increase in computational resources required during learning and prediction.
  • the present embodiment it is possible to shorten the calculation time during learning and prediction and reduce the calculation resources.
  • Zernike polynomial coefficients that give the shape of the wavefront of light are used as light correction coefficients used for phase modulation control.
  • highly accurate aberration correction can be realized by correction based on the Zernike coefficients predicted by the learning model.
  • the intensity distribution is obtained as a luminance distribution by projecting luminance values of pixels in the intensity image onto predetermined coordinates.
  • the learning model that predicts the Zernike coefficients.
  • the intensity distribution is obtained as a distribution of sums of luminance values of pixels projected on predetermined coordinates.
  • the optical system 1 data obtained by simply one-dimensionally connecting the difference data, which is continuous data, and the current light correction coefficient, is used as the input for the learning model.
  • the learning model 207 a convolutional neural network algorithm model is employed as the learning model 207. According to such a learning model 207, differences in meaning of input data (delimitation of different types of data) are automatically recognized, and construction of an efficient learning model can be realized.
  • FIG. 8 is a block diagram showing the functional configuration of the control device 11A according to the second embodiment.
  • functions of an acquisition unit 201A, a learning unit 203A, and a prediction unit 204A are different from those of the first embodiment. Only differences from the first embodiment will be described below.
  • the acquisition unit 201A further acquires parameters that contribute to aberrations caused by the optical system of the optical system 1 .
  • the acquisition unit 201A may acquire the parameters from a sensor provided in the optical system 1 or by receiving an input from the operator of the control device 11 .
  • the acquisition unit 201A obtains such parameters as the position, magnification, focal length, refractive index, etc. of the lenses constituting the optical system, and parameters related to direct factors such as the wavelength of the light emitted from the light source 3, Obtain parameters related to indirect factors such as temperature, humidity, time, elapsed time from an arbitrary time point, and the like.
  • the acquisition unit 201A may acquire one type of parameter, or may acquire multiple types of parameters.
  • learning unit 203A concatenates the parameters acquired by acquisition unit 201A to each of the plurality of input data, and constructs learning model 207 using the plurality of input data with the concatenated parameters. do.
  • the prediction unit 204A concatenates the parameters acquired by the acquisition unit 201A to the input data, and inputs the input data with the concatenated parameters to the trained learning model 207, thereby predicting a combination of Zernike coefficient values. .
  • the relationship between the intensity distribution and the light correction coefficient contained in the learning data used in the first embodiment includes information on the aberration of the optical system when the learning data was acquired. It may change due to changes in factors such as axial misalignment. As a result, there may be a difference in the aberrations of the optical system due to changes in factors between when the learning model is constructed (during learning) and when aberration correction is performed (during observation processing). Such a difference in aberration can lead to a decrease in prediction accuracy of the Zernike coefficients.
  • the second embodiment it is possible to reduce the difference in aberration correction between the time of learning and the time of observation processing by linking parameters that are factors that change the aberration of the optical system to learning data and input data. . As a result, more accurate aberration correction can be achieved so as to approach the target intensity distribution.
  • the learning model 207 a convolutional neural network algorithm model is adopted. According to such a learning model 207, the difference in meaning of input data with concatenated parameters (data separation from concatenated parameters) is automatically recognized, and an efficient learning model can be constructed. Furthermore, it is possible to link parameters that are thought to affect correction to the input data, and it is possible to realize aberration correction that takes into consideration the effects of parameters that humans have not been able to find a relationship with.
  • FIG. 9 is a block diagram showing the functional configuration of the control device 11B according to the third embodiment.
  • the functions of the learning section 203B, the prediction section 204B, and the control section 205B are different from those of the second embodiment. Only differences from the second embodiment will be described below.
  • control unit 205B also has a function of adjusting additional parameters that contribute to the aberration of the optical system in the optical system 1.
  • the control unit 205B has a function of adjusting the position of the lens of the optical system via a position adjustment function provided in the optical system 1 as such an additional parameter.
  • these additional parameters are parameters that contribute to aberration, such as the arrangement of the parts that make up the optical system, the magnification of the lenses that make up the optical system, the focal length, the refractive index, and the illumination of the light source 3. It may be an adjustable parameter in the optical system 1, such as the wavelength of light.
  • the additional parameter is not limited to one type, and may include a plurality of types.
  • the learning unit 203B uses a plurality of input data in which parameters including additional parameters are linked in the same manner as in the second embodiment, and corrects aberration in addition to the combination of Zernike coefficient values.
  • a learning model 207B is constructed that can also output predicted values of possible additional parameters.
  • the parameters used in the input data at this time may include a type different from the additional parameters. Also, during learning, it is preferable to acquire the input data while actively changing the additional parameters.
  • the prediction unit 204B concatenates parameters including additional parameters to the input data, and inputs the input data with the concatenated parameters to the learned learning model 207B, thereby obtaining aberrations in addition to combinations of Zernike coefficient values. Predict additional parameters for correction.
  • a robust learning model that is resistant to changes in factors such as the environment in the optical system 1 can be constructed by obtaining predicted values of adjustable additional parameters. That is, the aberrations of the optical system can be corrected using other parameters that cause changes in the aberrations of the optical system. This makes it possible to correct aberrations that are difficult to correct only with the Zernike coefficients.
  • optical system 1 according to the first to third embodiments described above may be modified as follows.
  • 10 to 15 are schematic configuration diagrams of optical systems 1A to 1F according to modifications.
  • An optical system 1A shown in FIG. 10 is an example of an optical system that captures reflected light caused by the action of light from the light source 3.
  • FIG. With such a configuration as well, it is possible to realize highly accurate aberration correction based on the intensity image of the reflected light.
  • the optical system 1B shown in FIG. 11 is different from the optical system 1A in that the sample S to be observed is placed adjacent to the light source 3 side of the mirror 15 during construction of the learning model and preset processing before observation. different. According to such a configuration, in the application of observing the inside of a sample with a large refractive index, it is possible to correct the aberration caused by the inside of the sample, thereby improving the resolution in observation and the like.
  • An optical system 1C shown in FIG. 12 is an example of an optical system applicable to observation of fluorescence excited by the action of light from the light source 3.
  • the optical system 1C has the same configuration as the optical system 1 for excitation light, and includes a dichroic mirror 19, an excitation light cut filter 21, and a condenser lens 17 as an optical system for fluorescence observation.
  • the dichroic mirror 19 is provided between the spatial light modulator 9 and the condenser lens 5 and has the property of transmitting the excitation light and reflecting the fluorescence.
  • the excitation light cut filter 21 transmits the fluorescence reflected by the dichroic mirror 19 and cuts the components of the excitation light.
  • the condensing lens 17 is provided between the excitation light cut filter 21 and the imaging element 7 and converges fluorescence that has passed through the excitation light cut filter 21 toward the imaging element 7 .
  • the standard sample S0 which emits uniform fluorescence with respect to the excitation light, is arranged at the focal position of the condenser lens 5 during construction of the learning model and preset processing before observation. be. With such a configuration, it is possible to realize highly accurate aberration correction in an optical system for observing fluorescence generated in a sample.
  • An optical system 1D shown in FIG. 13 is an example of an optical system capable of observing an interference image generated by the action of light from the light source 3, and has the configuration of an optical system of a Fizeau interferometer.
  • the optical system 1D includes a spatial light modulator 9 and a beam splitter 23 provided on the optical path of the laser light from the light source 3, and on the optical path of the laser light passing through the spatial light modulator 9 and the beam splitter 23.
  • a lens 17 and an imaging element 7 are provided.
  • a flat reflective substrate can be used as the standard sample S0.
  • Such an optical system 1D can realize highly accurate aberration correction in an optical system for observing an interference image.
  • An optical system 1E shown in FIG. 14 is an example of an optical system that uses an image obtained by wavefront measurement for aberration correction of the optical system.
  • a Shack-Hartmann wavefront sensor is used in which a microlens array 27 is arranged in front of the imaging device 7 in order to obtain multi-point images produced by the action of light from the light source 3 .
  • the optical system 1F shown in FIG. 15 is an example of an optical system that uses image data that reflects the phenomenon (effect) caused by the irradiation of the laser light from the light source 3 instead of observing the laser light.
  • a phenomenon caused by irradiation of a laser beam there is a laser processing phenomenon in which a material such as glass is processed (cutting, drilling, etc.) by focusing a laser beam on the surface thereof.
  • Aberrations of the optical system may also occur in the laser processing marks caused by the laser processing phenomenon, so it is beneficial to correct the aberrations in order to perform the intended laser processing.
  • the optical system 1F has, in addition to the same configuration as the optical system 1C, an observation light source 29 that irradiates observation light from the opposite side of the processing surface of the standard sample S0 such as a glass plate.
  • the laser processing mark of the standard sample S0 can be observed by detecting the scattered light generated by the observation light as an image with the imaging device 7 .
  • image data obtained as a result of observing the cross-sectional shape of a sample with scattered light or an SEM (scanning electron microscope) may be used as learning data for correcting aberrations.
  • SEM scanning electron microscope
  • the acquisition units 201 and 201A may acquire intensity distribution data as follows. That is, the acquisition units 201 and 201A set a polar coordinate system (R, ⁇ ) defined by the distance R from the pole approximated to the center of the circular image in the intensity image and the deviation angle ⁇ from the starting line, The luminance values of the pixels constituting the intensity image are projected onto each coordinate of the distance R and each coordinate of the argument ⁇ , and the distribution of the sum of the luminance values of the pixels projected onto each coordinate is shown in the direction of the distance R. , and the data of the intensity distribution along the direction of the argument ⁇ .
  • R, ⁇ polar coordinate system
  • the acquisition units 201 and 201A calculate the average value and standard deviation of the sum of the luminance values, and the distribution of each coordinate so that the average value of the intensity distribution data is 0 and the standard deviation of the data is 1. may be normalized, or the distribution of each coordinate may be normalized by the maximum value. Then, the acquiring units 201 and 201A one-dimensionally connect the data of the intensity distribution along the direction of the distance R and the data of the intensity distribution along the direction of the argument ⁇ to obtain the coupled data of the intensity distribution. get.
  • FIG. 16 is a diagram showing an example of an intensity image input from an imaging device
  • FIG. 17 is a graph of intensity distribution represented by coupled data of intensity distributions acquired by the acquisition units 201 and 201A.
  • the intensity image for example, the intensity distribution of the laser light condensed by the condensing lens 5 so as to have concentric intensity peaks is obtained, and this intensity image is processed by the acquisition units 201 and 201A.
  • connected data is obtained in which the intensity distribution in the direction of the argument ⁇ , which has a constant distribution, and the intensity distribution in the direction of the distance R, which has two peaks, are one-dimensionally connected.
  • the learned learning model that has already been built is diverted to reduce the learning data. And you may try to shorten the learning time. For example, if a certain amount of time has passed since the previous construction, it is assumed that the relationship between the Zernike coefficient and the light intensity distribution will be slightly different due to the occurrence of misalignment of the optical axis of the optical system. In this case, if a method called transfer learning is used, the learning data obtained during observation of the sample can be re-learned, so that a learning model that is effective during observation can be reconstructed using a smaller set of data and in a shorter learning time.
  • the learning unit 203A may adjust all layers when constructing the learning model 207. Relearn only the weights of some layers without relearning the weights of According to such a modified example, it is possible to speed up the convergence of errors in the output values of the learning model, and to improve the efficiency of learning.
  • the light correction coefficients are preferably coefficients of Zernike polynomials that give the shape of the wavefront of light.
  • highly accurate aberration correction can be realized by correction based on the light correction coefficient predicted by the learning model.
  • the intensity distribution as a luminance distribution by projecting luminance values of pixels in the intensity image onto predetermined coordinates.
  • the intensity distribution as a distribution of sums of luminance values of pixels projected onto predetermined coordinates.
  • any of the above-described embodiments it is also preferable to input parameters affecting aberrations related to light into the learning model in addition to the light correction coefficients and comparison data. According to such a configuration, it is possible to further input a parameter that affects the aberration related to light to the learning model that predicts the light correction coefficient. As a result, more accurate aberration correction can be achieved.
  • the learning model it is also preferable to use the learning model to further predict adjustable parameters that affect aberrations related to light.
  • the learning model that predicts the light correction coefficients also predicts the parameters that affect the aberrations related to light. By adjusting the optical system and the like based on the predicted parameters, more accurate aberration correction can be realized.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

制御装置１１は、ゼルニケ係数を基に空間光変調器９を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得する取得部２０１と、強度分布の目標分布との比較結果を算出し比較データを生成する生成部２０２と、強度分布の基となったゼルニケ係数と比較データを学習モデル２０７に入力することにより、強度分布が目標分布に近づくように光に関して収差補正するためのゼルニケ係数を予測する予測部２０４と、を備える。

Description

光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル
　実施形態の一側面は、光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデルに関する。
　従来から、対物レンズ等の光学系によって生じた収差の補正を行う技術が知られている。例えば、下記特許文献１には、対物レンズに存在する収差を補正するために、波面変調素子に付与する位相パターンを設定するための波面形状を与えるＺｅｒｎｉｋｅ係数を、仮想像におけるレーザ光のスポットの径が最も小さくなるような係数に変化させる技術が記載されている。また、下記特許文献２には、レーザ顕微鏡等の光学系で発生する収差を補正する際に、収差の補正量をＺｅｒｎｉｋｅ多項式の各関数の位相分布として表現し、各関数の相対的な位相変調量を変化させることで位相変調プロファイルを求め、その位相変調プロファイルを位相変調素子に設けられた電極に電圧を印加することで発生させる技術が記載されている。また、下記特許文献３には、眼底検査において被検眼の収差を補正する技術に関して、波面センサで測定した波面をＺｅｒｎｉｋｅ関数にモデル化して各次数にかかる係数を算出し、その係数を基に波面補正デバイスの変調量を算出することが記載されている。
特開２０１１－１３３５８０号公報 国際公開２０１３／１７２０８５号公報 特開２０１２－２３５８３４号公報
　上述したような従来の技術においては、収差補正を行うための係数を導く際の演算量が多くなる傾向にあり、演算時間も長くなる傾向にある。そこで、収差補正を実現する際の演算時間を短くすることが求められる。
　そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、光学収差の補正を短い演算時間で効率的に行うことが可能な光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデルを提供することを課題とする。
　実施形態の一側面に係る光補正係数予測方法は、光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得するステップと、強度分布の目標分布との比較結果を算出し比較データを生成するステップと、強度分布の基となった光補正係数と比較データを学習モデルに入力することにより、強度分布が目標分布に近づくように光に関して収差補正するための光補正係数を予測するステップと、を備える。
　あるいは、実施形態の他の側面に係る光補正係数予測装置は、光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得する取得部と、強度分布の目標分布との比較結果を算出し比較データを生成する生成部と、強度分布の基となった光補正係数と比較データを学習モデルに入力することにより、強度分布が目標分布に近づくように光に関して収差補正するための光補正係数を予測する予測部と、を備える。
　あるいは、実施形態の他の側面に係る機械学習方法は、光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得するステップと、強度分布の目標分布との比較結果を算出し比較データを生成するステップと、強度分布の基となった光補正係数と比較データを学習モデルに入力することにより、強度分布が目標分布に近づくように光に関して収差補正するための光補正係数を出力するように、学習モデルをトレーニングするステップと、を備える。
　あるいは、実施形態の他の側面に係る機械学習の前処理方法は、上記側面の機械学習方法に用いる学習モデルに入力するデータを生成する機械学習の前処理方法であって、光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得するステップと、強度分布の目標分布との比較結果を算出し比較データを生成するステップと、強度分布の基となった光補正係数と比較データとを連結するステップと、を備える。
　あるいは、実施形態の他の側面に係る学習済みの学習モデルは、上記側面の機械学習方法を用いたトレーニングによって構築された学習モデルである。
　上記一側面あるいは他の側面のいずれかによれば、光変調器を用いて波面が補正された光によって生じた作用を観察した強度画像から、所定方向に沿った強度分布が取得され、その強度分布と目標分布との間の比較データが生成され、光変調器による補正の基となった光補正係数とその比較データが学習モデルに入力される。これにより、所定方向に沿った強度分布が目標分布に近づくような補正を実現できる光補正係数を予測する学習モデルに対して、強度画像からデータ量が圧縮されたデータであって、所定方向に沿った強度分布を的確に捉えたデータを入力できる。その結果、学習モデルの学習時あるいは光補正係数の予測時の演算時間を短くでき、かつ、精度の高い収差補正を実現することができる。
　本開示の一側面によれば、光学収差の補正を短い演算時間で効率的に行うことができる。
第１実施形態にかかる光学システム１の概略構成図である。 図１の制御装置１１のハードウェア構成の一例を示すブロック図である。 図１の制御装置１１の機能構成を示すブロック図である。 図１の撮像素子７から入力された強度画像の一例を示す図である。 図３の取得部２０１によって取得された強度分布の連結データによって表される強度分布のグラフである。 光学システム１における学習処理の手順を示すフローチャートである。 光学システム１における観察処理の手順を示すフローチャートである。 第２実施形態に係る制御装置１１Ａの機能構成を示すブロック図である。 第３実施形態に係る制御装置１１Ａの機能構成を示すブロック図である。 変形例にかかる光学システム１Ａの概略構成図である。 変形例にかかる光学システム１Ｂの概略構成図である。 変形例にかかる光学システム１Ｃの概略構成図である。 変形例にかかる光学システム１Ｄの概略構成図である。 変形例にかかる光学システム１Ｅの概略構成図である。 変形例にかかる光学システム１Ｆの概略構成図である。 変形例において撮像素子７から入力された強度画像の一例を示す図である。 変形例において取得された強度分布の連結データによって表される強度分布のグラフである。
　以下、添付図面を参照して、本開示の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
［第１実施形態］
　図１は、第１実施形態に係る光学システム１の構成図である。この光学システム１は、試料の観察の用途で試料に対して光を照射する光学系である。図１に示されるように、光学システム１は、レーザ光等のコヒーレントな光を発生する光源３と、光源３から照射された光を集光する集光レンズ５と、集光レンズ５の焦点位置に配置され、光源３からの光の作用によって生じる二次元的な強度分布を検出（観察）してその強度分布を示す強度画像を出力するＣＣＤ（Charge　Coupled　Device）カメラ、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）カメラ等の撮像素子７と、光源３と集光レンズ５との間の光の光路上に配置され、光の位相の空間分布を変調する空間光変調器９と、撮像素子７及び空間光変調器９と接続された制御装置１１とを備えて構成されている。上記構成の光学システム１においては、撮像素子７の出力する強度画像を基にした制御装置１１による収差補正に関する設定処理が完了した後に、実際の観察のために、観察対象の試料が、撮像素子７に代えて集光レンズの５の焦点位置に配置される。
　光学システム１に備えられる空間光変調器９は、例えば、半導体基板上に液晶を配置した構造を持つ装置であり、半導体基板上の画素毎に印加電圧が制御可能とされることにより、入射する光の位相を空間的に変調して、位相が変調された光を出力することができる光学素子である。この空間光変調器９は、制御装置１１から位相画像を受信可能に構成されており、その位相画像における輝度分布に対応した位相変調を行うように動作する。
　制御装置１１は、本実施形態の光補正係数予測装置であり、例えばＰＣ（Personal　Computer）等のコンピュータである。図２は、制御装置１１のハードウェア構成を示している。図２に示すように、制御装置１１は、物理的には、プロセッサであるＣＰＵ（Central　Processing　Unit）１０１、記録媒体であるＲＡＭ（Random　Access　Memory）１０２又はＲＯＭ（Read　Only　Memory）１０３、通信モジュール１０４、及び入出力モジュール１０６等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、制御装置１１は、入力装置及び表示装置として、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、制御装置１１は、複数のコンピュータによって構成されていてもよい。
　図３は、制御装置１１の機能構成を示すブロック図である。制御装置１１は、取得部２０１、生成部２０２、学習部２０３、予測部２０４、制御部２０５、及びモデル格納部２０６を備える。図３に示す制御装置１１の各機能部は、ＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上にプログラムを読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、及び入出力モジュール１０６等を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。制御装置１１のＣＰＵ１０１は、このコンピュータプログラムを実行することによって制御装置１１を図３の各機能部として機能させ、後述する光補正係数予測方法、機械学習方法、および機械学習の前処理方法に対応する処理を順次実行する。なお、ＣＰＵは、単体のハードウェアでもよく、ソフトプロセッサのようにＦＰＧＡのようなプログラマブルロジックの中に実装されたものでもよい。ＲＡＭやＲＯＭについても単体のハードウェアでもよく、ＦＰＧＡのようなプログラマブルロジックの中に内蔵されたものでもよい。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ＲＯＭ１０３、ＲＡＭ１０２等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。
　また、制御装置１１には、ＣＰＵ１０１によって読み込まれることによって、モデル格納部２０６に、光補正係数予測方法および機械学習方法の実行に用いる学習モデル２０７が予め格納されている。学習モデル２０７は、機械学習によって後述する光補正係数を予測する学習モデルである。機械学習には、教師あり学習、深層学習（ディープラーニング）、或いは強化学習、ニューラルネットワーク学習などがある。本実施形態では、学習モデルを実現するディープラーニングのアルゴリズムの一例として、畳み込みニューラルネットワークが採用される。畳み込みニューラルネットワークは、入力層、畳み込み層、プーリング層、全結合層、ドロップアウト層、出力層等を含む構造を有する深層学習の一例である。ただし、学習モデル２０７としては、再帰型ニューラルネットワークである、ＲＮＮ（Recurrent　Neural　Network）、ＬＳＴＭ（Long　Short-Term　Memory）等のアルゴリズムが採用されてもよい。学習モデル２０７は、制御装置１１にダウンロードされた後に制御装置１１内での機械学習によって構築されて学習済みの学習モデルに更新される。
　以下、制御装置１１の各機能部の機能の詳細について説明する。
　取得部２０１は、撮像素子７から入力された強度画像を対象に、所定方向に沿った強度分布のデータを取得する。例えば、取得部２０１は、強度画像上にＸ軸およびＹ軸によって規定される２次元座標系Ｘ－Ｙを設定し、強度画像を構成する画素の輝度値をＸ軸上の各座標に投影し、各座標に投影した画素の輝度値の総和を集計し、輝度値の総和の分布（輝度分布）をＸ軸に沿った強度分布のデータとして取得する。その際、取得部２０１は、輝度値の総和の平均値および標準偏差を計算し、強度分布のデータの平均値が０となり、そのデータの標準偏差が１となるように各座標の分布（輝度）を規格化してもよい。あるいは、取得部２０１は、輝度値の総和の最大値を特定し、各座標の分布をその最大値で規格化してもよい。同様にして、取得部２０１は、Ｙ軸に沿った強度分布のデータを取得し、Ｘ軸に沿った強度分布のデータとＹ軸に沿った強度分布のデータとを一次元的に連結して、強度分布の連結データを取得する。
　図４は、撮像素子７から入力された強度画像の一例を示す図であり、図５は、取得部２０１によって取得された強度分布の連結データによって表される強度分布のグラフである。このように、強度画像においては、例えば、集光レンズ５によって１つのスポットに集光されたレーザ光の強度分布が得られ、この強度画像が取得部２０１によって処理されることにより、１つのピークを有するＸ軸上における座標毎の強度分布と、１つのピークを有するＹ軸上における座標毎の強度分布とが、一次元的に連結された連結データが得られる。
　図３に戻って、生成部２０２は、取得部２０１によって取得された強度分布の連結データと、予め設定された強度分布の目標データと、を比較した比較データである差分データを計算する。例えば、強度分布の目標データとしては、１点に集光されたレーザ光に関する、理想的なＸ軸に沿った強度分布および理想的なＹ軸に沿った強度分布を連結したデータが予め設定される。生成部２０２は、強度分布の連結データと強度分布の目標データとの間で各座標間の差分値を計算し、計算した差分値を１次元的に並べた差分データを生成する。なお、生成部２０２は、比較データとして、差分データの代わりに、強度分布の連結データと強度分布の目標データとの間で各座標間の除算値を計算してもよい。
　なお、生成部２０２による差分データの生成に用いられる目標データは、様々な強度分布のデータに設定されていてよい。例えば、ガウシアン分布を有する１点で集光されたレーザ光の強度分布に対応するデータであってもよいし、多点で集光されたレーザ光の強度分布に対応するデータであってもよいし、縞模様のパターンのレーザ光の強度分布に対応するデータであってもよい。
　制御部２０５は、制御装置１１による光補正係数予測方法、機械学習方法、および機械学習の前処理方法に対応する処理が実行される際に、空間光変調器９による位相変調を制御する。すなわち、制御部２０５は、光補正係数予測方法に対応する処理が実行される際には、空間光変調器９による位相変調を、光学システム１の光学系によって生じる収差を打ち消すようにその収差と逆の位相変調を加えるように制御する。光補正係数予測方法、機械学習方法、および機械学習の前処理方法に対応する処理の実行時には、制御部２０５は、収差補正のために空間光変調器９に与える位相画像を、ゼルニケ（Ｚｅｒｎｉｋｅ）多項式を用いて計算した波面の形状に基づいて設定する。ゼルニケ多項式は単位円上で定義された直交多項式であり、単色収差として知られるザイデルの５収差と対応する項があるという特徴から、収差の補正に利用される多項式である。より詳細には、制御部２０５は、ゼルニケ多項式の複数のゼルニケ係数（例えば、６つのゼルニケ係数）を、光補正係数として設定し、それらのゼルニケ係数を基に波面の形状を計算し、その形状に対応した位相画像を用いて空間光変調器９を制御する。
　学習部２０３は、機械学習方法およびその機械学習の前処理方法に対応する処理の実行時に、次の処理を行う機能を有する。すなわち、学習部２０３は、制御部２０５による位相変調の制御に用いる複数のゼルニケ係数の値の組み合わせを異なる値の組み合わせに連続的に変化させて、その値の組み合わせで位相変調の制御が行われるように制御部２０５による制御を設定する。そして、学習部２０３は、制御部２０５の位相変調の制御に応じて生成部２０２によって生成された差分データを、ゼルニケ係数の値の組み合わせ毎に取得する。さらに、学習部２０３は、差分データに対してその差分データに対応するゼルニケ係数の値の組み合わせを一次元的に連結した入力データを複数生成し、複数の入力データをモデル格納部２０６に格納された学習モデル２０７に対する学習データおよび教師データとして用いることにより、機械学習（トレーニング）によって学習モデル２０７を構築する。詳細には、学習部２０３は、差分データをゼロ値の連続データに近づけるような、すなわち、強度分布を目標の強度分布に近づけるようなゼルニケ係数を予測するように、学習モデル２０７における重み付け係数等のパラメータを更新する。このような学習モデルの構築により、目標データまでの遷移に必要と予測された光補正係数と実際に必要であった光補正係数との比較を繰り返すことで、目標の強度分布への遷移を可能とする光補正係数を予測する学習済みの学習モデルが構築できる。
　予測部２０４は、光補正係数予測方法に対応する処理の実行時に、次の処理を行う機能を有する。すなわち、予測部２０４は、制御部２０５による位相変調の制御に用いる複数のゼルニケ係数の値の組み合わせを、予め設定された所定値あるいは制御装置１１のオペレータ（ユーザ）によって入力された値に設定し、その値の組み合わせで位相変調の制御が行われるように制御部２０５による制御を設定する。そして、予測部２０４は、制御部２０５の位相変調の制御に応じて生成部２０２によって生成された差分データを取得する。さらに、予測部２０４は、差分データに対して制御部２０５による位相変調の制御に用いられたゼルニケ係数の値の組み合わせを一次元的に連結した入力データを生成し、その入力データをモデル格納部２０６に格納された学習済みの学習モデル２０７に入力することにより、学習モデル２０７にゼルニケ係数の値の組み合わせの予測値を出力させる。すなわち、予測部２０４は、学習モデル２０７を用いることにより、強度分布を目標の強度分布に近づけるようなゼルニケ係数の値の組み合わせを予測する。さらに、予測部２０４は、実際の試料の観察時には、予測したゼルニケ係数の値の組み合わせで位相変調の制御が行われるように、制御部２０５による制御を設定する。
　次に、本実施形態に係る光学システム１における学習処理の手順、すなわち、本実施形態に係る機械学習方法および機械学習の前処理方法の流れについて説明する。図６は、光学システム１による学習処理の手順を示すフローチャートである。
　まず、制御装置１１によって、オペレータから学習処理の開始の指示が受け付けられると、空間光変調器９による位相変調の制御用のゼルニケ係数の値の組み合わせが初期値に設定される（ステップＳ１）。次に、制御装置１１の制御部２０５によって、設定されたゼルニケ係数の値の組み合わせを基にして空間光変調器９による位相変調が実行されるように制御される（ステップＳ２）。
　さらに、制御装置１１の取得部２０１によって、位相変調された光の強度画像を基に、強度分布の連結データが取得される（ステップＳ３）。その後、制御装置１１の生成部２０２により、強度分布の連結データと目標データとの間で差分値が計算されることにより、差分データが生成される（ステップＳ４）。
　さらに、制御装置１１の学習部２０３により、差分データに対して、その差分データの生成時の位相変調の制御に用いられた現在のゼルニケ係数の値の組み合わせを連結した入力データが生成される（ステップＳ５）。次に、学習部２０３により、ゼルニケ係数の値の組み合わせの次の設定値が存在するかが判定される（ステップＳ６）。判定の結果、次の設定値が存在すると判定された場合は（ステップＳ６；ＹＥＳ）、ステップＳ１～Ｓ５の処理が繰り返されて、次のゼルニケ係数の値の組み合わせに関して入力データが生成される。そして、所定の組み合わせ数のゼルニケ係数の値の組み合わせについて入力データが生成された場合（ステップＳ６；ＮＯ）、学習部２０３により、生成した複数の入力データを学習データ及び教師データとして用いて学習モデル２０７が構築される（ステップＳ７：トレーニングの実行）。ただし、例えば、事前に熟練者がゼルニケ係数とその係数に対応する強度画像を取得していた場合は、上記ステップＳ２における空間光変調器９による位相変調の実行、及びステップＳ３における取得部２０１による強度画像の取得を省略し、その代わりに、事前に取得された上記ゼルニケ係数と強度画像の組み合わせを利用することも可能である。
　次に、本実施形態に係る光学システム１における観察処理の手順、すなわち、本実施形態に係る光補正係数予測方法の流れについて説明する。図７は、光学システム１による観察処理の手順を示すフローチャートである。
　まず、制御装置１１によって、オペレータから観察前の事前設定処理の開始の指示が受け付けられると、空間光変調器９による位相変調の制御用のゼルニケ係数の値の組み合わせが所定値に設定される（ステップＳ１０１）。次に、制御装置１１の制御部２０５によって、設定されたゼルニケ係数の値の組み合わせを基にして空間光変調器９による位相変調が実行されるように制御される（ステップＳ１０２）。
　さらに、制御装置１１の取得部２０１によって、位相変調された光の強度画像を基に、強度分布の連結データが取得される（ステップＳ１０３）。その後、制御装置１１の生成部２０２により、強度分布の連結データと目標データとの間で差分値が計算されることにより、差分データが生成される（ステップＳ１０４）。
　さらに、制御装置１１の予測部２０４により、差分データに対して、その差分データの生成時の位相変調の制御に用いられた現在のゼルニケ係数の値の組み合わせを連結した入力データが生成される（ステップＳ１０５）。次に、予測部２０４により、生成した入力データを学習済みの学習モデル２０７に入力することにより、強度分布を目標の強度分布に近づけるようなゼルニケ係数の値の組み合わせが予測される（ステップＳ１０６）。予測の精度を上げるために、必要に応じて、上記ステップＳ１０１～Ｓ１０６の処理が複数回繰り返されてもよい。
　その後、制御装置１１の制御部２０５により、予測されたゼルニケ係数の値の組み合わせを基にした空間光変調器９による位相変調の制御が行われる（ステップＳ１０７）。最後に、観察対象の試料が光学システム１にセットされて、位相変調が施された光を用いた試料の観察が行われる（ステップＳ１０８）。
　以上説明した光学システム１によれば、空間光変調器９を用いて波面が補正された光を観察した強度画像から、所定方向に沿った強度分布が取得され、その強度分布と目標分布との差分データが生成され、光変調器による補正の基となった光補正係数とその差分データが学習モデルに入力される。これにより、所定方向に沿った強度分布が目標の強度分布に近づくような波面の補正を実現できるゼルニケ係数を予測する学習モデル２０７に対して、強度画像からデータ量が圧縮されたデータであって、所定方向に沿った強度分布を的確に捉えたデータを入力できる。その結果、学習モデル２０７の学習時あるいはゼルニケ係数の予測時の演算時間を短くでき、かつ、精度の高い収差補正を実現することができる。すなわち、画像を学習モデルの入力とする従来の手法においては、学習時間の増大、予測時間の増大、学習時および予測時に要求される演算リソースの増大を招く傾向にある。これに対して本実施形態では、学習時および予測時の演算時間の短縮化、および演算リソースの削減を実現できる。
　また、光学システム１においては、位相変調の制御に用いられる光補正係数として、光の波面の形状を与えるＺｅｒｎｉｋｅ多項式の係数が用いられている。この場合、学習モデルによって予測されたゼルニケ係数を基にした補正によって、精度の高い収差補正を実現できる。
　また、光学システム１においては、強度分布が、強度画像における画素の輝度値を所定座標に投影することにより輝度分布として取得されている。この場合、ゼルニケ係数を予測する学習モデルに対して、強度画像を基に所定方向に沿った強度分布をより的確に捉えたデータを入力できる。その結果、より精度の高い収差補正を実現することができる。
　特に、光学システム１においては、強度分布が、所定座標に投影された画素の輝度値の総和の分布として取得されている。この場合、ゼルニケ係数を予測する学習モデルに対して、強度画像を基に所定方向に沿った強度分布をより的確に捉えたデータを入力できる。その結果、より精度の高い収差補正を実現することができる。
　さらに、光学システム１においては、連続データである差分データと、現在の光補正係数とを単純に一次元的に連結したデータを学習モデルの入力としている。このようなシンプルなデータの入力手法によって、目標の強度分布に近づけるような光補正係数を、短い演算時間で予測することができる。特に、本実施形態では、学習モデル２０７として、畳み込みニューラルネットワークのアルゴリズムのモデルが採用されている。このような学習モデル２０７によれば、入力されるデータの意味合いの違い（異なる種類のデータの区切り）が自動で認識され、効率的な学習モデルの構築が実現できる。
［第２実施形態］
　次に、制御装置１１の他の形態について説明する。図８は、第２実施形態に係る制御装置１１Ａの機能構成を示すブロック図である。第２実施形態に係る制御装置１１Ａにおいては、取得部２０１Ａ、学習部２０３Ａ、および予測部２０４Ａの機能が第１実施形態と異なる。以下、第１実施形態との相違点のみ説明する。
　取得部２０１Ａは、光学システム１の光学系によって生じる収差に寄与するパラメータをさらに取得する。このとき、取得部２０１Ａは、パラメータを光学システム１に設けられたセンサから取得してもよいし、制御装置１１のオペレータからの入力を受け付けることによって取得してもよい。例えば、取得部２０１Ａは、このようなパラメータとして、光学系を構成するレンズ等の位置、倍率、焦点距離、屈折率、および、光源３の照射する光の波長等の直接的な要因に関するパラメータ、温度、湿度、時刻、任意の時点からの経過時間等の間接的な要因に関するパラメータ等を取得する。この場合、取得部２０１Ａは、１種類のパラメータを取得してもよいし、複数種類のパラメータを取得してもよい。
　学習部２０３Ａは、学習モデル２０７の構築時に、複数の入力データのそれぞれに、取得部２０１Ａによって取得されたパラメータを連結して、パラメータが連結された複数の入力データを用いて学習モデル２０７を構築する。予測部２０４Ａは、入力データに取得部２０１Ａによって取得されたパラメータを連結して、パラメータが連結された入力データを学習済みの学習モデル２０７に入力することにより、ゼルニケ係数の値の組み合わせを予測する。
　このような第２実施形態に係る制御装置１１Ａによれば、光学システム１における環境等の要因の変化に強い頑強な学習モデルを構築できる。第１実施形態で使用する学習データに含まれる強度分布と光補正係数との関係には学習データを取得した際の光学系の収差の情報が含まれているが、その収差は光学系の光軸ずれ等の要因の変化によって変化しうる。その結果、学習モデルの構築時（学習時）と収差補正の実施時（観察処理時）との間には、要因の変化により光学系の持つ収差に差が生じる可能性がある。そして、このような収差の差はゼルニケ係数の予測精度の低下を招きうる。第２実施形態によれば、光学系の収差の変化要因となるパラメータを学習データおよび入力データに連結することにより、学習時と観察処理時との間の収差補正のずれを低減することができる。その結果、目標の強度分布に近づけるようにさらに精度の高い収差補正を実現することができる。
　特に、本実施形態では、学習モデル２０７として、畳み込みニューラルネットワークのアルゴリズムのモデルが採用されている。このような学習モデル２０７によれば、パラメータが連結された入力データの意味合いの違い（連結されたパラメータとのデータの区切り）が自動で認識され、効率的な学習モデルの構築が実現できる。さらには、補正に影響を与えると考えられるパラメータを入力データに連結することが可能であり、人間が関連性を見出せなかったパラメータの影響を考慮した収差補正を実現できる。
［第３実施形態］
　次に、制御装置１１のさらなる他の形態について説明する。図９は、第３実施形態に係る制御装置１１Ｂの機能構成を示すブロック図である。第３実施形態に係る制御装置１１Ｂにおいては、学習部２０３Ｂ、予測部２０４Ｂ、および制御部２０５Ｂの機能が第２実施形態と異なる。以下、第２実施形態との相違点のみ説明する。
　制御部２０５Ｂは、空間光変調器９に制御に加えて、光学システム１における光学系の収差に寄与する追加パラメータを調整する機能も有する。例えば、制御部２０５Ｂは、そのような追加パラメータとして、光学系のレンズの位置を、光学システム１に設けられた位置調整機能を介して調整する機能を有する。この追加パラメータは、光学系のレンズの位置以外に、収差に寄与するパラメータとして、光学系を構成する部品の配置、光学系を構成するレンズの倍率、焦点距離、屈折率、光源３の照射する光の波長等の光学システム１において調整可能なパラメータであってよい。また、追加パラメータは、１種類には限定されず、複数種類含まれていてもよい。
　学習部２０３Ｂは、学習モデル２０７Ｂの構築時に、第２実施形態と同様にして追加パラメータを含むパラメータが連結された複数の入力データを用いて、ゼルニケ係数の値の組み合わせに加えて、収差を補正可能な追加パラメータの予測値も出力可能な学習モデル２０７Ｂを構築する。このとき入力データに用いるパラメータには、追加パラメータと異なる種類のものを含んでいてもよい。また、学習時には、追加パラメータを積極的に変化させながら入力データを取得することが好適である。
　予測部２０４Ｂは、入力データに追加パラメータを含むパラメータを連結して、パラメータが連結された入力データを学習済みの学習モデル２０７Ｂに入力することにより、ゼルニケ係数の値の組み合わせに加えて、収差を補正するための追加パラメータを予測する。
　このような第３実施形態に係る制御装置１１Ｂによれば、調整可能な追加パラメータの予測値も得ることにより、光学システム１における環境等の要因の変化に強い頑強な学習モデルを構築できる。すなわち、光学系の収差の変化を生じさせる他のパラメータを使って光学系の収差を補正できる。これにより、ゼルニケ係数だけでは補正が難しい収差の補正を実現することができる。
　以上、本開示の種々の実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
　上述した第１～第３実施形態に係る光学システム１は、以下のような構成に変更されてもよい。図１０～１５は、変形例に係る光学システム１Ａ～１Ｆの概略構成図である。
　図１０に示す光学システム１Ａは、光源３からの光の作用によって生じる反射光を撮像する光学系の例である。光学システム１Ａにおいては、光学システム１と比較して、撮像素子７の位置に配置されたミラー１５と、空間光変調器９と集光レンズ５との間に配置されたハーフミラー１３と、ミラー１５およびハーフミラー１３を経由した反射光を撮像素子７に向けて集光する集光レンズ１７とを備える点が異なっている。このような構成によっても、反射光の強度画像を基に精度の高い収差補正を実現することができる。
　図１１に示す光学システム１Ｂは、光学システム１Ａに比較して、学習モデルの構築時および観察前の事前設定処理時にミラー１５の光源３側に隣接して観察対象の試料Ｓを配置した点が異なる。このような構成によれば、屈折率が大きい試料の内部を観察する用途において、試料の内部によって生じる収差を補正可能とすることで、観察等における解像度を向上させることができる。
　図１２に示す光学システム１Ｃは光源３からの光の作用によって励起された蛍光の観察に適用可能な光学系の例である。光学システム１Ｃは、励起光の光学系に関しては光学システム１と同様の構成を有し、蛍光観察用の光学系として、ダイクロイックミラー１９、励起光カットフィルタ２１、集光レンズ１７を含む。ダイクロイックミラー１９は、空間光変調器９と集光レンズ５との間に設けられ、励起光を透過し蛍光を反射する性質を有する。励起光カットフィルタ２１はダイクロイックミラー１９によって反射された蛍光を透過し、励起光の成分をカットする。集光レンズ１７は、励起光カットフィルタ２１と撮像素子７との間に設けられ、励起光カットフィルタ２１を透過した蛍光を撮像素子７に向けて集光する。このような構成の光学システム１Ｃにおいては、学習モデルの構築時および観察前の事前設定処理時に、励起光に対して均一な蛍光を発する標準試料Ｓ０が、集光レンズ５の焦点位置に配置される。このような構成により、試料において生じる蛍光を観察する光学系における精度の高い収差補正を実現することができる。
　図１３に示す光学システム１Ｄは、光源３からの光の作用によって生じた干渉像を観察可能な光学系の例であり、フィゾー干渉計の光学系の構成を有する。詳細には、光学システム１Ｄは、光源３からのレーザ光の光路上に設けられた空間光変調器９およびビームスプリッタ２３と、空間光変調器９およびビームスプリッタ２３を通過するレーザ光の光路上に配置される基準板２５および標準試料Ｓ０と、基準板２５の参照面２５ａおよび標準試料Ｓ０の表面によって生じる２つの反射光によって生じる干渉像を、ビームスプリッタ２３を介して観察するための集光レンズ１７および撮像素子７とを備える。標準試料Ｓ０としては、平面反射基板を使用できる。このような光学システム１Ｄにより、干渉像を観察する光学系における精度の高い収差補正を実現することができる。
　図１４に示す光学システム１Ｅは、光学系の収差補正のために波面計測で得られる画像を利用する光学系の例である。ここでは、光源３からの光の作用によって生じる多点像を得るために撮像素子７の前面にマイクロレンズアレイ２７を配置したシャックハルトマン波面センサが利用されている。このように、波面計測で得られる画像を取得可能な光学系によっても、精度の高い収差補正を実現することができる。
　図１５に示す光学システム１Ｆは、レーザ光の観察ではなく、光源３からのレーザ光の照射によって引き起こされた現象（作用）を反映した画像データを利用する光学系の例である。例えば、レーザ光の照射によって引き起こされる現象の例として、ガラス等の物質の表面にレーザ光を集光することで物質を加工（切断、穴あけ等）するレーザ加工現象が挙げられる。レーザ加工現象によって生じるレーザ加工痕にも光学系の収差が生じうるため、収差補正を行うことは目的のレーザ加工を行うためには有益である。光学システム１Ｆは、光学システム１Ｃと同様な構成に加え、ガラス板等の標準試料Ｓ０の加工面の反対側から観察光を照射する観察用光源２９を備えている。このような構成により、標準試料Ｓ０のレーザ加工痕を、観察光によって生じた散乱光を撮像素子７で画像として検出することにより、観察することができる。このように、レーザ加工現象を画像として観察可能な光学系によっても、加工に用いるレーザ光に関して精度の高い収差補正を実現することができる。また、レーザ加工に関しては、試料の断面形状を散乱光あるいはＳＥＭ（電子走査顕微鏡）等で観察した結果得られた画像データを、収差補正のための学習データとして利用してもよい。このような収差補正が可能な光学システムにより、目的の断面形状を得ることができるレーザ加工を実現できる。
　また、上述した第１～第３実施形態に係る光学システム１においては、取得部２０１，２０１Ａは、次のようにして強度分布のデータを取得してもよい。すなわち、取得部２０１，２０１Ａは、強度画像における円形の像の中心と近似される極からの距離Ｒと始線からの偏角θとで規定される極座標系（Ｒ，θ）を設定し、強度画像を構成する画素の輝度値を距離Ｒの各座標および偏角θの各座標のそれぞれに投影し、各座標に投影した画素の輝度値の総和の分布を、それぞれ、距離Ｒの方向に沿った強度分布のデータ、及び偏角θの方向に沿った強度分布のデータとして取得する。その際、取得部２０１，２０１Ａは、輝度値の総和の平均値および標準偏差を計算し、強度分布のデータの平均値が０となり、そのデータの標準偏差が１となるように各座標の分布を規格化してもよいし、各座標の分布を最大値で規格化してもよい。そして、取得部２０１，２０１Ａは、距離Ｒの方向に沿った強度分布のデータと、偏角θの方向に沿った強度分布のデータとを、一次元的に連結して強度分布の連結データを取得する。
　図１６は、撮像素子から入力された強度画像の一例を示す図であり、図１７は、取得部２０１，２０１Ａによって取得された強度分布の連結データによって表される強度分布のグラフである。このように、強度画像においては、例えば、集光レンズ５によって同心円状の強度のピークを有するように集光されたレーザ光の強度分布が得られ、この強度画像が取得部２０１，２０１Ａによって処理されることにより、一定の分布を有する偏角θ方向の強度分布と、２つのピークを有する距離Ｒ方向の強度分布とが、一次元的に連結された連結データが得られる。
　このような変形例によっても、学習モデル２０７の学習時あるいはゼルニケ係数の予測時の演算時間を短くでき、かつ、精度の高い収差補正を実現することができる。
　また、上述した第１～第３実施形態に係る光学システム１においては、学習モデルの構築時（学習処理時）には、既に構築済みの学習済みの学習モデルを流用して、学習データの削減および学習時間の短縮を図ってもよい。例えば、前回構築した時間からある程度の期間が経過していた場合には、光学系の光軸のずれの発生等により、わずかにゼルニケ係数と光強度の分布の関係が異なることが想定される。この場合、転移学習という手法を用いれば、試料の観察時の学習データを再学習させることで、より少ないデータセットを用いて、より短い学習時間で観察時に有効な学習モデルを再構築できる。例えば、学習モデル２０７における出力結果に対する、光学系の光軸に関するパラメータの影響が、ニューラルネットワークの一部の層のチューニングで吸収できる場合は、学習部２０３Ａは、学習モデル２０７の構築時に全ての層の重み付けを再学習することなく、一部の層の重み付けのみを再学習する。このような変形例によれば、学習モデルの出力値の誤差の収束を早めることができ、学習を効率化することができる。
　上記実施形態のいずれかにおいては、光補正係数は、光の波面の形状を与えるＺｅｒｎｉｋｅ多項式の係数である、ことが好適である。この場合、学習モデルによって予測された光補正係数を基にした補正によって、精度の高い収差補正を実現できる。
　また、上記実施形態のいずれかにおいては、強度分布を、強度画像における画素の輝度値を所定座標に投影することにより、輝度分布として取得する、ことも好適である。この場合、光補正係数を予測する学習モデルに対して、強度画像を基に所定方向に沿った強度分布をより的確に捉えたデータを入力できる。その結果、より精度の高い収差補正を実現することができる。
　さらに、上記実施形態のいずれかにおいては、強度分布を、所定座標に投影された画素の輝度値の総和の分布として取得する、ことが好適である。この場合、光補正係数を予測する学習モデルに対して、強度画像を基に所定方向に沿った強度分布をより的確に捉えたデータを入力できる。その結果、より精度の高い収差補正を実現することができる。
　またさらに、上記実施形態のいずれかにおいては、光補正係数と比較データに加えて光に関する収差に影響するパラメータを学習モデルに入力する、ことも好適である。かかる構成によれば、光補正係数を予測する学習モデルに対して、光に関する収差に影響するパラメータをさらに入力できる。その結果、さらに精度の高い収差補正を実現することができる。
　さらにまた、上記実施形態のいずれかにおいては、学習モデルを用いて、光に関する収差に影響する調整可能なパラメータをさらに予測する、ことも好適である。この場合、光補正係数を予測する学習モデルによって、光に関する収差に影響するパラメータがさらに予測される。そして、予測されたパラメータを基に光学系等を調整することにより、さらに精度の高い収差補正を実現することができる。
　１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ…光学システム、３…光源、７…撮像素子、９…空間光変調器、１１，１１Ａ，１１Ｂ…制御装置、２０１，２０１Ａ…取得部、２０２…生成部、２０３，２０３Ａ，２０３Ｂ…学習部、２０５，２０５Ｂ…制御部、２０４，２０４Ａ，２０４Ｂ…予測部、２０７，２０７Ｂ…学習モデル。

 

Claims (15)

  1. 　光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得するステップと、
    　前記強度分布の目標分布との比較結果を算出し比較データを生成するステップと、
    　前記強度分布の基となった前記光補正係数と前記比較データを学習モデルに入力することにより、前記強度分布が前記目標分布に近づくように前記光に関して収差補正するための光補正係数を予測するステップと、
    を備える光補正係数予測方法。
  2. 　前記光補正係数は、前記光の波面の形状を与えるＺｅｒｎｉｋｅ多項式の係数である、
    請求項１に記載の光補正係数予測方法。
  3. 　前記強度分布を、前記強度画像における画素の輝度値を所定座標に投影することにより、輝度分布として取得する、
    請求項１または２に記載の光補正係数予測方法。
  4. 　前記強度分布を、所定座標に投影された画素の輝度値の総和の分布として取得する、
    請求項３に記載の光補正係数予測方法。
  5. 　前記光補正係数と前記比較データに加えて前記光に関する収差に影響するパラメータを前記学習モデルに入力する、
    請求項１～４のいずれか１項に記載の光補正係数予測方法。
  6. 　前記学習モデルを用いて、前記光に関する収差に影響する調整可能なパラメータをさらに予測する、
    請求項１～５のいずれか１項に記載の光補正係数予測方法。
  7. 　光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得する取得部と、
    　前記強度分布の目標分布との比較結果を算出し比較データを生成する生成部と、
    　前記強度分布の基となった前記光補正係数と前記比較データを学習モデルに入力することにより、前記強度分布が前記目標分布に近づくように前記光に関して収差補正するための光補正係数を予測する予測部と、
    を備える光補正係数予測装置。
  8. 　前記光補正係数は、前記光の波面の形状を与えるＺｅｒｎｉｋｅ多項式の係数である、
    請求項７に記載の光補正係数予測装置。
  9. 　前記強度分布を、前記強度画像における画素の輝度値を所定座標に投影することにより、輝度分布として取得する、
    請求項７または８に記載の光補正係数予測装置。
  10. 　前記強度分布を、所定座標に投影された画素の輝度値の総和の分布として取得する、
    請求項９に記載の光補正係数予測装置。
  11. 　前記光補正係数と前記比較データに加えて前記光に関する収差に影響するパラメータを前記学習モデルに入力する、
    請求項７～１０のいずれか１項に記載の光補正係数予測装置。
  12. 　前記学習モデルを用いて、前記光に関する収差に影響する調整可能なパラメータをさらに予測する、
    請求項７～１１のいずれか１項に記載の光補正係数予測装置。
  13. 　光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得するステップと、
    　前記強度分布の目標分布との比較結果を算出し比較データを生成するステップと、
    　前記強度分布の基となった前記光補正係数と前記比較データを学習モデルに入力することにより、前記強度分布が前記目標分布に近づくように前記光に関して収差補正するための光補正係数を出力するように、前記学習モデルをトレーニングするステップと、
    を備える機械学習方法。
  14. 　請求項１３に記載の機械学習方法に用いる前記学習モデルに入力するデータを生成する機械学習の前処理方法であって、
    　光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、所定の方向に沿った強度分布を取得するステップと、
    　前記強度分布の目標分布との比較結果を算出し比較データを生成するステップと、
    　前記強度分布の基となった前記光補正係数と前記比較データとを連結するステップと、
    を備える機械学習の前処理方法。
  15. 　請求項１３に記載の機械学習方法を用いたトレーニングによって構築された学習済みの学習モデル。

     
PCT/JP2022/000953 2021-04-15 2022-01-13 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル WO2022219864A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280027820.2A CN117157514A (zh) 2021-04-15 2022-01-13 光修正系数预测方法、光修正系数预测装置、机械学习方法、机械学习的前处理方法及学习完毕的学习模型
DE112022002153.5T DE112022002153T5 (de) 2021-04-15 2022-01-13 Vorhersageverfahren für optische korrekturkoeffizienten, vorhersagevorrichtung für optische korrekturkoeffizienten, maschinelles lernverfahren, vorverarbeitungsverfahren für maschinelles lernen und trainiertes lernmodell

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-069071 2021-04-15
JP2021069071A JP2022163925A (ja) 2021-04-15 2021-04-15 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル

Publications (1)

Publication Number Publication Date
WO2022219864A1 true WO2022219864A1 (ja) 2022-10-20

Family

ID=83639499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000953 WO2022219864A1 (ja) 2021-04-15 2022-01-13 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル

Country Status (5)

Country Link
JP (1) JP2022163925A (ja)
CN (1) CN117157514A (ja)
DE (1) DE112022002153T5 (ja)
TW (1) TW202242800A (ja)
WO (1) WO2022219864A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374712A (zh) * 2022-10-24 2022-11-22 中国航天三江集团有限公司 激光内通道热效应影响下光传输仿真参数校准方法与装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003121749A (ja) * 2001-08-09 2003-04-23 Olympus Optical Co Ltd 顕微鏡
WO2013172085A1 (ja) * 2012-05-17 2013-11-21 シチズンホールディングス株式会社 収差補正デバイス及びレーザー顕微鏡
JP2014026083A (ja) * 2012-07-26 2014-02-06 Hamamatsu Photonics Kk 光変調方法、光変調プログラム、光変調装置、及び光照射装置
CN111507049A (zh) * 2020-06-01 2020-08-07 中国计量大学 一种镜头像差仿真及优化方法
US20210072570A1 (en) * 2017-09-04 2021-03-11 Ibrahim Abdulhalim Spectral and phase modulation tunable birefringence devices

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5835938B2 (ja) 2011-05-10 2015-12-24 キヤノン株式会社 収差補正方法、および該方法を用いた眼底撮像方法、および眼底撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003121749A (ja) * 2001-08-09 2003-04-23 Olympus Optical Co Ltd 顕微鏡
WO2013172085A1 (ja) * 2012-05-17 2013-11-21 シチズンホールディングス株式会社 収差補正デバイス及びレーザー顕微鏡
JP2014026083A (ja) * 2012-07-26 2014-02-06 Hamamatsu Photonics Kk 光変調方法、光変調プログラム、光変調装置、及び光照射装置
US20210072570A1 (en) * 2017-09-04 2021-03-11 Ibrahim Abdulhalim Spectral and phase modulation tunable birefringence devices
CN111507049A (zh) * 2020-06-01 2020-08-07 中国计量大学 一种镜头像差仿真及优化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374712A (zh) * 2022-10-24 2022-11-22 中国航天三江集团有限公司 激光内通道热效应影响下光传输仿真参数校准方法与装置

Also Published As

Publication number Publication date
TW202242800A (zh) 2022-11-01
DE112022002153T5 (de) 2024-03-28
JP2022163925A (ja) 2022-10-27
CN117157514A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US10533940B2 (en) Scanning in angle-resolved reflectometry and algorithmically eliminating diffraction from optical metrology
US6827442B2 (en) Ophthalmic wavefront measuring devices
CA2687100C (en) Combined wavefront and topography systems and methods
US8888283B2 (en) Aberration correction method and aberration correction apparatus
WO2022219864A1 (ja) 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル
US11054305B2 (en) Method and device for beam analysis
JP5498735B2 (ja) レーザ・ビームの回折限界点広がり関数を最適化するシステム
JP2016064012A (ja) 形状可変鏡システム、その制御方法および眼科装置
WO2022219865A1 (ja) 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル
US9468375B2 (en) Imaging method and imaging apparatus
US20240041317A1 (en) Focus measuring arrangement and method of ophthalmic examination, and ophthalmic examination apparatus and method
CN111884019B (zh) 一种三维多光束激光参数调控方法及系统
JP4231273B2 (ja) 眼特性測定装置
CN111772574A (zh) 一种波前像差测量时消除离焦的方法和装置
JPWO2020065841A1 (ja) 光走査装置、撮像装置、光走査装置の調整装置及び光走査装置の調整方法
TWI831592B (zh) 量測方法及其非接觸式位移感測裝置
JP6602368B2 (ja) 眼球又は視覚領域の光拡散を測定する方法とシステムとコンピュータ・プログラム
JP2019037900A (ja) 眼科装置
JP2017104762A (ja) 眼科装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22787792

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18285954

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112022002153

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22787792

Country of ref document: EP

Kind code of ref document: A1