WO2020161799A1 - 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 - Google Patents
学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 Download PDFInfo
- Publication number
- WO2020161799A1 WO2020161799A1 PCT/JP2019/004045 JP2019004045W WO2020161799A1 WO 2020161799 A1 WO2020161799 A1 WO 2020161799A1 JP 2019004045 W JP2019004045 W JP 2019004045W WO 2020161799 A1 WO2020161799 A1 WO 2020161799A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- learning
- parameter
- value
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Definitions
- the present disclosure relates to a learning device, a learning method, and a non-transitory computer-readable medium in which a control program is stored, and an estimation device.
- the setting problem of the device disclosed in Patent Document 1 is to acquire the light field.
- the light field acquisition device disclosed in Patent Document 1 is based on an evaluation value obtained by comparing restored light field data restored from an image signal with reference light field data. Part) to control the setting of the coded aperture shape.
- the light field acquisition device disclosed in Patent Document 1 can acquire the light field of the scene, which has a data amount smaller than the number of pixels of the image element, with high resolution.
- the present inventors have found that by including a plurality of optical devices in which the setting values of parameters are set independently of each other in the light conversion unit, it is possible to realize an estimation device that can estimate the answer to the setting problem with higher accuracy. .. Then, the present inventors propose a learning device for learning the setting values of the parameters set in the plurality of optical devices.
- An object of the present disclosure is to learn a setting value of a parameter set in a plurality of optical devices in an estimation apparatus capable of estimating an answer to a setting problem with higher accuracy, a learning apparatus, a learning method, and a non-stored control program.
- An object is to provide a temporary computer-readable medium and an estimation device.
- a learning device is a light conversion unit that inputs light from a learning target and outputs light according to a set value of a parameter using the input light.
- Sensing means for sensing the light output from the light converting means, Estimating means for forming an estimation result for an answer to the setting problem based on the sensed light; Updating means for calculating an update value of the parameter based on the estimation result by the estimating means, and updating the set value of the parameter by the calculated update value; Equipped with,
- the light converting means includes a plurality of optical devices in which the set values of the parameters are set independently of each other.
- the estimation device uses an input light, and outputs a light according to a set value of a parameter, and a light conversion unit.
- the light converting means includes a plurality of optical devices in which the set values of the parameters are set independently of each other.
- light from a learning target is input and output from a light converting unit including a plurality of optical devices according to a set value of a parameter set in the light converting unit.
- a light converting unit including a plurality of optical devices according to a set value of a parameter set in the light converting unit.
- a non-transitory computer-readable medium is a set value of a parameter set in the light conversion means, to which light from a learning target is input and which is output from a light conversion means including a plurality of optical devices.
- a learning device a learning method, and a non-transitory system in which a control program is stored that can learn setting values of parameters set in a plurality of optical devices in an estimation device that can more accurately estimate an answer to a setting problem
- a computer-readable medium and an estimation device can be provided.
- FIG. 1 is a block diagram showing an example of a learning device according to the first embodiment.
- the learning device 10 includes a light conversion unit 11, a sensing unit 13, and a control unit (control device) 15.
- the light conversion unit 11 inputs light from a learning target (for example, a learning image), and uses the input light to output light according to the set value of the parameter.
- the light conversion unit 11 includes optical devices 12-1 to 12-N (N is a natural number of 2 or more) whose parameter setting values are set independently of each other.
- the optical devices 12-1 to 12-N may be collectively referred to simply as the optical device 12.
- the optical devices 12-1 to 12-N may be the same type of optical device or may include a plurality of types of optical devices.
- the light conversion unit 11 selects from among attenuation processing, amplification processing, light collection processing, diffusion processing, light wave intensifying processing, morea generation processing, spectroscopic processing, and polarization extraction processing as processing for input light. Do at least one.
- the sensing unit 13 senses the light output from the light conversion unit 11.
- the sensing unit 13 is, for example, an image sensor. That is, the sensing unit 13 converts the sensed light into an electric signal and outputs the obtained opto-electric signal to the control unit 15. Note that, in FIG. 1, the light conversion unit 11 and the sensing unit 13 are connected by a dotted line, but this dotted line means an optical path.
- the control unit 15 has an estimating unit 15A and an updating unit 15B.
- the estimation unit 15A forms an estimation result about the answer to the setting problem based on the light detected by the sensing unit 13.
- the setting problem is, for example, image recognition, object detection, segmentation, abnormality detection, image generation, image conversion, image compression, light field generation, or three-dimensional image generation. That is, the estimation unit 15A is a functional unit that executes image analysis processing according to the setting problem. For example, when the setting problem is to recognize a red object, the estimation unit 15A forms “1” as the estimation result and outputs it if the learning image includes the image of the red object. If the learning image does not include, "0" is formed and output as the estimation result. Further, for example, when the setting problem is to generate a light field, the estimation unit 15A forms and outputs the light field as the estimation result.
- the updating unit 15B calculates the updated value of the parameter of the optical conversion unit 11 based on the estimation result of the estimation unit 15A, and updates the set value of the parameter of the optical conversion unit 11 with the calculated updated value.
- the light conversion unit 11 inputs the light from the learning target, and uses the input light to output the light according to the set value of the parameter.
- the sensing unit 13 senses the light output from the light conversion unit 11.
- the estimation unit 15A forms an estimation result for the answer to the setting problem based on the light sensed by the sensing unit 13.
- the update unit 15B calculates the updated value of the parameter of the light conversion unit 11 based on the estimation result by the estimation unit 15A, and updates the set value of the parameter of the light conversion unit 11 by the calculated updated value.
- the light conversion unit 11 includes optical devices 12-1 to 12-N (N is a natural number of 2 or more) whose parameter setting values are set independently of each other.
- the learning device 10 Due to the configuration of the learning device 10, a plurality of optical devices that are the same as the optical devices 12-1 to 12-N (N is a natural number of 2 or more), and a plurality of estimation devices (not shown) including a sensing unit and an estimation unit are provided. It is possible to learn the setting values of the parameters set in the optical device. Then, since the estimation device (not shown) can use the light including more information by the plurality of optical devices in the estimation process as compared with the case where there is one optical device, the estimation device (not shown) Makes it possible to more accurately estimate the answer to the setting problem. That is, the learning device 10 can learn the setting values of the parameters set in the plurality of optical devices in the estimation device that can estimate the answer to the setting problem with higher accuracy.
- a hardware neural network can be realized by a plurality of optical devices. Therefore, the amount of calculation by the estimation unit of the estimation device (not shown) can be reduced, and the estimation device (not shown) can also be applied to an edge terminal having poor processing capability.
- the second embodiment relates to a more specific embodiment.
- FIG. 2 is a block diagram showing an example of a learning device according to the second embodiment.
- the learning device 20 includes a light conversion unit 11, a sensing unit 13, a display unit 21, and a control unit (control device) 22.
- the control unit 22 includes an estimation unit 22A, an updating unit 22B, and a learning control unit 22C.
- the display unit 21 displays the learning image under the control of the learning control unit 22C. Thereby, the light corresponding to the learning image is input to the light conversion unit 11.
- the display unit 21 and the light conversion unit 11 are connected by a dotted line, but this dotted line means an optical path.
- the light conversion unit 11 includes the optical devices 12-1 to 12-N (N is a natural number of 2 or more) as described in the first embodiment.
- the optical devices 12-1 to 12-N include a liquid crystal device, and the optical device 12-1 is a liquid crystal device.
- the optical device 12-1 includes, for example, a first polarizing plate, a second polarizing plate whose polarization direction is rotated by 90° with respect to the first polarizing plate, a color filter, a first polarizing plate, and a second polarizing plate. And a liquid crystal unit sandwiched between it and the polarizing plate.
- the electric signal that is, the set value of the parameter
- the transmittance of the liquid crystal unit can be controlled. This control can be performed for each pixel of the liquid crystal unit. That is, the liquid crystal device can output light in which the light characteristics corresponding to the parameter setting values are emphasized in pixel units.
- the optical device 12-1 has a liquid crystal unit.
- the electric signal that is, the set value of the parameter
- the helical structure of the liquid crystal in this liquid crystal unit may be controlled to control the wavelength of the light that is selectively reflected. .. This control can be performed for each pixel of the liquid crystal unit. That is, the liquid crystal device can output light in which the light characteristics corresponding to the parameter setting values are emphasized in pixel units.
- a liquid lens in addition to the liquid crystal device, or instead of the liquid crystal device, for example, a liquid lens, a deformable mirror (deformable mirror), a microchannel plate type photomultiplier tube, or the like may be used as the optical device 12.
- a liquid lens is a device whose focus can be adjusted by an electric signal.
- the deformable mirror is a device whose reflection direction can be controlled by an electric signal.
- a microchannel plate type photomultiplier tube is a device that converts incident light into electrons in the device, amplifies the electrons internally, and outputs light stronger than the incident light.
- the learning control unit 22C controls learning of parameter setting values in the optical conversion unit 11. For example, the learning control unit 22C switches the learning image displayed on the display unit 21. Further, the learning control unit 22C may use the parameter value obtained by the optical simulation as the initial value of the parameter in the learning process of the parameter setting value in the light conversion unit 11. Thereby, fine tuning of the parameter value obtained by the optical simulation can be performed. In this case, for example, the learning control unit 22C performs simulation using an optical model that models each of the optical devices 12-1 to 12-N, calculates the gradient by the error backpropagation method, and calculates the optical model The parameters may be optimized. The value of this parameter is used as the initial value. If the estimation unit 22A includes a neural network, the learning control unit 22C may control the learning of the neural network.
- the estimation unit 22A forms an estimation result about the answer to the setting problem based on the light sensed by the sensing unit 13.
- the estimation unit 22A includes, for example, a neural network.
- the updating unit 22B calculates the gradient using the objective function regarding the error between the estimation result by the estimating unit 22A and the correct answer. Then, the updating unit 22B calculates the updated value of the parameter based on the calculated gradient, and updates the set value of the parameter of the light conversion unit 11 with the calculated updated value.
- the updating unit 22B may update the parameters (weight, bias) of the neural network included in the estimating unit 22A. For the gradient calculation in the updating process of the parameters (weights and biases) of the neural network included in the estimation unit 22A, the error back propagation method used in learning of the neural network can be used.
- the updating unit 22B forms a perturbation vector by using a random number, and calculates the gradient by using the objective function relating to the error between the estimation result by the estimating unit 22A and the correct answer and the formed perturbation vector. Then, the updating unit 22B calculates the updated value of the parameter based on the calculated gradient, and updates the set value of the parameter of the light conversion unit 11 with the calculated updated value.
- the parameter vector is p and its random perturbation vector is e.
- the update unit 22B calculates f(x, p) and f(x, p+e) for the input image batch x.
- the scalar value pi of each element of the parameter vector p is calculated independently to obtain the gradient, and therefore the same number of calculations as the number of parameter elements is required.
- the number of calculations may be two. Instead, the updating unit 22B generates the perturbation vector e with a random number.
- the updating unit 22B calculates the random number using the Bernoulli distribution. As a result, each element of the perturbation vector e takes a value of -1 or 1. Further, the updating unit 22B can control the differential width for the gradient calculation by multiplying e by the hyper parameter a. The same random number may be used for each iteration, or a different random number may be used for each iteration. Random perturbations can be applied not only to vectors, but also to matrices and tensors of third or higher order. For updating the gradient, for example, a stochastic gradient descent method, Adam or the like may be used. In addition to the Bernoulli distribution, for example, a uniform distribution having a mean of 0 or a Gaussian distribution may be used for the calculation of the random numbers.
- FIG. 3 is a flowchart showing an example of the processing operation of the learning device in the second embodiment.
- step S101 the parameter value obtained by the optical simulation may be used as the initial value of the parameter.
- the learning control unit 22C causes the display unit 21 to display the learning image (step S102). Thereby, the light corresponding to the learning image is input to the light conversion unit 11.
- the light conversion unit 11 inputs the light from the learning image, and uses the input light to output the light according to the set value of the parameter (step S103).
- the sensing unit 13 senses the light output from the light conversion unit 11 (step S104).
- the estimation unit 15A forms an estimation result for the answer to the setting problem based on the light sensed by the sensing unit 13 (step S105).
- the updating unit 22B calculates the gradient by using the objective function regarding the error between the estimation result by the estimating unit 22A and the correct answer (step S106).
- the learning control unit 22C determines whether the termination condition is satisfied (step S107). For example, when the sign of the gradient calculated this time by the updating unit 22B is different from the sign of the gradient calculated last time, the learning control unit 22C can determine that the minimum value (or the minimum value) of the objective function has been reached. It is determined that the end condition is satisfied. Then, when the end condition is satisfied (step S107 YES), the processing flow ends.
- step S107 NO the learning control unit 22C causes the update unit 22B to calculate the update value of the parameter based on the calculated gradient, and the light conversion unit based on the calculated update value.
- the set values of the 11 parameters are updated (step S108).
- the learning control unit 22C switches the learning image and displays it on the display unit 21 (step S109).
- the second embodiment has been described on the premise that all of the optical devices 12-1 to 12-N are set as the parameter update target devices at one timing.
- the third embodiment relates to an embodiment in which update target devices among the optical devices 12-1 to 12-N are sequentially switched.
- FIG. 4 is a block diagram showing an example of a learning device according to the third embodiment.
- the learning device 30 has a control unit (control device) 31.
- the control unit 31 has an updating unit 31A and a learning control unit 31B.
- the learning control unit 31B sequentially switches the update target devices among the optical devices 12-1 to 12-N, switches the learning image displayed on the display unit 21 according to the switching of the update target devices, and causes the update unit 31A to switch to the update unit 31A.
- the parameter setting value is updated for each device to be updated.
- the learning control unit 31B selects the update target device from the optical devices 12-1 to 12-N. Then, the learning control unit 31B sets the set values of the parameters other than the update target device among the optical devices 12-1 to 12-N so as to have the maximum transmittance. Then, the learning control unit 31B causes the update unit 31A to calculate the gradient of the update target device by the error back propagation method using the objective function regarding the error between the estimation result by the estimation unit 22A and the correct answer.
- the light output from the light conversion unit 11 is the optical device 12 other than the update target device by setting the parameter setting value of the optical device 12 other than the update target device to have the maximum transmittance.
- the learning control unit 31B optimizes the parameters for one update target device, switches the update target device, and advances the learning of the parameters for the switched update target device. That is, here, the parameters of the optical devices 12-1 to 12-N are learned in the manner of optimizing the Stacked auto encoder.
- the learning control unit 31B proceeds with batch learning for one update target device, and when the batch learning is completed, randomly selects the optical device 12 that has not been learned as the next update target device, You may advance learning about the selected update object device.
- the fourth embodiment relates to an estimation device in which a parameter value learned by the learning device described in the first to third embodiments is set.
- FIG. 5 is a block diagram showing an example of an estimation device according to the fourth embodiment.
- the estimation device 50 includes a light conversion unit 51, a sensing unit 53, a control unit (control device) 55, and an acquisition unit 57.
- the light conversion unit 51 uses the input light and outputs light according to the set value of the parameter.
- the light conversion unit 51 includes optical devices 52-1 to 52-N (N is a natural number of 2 or more) whose parameter setting values are set independently of each other.
- the optical devices 52-1 to 52-N correspond to the optical devices 12-1 to 12-N of the first to third embodiments, respectively, and parameters learned by the learning devices 10, 20, and 30.
- the value is set. That is, the light conversion unit 51 has the same configuration as the light conversion unit 11 of the first to third embodiments.
- the sensing unit 53 senses the light output from the light conversion unit 51. That is, the sensing unit 53 has the same configuration as the sensing unit 13 of the first to third embodiments.
- the control unit 55 has an estimation unit 55A and a setting unit 55B.
- the estimation unit 55A forms an estimation result for the answer to the setting problem based on the light sensed by the sensing unit 53. That is, the estimation unit 55A has the same configuration as the estimation units 15A and 22A of the first to third embodiments.
- the setting unit 55B sets the parameter values acquired by the acquisition unit 57 in the optical devices 12-1 to 12-N of the light conversion unit 51, respectively.
- the acquisition unit 57 acquires the parameter value learned by the learning device 10, 20, 30.
- the acquisition unit 57 may be a communication unit that acquires the parameter value from the learning device 10, 20, 30 by wire communication or wireless communication.
- the acquisition unit 57 may be an interface unit to which a cable connecting the estimation device 50 and the learning devices 10, 20, 30 is connected.
- the light conversion unit 51 in the estimation device 50 uses the input light and outputs the light according to the set value of the parameter.
- the sensing unit 53 senses the light output from the light conversion unit 51.
- the estimation unit 55A forms an estimation result for the answer to the setting problem based on the light sensed by the sensing unit 53.
- the light conversion unit 51 includes optical devices 52-1 to 52-N (N is a natural number of 2 or more) whose parameter setting values are set independently of each other.
- the light conversion unit 51 includes the optical devices 52-1 to 52-N in which the setting values of the parameters are set independently of each other, and therefore, compared with the case where there is one optical device, Light containing more information can be used in the estimation process by multiple optical devices. As a result, the estimation device 50 can estimate the answer to the setting problem with higher accuracy. Further, since a hardware neural network can be realized by the optical devices 52-1 to 52-N, the amount of calculation by the estimation unit 55A can be reduced. As a result, the estimation device 50 can be applied to an edge terminal having a poor processing capability.
- the light conversion units 11 and 51 of the first to fourth embodiments may switch the parameter setting values from the first setting values to the second setting values within the exposure time of the sensing units 13 and 53. ..
- the light conversion unit 11 sets the parameter values updated by the update units 15B, 22B, and 31A to all the optical devices 12-1 to 12-N, and the optical devices 12-1 to 12-N.
- the state in which the parameter values of some optical devices are switched to have the maximum transmittance is switched within the exposure time of the sensing unit 13.
- the sensing unit 13 can express an image in which images in two states are added. That is, this operation can express the add layer in the neural network.
- FIG. 6 is a diagram showing a hardware configuration example of the control device.
- the control device 100 has a processor 101 and a memory 102.
- the processor 101 may be, for example, a microprocessor, MPU (Micro Processing Unit), or CPU (Central Processing Unit).
- the processor 101 may include a plurality of processors.
- the memory 102 is composed of a combination of a volatile memory and a non-volatile memory.
- the memory 102 may include storage located remotely from the processor 101. In this case, the processor 101 may access the memory 102 via an I/O interface (not shown).
- the control devices (control units) 15, 22, 31, 55 of the first to fourth embodiments can each have the hardware configuration shown in FIG.
- the estimating units 15A, 22A, 55A of the control devices 15, 22, 31, 55 of the first to fourth embodiments, the updating units 15B, 22B, 31A, the learning control units 22C, 31B, and the setting unit 55B. May be realized by the processor 101 reading and executing a program stored in the memory 102.
- the program can be stored using various types of non-transitory computer readable media, and can be supplied to the control devices 15, 22, 31, 55. Examples of non-transitory computer readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks).
- non-transitory computer-readable medium examples include CD-ROM (Read Only Memory), CD-R, and CD-R/W.
- non-transitory computer readable media include semiconductor memory.
- the semiconductor memory includes, for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory).
- the program may be supplied to the control devices 15, 22, 31, 55 by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
- the temporary computer-readable medium can supply the program to the control devices 15, 22, 31, 55 via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
- (Appendix 1) Light converting means for inputting light from a learning target and using the input light to output light according to a set value of a parameter, Sensing means for sensing the light output from the light converting means, Estimating means for forming an estimation result for an answer to the setting problem based on the sensed light; Updating means for calculating an update value of the parameter based on the estimation result by the estimating means, and updating the set value of the parameter by the calculated update value; Equipped with,
- the light conversion means includes a plurality of optical devices in which set values of the parameters are set independently of each other, Learning device.
- the update target device is sequentially switched among the plurality of optical devices, the learning target is switched in accordance with the switching of the update target device, and the update unit is caused to update the set value of the parameter for each update target device.
- the learning control unit controls batch learning for each of the update target devices, and randomly selects the update target device from the plurality of optical devices, The learning device according to attachment 2.
- the updating means calculates a gradient by an error backpropagation method using an objective function relating to an error between the estimation result and the correct answer by the estimating means, and based on the calculated gradient, calculates an updated value of the parameter, Updating the set value of the parameter with the calculated update value,
- the learning device according to attachment 2 or 3.
- the updating means forms a perturbation using a random number, calculates a gradient using an objective function relating to an error between the estimation result by the estimating means and a correct answer, and the formed perturbation, and based on the calculated gradient. Calculating an update value of the parameter, and updating the set value of the parameter with the calculated update value,
- the learning device according to attachment 1.
- the plurality of optical devices includes a liquid crystal device,
- the updating means updates the set value of the parameter in units of pixels of the liquid crystal device,
- the learning device according to any one of appendices 1 to 5.
- the liquid crystal device outputs light in which the light characteristics corresponding to the set value of the parameter are emphasized on a pixel-by-pixel basis,
- the learning device according to attachment 6.
- the estimation means includes a neural network, The updating means further updates the parameters of the neural network, The learning device according to any one of appendices 1 to 8.
- Appendix 11 At least one of an attenuation process, an amplification process, a condensing process, a diffusion process, a process for strengthening light waves, a morea generation process, a spectral process, and a polarization extraction process as the process for the input light.
- the learning device according to any one of appendices 1 to 10.
- the setting problem is image recognition, object detection, segmentation, abnormality detection, image generation, image conversion, image compression, light field generation, or three-dimensional image generation.
- the learning device according to any one of appendices 1 to 11.
- the light conversion means includes a plurality of optical devices in which set values of the parameters are set independently of each other, Estimator.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Electromagnetism (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Optical Communication System (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Studio Devices (AREA)
Abstract
学習装置(10)にて光変換部(11)は、学習対象からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部(13)は、光変換部(11)から出力された光を感知する。推定部(15A)は、センシング部(13)で感知された光に基づいて、設定問題の答えについての推定結果を形成する。更新部(15B)は、推定部(15A)による推定結果に基づいて、光変換部(11)のパラメータの更新値を算出し、算出された更新値によって光変換部(11)のパラメータの設定値を更新する。そして、光変換部(11)は、互いに独立してパラメータの設定値が設定される複数の光学デバイス(12)を含んでいる。
Description
本開示は、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置に関する。
種々の設定問題の答えを推定する推定装置が提案されている(例えば、特許文献1)。特許文献1に開示されている装置の設定問題は、ライトフィールドを取得することである。具体的には、特許文献1に開示されているライトフィールド取得装置は、画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、符号化開口部(つまり、光変換部)の符号化開口形状の設定を制御する。これにより、特許文献1に開示されているライトフィールド取得装置は、画像素子の画素数よりも少ないデータ量であるシーンのライトフィールドを高解像度で取得することができる。
本発明者らは、光変換部に互いに独立してパラメータの設定値が設定される複数の光学デバイスを含めることによって、設定問題の答えをより精度良く推定可能な推定装置を実現できることを見出した。そして、本発明者らは、該複数の光学デバイスに設定されるパラメータの設定値を学習する学習装置を提案する。
本開示の目的は、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習できる、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置を提供することにある。
第1の態様にかかる学習装置は、学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
第2の態様にかかる推定装置は、入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
第3の態様にかかる学習方法は、学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する。
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する。
第4の態様にかかる非一時的なコンピュータ可読媒体は、学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる、制御プログラムが格納している。
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる、制御プログラムが格納している。
本開示により、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習できる、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置を提供することができる。
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
<第1実施形態>
図1は、第1実施形態における学習装置の一例を示すブロック図である。図1において学習装置10は、光変換部11と、センシング部13と、制御部(制御装置)15とを有している。
図1は、第1実施形態における学習装置の一例を示すブロック図である。図1において学習装置10は、光変換部11と、センシング部13と、制御部(制御装置)15とを有している。
光変換部11は、学習対象(例えば、学習画像)からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。例えば、光変換部11は、互いに独立してパラメータの設定値が設定される光学デバイス12-1~12-N(Nは、2以上の自然数)を含んでいる。以下では、光学デバイス12-1~12-Nを互いに区別しない場合には光学デバイス12-1~12-Nを総称して単に光学デバイス12と呼ぶことがある。光学デバイス12-1~12-Nは、互いに同種の光学デバイスであってもよいし、複数種類の光学デバイスを含んでいてもよい。例えば、光変換部11は、入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも1つを実行する。
センシング部13は、光変換部11から出力された光を感知する。センシング部13は、例えば、イメージセンサである。すなわち、センシング部13は、感知した光を電気信号に変換し、得られた光電気信号を制御部15へ出力する。なお、図1において光変換部11とセンシング部13とを点線で繋いでいるが、この点線は、光路を意味している。
制御部15は、推定部15Aと、更新部15Bとを有している。
推定部15Aは、センシング部13で感知された光に基づいて、設定問題の答えについての推定結果を形成する。設定問題は、例えば、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、3次元画像生成である。すなわち、推定部15Aは、設定問題に応じた画像解析処理を実行する機能部である。例えば設定問題が赤色の物体を認識することである場合、推定部15Aは、赤色の物体の画像を含む学習画像であれば推定結果として「1」を形成して出力し、赤色の物体の画像を含まない学習画像であれば推定結果として「0」を形成して出力する。また、例えば設定問題がライトフィールドを生成することである場合、推定部15Aは、推定結果としてライトフィールドを形成して出力することになる。
更新部15Bは、推定部15Aによる推定結果に基づいて、光変換部11のパラメータの更新値を算出し、算出された更新値によって光変換部11のパラメータの設定値を更新する。
以上のように第1実施形態によれば、学習装置10にて光変換部11は、学習対象からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部13は、光変換部11から出力された光を感知する。推定部15Aは、センシング部13で感知された光に基づいて、設定問題の答えについての推定結果を形成する。更新部15Bは、推定部15Aによる推定結果に基づいて、光変換部11のパラメータの更新値を算出し、算出された更新値によって光変換部11のパラメータの設定値を更新する。そして、光変換部11は、互いに独立してパラメータの設定値が設定される光学デバイス12-1~12-N(Nは、2以上の自然数)を含んでいる。
この学習装置10の構成により、光学デバイス12-1~12-N(Nは、2以上の自然数)と同じ複数の光学デバイスとセンシング部と推定部とを含む推定装置(不図示)において該複数の光学デバイスに設定されるパラメータの設定値を学習することができる。そして、該推定装置(不図示)では、光学デバイスが1つの場合に比べて、複数の光学デバイスによってより多くの情報を含む光を推定処理に用いることができるので、該推定装置(不図示)は、設定問題の答えをより精度良く推定することが可能となる。すなわち、学習装置10によれば、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習することができる。なお、該推定装置(不図示)においては、ハードウェアのニューラルネットワークを、複数の光学デバイスによって実現できている。このため、該推定装置(不図示)の推定部による計算量を削減することができるので、該推定装置(不図示)は、処理能力の劣るエッジ端末にも適用することができる。
<第2実施形態>
第2実施形態は、より具体的な実施形態に関する。
第2実施形態は、より具体的な実施形態に関する。
<学習装置の構成例>
図2は、第2実施形態における学習装置の一例を示すブロック図である。図2において学習装置20は、光変換部11と、センシング部13と、表示部21と、制御部(制御装置)22とを含む。制御部22は、推定部22Aと、更新部22Bと、学習制御部22Cとを含む。
図2は、第2実施形態における学習装置の一例を示すブロック図である。図2において学習装置20は、光変換部11と、センシング部13と、表示部21と、制御部(制御装置)22とを含む。制御部22は、推定部22Aと、更新部22Bと、学習制御部22Cとを含む。
表示部21は、学習制御部22Cによる制御により、学習画像を表示する。これにより、学習画像に対応する光が、光変換部11へ入力されることになる。なお、図2において表示部21と光変換部11とを点線で繋いでいるが、この点線は、光路を意味している。
光変換部11は、第1実施形態で説明したように、光学デバイス12-1~12-N(Nは、2以上の自然数)を含んでいる。ここでは、一例として、光学デバイス12-1~12-Nは、液晶デバイスを含んでおり、光学デバイス12-1が液晶デバイスであるものとして説明する。
光学デバイス12-1は、例えば、第1の偏光板と、第1の偏光板と偏光方向が90°回転している第2の偏光板と、カラーフィルタと、第1の偏光板と第2の偏光板との間に挟まれた液晶ユニットとを含んでいる。この液晶ユニットに印可する電気信号(つまり、パラメータの設定値)を制御することによって、例えば液晶ユニットの透過率を制御することができる。この制御は、液晶ユニットの画素単位で制御することができる。すなわち、液晶デバイスは、画素単位でパラメータの設定値に応じた光特性が強調された光を出力することができる。
又は、光学デバイス12-1は、液晶ユニットを有している。この液晶ユニットに印可する電気信号(つまり、パラメータの設定値)を制御することによって、この液晶ユニットにおける液晶のらせん構造を制御して、選択的に反射される光の波長を制御してもよい。この制御は、液晶ユニットの画素単位で制御することができる。すなわち、液晶デバイスは、画素単位でパラメータの設定値に応じた光特性が強調された光を出力することができる。
なお、光学デバイス12には、例えば、液晶デバイスの他に又は液晶デバイスに代えて、液体レンズ、可変形鏡(デフォーマブルミラー)、マイクロチャンネルプレート型光電子増倍管等が用いられてもよい。液体レンズは、電気信号により焦点を調整可能なデバイスである。また、可変形鏡(デフォーマブルミラー)は、電気信号により反射方向を制御可能なデバイスである。また、マイクロチャンネルプレート型光電子増倍管は、入射光をデバイス内で電子に変換し内部で増幅して入射光より強い光を出力するデバイスである。
学習制御部22Cは、光変換部11におけるパラメータの設定値の学習を制御する。例えば、学習制御部22Cは、表示部21に表示される学習画像を切り替える。また、学習制御部22Cは、光変換部11におけるパラメータの設定値の学習処理におけるパラメータの初期値として、光学シミュレーションによって得られたパラメータ値を用いてもよい。これにより、光学シミュレーションによって得られたパラメータ値のファインチューニングを行うことができる。この場合、例えば、学習制御部22Cは、光学デバイス12-1~12-Nのそれぞれをモデル化した光学モデルを用いてシミュレートを行い、誤差逆伝播法によって勾配を計算して、光学モデルのパラメータの最適化を行ってもよい。このパラメータの値が、上記の初期値として用いられる。なお、推定部22Aがニューラルネットを含む場合には、学習制御部22Cは、該ニューラルネットの学習を制御してもよい。
推定部22Aは、第1実施形態の推定部15Aと同様に、センシング部13で感知された光に基づいて、設定問題の答えについての推定結果を形成する。推定部22Aは、例えば、ニューラルネットワークを含んでいる。
更新部22Bは、推定部22Aによる推定結果と正解との誤差に関する目的関数を用いて勾配を算出する。そして、更新部22Bは、算出された勾配に基づいてパラメータの更新値を算出し、算出された更新値によって光変換部11のパラメータの設定値を更新する。更新部22Bは、推定部22Aに含まれるニューラルネットワークのパラメータ(重み、バイアス)を更新してもよい。この推定部22Aに含まれるニューラルネットワークのパラメータ(重み、バイアス)の更新処理における勾配演算には、ニューラルネットワークの学習において用いられる誤差逆伝播法を用いることができる。
ここで、光変換部11における光の入出力現象は、制御部22(つまり、計算機)の外で起こるため、ニューラルネットワークの学習において用いられる誤差逆伝播法を用いることができない。そこで、更新部22Bは、乱数を用いて摂動ベクトルを形成し、推定部22Aによる推定結果と正解との誤差に関する目的関数及び前記形成された摂動ベクトルを用いて勾配を算出する。そして、更新部22Bは、算出された勾配に基づいてパラメータの更新値を算出し、算出された更新値によって光変換部11のパラメータの設定値を更新する。
この勾配の計算では、パラメータベクトルをpとし、その乱数摂動ベクトルをeとする。光変換部11のニューラルネット全体をf(x, p)とすると、更新部22Bは、入力画像バッチxに対して、f(x, p)とf(x, p+e)を計算する。一般的な勾配計算であれば、パラメータベクトルpの各要素のスカラー値piに対してそれぞれ独立に計算して勾配を求めるため、パラメータの要素数と同数の演算回数が必要となる。一方で、乱数摂動による計算では、摂動eをベクトルで計算するため、演算回数は2回でよい。その代わり、更新部22Bは、摂動ベクトルeを乱数で生成する。例えば、更新部22Bは、乱数をベルヌーイ分布を用いて計算する。これにより、摂動ベクトルeの各要素は、-1又は1の値をとる。また、更新部22Bは、eにハイパーパラメータaを乗算することで、勾配演算のための微分幅を制御することができる。なお、乱数には各イテレーションで同じものが用いられてもよいし、又は、イテレーション毎に異なる乱数が用いられてもよい。乱数摂動はベクトルに限らず、行列、3階以上のテンソルにも適用できる。勾配の更新には、例えば、確率的勾配降下法やAdam等が用いられてもよい。また、乱数の計算には、ベルヌーイ分布の他に、例えば、0を平均とする一様分布やガウス分布が用いられてもよい。
<学習装置の動作例>
以上の構成を有する学習装置20の処理動作の一例について説明する。図3は、第2実施形態における学習装置の処理動作の一例を示すフローチャートである。
以上の構成を有する学習装置20の処理動作の一例について説明する。図3は、第2実施形態における学習装置の処理動作の一例を示すフローチャートである。
学習制御部22Cは、光変換部11に対して、パラメータの初期値を設定する(ステップS101)。上記の通り、パラメータの初期値として、光学シミュレーションによって得られたパラメータ値が用いられてもよい。
学習制御部22Cは、表示部21に学習画像を表示させる(ステップS102)。これにより、学習画像に対応する光が、光変換部11へ入力されることになる。
光変換部11は、学習画像からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する(ステップS103)。
センシング部13は、光変換部11から出力された光を感知する(ステップS104)。
推定部15Aは、センシング部13で感知された光に基づいて、設定問題の答えについての推定結果を形成する(ステップS105)。
更新部22Bは、推定部22Aによる推定結果と正解との誤差に関する目的関数を用いて勾配を算出する(ステップS106)。
学習制御部22Cは、終了条件が満たされているか否かを判定する(ステップS107)。学習制御部22Cは、例えば、更新部22Bにて今回算出された勾配の符号が前回算出された勾配の符号と異なる場合、目的関数の最小値(又は、極小値)に到達したと見なせるので、終了条件が満たされたと判定する。そして、終了条件が満たされたときには(ステップS107YES)、処理フローが終了する。
終了条件が満たされていない場合(ステップS107NO)、学習制御部22Cは、更新部22Bに対して、算出された勾配に基づいてパラメータの更新値を算出させ、算出された更新値によって光変換部11のパラメータの設定値を更新させる(ステップS108)。
学習制御部22Cは、学習画像を切り替えて表示部21に表示させる(ステップS109)。
なお、以上の説明では、単一画像毎での学習を前提に説明を行ったが、これに限定されるものではなく、バッチ学習又はミニバッチ学習が行われてもよい。
<第3実施形態>
上記の第2実施形態では、1つのタイミングで光学デバイス12-1~12-Nの全てをパラメータの更新対象デバイスとすることを前提に説明を行った。これに対して、第3実施形態は、光学デバイス12-1~12-Nのうちで更新対象デバイスが順次切り替えられる実施形態に関する。
上記の第2実施形態では、1つのタイミングで光学デバイス12-1~12-Nの全てをパラメータの更新対象デバイスとすることを前提に説明を行った。これに対して、第3実施形態は、光学デバイス12-1~12-Nのうちで更新対象デバイスが順次切り替えられる実施形態に関する。
図4は、第3実施形態における学習装置の一例を示すブロック図である。図4において学習装置30は、制御部(制御装置)31を有する。制御部31は、更新部31Aと、学習制御部31Bとを有する。
学習制御部31Bは、光学デバイス12-1~12-Nのうちで更新対象デバイスを順次切り替え、更新対象デバイスの切り替えに応じて表示部21に表示される学習画像を切り替えるとともに、更新部31Aに対して更新対象デバイス単位でパラメータの設定値を更新させる。
ここで、光学デバイス12-1~12-Nのすべてが液晶デバイスであるものとする。このとき、学習制御部31Bは、光学デバイス12-1~12-Nのうちで更新対象デバイスを選択する。そして、学習制御部31Bは、光学デバイス12-1~12-Nのうちで更新対象デバイス以外のパラメータの設定値を、最大の透過率となるように設定する。そして、学習制御部31Bは、更新部31Aに対して、推定部22Aによる推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって、更新対象デバイスについての勾配を算出させる。ここで、更新対象デバイス以外の光学デバイス12のパラメータの設定値が最大の透過率となるように設定されることにより、光変換部11から出力される光は、更新対象デバイス以外の光学デバイス12による影響を受けていないと見なすことができる。このため、更新対象デバイスの入力と出力とが数値化できるため、誤差逆伝播法を、勾配の計算に用いることができる。そして、学習制御部31Bは、1つの更新対象デバイスについてパラメータを最適化した後に、更新対象デバイスを切り替えて、切り替えられた更新対象デバイスについてのパラメータの学習を進める。すなわち、ここでは、Stackedオートエンコーダの最適化の要領で、光学デバイス12-1~12-Nのパラメータの学習が行われている。
なお、学習制御部31Bは、1つの更新対象デバイスについてバッチ学習を進め、該バッチ学習が完了した場合、まだ学習が行われていない光学デバイス12を次の更新対象デバイスとしてランダムに選択して、該選択された更新対象デバイスについて学習を進めてもよい。
<第4実施形態>
第4実施形態は、第1実施形態から第3実施形態で説明した学習装置によって学習されたパラメータ値が設定された推定装置に関する。
第4実施形態は、第1実施形態から第3実施形態で説明した学習装置によって学習されたパラメータ値が設定された推定装置に関する。
図5は、第4実施形態における推定装置の一例を示すブロック図である。図5において推定装置50は、光変換部51と、センシング部53と、制御部(制御装置)55と、取得部57とを有している。
光変換部51は、入力された光を用いて、パラメータの設定値に応じた光を出力する。光変換部51は、互いに独立してパラメータの設定値が設定される光学デバイス52-1~52-N(Nは、2以上の自然数)を含んでいる。光学デバイス52-1~52-Nは、第1実施形態から第3実施形態の光学デバイス12-1~12-Nにそれぞれ対応しており、学習装置10,20,30にて学習されたパラメータ値が設定される。すなわち、光変換部51は、第1実施形態から第3実施形態の光変換部11と同様の構成を有している。
センシング部53は、光変換部51から出力された光を感知する。すなわち、センシング部53は、第1実施形態から第3実施形態のセンシング部13と同様の構成を有している。
制御部55は、推定部55Aと、設定部55Bとを有する。
推定部55Aは、センシング部53で感知された光に基づいて、設定問題の答えについての推定結果を形成する。すなわち、推定部55Aは、第1実施形態から第3実施形態の推定部15A,22Aと同じ構成を有している。
設定部55Bは、取得部57にて取得されたパラメータ値を、光変換部51の光学デバイス12-1~12-Nにそれぞれ設定する。
取得部57は、学習装置10,20,30にて学習されたパラメータ値を取得する。取得部57は、学習装置10,20,30からパラメータ値を有線通信又は無線通信によって取得する通信部であってもよい。又は、取得部57は、推定装置50と学習装置10,20,30とを繋ぐケーブルが接続されるインタフェース部であってもよい。取得部57が学習装置10,20,30にて学習されたパラメータ値を取得することにより、例えば、光学デバイス52-1~52-Nに設定されるパラメータ値をダウンロードすることができる。また、本実施形態における光学デバイスは計算機の外部にあるので、デバイス出荷時にパラメータ値を設定し、さらにエッジ端末においてパラメータに直接アクセスできなくすることもできる。これによりエッジ端末のパラメータはハッキングできなくなる。
以上のように第4実施形態によれば、推定装置50にて光変換部51は、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部53は、光変換部51から出力された光を感知する。推定部55Aは、センシング部53で感知された光に基づいて、設定問題の答えについての推定結果を形成する。そして、光変換部51は、互いに独立してパラメータの設定値が設定される光学デバイス52-1~52-N(Nは、2以上の自然数)を含んでいる。
この推定装置50の構成により、光変換部51が互いに独立してパラメータの設定値が設定される光学デバイス52-1~52-Nを含んでいるので、光学デバイスが1つの場合に比べて、複数の光学デバイスによってより多くの情報を含む光を推定処理に用いることができる。これにより、推定装置50は、設定問題の答えをより精度良く推定することができる。また、光学デバイス52-1~52-Nによってハードウェアのニューラルネットワークを実現できるので、推定部55Aによる計算量を削減することができる。これにより、推定装置50を処理能力の劣るエッジ端末にも適用することができる。
<他の実施形態>
<1>第1実施形態から第4実施形態の光変換部11,51は、センシング部13,53の露光時間内においてパラメータの設定値を第1設定値から第2設定値へ切り替えてもよい。例えば、光変換部11は、光学デバイス12-1~12-Nの全てに、更新部15B,22B,31Aによって更新されたパラメータ値を設定する状態と、光学デバイス12-1~12-Nの一部の光学デバイスのパラメータ値を最大の透過率となるように切り替えた状態とを、センシング部13の露光時間内に切り替える。これにより、センシング部13では2つの状態の画像が足し合わさった画像を表現することができる。すなわち、この操作によって、ニューラルネットにおけるadd層を表現することができる。又は、足し合わせではなく、上記の2つの状態の画像をセンシング部13に並べるようにしてもよい。これにより、ニューラルネットにおけるconcatenate層を表現することができる。このような方法によれば、U-netなどで用いられるskip connectionが可能となる。光変換部51及びセンシング部53についても同様である。
<2>図6は、制御装置のハードウェア構成例を示す図である。図6において制御装置100は、プロセッサ101と、メモリ102とを有している。プロセッサ101は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ101は、複数のプロセッサを含んでもよい。メモリ102は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ102は、プロセッサ101から離れて配置されたストレージを含んでもよい。この場合、プロセッサ101は、図示されていないI/Oインタフェースを介してメモリ102にアクセスしてもよい。
<1>第1実施形態から第4実施形態の光変換部11,51は、センシング部13,53の露光時間内においてパラメータの設定値を第1設定値から第2設定値へ切り替えてもよい。例えば、光変換部11は、光学デバイス12-1~12-Nの全てに、更新部15B,22B,31Aによって更新されたパラメータ値を設定する状態と、光学デバイス12-1~12-Nの一部の光学デバイスのパラメータ値を最大の透過率となるように切り替えた状態とを、センシング部13の露光時間内に切り替える。これにより、センシング部13では2つの状態の画像が足し合わさった画像を表現することができる。すなわち、この操作によって、ニューラルネットにおけるadd層を表現することができる。又は、足し合わせではなく、上記の2つの状態の画像をセンシング部13に並べるようにしてもよい。これにより、ニューラルネットにおけるconcatenate層を表現することができる。このような方法によれば、U-netなどで用いられるskip connectionが可能となる。光変換部51及びセンシング部53についても同様である。
<2>図6は、制御装置のハードウェア構成例を示す図である。図6において制御装置100は、プロセッサ101と、メモリ102とを有している。プロセッサ101は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ101は、複数のプロセッサを含んでもよい。メモリ102は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ102は、プロセッサ101から離れて配置されたストレージを含んでもよい。この場合、プロセッサ101は、図示されていないI/Oインタフェースを介してメモリ102にアクセスしてもよい。
第1実施形態から第4実施形態の制御装置(制御部)15,22,31,55は、それぞれ、図6に示したハードウェア構成を有することができる。第1実施形態から第4実施形態の制御装置15,22,31,55の推定部15A,22A,55Aと、更新部15B,22B,31Aと、学習制御部22C,31Bと、設定部55Bとは、プロセッサ101がメモリ102に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、制御装置15,22,31,55に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。さらに、非一時的なコンピュータ可読媒体の例は、CD-ROM(Read Only Memory)、CD-R、CD-R/Wを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によって制御装置15,22,31,55に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを制御装置15,22,31,55に供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
学習装置。
学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
学習装置。
(付記2)
前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
付記1記載の学習装置。
前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
付記1記載の学習装置。
(付記3)
前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
付記2記載の学習装置。
前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
付記2記載の学習装置。
(付記4)
前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記2又は3に記載の学習装置。
前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記2又は3に記載の学習装置。
(付記5)
前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記1記載の学習装置。
前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記1記載の学習装置。
(付記6)
前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
付記1から5のいずれか1項に記載の学習装置。
前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
付記1から5のいずれか1項に記載の学習装置。
(付記7)
前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
付記6記載の学習装置。
前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
付記6記載の学習装置。
(付記8)
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第1設定値から第2設定値へ切り替える、
付記1から7のいずれか1項に記載の学習装置。
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第1設定値から第2設定値へ切り替える、
付記1から7のいずれか1項に記載の学習装置。
(付記9)
前記推定手段は、ニューラルネットを含み、
前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
付記1から8のいずれか1項に記載の学習装置。
前記推定手段は、ニューラルネットを含み、
前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
付記1から8のいずれか1項に記載の学習装置。
(付記10)
学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
付記1から9のいずれか1項に記載の学習装置。
学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
付記1から9のいずれか1項に記載の学習装置。
(付記11)
前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも1つを実行する、
付記1から10のいずれか1項に記載の学習装置。
前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも1つを実行する、
付記1から10のいずれか1項に記載の学習装置。
(付記12)
前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、3次元画像生成である、
付記1から11のいずれか1項に記載の学習装置。
前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、3次元画像生成である、
付記1から11のいずれか1項に記載の学習装置。
(付記13)
入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
推定装置。
入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
推定装置。
(付記14)
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
学習方法。
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
学習方法。
(付記15)
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
10 学習装置
11 光変換部
12 光学デバイス
13 センシング部
15 制御部(制御装置)
15A 推定部
15B 更新部
20 学習装置
21 表示部
22 制御部(制御装置)
22A 推定部
22B 更新部
22C 学習制御部
30 学習装置
31 制御部(制御装置)
31A 更新部
31B 学習制御部
50 推定装置
51 光変換部
53 センシング部
55 制御部(制御装置)
55A 推定部
55B 設定部
57 取得部
11 光変換部
12 光学デバイス
13 センシング部
15 制御部(制御装置)
15A 推定部
15B 更新部
20 学習装置
21 表示部
22 制御部(制御装置)
22A 推定部
22B 更新部
22C 学習制御部
30 学習装置
31 制御部(制御装置)
31A 更新部
31B 学習制御部
50 推定装置
51 光変換部
53 センシング部
55 制御部(制御装置)
55A 推定部
55B 設定部
57 取得部
Claims (15)
- 学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
学習装置。 - 前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
請求項1記載の学習装置。 - 前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
請求項2記載の学習装置。 - 前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
請求項2又は3に記載の学習装置。 - 前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
請求項1記載の学習装置。 - 前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
請求項1から5のいずれか1項に記載の学習装置。 - 前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
請求項6記載の学習装置。 - 前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第1設定値から第2設定値へ切り替える、
請求項1から7のいずれか1項に記載の学習装置。 - 前記推定手段は、ニューラルネットを含み、
前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
請求項1から8のいずれか1項に記載の学習装置。 - 学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
請求項1から9のいずれか1項に記載の学習装置。 - 前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも1つを実行する、
請求項1から10のいずれか1項に記載の学習装置。 - 前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、3次元画像生成である、
請求項1から11のいずれか1項に記載の学習装置。 - 入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
推定装置。 - 学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
学習方法。 - 学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980093446.4A CN113491105B (zh) | 2019-02-05 | 2019-02-05 | 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备 |
US17/428,110 US11825185B2 (en) | 2019-02-05 | 2019-02-05 | Learning device, learning method, and non transitory computer-readable medium having control program stored thereon, and estimation device |
PCT/JP2019/004045 WO2020161799A1 (ja) | 2019-02-05 | 2019-02-05 | 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 |
JP2020570242A JP7251558B2 (ja) | 2019-02-05 | 2019-02-05 | 学習装置、学習方法、及び推定装置 |
EP19914303.3A EP3923566A4 (en) | 2019-02-05 | 2019-02-05 | LEARNING DEVICE, LEARNING METHOD, NON-TRANSITORY COMPUTER READABLE MEDIA INCLUDING A CONTROL PROGRAM STORED THEREOF, AND ESTIMATING DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/004045 WO2020161799A1 (ja) | 2019-02-05 | 2019-02-05 | 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020161799A1 true WO2020161799A1 (ja) | 2020-08-13 |
Family
ID=71948159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/004045 WO2020161799A1 (ja) | 2019-02-05 | 2019-02-05 | 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11825185B2 (ja) |
EP (1) | EP3923566A4 (ja) |
JP (1) | JP7251558B2 (ja) |
CN (1) | CN113491105B (ja) |
WO (1) | WO2020161799A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001228024A (ja) * | 2000-02-16 | 2001-08-24 | Univ Saitama | 分光画像撮像装置 |
JP2016157999A (ja) | 2015-02-23 | 2016-09-01 | 日本電信電話株式会社 | ライトフィールド取得装置及びライトフィールド取得方法 |
JP2018097407A (ja) * | 2016-12-08 | 2018-06-21 | 日本電信電話株式会社 | 摂動学習装置とその方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7294817B2 (en) * | 2004-05-06 | 2007-11-13 | Siemens Power Generation, Inc. | System and methods for determining nonuniformity correction parameters in detector-array imaging |
JP4413261B2 (ja) * | 2008-01-10 | 2010-02-10 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
CN101718940B (zh) * | 2009-11-17 | 2012-06-27 | 武汉光迅科技股份有限公司 | 实现掺铒光纤放大器快速收敛的控制装置及控制方法 |
US10176554B2 (en) * | 2015-10-05 | 2019-01-08 | Google Llc | Camera calibration using synthetic images |
JP2017194498A (ja) | 2016-04-18 | 2017-10-26 | キヤノン株式会社 | 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体 |
JP6948128B2 (ja) * | 2017-01-13 | 2021-10-13 | キヤノン株式会社 | 映像監視装置及びその制御方法及びシステム |
CN109186657B (zh) * | 2018-09-26 | 2022-03-08 | Oppo广东移动通信有限公司 | 接近传感器参数校准方法、装置、终端设备及存储介质 |
-
2019
- 2019-02-05 CN CN201980093446.4A patent/CN113491105B/zh active Active
- 2019-02-05 WO PCT/JP2019/004045 patent/WO2020161799A1/ja unknown
- 2019-02-05 US US17/428,110 patent/US11825185B2/en active Active
- 2019-02-05 JP JP2020570242A patent/JP7251558B2/ja active Active
- 2019-02-05 EP EP19914303.3A patent/EP3923566A4/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001228024A (ja) * | 2000-02-16 | 2001-08-24 | Univ Saitama | 分光画像撮像装置 |
JP2016157999A (ja) | 2015-02-23 | 2016-09-01 | 日本電信電話株式会社 | ライトフィールド取得装置及びライトフィールド取得方法 |
JP2018097407A (ja) * | 2016-12-08 | 2018-06-21 | 日本電信電話株式会社 | 摂動学習装置とその方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113491105A (zh) | 2021-10-08 |
US20220132027A1 (en) | 2022-04-28 |
JPWO2020161799A1 (ja) | 2021-11-25 |
EP3923566A1 (en) | 2021-12-15 |
JP7251558B2 (ja) | 2023-04-04 |
US11825185B2 (en) | 2023-11-21 |
CN113491105B (zh) | 2023-09-12 |
EP3923566A4 (en) | 2022-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9420276B2 (en) | Calibration of light-field camera geometry via robust fitting | |
US9344690B2 (en) | Image demosaicing | |
US7469202B2 (en) | System and method for optimizing optical and digital system designs | |
CN103139469B (zh) | 利用多分辨率过程生成鲁棒深度图的系统和方法 | |
CN102833472B (zh) | 摄像设备及其控制方法 | |
Akpinar et al. | Learning wavefront coding for extended depth of field imaging | |
CN111024229B (zh) | 单芯片集成型光谱成像微系统光谱数据校正方法 | |
JP2009009593A (ja) | 電光画像処理システム | |
US20150109518A1 (en) | Detection apparatus, image pickup apparatus, image pickup system, and control method of the detection apparatus | |
CN104251818A (zh) | 图像捕获装置和电子设备 | |
JPWO2019176349A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
JP2017055386A (ja) | 撮像装置、撮像システム、画像生成装置およびカラーフィルタ | |
CN110244523B (zh) | 一体化光刻方法及光刻系统 | |
US20160065835A1 (en) | Focus-detection device, method for controlling the same, and image capture apparatus | |
Shi et al. | Rapid all-in-focus imaging via physical neural network optical encoding | |
WO2020161799A1 (ja) | 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 | |
US10339665B2 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
US10225537B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
Wang et al. | The influence of chromatic aberration on demosaicking | |
US20130011050A1 (en) | Filter Setup Learning for Binary Sensor | |
JP5611439B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
CN109844453B (zh) | 显示装置 | |
CN110958382A (zh) | 图像处理方法、图像处理装置、成像装置和存储介质 | |
JP2019121972A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2017034595A (ja) | 画像処理装置、撮像装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19914303 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020570242 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019914303 Country of ref document: EP Effective date: 20210906 |