WO2020161799A1 - 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 - Google Patents

学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 Download PDF

Info

Publication number
WO2020161799A1
WO2020161799A1 PCT/JP2019/004045 JP2019004045W WO2020161799A1 WO 2020161799 A1 WO2020161799 A1 WO 2020161799A1 JP 2019004045 W JP2019004045 W JP 2019004045W WO 2020161799 A1 WO2020161799 A1 WO 2020161799A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
learning
parameter
value
unit
Prior art date
Application number
PCT/JP2019/004045
Other languages
English (en)
French (fr)
Inventor
貴裕 戸泉
竜一 赤司
有加 荻野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020570242A priority Critical patent/JP7251558B2/ja
Priority to PCT/JP2019/004045 priority patent/WO2020161799A1/ja
Priority to EP19914303.3A priority patent/EP3923566A4/en
Priority to US17/428,110 priority patent/US11825185B2/en
Priority to CN201980093446.4A priority patent/CN113491105B/zh
Publication of WO2020161799A1 publication Critical patent/WO2020161799A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • the present disclosure relates to a learning device, a learning method, and a non-transitory computer-readable medium in which a control program is stored, and an estimation device.
  • the setting problem of the device disclosed in Patent Document 1 is to acquire the light field.
  • the light field acquisition device disclosed in Patent Document 1 is based on an evaluation value obtained by comparing restored light field data restored from an image signal with reference light field data. Part) to control the setting of the coded aperture shape.
  • the light field acquisition device disclosed in Patent Document 1 can acquire the light field of the scene, which has a data amount smaller than the number of pixels of the image element, with high resolution.
  • the present inventors have found that by including a plurality of optical devices in which the setting values of parameters are set independently of each other in the light conversion unit, it is possible to realize an estimation device that can estimate the answer to the setting problem with higher accuracy. .. Then, the present inventors propose a learning device for learning the setting values of the parameters set in the plurality of optical devices.
  • An object of the present disclosure is to learn a setting value of a parameter set in a plurality of optical devices in an estimation apparatus capable of estimating an answer to a setting problem with higher accuracy, a learning apparatus, a learning method, and a non-stored control program.
  • An object is to provide a temporary computer-readable medium and an estimation device.
  • a learning device is a light conversion unit that inputs light from a learning target and outputs light according to a set value of a parameter using the input light.
  • Sensing means for sensing the light output from the light converting means, Estimating means for forming an estimation result for an answer to the setting problem based on the sensed light; Updating means for calculating an update value of the parameter based on the estimation result by the estimating means, and updating the set value of the parameter by the calculated update value; Equipped with,
  • the light converting means includes a plurality of optical devices in which the set values of the parameters are set independently of each other.
  • the estimation device uses an input light, and outputs a light according to a set value of a parameter, and a light conversion unit.
  • the light converting means includes a plurality of optical devices in which the set values of the parameters are set independently of each other.
  • light from a learning target is input and output from a light converting unit including a plurality of optical devices according to a set value of a parameter set in the light converting unit.
  • a light converting unit including a plurality of optical devices according to a set value of a parameter set in the light converting unit.
  • a non-transitory computer-readable medium is a set value of a parameter set in the light conversion means, to which light from a learning target is input and which is output from a light conversion means including a plurality of optical devices.
  • a learning device a learning method, and a non-transitory system in which a control program is stored that can learn setting values of parameters set in a plurality of optical devices in an estimation device that can more accurately estimate an answer to a setting problem
  • a computer-readable medium and an estimation device can be provided.
  • FIG. 1 is a block diagram showing an example of a learning device according to the first embodiment.
  • the learning device 10 includes a light conversion unit 11, a sensing unit 13, and a control unit (control device) 15.
  • the light conversion unit 11 inputs light from a learning target (for example, a learning image), and uses the input light to output light according to the set value of the parameter.
  • the light conversion unit 11 includes optical devices 12-1 to 12-N (N is a natural number of 2 or more) whose parameter setting values are set independently of each other.
  • the optical devices 12-1 to 12-N may be collectively referred to simply as the optical device 12.
  • the optical devices 12-1 to 12-N may be the same type of optical device or may include a plurality of types of optical devices.
  • the light conversion unit 11 selects from among attenuation processing, amplification processing, light collection processing, diffusion processing, light wave intensifying processing, morea generation processing, spectroscopic processing, and polarization extraction processing as processing for input light. Do at least one.
  • the sensing unit 13 senses the light output from the light conversion unit 11.
  • the sensing unit 13 is, for example, an image sensor. That is, the sensing unit 13 converts the sensed light into an electric signal and outputs the obtained opto-electric signal to the control unit 15. Note that, in FIG. 1, the light conversion unit 11 and the sensing unit 13 are connected by a dotted line, but this dotted line means an optical path.
  • the control unit 15 has an estimating unit 15A and an updating unit 15B.
  • the estimation unit 15A forms an estimation result about the answer to the setting problem based on the light detected by the sensing unit 13.
  • the setting problem is, for example, image recognition, object detection, segmentation, abnormality detection, image generation, image conversion, image compression, light field generation, or three-dimensional image generation. That is, the estimation unit 15A is a functional unit that executes image analysis processing according to the setting problem. For example, when the setting problem is to recognize a red object, the estimation unit 15A forms “1” as the estimation result and outputs it if the learning image includes the image of the red object. If the learning image does not include, "0" is formed and output as the estimation result. Further, for example, when the setting problem is to generate a light field, the estimation unit 15A forms and outputs the light field as the estimation result.
  • the updating unit 15B calculates the updated value of the parameter of the optical conversion unit 11 based on the estimation result of the estimation unit 15A, and updates the set value of the parameter of the optical conversion unit 11 with the calculated updated value.
  • the light conversion unit 11 inputs the light from the learning target, and uses the input light to output the light according to the set value of the parameter.
  • the sensing unit 13 senses the light output from the light conversion unit 11.
  • the estimation unit 15A forms an estimation result for the answer to the setting problem based on the light sensed by the sensing unit 13.
  • the update unit 15B calculates the updated value of the parameter of the light conversion unit 11 based on the estimation result by the estimation unit 15A, and updates the set value of the parameter of the light conversion unit 11 by the calculated updated value.
  • the light conversion unit 11 includes optical devices 12-1 to 12-N (N is a natural number of 2 or more) whose parameter setting values are set independently of each other.
  • the learning device 10 Due to the configuration of the learning device 10, a plurality of optical devices that are the same as the optical devices 12-1 to 12-N (N is a natural number of 2 or more), and a plurality of estimation devices (not shown) including a sensing unit and an estimation unit are provided. It is possible to learn the setting values of the parameters set in the optical device. Then, since the estimation device (not shown) can use the light including more information by the plurality of optical devices in the estimation process as compared with the case where there is one optical device, the estimation device (not shown) Makes it possible to more accurately estimate the answer to the setting problem. That is, the learning device 10 can learn the setting values of the parameters set in the plurality of optical devices in the estimation device that can estimate the answer to the setting problem with higher accuracy.
  • a hardware neural network can be realized by a plurality of optical devices. Therefore, the amount of calculation by the estimation unit of the estimation device (not shown) can be reduced, and the estimation device (not shown) can also be applied to an edge terminal having poor processing capability.
  • the second embodiment relates to a more specific embodiment.
  • FIG. 2 is a block diagram showing an example of a learning device according to the second embodiment.
  • the learning device 20 includes a light conversion unit 11, a sensing unit 13, a display unit 21, and a control unit (control device) 22.
  • the control unit 22 includes an estimation unit 22A, an updating unit 22B, and a learning control unit 22C.
  • the display unit 21 displays the learning image under the control of the learning control unit 22C. Thereby, the light corresponding to the learning image is input to the light conversion unit 11.
  • the display unit 21 and the light conversion unit 11 are connected by a dotted line, but this dotted line means an optical path.
  • the light conversion unit 11 includes the optical devices 12-1 to 12-N (N is a natural number of 2 or more) as described in the first embodiment.
  • the optical devices 12-1 to 12-N include a liquid crystal device, and the optical device 12-1 is a liquid crystal device.
  • the optical device 12-1 includes, for example, a first polarizing plate, a second polarizing plate whose polarization direction is rotated by 90° with respect to the first polarizing plate, a color filter, a first polarizing plate, and a second polarizing plate. And a liquid crystal unit sandwiched between it and the polarizing plate.
  • the electric signal that is, the set value of the parameter
  • the transmittance of the liquid crystal unit can be controlled. This control can be performed for each pixel of the liquid crystal unit. That is, the liquid crystal device can output light in which the light characteristics corresponding to the parameter setting values are emphasized in pixel units.
  • the optical device 12-1 has a liquid crystal unit.
  • the electric signal that is, the set value of the parameter
  • the helical structure of the liquid crystal in this liquid crystal unit may be controlled to control the wavelength of the light that is selectively reflected. .. This control can be performed for each pixel of the liquid crystal unit. That is, the liquid crystal device can output light in which the light characteristics corresponding to the parameter setting values are emphasized in pixel units.
  • a liquid lens in addition to the liquid crystal device, or instead of the liquid crystal device, for example, a liquid lens, a deformable mirror (deformable mirror), a microchannel plate type photomultiplier tube, or the like may be used as the optical device 12.
  • a liquid lens is a device whose focus can be adjusted by an electric signal.
  • the deformable mirror is a device whose reflection direction can be controlled by an electric signal.
  • a microchannel plate type photomultiplier tube is a device that converts incident light into electrons in the device, amplifies the electrons internally, and outputs light stronger than the incident light.
  • the learning control unit 22C controls learning of parameter setting values in the optical conversion unit 11. For example, the learning control unit 22C switches the learning image displayed on the display unit 21. Further, the learning control unit 22C may use the parameter value obtained by the optical simulation as the initial value of the parameter in the learning process of the parameter setting value in the light conversion unit 11. Thereby, fine tuning of the parameter value obtained by the optical simulation can be performed. In this case, for example, the learning control unit 22C performs simulation using an optical model that models each of the optical devices 12-1 to 12-N, calculates the gradient by the error backpropagation method, and calculates the optical model The parameters may be optimized. The value of this parameter is used as the initial value. If the estimation unit 22A includes a neural network, the learning control unit 22C may control the learning of the neural network.
  • the estimation unit 22A forms an estimation result about the answer to the setting problem based on the light sensed by the sensing unit 13.
  • the estimation unit 22A includes, for example, a neural network.
  • the updating unit 22B calculates the gradient using the objective function regarding the error between the estimation result by the estimating unit 22A and the correct answer. Then, the updating unit 22B calculates the updated value of the parameter based on the calculated gradient, and updates the set value of the parameter of the light conversion unit 11 with the calculated updated value.
  • the updating unit 22B may update the parameters (weight, bias) of the neural network included in the estimating unit 22A. For the gradient calculation in the updating process of the parameters (weights and biases) of the neural network included in the estimation unit 22A, the error back propagation method used in learning of the neural network can be used.
  • the updating unit 22B forms a perturbation vector by using a random number, and calculates the gradient by using the objective function relating to the error between the estimation result by the estimating unit 22A and the correct answer and the formed perturbation vector. Then, the updating unit 22B calculates the updated value of the parameter based on the calculated gradient, and updates the set value of the parameter of the light conversion unit 11 with the calculated updated value.
  • the parameter vector is p and its random perturbation vector is e.
  • the update unit 22B calculates f(x, p) and f(x, p+e) for the input image batch x.
  • the scalar value pi of each element of the parameter vector p is calculated independently to obtain the gradient, and therefore the same number of calculations as the number of parameter elements is required.
  • the number of calculations may be two. Instead, the updating unit 22B generates the perturbation vector e with a random number.
  • the updating unit 22B calculates the random number using the Bernoulli distribution. As a result, each element of the perturbation vector e takes a value of -1 or 1. Further, the updating unit 22B can control the differential width for the gradient calculation by multiplying e by the hyper parameter a. The same random number may be used for each iteration, or a different random number may be used for each iteration. Random perturbations can be applied not only to vectors, but also to matrices and tensors of third or higher order. For updating the gradient, for example, a stochastic gradient descent method, Adam or the like may be used. In addition to the Bernoulli distribution, for example, a uniform distribution having a mean of 0 or a Gaussian distribution may be used for the calculation of the random numbers.
  • FIG. 3 is a flowchart showing an example of the processing operation of the learning device in the second embodiment.
  • step S101 the parameter value obtained by the optical simulation may be used as the initial value of the parameter.
  • the learning control unit 22C causes the display unit 21 to display the learning image (step S102). Thereby, the light corresponding to the learning image is input to the light conversion unit 11.
  • the light conversion unit 11 inputs the light from the learning image, and uses the input light to output the light according to the set value of the parameter (step S103).
  • the sensing unit 13 senses the light output from the light conversion unit 11 (step S104).
  • the estimation unit 15A forms an estimation result for the answer to the setting problem based on the light sensed by the sensing unit 13 (step S105).
  • the updating unit 22B calculates the gradient by using the objective function regarding the error between the estimation result by the estimating unit 22A and the correct answer (step S106).
  • the learning control unit 22C determines whether the termination condition is satisfied (step S107). For example, when the sign of the gradient calculated this time by the updating unit 22B is different from the sign of the gradient calculated last time, the learning control unit 22C can determine that the minimum value (or the minimum value) of the objective function has been reached. It is determined that the end condition is satisfied. Then, when the end condition is satisfied (step S107 YES), the processing flow ends.
  • step S107 NO the learning control unit 22C causes the update unit 22B to calculate the update value of the parameter based on the calculated gradient, and the light conversion unit based on the calculated update value.
  • the set values of the 11 parameters are updated (step S108).
  • the learning control unit 22C switches the learning image and displays it on the display unit 21 (step S109).
  • the second embodiment has been described on the premise that all of the optical devices 12-1 to 12-N are set as the parameter update target devices at one timing.
  • the third embodiment relates to an embodiment in which update target devices among the optical devices 12-1 to 12-N are sequentially switched.
  • FIG. 4 is a block diagram showing an example of a learning device according to the third embodiment.
  • the learning device 30 has a control unit (control device) 31.
  • the control unit 31 has an updating unit 31A and a learning control unit 31B.
  • the learning control unit 31B sequentially switches the update target devices among the optical devices 12-1 to 12-N, switches the learning image displayed on the display unit 21 according to the switching of the update target devices, and causes the update unit 31A to switch to the update unit 31A.
  • the parameter setting value is updated for each device to be updated.
  • the learning control unit 31B selects the update target device from the optical devices 12-1 to 12-N. Then, the learning control unit 31B sets the set values of the parameters other than the update target device among the optical devices 12-1 to 12-N so as to have the maximum transmittance. Then, the learning control unit 31B causes the update unit 31A to calculate the gradient of the update target device by the error back propagation method using the objective function regarding the error between the estimation result by the estimation unit 22A and the correct answer.
  • the light output from the light conversion unit 11 is the optical device 12 other than the update target device by setting the parameter setting value of the optical device 12 other than the update target device to have the maximum transmittance.
  • the learning control unit 31B optimizes the parameters for one update target device, switches the update target device, and advances the learning of the parameters for the switched update target device. That is, here, the parameters of the optical devices 12-1 to 12-N are learned in the manner of optimizing the Stacked auto encoder.
  • the learning control unit 31B proceeds with batch learning for one update target device, and when the batch learning is completed, randomly selects the optical device 12 that has not been learned as the next update target device, You may advance learning about the selected update object device.
  • the fourth embodiment relates to an estimation device in which a parameter value learned by the learning device described in the first to third embodiments is set.
  • FIG. 5 is a block diagram showing an example of an estimation device according to the fourth embodiment.
  • the estimation device 50 includes a light conversion unit 51, a sensing unit 53, a control unit (control device) 55, and an acquisition unit 57.
  • the light conversion unit 51 uses the input light and outputs light according to the set value of the parameter.
  • the light conversion unit 51 includes optical devices 52-1 to 52-N (N is a natural number of 2 or more) whose parameter setting values are set independently of each other.
  • the optical devices 52-1 to 52-N correspond to the optical devices 12-1 to 12-N of the first to third embodiments, respectively, and parameters learned by the learning devices 10, 20, and 30.
  • the value is set. That is, the light conversion unit 51 has the same configuration as the light conversion unit 11 of the first to third embodiments.
  • the sensing unit 53 senses the light output from the light conversion unit 51. That is, the sensing unit 53 has the same configuration as the sensing unit 13 of the first to third embodiments.
  • the control unit 55 has an estimation unit 55A and a setting unit 55B.
  • the estimation unit 55A forms an estimation result for the answer to the setting problem based on the light sensed by the sensing unit 53. That is, the estimation unit 55A has the same configuration as the estimation units 15A and 22A of the first to third embodiments.
  • the setting unit 55B sets the parameter values acquired by the acquisition unit 57 in the optical devices 12-1 to 12-N of the light conversion unit 51, respectively.
  • the acquisition unit 57 acquires the parameter value learned by the learning device 10, 20, 30.
  • the acquisition unit 57 may be a communication unit that acquires the parameter value from the learning device 10, 20, 30 by wire communication or wireless communication.
  • the acquisition unit 57 may be an interface unit to which a cable connecting the estimation device 50 and the learning devices 10, 20, 30 is connected.
  • the light conversion unit 51 in the estimation device 50 uses the input light and outputs the light according to the set value of the parameter.
  • the sensing unit 53 senses the light output from the light conversion unit 51.
  • the estimation unit 55A forms an estimation result for the answer to the setting problem based on the light sensed by the sensing unit 53.
  • the light conversion unit 51 includes optical devices 52-1 to 52-N (N is a natural number of 2 or more) whose parameter setting values are set independently of each other.
  • the light conversion unit 51 includes the optical devices 52-1 to 52-N in which the setting values of the parameters are set independently of each other, and therefore, compared with the case where there is one optical device, Light containing more information can be used in the estimation process by multiple optical devices. As a result, the estimation device 50 can estimate the answer to the setting problem with higher accuracy. Further, since a hardware neural network can be realized by the optical devices 52-1 to 52-N, the amount of calculation by the estimation unit 55A can be reduced. As a result, the estimation device 50 can be applied to an edge terminal having a poor processing capability.
  • the light conversion units 11 and 51 of the first to fourth embodiments may switch the parameter setting values from the first setting values to the second setting values within the exposure time of the sensing units 13 and 53. ..
  • the light conversion unit 11 sets the parameter values updated by the update units 15B, 22B, and 31A to all the optical devices 12-1 to 12-N, and the optical devices 12-1 to 12-N.
  • the state in which the parameter values of some optical devices are switched to have the maximum transmittance is switched within the exposure time of the sensing unit 13.
  • the sensing unit 13 can express an image in which images in two states are added. That is, this operation can express the add layer in the neural network.
  • FIG. 6 is a diagram showing a hardware configuration example of the control device.
  • the control device 100 has a processor 101 and a memory 102.
  • the processor 101 may be, for example, a microprocessor, MPU (Micro Processing Unit), or CPU (Central Processing Unit).
  • the processor 101 may include a plurality of processors.
  • the memory 102 is composed of a combination of a volatile memory and a non-volatile memory.
  • the memory 102 may include storage located remotely from the processor 101. In this case, the processor 101 may access the memory 102 via an I/O interface (not shown).
  • the control devices (control units) 15, 22, 31, 55 of the first to fourth embodiments can each have the hardware configuration shown in FIG.
  • the estimating units 15A, 22A, 55A of the control devices 15, 22, 31, 55 of the first to fourth embodiments, the updating units 15B, 22B, 31A, the learning control units 22C, 31B, and the setting unit 55B. May be realized by the processor 101 reading and executing a program stored in the memory 102.
  • the program can be stored using various types of non-transitory computer readable media, and can be supplied to the control devices 15, 22, 31, 55. Examples of non-transitory computer readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks).
  • non-transitory computer-readable medium examples include CD-ROM (Read Only Memory), CD-R, and CD-R/W.
  • non-transitory computer readable media include semiconductor memory.
  • the semiconductor memory includes, for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory).
  • the program may be supplied to the control devices 15, 22, 31, 55 by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the control devices 15, 22, 31, 55 via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) Light converting means for inputting light from a learning target and using the input light to output light according to a set value of a parameter, Sensing means for sensing the light output from the light converting means, Estimating means for forming an estimation result for an answer to the setting problem based on the sensed light; Updating means for calculating an update value of the parameter based on the estimation result by the estimating means, and updating the set value of the parameter by the calculated update value; Equipped with,
  • the light conversion means includes a plurality of optical devices in which set values of the parameters are set independently of each other, Learning device.
  • the update target device is sequentially switched among the plurality of optical devices, the learning target is switched in accordance with the switching of the update target device, and the update unit is caused to update the set value of the parameter for each update target device.
  • the learning control unit controls batch learning for each of the update target devices, and randomly selects the update target device from the plurality of optical devices, The learning device according to attachment 2.
  • the updating means calculates a gradient by an error backpropagation method using an objective function relating to an error between the estimation result and the correct answer by the estimating means, and based on the calculated gradient, calculates an updated value of the parameter, Updating the set value of the parameter with the calculated update value,
  • the learning device according to attachment 2 or 3.
  • the updating means forms a perturbation using a random number, calculates a gradient using an objective function relating to an error between the estimation result by the estimating means and a correct answer, and the formed perturbation, and based on the calculated gradient. Calculating an update value of the parameter, and updating the set value of the parameter with the calculated update value,
  • the learning device according to attachment 1.
  • the plurality of optical devices includes a liquid crystal device,
  • the updating means updates the set value of the parameter in units of pixels of the liquid crystal device,
  • the learning device according to any one of appendices 1 to 5.
  • the liquid crystal device outputs light in which the light characteristics corresponding to the set value of the parameter are emphasized on a pixel-by-pixel basis,
  • the learning device according to attachment 6.
  • the estimation means includes a neural network, The updating means further updates the parameters of the neural network, The learning device according to any one of appendices 1 to 8.
  • Appendix 11 At least one of an attenuation process, an amplification process, a condensing process, a diffusion process, a process for strengthening light waves, a morea generation process, a spectral process, and a polarization extraction process as the process for the input light.
  • the learning device according to any one of appendices 1 to 10.
  • the setting problem is image recognition, object detection, segmentation, abnormality detection, image generation, image conversion, image compression, light field generation, or three-dimensional image generation.
  • the learning device according to any one of appendices 1 to 11.
  • the light conversion means includes a plurality of optical devices in which set values of the parameters are set independently of each other, Estimator.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Optical Communication System (AREA)

Abstract

学習装置（１０）にて光変換部（１１）は、学習対象からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部（１３）は、光変換部（１１）から出力された光を感知する。推定部（１５Ａ）は、センシング部（１３）で感知された光に基づいて、設定問題の答えについての推定結果を形成する。更新部（１５Ｂ）は、推定部（１５Ａ）による推定結果に基づいて、光変換部（１１）のパラメータの更新値を算出し、算出された更新値によって光変換部（１１）のパラメータの設定値を更新する。そして、光変換部（１１）は、互いに独立してパラメータの設定値が設定される複数の光学デバイス（１２）を含んでいる。

Description

学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置
　本開示は、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置に関する。
　種々の設定問題の答えを推定する推定装置が提案されている（例えば、特許文献１）。特許文献１に開示されている装置の設定問題は、ライトフィールドを取得することである。具体的には、特許文献１に開示されているライトフィールド取得装置は、画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、符号化開口部（つまり、光変換部）の符号化開口形状の設定を制御する。これにより、特許文献１に開示されているライトフィールド取得装置は、画像素子の画素数よりも少ないデータ量であるシーンのライトフィールドを高解像度で取得することができる。
特開２０１６－１５７９９９号公報
　本発明者らは、光変換部に互いに独立してパラメータの設定値が設定される複数の光学デバイスを含めることによって、設定問題の答えをより精度良く推定可能な推定装置を実現できることを見出した。そして、本発明者らは、該複数の光学デバイスに設定されるパラメータの設定値を学習する学習装置を提案する。
　本開示の目的は、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習できる、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置を提供することにある。
　第１の態様にかかる学習装置は、学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
　前記光変換手段から出力された光を感知するセンシング手段と、
　前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
　前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
　を具備し、
　前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
　第２の態様にかかる推定装置は、入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
　前記光変換手段から出力された光を感知するセンシング手段と、
　前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
　を具備し、
　前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
　第３の態様にかかる学習方法は、学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
　前記推定結果に基づいて、前記パラメータの更新値を算出し、
　前記算出された更新値によって前記パラメータの設定値を更新する。
　第４の態様にかかる非一時的なコンピュータ可読媒体は、学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
　前記推定結果に基づいて、前記パラメータの更新値を算出し、
　前記算出された更新値によって前記パラメータの設定値を更新する、
　処理を、学習装置に実行させる、制御プログラムが格納している。
　本開示により、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習できる、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置を提供することができる。
第１実施形態における学習装置の一例を示すブロック図である。 第２実施形態における学習装置の一例を示すブロック図である。 第２実施形態における学習装置の処理動作の一例を示すフローチャートである。 第３実施形態における学習装置の一例を示すブロック図である。 第４実施形態における推定装置の一例を示すブロック図である。 制御装置のハードウェア構成例を示す図である。
　以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜第１実施形態＞
　図１は、第１実施形態における学習装置の一例を示すブロック図である。図１において学習装置１０は、光変換部１１と、センシング部１３と、制御部（制御装置）１５とを有している。
　光変換部１１は、学習対象（例えば、学習画像）からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。例えば、光変換部１１は、互いに独立してパラメータの設定値が設定される光学デバイス１２－１～１２－Ｎ（Ｎは、２以上の自然数）を含んでいる。以下では、光学デバイス１２－１～１２－Ｎを互いに区別しない場合には光学デバイス１２－１～１２－Ｎを総称して単に光学デバイス１２と呼ぶことがある。光学デバイス１２－１～１２－Ｎは、互いに同種の光学デバイスであってもよいし、複数種類の光学デバイスを含んでいてもよい。例えば、光変換部１１は、入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する。
　センシング部１３は、光変換部１１から出力された光を感知する。センシング部１３は、例えば、イメージセンサである。すなわち、センシング部１３は、感知した光を電気信号に変換し、得られた光電気信号を制御部１５へ出力する。なお、図１において光変換部１１とセンシング部１３とを点線で繋いでいるが、この点線は、光路を意味している。
　制御部１５は、推定部１５Ａと、更新部１５Ｂとを有している。
　推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。設定問題は、例えば、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である。すなわち、推定部１５Ａは、設定問題に応じた画像解析処理を実行する機能部である。例えば設定問題が赤色の物体を認識することである場合、推定部１５Ａは、赤色の物体の画像を含む学習画像であれば推定結果として「１」を形成して出力し、赤色の物体の画像を含まない学習画像であれば推定結果として「０」を形成して出力する。また、例えば設定問題がライトフィールドを生成することである場合、推定部１５Ａは、推定結果としてライトフィールドを形成して出力することになる。
　更新部１５Ｂは、推定部１５Ａによる推定結果に基づいて、光変換部１１のパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。
　以上のように第１実施形態によれば、学習装置１０にて光変換部１１は、学習対象からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部１３は、光変換部１１から出力された光を感知する。推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。更新部１５Ｂは、推定部１５Ａによる推定結果に基づいて、光変換部１１のパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。そして、光変換部１１は、互いに独立してパラメータの設定値が設定される光学デバイス１２－１～１２－Ｎ（Ｎは、２以上の自然数）を含んでいる。
　この学習装置１０の構成により、光学デバイス１２－１～１２－Ｎ（Ｎは、２以上の自然数）と同じ複数の光学デバイスとセンシング部と推定部とを含む推定装置（不図示）において該複数の光学デバイスに設定されるパラメータの設定値を学習することができる。そして、該推定装置（不図示）では、光学デバイスが１つの場合に比べて、複数の光学デバイスによってより多くの情報を含む光を推定処理に用いることができるので、該推定装置（不図示）は、設定問題の答えをより精度良く推定することが可能となる。すなわち、学習装置１０によれば、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習することができる。なお、該推定装置（不図示）においては、ハードウェアのニューラルネットワークを、複数の光学デバイスによって実現できている。このため、該推定装置（不図示）の推定部による計算量を削減することができるので、該推定装置（不図示）は、処理能力の劣るエッジ端末にも適用することができる。
＜第２実施形態＞
　第２実施形態は、より具体的な実施形態に関する。
　＜学習装置の構成例＞
　図２は、第２実施形態における学習装置の一例を示すブロック図である。図２において学習装置２０は、光変換部１１と、センシング部１３と、表示部２１と、制御部（制御装置）２２とを含む。制御部２２は、推定部２２Ａと、更新部２２Ｂと、学習制御部２２Ｃとを含む。
　表示部２１は、学習制御部２２Ｃによる制御により、学習画像を表示する。これにより、学習画像に対応する光が、光変換部１１へ入力されることになる。なお、図２において表示部２１と光変換部１１とを点線で繋いでいるが、この点線は、光路を意味している。
　光変換部１１は、第１実施形態で説明したように、光学デバイス１２－１～１２－Ｎ（Ｎは、２以上の自然数）を含んでいる。ここでは、一例として、光学デバイス１２－１～１２－Ｎは、液晶デバイスを含んでおり、光学デバイス１２－１が液晶デバイスであるものとして説明する。
　光学デバイス１２－１は、例えば、第１の偏光板と、第１の偏光板と偏光方向が９０°回転している第２の偏光板と、カラーフィルタと、第１の偏光板と第２の偏光板との間に挟まれた液晶ユニットとを含んでいる。この液晶ユニットに印可する電気信号（つまり、パラメータの設定値）を制御することによって、例えば液晶ユニットの透過率を制御することができる。この制御は、液晶ユニットの画素単位で制御することができる。すなわち、液晶デバイスは、画素単位でパラメータの設定値に応じた光特性が強調された光を出力することができる。
　又は、光学デバイス１２－１は、液晶ユニットを有している。この液晶ユニットに印可する電気信号（つまり、パラメータの設定値）を制御することによって、この液晶ユニットにおける液晶のらせん構造を制御して、選択的に反射される光の波長を制御してもよい。この制御は、液晶ユニットの画素単位で制御することができる。すなわち、液晶デバイスは、画素単位でパラメータの設定値に応じた光特性が強調された光を出力することができる。
　なお、光学デバイス１２には、例えば、液晶デバイスの他に又は液晶デバイスに代えて、液体レンズ、可変形鏡（デフォーマブルミラー）、マイクロチャンネルプレート型光電子増倍管等が用いられてもよい。液体レンズは、電気信号により焦点を調整可能なデバイスである。また、可変形鏡（デフォーマブルミラー）は、電気信号により反射方向を制御可能なデバイスである。また、マイクロチャンネルプレート型光電子増倍管は、入射光をデバイス内で電子に変換し内部で増幅して入射光より強い光を出力するデバイスである。
　学習制御部２２Ｃは、光変換部１１におけるパラメータの設定値の学習を制御する。例えば、学習制御部２２Ｃは、表示部２１に表示される学習画像を切り替える。また、学習制御部２２Ｃは、光変換部１１におけるパラメータの設定値の学習処理におけるパラメータの初期値として、光学シミュレーションによって得られたパラメータ値を用いてもよい。これにより、光学シミュレーションによって得られたパラメータ値のファインチューニングを行うことができる。この場合、例えば、学習制御部２２Ｃは、光学デバイス１２－１～１２－Ｎのそれぞれをモデル化した光学モデルを用いてシミュレートを行い、誤差逆伝播法によって勾配を計算して、光学モデルのパラメータの最適化を行ってもよい。このパラメータの値が、上記の初期値として用いられる。なお、推定部２２Ａがニューラルネットを含む場合には、学習制御部２２Ｃは、該ニューラルネットの学習を制御してもよい。
　推定部２２Ａは、第１実施形態の推定部１５Ａと同様に、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。推定部２２Ａは、例えば、ニューラルネットワークを含んでいる。
　更新部２２Ｂは、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いて勾配を算出する。そして、更新部２２Ｂは、算出された勾配に基づいてパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。更新部２２Ｂは、推定部２２Ａに含まれるニューラルネットワークのパラメータ（重み、バイアス）を更新してもよい。この推定部２２Ａに含まれるニューラルネットワークのパラメータ（重み、バイアス）の更新処理における勾配演算には、ニューラルネットワークの学習において用いられる誤差逆伝播法を用いることができる。
　ここで、光変換部１１における光の入出力現象は、制御部２２（つまり、計算機）の外で起こるため、ニューラルネットワークの学習において用いられる誤差逆伝播法を用いることができない。そこで、更新部２２Ｂは、乱数を用いて摂動ベクトルを形成し、推定部２２Ａによる推定結果と正解との誤差に関する目的関数及び前記形成された摂動ベクトルを用いて勾配を算出する。そして、更新部２２Ｂは、算出された勾配に基づいてパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。
　この勾配の計算では、パラメータベクトルをpとし、その乱数摂動ベクトルをeとする。光変換部１１のニューラルネット全体をf(x, p)とすると、更新部２２Ｂは、入力画像バッチxに対して、f(x, p)とf(x, p+e)を計算する。一般的な勾配計算であれば、パラメータベクトルpの各要素のスカラー値piに対してそれぞれ独立に計算して勾配を求めるため、パラメータの要素数と同数の演算回数が必要となる。一方で、乱数摂動による計算では、摂動eをベクトルで計算するため、演算回数は２回でよい。その代わり、更新部２２Ｂは、摂動ベクトルeを乱数で生成する。例えば、更新部２２Ｂは、乱数をベルヌーイ分布を用いて計算する。これにより、摂動ベクトルeの各要素は、－１又は１の値をとる。また、更新部２２Ｂは、eにハイパーパラメータaを乗算することで、勾配演算のための微分幅を制御することができる。なお、乱数には各イテレーションで同じものが用いられてもよいし、又は、イテレーション毎に異なる乱数が用いられてもよい。乱数摂動はベクトルに限らず、行列、3階以上のテンソルにも適用できる。勾配の更新には、例えば、確率的勾配降下法やＡｄａｍ等が用いられてもよい。また、乱数の計算には、ベルヌーイ分布の他に、例えば、０を平均とする一様分布やガウス分布が用いられてもよい。
　＜学習装置の動作例＞
　以上の構成を有する学習装置２０の処理動作の一例について説明する。図３は、第２実施形態における学習装置の処理動作の一例を示すフローチャートである。
　学習制御部２２Ｃは、光変換部１１に対して、パラメータの初期値を設定する（ステップＳ１０１）。上記の通り、パラメータの初期値として、光学シミュレーションによって得られたパラメータ値が用いられてもよい。
　学習制御部２２Ｃは、表示部２１に学習画像を表示させる（ステップＳ１０２）。これにより、学習画像に対応する光が、光変換部１１へ入力されることになる。
　光変換部１１は、学習画像からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する（ステップＳ１０３）。
　センシング部１３は、光変換部１１から出力された光を感知する（ステップＳ１０４）。
　推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する（ステップＳ１０５）。
　更新部２２Ｂは、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いて勾配を算出する（ステップＳ１０６）。
　学習制御部２２Ｃは、終了条件が満たされているか否かを判定する（ステップＳ１０７）。学習制御部２２Ｃは、例えば、更新部２２Ｂにて今回算出された勾配の符号が前回算出された勾配の符号と異なる場合、目的関数の最小値（又は、極小値）に到達したと見なせるので、終了条件が満たされたと判定する。そして、終了条件が満たされたときには（ステップＳ１０７ＹＥＳ）、処理フローが終了する。
　終了条件が満たされていない場合（ステップＳ１０７ＮＯ）、学習制御部２２Ｃは、更新部２２Ｂに対して、算出された勾配に基づいてパラメータの更新値を算出させ、算出された更新値によって光変換部１１のパラメータの設定値を更新させる（ステップＳ１０８）。
　学習制御部２２Ｃは、学習画像を切り替えて表示部２１に表示させる（ステップＳ１０９）。
　なお、以上の説明では、単一画像毎での学習を前提に説明を行ったが、これに限定されるものではなく、バッチ学習又はミニバッチ学習が行われてもよい。
＜第３実施形態＞
　上記の第２実施形態では、１つのタイミングで光学デバイス１２－１～１２－Ｎの全てをパラメータの更新対象デバイスとすることを前提に説明を行った。これに対して、第３実施形態は、光学デバイス１２－１～１２－Ｎのうちで更新対象デバイスが順次切り替えられる実施形態に関する。
　図４は、第３実施形態における学習装置の一例を示すブロック図である。図４において学習装置３０は、制御部（制御装置）３１を有する。制御部３１は、更新部３１Ａと、学習制御部３１Ｂとを有する。
　学習制御部３１Ｂは、光学デバイス１２－１～１２－Ｎのうちで更新対象デバイスを順次切り替え、更新対象デバイスの切り替えに応じて表示部２１に表示される学習画像を切り替えるとともに、更新部３１Ａに対して更新対象デバイス単位でパラメータの設定値を更新させる。
　ここで、光学デバイス１２－１～１２－Ｎのすべてが液晶デバイスであるものとする。このとき、学習制御部３１Ｂは、光学デバイス１２－１～１２－Ｎのうちで更新対象デバイスを選択する。そして、学習制御部３１Ｂは、光学デバイス１２－１～１２－Ｎのうちで更新対象デバイス以外のパラメータの設定値を、最大の透過率となるように設定する。そして、学習制御部３１Ｂは、更新部３１Ａに対して、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって、更新対象デバイスについての勾配を算出させる。ここで、更新対象デバイス以外の光学デバイス１２のパラメータの設定値が最大の透過率となるように設定されることにより、光変換部１１から出力される光は、更新対象デバイス以外の光学デバイス１２による影響を受けていないと見なすことができる。このため、更新対象デバイスの入力と出力とが数値化できるため、誤差逆伝播法を、勾配の計算に用いることができる。そして、学習制御部３１Ｂは、１つの更新対象デバイスについてパラメータを最適化した後に、更新対象デバイスを切り替えて、切り替えられた更新対象デバイスについてのパラメータの学習を進める。すなわち、ここでは、Stackedオートエンコーダの最適化の要領で、光学デバイス１２－１～１２－Ｎのパラメータの学習が行われている。
　なお、学習制御部３１Ｂは、１つの更新対象デバイスについてバッチ学習を進め、該バッチ学習が完了した場合、まだ学習が行われていない光学デバイス１２を次の更新対象デバイスとしてランダムに選択して、該選択された更新対象デバイスについて学習を進めてもよい。
＜第４実施形態＞
　第４実施形態は、第１実施形態から第３実施形態で説明した学習装置によって学習されたパラメータ値が設定された推定装置に関する。
　図５は、第４実施形態における推定装置の一例を示すブロック図である。図５において推定装置５０は、光変換部５１と、センシング部５３と、制御部（制御装置）５５と、取得部５７とを有している。
　光変換部５１は、入力された光を用いて、パラメータの設定値に応じた光を出力する。光変換部５１は、互いに独立してパラメータの設定値が設定される光学デバイス５２－１～５２－Ｎ（Ｎは、２以上の自然数）を含んでいる。光学デバイス５２－１～５２－Ｎは、第１実施形態から第３実施形態の光学デバイス１２－１～１２－Ｎにそれぞれ対応しており、学習装置１０，２０，３０にて学習されたパラメータ値が設定される。すなわち、光変換部５１は、第１実施形態から第３実施形態の光変換部１１と同様の構成を有している。
　センシング部５３は、光変換部５１から出力された光を感知する。すなわち、センシング部５３は、第１実施形態から第３実施形態のセンシング部１３と同様の構成を有している。
　制御部５５は、推定部５５Ａと、設定部５５Ｂとを有する。
　推定部５５Ａは、センシング部５３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。すなわち、推定部５５Ａは、第１実施形態から第３実施形態の推定部１５Ａ，２２Ａと同じ構成を有している。
　設定部５５Ｂは、取得部５７にて取得されたパラメータ値を、光変換部５１の光学デバイス１２－１～１２－Ｎにそれぞれ設定する。
　取得部５７は、学習装置１０，２０，３０にて学習されたパラメータ値を取得する。取得部５７は、学習装置１０，２０，３０からパラメータ値を有線通信又は無線通信によって取得する通信部であってもよい。又は、取得部５７は、推定装置５０と学習装置１０，２０，３０とを繋ぐケーブルが接続されるインタフェース部であってもよい。取得部５７が学習装置１０，２０，３０にて学習されたパラメータ値を取得することにより、例えば、光学デバイス５２－１～５２－Ｎに設定されるパラメータ値をダウンロードすることができる。また、本実施形態における光学デバイスは計算機の外部にあるので、デバイス出荷時にパラメータ値を設定し、さらにエッジ端末においてパラメータに直接アクセスできなくすることもできる。これによりエッジ端末のパラメータはハッキングできなくなる。
　以上のように第４実施形態によれば、推定装置５０にて光変換部５１は、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部５３は、光変換部５１から出力された光を感知する。推定部５５Ａは、センシング部５３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。そして、光変換部５１は、互いに独立してパラメータの設定値が設定される光学デバイス５２－１～５２－Ｎ（Ｎは、２以上の自然数）を含んでいる。
　この推定装置５０の構成により、光変換部５１が互いに独立してパラメータの設定値が設定される光学デバイス５２－１～５２－Ｎを含んでいるので、光学デバイスが１つの場合に比べて、複数の光学デバイスによってより多くの情報を含む光を推定処理に用いることができる。これにより、推定装置５０は、設定問題の答えをより精度良く推定することができる。また、光学デバイス５２－１～５２－Ｎによってハードウェアのニューラルネットワークを実現できるので、推定部５５Ａによる計算量を削減することができる。これにより、推定装置５０を処理能力の劣るエッジ端末にも適用することができる。
　＜他の実施形態＞
　＜１＞第１実施形態から第４実施形態の光変換部１１，５１は、センシング部１３，５３の露光時間内においてパラメータの設定値を第１設定値から第２設定値へ切り替えてもよい。例えば、光変換部１１は、光学デバイス１２－１～１２－Ｎの全てに、更新部１５Ｂ，２２Ｂ，３１Ａによって更新されたパラメータ値を設定する状態と、光学デバイス１２－１～１２－Ｎの一部の光学デバイスのパラメータ値を最大の透過率となるように切り替えた状態とを、センシング部１３の露光時間内に切り替える。これにより、センシング部１３では２つの状態の画像が足し合わさった画像を表現することができる。すなわち、この操作によって、ニューラルネットにおけるadd層を表現することができる。又は、足し合わせではなく、上記の２つの状態の画像をセンシング部１３に並べるようにしてもよい。これにより、ニューラルネットにおけるconcatenate層を表現することができる。このような方法によれば、U-netなどで用いられるskip connectionが可能となる。光変換部５１及びセンシング部５３についても同様である。
　＜２＞図６は、制御装置のハードウェア構成例を示す図である。図６において制御装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
　第１実施形態から第４実施形態の制御装置（制御部）１５，２２，３１，５５は、それぞれ、図６に示したハードウェア構成を有することができる。第１実施形態から第４実施形態の制御装置１５，２２，３１，５５の推定部１５Ａ，２２Ａ，５５Ａと、更新部１５Ｂ，２２Ｂ，３１Ａと、学習制御部２２Ｃ，３１Ｂと、設定部５５Ｂとは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、制御装置１５，２２，３１，５５に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって制御装置１５，２２，３１，５５に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを制御装置１５，２２，３１，５５に供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
　前記光変換手段から出力された光を感知するセンシング手段と、
　前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
　前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
　を具備し、
　前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
　学習装置。
（付記２）
　前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
　付記１記載の学習装置。
（付記３）
　前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
　付記２記載の学習装置。
（付記４）
　前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
　付記２又は３に記載の学習装置。
（付記５）
　前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
　付記１記載の学習装置。
（付記６）
　前記複数の光学デバイスは、液晶デバイスを含み、
　前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
　付記１から５のいずれか１項に記載の学習装置。
（付記７）
　前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
　付記６記載の学習装置。
（付記８）
　前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第１設定値から第２設定値へ切り替える、
　付記１から７のいずれか１項に記載の学習装置。
（付記９）
　前記推定手段は、ニューラルネットを含み、
　前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
　付記１から８のいずれか１項に記載の学習装置。
（付記１０）
　学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
　付記１から９のいずれか１項に記載の学習装置。
（付記１１）
　前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する、
　付記１から１０のいずれか１項に記載の学習装置。
（付記１２）
　前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である、
　付記１から１１のいずれか１項に記載の学習装置。
（付記１３）
　入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
　前記光変換手段から出力された光を感知するセンシング手段と、
　前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
　を具備し、
　前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
　推定装置。
（付記１４）
　学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
　前記推定結果に基づいて、前記パラメータの更新値を算出し、
　前記算出された更新値によって前記パラメータの設定値を更新する、
　学習方法。
（付記１５）
　学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
　前記推定結果に基づいて、前記パラメータの更新値を算出し、
　前記算出された更新値によって前記パラメータの設定値を更新する、
　処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
　１０　学習装置
　１１　光変換部
　１２　光学デバイス
　１３　センシング部
　１５　制御部（制御装置）
　１５Ａ　推定部
　１５Ｂ　更新部
　２０　学習装置
　２１　表示部
　２２　制御部（制御装置）
　２２Ａ　推定部
　２２Ｂ　更新部
　２２Ｃ　学習制御部
　３０　学習装置
　３１　制御部（制御装置）
　３１Ａ　更新部
　３１Ｂ　学習制御部
　５０　推定装置
　５１　光変換部
　５３　センシング部
　５５　制御部（制御装置）
　５５Ａ　推定部
　５５Ｂ　設定部
　５７　取得部

Claims (15)

  1. 　学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
    　前記光変換手段から出力された光を感知するセンシング手段と、
    　前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
    　前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
    　を具備し、
    　前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
    　学習装置。
  2. 　前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
    　請求項１記載の学習装置。
  3. 　前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
    　請求項２記載の学習装置。
  4. 　前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
    　請求項２又は３に記載の学習装置。
  5. 　前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
    　請求項１記載の学習装置。
  6. 　前記複数の光学デバイスは、液晶デバイスを含み、
    　前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
    　請求項１から５のいずれか１項に記載の学習装置。
  7. 　前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
    　請求項６記載の学習装置。
  8. 　前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第１設定値から第２設定値へ切り替える、
    　請求項１から７のいずれか１項に記載の学習装置。
  9. 　前記推定手段は、ニューラルネットを含み、
    　前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
    　請求項１から８のいずれか１項に記載の学習装置。
  10. 　学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
    　請求項１から９のいずれか１項に記載の学習装置。
  11. 　前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する、
    　請求項１から１０のいずれか１項に記載の学習装置。
  12. 　前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である、
    　請求項１から１１のいずれか１項に記載の学習装置。
  13. 　入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
    　前記光変換手段から出力された光を感知するセンシング手段と、
    　前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
    　を具備し、
    　前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
    　推定装置。
  14. 　学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
    　前記推定結果に基づいて、前記パラメータの更新値を算出し、
    　前記算出された更新値によって前記パラメータの設定値を更新する、
    　学習方法。
  15. 　学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
    　前記推定結果に基づいて、前記パラメータの更新値を算出し、
    　前記算出された更新値によって前記パラメータの設定値を更新する、
    　処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2019/004045 2019-02-05 2019-02-05 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 WO2020161799A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020570242A JP7251558B2 (ja) 2019-02-05 2019-02-05 学習装置、学習方法、及び推定装置
PCT/JP2019/004045 WO2020161799A1 (ja) 2019-02-05 2019-02-05 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置
EP19914303.3A EP3923566A4 (en) 2019-02-05 2019-02-05 LEARNING DEVICE, LEARNING METHOD, NON-TRANSITORY COMPUTER READABLE MEDIA INCLUDING A CONTROL PROGRAM STORED THEREOF, AND ESTIMATING DEVICE
US17/428,110 US11825185B2 (en) 2019-02-05 2019-02-05 Learning device, learning method, and non transitory computer-readable medium having control program stored thereon, and estimation device
CN201980093446.4A CN113491105B (zh) 2019-02-05 2019-02-05 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/004045 WO2020161799A1 (ja) 2019-02-05 2019-02-05 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置

Publications (1)

Publication Number Publication Date
WO2020161799A1 true WO2020161799A1 (ja) 2020-08-13

Family

ID=71948159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004045 WO2020161799A1 (ja) 2019-02-05 2019-02-05 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置

Country Status (5)

Country Link
US (1) US11825185B2 (ja)
EP (1) EP3923566A4 (ja)
JP (1) JP7251558B2 (ja)
CN (1) CN113491105B (ja)
WO (1) WO2020161799A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228024A (ja) * 2000-02-16 2001-08-24 Univ Saitama 分光画像撮像装置
JP2016157999A (ja) 2015-02-23 2016-09-01 日本電信電話株式会社 ライトフィールド取得装置及びライトフィールド取得方法
JP2018097407A (ja) * 2016-12-08 2018-06-21 日本電信電話株式会社 摂動学習装置とその方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7294817B2 (en) * 2004-05-06 2007-11-13 Siemens Power Generation, Inc. System and methods for determining nonuniformity correction parameters in detector-array imaging
JP4413261B2 (ja) * 2008-01-10 2010-02-10 シャープ株式会社 撮像装置及び光軸制御方法
CN101718940B (zh) 2009-11-17 2012-06-27 武汉光迅科技股份有限公司 实现掺铒光纤放大器快速收敛的控制装置及控制方法
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP2017194498A (ja) 2016-04-18 2017-10-26 キヤノン株式会社 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体
JP6948128B2 (ja) 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
CN109186657B (zh) 2018-09-26 2022-03-08 Oppo广东移动通信有限公司 接近传感器参数校准方法、装置、终端设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228024A (ja) * 2000-02-16 2001-08-24 Univ Saitama 分光画像撮像装置
JP2016157999A (ja) 2015-02-23 2016-09-01 日本電信電話株式会社 ライトフィールド取得装置及びライトフィールド取得方法
JP2018097407A (ja) * 2016-12-08 2018-06-21 日本電信電話株式会社 摂動学習装置とその方法

Also Published As

Publication number Publication date
EP3923566A1 (en) 2021-12-15
JPWO2020161799A1 (ja) 2021-11-25
CN113491105A (zh) 2021-10-08
EP3923566A4 (en) 2022-03-23
CN113491105B (zh) 2023-09-12
US11825185B2 (en) 2023-11-21
US20220132027A1 (en) 2022-04-28
JP7251558B2 (ja) 2023-04-04

Similar Documents

Publication Publication Date Title
US9420276B2 (en) Calibration of light-field camera geometry via robust fitting
US7469202B2 (en) System and method for optimizing optical and digital system designs
CN103139469B (zh) 利用多分辨率过程生成鲁棒深度图的系统和方法
CN102833472B (zh) 摄像设备及其控制方法
CA2827236C (en) Focus error estimation in images
US20120148109A1 (en) Distance estimation device, distance estimation method, integrated circuit, and computer program
JP2009009593A (ja) 電光画像処理システム
CN111024229B (zh) 单芯片集成型光谱成像微系统光谱数据校正方法
CN104581137A (zh) 检测设备、摄像设备、摄像系统和检测设备的控制方法
CN104251818A (zh) 图像捕获装置和电子设备
JP2005292662A (ja) 波面補償装置、波面補償方法、プログラム、及び、記録媒体
JP2017055386A (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
CN110244523B (zh) 一体化光刻方法及光刻系统
Shi et al. Rapid all-in-focus imaging via physical neural network optical encoding
US20210044746A1 (en) Image processing apparatus, imaging apparatus, and image processing method
WO2020161799A1 (ja) 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置
Ferdman et al. Diffractive optical system design by cascaded propagation
US10339665B2 (en) Positional shift amount calculation apparatus and imaging apparatus
CN116399259A (zh) 一种基于结构光三维测量的Gamma校正方法及系统
US20130011050A1 (en) Filter Setup Learning for Binary Sensor
JP5611439B2 (ja) 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム
JP7009219B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
CN109844453B (zh) 显示装置
KR20160023242A (ko) 렌즈에 의한 불균일 영상 보정 장치 및 그 방법
JP2017034595A (ja) 画像処理装置、撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914303

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020570242

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019914303

Country of ref document: EP

Effective date: 20210906