WO2017169656A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2017169656A1
WO2017169656A1 PCT/JP2017/009703 JP2017009703W WO2017169656A1 WO 2017169656 A1 WO2017169656 A1 WO 2017169656A1 JP 2017009703 W JP2017009703 W JP 2017009703W WO 2017169656 A1 WO2017169656 A1 WO 2017169656A1
Authority
WO
WIPO (PCT)
Prior art keywords
film
light
image
reflection
imaging device
Prior art date
Application number
PCT/JP2017/009703
Other languages
English (en)
French (fr)
Inventor
貴真 安藤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201780008340.0A priority Critical patent/CN108605086B/zh
Priority to JP2018508932A priority patent/JP6814983B2/ja
Publication of WO2017169656A1 publication Critical patent/WO2017169656A1/ja
Priority to US16/054,187 priority patent/US10531015B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Definitions

  • the present disclosure relates to an imaging apparatus.
  • Picosecond order ultra-high-speed imaging is an indispensable technique for observation of ultra-high-speed dynamics or chemical reactions.
  • ultra-high speed dynamics for example, by observing a phenomenon that occurs in a very short time, such as during femtosecond laser processing, elucidation of material properties, destructive inspection, ablation observation, or improvement of fine processing accuracy can be achieved.
  • chemical reaction observation by ultra-high-speed imaging for example, it is possible to observe a photochemical reaction, which is a movement at the molecular level, or to trace the behavior of a protein.
  • Chemical reaction observation by ultra-high-speed imaging can be applied to medical, drug discovery, healthcare, or biotechnology fields.
  • Non-patent documents 1 and 2 disclose examples of techniques for realizing such ultra-high speed imaging.
  • the conventional ultra-high time-resolved imaging cannot be applied to the case of imaging an object in which the wavelength dependence of transmittance or reflectance is biased, and it is necessary to use an expensive apparatus.
  • one aspect of the present disclosure provides a new imaging technique that can achieve ultra-high time resolution imaging of a picosecond order, for example, without depending on the target spectral characteristics and at low cost.
  • An imaging apparatus includes a light source that emits pulsed light, a reflection encoding element that is disposed on an optical path of the pulsed light, and an imaging element.
  • the reflective encoding element intersects the optical path and has a first film having light transmittance and light reflectivity, a second film intersecting the optical path and having light transmittance and light reflectivity, and the first film Each arranged between at least one plane located between the film and the second film and intersecting the optical path, each selected from the group consisting of the degree of polarization, phase and intensity of the incident light
  • a modulation element including a plurality of modulation regions for modulating at least one.
  • the image sensor receives light from a target, and outputs one or more electrical signals indicating an image of the target based on the received light from the target. At least one selected from the group consisting of the first film and the second film is inclined with respect to a plane perpendicular to the optical path.
  • the reflection encoding element performs multiple reflections of a part of the pulsed light from the second film toward the target while performing multiple reflection of the pulsed light between the first film and the second film. To emit.
  • the comprehensive or specific aspect described above may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium.
  • the present invention may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
  • an imaging apparatus that can realize ultra-high-speed imaging of, for example, several picoseconds to several hundred picoseconds at low cost.
  • FIG. 1 is a schematic diagram illustrating an imaging apparatus according to the first embodiment of the present disclosure.
  • FIG. 2 is a diagram for explaining coded illumination in the first embodiment.
  • FIG. 3A is a diagram illustrating an example of a two-dimensional distribution of the intensity of light emitted from the coded illumination according to the first embodiment.
  • FIG. 3B is a diagram illustrating another example of the two-dimensional distribution of the intensity of light emitted from the coded illumination according to the first embodiment.
  • FIG. 4 is a flowchart illustrating an overview of the time-resolved imaging method according to the first embodiment.
  • FIG. 5 is a schematic diagram illustrating an imaging apparatus according to the second embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an optical system according to Embodiment 3 of the present disclosure.
  • FIG. 7 is a diagram illustrating a reflective encoding element according to Embodiment 4 of the present disclosure.
  • FIG. 8 is a diagram illustrating an arrangement of imaging elements according to the fifth embodiment
  • Non-Patent Document 1 discloses an example of a technique that enables ultra-high-speed imaging as described above.
  • pulsed light in a wide wavelength band is stretched in time for each wavelength and irradiates an observation target.
  • Light having image information to be observed is spatially separated according to the wavelength and imaged by the image sensor. Thereby, ultra high-speed imaging with a single shot is realized.
  • Non-Patent Document 2 discloses that a streak camera is used to superimpose and acquire a two-dimensional image of an object subjected to intensity modulation coding with a temporal shift. From the acquired superimposed image, a statistical calculation process is performed based on the encoding information, thereby reconstructing a picosecond order ultra-high resolution image. It can be said that the technique of Non-Patent Document 2 is an application example of the compressed sensing technique.
  • Compressed sensing is a technology that restores more data from acquired data with a smaller number of samples. If the two-dimensional coordinates of the measurement target are (x, y) and the wavelength is ⁇ , the data f to be obtained is three-dimensional data of x, y, ⁇ . On the other hand, the image data g obtained by the image sensor is two-dimensional data compressed and multiplexed in the ⁇ axis direction.
  • the problem of obtaining data f having a relatively large amount of data from acquired image g having a relatively small amount of data is a so-called defect setting problem and cannot be solved as it is. However, in general, natural image data has redundancy, and this defect setting problem can be converted into a good setting problem by skillfully using it.
  • jpeg compression An example of a technique for reducing the amount of data by utilizing image redundancy is jpeg compression.
  • jpeg compression a method is used in which image information is converted into frequency components, and non-essential portions of data, for example, components with low visual recognition are removed.
  • compressed sensing such a technique is incorporated into arithmetic processing, and a data space to be obtained is converted into a space represented by redundancy, thereby reducing unknowns and obtaining a solution.
  • DCT discrete cosine transform
  • wavelet transform wavelet transform
  • Fourier transform total variation
  • the present inventor cannot apply to conventional ultra-high time-resolved imaging when using light of a single wavelength, or imaging an object with a biased spectral characteristic, or using an expensive apparatus. I found a problem that I needed to do. The present inventor has conceived that the above problem can be solved by utilizing reflection and modulation of light.
  • This disclosure includes the imaging devices described in the following items.
  • An imaging apparatus is: A light source that emits pulsed light; A reflection encoding element disposed on an optical path of the pulsed light, A first film that intersects the optical path and has a light transmitting property and a light reflecting property; A second film that intersects the optical path and has light transparency and light reflection; Each of which is arranged between at least one surface located between the first film and the second film and intersecting the optical path, each consisting of a polarization degree, a phase and an intensity of incident light.
  • a modulation element including a plurality of modulation regions for modulating at least one selected
  • a reflective encoding element comprising: An image sensor that receives light from a target and outputs one or more electrical signals indicating an image of the target based on the received light from the target; With At least one selected from the group consisting of the first film and the second film is inclined with respect to a plane perpendicular to the optical path; The reflection encoding element performs multiple reflections of a part of the pulsed light from the second film toward the target while performing multiple reflection of the pulsed light between the first film and the second film. To emit.
  • An imaging device Based on the one or more electrical signals and the spatial distribution of the partial intensity of the pulsed light emitted from the second film, each generates a plurality of data indicating an image of the target for each time A signal processing circuit may be further provided.
  • the signal processing circuit may generate the plurality of data by a statistical method.
  • the number of the plurality of data may be larger than the number of the one or more electrical signals.
  • the signal processing circuit is determined by a vector g having the values of the one or more electrical signals as elements and a spatial distribution of the intensity of each part of the pulsed light emitted from the second film. Using the matrix H,
  • the vector f ′ calculated by the following equation may be generated as the plurality of data.
  • the transmittance of the first film and the second film with respect to the pulsed light may be 5% or less.
  • the modulation element has a first surface that intersects the optical path, and a second surface opposite to the first surface;
  • the first film is in direct contact with the first surface;
  • the second film may be in direct contact with the second surface.
  • An optical system including at least one condenser lens may be further provided between the reflection encoding element and the target.
  • all or part of a circuit, unit, device, member, or part, or all or part of a functional block in a block diagram is a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). It may be performed by one or more electronic circuits that contain it.
  • the LSI or IC may be integrated on a single chip, or may be configured by combining a plurality of chips.
  • the functional blocks other than the memory element may be integrated on one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • a Field Programmable Gate Array (FPGA), which is programmed after the manufacture of the LSI, or a reconfigurable logic device capable of reconfiguring the junction relationship inside the LSI or setting up the circuit partition inside the LSI can be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • the software is recorded on a non-transitory recording medium such as one or more ROMs, optical disks, hard disk drives, etc., and is specified by the software when the software is executed by a processor. Functions are performed by the processor and peripheral devices.
  • the system or apparatus may include one or more non-transitory recording media on which software is recorded, a processor, and required hardware devices, such as an interface.
  • a signal indicating an image (for example, a set of signals indicating pixel values of each pixel) may be referred to as “image signal”, “image information”, or “image data”.
  • image signal for example, a set of signals indicating pixel values of each pixel
  • image data for example, a signal indicating an image
  • a signal indicating an image may be simply referred to as an “image”.
  • FIG. 1 is a diagram schematically illustrating a configuration of the imaging apparatus 100 according to the first embodiment of the present disclosure.
  • FIG. 1 illustrates not only the imaging device 100 but also an example of a target 110 as a measurement target, an image output from the imaging device 100, and a plurality of images output from the signal processing circuit 160.
  • the imaging apparatus 100 includes a light source 120, a beam expander 130, a reflection encoding element 140, and an imaging sensor (image sensor) 150.
  • the reflection encoding element 140 is disposed between the light source 120 and the target 110.
  • the beam expander 130 is disposed between the light source 120 and the reflection encoding element 140.
  • the imaging element 150 detects light emitted from the light source 120 and transmitted through the beam expander 130, the reflection encoding element 140, and the target 110, and outputs a captured image 170 that is an electrical signal indicating an image of the target 110.
  • the captured image 170 is processed by the signal processing circuit 160.
  • the signal processing circuit 160 generates and outputs time-resolved images F 1 , F 2 ,... F w (sometimes collectively referred to as “time-resolved image F”) from the captured image 170.
  • the light source 120 emits pulsed light.
  • the light source 120 can be realized by, for example, a laser diode that emits high-speed pulsed light having a pulse width of a picosecond order or less.
  • the picosecond order means a time of 1 picosecond (ps) or more and less than 1 microsecond ( ⁇ s).
  • the light source 120 emits pulsed light having a pulse width of several picoseconds to several tens of picoseconds.
  • FIG. 1 shows an example of a situation where the light source 120 emits pulsed light having a pulse width of 30 ps as an example.
  • the wavelength of light emitted from the light source 120 is not limited to a specific wavelength, and is appropriately determined according to the target 110.
  • the light source 120 is not limited to the visible wavelength range, and may emit electromagnetic waves in the wavelength range of X-rays, ultraviolet rays, near infrared rays, mid infrared rays, far infrared rays, or radio waves (for example, microwaves).
  • the wavelength of light from the light source 120 can be set to, for example, approximately 650 nm or more and approximately 950 nm or less.
  • Light in this wavelength range is known to be included in the wavelength range from red to near-infrared and has a low absorption rate in the body.
  • not only visible light but also general radiation including infrared rays and ultraviolet rays is referred to as “light”.
  • the pulsed light emitted from the light source 120 passes through the beam expander 130 and enters the reflection encoding element 140.
  • the beam expander 130 expands the spatial size of the pulsed light emitted from the light source 120.
  • the beam expander 130 expands the pulsed light to an irradiation area that sufficiently covers the detected portion of the object 110.
  • the beam expander 130 may be omitted if unnecessary.
  • the reflection encoding element 140 is disposed on the optical path of the light from the light source 120.
  • the reflection encoding element 140 includes a first film 142 and a second film 144 that face each other. Each of the first film 142 and the second film 144 is disposed so as to intersect the optical path of the light from the light source 120, and has light transmittance and light reflectivity.
  • the second film 144 is disposed on the optical path of the light transmitted through the first film 142.
  • the first film 142 and the second film 144 are parallel.
  • the first film 142 and the second film 144 are inclined at an angle ⁇ with respect to the direction perpendicular to the traveling direction of the incident pulsed light.
  • the distance between the first film 142 and the second film 144 is 10 mm in the example illustrated in FIG. 1, but is not limited thereto.
  • the distance between the first film 142 and the second film 144 may be, for example, 1 mm or more and 100 mm or less.
  • the distance between the first film 142 and the second film 144 is set to an appropriate value depending on the angle ⁇ .
  • the first film 142 and the second film 144 do not need to be strictly parallel, and may be inclined with respect to each other as long as encoding described later is possible. Both the first film 142 and the second film 144 need not be inclined at an angle ⁇ with respect to a direction perpendicular to the traveling direction of the incident pulsed light. It suffices that at least one of the first film 142 and the second film 144 is inclined at an angle ⁇ with respect to the direction perpendicular to the traveling direction of the incident pulsed light.
  • the first film 142 and the second film 144 of the reflection encoding element 140 are, for example, dielectric films including a plurality of layers. This dielectric film transmits part of the incident light and reflects the other part of the incident light. In the present embodiment, each of the first film 142 and the second film 144 reflects most of the incident light (for example, 80% or more and 99.9% or less) and transmits the remaining part of the incident light.
  • the reflectance and transmittance in the first film 142 and the second film 144 are not limited to the above example, and are appropriately set according to the application. Since the first film 142 and the second film 144 have light reflectivity, they can be called “reflective elements”.
  • a plurality of absorbers 146 are spatially sparsely arranged. These absorbers 146 may be disposed on the space between the first film 142 and the second film 144 or on the first film 142 or the second film 144.
  • the plurality of absorbers 146 can be arranged two-dimensionally or three-dimensionally.
  • the absorber 146 absorbs at least part of the light. In FIG. 1, the absorber 146 is represented by a black rectangle. FIG. 1 shows only a few absorbers 146 for simplicity, but in practice many absorbers 146 may be placed in the reflective encoding element 140.
  • the region where the absorber 146 is disposed functions as a modulation region for modulating the light intensity. Therefore, in the present embodiment, a portion including a plurality of modulation regions in which a plurality of absorbers 146 are arranged is referred to as a “modulation element”. That is, the reflection encoding element 140 in this embodiment has a modulation element arranged between the first film 142 and the second film 144. The modulation element has a plurality of modulation regions arranged on at least one surface intersecting the optical path and modulating the light intensity.
  • a light ray incident on the reflection encoding element 140 is subjected to multiple reflections between the first film 142 and the second film 144.
  • a part of the light beam passes through the second film 144 a plurality of times and travels toward the object 110 while performing multiple reflection.
  • part of the light incident on the reflective encoding element 140 is emitted discretely on the time axis to the target 110 side.
  • the coded illumination P having a plurality of light shielding regions, which are a plurality of modulation regions, flickers at a constant time interval while changing the arrangement of the light shielding regions. it can.
  • FIG. 2 illustrates the coded illumination P 1 and the coded illumination P 2 , which are two different states of the coded illumination P.
  • the first film 142 and the second film 144 of the reflection encoding element 140 are inclined by an angle ⁇ with respect to a plane perpendicular to the light traveling direction. For this reason, the encoding pattern which is the state of the encoding illumination P changes each time light reciprocates between the first film 142 and the second film 144 of the reflection encoding element 140.
  • the light reflected by the second film 144 of the reflective encoding element 140 is reflected by the first film 142 and reaches the second film 144 again. It suffices if the position of the light beam changes. In order to cause the change in the position of the light beam, it is not necessary to set the inclination angle ⁇ of the reflection encoding element 140 to a large value, and for example, it is sufficient to make it larger than 0 degree and 10 degrees or less.
  • Encoding lighting P 1 are discretely formed in the time axis, P 2, ⁇ ⁇ ⁇ , emission time difference of the light from the P w is the optical path length difference of the light propagating through the refractive index of the reflecting coding device 140 It depends on. For example, if the distance between the first film 142 and the second film 144 is 10 mm and the refractive index is 1.5, the light emitted from the second film 144 at a certain point in time is subjected to multiple reflections and then the second The optical path length difference from the light emitted from the film 144 is 30 mm.
  • the time difference from when the coded illumination P is turned on to when it is turned on is about 100 ps.
  • This time difference can be shortened by reducing the distance between the first film 142 and the second film 144. For example, if the distance between the first film 142 and the second film 144 is 1 mm, the time difference is about 10 ps, which is extremely short.
  • the pulse of light emitted from the reflective encoding element 140 at regular time intervals modulates the intensity of the object 110 with different encoding patterns depending on time.
  • An image of the object 110 that has been intensity-modulated in this way is acquired by the image sensor 150.
  • the image sensor 150 continues exposure while multiple reflection occurs in the reflection encoding element 140 (that is, while the encoded illumination P changes the encoding pattern).
  • an image obtained by superimposing an image of the object 110 that changes with time and a spatial distribution of light intensity, which is an encoded pattern of the encoded illumination P is captured by an image sensor.
  • 150 imaging surfaces are formed.
  • the image sensor 150 generates and outputs a captured image 170 that is an electrical signal indicating the image.
  • FIG. 1 schematically shows an example of a captured image 170 output from the image sensor 150.
  • an optical system including at least one lens may be installed between the image sensor 150 and the object 110, and the object 110 may be focused and photographed.
  • the captured image 170 is sent to the signal processing circuit 160 directly or via a recording medium (not shown) (for example, a memory).
  • the signal processing circuit 160 performs statistical calculation processing based on the information of the coded illumination P that is known.
  • the information on the coded illumination P is information indicating the spatial distribution of the intensity of light emitted from the reflective coding element 140 and irradiating the object 110.
  • the signal processing circuit 160 reconstructs the captured image 170 into a plurality of time-resolved images F 1 , F 2 ,..., F w .
  • the time-resolved image Fk (k is an integer greater than or equal to 1 and less than or equal to w, and w is the number of time-resolved images) is an image of light that passes through the second film 144 of the reflective encoding element 140 after starting exposure.
  • the time difference between the time-resolved images F corresponds to the time difference of the coded illumination P. For example, as shown in FIG. 1, when the coded illumination P is pulsed light with an interval of 100 ps, a time-resolved image F is also obtained with an interval of 100 ps.
  • the reflection encoding element 140 includes a plurality of regions arranged in a two-dimensional manner and having different light transmittances when projected onto a plane orthogonal to the light path and divided into a lattice shape.
  • the reflection encoding element 140 includes M M ⁇ N rectangular areas in the vertical direction and N in the horizontal direction when viewed from the direction in which the light is incident.
  • the spatial distribution of the light transmittance of each region in the reflection encoding element 140 can be, for example, a random distribution or a quasi-random distribution.
  • the random distribution and quasi-random distribution can be defined using the autocorrelation function defined by the following equation (1).
  • x (m, n) represents the light transmittance of a rectangular region arranged in the reflection encoding element 140 at the mth in the vertical direction and the nth in the horizontal direction.
  • x (m, n) 0.
  • the quasi-random distribution means that the autocorrelation function y (i, j) has a maximum value of M / 10 or less in the i direction in addition to y (0,0) and N / 10 or less in the j direction. It has a maximum value of.
  • the light transmittance of each region of the reflection encoding element 140 may be a binary-scale transmittance distribution in which the transmittance of each region (cell) can take any value of approximately 0 or approximately 1, or the transmittance is It may be a gray scale transmittance distribution that can take any value between 0 and 1.
  • a part (for example, half) of all the cells may be replaced with a transparent region.
  • the plurality of transparent regions can be arranged in, for example, a checkered pattern. That is, in the two arrangement directions (for example, the vertical direction and the horizontal direction) of the plurality of areas in the reflective encoding element 140, areas having different light transmittances and transparent areas can be alternately arranged.
  • the reflection encoding element 140 can be configured using a dielectric film including a plurality of layers, an organic material, a diffraction grating structure, various light shielding materials, and the like.
  • FIG. 3A is a diagram illustrating an example of an intensity distribution of the coded illumination P in the present embodiment.
  • the two-dimensional distribution of light intensity in the coded illumination P can be, for example, a random distribution or a quasi-random distribution. The concept of the random distribution and the quasi-random distribution is as described above.
  • Each coded illumination P 1 , P 2 ,..., P w has a two-dimensionally different random distribution.
  • the light intensity distribution may be arbitrarily set.
  • the ratio of the number of black portions to the number of white portions is 1: 1, but is not limited to such a ratio.
  • FIG. 3B is a diagram illustrating another configuration example of the coded illumination P.
  • each region in the coded illumination P has three or more levels of light intensity values.
  • the encoding illumination P has a time t 1, t 2, ⁇ ⁇ ⁇ , spatial intensity distribution which is different for each t w.
  • the spatial intensity distribution at each time may coincide when translated in the spatial direction.
  • Such information regarding the spatial intensity distribution of the coded illumination P is acquired in advance by design data or actual measurement, and is used for arithmetic processing described later.
  • the encoding lighting P 1 is the brightest, the encoding illumination P w is darkest.
  • the image sensor 150 is a monochrome type image sensor having a plurality of light detection cells (also referred to as “pixels” in this specification) arranged two-dimensionally on the imaging surface.
  • the imaging device 150 can be, for example, a CCD (Charge-Coupled Device) sensor, a CMOS (Complementary Metal Oxide Semiconductor) sensor, an infrared array sensor, a terahertz array sensor, or a millimeter wave array sensor.
  • the light detection cell includes, for example, a photodiode.
  • the image sensor 150 is not necessarily a monochrome type image sensor.
  • a color type image sensor having a filter of R / G / B, R / G / B / IR, or R / G / B / W may be used.
  • the imaging device 150 may have detection sensitivity in the wavelength range of X-rays, ultraviolet rays, near infrared rays, mid infrared rays, far infrared rays, microwaves / radio waves, not limited to the visible wavelength range.
  • the signal processing circuit 160 is a circuit that processes the image signal output from the image sensor 150.
  • the signal processing circuit 160 is a programmable logic device (PLD) such as a digital signal processor (DSP), a field programmable gate array (FPGA), or a central processing unit (CPU) and an image processing arithmetic processor (GPU) and a computer program. It can be realized by a combination.
  • PLD programmable logic device
  • DSP digital signal processor
  • FPGA field programmable gate array
  • CPU central processing unit
  • GPU image processing arithmetic processor
  • Such a computer program is stored in a recording medium such as a memory, for example, and a processor such as a CPU can execute arithmetic processing described later by executing the program.
  • the signal processing circuit 160 may be an external element of the imaging apparatus 100.
  • a signal processing device 160 may be included in a signal processing device such as a personal computer (PC) electrically connected to the imaging device 100 or a cloud server on the Internet.
  • PC personal computer
  • a system including such a signal processing device and an imaging device can be referred to as a “time resolution system”.
  • FIG. 4 is a flowchart showing an overview of the time-resolved imaging method in the present embodiment.
  • the optical characteristic for example, the amplitude of the electric field of light
  • the imaging element 150 acquires an image in which the target image encoded by the encoded illumination P that is light transmitted through the reflection encoding element 140 is superimposed on the time axis.
  • step S103 based on the captured image 170 acquired by the imaging device 150 and the spatial distribution of the light intensity of the coded illumination P, a plurality of images for each time are generated.
  • FIG. 1 schematically shows an example of the photographed image 170.
  • a plurality of black dots included in the photographed image 170 shown in FIG. 1 schematically represent a low-luminance portion generated by encoding.
  • the number and arrangement of black dots shown in FIG. 1 does not reflect the actual number and arrangement. In practice, there may be more low-brightness parts than the number shown in FIG.
  • Multiple image information is converted into a plurality of electrical signals by a plurality of light detection cells in the image sensor 150, and a captured image 170 is generated.
  • the data to be obtained is a time-resolved image F, and the data is represented as f.
  • f is the image data f 1, f 2 each time, ..., it is data obtained by integrating f w.
  • the number of pixels in the x direction of the image data to be obtained is n and the number of pixels in the y direction is m
  • each of the image data f 1 , f 2 ,..., F w is two-dimensional data of n ⁇ m pixels. It is a gathering. Therefore, the data f is three-dimensional data having the number of elements n ⁇ m ⁇ w.
  • the number of elements of the data g of the captured image 170 acquired by being encoded and multiplexed by the encoded illumination P is n ⁇ m. That is, the number of pieces of data of the plurality of pieces of image data f for each time of the target 110 is greater than the number of pieces of data of the captured image 170 that is an electric signal output from the image sensor 150.
  • the data g in this embodiment can be expressed by the following formula (2).
  • the vector on the right side is strictly a one-dimensional vector of n ⁇ m ⁇ w rows and 1 column. It is.
  • the vector g is expressed by being converted into a one-dimensional vector of n ⁇ m rows and 1 column and calculated.
  • the matrix H represents a conversion in which each component f 1 , f 2 ,..., F w of the vector f is encoded with different encoding information for each time and added. Therefore, H is a matrix of n ⁇ m rows and n ⁇ m ⁇ w columns.
  • the signal processing circuit 160 uses an image redundancy included in the data f and obtains a solution using a compression sensing technique. Specifically, the required data f is estimated by solving the following equation (3).
  • f ′ represents estimated f data.
  • the first term in parentheses in the above equation represents a deviation amount between the estimation result Hf and the acquired data g, a so-called residual term.
  • the sum of squares is used as a residual term, but an absolute value or a square sum of squares or the like may be used as a residual term.
  • the second term in parentheses is a regularization term (or stabilization term) described later.
  • Equation (3) means obtaining f that minimizes the sum of the first term and the second term.
  • the signal processing circuit 160 can converge the solution by a recursive iterative operation and calculate a final solution f ′.
  • the first term in parentheses in Equation (3) means an operation for obtaining the sum of squares of the difference between the acquired data g and Hf obtained by system-transforming f in the estimation process by the matrix H.
  • ⁇ (f) in the second term is a constraint condition for regularization of f, and is a function reflecting the sparse information of the estimated data. As a function, there is an effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, discrete cosine transform (DCT), wavelet transform, Fourier transform, total variation (TV), or the like of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observation data g.
  • the sparsity of the object 110 in each regularization term space depends on the texture of the object 110.
  • a regularization term in which the texture of the object 110 becomes more sparse in the regularization term space may be selected.
  • a plurality of regularization terms may be included in the calculation.
  • ⁇ is a weighting factor, and the larger this value, the larger the amount of redundant data reduction, and the smaller the value, the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value that f converges to some extent and does not cause overcompression.
  • the present embodiment it is possible to perform ultra-high-speed imaging of picosecond order or less with a relatively inexpensive configuration. According to the present embodiment, even when narrow band (for example, a single wavelength) light is used, or even when the wavelength dependency of the transmittance or reflectance of the object 110 is biased, imaging with high time resolution is performed. Is possible.
  • narrow band for example, a single wavelength
  • Embodiment 2 The imaging apparatus of the second embodiment is different from the imaging apparatus of the first embodiment in that the modulation element in the reflection encoding element 140 spatially modulates the degree of polarization rather than the light intensity.
  • the modulation element in the reflection encoding element 140 spatially modulates the degree of polarization rather than the light intensity.
  • FIG. 5 is a diagram schematically showing the configuration of the imaging apparatus 200 in the present embodiment.
  • the reflection encoding element 140 in this embodiment includes a first reflection element 230 that is a first film, a second reflection element 240 that is a second film, and a modulation element 210 between them. At least one of the first reflective element 230 and the second reflective element 240 is installed to be inclined by an angle ⁇ with respect to a plane perpendicular to the incident direction of light from the light source 120.
  • the first reflective element 230 and the second reflective element 240 have a predetermined light transmittance, transmit part of the light, and reflect the other part of the light.
  • the first reflective element 230 and the second reflective element 240 can be formed of a dielectric film including a plurality of layers, for example.
  • the modulation element 210 randomly modulates the degree of polarization of transmitted light two-dimensionally. Since the first reflective element 230 is inclined by the angle ⁇ with respect to the optical axis, the position where the light beam is transmitted through the second reflective element 240 changes each time multiple reflection is repeated. For this reason, the two-dimensional polarization distribution changes. Therefore, the reflection encoding element 140 emits light beams having spatially different polarization directions to the target 110 at regular time intervals.
  • the imaging apparatus 200 in the present embodiment is disposed between a polarizer 180 that is a linear polarizer disposed between the light source 120 and the first reflective element 230, and between the second reflective element 240 and the target 110.
  • an analyzer 190 which is a linear polarizer.
  • the direction of the polarization transmission axis of the polarizer 180 and the direction of the polarization transmission axis of the analyzer 190 are the same.
  • the combination of the polarizer 180, the reflection encoding element 140, and the analyzer 190 functions as the encoded illumination P shown in FIG.
  • the coded illumination P has a coding pattern indicating a two-dimensional intensity distribution.
  • the modulation element 210 in this embodiment has a plurality of modulation regions that are two-dimensionally arranged on one surface orthogonal to the optical path of the light from the light source 120 and modulate the degree of polarization of light.
  • a birefringent material such as liquid crystal, crystal, or cellophane is disposed so that the polarization direction is random for each region.
  • a spatial light modulator SLM that modulates the degree of polarization may be used.
  • the SLM can dynamically change the spatial polarization distribution, but the modulation element 210 in the present embodiment only needs to realize a spatially random polarization distribution, and does not need to be changed dynamically.
  • the shielding rate increases in accordance with the number of reflections during multiple reflection.
  • the shielding rate does not change even if the number of reflections increases. Therefore, according to the present embodiment, more states of the encoded illumination P than in the first embodiment can be realized, and the number of time resolutions of high time resolution imaging can be increased. In the present embodiment, for example, as shown in FIG. 5, if the distance between the first reflective element 230 and the second reflective element 240 is 1.5 mm, an image of about 10 ps is acquired. can do.
  • the light transmittance of the first reflective element 230 and the second reflective element 240 in the present embodiment can be set to a relatively small value.
  • the light transmittance of the first reflective element 230 and the second reflective element 240 may be, for example, 5% or less, 1% or less, or 0.1% or less.
  • the light transmittance of 1% when light reflectance of 99%, the light intensity of the encoded illumination P 10 from the encoding illumination P 1 is as shown in Table 1.
  • the light intensity difference between the encoded illumination P 1 and encoded lighting P 10 it can be suppressed to less than 20%, it is possible to reduce the light intensity difference between coding lighting P.
  • the absolute light amount is lowered as a whole.
  • by increasing the intensity of the light source 120 it is possible to ensure sufficient light intensity for intensity modulation of the object 110.
  • the reflectivity of the first reflective element 230 and the second reflective element 240 is increased, a lot of stray light that is unnecessary reflected light is generated. Therefore, countermeasures against stray light may be taken.
  • a light absorbing member may be installed in the traveling direction of the light reflected toward the light source 120 by the first reflective element 230.
  • the first reflection element 230 and the second reflection element 240 may be in close contact with the modulation element 210 as in a fourth embodiment (FIG. 7) described later.
  • the optical path length difference between the first film and the second film can be reduced.
  • the pulse interval of the coded illumination P can be reduced, high-speed imaging can be performed in a shorter time.
  • the polarizer 180 may be omitted. However, even in this case, the analyzer 190 is arranged.
  • the third embodiment is different from the first and second embodiments in that the modulation pattern of the coded illumination P is reduced using an optical system.
  • matters different from the first and second embodiments will be described, and a detailed description of the same contents will be omitted.
  • FIG. 6 is a diagram schematically showing the optical system 220 of the third embodiment.
  • the imaging apparatus according to the present embodiment includes an optical system 220 including at least one condenser lens between the reflection encoding element 140 and the target 110.
  • the optical system 220 is a condensing optical system, and focuses incident light with a relatively high magnification.
  • the coded illumination P in the present embodiment may have any configuration of the first and second embodiments.
  • the optical system 220 reduces the spatial size of the encoded illumination P by converging the light emitted from the reflective encoding element 140. As a result, as illustrated in FIG. 6, the same effect as that obtained when the object 110 is irradiated with the reduced coded illumination P ′ can be obtained.
  • the spatial resolution of the modulation pattern of the coded illumination P can be increased. As a result, a fine object 110 such as a cell or molecule can be observed.
  • the optical system 220 By arranging the optical system 220, it is possible to reduce the load of fine processing when the reflection encoding element 140 is created. For example, even if the distance between the centers of adjacent modulation regions, which is the resolution of the encoding distribution of the reflective encoding element 140, is 1 ⁇ m or more and 10 ⁇ m or less, the magnification of the optical system 220 is, for example, 2 times or more and 20 times or less. By doing so, it is possible to realize a coded illumination P with a resolution of submicron (less than 1 ⁇ m). Furthermore, spatial resolution can be further improved by using electromagnetic waves with short wavelengths such as ultraviolet rays or X-rays.
  • the fourth embodiment is different from the second embodiment in that the modulation element 210 is a phase modulation element.
  • the modulation element 210 is a phase modulation element.
  • FIG. 7 is a diagram schematically showing the configuration of the modulation element 210, the polarizer 180, and the analyzer 190 in the present embodiment.
  • the modulation element 210 in the present embodiment has a plurality of modulation regions that are arranged on one surface that intersects the optical path of the light from the light source 120 and modulates the phase of the light.
  • the plurality of modulation regions modulate the transmitted light so that the phases of the light emitted from the second reflecting element 240 are randomly different two-dimensionally.
  • black and white portions of the modulation element 210 indicate that the refractive index or the phase shift amount is different.
  • the phase differs by 180 degrees between light that has passed through a black region once and light that has passed through a white region once.
  • the encoded illumination P in which the spatial distribution of the phase of the emitted light is different on the time axis.
  • the phase of the emitted light is further modulated by the phase of the object 110.
  • the image sensor 150 in the present embodiment converts phase difference information into intensity information by the configuration of the polarizer 180 and the analyzer 190 and outputs it as image information for each pixel.
  • the phase distribution in the modulation element 210 is not limited to binary (two types) phase distribution.
  • a stepwise gray scale phase distribution may be used.
  • the modulation element 210 can be easily configured using a plurality of materials having different refractive indexes, liquid crystals, birefringent materials, or a spatial light modulator (SLM).
  • SLM spatial light modulator
  • the first reflective element 230 and the second reflective element 240 in this embodiment are in close contact with the modulation element 210.
  • the first reflection element 230, the second reflection element 240, and the modulation element 210 are manufactured and arranged as a single optical component.
  • the distance between the first reflective element 230 and the second reflective element 240 can be shortened, so that the time resolution can be increased.
  • the first reflective element 230 and the second reflective element 240 may be separated from the modulation element 210.
  • the fifth embodiment is different from the first to fourth embodiments in that the image sensor 150 captures a reflected image of the object 110.
  • the image sensor 150 captures a reflected image of the object 110.
  • FIG. 8 is a diagram showing the arrangement of the image sensor 150 in the present embodiment.
  • a reflected image of the object 110 optically modulated (for example, intensity modulation, polarization modulation, or phase modulation) by the coded illumination P is observed by the image sensor 150.
  • the configuration of the reflection encoding element 140 may be any of the configurations of the first to fourth embodiments.
  • a three-dimensional spatial distribution of the intensity of light emitted from the coded illumination P can be acquired in advance. Thereby, a three-dimensional image of the object 110 can be generated based on the image acquired by the image sensor 150. Alternatively, a three-dimensional image of the object 110 can be reconstructed by geometric calculation based on the parallax between the coded illumination P and the image sensor 150.
  • the imaging device according to the present disclosure is useful, for example, for a camera or a measuring device for ultra-high-speed imaging of picosecond order or lower.
  • the imaging device according to the present disclosure can be applied to, for example, ultrafast dynamics, chemical reaction, or observation of molecular behavior.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示の一態様に係る撮像装置は、パルス光を発する光源と、反射符号化素子と、撮像素子とを備える。前記反射符号化素子は、光透過性および光反射性を有する第１および第２膜と、前記第１膜と前記第２膜との間に配置された変調素子とを含む。前記変調素子は、前記パルス光の光路に交差する少なくとも１つの面上に配列された、各々が、入射する光の偏光度、位相、および強度からなる群から選択される少なくとも１つを変調させる複数の変調領域を含む。前記撮像素子は、前記対象からの光を受光し、受光した前記対象からの光に基づき、前記対象の画像を示す１つ以上の電気信号を出力する。前記反射符号化素子は、前記第１膜と前記第２膜との間で前記パルス光を多重反射させながら、前記第２膜から前記パルス光の一部を複数回に亘って出射させる。

Description

撮像装置
　本開示は、撮像装置に関する。
　ピコセカンドオーダの超高速撮像（超高時間分解撮像ともいう）は、超高速ダイナミクスまたは化学反応の観察に不可欠な技術である。超高速ダイナミクスに関しては、例えば、フェムト秒レーザ加工時などの極短時間で発生する現象の観察により、材料物性の解明、破壊検査、アブレーション観察、または微細加工の精度の向上が図れる。超高速撮像による化学反応観察に関しては、例えば、分子レベルの動きである光化学反応の観測またはタンパク質の挙動の追跡が可能である。超高速撮像による化学反応観察は、医療、創薬、ヘルスケア、またはバイオテクノロジの分野に応用可能である。このような超高速撮像を実現するための技術の例が、例えば非特許文献１および２に開示されている。
Ｎａｋａｇａｗａ，　Ｋｅｉｉｃｈｉ　ｅｔ　ａｌ．，　"Ｓｅｑｕｅｎｔｉａｌｌｙ　ｔｉｍｅｄ　ａｌｌ－ｏｐｔｉｃａｌ　ｍａｐｐｉｎｇ　ｐｈｏｔｏｇｒａｐｈｙ　（ＳＴＡＭＰ），"　Ｎａｔｕｒｅ　Ｐｈｏｔｏｎｉｃｓ，　８，　９，　ｐｐ．６９５－７００（２０１４） Ｇａｏ，　Ｌｉａｎｇ　ｅｔ　ａｌ．，　"Ｓｉｎｇｌｅ－ｓｈｏｔ　ｃｏｍｐｒｅｓｓｅｄ　ｕｌｔｒａｆａｓｔ　ｐｈｏｔｏｇｒａｐｈｙ　ａｔ　ｏｎｅ　ｈｕｎｄｒｅｄ　ｂｉｌｌｉｏｎ　ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ，"　Ｎａｔｕｒｅ，　５１６，　７５２９，　ｐｐ．７４－７７（２０１４）
　従来の超高時間分解撮像では、透過率または反射率の波長依存性に偏りがある対象を撮像する場合には適用できなかったり、高価な装置を用いたりする必要があった。
　本開示の一態様は、例えばピコセカンドオーダの超高時間分解撮像を、対象の分光特性に依存せず、かつ、安価に実現し得る新たな撮像技術を提供する。
　本開示の一態様に係る撮像装置は、パルス光を発する光源と、前記パルス光の光路上に配置された反射符号化素子と、撮像素子と、を備える。前記反射符号化素子は、前記光路と交差し、光透過性および光反射性を有する第１膜と、前記光路と交差し、光透過性および光反射性を有する第２膜と、前記第１膜と前記第２膜との間に位置し、かつ前記光路と交差する少なくとも１つの面上に配列された、各々が、入射する光の偏光度、位相、および強度からなる群から選択される少なくとも１つを変調させる、複数の変調領域を含む変調素子と、を含む。前記撮像素子は、対象からの光を受光し、受光した前記対象からの光に基づき、前記対象の画像を示す１つ以上の電気信号を出力する。前記第１膜および前記第２膜からなる群から選択される少なくとも一方は、前記光路に垂直な面に対して傾斜している。前記反射符号化素子は、前記第１膜と前記第２膜との間で前記パルス光を多重反射させながら、前記第２膜から前記パルス光の一部を前記対象に向けて複数回に亘って出射させる。
　上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様によれば、例えば数ピコセカンド以上数百ピコセカンド以下の超高速撮像を安価に実現し得る撮像装置を提供できる。
図１は、本開示の実施形態１の撮像装置を示す模式図である。 図２は、実施形態１における符号化照明を説明するための図である。 図３Ａは、実施形態１における符合化照明から出射される光の強度の２次元分布の一例を示す図である。 図３Ｂは、実施形態１における符合化照明から出射される光の強度の２次元分布の他の例を示す図である。 図４は、実施形態１における時間分解撮像方法の概要を示すフローチャートである。 図５は、本開示の実施形態２の撮像装置を示す模式図である。 図６は、本開示の実施形態３における光学系を示す図である。 図７は、本開示の実施形態４における反射符号化素子を示す図である。 図８は、本開示の実施形態５における撮像素子の配置を示す図である。
　本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
　非特許文献１は、前述のような超高速撮像を可能にする技術の例を開示している。非特許文献１の技術では、広い波長帯域のパルス光が波長ごとに時間的に引き伸ばされて観察対象を照射する。観察対象の像情報を有する光は、波長に応じて空間的に分離して撮像素子で撮像される。これにより、シングルショットでの超高速撮像が実現される。
　非特許文献２は、ストリークカメラを用いて、強度変調符合化された対象の２次元像を時間的にシフトさせて重畳取得することを開示している。取得された重畳画像から、符合化情報に基づいて統計演算処理を行うことにより、ピコセカンドオーダの超高時間分解画像が再構成される。非特許文献２の技術は、圧縮センシング技術の応用例であるといえる。
　圧縮センシングとは、少ないサンプル数の取得データから、それよりも多くのデータを復元する技術である。測定対象の２次元座標を（ｘ、ｙ）、波長をλとすると、求めたいデータｆは、ｘ、ｙ、λの３次元のデータである。これに対し、撮像素子によって得られる画像データｇは、λ軸方向に圧縮および多重化された２次元のデータである。相対的にデータ量が少ない取得画像ｇから、相対的にデータ量が多いデータｆを求める問題は、いわゆる不良設定問題であり、このままでは解くことができない。しかし、一般に、自然画像のデータは冗長性を有しており、それを巧みに利用することでこの不良設定問題を良設定問題に変換することができる。画像の冗長性を活用してデータ量を削減する技術の例に、ｊｐｅｇ圧縮がある。ｊｐｅｇ圧縮は、画像情報を周波数成分に変換し、データの本質的でない部分、例えば、視覚の認識性が低い成分を除去するといった方法が用いられる。圧縮センシングでは、このような技法を演算処理に組入れ、求めたいデータ空間を冗長性で表された空間に変換することで未知数を削減し解を得る。この変換には、例えば、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、トータルバリエーション（ＴＶ）等が使用される。
　本発明者は、従来の超高時間分解撮像には、単一波長の光を用いる場合、または、分光特性に偏りがある対象を撮像する場合には適用できなかったり、高価な装置を用いたりする必要があるという課題を見出した。本発明者は、光の反射と変調とを利用することにより、上記の課題を解決できることに想到した。
　本開示は、以下の項目に記載の撮像装置を含む。
　［項目１］
　本開示の項目１に係る撮像装置は、
　パルス光を発する光源と、
　前記パルス光の光路上に配置された反射符号化素子であって、
　　前記光路と交差し、光透過性および光反射性を有する第１膜と、
　　前記光路と交差し、光透過性および光反射性を有する第２膜と、
　　前記第１膜と前記第２膜との間に位置し、かつ前記光路と交差する少なくとも１つの面上に配列された、各々が、入射する光の偏光度、位相、および強度からなる群から選択される少なくとも１つを変調させる、複数の変調領域を含む変調素子と、
　を含む反射符号化素子と、
　対象からの光を受光し、受光した前記対象からの光に基づき、前記対象の画像を示す１つ以上の電気信号を出力する撮像素子と、
　を備え、
　前記第１膜および前記第２膜からなる群から選択される少なくとも一方は、前記光路に垂直な面に対して傾斜し、
　前記反射符号化素子は、前記第１膜と前記第２膜との間で前記パルス光を多重反射させながら、前記第２膜から前記パルス光の一部を前記対象に向けて複数回に亘って出射させる。
　［項目２］
　本開示の項目１に記載の撮像装置は、
　前記１つ以上の電気信号と、前記第２膜から出射された前記パルス光の前記一部の強度の空間分布とに基づいて、各々が前記対象の時間ごとの画像を示す複数のデータを生成する信号処理回路をさらに備えてもよい。
　［項目３］
　本開示の項目２に記載の撮像装置において、
　前記信号処理回路は、統計的方法によって前記複数のデータを生成してもよい。
　［項目４］
　本開示の項目２または３に記載の撮像装置において、
　前記複数のデータの数は、前記１つ以上の電気信号の数よりも多くてもよい。
　［項目５］
　本開示の項目２から４のいずれかに記載の撮像装置において、
　前記信号処理回路は、前記１つ以上の電気信号の値を要素とするベクトルｇと、前記第２膜から出射された前記パルス光の前記一部の時間ごとの強度の空間分布によって決定される行列Ｈとを用いて、
Figure JPOXMLDOC01-appb-M000002
　（ここで、τΦ（ｆ）は正則化項、τは重み係数を示す）
の式によって計算されるベクトルｆ’を、前記複数のデータとして生成してもよい。
　［項目６］
　本開示の項目１から５のいずれかに記載の撮像装置において、
　前記第１膜および前記第２膜の、前記パルス光に対する透過率は、５％以下であってもよい。
　［項目７］
　本開示の項目１から６のいずれかに記載の撮像装置において、
　前記変調素子は、前記光路と交差する第１面、および前記第１面と反対側の第２面を有し、
　前記第１膜は、前記第１面に直接接しており、
　前記第２膜は、前記第２面に直接接していてもよい。
　［項目８］
　本開示の項目１から７のいずれかに記載の撮像装置において、
　前記反射符号化素子と前記対象との間に、少なくとも１つの集光レンズを含む光学系をさらに備えていてもよい。
　本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。　ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。
　以下、図面を参照しながら本開示の実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示している。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　本明細書では、画像を示す信号（例えば、各画素の画素値を表す信号の集合）を、「画像信号」、「画像情報」、または「画像データ」と称することがある。画像を示す信号を、単に「画像」と称することもある。
　（実施形態１）
　図１は、本開示の実施形態１の撮像装置１００の構成を模式的に示す図である。図１は、撮像装置１００だけでなく、測定対象物である対象１１０、および撮像装置１００から出力される画像、および信号処理回路１６０から出力される複数の画像の例も示している。撮像装置１００は、光源１２０と、ビームエクスパンダ１３０と、反射符号化素子１４０と、撮像素子（ｉｍａｇｅ　ｓｅｎｓｏｒ）１５０とを備えている。反射符号化素子１４０は、光源１２０と対象１１０との間に配置されている。ビームエクスパンダ１３０は、光源１２０と反射符号化素子１４０との間に配置されている。撮像素子１５０は、光源１２０から出射され、ビームエクスパンダ１３０、反射符号化素子１４０、および対象１１０を透過した光を検出し、対象１１０の画像を示す電気信号である撮影画像１７０を出力する。撮影画像１７０は、信号処理回路１６０によって処理される。信号処理回路１６０は、撮影画像１７０から、時間分解画像Ｆ１、Ｆ２、・・・Ｆｗ（まとめて「時間分解画像Ｆ」と表現することがある）を生成して出力する。
　光源１２０は、パルス光を発する。光源１２０は、例えばピコセカンドオーダ以下のパルス幅の高速パルス光を出射するレーザーダイオード等によって実現され得る。ピコセカンドオーダとは、１ピコ秒（ｐｓ）以上１マイクロ秒（μｓ）未満の時間を意味する。光源１２０は、例えば、数ピコ秒以上数十ピコ秒以下のパルス幅のパルス光を発する。図１は、一例として、光源１２０が３０ｐｓのパルス幅のパルス光を出射している状況の例を示している。
　光源１２０が発する光の波長は、特定の波長に限定されず、対象１１０に応じて適宜決定される。光源１２０は、可視の波長範囲に限らず、Ｘ線、紫外、近赤外、中赤外、遠赤外、または電波（例えばマイクロ波など）の波長範囲の電磁波を出射してもよい。対象１１０が例えば生体である場合、光源１２０からの光の波長は、例えば略６５０ｎｍ以上略９５０ｎｍ以下に設定され得る。この波長範囲の光は、赤色から近赤外線の波長範囲に含まれ、体内での吸収率が低いことで知られている。本明細書では、可視光のみならず赤外線および紫外線を含む放射全般を「光」と称する。光源１２０から出射されたパルス光は、ビームエクスパンダ１３０を通過して反射符合化素子１４０に入射する。
　ビームエクスパンダ１３０は、光源１２０から出射されたパルス光の空間的なサイズを拡大する。ビームエクスパンダ１３０により、パルス光は、対象１１０の被検出部を十分覆うだけの照射面積にまで拡大される。ビームエクスパンダ１３０は、不要であれば省略してもよい。
　反射符号化素子１４０は、光源１２０からの光の光路上に配置されている。反射符合化素子１４０は、互いに対向する第１膜１４２と第２膜１４４とを有する。第１膜１４２および第２膜１４４の各々は、光源１２０からの光の光路に交差して配置され、光透過性および光反射性を有する。第２膜１４４は、第１膜１４２を透過した光の光路上に配置されている。本実施形態における第１膜１４２および第２膜１４４は、平行である。第１膜１４２および第２膜１４４は、入射するパルス光の進行方向に垂直な方向に対して角度θで傾斜している。第１膜１４２と第２膜１４４との距離は、図１に示す例では１０ｍｍであるが、これに限定されない。第１膜１４２と第２膜１４４との距離は、例えば１ｍｍ以上１００ｍｍ以下であり得る。第１膜１４２と第２膜１４４との距離は、角度θに依存して適切な値に設定される。第１膜１４２と第２膜１４４とは、厳密に平行である必要はなく、後述する符号化が可能な限りにおいて、互いに傾斜していてもよい。第１膜１４２および第２膜１４４の両方が、入射するパルス光の進行方向に垂直な方向に対して角度θで傾斜している必要はない。第１膜１４２および第２膜１４４の少なくとも一方が、入射するパルス光の進行方向に垂直な方向に対して角度θで傾斜していればよい。
　反射符合化素子１４０の第１膜１４２および第２膜１４４は、例えば、複数の層を含む誘電体膜である。この誘電体膜は、入射光の一部を透過させ、入射光の他の一部を反射する。本実施形態では、第１膜１４２および第２膜１４４の各々は、入射光の多く（例えば８０％以上９９．９％以下）を反射し、入射光の残りの部分を透過させる。第１膜１４２および第２膜１４４における反射率および透過率は、上記の例に限らず、用途に応じて適宜設定される。第１膜１４２および第２膜１４４は、光反射性を有しているため、「反射素子」と呼ぶことができる。
　反射符合化素子１４０には、空間的にまばらに複数の吸収体１４６が配置されている。これらの吸収体１４６は、第１膜１４２と第２膜１４４との間の空間、または、第１膜１４２上もしくは第２膜１４４上に配置され得る。複数の吸収体１４６は、２次元的または３次元的に配置され得る。吸収体１４６は、光の少なくとも一部を吸収する。図１において、吸収体１４６は、黒い矩形で表現されている。図１は、簡略化のため、少数の吸収体１４６のみを示しているが、実際には多数の吸収体１４６が反射符号化素子１４０内に配置され得る。
　吸収体１４６が配置された領域は、光の強度を変調させる変調領域として機能する。そこで、本実施形態では、複数の吸収体１４６が配置された複数の変調領域を含む部分を、「変調素子」と称する。すなわち、本実施形態における反射符号化素子１４０は、第１膜１４２と第２膜１４４との間に配置された変調素子を有している。変調素子は、光路に交差する少なくとも１つの面上に配列された、光の強度を変調する複数の変調領域を有する。
　反射符合化素子１４０に入射した光線は、第１膜１４２と第２膜１４４との間で多重反射する。多重反射しながら、当該光線の一部は、複数回に亘って第２膜１４４を透過して対象１１０に向かう。言い換えれば、反射符号化素子１４０に入射した光の一部が、時間軸において離散的に、対象１１０の側に出射する。この過程は、図２に示すように、複数の変調領域である複数の遮光領域を有する符号化照明Ｐが、遮光領域の配置を変化させながら一定の時間間隔で明滅していると考えることができる。図２は、符号化照明Ｐの異なる２つの状態である符号化照明Ｐ１および符号化照明Ｐ２を例示している。
　本実施形態における反射符号化素子１４０の第１膜１４２および第２膜１４４は、光の進行方向に垂直な平面に対して角度θだけ傾いている。このため、符合化照明Ｐの状態である符号化パターンは、反射符合化素子１４０の第１膜１４２と第２膜１４４との間を光が往復するごとに変化する。符号化照明Ｐの符号化パターンを変化させるためには、反射符号化素子１４０の第２膜１４４で反射された光が第１膜１４２で反射されて第２膜１４４に再び到達するまでの間に光線の位置が変化すれば良い。この光線の位置の変化を生じさせるためには、反射符号化素子１４０の傾き角度θを大きい値に設定する必要はなく、例えば、０度より大きく１０度以下にすれば十分である。
　時間軸において離散的に形成される符合化照明Ｐ１、Ｐ２、・・・、Ｐｗからの光の出射時間差は、反射符合化素子１４０の屈折率と内部を進行する光の光路長差とによって決まる。例えば、第１膜１４２と第２膜１４４との距離が１０ｍｍ、屈折率が１．５であるとすると、ある時点で第２膜１４４から出射される光と、多重反射して次に第２膜１４４から出射される光との間の光路長差は３０ｍｍである。光の速度を３．０×１０８ｍ／ｓとすると、符合化照明Ｐが点灯してから次に点灯するまでの時間差は約１００ｐｓである。この時間差は、第１膜１４２と第２膜１４４との距離を縮小することによって短縮できる。例えば、第１膜１４２と第２膜１４４との距離を１ｍｍにすれば、時間差は約１０ｐｓになり、極めて短くなる。
　一定の時間間隔で反射符号化素子１４０から出射される光のパルスは、対象１１０を、時間によって異なる符号化パターンによって強度変調する。このように強度変調された対象１１０の像が、撮像素子１５０によって取得される。撮像素子１５０は、反射符号化素子１４０で多重反射が生じている間（即ち、符号化照明Ｐが符号化パターンを変化させている間）、露光を継続する。露光中、対象１１０が高速に動的に変化すると、時間の経過とともに変化する対象１１０の画像と、符合化照明Ｐの符合化パターンである光強度の空間分布とが重畳された画像が撮像素子１５０の撮像面に形成される。撮像素子１５０は、その画像を示す電気信号である撮影画像１７０を生成して出力する。図１には、撮像素子１５０から出力される撮影画像１７０の例が模式的に示されている。なお、撮像素子１５０と対象１１０との間に、少なくとも１つのレンズを含む光学系を設置し、対象１１０にフォーカスを合わせて撮影してもよい。
　撮影画像１７０は、信号処理回路１６０に直接的にまたは不図示の記録媒体（例えばメモリ）を介して送られる。信号処理回路１６０は、撮影画像１７０を取得すると、既知である符号化照明Ｐの情報に基づいて、統計演算処理を行う。符号化照明Ｐの情報は、本実施形態では、反射符号化素子１４０から出射され、対象１１０を照射する光の強度の空間分布を示す情報である。これにより、信号処理回路１６０は、撮影画像１７０を、複数の時間分解画像Ｆ１、Ｆ２、・・・、Ｆｗに再構成する。時間分解画像Ｆｋ（ｋは、１以上ｗ以下の整数、ｗは時間分解数）は、露光を開始してから、反射符号化素子１４０の第２膜１４４をｋ番目に通過する光による画像を表す。時間分解画像Ｆの相互の時間差は、符号化照明Ｐの時間差に対応している。例えば、図１に示すように、符号化照明Ｐが１００ｐｓ間隔のパルス光である場合には、時間分解画像Ｆも１００ｐｓ間隔で得られる。
　反射符号化素子１４０は、光の経路に直交する平面に投影して格子状に区分けしたとき、２次元的に配列された、光透過率が異なる複数の領域を含む。ここでは、反射符号化素子１４０は、光が入射する方向から見て、縦にＭ個、横にＮ個のＭ×Ｎ個の矩形領域を含むものとする。反射符号化素子１４０における各領域の光透過率の空間分布は、例えばランダム分布または準ランダム分布であり得る。
　ランダム分布および準ランダム分布は次の式（１）で定義される自己相関関数を用いて定義することができる。
Figure JPOXMLDOC01-appb-M000003
　式（１）において、ｘ（ｍ，ｎ）は、反射符号化素子１４０において、縦方向にｍ番目、横方向にｎ番目に配置された矩形領域の光透過率を表す。ｉは、矩形領域の位置を示す変数であり、ｉ＝－（Ｍ－１），・・・，－１，０，１，・・・，（Ｍ－１）、ｊ＝－（Ｎ－１），・・・，－１，０，１，・・・，（Ｎ－１）である。ただし、ｍ＜１，ｎ＜１，ｍ＞Ｍ，ｎ＞Ｎのときｘ（ｍ，ｎ）＝０とする。このとき、ランダム分布とは、式（１）で定義される自己相関関数ｙ（ｉ，ｊ）がｙ（０，０）において極大値を有し、その他（ｉ≠０、ｊ≠０）において極大値を有さないことを言う。より具体的には、自己相関関数ｙ（ｉ，ｊ）は、ｉ＝０からＭ－１および－（Ｍ－１）に向かうにつれて単調に減少し、かつ、ｊ＝０からＮ－１および－（Ｎ－１）に向かうにつれて単調に減少することを言う。また、準ランダム分布とは、自己相関関数ｙ（ｉ，ｊ）がｙ（０，０）のほかにｉ方向にＭ／１０箇所以下の極大値を有し、ｊ方向にＮ／１０箇所以下の極大値を有することを言う。
　反射符号化素子１４０の各領域の光透過率は、各領域（セル）の透過率が略０または略１のいずれかの値を取り得るバイナリ－スケールの透過率分布でもよいし、透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布でも良い。全セルのうちの一部（例えば半分）のセルを、透明領域に置き換えてもよい。そのような構成では、複数の透明領域は、例えば市松状（チェッカー状）に配置され得る。すなわち、反射符号化素子１４０における複数の領域の２つの配列方向（例えば、縦方向および横方向）において、光透過率が異なる領域と、透明領域とが交互に配列され得る。
　反射符号化素子１４０は、複数の層を含む誘電体膜、有機材料、回折格子構造、各種遮光材料などを用いて構成され得る。
　図３Ａは、本実施形態における符号化照明Ｐの強度分布の例を示す図である。図３Ａにおいて、光強度を０から１で正規化した場合、白い部分の光強度はほぼ１であり、黒い部分の光強度はほぼ０である。符号化照明Ｐにおける光強度の２次元分布は、例えばランダム分布または準ランダム分布であり得る。ランダム分布および準ランダム分布の考え方は、前述したとおりである。各符号化照明Ｐ１、Ｐ２、・・・、Ｐｗは、２次元的に異なるランダム分布を有している。
　符号化照明Ｐによる対象１１０の符号化過程は、各時間（ｔ＝ｔ１、ｔ２、・・・、ｔｗ）の光による画像を区別するためのマーキングを行う過程といえる。そのようなマーキングが可能である限り、光強度の分布は任意に設定してよい。図３Ａに示す例では、黒い部分の数と白い部分の数との比率は１：１であるが、このような比率に限定されない。例えば、白い部分の数：黒い部分の数＝１：９のような一方に偏りのある分布であってもよい。
　図３Ｂは、符号化照明Ｐの他の構成例を示す図である。この場合、符号化照明Ｐにおける各領域は、３段階以上の光強度の値を有する。
　図３Ａおよび図３Ｂに示すように、符号化照明Ｐは、時間ｔ１、ｔ２、・・・、ｔｗごとに異なる空間強度分布をもつ。ただし、各時間の空間強度分布は、空間方向に平行移動させた際に一致しても良い。
　このような符号化照明Ｐの空間強度分布に関する情報は、設計データまたは実測によって事前に取得され、後述する演算処理に利用される。
　なお、反射符号化素子１４０では、反射の回数が増加するほど、吸収体１４６による光の減衰が大きくなる。このため、実際には、図３Ａおよび図３Ｂに示す複数の符号化照明のうち、符号化照明Ｐ１が最も明るく、符号化照明Ｐｗは最も暗くなる。
　次に、撮像素子１５０および信号処理回路１６０の構成を説明する。
　撮像素子１５０は、撮像面に２次元に配列された複数の光検出セル（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの撮像素子である。撮像素子１５０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、またはミリ波アレイセンサであり得る。光検出セルは、例えばフォトダイオードを含む。撮像素子１５０は、必ずしもモノクロタイプの撮像素子である必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。撮像素子１５０は、可視の波長範囲に限らず、Ｘ線、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲に検出感度を有していてもよい。
　信号処理回路１６０は、撮像素子１５０から出力された画像信号を処理する回路である。信号処理回路１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）および画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。そのようなコンピュータプログラムは、例えばメモリなどの記録媒体に格納され、ＣＰＵなどのプロセッサがそのプログラムを実行することにより、後述する演算処理を実行できる。信号処理回路１６０は、撮像装置１００の外部の要素であってもよい。撮像装置１００に電気的に接続されたパーソナルコンピュータ（ＰＣ）、またはインターネット上のクラウドサーバなどの信号処理装置が、信号処理回路１６０を有していてもよい。そのような信号処理装置と撮像装置とを含むシステムは、「時間分解システム」と称することができる。
　以下、本実施形態における撮像装置１００の動作を説明する。
　図４は、本実施形態における時間分解撮像方法の概要を示すフローチャートである。まず、ステップＳ１０１において、反射符号化素子１４０を用いて入射光の光学特性（例えば光の電界の振幅）を時間ごとに空間的に変調させる。これは、反射符号化素子１４０における第１膜および第２膜と、その間の変調素子によって実現される。なお、変調させる光学特性は、振幅に限らず、後述する実施形態のように、位相特性または偏光特性でもよい。次に、ステップＳ１０２において、反射符号化素子１４０を透過した光である符号化照明Ｐによって符号化された対象の像が時間軸において重畳した画像を撮像素子１５０によって取得する。これは、前述のように、反射符号化素子１４０において多重反射が生じている間、撮像素子１５０が露光を継続することによって実現される。続くステップＳ１０３において、撮像素子１５０によって取得された撮影画像１７０と、符号化照明Ｐの光強度の空間分布とに基づいて、時間ごとの複数の画像を生成する。
　図１には、撮影画像１７０の例が模式的に示されている。図１に示す撮影画像１７０に含まれている複数の黒い点は、符号化によって生じた低輝度の部分を模式的に表している。図１に示す黒い点の数および配置は、現実の数および配置を反映していない。実際には、図１に示す数よりも多くの低輝度の部分が生じ得る。撮像素子１５０における複数の光検出セルによって多重像の情報が複数の電気信号に変換され、撮影画像１７０が生成される。
　次に、撮影画像１７０、および符号化照明Ｐの時間ごとの強度の空間分布特性に基づいて、時間ごとの時間分解画像Ｆを再構成する方法を説明する。
　求めたいデータは時間分解画像Ｆであり、そのデータをｆと表す。時間分解数をｗとすると、ｆは各時間の画像データｆ１、ｆ２、・・・、ｆｗを統合したデータである。求めるべき画像データのｘ方向の画素数をｎ、ｙ方向の画素数をｍとすると、画像データｆ１、ｆ２、・・・、ｆｗの各々は、ｎ×ｍ画素の２次元データの集まりである。したがって、データｆは要素数ｎ×ｍ×ｗの３次元データである。一方、符号化照明Ｐによって符号化および多重化されて取得される撮影画像１７０のデータｇの要素数はｎ×ｍである。すなわち、対象１１０の時間ごとの複数の画像データｆのデータ数は、撮像素子１５０から出力される電気信号である撮影画像１７０のデータ数よりも多い。本実施形態におけるデータｇは、以下の式（２）で表すことができる。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｆ１、ｆ２、・・・、ｆｗは、ｎ×ｍ個の要素を有するデータであるため、右辺のベクトルは、厳密にはｎ×ｍ×ｗ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換して表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆｗを時間ごとに異なる符号化情報で符号化し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×ｗ列の行列である。
　さて、ベクトルｇと行列Ｈとが与えられれば、式（２）の逆問題を解くことでｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×ｗが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施形態の信号処理回路１６０は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（３）を解くことにより、求めるデータｆを推定する。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項（または安定化項）である。式（３）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理回路１６０は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（３）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等によって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象１１０のスパース性は、対象１１０のテキスチャによって異なる。対象１１０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数であり、この値が大きいほど冗長的なデータの削減量が多くなり、小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、ここでは式（３）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、時間分解画像Ｆの数は任意であり、各時間間隔も任意に設定してよい。
　本実施形態によれば、比較的安価な構成で、ピコセカンドオーダ以下の超高速撮像が可能である。本実施形態によれば、狭帯域（例えば単一波長）の光を用いる場合、または、対象１１０の透過率または反射率の波長依存性に偏りがある場合であっても、高い時間分解能の撮像が可能である。
　（実施形態２）
　実施形態２の撮像装置は、反射符号化素子１４０における変調素子が、光の強度ではなく偏光度を空間的に変調させる点で、実施形態１の撮像装置とは異なっている。以下、実施形態１と異なる点を説明し、同様の内容についての詳細な説明は省略する。
　図５は、本実施形態における撮像装置２００の構成を模式的に示す図である。本実施形態における反射符号化素子１４０は、第１膜である第１の反射素子２３０と、第２膜である第２の反射素子２４０と、それらの間の変調素子２１０とを有する。第１の反射素子２３０および第２の反射素子２４０の少なくとも１つは、光源１２０からの光の入射方向に垂直な面に対し、角度θだけ傾斜して設置されている。第１の反射素子２３０および第２の反射素子２４０は、所定の光透過率を有しており、一部の光を透過させ、他の一部の光を反射する。第１の反射素子２３０および第２の反射素子２４０は、例えば、複数の層を含む誘電体膜で形成することができる。変調素子２１０は、透過する光の偏光度を２次元的にランダムに変調する。第１の反射素子２３０が光軸に対して角度θだけ傾いているため、多重反射を繰り返すごとに第２の反射素子２４０において光線が透過する位置が変化する。このため、２次元的な偏光分布が変化する。したがって、反射符号化素子１４０は、一定の時間間隔で、対象１１０に、空間的に偏光方向が異なる光束を出射する。
　本実施形態における撮像装置２００は、光源１２０と第１の反射素子２３０との間に配置された直線偏光子であるポラライザ１８０と、第２の反射素子２４０と対象１１０との間に配置された直線偏光子であるアナライザ１９０とを備えている。図５に示されている例では、ポラライザ１８０の偏光透過軸の方向とアナライザ１９０の偏光透過軸の方向とは一致している。反射符号化素子１４０の前後にポラライザ１８０とアナライザ１９０とをそれぞれ設けることにより、反射符号化素子１４０から出力された光の偏光状態の空間分布を光強度の空間分布に変換することができる。
　本実施形態では、ポラライザ１８０、反射符号化素子１４０、およびアナライザ１９０の組み合わせが、図２に示す符号化照明Ｐとして機能する。本実施形態でも、符号化照明Ｐは、２次元的な強度分布を示す符号化パターンを有する。
　本実施形態における変調素子２１０は、光源１２０からの光の光路に直交する１つの面上に２次元的に配列された、光の偏光度を変調させる複数の変調領域を有する。各変調領域には、例えば液晶、水晶、セロハン等の複屈折材料が、領域ごとに偏光方向がランダムになるように配置される。あるいは、偏光度を変調させる空間光変調器（ＳＬＭ）を用いても良い。ＳＬＭは動的に空間的な偏光分布を変更できるが、本実施形態における変調素子２１０は、空間的にランダムな偏光分布を実現できれば良く、動的に変化させる必要はない。
　吸収体を用いて強度変調する実施形態１の構成では、多重反射の際に、反射の回数に応じて遮蔽率が増加する。これに対し、本実施形態の構成では、反射の回数が増加しても遮蔽率が変化しない。したがって、本実施形態によれば、実施形態１よりも多くの符号化照明Ｐの状態を実現でき、高時間分解撮像の時間分解数を増やすことができる。本実施形態では、例えば、図５に示されているように、第１の反射素子２３０と第２の反射素子２４０との間の距離を１．５ｍｍとすれば、約１０ｐｓごとの画像を取得することができる。
　本実施形態における第１の反射素子２３０および第２の反射素子２４０の光透過率は、比較的小さい値に設定され得る。第１の反射素子２３０および第２の反射素子２４０の光透過率は、例えば、５％以下であってもよく、１％以下であってもよく、０．１％以下であってもよい。一例として、光透過率が１％、光反射率が９９％の場合、符号化照明Ｐ１から符号化照明Ｐ１０の光強度は表１に示すとおりである。
Figure JPOXMLDOC01-appb-T000006
　この場合、符号化照明Ｐ１と符号化照明Ｐ１０との光強度差を、２割弱に抑えることができ、符号化照明Ｐ間の光強度差を低減することができる。第１の反射素子２３０および第２の反射素子２４０の光透過率を低くすると、全体的に絶対的な光量が低下する。しかし、光源１２０の強度を高くすることにより、対象１１０を強度変調する上で十分な光強度を確保することが可能である。第１の反射素子２３０および第２の反射素子２４０の反射率を高くすると、不要な反射光である迷光が多く発生する。そこで、迷光対策を施しても良い。例えば、第１の反射素子２３０によって光源１２０側に反射される光の進行方向に光吸収部材を設置しても良い。
　第１の反射素子２３０および第２の反射素子２４０は、後述の実施形態４（図７）のように、変調素子２１０に密着していてもよい。これらを密着させることにより、第１膜と第２膜との間の光路長差を小さくすることができる。その結果、符号化照明Ｐのパルス間隔を縮小できるため、より短い時間での高速撮影を行うことができる。
　光源１２０として、直線偏光を出射するレーザ光源を用いる場合、ポラライザ１８０を省略しても良い。しかし、この場合でもアナライザ１９０は配置される。
　（実施形態３）
　実施形態３は、符号化照明Ｐの変調パターンを、光学系を用いて縮小する点で、実施形態１、２と異なっている。以下、実施形態１、２と異なる事項を説明し、同様の内容についての詳細な説明は省略する。
　図６は、実施形態３の光学系２２０を模式的に示す図である。本実施形態の撮像装置は、反射符号化素子１４０と対象１１０との間に、少なくとも１つの集光レンズを含む光学系２２０を備えている。光学系２２０は、集光光学系であり、比較的高い倍率で、入射光を集束させる。本実施形態における符号化照明Ｐは、実施形態１、２のいずれの構成を備えていてもよい。
　光学系２２０は、反射符号化素子１４０から出射した光を集束させることにより、符号化照明Ｐの空間的なサイズを縮小する。その結果、図６に例示するように、縮小された符号化照明Ｐ’で対象１１０を照射する場合と同等の効果が得られる。光学系２２０を配置することにより、符号化照明Ｐの変調パターンの空間解像度を高めることができる。その結果、例えば細胞または分子などの微細な対象１１０を観察することができる。
　光学系２２０を配置することにより、反射符号化素子１４０を作成する際の微細加工の負荷を低減することができる。例えば、反射符号化素子１４０の符号化分布の解像度である隣接する変調領域の中心間の距離が１μｍ以上１０μｍ以下であっても、光学系２２０の倍率を、例えば、２倍以上２０倍以下にすることにより、サブミクロン（１μｍ未満）の解像度の符号化照明Ｐを実現することができる。さらに、紫外線またはＸ線のような短波長の電磁波を用いれば、空間分解能をさらに向上させることができる。
　（実施形態４）
　実施形態４は、変調素子２１０が位相変調素子である点で、実施形態２と異なっている。以下、実施形態２と異なる点を説明し、同様の内容についての詳細な説明は省略する。
　図７は、本実施形態における変調素子２１０、ポラライザ１８０、およびアナライザ１９０の構成を模式的に示す図である。図７では、光源１２０および撮像素子１５０などの構成要素の図示は省略されている。本実施形態における変調素子２１０は、光源１２０からの光の光路に交差する１つの面上に配列された、光の位相を変調させる複数の変調領域を有している。複数の変調領域は、第２の反射素子２４０から出射される光の位相が２次元的にランダムに異なるように透過光を変調させる。図７において、変調素子２１０の黒と白の箇所は、屈折率または位相のシフト量が異なることを示す。例えば、黒の領域を１回透過した光と白の領域を１回透過した光との間で位相が１８０度異なる。このように構成することで、出射光の位相の空間的な分布が時間軸において異なる符号化照明Ｐを生成できる。出射光の位相は対象１１０の位相によりさらに変調される。本実施形態によれば、超高速撮影が可能な位相差顕微鏡を実現できる。本実施形態における撮像素子１５０は、画素ごとに、位相差の情報をポラライザ１８０、およびアナライザ１９０の構成により強度情報に変換して画像情報として出力する。
　変調素子２１０における位相分布は、バイナリ（２種類）の位相分布に限定されない。段階的なグレースケールの位相分布であっても良い。変調素子２１０は、屈折率の異なる複数の材料、液晶、複屈折材料または空間光変調器（ＳＬＭ）を用いて容易に構成できる。
　図７に示すように、本実施形態における第１の反射素子２３０および第２の反射素子２４０は変調素子２１０に密着している。言い換えれば、第１の反射素子２３０および第２の反射素子２４０、および変調素子２１０は、単一の光学部品として作製され、配置されている。このような構成により、第１の反射素子２３０および第２の反射素子２４０間の距離を短くできるため、時間分解能を高めることができる。第１の反射素子２３０および第２の反射素子２４０は、変調素子２１０から離れていても良い。
　（実施形態５）
　実施形態５は、撮像素子１５０が対象１１０の反射像を撮影する点で、実施形態１から４と異なっている。以下、実施形態１から４と異なる点を説明し、同様の内容についての詳細な説明は省略する。
　図８は、本実施形態における撮像素子１５０の配置を示す図である。符号化照明Ｐによって光学変調（例えば、強度変調、偏光変調、または位相変調など）された対象１１０の反射像が撮像素子１５０によって観察される。本実施形態において、反射符号化素子１４０の構成は、実施形態１から４のいずれの構成でもよい。
　本実施形態では、符号化照明Ｐから出射される光の強度の３次元的な空間分布が予め取得され得る。これにより、撮像素子１５０によって取得された画像に基づいて、対象１１０の３次元像を生成できる。あるいは、符号化照明Ｐと撮像素子１５０との間の視差に基づく幾何学的計算により、対象１１０の３次元像を再構成できる。
　本開示における撮像装置は、例えばピコセカンドオーダ以下の超高速撮像用のカメラまたは測定機器に有用である。本開示における撮像装置は、例えば、超高速ダイナミクス、化学反応または分子の挙動の観察等に応用できる。
　１００，２００　撮像装置
　１１０　対象
　１２０　光源
　１３０　ビームエクスパンダ
　１４０　反射符合化素子
　１５０　撮像素子
　１６０　信号処理回路
　１７０　撮影画像
　１８０　ポラライザ
　１９０　アナライザ
　２１０　変調素子
　２２０　光学系
　２３０　第１の反射素子
　２４０　第２の反射素子
　Ｆ，Ｆ１，Ｆ２，Ｆｗ　時間分解画像
　Ｐ，Ｐ’，Ｐ１，Ｐ２，Ｐｗ　符合化照明

Claims (8)

  1. 　パルス光を発する光源と、
    　前記パルス光の光路上に配置された反射符号化素子であって、
    　　前記光路と交差し、光透過性および光反射性を有する第１膜と、
    　　前記光路と交差し、光透過性および光反射性を有する第２膜と、
    　　前記第１膜と前記第２膜との間に位置し、かつ前記光路と交差する少なくとも１つの面上に配列された、各々が、入射する光の偏光度、位相、および強度からなる群から選択される少なくとも１つを変調させる、複数の変調領域を含む変調素子と、
    　を含む反射符号化素子と、
    　対象からの光を受光し、受光した前記対象からの光に基づき、前記対象の画像を示す１つ以上の電気信号を出力する撮像素子と、
    　を備え、
    　前記第１膜および前記第２膜からなる群から選択される少なくとも一方は、前記光路に垂直な面に対して傾斜し、
    　前記反射符号化素子は、前記第１膜と前記第２膜との間で前記パルス光を多重反射させながら、前記第２膜から前記パルス光の一部を前記対象に向けて複数回に亘って出射させる、
    　撮像装置。
  2. 　前記１つ以上の電気信号と、前記第２膜から出射された前記パルス光の前記一部の強度の空間分布とに基づいて、各々が前記対象の時間ごとの画像を示す複数のデータを生成する信号処理回路をさらに備える、
    　請求項１に記載の撮像装置。
  3. 　前記信号処理回路は、統計的方法によって前記複数のデータを生成する、
    　請求項２に記載の撮像装置。
  4. 　前記複数のデータの数は、前記１つ以上の電気信号の数よりも多い、
    　請求項２または３に記載の撮像装置。
  5. 　前記信号処理回路は、前記１つ以上の電気信号の値を要素とするベクトルｇと、前記第２膜から出射された前記パルス光の前記一部の時間ごとの強度の空間分布によって決定される行列Ｈとを用いて、
    Figure JPOXMLDOC01-appb-M000001
     　（ここで、τΦ（ｆ）は正則化項、τは重み係数を示す）
    の式によって計算されるベクトルｆ’を、前記複数のデータとして生成する、
    　請求項２から４のいずれかに記載の撮像装置。
  6. 　前記第１膜および前記第２膜の、前記パルス光に対する透過率は、５％以下である、
    　請求項１から５のいずれかに記載の撮像装置。
  7. 　前記変調素子は、前記光路と交差する第１面、および前記第１面と反対側の第２面を有し、
    　前記第１膜は、前記第１面に直接接しており、
    　前記第２膜は、前記第２面に直接接している、
    　請求項１から６のいずれかに記載の撮像装置。
  8. 　前記反射符号化素子と前記対象との間に、少なくとも１つの集光レンズを含む光学系をさらに備える、
    　請求項１から７のいずれかに記載の撮像装置。
PCT/JP2017/009703 2016-03-31 2017-03-10 撮像装置 WO2017169656A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780008340.0A CN108605086B (zh) 2016-03-31 2017-03-10 摄像装置
JP2018508932A JP6814983B2 (ja) 2016-03-31 2017-03-10 撮像装置
US16/054,187 US10531015B2 (en) 2016-03-31 2018-08-03 Imaging apparatus including light source, reflective encoding device, and image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-071757 2016-03-31
JP2016071757 2016-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/054,187 Continuation US10531015B2 (en) 2016-03-31 2018-08-03 Imaging apparatus including light source, reflective encoding device, and image sensor

Publications (1)

Publication Number Publication Date
WO2017169656A1 true WO2017169656A1 (ja) 2017-10-05

Family

ID=59964187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009703 WO2017169656A1 (ja) 2016-03-31 2017-03-10 撮像装置

Country Status (4)

Country Link
US (1) US10531015B2 (ja)
JP (1) JP6814983B2 (ja)
CN (1) CN108605086B (ja)
WO (1) WO2017169656A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218583A (zh) * 2018-10-09 2019-01-15 中国工程物理研究院激光聚变研究中心 基于透射式压缩成像系统的超快二维阵列成像系统
US11368608B2 (en) * 2017-06-01 2022-06-21 South China Normal University Compressed sensing based object imaging system and imaging method therefor
US11913836B2 (en) 2020-10-02 2024-02-27 Hamamatsu Photonics K.K. Dispersion measurement apparatus and dispersion measurement method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023817B2 (ja) * 2018-09-19 2022-02-22 本田技研工業株式会社 表示システム、表示方法、およびプログラム
US11284786B2 (en) * 2019-03-07 2022-03-29 ZSquare Ltd. Spatial encoding system decoding system imaging system and methods thereof
US11240433B2 (en) * 2019-06-20 2022-02-01 Lawrence Livermore National Security, Llc System and method for x-ray compatible 2D streak camera for a snapshot multiframe imager
CN110780333A (zh) * 2019-09-30 2020-02-11 南京航空航天大学 一种基于双编码板的伽马相机及其用于放射性物质定位的方法
CN111273050B (zh) * 2020-02-12 2022-05-20 清华大学 信号采集处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6459018A (en) * 1987-08-31 1989-03-06 Japan Res Dev Corp Method and measuring instrument for long time resolution total reflection spectrum analyzing
JP2002525762A (ja) * 1998-09-24 2002-08-13 イギリス国 パターン認識に関する改良
JP2006050343A (ja) * 2004-08-05 2006-02-16 Univ Of Electro-Communications 静止画像形成方法及びその記録装置
JP2009500856A (ja) * 2005-07-08 2009-01-08 ボード オブ トラスティーズ オブ ミシガン ステイト ユニバーシティ 超高速レーザーのための制御システム及び装置
JP2009532928A (ja) * 2006-05-08 2009-09-10 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置
JP2015041784A (ja) * 2013-08-20 2015-03-02 国立大学法人 東京大学 高速撮影システム及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450618B2 (en) * 2001-01-30 2008-11-11 Board Of Trustees Operating Michigan State University Laser system using ultrashort laser pulses
US20080170486A1 (en) * 2005-03-01 2008-07-17 Makoto Sato Optical Pickup Device
CN101360460B (zh) * 2006-01-20 2011-02-16 住友电气工业株式会社 摄像系统
JP4344761B2 (ja) * 2007-06-15 2009-10-14 シャープ株式会社 固体撮像装置およびそれを備えた電子機器
JP2009055479A (ja) * 2007-08-28 2009-03-12 Panasonic Corp イメージセンサ及び電磁波イメージング装置
DE102008012635A1 (de) 2008-03-05 2009-09-10 Carl Zeiss Microlmaging Gmbh Verfahren und Anordnung zur zeitaufgelösten Spektroskopie
JP5610254B2 (ja) * 2008-06-18 2014-10-22 株式会社リコー 撮像装置及び路面状態判別方法
JP6002232B2 (ja) 2011-10-25 2016-10-05 センター フォー スペース サイエンス アンド アプライド リサーチ、 チャイニーズ アカデミー オブ サイエンスズＣｅｎｔｅｒ Ｆｏｒ Ｓｐａｃｅ Ｓｃｉｅｎｃｅ Ａｎｄ Ａｐｐｌｉｅｄ Ｒｅｓｅａｒｃｈ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ Ｏｆ Ｓｃｉｅｎｃｅｓ 時間分解単一光子計数イメージングスペクトルシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6459018A (en) * 1987-08-31 1989-03-06 Japan Res Dev Corp Method and measuring instrument for long time resolution total reflection spectrum analyzing
JP2002525762A (ja) * 1998-09-24 2002-08-13 イギリス国 パターン認識に関する改良
JP2006050343A (ja) * 2004-08-05 2006-02-16 Univ Of Electro-Communications 静止画像形成方法及びその記録装置
JP2009500856A (ja) * 2005-07-08 2009-01-08 ボード オブ トラスティーズ オブ ミシガン ステイト ユニバーシティ 超高速レーザーのための制御システム及び装置
JP2009532928A (ja) * 2006-05-08 2009-09-10 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置
JP2015041784A (ja) * 2013-08-20 2015-03-02 国立大学法人 東京大学 高速撮影システム及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368608B2 (en) * 2017-06-01 2022-06-21 South China Normal University Compressed sensing based object imaging system and imaging method therefor
CN109218583A (zh) * 2018-10-09 2019-01-15 中国工程物理研究院激光聚变研究中心 基于透射式压缩成像系统的超快二维阵列成像系统
CN109218583B (zh) * 2018-10-09 2023-09-01 中国工程物理研究院激光聚变研究中心 基于透射式压缩成像系统的超快二维阵列成像系统
US11913836B2 (en) 2020-10-02 2024-02-27 Hamamatsu Photonics K.K. Dispersion measurement apparatus and dispersion measurement method
JP7449214B2 (ja) 2020-10-02 2024-03-13 浜松ホトニクス株式会社 分散測定装置および分散測定方法

Also Published As

Publication number Publication date
US20180367742A1 (en) 2018-12-20
JPWO2017169656A1 (ja) 2019-02-14
CN108605086B (zh) 2020-10-27
US10531015B2 (en) 2020-01-07
JP6814983B2 (ja) 2021-01-20
CN108605086A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
WO2017169656A1 (ja) 撮像装置
JP6617915B2 (ja) 撮像装置および分光システム
Liang Punching holes in light: recent progress in single-shot coded-aperture optical imaging
Anand et al. Single-shot mid-infrared incoherent holography using Lucy-Richardson-Rosen algorithm
Antipa et al. Single-shot diffuser-encoded light field imaging
KR102343626B1 (ko) 광을 검출하기 위한 장치, 시스템 및 방법
US20200120299A1 (en) Method and system for time-of-flight imaging with high lateral resolution
CN113048907B (zh) 一种基于宏像素分割的单像素多光谱成像方法及装置
US11412118B2 (en) Electromagnetic wave phase/amplitude generation device, electromagnetic wave phase/amplitude generation method, and electromagnetic wave phase/amplitude generation program
KR20200032203A (ko) 코드화된 애퍼쳐 스펙트럼 이미징 디바이스
Chen et al. Active mode single pixel imaging in the highly turbid water environment using compressive sensing
Abregana et al. Phase retrieval by amplitude modulation using digital micromirror device
KR101766328B1 (ko) 현미경
Ji et al. Separating reflective and fluorescent components for dynamic scenes
US20210018745A1 (en) Imaging apparatus and imaging method
Li et al. High spatial resolution time-of-flight imaging
WO2020008670A1 (en) Scanner and method for image reconstruction of structure of target object
US11559208B2 (en) Imaging with scattering layer
US20210364429A1 (en) Dual Wavelength Imaging and Out of Sample Optical Imaging
JP7122636B2 (ja) フィルタアレイおよび光検出システム
KR102258774B1 (ko) 적외선 영상 측정 장치 및 방법
WO2023176638A1 (ja) 光学装置
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
Liu et al. Spectral imaging with dual compressed sensing
CN118251898A (zh) 在生成分光图像的系统中使用的装置及滤光器阵列、生成分光图像的系统以及滤光器阵列的制造方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508932

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774200

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17774200

Country of ref document: EP

Kind code of ref document: A1