WO2019182019A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2019182019A1
WO2019182019A1 PCT/JP2019/011722 JP2019011722W WO2019182019A1 WO 2019182019 A1 WO2019182019 A1 WO 2019182019A1 JP 2019011722 W JP2019011722 W JP 2019011722W WO 2019182019 A1 WO2019182019 A1 WO 2019182019A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
waveguide
image
wavelength
light source
Prior art date
Application number
PCT/JP2019/011722
Other languages
English (en)
French (fr)
Inventor
晨暉 黄
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/979,774 priority Critical patent/US20210018745A1/en
Priority to JP2020507877A priority patent/JP6984736B2/ja
Publication of WO2019182019A1 publication Critical patent/WO2019182019A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G01N21/474—Details of optical heads therefor, e.g. using optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4788—Diffraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N2021/458—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods using interferential sensor, e.g. sensor fibre, possibly on optical waveguide
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G01N21/474—Details of optical heads therefor, e.g. using optical fibres
    • G01N2021/4742—Details of optical heads therefor, e.g. using optical fibres comprising optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4788—Diffraction
    • G01N2021/479—Speckle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G01N2021/9542—Inspecting the inner surface of hollow bodies, e.g. bores using a probe
    • G01N2021/9546—Inspecting the inner surface of hollow bodies, e.g. bores using a probe with remote light transmitting, e.g. optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores

Definitions

  • the present invention relates to an imaging apparatus and an imaging method.
  • Patent Document 1 describes a technique related to an optical system for automatically photographing a wide surface area that requires treatment in laser treatment using an endoscope.
  • compressed sensing a technique called compressed sensing is being developed to restore objects such as images from observation data that is less than the required data.
  • an algorithm such as an ADMM (alternating direction method of multipliers) algorithm described in Non-Patent Document 1 is used as an algorithm for restoring a target.
  • the location where photographing can be performed may be limited depending on the size of the apparatus. That is, an imaging apparatus that can be used in a narrower space is required for the technique described in Patent Document 1.
  • the present invention has been made to solve the above-described problems, and has as its main object to provide an imaging device that can be used in a narrow space.
  • An imaging device includes a waveguide that transmits light emitted from a light source, a detector that detects the power of a speckle pattern that is generated by the light that has passed through the waveguide, and is irradiated on the target, Reconstructing means for reconstructing a target image based on a plurality of powers obtained by making light incident on the waveguide under different conditions.
  • an imaging method is obtained by detecting the power of a speckle pattern generated by light that has passed through a waveguide and irradiating the target, and entering light into the waveguide under different conditions.
  • the target image is reconstructed based on the plurality of powers.
  • an imaging device that can be used in a narrow space.
  • FIG. 1 It is a figure which shows the imaging device in embodiment of this invention. It is a figure which shows the detailed structural example of the imaging device in embodiment of this invention. It is a figure which shows the structural example in the case of calculating
  • FIG. 1 is a diagram illustrating an imaging apparatus according to an embodiment of the present invention.
  • the imaging device includes a waveguide 110, a detector 120, and a reconstruction unit 130.
  • the waveguide 110 transmits light.
  • the detector 120 detects the power of the speckle pattern generated by the light that has passed through the waveguide and applied to the object.
  • the reconstruction unit 130 reconstructs the target image based on a plurality of powers obtained by making light incident on the waveguide under different conditions.
  • the imaging apparatus 100 includes the configuration illustrated in FIG. 2 as a more specific example.
  • the imaging apparatus 100 includes a light source 11, a modulator 12, a modulation control unit 13, an optical system 14, a beam splitter 15, and a lens probe 16 in addition to the above-described elements. Is provided. Then, the imaging apparatus 100 reconstructs the image of the target 17.
  • a solid arrow indicates a direction in which light generated from the light source 11 travels
  • a dotted arrow indicates a direction in which light reflected from the target 17 travels.
  • the light source 11 generates light that is irradiated onto the object.
  • the light source 11 mainly generates light having a single wavelength.
  • the modulator 12 modulates the light generated by the light source 11. Details of the light modulation in this embodiment will be described later.
  • the modulation control unit 13 controls the state of modulation by the modulator 12.
  • the light modulated by the modulator 12 enters the waveguide 110 through the optical system 14 provided as appropriate.
  • the beam splitter 15 separates light that enters the waveguide 110 and irradiates the object, and light that is reflected from the object.
  • light generated from the light source 11 enters the waveguide 110 from the left end in each drawing of the waveguide 110 and exits from the right end in each drawing. To do.
  • the end portion of the waveguide 110 where the light generated from the light source 11 is incident (the left end portion in FIG. 2 or 3) is referred to as the incident end, and the light generated from the light source 11 is The incident end (the right end in FIG. 2 or 3) may be referred to as the output end.
  • the imaging apparatus 100 reconstructs an image using the compression sensing technique described above. More specifically, the imaging apparatus 100 reconstructs an image based on the power of light emitted from the waveguide 110 and irradiated onto the object and detected by the detector 120.
  • a speckle pattern is generated due to interference or the like.
  • the speckle pattern to be generated changes according to the light incident on the waveguide 110.
  • the imaging apparatus 100 reconstructs an image based on the compression sensing technique by using such a variety of near-field speckle patterns of light emitted from the waveguide 110. With such a method, it is possible to reconstruct an image with less observation data than the number of pixels of the reconstructed image.
  • a speckle pattern generated by light emitted from the exit end of the waveguide 110 may be simply referred to as a speckle pattern.
  • a speckle pattern is generated by the near-field light emitted from the exit end of the waveguide 110.
  • the direction in which the waveguide 110 extends is the z direction (the direction indicated by the solid line arrow in the waveguide 110 in FIGS. 2 and 3), and the cross-sectional direction of the waveguide 110 (the solid line in the waveguide 110 in FIGS. 2 and 3).
  • the upward direction perpendicular to the arrow) is the x direction, and the direction from the bottom to the top of the page is the y direction.
  • a case where a light beam having an angular velocity ⁇ is incident on the waveguide 110 is assumed.
  • ⁇ is the incident angle of the incident light
  • ⁇ is the wavelength of the incident light.
  • the waveguide 110 is a multi-mode waveguide
  • the incident light incident on the waveguide 110 excites light of different waveguide modes according to the incident angle or the like. Further, incident light is reflected a plurality of times on the inner surface of the waveguide 110.
  • the intensity distribution of E out that is the emitted light is, for example, a pseudo-random distribution.
  • the pseudo-random distribution is regular, unlike the essentially random distribution.
  • the pseudo-random distribution is different from traditional distributions such as Gaussian distribution and Bernoulli distribution, and the regularity is not apparent at a glance.
  • a pseudo-random distribution of speckles on the fiber exit surface can be estimated by performing ray tracing of incident light and linearly adding a plurality of incident light.
  • the intensity distribution of E out changes according to the incident angle and wavelength of the incident light as shown in the equation (1). That is, the speckle pattern generated by the light emitted from the waveguide 110 changes according to the incident angle and wavelength of the incident light.
  • the speckle pattern can also change depending on the wavefront of incident light (that is, a surface constituted by a set of points having the same phase).
  • the imaging apparatus 100 reconstructs an image based on the ADMM algorithm using a plurality of speckle patterns that change by changing the conditions of incident light including the incident angle, wavelength, or wavefront of incident light.
  • changing the wavefront means changing the phase of light at the same point.
  • modulation changing the conditions of the incident light such as the incident angle, wavelength, or wavefront of the incident light incident on the waveguide 110 is referred to as modulation.
  • Image reconstruction is performed according to the ADMM algorithm, which is one of the compression sensing techniques, using the transformation matrix D obtained according to the speckle pattern.
  • ADMM algorithm which is one of the compression sensing techniques
  • the procedure for obtaining the transformation matrix D will be described.
  • the transformation matrix D is obtained using the configuration shown in FIG.
  • the number of rows and columns of the transformation matrix D is determined according to the number of pixels of the reconstructed image.
  • an image to be reconstructed is x
  • the image x is an image having m pixels in the horizontal direction and n pixels in the vertical direction.
  • the procedure for obtaining the transformation matrix D may be referred to as a calibration process or simply calibration.
  • the waveguide 110, the light source 11, the modulator 12, the modulation control unit 13, and the optical system 14 are the same elements as those shown in FIG.
  • a camera 18 is provided to face the emission end of the waveguide 110.
  • the camera 18 includes, for example, a sensor having a number of pixels equal to or greater than the number of pixels of an image reconstructed by the imaging device 100.
  • the speckle pattern of near-field light emitted from the exit end of the waveguide 110 is imaged on the sensor surface of the camera 18.
  • a camera corresponding to the wavelength of light generated by the light source 11 is used as the camera 18.
  • a camera such as a general CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor is used as the camera 18.
  • an ultraviolet camera is used as the camera 18 if the light is ultraviolet
  • an InGaAs indium gallium arsenide
  • a thermal image camera is used as the camera 18 if the mid-infrared is used.
  • the arrangement of the pixels including the number of pixels and the aspect ratio of the camera 18 is determined according to the number of pixels of the image to be reconstructed and the arrangement of the pixels.
  • the sensitivity characteristic of the camera 18 is preferably close to the sensitivity characteristic of the detector 120.
  • the same speckle pattern needs to be used both when obtaining the transformation matrix D and when the image is reconstructed. Therefore, as the elements of the waveguide 110, the light source 11, the modulator 12, and the optical system 14 shown in FIG. 3, the same elements as those of the imaging device 100 that uses the obtained conversion matrix D are usually used. Further, the positional relationship when these elements are arranged needs to be the same conditions as those of the imaging device 100 using the obtained transformation matrix D.
  • Speckle pattern distribution varies according to the modulation of incident light, as shown in the above-described equation (1). That is, the speckle pattern generated by the light emitted from the waveguide 110 changes according to the incident angle and wavelength of the incident light. The speckle pattern can also change depending on the wavefront of incident light.
  • the transformation matrix D is obtained based on a plurality of speckle patterns obtained by modulating the incident light conditions including the incident angle, wavelength, wavefront, etc. of the incident light.
  • the light source 11 When obtaining the conversion matrix D, first, the light source 11 generates light, and the modulator 12 modulates the light generated by the light source 11.
  • the modulator 12 In the example illustrated in FIG. 3, an example in which incident light is modulated by changing an incident angle of incident light to the waveguide 110 is assumed.
  • the modulator 12 is a galvanometer mirror that can change the angle of the reflecting surface.
  • the light modulated by the modulator 12 passes through the optical system 14 and enters the waveguide 110.
  • the near-field light emitted from the exit end of the waveguide 110 is imaged on the sensor surface of the camera 18.
  • 4A to 4C are examples of speckle patterns obtained when the incident angle of incident light to the waveguide 110 is changed.
  • FIG. 5 shows the relationship between the speckle pattern 180 detected by the camera 18 and the transformation matrix D.
  • FIG. 5 schematically shows an example in which the power of the speckle pattern 180 is detected with two gradations. That is, in the example shown in FIG. 5, for each pixel of the camera 18, a region where the speckle pattern 180 has a large power is represented by a black square, and a region where the speckle pattern 180 has a small power is represented by a white square.
  • Such detection of the speckle pattern 180 by the camera 18 is repeatedly performed for different speckle patterns 180 as shown in A to C of FIG.
  • the speckle pattern 180 changes as the incident light to the waveguide 110 is modulated.
  • the modulator 12 is a galvanometer mirror that is one of the mechanisms for changing the reflection angle of the reflected light
  • the speckle pattern 180 is changed by causing light to enter the waveguide 110 at different incident angles. .
  • the observation of the plurality of different speckle patterns 180 is performed by observing with the camera 18 while changing the modulation state by the modulator 12.
  • FIG. 5 schematically shows an example in which the speckle pattern 180 is changed.
  • a plurality of vectors are obtained from the power of the signal for each pixel detected by the camera 18.
  • a transformation matrix D is composed of k vectors D 1 to D k obtained by observing k different speckle patterns 180. That is, each row of the transformation matrix D is an m ⁇ n-dimensional vector D i (1 ⁇ i ⁇ k) obtained for one speckle pattern 180.
  • the number of observations (k) of the speckle pattern 180 may be appropriately determined according to conditions such as the image quality required for the reconstructed image and the type of the modulator 12 or the detector 120.
  • Image reconstruction is performed based on the ADMM algorithm. As described above, it is assumed that the image x to be reconstructed is an image having m pixels in the horizontal direction and n pixels in the vertical direction.
  • an image is reconstructed by using a plurality of sums of speckle pattern powers generated by light from the light source 11 entering the waveguide 110 and imaged on the target.
  • the same speckle pattern needs to be used both when obtaining the transformation matrix D and when the image is reconstructed. Therefore, the modulator 12 is controlled by the modulation control unit 13 so that the same speckle pattern is generated both when the conversion matrix D is obtained and when the image is reconstructed. Then, in both the case where the transformation matrix D is obtained and the case where the image is reconstructed, k observations that are the same number of times are performed.
  • the detector 120 detects only the power of the speckle pattern irradiated to the target 17 without detecting position information such as the power distribution of the speckle pattern. Therefore, the total power detected by the detector 120 is the sum of the signal intensities of all the pixels of the image to be reconstructed.
  • the signal power j detected by the detector 120 with respect to the speckle pattern corresponding to the vector D i constituting any row of the transformation matrix D i is represented by the relationship shown in the following equation (2).
  • d i k represents one of the m ⁇ n elements included in the vector D i (see the transformation matrix D in FIG. 5), and x k represents the image x. It represents a value in which values representing signal strengths of m ⁇ n pixels included are arranged in order. d i k and x k are values at corresponding positions in the image, respectively.
  • x mn ⁇ 1 is a vector of (m ⁇ n) rows.
  • j k ⁇ 1 is a vector of k rows.
  • each of D, x, and j to which no subscript is attached represents the same content as each of D k ⁇ mn , x mn ⁇ 1, and j k ⁇ 1 .
  • ⁇ represents a Lagrange undetermined multiplier.
  • Equation (4) a new variable z is introduced to distinguish x for the L1 norm from other x.
  • the problem of minimizing L (x) shown in equation (5) is replaced with a conditional minimization problem shown in equation (6) below.
  • ⁇ represents a cost coefficient of the Lagrange undetermined multiplier method.
  • u [t] represents an auxiliary term that converges to an optimal solution when solving the constrained optimization problem by a gradient method that performs iterative calculation from an appropriate initial point.
  • Equation (7) becomes a form as shown in Equation (10) below.
  • Equation (10) can be considered as a quadratic function with respect to ⁇ . Therefore, the optimal solution that maximizes the expression (10) is expressed by the following expression (11).
  • Equation (13) is obtained by the above-described gradient method for performing iterative calculation.
  • the gradient method is applied to the expression (12)
  • the following three expressions (13) are obtained as expressions indicating the t + 1th value of the iterative calculation for x, z, and u.
  • the ADMM algorithm is very effective when a base that can be expected to be sparse is found through a certain transformation. That the signal is sparse means that many components of the signal are zero. Therefore, in the reconstruction of the image x, it is generally necessary to convert x into a space having sparsity. That is, an image is reconstructed in a space having sparsity.
  • Sparsification is realized, for example, by subjecting the image x to discrete Fourier transform or wavelet transform. Therefore, as shown in the following equation (15), the image x is sparse using the sparse transformation matrix ⁇ .
  • the sparse transform matrix ⁇ is, for example, either a discrete Fourier transform matrix or a wavelet transform matrix.
  • Q is calculated
  • the expression (15) is converted into the form shown in the following expression (16) using the inverse matrix ⁇ ⁇ 1 of the conversion matrix ⁇ .
  • the sparse transform matrix ⁇ is a discrete Fourier transform or wavelet transform matrix
  • the conjugate transpose matrix of ⁇ is represented by the subscript +, and ⁇ + makes ⁇ and ⁇ + inverse to each other. Therefore, the following expression (18) is obtained from the expression (17).
  • Equation (20) P represents (D ′ k ⁇ mn ⁇ ⁇ + ) + ⁇ inv [(D ′ k ⁇ mn ⁇ ⁇ + ) ⁇ (D ′ k ⁇ mn ⁇ ⁇ + ) + ]. Also, j on the right side of equation (20) represents the same content as j k ⁇ 1 on the left side.
  • an image x to be reconstructed is obtained by obtaining Q ′′ which is an approximate solution of Q and using the obtained Q ′′ and the above-described ⁇ + .
  • the number of observations k by the camera 18 or the detector 120 may be smaller than m ⁇ n that is the number of pixels of the image x to be reconstructed.
  • the number of observations k by the camera 18 or the detector 120 may be about several percent (percent) of the number of pixels. That is, the imaging apparatus 100 can reconstruct an image from a small amount of data obtained by changing the speckle pattern by using the ADMM algorithm which is one method of compressed sensing.
  • the number of observations k by the camera 18 or the detector 120 is not limited to the above-described example, and may be appropriately determined according to the image quality required for the reconstructed image and the degree of sparsity.
  • the light source 11 generates light that is irradiated onto the object.
  • the light source 11 is a light source that mainly generates light having a desired single wavelength. Conditions such as the wavelength and intensity of the light generated by the light source 11 may be appropriately determined according to the target to be the subject of the image and other factors.
  • the light source 11 may be a white light source that generates light of various wavelengths, or may be capable of changing the wavelength of light to be generated, such as a wavelength tunable laser.
  • the specific kind etc. of the light source 11 are not specifically limited, What is necessary is just to be able to generate
  • the modulator 12 modulates the light generated by the light source 11. As described above, the light generated from the light source 11 is modulated by, for example, changing the incident angle, wavefront, or wavelength of the waveguide 110. Therefore, the modulator 12 changes these. That is, the modulator 12 changes, for example, either the incident angle of the light generated from the light source to the waveguide, the wavefront of the light generated from the light source, or the wavelength of the light generated from the light source.
  • the modulator 12 changes the incident angle of the light generated from the light source 11 to the waveguide 110, the modulator 12 changes the traveling direction of light such as, for example, a galvano mirror, a piezoelectric element mirror, or a movable stage.
  • a changing mechanism is used.
  • the modulator 12 changes the wavefront of the light generated from the light source 11
  • a mechanism that changes the wavefront of the light such as an optical spatial modulator, a digital mirror device, or a variable shape mirror, is used as the modulator 12.
  • the modulator 12 changes the wavelength of the light generated from the light source 11, the wavelength of the light generated from the light source 11 for extracting light of a specific wavelength such as a diffraction grating or a prism as the modulator 12.
  • a white light source is used as the light source 11.
  • the light source 11 may be provided with a mechanism capable of changing the wavelength of the generated light, such as the above-described wavelength tunable laser.
  • the modulation control unit 13 controls the state of modulation by the modulator 12.
  • the modulation control unit 13 changes the direction of the mirror surface so that the incident angle of incident light generated from the light source 11 and incident on the waveguide 110 changes. To control. Even when another mechanism is used as the modulator 12, the modulation control unit 13 may appropriately control the modulator 12 so that the light generated from the light source 11 is modulated.
  • the same speckle pattern needs to be used both when obtaining the transformation matrix D and when reconstructing the image.
  • the same light source 11 and modulator 12 are usually used both when obtaining the transformation matrix D and when the image is reconstructed.
  • the modulation control unit 13 controls the modulator 12 so that the modulation by the modulator 12 is performed under the same conditions both when the conversion matrix D is obtained and when the image is reconstructed.
  • the beam splitter 15 separates the light that enters the waveguide 110 and travels toward the target, and the light obtained from the target.
  • the beam splitter 15 is provided so as to allow light incident on the waveguide 110 to pass therethrough, to be reflected by the target, and to separate the reflected light toward the detector.
  • the detector 120 is configured to detect the reflected light of the speckle pattern from the target. However, as will be described later, the detector 120 may detect the transmitted light of the speckle pattern transmitted through the target depending on the application of the imaging apparatus 100. In this case, the detector 120 is disposed at a position opposite to the position where the waveguide 110 is disposed with respect to the target 17. In other words, in this case, the target 17 is disposed between the emission end of the waveguide 110 and the detector 120. Therefore, in this case, the beam splitter 15 is not necessary.
  • the beam splitter 15 may be provided when necessary according to conditions for reconstructing an image such as a target type.
  • the waveguide 110 transmits light generated from the light source.
  • a multimode waveguide is used as the waveguide 110.
  • different speckle patterns can be obtained according to the modulation of light incident on the waveguide 110.
  • the waveguide 110 for example, a multimode optical fiber, a rectangular or circular waveguide, or a photonic crystal waveguide is used.
  • Other types of optical waveguides may be used as the waveguide 110 as long as different speckle patterns can be obtained according to the degree of modulation of light incident on the waveguide 110.
  • the waveguide 110 having a large number of modes the amount of information increases and the resolution can be improved. Therefore, it is preferable to use the waveguide 110 having a large diameter within a usable range.
  • the detector 120 detects the power of the speckle pattern of the near-field light emitted from the waveguide 110 and irradiated on the target.
  • the detector 120 detects the power of the speckle pattern. That is, the detector 120 may not detect position information such as the power distribution of the speckle pattern.
  • the detector 120 may be a one-pixel sensor, and need not be a detector that detects position information of power, such as an array sensor.
  • the imaging apparatus 100 can acquire a two-dimensional image without using an array-like sensor that may be expensive depending on the wavelength band to be detected.
  • the detector 120 a general detector capable of detecting the power of the speckle pattern is appropriately used according to the wavelength of light generated by the light source 11 and other conditions.
  • a camera equipped with a CCD camera or a CMOS image sensor, an ultraviolet camera, an InGaAs camera, a thermal image camera, or the like is appropriately used according to conditions such as the wavelength of light generated by the light source 11.
  • the gradation of the power level of the signal that can be detected by the detector 120 is not particularly limited.
  • the sensitivity resolution of the detector 120 is high, that is, when the signal power is detected by the detector 120 with more gradations, an image with less noise can be reconstructed.
  • the detector 120 is configured to detect the power of the speckle pattern irradiated and reflected on the target 17. That is, the speckles emitted from the waveguide 110 are imaged on the target 17 separated from the lens probe 16 by the lens probe 16 provided at the emission end of the waveguide 110.
  • the detector 120 detects the power of the light reflected from the target 17 and transmitted through the lens probe 16, the waveguide 110, and the beam splitter 15.
  • the power detection by the detector 120 may be performed under conditions different from the example shown in FIG.
  • the waveguide 110 or the lens probe 16 may be in close contact with the target 17.
  • the detector 120 may detect the power of the speckle pattern that has passed through the target 17. That is, as long as the speckle pattern reflected from the target or the power of the speckle pattern transmitted through the target can be detected, the detection conditions by the detector 120 including the positional relationship with the waveguide 110 are not particularly limited.
  • the positional relationship between the detector 120 and other elements may be different from the positional relationship between the camera 18 and other elements in obtaining the transformation matrix D. It may be the same.
  • the reconstruction unit 130 generates the light modulated by the modulator 12 and uses the transformation matrix D obtained in advance as described above based on the power of the plurality of speckle patterns detected by the detector 120. Reconstruct the image.
  • the reconstruction unit 130 obtains Q using the relationship of the above-described equation (19) based on the power of the signal obtained by k observations by the detector 120.
  • Q is a value obtained by subjecting the image x to discrete Fourier transform or wavelet transform.
  • the reconstruction unit 130 reconstructs an image using the inverse matrix ⁇ ⁇ 1 of the transformation matrix ⁇ .
  • the image reconstructed in this case is a monochrome image.
  • the reconstruction unit 130 is realized, for example, by appropriately combining hardware including a CPU (Central Processing Unit) and memory and software for reconstructing an image.
  • the specific configuration of the reconstruction unit 130 is not particularly limited, and may be realized by an FPGA (Field Programmable Gate Array), dedicated hardware, or the like.
  • the reconstruction unit 130 may include a function for obtaining the transformation matrix D by the calibration process described above.
  • the light generated by the light source 11 is passed through the waveguide 110 and irradiated onto the target 17 (step S101).
  • the detector 120 detects the power of the speckle pattern generated by irradiating the light from the light source 11 to the target 17 (step S102).
  • the reconstruction unit 130 determines whether or not power observation in step S102, which is a predetermined number of observations, has been performed (step S103). If the number of observations has not reached the predetermined number (step S103: No), for example, the modulation control unit 13 changes the state of modulation by the modulator 12 so that the speckle pattern changes (step S104). ). In this case, the state of modulation by the modulator 12 is controlled so that a speckle pattern similar to the case of obtaining the conversion matrix D is generated. Then, returning to step S102, the detector 120 detects the power of the speckle pattern.
  • step S105 the reconstruction unit 130 reconstructs an image using the transformation matrix D obtained in advance based on the power of the speckle pattern observed k times by the detector 120 in step S102.
  • the imaging apparatus 100 reconstructs an image using the ADMM algorithm which is one of the compression sensing techniques.
  • various speckle patterns generated by the waveguide 110 are used.
  • the waveguide 110 is not particularly limited as long as it is a multimode waveguide. That is, it is possible to reconstruct an image using a general thin-diameter waveguide 110 such as a single waveguide 110 in the micrometer order. Therefore, the imaging device 100 is an imaging device that can be used in a narrow space.
  • the reconstructed resolution can be increased by obtaining the conversion matrix D corresponding to more speckle patterns and performing many observations corresponding to the speckle patterns. That is, by using the imaging device 100, it is possible to obtain an image with a resolution according to the application without depending on the diameter of the waveguide.
  • Modification A modification can be considered for the imaging apparatus 100 described above.
  • the imaging apparatus 100 a light source 11 that generates light of a single wavelength is used. That is, in the imaging apparatus 100, a monochrome image is reconstructed with respect to a specific wavelength.
  • the imaging apparatus 100 may be a so-called multicolor apparatus, that is, an apparatus that reconstructs images for a plurality of wavelengths.
  • 7 to 10 show examples of configurations when the imaging apparatus 100 reconstructs images for a plurality of wavelengths.
  • the imaging apparatus 101 includes a wavelength tunable laser 21 and a wavelength control unit 22 instead of the light source 11 of the imaging apparatus 100.
  • the wavelength tunable laser 21 generates laser light having a wavelength according to the control of the wavelength control unit 22.
  • the range of the wavelength of the laser beam that can be generated by the wavelength tunable laser 21 is not particularly limited.
  • An appropriate wavelength tunable laser 21 may be used in accordance with conditions required for an image to be reconstructed.
  • the wavelength control unit 22 controls the wavelength tunable laser 21 to generate laser light having a specific wavelength. Then, an image for the specific wavelength is reconstructed. Thereafter, the wavelength control unit 22 controls the wavelength of the laser light generated by the wavelength tunable laser 21 to change, and images for different wavelengths are reconstructed.
  • the conversion matrix D used when reconstructing an image differs for each wavelength. Therefore, a conversion matrix D is obtained in advance for each wavelength. When the image is reconstructed, a conversion matrix D corresponding to the wavelength is used. Then, by reconstructing images for different wavelengths, images for many wavelengths are reconstructed.
  • the imaging device 102 includes a white light source 31 instead of the light source 11 of the imaging device 100. Further, the imaging apparatus 102 includes a wavelength resolving unit 32.
  • the white light source 31 is a light source that generates light of various wavelengths.
  • the spectral distribution of the light emitted from the white light source 31 is not particularly limited, and the range of the spectral distribution and the intensity of light of each wavelength may not be uniform.
  • a light source that emits light having a wavelength necessary for image reconstruction may be appropriately used as the white light source 31 in accordance with conditions required for the image to be reconstructed. That is, the white light source 31 may be a light source that generates light having a plurality of wavelengths necessary for image reconstruction.
  • the wavelength resolving unit 32 separates the light generated by the white light source 31 for each wavelength. That is, the wavelength resolving unit 32 is a mechanism for extracting desired wavelength separation from the light generated by the white light source 31. For example, a diffraction grating, a prism, a filter, an electro-optic crystal, an acousto-optic crystal, or a magneto-optic crystal is used as the wavelength resolving unit 32, but other mechanisms that separate white light for each wavelength may be used.
  • the wavelength resolving unit 32 is also provided with a mechanism for extracting monochromatic light having a specific wavelength.
  • the imaging device 102 In the imaging device 102, light of a specific wavelength separated by the wavelength resolving unit 32 is incident on the waveguide 110, and an image is reconstructed. Then, by changing the wavelength of the light incident on the waveguide 110, the image is reconstructed, so that images for a large number of wavelengths are reconstructed as in the imaging apparatus 101.
  • the imaging device 103 includes a white light source 41 instead of the light source 11 of the imaging device 100.
  • the imaging device 103 further includes a filter 42.
  • the white light source 41 is the same light source as the white light source 31 described above.
  • the filter 42 is a filter that transmits light of a specific wavelength. That is, the filter 42 is a mechanism for taking out a desired wavelength separation from the light generated by the white light source 41 as with the wavelength resolving unit 32 described above, and can be said to be another example of realizing the wavelength resolving unit 32. .
  • the filter 42 for example, a plurality of filters having different wavelengths of light to be transmitted according to the reconstructed image are used.
  • the filter 42 may be a filter that makes the wavelength of transmitted light variable.
  • the filter 42 In the imaging device 103, light of a specific wavelength is transmitted by the filter 42, whereby an image for the wavelength is reconstructed. Then, a filter 42 that transmits light of different wavelengths is used, or an image for a number of wavelengths is reconstructed in the same manner as the imaging device 101 and the like by changing the wavelength of light that is transmitted by the filter 42.
  • the imaging device 104 includes a white light source 51 and a Fourier spectrometer 52 instead of the light source 11 of the imaging device 100.
  • the white light source 51 is the same light source as the above-described white light source 31 and the like.
  • As the Fourier spectrometer 52 for example, a Michelson interferometer or the like is used.
  • the imaging device 104 In the imaging device 104, light having different wavelengths is incident on the waveguide 110 every time by the Fourier spectrometer 52. A detection result of light of a specific wavelength is obtained by performing Fourier transform on the detection result by the detector 120 every time. By using the conversion matrix D corresponding to the wavelength and other parameters, it is possible to reconstruct an image for many wavelengths.
  • the detector 120 is a detector that can detect light having a wavelength for the reconstructed image.
  • the detector 120 is a modulator that changes the incident angle of the light generated from the light source 11 to the waveguide 110 or a modulator that changes the wavefront of the light generated from the light source 11.
  • Each of the imaging devices 101 to 104 can reconstruct an image for a large number of wavelengths. That is, hyperspectral imaging can be performed by each of the imaging devices 101 to 104.
  • Simulation example It was confirmed by simulation that the image was reconstructed by the imaging apparatus 100 described above.
  • the reconstructed image was a 128-pixel image both vertically and horizontally.
  • a multimode fiber having a diameter of 125 ⁇ m (micrometer) or more was used as the waveguide 110.
  • the light source 11 is a light source that emits light of 632.8 nm (nanometers), and the modulator 12 that changes the incident angle to the waveguide 110 is used as the modulator 12.
  • FIG. 11 shows an original image and an image reconstructed when sampling 10% (percent) of the number of pixels with respect to the original image under such conditions.
  • the outline of the person, the lightness and darkness of the original image 11A, and a part of the hat accessory appear in the reconstructed image 11B. It was confirmed that it was restored.
  • the waveguide 110 of the micrometer order is used. That is, it was confirmed that the imaging apparatus 100 can capture an image in a very narrow space.
  • An imaging apparatus comprising:
  • Appendix 2 A modulator for changing the condition when the light is incident on the waveguide;
  • the imaging apparatus according to appendix 1.
  • the modulator changes the condition by changing an incident angle of the light into the waveguide;
  • the imaging apparatus according to attachment 2.
  • the modulator changes the condition by changing a wavefront of the light;
  • the imaging apparatus according to attachment 2.
  • the modulator changes the condition by changing the wavelength of the light;
  • the imaging apparatus according to attachment 2.
  • the waveguide is a multimode waveguide.
  • the imaging device according to any one of appendices 1 to 5.
  • the reconstructing means reconstructs the image by an ADMM (alternating direction method of multipliers) algorithm;
  • ADMM alternating direction method of multipliers
  • the reconstruction unit reconstructs the image by the ADMM algorithm using the transformation matrix obtained for the condition and the speckle pattern generated according to the condition,
  • the imaging apparatus according to appendix 7.
  • Appendix 9 The light source for generating the light of a plurality of wavelengths; Wavelength separation means for separating the light generated by the light source for each wavelength; The reconstruction means reconstructs the image for each of the plurality of wavelengths of light based on the plurality of powers detected for each of the plurality of wavelengths of light; The imaging device according to any one of appendices 1 to 8.
  • the light source capable of generating light of a selected wavelength among the light of a plurality of wavelengths; Wavelength control means for controlling the wavelength of light generated from the light source, The reconstruction means reconstructs the image for each of the plurality of wavelengths of light based on the plurality of powers detected for each of the plurality of wavelengths of light;
  • the imaging device according to any one of appendices 1 to 8.
  • Imaging device 100, 101, 102, 103, 104 Imaging device 110 Waveguide 120 Detector 130 Reconstruction unit 11 Light source 12 Modulator 13 Modulation control unit 14 Optical system 15 Beam splitter 16 Lens probe 17 Target 18 Camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

狭小な空間において利用可能な撮像装置等を提供する。撮像装置は、光を伝送する導波路と、導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出する検出器と、それぞれ異なる条件によって導波路へ光を入射して得られた複数のパワーに基づいて、対象の画像を再構築する再構築手段と、を備える。

Description

撮像装置及び撮像方法
　本発明は、撮像装置及び撮像方法に関する。
　医療現場や、精密機器の故障検査、低破壊が要求される考古学の調査等において、細径のスコープや画像伝送装置といったイメージング装置が用いられている。例えば、特許文献１には、内視鏡によるレーザ治療において、治療を必要とする広範囲の表面面積を自動的に撮影するための光学系に関する技術が記載されている。
　一方、圧縮センシングと呼ばれる、必要とされるデータよりも少ない観測データから画像等の対象を復元する技術が開発されつつある。圧縮センシングにおいて、対象を復元するためのアルゴリズムとして、例えば、非特許文献１に記載されているＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ　ｄｉｒｅｃｔｉｏｎ　ｍｅｔｈｏｄ　ｏｆ　ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムといったアルゴリズムが用いられる。
特開２０１２－０９８７４３号公報
Ｓ．Ｂｏｙｄ，Ｎ．Ｐａｒｉｋｈ，Ｅ．Ｃｈｕ　ｅｔ　ａｌ，Ｄｉｓｔｒｉｂｕｔｅｄ　Ｏｐｔｉｍｉｚａｔｉｏｎ　ａｎｄ　Ｓｔａｔｉｓｔｉｃａｌ　Ｌｅａｒｎｉｎｇ　ｖｉａ　ｔｈｅ　Ａｌｔｅｒｎａｔｉｎｇ　Ｄｉｒｅｃｔｉｏｎ　Ｍｅｔｈｏｄ　ｏｆ　Ｍｕｌｔｉｐｌｉｅｒｓ，Ｆｏｕｎｄａｔｉｏｎ　ａｎｄ　Ｔｒｅｎｄｓ　ｉｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　３，１－１２２，２０１０．
　上述した用途に用いられる装置は、その大きさによって撮影可能な箇所が制限される場合がある。すなわち、特許文献１に記載の技術に対して、より狭い空間においても利用可能なイメージング装置が求められている。
　本発明は、上記課題を解決するためになされたものであって、狭小な空間において利用可能な撮像装置等を提供することを主たる目的とする。
　本発明の一態様における撮像装置は、光源が発した光を伝送する導波路と、導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出する検出器と、それぞれ異なる条件によって導波路へ光を入射して得られた複数のパワーに基づいて、対象の画像を再構築する再構築手段と、を備える。
　また、本発明の一態様における撮像方法は、導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出し、それぞれ異なる条件によって導波路へ光を入射して得られた複数のパワーに基づいて、対象の画像を再構築する。
　本発明によると、狭小な空間において利用可能な撮像装置等を提供することができる。
本発明の実施形態における撮像装置を示す図である。 本発明の実施形態における撮像装置の詳細な構成例を示す図である。 本発明の実施形態における撮像装置において用いられる変換行列を求める場合の構成例を示す図である。 本発明の実施形態における撮像装置で用いられるスペックルパターンの例を示す図である。 本発明の実施形態における撮像装置で用いられるスペックルパターンと変換行列との関係を示す図である。 本発明の実施形態における撮像装置の動作を示すフローチャートである。 本発明の実施形態の変形例における撮像装置の一例を示す図である。 本発明の実施形態の変形例における撮像装置の他の一例を示す図である。 本発明の実施形態の変形例における撮像装置の他の一例を示す図である。 本発明の実施形態の変形例における撮像装置の他の一例を示す図である。 本発明のシミュレーション例において再構築される画像の例を示す図である。
　本発明の実施形態について、添付の図面を参照して説明する。図１は、本発明の実施形態における撮像装置を示す図である。
　図１に示すとおり、本発明の実施形態における撮像装置は、導波路１１０と、検出器１２０と、再構築部１３０とを備える。導波路１１０は、光を伝送する。検出器１２０は、導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出する。再構築部１３０は、それぞれ異なる条件によって導波路へ光を入射して得られた複数のパワーに基づいて、対象の画像を再構築する。
　撮像装置１００は、より具体的な一例として、図２に示す構成を備える。図２に示す構成例では、撮像装置１００は、上述した各要素に加えて、光源１１と、変調器１２と、変調制御部１３と、光学系１４と、ビームスプリッタ１５と、レンズプローブ１６とを備える。そして、撮像装置１００は、ターゲット１７の像を再構築する。
　なお、図２において、実線の矢印は、光源１１から発生した光が進む方向を表し、点線の矢印は、ターゲット１７から反射した光が進む方向を示す。
　光源１１は、対象へ照射される光を発生させる。本実施形態において、光源１１は、主に単一の波長の光を発生させる。変調器１２は、光源１１が発生した光を変調する。本実施形態における光の変調についての詳細は後述する。変調制御部１３は、変調器１２による変調の状態を制御する。変調器１２によって変調された光は、適宜設けられた光学系１４を通って導波路１１０へ入射する。ビームスプリッタ１５は、導波路１１０へ入射して対象へ照射する光と、対象から反射した光とを分離する。
　なお、図２及び後述する図３に示す例において、光源１１から生じた光は、導波路１１０の各図における左側の端部から導波路１１０へ入射し、各図における右側の端部から出射する。以下の説明では、導波路１１０の端部のうち、光源１１から生じた光が入射する端部（図２又は図３では左側の端部）を入射端と呼び、光源１１から生じた光が入射する端部（図２又は図３では右側の端部）を出射端と呼ぶ場合がある。
　撮像装置１００は、上述した圧縮センシングの技術を用いて画像を再構築する。より詳しくは、撮像装置１００は、導波路１１０から出射して対象に照射され、検出器１２０によって検出された光のパワーに基づいて画像を再構築する。
　一般に、導波路１１０の出射端から出射した光が何らかの対象に照射されると、干渉等の理由によりスペックルパターンが生じる。発生するスペックルパターンは、導波路１１０へ入射される光に応じて変化する。撮像装置１００は、このような導波路１１０からの出射光の近接場のスペックルパターンの多様性を利用し、圧縮センシングの技術に基づいて画像を再構築する。このような手法により、再構築される画像の画素数と比較して少ない観測データでの画像の再構築が可能となる。以下の説明において、導波路１１０の出射端から出射した光によって発生するスペックルパターンを、単にスペックルパターンと呼ぶ場合がある。
　スペックルパターンについて更に説明する。上述のように、導波路１１０の出射端から出射した近接場光によって、スペックルパターンが生じる。導波路１１０が延在する方向をｚ方向（図２及び３において導波路１１０内の実線の矢印が指し示す方向）とし、導波路１１０の断面方向（図２及び３において導波路１１０内の実線の矢印と直交する上方向）をｘ方向とし、紙面の下から上へ向かう方向をｙ方向とする。そして、角速度ωを有する光ビームが導波路１１０へ入射される場合を想定する。この場合に、スペックルパターンに関して、マルチモードの導波路である導波路１１０の入射端における光電場強度分布をＥｉｎとし、出射端における光電場強度分布をＥｏｕｔとすると、ＥｉｎとＥｏｕｔとの関係は以下の（１）式にて表される。

Figure JPOXMLDOC01-appb-M000001
　（１）式においては、また、（１）式において、ｚ方向の波数ｋｚは、ｋｚ＝２π／λ＊ｃｏｓαである。ｋｚを表す式において、αは入射光の入射角度であり、λは、入射光の波長である。
　すなわち、導波路１１０がマルチモード導波路であることを想定すると、導波路１１０に入射された入射光は、入射角等に応じて異なる導波モードの光を励起する。また、入射光は、導波路１１０の内面に複数回反射する。これらの理由により、出射光であるＥｏｕｔの強度分布は、例えば擬似ランダムな分布となる。擬似ランダムな分布は、本質的にランダムな分布とは異なり、規則性がある。またそれとともに、擬似ランダムな分布は、例えばガウス分布、ベルヌーイ分布などの伝統的な分布とは異なり、規則性が一見してわからない。ファイバ出射面のスペックルの擬似ランダムな分布は、入射光線の光線追跡を行い、複数の入射光線を線形加算することによって、推測することができる。
　そして、このＥｏｕｔの強度分布は、（１）式に示すように、入射光の入射角度や波長に応じて変化する。つまり、導波路１１０からの出射光によって生じるスペックルパターンは、入射光の入射角度や波長に応じて変化する。また、スペックルパターンは、入射光の波面（つまり同位相である点の集合によって構成される面）によっても変化し得る。
　そこで、撮像装置１００は、入射光の入射角度、波長又は波面等を含む入射光の条件を変化させることで変化する複数のスペックルパターンを利用して、ＡＤＭＭアルゴリズムに基づき画像を再構築する。以下の説明において、「波面を変化」させるとは、同一の地点における光の位相を変化させることを意味する。
　なお、以下の説明において、導波路１１０へ入射される入射光の入射角度、波長又は波面等の入射光の条件を変化させることを変調と呼ぶ。
　画像の再構築は、スペックルパターンに応じて求められた変換行列Ｄを用いて、圧縮センシングの技術の一つであるＡＤＭＭアルゴリズムに沿って行われる。以下、変換行列Ｄを求める手順、及び、当該変換行列Ｄを用いた、ＡＤＭＭアルゴリズムに基づく、画像を再構築する手順について説明する。
　続いて、変換行列Ｄを求める手順について説明する。変換行列Ｄは、一例として、図３に示す構成を用いて求められる。変換行列Ｄの行数及び列数は、再構築される画像の画素数に応じて定められる。以下においては、再構築される画像をｘとし、画像ｘは、横がｍ画素、縦がｎ画素の画像であると想定する。以下、変換行列Ｄを求める手順を、キャリブレーション工程又は単にキャリブレーションと呼ぶ場合がある。
　図３に示す構成において、導波路１１０、光源１１、変調器１２、変調制御部１３及び光学系１４は、図２に示す要素とそれぞれ同様の要素である。また、図３では、導波路１１０の出射端と対向してカメラ１８が設けられている。カメラ１８は、例えば、撮像装置１００によって再構築される画像の画素数以上の画素数であるセンサを有する。そして、導波路１１０の出射端から出射した近接場光のスペックルパターンが、カメラ１８のセンサ面に結像される。
　なお、カメラ１８として、光源１１が発生する光の波長に応じたカメラが用いられる。光源１１が発生する光が可視光線である場合には、カメラ１８として、一般的なＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのカメラ等が用いられる。また、例えば、光が紫外線であれば紫外線カメラが、近赤外線であればＩｎＧａＡｓ（インジウムガリウムヒ素）カメラが、中遠赤外線であれば熱画像カメラ等が、それぞれカメラ１８として用いられる。カメラ１８の画素数や縦横比を含む画素の配置は、再構築する画像の画素数や画素の配置に応じて定められる。カメラ１８の感度特性は、検出器１２０の感度特性と近いことが好ましい。
　また、変換行列Ｄを求める場合と、画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、図３に示す導波路１１０、光源１１、変調器１２及び光学系１４の各要素として、通常は、求められた変換行列Ｄを用いる撮像装置１００の要素と同じ要素が用いられる。また、これらの要素を配置する際の位置関係は、求められた変換行列Ｄを用いる撮像装置１００と同じ条件となる必要がある。
　スペックルパターンの分布は、上述した（１）式に示すように、入射光の変調に応じて変化する。つまり、導波路１１０からの出射光によって生じるスペックルパターンは、入射光の入射角度や波長に応じて変化する。また、スペックルパターンは、入射光の波面によっても変化し得る。以下の例では、入射光の入射角度、波長又は波面等を含む入射光の条件を変調させて得られる複数のスペックルパターンに基づいて変換行列Ｄが求められる。
　変換行列Ｄを求める際には、まず光源１１が光を発生し、変調器１２が、光源１１が発生させた光を変調する。図３に示す例では、導波路１１０への入射光の入射角度を変化させることにより入射光を変調する場合の例を想定する。この例では、変調器１２は、反射面の角度を変化させることができるガルバノミラーである。
　変調器１２によって変調された光は、光学系１４を通過して導波路１１０へ入射する。そして、導波路１１０の出射端から出射した近接場光が、カメラ１８のセンサ面に結像される。図４のＡからＣは、導波路１１０への入射光の入射角度を変化させた場合に得られるスペックルパターンの一例である。
　図５は、カメラ１８によって検出されるスペックルパターン１８０と変換行列Ｄとの関係を示す。
　図５は、スペックルパターン１８０のパワーを２階調で検出した場合の例を模式的に示す。すなわち、図５に示す例では、カメラ１８の画素毎に、スペックルパターン１８０のパワーが大きな領域は黒い四角で、スペックルパターン１８０のパワーが小さな領域は白い四角で表されている。
　そして、カメラ１８によって検出された画素毎のスペックルパターン１８０のパワーは、再構築される画像の画素数（ｍ×ｎ個）に対応するｍ×ｎ次元のベクトルＤｉ（ｉ＝１，２，・・・，ｋ）として表される。したがって、図５に示す変換行列Ｄの例において、カメラ１８によって検出されたスペックルパターン１８０のパワーは、ｍ×ｎ次元のベクトルとして表される。なお、スペックルパターン１８０のパワーは、例えば検出器１２０の感度分解能等に応じて、多階調にて検出されてもよい。
　このようなカメラ１８によるスペックルパターン１８０の検出は、図４のＡからＣに示すような、異なるスペックルパターン１８０に対して繰り返し行われる。上述のように、導波路１１０への入射光が変調されることにより、スペックルパターン１８０は変化する。例えば、変調器１２が、反射光の反射角度を変化させる機構の一つであるガルバノミラーである場合には、異なる入射角度で光を導波路１１０へ入射させることによってスペックルパターン１８０は変化する。
　したがって、このような異なる複数のスペックルパターン１８０の観測は、変調器１２による変調の状態を変化させつつ、カメラ１８による観測を行うことよって行われる。
　図５には、スペックルパターン１８０を変化させた場合の例が模式的に示されている。そして、繰り返し行われるスペックルパターン１８０の検出において、カメラ１８にて検出された画素毎の信号のパワーから、複数のベクトルが求められる。ｋ回の異なるスペックルパターン１８０の観測によって求められたｋ個のベクトルＤ１からＤｋによって、変換行列Ｄが構成される。すなわち、変換行列Ｄの各行は、一つのスペックルパターン１８０に対して求められたｍ×ｎ次元のベクトルＤｉ（１≦ｉ≦ｋ）である。
　なお、スペックルパターン１８０の観測回数（ｋ）は、再構築される画像に要求される画質や、変調器１２又は検出器１２０の種類等の条件に応じて適宜定められればよい。
　次に、変換行列Ｄを用いた、画像を再構築する手順を説明する。画像の再構築は、ＡＤＭＭアルゴリズムに基づいて行われる。上述のように、再構築される画像ｘは、横がｍ画素、縦がｎ画素の画像であることを想定する。
　撮像装置１００においては、光源１１からの光が導波路１１０に入射することで発生し、ターゲットに結像されたスペックルパターンのパワーの総和を複数用いることによって、画像が再構築される。
　上述のように、変換行列Ｄを求める場合と、画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、変調器１２は、変調制御部１３によって、変換行列Ｄを求める場合と、画像が再構築される場合との双方において同じスペックルパターンが生じるように制御される。そして、変換行列Ｄを求める場合と、画像が再構築される場合との双方において、同じ回数であるｋ回の観測が行われる。
　本実施形態において、検出器１２０は、スペックルパターンのパワーの分布等の位置情報を検出せず、ターゲット１７に照射されたスペックルパターンのパワーのみを検出すると想定する。そのため、検出器１２０によって検出されるパワーの総和は、再構築しようとする画像の全ての画素の信号強度の和となる。
　この場合に、撮像装置１００によって再構築される画像ｘについて、変換行列Ｄのいずれかの行を構成するベクトルＤｉに対応するスペックルパターンに対して検出器１２０によって検出される信号のパワーｊｉは、以下の（２）式のような関係にて表される。
Figure JPOXMLDOC01-appb-M000002
　（２）式において、ｄｉ ｋは、上述したベクトルＤｉに含まれるｍ×ｎ個の要素のうちの１つ（図５の変換行列Ｄを参照）を表し、ｘｋは、画像ｘに含まれるｍ×ｎ個の画素の各々の信号強度を表す値を、順に整列して並べた値を表す。ｄｉ ｋとｘｋは、それぞれ画像において対応する位置における値である。
　検出器１２０による信号のパワーの検出を、Ｄ１からＤｋの各々に対応するｋ個のスペックルパターンに対して行う場合を想定する。この場合に、Ｄ１からＤｋの各々に対して検出されたｋ個の信号のパワーｊｉ（ｉ＝１～ｋ）についてのベクトルｊｋ×１＝（ｊ1, ｊ2, ・・・, ｊk）に関して、以下の（３）式の関係が得られる。
Figure JPOXMLDOC01-appb-M000003
　（３）式では、Ｄｋ×ｍｎ、ｘｍｎ×１及びｊｋ×１の各々について、添字は、各々を表す行列の要素数を示す。Ｄｋ×ｍｎは、ｋ行（ｍ×ｎ）列の変換行列である。すなわち、変換行列Ｄｋ×ｍｎは、（ｍ×ｎ）個の要素をそれぞれ含むｋ個のベクトルDｉ（ｉ＝１～ｋ）で構成される。ｘｍｎ×１は、（ｍ×ｎ）行のベクトルである。ｊｋ×１は、ｋ行のベクトルである。以下説明において、添字が付されないＤ、ｘ及びjの各々は、Ｄｋ×ｍｎ、ｘｍｎ×１及びｊｋ×１の各々と同じ内容を表す。
　圧縮センシングにおいては、画像を再構築するために、以下の（４）式に示す最小化問題の解が求められる。すなわち、（４）式のＬ１ノルム解を求めることにより、上述したｋ個の信号のパワーの検出結果から、画像ｘが再構築される。
Figure JPOXMLDOC01-appb-M000004
　（４）式において、||ｘ||１は、ｘのＬ１ノルムを表す。
　上述した（４）式の解は、ＡＤＭＭアルゴリズムを用いて、以下で説明する手順にしたがって求められる。まず、以下の（５）式で表されるコスト関数を考慮する。
Figure JPOXMLDOC01-appb-M000005
　（５）式は、ラグランジュ未定乗数法におけるコスト関数である。また、（５）式において、νは、ラグランジュ未定乗数を表す。
　（４）式において、Ｌ１ノルムについてのｘとその他のｘとを区別するため、新たな変数ｚを導入する。（５）式に示されるＬ（ｘ）を最小化する問題は、以下の（６）式に示す条件付の最小化問題に置き換えられる。（６）式において、λは、ラグランジュ未定乗数法のコスト係数を示す。
Figure JPOXMLDOC01-appb-M000006
　そして、拡張ラグランジュ法の手続に沿って、以下の（７）式に示される新たなコスト関数が最小化される。
Figure JPOXMLDOC01-appb-M000007
　（７）式において、ｕ［ｔ］は、制約付最適化問題を適当な初期点から反復計算を行う勾配法により解く際に、最適解に収束させる補助項を示す。（７）式をｘについて微分すると、以下の（８）式が得られる。
Figure JPOXMLDOC01-appb-M000008
　（８）式を０とするｘとして、以下の（９）式が得られる。
Figure JPOXMLDOC01-appb-M000009
　（９）式のように得られたｘを、元の（７）式のコスト関数へ代入すると、（７）式は、以下の（１０）式のような形となる。
Figure JPOXMLDOC01-appb-M000010
　（１０）式は、νに関して２次関数であると考えることができる。そのため、（１０）式が最大化される最適解は、以下の（１１）式にて表される。
Figure JPOXMLDOC01-appb-M000011
　得られた（１１）式を（９）式へ代入すると、以下の（１２）式が得られる。
Figure JPOXMLDOC01-appb-M000012
　上述した、反復計算を行う勾配法により（１３）式が求められる。（１２）式に対して、勾配法を適用すると、ｘ、ｚ及びｕに対して、反復計算のｔ＋１回目の値を示す式として、以下の３つの（１３）式が得られる。
Figure JPOXMLDOC01-appb-M000013
 ただし
Figure JPOXMLDOC01-appb-I000014
　本実施形態において、反復計算は、一回のみ行う場合を想定する。この場合には、ｚ［ｔ＋１］及びｕ［ｔ＋１］は、考慮の必要がなくなる。また、ｚ［ｔ］及びｕ［ｔ］の初期化が必要となるが、ｚ［０］及びｕ［０］は、０であってもよい。そのため、再構築される画像ｘとして、以下の（１４）式が得られる。

Figure JPOXMLDOC01-appb-M000015
　一方、ＡＤＭＭアルゴリズムは、スパース性が期待できる基底が、ある変換を通して見つかる場合に、大きな効果を発揮する。信号がスパースであるとは、信号の多くの成分が０であるという性質を意味する。そのため、画像ｘの再構築においては、一般に、ｘを、スパース性を有する空間へ変換する必要がある。つまり、スパース性を有する空間において画像が再構築される。
　スパース化は、例えば、画像ｘを離散フーリエ変換又はウェーブレット変換することで実現される。そこで、以下の（１５）式に示すように、スパース変換行列Φを用いて、画像ｘをスパース化する。スパース変換行列Φは、例えば、離散フーリエ変換行列又はウェーブレット変換行列のいずれかである。そして、上述したＡＤＭＭアルゴリズムにより、Ｑが求められる。

Figure JPOXMLDOC01-appb-M000016
　（１５）式は、変換行列Φの逆行列Φ－１を用いて、以下の（１６）式に示す形に変換される。
Figure JPOXMLDOC01-appb-M000017
　また、（１６）式は、（３）式に示す関係を用いて、更に以下の（１７）式に示す形に変換される。
Figure JPOXMLDOC01-appb-M000018
　スパース変換行列Φが離散フーリエ変換又はウェーブレット変換行列である場合には、Φの共役転置行列を添字の＋で表し、Φ＋とすると、ΦとΦ＋とは互いに逆行列となる。
そのため、（１７）式から、以下の（１８）式が得られる。
Figure JPOXMLDOC01-appb-M000019
　（１８）式において、未知数はＱとなる。そこで、下記の（１９）式に示すようにＬ１ノルムの最小解を求めることにより、Ｑの近似解Ｑ”を求める。
Figure JPOXMLDOC01-appb-M000020
　（１９）式に対しては、上述した（４）式に対して（１７）式を得た例と同様にして、以下の（２０）式が得られる。
Figure JPOXMLDOC01-appb-M000021
　（２０）式において、Ｐは、(D'k×mn・Ф+)+・inv[(D'k×mn・Ф+)・(D'k×mn・Ф+)+]を表す。また、（２０）式の右辺のjは、左辺のｊk×１と同じ内容を表す。
　すなわち、Ｑの近似解であるＱ”を求め、求めたＱ”と上述したΦ＋を用いることにより、再構築の対象となる画像ｘが求められる。
　カメラ１８又は検出器１２０による観測回数ｋは、一般に、再構築される画像ｘの画素数であるｍ×ｎに対して少ない回数でよい。例えば、例えば、上述したスパース化が適切に行われる場合には、カメラ１８又は検出器１２０による観測回数ｋは、画素数の数％（パーセント）程度であってもよい。すなわち、撮像装置１００は、圧縮センシングの一手法であるＡＤＭＭアルゴリズムを用いることにより、スペックルパターンを変化させて得られる少ないデータからの画像の再構築を可能とする。
　なお、カメラ１８又は検出器１２０による観測回数ｋは、上述した例に限られず、再構築される画像に求められる画質やスパース化の程度に応じて適宜定められればよい。
　続いて、本実施形態における撮像装置１００の各要素の詳細を説明する。
　光源１１は、対象へ照射される光を発生させる。本実施形態において、光源１１は、主に所望の単波長の光を発生させる光源である。光源１１が発生させる光の波長や強度等の条件は、画像の被写体になるターゲットやその他の要因に応じて適宜定められればよい。なお、光源１１は、様々な波長の光を発生する白色光源であってもよいし、波長可変レーザのように、発生させる光の波長を変更可能であってもよい。光源１１の具体的な種類等は特に限定されず、所望の光を発生可能であればよい。
　変調器１２は、光源１１が発生した光を変調する。上述のように、光源１１から発生した光は、例えば、導波路１１０への入射角度、波面又は波長を変化することによって変調される。そのため、変調器１２は、これらを変化させる。つまり、変調器１２は、例えば、光源から発生した光の導波路への入射角度、光源から発生した光の波面又は光源から発生した光の波長のいずれかを変化させる。
　変調器１２が、光源１１から発生した光の導波路１１０への入射角度を変化させる場合には、変調器１２として、例えば、ガルバノミラーや、圧電素子ミラー、可動ステージ等の光の進行方向を変化させる機構が用いられる。変調器１２が、光源１１から発生した光の波面を変化させる場合には、変調器１２として、光空間変調器、デジタルミラーデバイス、形状可変ミラー等の光の波面を変化させる機構が用いられる。
　更に、変調器１２が、光源１１から発生した光の波長を変化させる場合には、変調器１２として、回折格子やプリズム等の特定の波長の光を取り出すための光源１１から発生した光の波長を変化させる機構である場合には、光源１１として白色光源が用いられる。また、この場合には、変調器１２に代えて、光源１１が、上述した波長可変レーザのように、発生させる光の波長を変化可能な機構を備えてもよい。
　変調制御部１３は、変調器１２による変調の状態を制御する。一例として、変調器１２がガルバノミラーである場合には、変調制御部１３は、鏡面の向きを変化させることにより、光源１１から発生し導波路１１０へ入射する入射光の入射角度が変化するように制御する。変調器１２としてその他の機構が用いられる場合においても、変調制御部１３は、光源１１から発生した光が変調されるように、変調器１２を適宜制御すればよい。
　なお、上述のように、変換行列Ｄを求める場合と画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、変換行列Ｄを求める場合と画像が再構築される場合の双方において、通常は、同じ光源１１及び変調器１２が用いられる。そして、変調制御部１３は、変換行列Ｄを求める場合と画像が再構築される場合との双方において、変調器１２による変調が同じ条件で行われるように変調器１２を制御する。
　ビームスプリッタ１５は、導波路１１０へ入射してターゲットへ向かう光と、対象から得られた光とを分離する。図２に示す例では、ビームスプリッタ１５は、導波路１１０へ入射する光を通過させ、ターゲットにて反射し、検出器へ向かう反射光を分離させるように設けられる。
　なお、図２に示す例では、検出器１２０は、ターゲットからのスペックルパターンの反射光を検出するように構成されている。ただし、後述のように、検出器１２０は、撮像装置１００の用途によっては、ターゲットを透過したスペックルパターンの透過光を検出してもよい。この場合には、検出器１２０は、ターゲット１７に対して導波路１１０が配置される位置と反対側の位置に配置される。言い換えると、この場合には、導波路１１０の出射端と検出器１２０との間にターゲット１７が配置される。そのため、この場合には、ビームスプリッタ１５は、不要となる。
　つまり、ビームスプリッタ１５は、ターゲットの種類等の画像を再構築する場合の条件に応じて、必要がある場合に設けられればよい。
　導波路１１０は、光源から発生した光を伝送する。本実施形態において、導波路１１０として、マルチモード導波路が用いられる。マルチモード導波路が用いられることにより、導波路１１０へ入射する光の変調に応じて、異なるスペックルパターンを得ることが可能となる。
　導波路１１０としては、例えば、マルチモードの光ファイバ、方形又は円形の導波路、フォトニック結晶導波路が用いられる。導波路１１０へ入射する光の変調の程度に応じて異なるスペックルパターンを得ることが可能であれば、他の種類の光導波路が導波路１１０として用いられてもよい。
　また、モード数の大きな導波路１１０が用いられることで、情報量が増加し、分解能を高めることが可能となる。そのため、利用可能な範囲で径の大きな導波路１１０が用いられることが好ましい。
　検出器１２０は、上述のように、導波路１１０から出射し、ターゲットに照射された近接場光のスペックルパターンのパワーを検出する。
　本実施形態において、検出器１２０は、スペックルパターンのパワーを検出する。すなわち、検出器１２０は、スペックルパターンのパワーの分布等の位置情報を検出しなくてもよい。検出器１２０は、１画素のセンサであればよく、例えばアレイ状のセンサのような、パワーの位置情報を検出する検出器である必要はない。撮像装置１００は、検出する波長帯等によっては高価な場合があるアレイ状等のセンサを用いることなく、二次元の画像の取得を可能とする。
　検出器１２０として、光源１１が発生する光の波長やその他の条件に応じて、スペックルパターンのパワーを検出可能な一般的な検出器が適宜用いられる。検出器１２０として、ＣＣＤカメラ又はＣＭＯＳイメージセンサを備えるカメラ、紫外線カメラ、ＩｎＧａＡｓカメラ、熱画像カメラ等が、光源１１が発生する光の波長等の条件に応じて適宜用いられる。
　また、検出器１２０が検出可能な信号のパワーの大きさの階調は、特に制限されない。検出器１２０の感度分解能が高い、つまり、検出器１２０によって信号のパワーがより多くの階調にて検出される場合には、ノイズの少ない画像の再構築が可能となる。
　なお、図２に示す例では、上述のように、検出器１２０は、ターゲット１７に照射されて反射したスペックルパターンのパワー検出するように構成されている。すなわち、導波路１１０から出射するスペックルは、導波路１１０の出射端に設けられたレンズプローブ１６によって、レンズプローブ１６と離間したターゲット１７に結像される。そして、検出器１２０は、ターゲット１７から反射し、レンズプローブ１６、導波路１１０及びビームスプリッタ１５を伝送された光のパワーを検出する。
　しかしながら、検出器１２０によるパワーの検出は、図２に示す例とは異なる条件にて行われてもよい。例えば、導波路１１０又はレンズプローブ１６は、ターゲット１７と密着していてもよい。また、検出器１２０は、ターゲット１７を透過したスペックルパターンのパワーを検出してもよい。すなわち、ターゲットからの反射したスペックルパターン又はターゲットを透過したスペックルパターンのパワーが検出可能であれば、導波路１１０との位置関係等を含む、検出器１２０による検出の条件は特に制限されない。
　また、検出器１２０と他の要素との位置関係は、図２及び図３に示すように、変換行列Ｄを求める場合におけるカメラ１８と他の要素との位置関係と異なっていてもよいし、同じであってもよい。
　再構築部１３０は、変調器１２によって変調された光によって発生し、検出器１２０によって検出された複数のスペックルパターンのパワーに基づき、予め上述のように求められた変換行列Ｄを用いて、画像を再構築する。
　再構築部１３０は、より詳細には、検出器１２０によるｋ回の観測により得られた信号のパワーに基づいて、上述した（１９）式の関係を用いて、Ｑを求める。上述のように、Ｑは、画像ｘを離散フーリエ変換又はウェーブレット変換して得られる値である。そして、Ｑが求められると、再構築部１３０は、変換行列Φの逆行列Φ－１を用いて画像を再構築する。本実施形態では、この場合に再構築される画像は、単色の画像であることを想定する。
　再構築部１３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）とメモリを含むハードウェアと、画像を再構築するソフトウェアとを適宜組み合わせすることで実現される。再構築部１３０の具体的な構成は特に限定されず、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、専用のハードウェア等によって実現されてもよい。再構築部１３０には、上述したキャリブレーション工程の手順によって変換行列Ｄを求める機能が含まれてもよい。
　続いて、図６に示すフローチャートを参照して、撮像装置１００の動作の一例を説明する。なお、以下の動作の説明では、導波路１１０のスペックルパターンに関して、上述したキャリブレーション工程の手順によって変換行列Ｄが予め求められていることを想定する。
　最初に、光源１１が発生させた光を、導波路１１０に通過させてターゲット１７へ照射する（ステップＳ１０１）。
　検出器１２０は、ターゲット１７に光源１１からの光を照射させて生じたスペックルパターンのパワーを検出する（ステップＳ１０２）。
　次に、再構築部１３０は、予め定められた観測回数であるｋ回のステップＳ１０２におけるパワーの観測が行われたか否かを判定する（ステップＳ１０３）。観測回数が予め定めた回数に達していない場合（ステップＳ１０３：Ｎｏ）には、例えば変調制御部１３が、スペックルパターンが変化するように、変調器１２による変調の状態を変化させる（ステップＳ１０４）。この場合において、変調器１２による変調の状態は、変換行列Ｄを求める場合と同様のスペックルパターンが発生するように制御される。そして、ステップＳ１０２に戻り、検出器１２０は、スペックルパターンのパワーを検出する。
　観測回数が予め定めた回数に達している場合には（ステップＳ１０３：Ｙｅｓ）、再構築部１３０は、画像を再構築する（ステップＳ１０５）。すなわち、再構築部１３０は、ステップＳ１０２において、検出器１２０によってｋ回観測されたスペックルパターンのパワーに基づき、予め求められた変換行列Ｄを用いて、画像を再構築する。
　以上のとおり、本実施形態における撮像装置１００は、圧縮センシング技術の一つであるＡＤＭＭアルゴリズムを用いて画像を再構築する。画像の再構築においては、導波路１１０によって生じる様々なスペックルパターンが用いられる。
　導波路１１０は、マルチモード導波路であれば特に種類は問わない。すなわち、マイクロメートルオーダーの単一の導波路１１０のような、一般的な細い径の導波路１１０を用いた画像の再構築が可能となる。したがって、撮像装置１００は、狭小な空間において利用可能な撮像装置となる。
　また、撮像装置１００においては、より多くのスペックルパターンに応じた変換行列Ｄを求め、スペックルパターンに応じた多くの観測をおこなうことによって、再構築される解像度を高めることができる。すなわち、撮像装置１００を用いることにより、導波路の径に依存することなく、用途に応じた解像度の画像を得ることが可能となる。
　（変形例）
　上述した撮像装置１００には、変形例が考えられる。
　撮像装置１００では、単波長の光を発生する光源１１が用いられた。すなわち、撮像装置１００では、特定の波長に関して単色の画像が再構築された。しかしながら、撮像装置１００は、いわゆる多色の装置、すなわち、複数の波長に対する画像を再構築する装置であってもよい。
　図７から図１０の各々は、撮像装置１００が、複数の波長に対する画像を再構築する場合の構成の例を示す。
　図７に示す例では、撮像装置１０１は、撮像装置１００の光源１１に変えて、波長可変レーザ２１及び波長制御部２２を備える。波長可変レーザ２１は、波長制御部２２の制御に応じた波長のレーザ光を発生する。波長可変レーザ２１が発生可能なレーザ光の波長の範囲は特に限定されない。再構築しようとする画像に求められる条件等に応じて、適切な波長可変レーザ２１が用いられればよい。
　撮像装置１０１では、波長制御部２２によって、波長可変レーザ２１が特定の波長のレーザ光を発生するように制御される。そして、当該特定の波長に対する画像が再構築される。その後、波長制御部２２によって、波長可変レーザ２１が発生するレーザ光の波長が変化するように制御され、異なる波長に対する画像が再構築される。
　なお、画像を再構築する際に用いられる変換行列Ｄは波長毎に異なる。そのため、波長毎に変換行列Ｄが予め求められる。画像の再構築に際しては、波長に応じた変換行列Ｄが用いられる。そして、異なる波長に対する画像の再構築が繰り返し行われることにより、多数の波長に対する画像が再構築される。
　また、図８に示す例では、撮像装置１０２は、撮像装置１００の光源１１に変えて、白色光源３１を備える。また、撮像装置１０２は、波長分解部３２を備える。
　白色光源３１は、様々な波長の光を発生する光源である。本変形例において、白色光源３１が発光する光のスペクトル分布については特に制約はなく、スペクトル分布の範囲や各々の波長の光の強度が均一でなくてもよい。本変形例では、再構築しようとする画像に求められる条件等に応じて、画像の再構築に必要となる波長の光を発光する光源が白色光源３１として適宜用いられればよい。すなわち、白色光源３１は、画像の再構築に必要となる複数の波長の光を発生する光源であればよい。
　波長分解部３２は、白色光源３１が発生する光を波長毎に分離する。つまり、波長分解部３２は、白色光源３１が発生する光から所望の波長の分離を取り出すための機構である。波長分解部３２として、例えば、回折格子、プリズム、フィルタ、電気光学結晶、音響光学結晶、又は磁気光学結晶が用いられるが、白色光を波長毎に分離する他の機構が用いられてもよい。また、波長分解部３２には、特定の波長の単色光を抽出する機構が併せて設けられる。
　撮像装置１０２では、波長分解部３２によって分離された特定の波長の光が導波路１１０へ入射されて画像が再構築される。そして、導波路１１０へ入射される光の波長を変化させて画像が再構築されることで、撮像装置１０１と同様に多数の波長に対する画像が再構築される。
　また、図９に示す例では、撮像装置１０３は、撮像装置１００の光源１１に変えて、白色光源４１を備える。撮像装置１０３は、更に、フィルタ４２を備える。
　白色光源４１は、上述した白色光源３１と同様の光源である。また、フィルタ４２は、特定の波長の光を透過するフィルタである。つまり、フィルタ４２は、上述した波長分解部３２と同様に、白色光源４１が発生する光から所望の波長の分離を取り出すための機構であり、波長分解部３２の別の実現例であるといえる。
　フィルタ４２として、例えば、再構築される画像に応じて透過させる光の波長がそれぞれ異なる複数のフィルタが用いられる。また、フィルタ４２は、透過する光の波長を可変とするフィルタであってもよい。
　撮像装置１０３では、フィルタ４２によって特定の波長の光が透過することで、当該波長に対する画像が再構築される。そして、異なる波長の光を透過するフィルタ４２が用いられる、又は、フィルタ４２が透過する光の波長を変化させることによって、撮像装置１０１等と同様に多数の波長に対する画像が再構築される。
　また、図１０に示す例では、撮像装置１０４は、撮像装置１００の光源１１に変えて、白色光源５１と、フーリエ分光器５２とを備える。白色光源５１は、上述した白色光源３１等と同様の光源である。フーリエ分光器５２として、例えば、マイケルソン干渉計等が用いられる。
　撮像装置１０４は、フーリエ分光器５２によって、時間毎に異なる波長の光が導波路１１０へ入射されることとなる。時間毎に検出器１２０による検出結果をフーリエ変換することにより、特定の波長の光の検出結果が得られる。波長に応じた変換行列Ｄやその他のパラメータを用いることにより、多数の波長に対する画像の再構築が可能となる。
　なお、撮像装置１０１から１０４の各々において、検出器１２０は、再構築される画像に対する波長の光を検出可能な検出器である。また、撮像装置１０１から１０４の各々においては、検出器１２０は、光源１１から発生した光の導波路１１０への入射角度を変化させる変調器又は光源１１から発生した光の波面を変化させる変調器であることを想定する。
　撮像装置１０１から１０４の各々により、多数の波長に対する画像の再構築が可能となる。つまり、撮像装置１０１から１０４の各々により、ハイパースペクトルイメージングが可能となる。
　（シミュレーション例）
　上述した撮像装置１００により、画像が再構築されることを、シミュレーションにより確認した。
　再構築される画像は、縦横とも１２８画素の画像とした。導波路１１０として、直径が１２５μｍ（マイクロメートル）以上のマルチモードファイバが用いられた。また、光源１１は、６３２．８ｎｍ（ナノメートル）の光を発する光源であり、変調器１２として、導波路１１０への入射角度を変化させる変調器１２が用いられた。
　このような条件において、オリジナルの画像、及びオリジナルの画像について画素数の１０％（パーセント）のサンプリングを行った場合に再構築された画像を、それぞれ図１１に示す。図１１に示すように、オリジナルの画像１１Ａと再構築された画像１１Ｂとを比較すると、人物の輪郭、オリジナルの画像１１Ａの明暗、及び帽子のアクセサリの一部が、再構築された画像１１Ｂに復元されることが確認できた。
　上述のように、この例においては、マイクロメートルオーダーの導波路１１０が用いられている。すなわち、撮像装置１００により、非常に狭い空間での撮像が可能であることが確認できた。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本発明のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
　この発明の一部又は全部は、以下の付記のようにも表されるが、これに限られない。
　　（付記１）
　光源が発した光を伝送する導波路と、
　前記導波路を通過した前記光によって発生し、対象に照射されたスペックルパターンのパワーを検出する検出器と、
　それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する再構築手段と、
　を備える撮像装置。
　　（付記２）
　前記光を前記導波路へ入射する場合の前記条件を変化させる変調器を備える、
　付記１に記載の撮像装置。
　　（付記３）
　前記変調器は、前記光の前記導波路への入射角度を変更することにより前記条件を変化させる、
　付記２に記載の撮像装置。
　　（付記４）
　前記変調器は、前記光の波面を変更することにより前記条件を変化させる、
　付記２に記載の撮像装置。
　　（付記５）
　前記変調器は、前記光の波長を変更することにより前記条件を変化させる、
　付記２に記載の撮像装置。
　　（付記６）
　前記導波路は、マルチモード導波路である、
　付記１から５のいずれか一項に記載の撮像装置。
　　（付記７）
　前記再構築手段は、ＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ　ｄｉｒｅｃｔｉｏｎ　ｍｅｔｈｏｄ　ｏｆ　ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムにより前記画像を再構築する、
　付記１から６のいずれか一項に記載の撮像装置。
　　（付記８）
　前記再構築手段は、前記条件及び前記条件に応じて発生したスペックルパターンに対して求められた変換行列を用いて、前記ＡＤＭＭアルゴリズムにより前記画像を再構築する、
　付記７に記載の撮像装置。
　　（付記９）
　複数の波長の前記光を発生する前記光源と、
　前記光源が発生した前記光を波長毎に分離する波長分離手段とを更に備え、
　前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
　付記１から８のいずれか一項に記載の撮像装置。
　　（付記１０）
　複数の波長の前記光のうち、選択された波長の光を発生可能な前記光源と、
　前記光源から発生する光の波長を制御する波長制御手段とを更に備え、
　前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
　付記１から８のいずれか一項に記載の撮像装置。
　　（付記１１）
　導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出し、
　それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する、
　撮像方法。
　この出願は、２０１８年３月２０日に出願された日本出願特願２０１８－０５２２２３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１００、１０１、１０２、１０３、１０４　　撮像装置
　１１０　　導波路
　１２０　　検出器
　１３０　　再構築部
　１１　　光源
　１２　　変調器
　１３　　変調制御部
　１４　　光学系
　１５　　ビームスプリッタ
　１６　　レンズプローブ
　１７　　ターゲット
　１８　　カメラ

Claims (11)

  1. 　光源が発した光を伝送する導波路と、
    　前記導波路を通過した前記光によって発生し、対象に照射されたスペックルパターンのパワーを検出する検出器と、
    　それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する再構築手段と、
    　を備える撮像装置。
  2. 　前記光を前記導波路へ入射する場合の前記条件を変化させる変調器を備える、
    　請求項１に記載の撮像装置。
  3. 　前記変調器は、前記光の前記導波路への入射角度を変更することにより前記条件を変化させる、
    　請求項２に記載の撮像装置。
  4. 　前記変調器は、前記光の波面を変更することにより前記条件を変化させる、
    　請求項２に記載の撮像装置。
  5. 　前記導波路は、マルチモード導波路である、
    　請求項１から４のいずれか一項に記載の撮像装置。
  6. 　前記再構築手段は、ＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ　ｄｉｒｅｃｔｉｏｎ　ｍｅｔｈｏｄ　ｏｆ　ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムにより前記画像を再構築する、
    　請求項１から５のいずれか一項に記載の撮像装置。
  7. 　前記再構築手段は、前記条件及び前記条件に応じて発生したスペックルパターンに対して求められた変換行列を用いて、前記ＡＤＭＭアルゴリズムにより前記画像を再構築する、
    　請求項６に記載の撮像装置。
  8. 　複数の波長の前記光を発生する前記光源と、
    　前記光源が発生した前記光を波長毎に分離する波長分離手段とを更に備え、
    　前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
    　請求項１から７のいずれか一項に記載の撮像装置。
  9. 　複数の波長の前記光のうち、選択された波長の光を発生可能な前記光源と、
    　前記光源から発生する光の波長を制御する波長制御手段とを更に備え、
    　前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
    　請求項１から７のいずれか一項に記載の撮像装置。
  10. 　前記変調器は、前記光の波長を変更することにより前記条件を変化させる、
    　請求項２に記載の撮像装置。
  11. 　導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出し、
    　それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する、
    　撮像方法。
PCT/JP2019/011722 2018-03-20 2019-03-20 撮像装置及び撮像方法 WO2019182019A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/979,774 US20210018745A1 (en) 2018-03-20 2019-03-20 Imaging apparatus and imaging method
JP2020507877A JP6984736B2 (ja) 2018-03-20 2019-03-20 撮像装置及び撮像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018052223 2018-03-20
JP2018-052223 2018-03-20

Publications (1)

Publication Number Publication Date
WO2019182019A1 true WO2019182019A1 (ja) 2019-09-26

Family

ID=67987283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011722 WO2019182019A1 (ja) 2018-03-20 2019-03-20 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US20210018745A1 (ja)
JP (1) JP6984736B2 (ja)
WO (1) WO2019182019A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862081B (zh) * 2021-03-18 2023-07-18 清华大学 基于傅立叶变换的人工神经网络的多模光纤成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956447A (en) * 1996-05-07 1999-09-21 Univ Central Florida Device and method for image acquisition through multi-mode fiber
US20100224796A1 (en) * 2005-09-09 2010-09-09 Jerome Mertz Imaging System Using Dynamic Speckle Illumination
US20150015879A1 (en) * 2012-03-29 2015-01-15 Ecole Polytechnique Federale De Lausanne (Epfl) Methods and apparatus for imaging with multimode optical fibers
WO2017103643A1 (en) * 2015-12-17 2017-06-22 Université D'aix-Marseille (Amu) Systems and methods for high resolution imaging using a bundle of optical fibers

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252938B1 (ko) * 2011-04-08 2013-04-12 한국과학기술원 초고해상도 현미경 시스템 및 그 시스템을 이용한 영상 획득 방법
WO2015089308A1 (en) * 2013-12-11 2015-06-18 The General Hospital Corporation Apparatus and method for high-speed full field optical coherence microscopy
WO2016071909A1 (en) * 2014-11-06 2016-05-12 Ramot At Tel-Aviv University Ltd. Spectral imaging method and system
US10254534B2 (en) * 2015-11-30 2019-04-09 The Regents Of The University Of Colorado, A Body Corporate Single multimode fiber endoscope
US10095262B2 (en) * 2016-12-12 2018-10-09 The Aerospace Corporation Systems and methods for performing linear algebra operations using multi-mode optics
NL2021837B1 (en) * 2018-10-19 2020-05-13 Stichting Vu Multimode waveguide imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956447A (en) * 1996-05-07 1999-09-21 Univ Central Florida Device and method for image acquisition through multi-mode fiber
US20100224796A1 (en) * 2005-09-09 2010-09-09 Jerome Mertz Imaging System Using Dynamic Speckle Illumination
US20150015879A1 (en) * 2012-03-29 2015-01-15 Ecole Polytechnique Federale De Lausanne (Epfl) Methods and apparatus for imaging with multimode optical fibers
WO2017103643A1 (en) * 2015-12-17 2017-06-22 Université D'aix-Marseille (Amu) Systems and methods for high resolution imaging using a bundle of optical fibers

Also Published As

Publication number Publication date
JPWO2019182019A1 (ja) 2021-02-12
JP6984736B2 (ja) 2021-12-22
US20210018745A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US9581496B2 (en) Snapshot spectral imaging based on digital cameras
Liang Punching holes in light: recent progress in single-shot coded-aperture optical imaging
RU2653772C1 (ru) Система формирования широкополосного гиперспектрального изображения на основе сжатого зондирования с нерегулярной дифракционной решеткой
US20150029503A1 (en) Simplified Compressive Sensing Spectral Imager
KR20200094062A (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
Osorio Quero et al. Single-pixel imaging: An overview of different methods to be used for 3D space reconstruction in harsh environments
KR20200079279A (ko) 광을 검출하기 위한 장치, 시스템 및 방법
JP2020529602A (ja) 符号化開口スペクトル画像解析装置
Guo et al. High-speed compressive microscopy of flowing cells using sinusoidal illumination patterns
Liu et al. Spectral ghost imaging camera with super-Rayleigh modulator
CN114279564A (zh) 一种并行压缩感知计算层析成像光谱仪及其成像光谱重建方法
JP6984736B2 (ja) 撮像装置及び撮像方法
WO2021131648A1 (ja) 撮像装置および撮像方法
US12067650B2 (en) Imaging apparatus and imaging method
US20170171476A1 (en) System and method for spectral imaging
Shumigai et al. Parallel multispectral ghost imaging data acquisition with supercontinuum
US8355591B2 (en) Lossless compression process for interferograms
JP6826972B2 (ja) 撮像装置
Leblanc et al. Interferometric lensless imaging: rank-one projections of image frequencies with speckle illuminations
JP7412166B2 (ja) 撮像装置および撮像方法
US12098954B2 (en) Optical device and method
Barducci et al. Algorithms and prototyping of a compressive hyperspectral imager
Wang et al. Dispersion control of broadband super-Rayleigh speckles for snapshot spectral ghost imaging
Wang et al. Compressed spectral imaging with a spectrometer
JP7249140B2 (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19771227

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020507877

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19771227

Country of ref document: EP

Kind code of ref document: A1