WO2022264487A1 - 撮像装置、および撮像装置の作動方法 - Google Patents

撮像装置、および撮像装置の作動方法 Download PDF

Info

Publication number
WO2022264487A1
WO2022264487A1 PCT/JP2022/004793 JP2022004793W WO2022264487A1 WO 2022264487 A1 WO2022264487 A1 WO 2022264487A1 JP 2022004793 W JP2022004793 W JP 2022004793W WO 2022264487 A1 WO2022264487 A1 WO 2022264487A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
incident light
light
imaging device
incident
Prior art date
Application number
PCT/JP2022/004793
Other languages
English (en)
French (fr)
Inventor
沱 庄
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023529477A priority Critical patent/JPWO2022264487A1/ja
Priority to CN202280041038.6A priority patent/CN117441096A/zh
Publication of WO2022264487A1 publication Critical patent/WO2022264487A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length

Definitions

  • the present disclosure relates to an imaging device and an imaging device operating method, and in particular, an imaging device capable of reducing a load related to signal processing using an image signal and suppressing a decrease in processing speed, and an imaging device operating method. Regarding.
  • the signal processing that is the basis of image processing required to realize the technology proposed in Non-Patent Document 1 and Patent Document 1 is four arithmetic operations of pixel values between images (between pixels).
  • the present disclosure has been made in view of such circumstances.
  • the load related to signal processing is reduced and the processing speed is increased. It suppresses the decline.
  • An imaging device includes a phase adjustment unit that adjusts phases of incident light including a first wavelength and a second wavelength that are different from each other, and a polarizing plate that polarizes in the same polarization direction; a wavelength adjusting unit that adjusts the wavelength of the incident light of the first wavelength polarized by the polarizing plate to the wavelength of the incident light of the second wavelength; a phase difference adjusting unit adjusting the phase difference so that the phase difference between the incident light of the first wavelength and the incident light of the second wavelength, the wavelengths of which are aligned by the unit, is ⁇ ;
  • the image pickup device includes the first wavelength adjusted by the adjustment unit so that the phase difference is ⁇ , and a first image pickup device that receives incident light of the second wavelength at the same time.
  • a method of operating an imaging device is a method of operating an imaging device including a phase adjustment unit, a polarizing plate, a wavelength adjustment unit, a phase difference adjustment unit, and an imaging element, wherein the phase The adjustment unit aligns the phases of incident light including a first wavelength and a second wavelength that are different in wavelength, and the polarizing plate polarizes the incident light of the first wavelength and the second wavelength in the same polarization direction. and the wavelength adjusting section adjusts the wavelength of the incident light having the first wavelength polarized by the polarizing plate to the wavelength of the incident light having the second wavelength, and the phase difference adjusting section adjusts the wavelength.
  • the phase difference is adjusted so that the phase difference between the incident light of the first wavelength and the incident light of the second wavelength, the wavelengths of which are aligned by the unit, is ⁇ , and the imaging element adjusts the phase difference
  • a method of operating an imaging device including the step of simultaneously receiving incident light having a first wavelength and a second wavelength adjusted by an adjustment unit such that the phase difference is ⁇ .
  • phases of incident light including a first wavelength and a second wavelength that are different in wavelength are aligned, and the incident light of the first wavelength and the incident light of the second wavelength are polarized in the same direction.
  • the wavelength-aligned incident light at the first wavelength being polarized, the wavelength of the polarized incident light at the first wavelength being aligned with the wavelength of the incident light at the second wavelength;
  • the phase difference is adjusted so that the phase difference from the incident light of the second wavelength is ⁇ , and the first wavelength adjusted to have the phase difference of ⁇ and the incident light of the second wavelength are simultaneously applied. light is received.
  • ⁇ preferred embodiment>> (Example of object properties acquired from images of different wavelengths)
  • the present disclosure optically implements part of signal processing using image signals, thereby reducing the load associated with signal processing and suppressing a decrease in processing speed.
  • NDVI red light
  • NIR near-infrared light
  • the vegetation index (NDVI: Normalized Difference Vegetation Index) is well known as an indicator of the growth status.
  • the vegetation index (NDVI) is defined as in formula (1) below.
  • NDVI (NIR-Red)/(NIR+Red) ... (1)
  • color filters that transmit only light with a wavelength corresponding to red light and light with a wavelength corresponding to near-infrared light are installed in front of two different cameras. are picked up, and addition and subtraction between images of respective wavelengths based on the equation (1) are realized by signal processing.
  • the configuration is specifically as follows.
  • LEDs that emit two types of near-infrared light with wavelengths of, for example, 850 nm and 950 nm are alternately arranged so as to surround the imaging direction of the imaging device, and the wavelengths are alternately switched sequentially while lighting.
  • a bright pupil image and a dark pupil image are captured by imaging with .
  • the difference between the captured bright pupil image and the dark pupil image is obtained by signal processing, and by highlighting the characteristics of the pupil, the position of the pupil is detected and the line-of-sight direction is specified.
  • This technology is a technology for driving a car safely, it is necessary to extract the positions of the pupils at high speed and with high accuracy. There was a risk that the load would increase, the processing speed would decrease, and a delay would occur.
  • Ratio observation is to observe the information transmission process of nerve cells by using the phenomenon that the amount of intracellular calcium changes when the electric potential of nerve cells changes.
  • the amount of calcium inside the cells is less than the predetermined value, and conversely, when the nerve cells are stimulated, the amount of calcium inside the cells is greater than the predetermined value.
  • excitation light of two wavelengths is generated, two images are taken, and the light amount difference between the two images is obtained by signal processing. It is intended to observe the active state.
  • ⁇ Polarization> In order to realize addition processing between images by signal processing, it is common to form images of a plurality of incident light beams having different wavelengths at the same spatial position on an imaging device and simultaneously observe the images.
  • the incident light Li is shown to be waves with amplitudes in various directions indicated by solid and dotted lines. Also, it is shown that the emitted light Lo is a wave having only amplitude in the direction indicated by the solid line.
  • the linear waveform W1 is the maximum amplitude of the first incident light and the second incident light
  • the dotted waveform W2 is the waveform of the first incident light
  • the solid waveform W3 is the waveform of the second incident light.
  • the first incident light W1 and the second incident light W2 are polarized in the same direction, have the same wavelength and amplitude, and are out of phase with each other by ⁇ (rad). Therefore, when both are observed at the same time, the light is canceled out and the amplitude is 0, that is, the light is not observed, and subtraction processing of the first incident light and the second incident light is substantially realized. be.
  • the first incident light and the second incident light which are the two incident lights to be subjected to signal processing, must be polarized in the same direction and have a wavelength of They must be the same and their phases must be shifted by ⁇ (rad).
  • the wavelength of incident light is controlled by utilizing the characteristics that occur when light enters a transparent medium that transmits light.
  • incident light of a given wavelength has the property that when it enters a medium with a given refractive index, the wavelength of the light becomes shorter in the medium according to Snell's law.
  • the wavelength is controlled by using the characteristics of this medium. More specifically, for example, as shown in FIG . 4 , the wavelength of the incident light L1 having the wavelength ⁇ 1 is aligned with the wavelength ⁇ 2 of the incident light L2 using the medium 21 made of glass having the refractive index n1 . think about
  • a medium 21 made of glass having a refractive index of n1 is placed on the optical path of the incident light L1.
  • the wavelength ⁇ 1 of the incident light L 1 changes to the wavelength ⁇ 11 according to the refractive index n 1 of the medium 21 .
  • the wavelength of the incident light L1 can be aligned with the wavelength of the incident light L2. It becomes possible.
  • the required refractive index n1 is defined by the following equation ( 2 ).
  • n1 ⁇ 1 / ⁇ 2 ... (2)
  • both the incident lights L1 and L2 are aligned with the wavelength ⁇ 2 at the position p in FIG. .
  • a transparent medium 31 made of, for example, glass, which transmits light having a refractive index of n2 and a thickness of d1 is placed on the optical path of the incident light L11.
  • a medium 32 having a thickness of d 2 ( ⁇ d 1 ) and having the same properties as the medium 31 is arranged on the optical path of the light L12.
  • phase ⁇ 1 of the incident light L12 at p2 is expressed by the following equation (3).
  • ⁇ 1 ⁇ 0 + 2 ⁇ (d1 - d2) / ⁇ 1 ... (3)
  • phase ⁇ a of the incident light L11 at the position p3 that is the bottom surface of the medium 31 and the phase ⁇ b of the incident light L12 at the position p3 that is the bottom surface of the medium 32 are obtained by the following equations (4) and ( 5).
  • ⁇ a ⁇ 0+( 2 ⁇ n2d1 ) / ⁇ 1 ...
  • ⁇ b ⁇ 0 + 2 ⁇ (d1 ⁇ d2 + n2d2 ) / ⁇ 1 ...
  • two incident lights with the same phase are polarized, the wavelengths of one incident light and the other incident light are aligned, and one incident light and the other incident light are polarized.
  • the phase difference of light By setting the phase difference of light to ⁇ , two incident lights can be observed simultaneously in the same space.
  • FIG. 6 is a bird's-eye view of the imaging device of the present disclosure
  • FIG. 7 is a top view of the imaging device of the present disclosure.
  • the imaging device 101 of FIGS. 6 and 7 optically adds and subtracts the powers of both incident light beams L111-1 and L111-2 having different wavelengths, and takes an image. signal processing.
  • the incident lights L111-1 and L111-2 are shown as solid line and dotted line arrows, respectively.
  • the imaging device 101 includes objective lenses 111-1, 111-2, collimator lenses 112-1, 112-2, color filters 113-1, 113-2, half mirrors 114-1 to 114-3, and a polarizing plate 115- 1,115-2.
  • the imaging device 101 includes media 116, 117-1, 117-2, a half mirror 118, a mirror 119, imaging lenses 120-1, 120-2, imaging elements 121-1, 121-2, and a signal processing unit. 131.
  • the objective lens 111, the collimating lens 112, the color filter 113, the half mirror 114, the polarizing plate 115, the medium 117, the imaging lens 120, and the imaging device 121 are also referred to, and other configurations are also referred to in the same way.
  • the objective lenses 111-1 and 111-2 transmit and condense the incident lights L111-1 and L111-2, respectively.
  • the collimator lenses 112-1 and 112-2 convert the incident lights L111-1 and L111-2, which are condensed after passing through the objective lenses 111-1 and 111-2, respectively, into parallel lights.
  • the incident lights L111-1 and L111-2 are converted into parallel lights by passing through the collimator lenses 112-1 and 112-2, for example, by the functions of the phase adjustment unit 141, which will be described later with reference to FIG.
  • the phases are aligned while being converted.
  • the color filters 113-1 and 113-2 filter and transmit light of wavelengths corresponding to the phase-aligned incident lights L111-1 and L111-2, respectively.
  • the half mirrors 114-1 and 114-2 pass some of the incident lights L111-1 and L111-2 that have passed through the color filters 113-1 and 113-2 to the polarizing plates 115-1 and 115-2 in the rear stage. , and another part different from the part is reflected toward the half mirror 114-3.
  • Half mirror 114-3 reflects a further portion of incident light L111-1 and L111-2, which is different from the portion transmitted by polarizing plates 115-1 and 115-2. , enters the imaging element 121-2 via the imaging lens 120-2, and a further portion different from the further portion is emitted to the outside. It should be noted that an optical path emitted to the outside is omitted from the drawing.
  • the polarizing plates 115-1 and 115-2 have a configuration corresponding to the polarizing plate F in FIG. to make it incident on the media 117-1 and 116.
  • the medium 116 has a configuration corresponding to the medium 21 described with reference to FIG.
  • the light is made incident on the medium 117-2 with the same wavelength as the wavelength in the medium 117-2.
  • the medium 116 is made of a transparent medium that transmits light, and has a refractive index n that reflects the wavelength of part of the incident light L111-2 and the medium 116 of part of the incident light L111-1.
  • part of the incident lights L111-1 and L111-2 are emitted to the media 117-1 and 117 respectively by the medium 116, with both wavelengths aligned in the media 117-1 and 117-2. Incident at -2.
  • the media 117-1 and 117-2 have the optical path length of the incident light L111-1 transmitted through the medium 117-1 and the optical path length of the incident light L111-2 transmitted through the medium 117-2
  • a part of the phase of the incident light L111-2 is ⁇ (rad) with respect to a part of the phase of the incident light L111-1. only shifted.
  • the mirror 119 is provided in the medium 117-2 and reflects part of the incident light L111-2 to the half mirror 118.
  • Half mirror 118 is provided in medium 117-1, and transmits a further portion of a portion of incident light L111-1 to imaging device 121-1 via imaging lens 120-1. As well as making the incident light L111-1 incident, a further part of the incident light L111-1, which is different from the further part, is reflected and emitted to the outside. It should be noted that an optical path emitted to the outside is omitted from the drawing.
  • the half mirror 118 reflects a further part of the later part of the incident light L111-2 reflected by the mirror 119 to enter the imaging device 121-1 via the imaging lens 120-1. At the same time, a part of the incident light L111-2, which is different from the further part, is transmitted and emitted to the outside. It should be noted that an optical path emitted to the outside is omitted from the drawing.
  • the imaging lenses 120-1 and 120-2 and the corresponding imaging elements 121-1 and 121-2 are respectively integrated.
  • the imaging lenses 120-1 and 120-2 condense the incident lights L111-1 and L111-2, respectively, and form images on the imaging surfaces of the imaging elements 121-1 and 121-2.
  • the imaging elements 121-1 and 121-2 are composed of, for example, CMOS (Complementary Metal Oxide Semiconductor) image sensors, CCD (Charge Coupled Device) image sensors, etc., and are focused via imaging lenses 120-1 and 120-2, respectively.
  • a pixel signal is generated according to the amount of incident light L 111 - 1 and L 111 - 2 and output to the signal processing unit 131 .
  • the imaging lens 120-1 converts the incident light L111-1 and the incident light L111-2, which is out of phase with the phase of the incident light L111-1 by ⁇ (rad), into the image sensor 121-1.
  • the light is condensed so as to form an image on the .
  • the imaging element 121-1 receives the incident light L111-1 and the incident light L111-2 that is shifted by ⁇ (rad) with respect to the phase of the incident light L111-1.
  • the imaging device 121-2 receives the incident light beams L111-1 and L111-2 that are in phase with each other, thereby generating a pixel signal in which both powers are optically added and processed by the signal processing unit. 131.
  • the signal processing unit 131 executes signal processing based on the pixel signals that are the imaging results supplied from the imaging elements 121-1 and 121-2, and outputs the processing results.
  • phase adjustment unit 141 as shown in FIG. 8 may be provided.
  • FIG. 8 only the configuration related to the optical path incident on the imaging device 121-1 is shown, and the half mirror 114-3, imaging lens 120-2, and imaging device 121-2 are omitted. .
  • the phase adjustment unit 141 is a part that adjusts the distance dx between the objective lens 111-2 and the collimating lens 112. By adjusting the distance dx, the optical path length of the incident light L111-2 is adjusted to finally It is possible to adjust the phase of the incident light incident on the polarizing plate 115-2.
  • step S11 when the incident lights L111-1 and L111-2 with different wavelengths are incident on the objective lenses 111-1 and 111-2, the objective lenses 111-1 and 111-2 shift the incident lights L111-1 and L111-2, respectively. L111-2 is collected and transmitted.
  • the phase adjuster 141 in which the distance dx between the objective lens 111-2 and the objective lens 112-2 is adjusted in advance, aligns the phases of the incident lights L111-1 and L111-2.
  • collimator lenses 112-1 and 112-2 convert the transmitted incident lights L111-1 and L111-2 into parallel lights.
  • step S12 the color filters 113-1 and 113-2 filter the incident lights L111-1 and L111-2 so that the corresponding wavelengths of the incident lights are transmitted.
  • step S13 the half mirrors 114-1 and 114-2 transmit part of the incident lights L111-1 and L111-2 to the polarizing plates 115-1 and 115-2, A portion of the light is reflected toward the half mirror 114-3 to enter the imaging element 121-1 side.
  • the incident lights L111-1 and L111-2 are separated into an optical path on the image sensor 121-1 side and an optical path on the image sensor 121-2 side.
  • step S14 the polarizers 115-1 and 115-2 polarize both of the incident light beams L111-1 and L111-2 in the same direction, and make them enter the media 117-1 and 116. .
  • step S15 the medium 116 adjusts the wavelength of the incident light L111-2 to the same wavelength as the wavelength of the incident light L111-1, and makes the incident light L111-2 incident on the medium 117-2.
  • part of the incident light L111-1 and L111-2 is aligned with the wavelength of the incident light L111-1 when they enter the media 117-1 and 117-2, respectively.
  • step S16 the mediums 117-1 and 117-2 adjust their phase differences so that the phase of the incident light L111-2 is shifted by ⁇ (rad) with respect to the phase of the incident light L111-1. .
  • the mirror 119 reflects the incident light L111-2 to the half mirror 118 in the medium 117-2.
  • step S17 the half mirror 118 transmits a further portion of the incident light L111-1 and reflects a further portion of the incident light L111-2 to form an image. Both are simultaneously received by the imaging element 121-1 via the lens 120-1.
  • step S18 the image pickup device 121-1 receives the amount of light in which the mutual powers of the incident lights L111-1 and L111-2 are optically subtracted. As a result, the image sensor 121-1 outputs to the signal processing section 131 pixel signals obtained by subtracting the mutual powers of the incident lights L111-1 and L111-2.
  • step S19 the half mirror 114-3 removes a further portion of the incident light beams L111-1 and L111-2 that are in phase, that is, have a phase difference of 0 and are different from the other portion.
  • the light is reflected and made incident on the imaging element 121-2 via the imaging lens 120-2, and received.
  • step S20 the imaging element 121-2 receives the amount of light obtained by optically adding the mutual powers of the incident lights L111-1 and L111-2. As a result, the image sensor 121-2 outputs to the signal processing section 131 a pixel signal obtained by adding the mutual powers of the incident lights L111-1 and L111-2.
  • step S21 the signal processing unit 131 performs signal processing based on the addition result and subtraction result of the mutual powers of the incident lights L111-1 and L111-2, and outputs the processing result.
  • the signal processing unit 131 of the present disclosure does not require addition processing and subtraction processing of the mutual powers of the incident lights L111-1 and L111-2, and performs signal processing that directly uses the acquired addition results and subtraction results. Since it is only necessary to execute it, it is possible to reduce the load associated with signal processing.
  • the signal processing unit 131 of the imaging device 101 of the present disclosure includes A subtraction result and an addition result of the power of the infrared light and the near-infrared light are respectively supplied.
  • the signal processing unit 131 can acquire the result of subtraction and the result of addition of the power of the infrared light and the near-infrared light when executing the signal processing according to the above-described formula (1). All that is required is signal processing for dividing the acquired subtraction result and addition result.
  • the signal processing unit 131 of the imaging device 101 of the present disclosure includes the imaging element 121-1 , 121-2, the result of subtraction and the result of addition of the power of the two types of near-infrared light are supplied.
  • the signal processing unit 131 uses the result of subtraction of the two types of near-infrared light as a bright pupil image and a dark pupil image. Therefore, based on the difference between the bright pupil image and the dark pupil image, it is possible to highlight the characteristics of the pupil, detect the position of the pupil, and specify the line-of-sight direction.
  • the signal processing unit 131 of the imaging device 101 of the present disclosure includes A subtraction result and an addition result of the power of pumping light of two wavelengths are supplied.
  • the signal processing unit 131 After binding a fluorescent agent to a specific substance in the cell, by applying excitation light and observing the intensity and spatial distribution of the fluorescence, the signal processing unit 131 performs excitation with two types of wavelengths. Based on the subtraction result of the light power, it becomes possible to observe the electrical activity state of nerve cells.
  • the signal processing unit 131 can be configured at a lower cost, and the cost can be reduced.
  • ⁇ 1> a phase adjustment unit that adjusts phases of incident light including a first wavelength and a second wavelength that are different from each other; a polarizing plate that polarizes the incident light of the first wavelength and the second wavelength in the same polarization direction; a wavelength adjusting unit that aligns the wavelength of the incident light of the first wavelength polarized by the polarizing plate with the wavelength of the incident light of the second wavelength; a phase difference adjustment unit that adjusts the phase difference between the incident light of the first wavelength and the incident light of the second wavelength, the wavelengths of which are aligned by the wavelength adjustment unit, to be ⁇ ;
  • An imaging device comprising: the first wavelength adjusted by the phase difference adjustment unit so that the phase difference is ⁇ ; and a first imaging element that simultaneously receives incident light of the second wavelength.
  • ⁇ 2> The imaging device according to ⁇ 1>, wherein the wavelength adjusting section is a transparent medium having a predetermined refractive index and transmitting the incident light of the first wavelength.
  • ⁇ 2 is the wavelength of the incident light having the second wavelength.
  • the phase difference adjustment unit a transparent first medium having a predetermined refractive index and a first thickness with respect to a transmission direction, which transmits incident light of the first wavelength;
  • the imaging device according to ⁇ 1>, further comprising: a second medium that transmits the incident light of the second wavelength and that has the same characteristics as the first medium and has a second thickness in the transmission direction.
  • the imaging device according to .
  • the first thickness in the transmission direction is the optical path of the incident light of the first wavelength in the transmission direction in the first medium and the second medium. is the optical path length
  • the second thickness in the transmission direction is an optical path length of a second optical path, which is an optical path in the transmission direction of the incident light of the second wavelength in the first medium and the second medium.
  • the imaging device according to ⁇ 5>. ⁇ 7> on the second optical path, a mirror for reflecting the optical path of the incident light of the second wavelength to the optical path of the incident light of the first wavelength; On the first optical path, part of the incident light of the first wavelength is transmitted to the first imaging device, and part of the incident light of the second wavelength reflected by the mirror.
  • the image pickup apparatus further including a half mirror that reflects the first image pickup element.
  • the phases of which are aligned by the phase adjustment unit, the part that is incident on the polarizing plate and the part are: a separating part that separates a different part from another part; It further includes a second imaging device different from the first imaging device that simultaneously receives the incident light of the first wavelength and the other part of each of the incident light of the second wavelength.
  • the imaging device according to any one of ⁇ 1> to ⁇ 7>.
  • ⁇ 9> Reflecting a further part of each of the incident light of the first wavelength and the incident light of the second wavelength to the second imaging element to perform the second imaging.
  • the imaging device further including a half mirror that causes the element to receive light.
  • the first imaging element simultaneously receives the incident light having the first wavelength and the incident light having the second wavelength adjusted by the phase difference adjusting unit so that the phase difference is ⁇ . thereby outputting a pixel signal obtained by optically subtracting the power of the incident light of the first wavelength and the power of the incident light of the second wavelength,
  • the second imaging device receives the incident light of the first wavelength and the incident light of the second wavelength that are in phase at the same time, thereby optically receiving the incident light of the first wavelength.
  • the image pickup apparatus further including a signal processing unit that performs signal processing based on the pixel signal subjected to the subtraction process and the pixel signal subjected to the addition process.
  • the signal processing unit converts the pixel signal subjected to the subtraction process to The imaging device according to ⁇ 10>, wherein an NVDI (Normalized Difference Vegetation Index), which is a vegetation index, is calculated by dividing by the pixel signal subjected to the addition processing.
  • NVDI Normalized Difference Vegetation Index
  • the signal processing unit acquires the subtracted pixel signal as a pixel signal that is a difference between the bright pupil image and the dark pupil image of the driver, and stores the acquired bright pupil image and the dark pupil image.
  • the image pickup apparatus wherein the feature of the pupil is made to stand out from the pixel signal that is the difference between and, the position of the pupil is detected, and the line-of-sight direction of the driver is specified.
  • the incident light of the first wavelength and the incident light of the second wavelength bind the fluorescent agent to a specific substance in nerve cells, and then irradiate the specific substance.
  • the signal processing unit converts the subtracted pixel signal into the excitation light of the first wavelength and the excitation light of the second wavelength.
  • the imaging device according to ⁇ 10>, wherein the pixel signals are obtained in a difference image when the excitation light of the wavelength is irradiated, and the electrical activity state of the nerve cell is specified from the pixel signals of the obtained difference image.
  • the phase adjustment unit a first objective lens and a second objective lens into which the incident light of the first wavelength and the incident light of the second wavelength are respectively incident; a first collimating lens for converting incident light of a first wavelength and incident light of a second wavelength respectively condensed by the first objective lens and the second objective lens into parallel light; and a second collimating lens; The distance between the first objective lens on which the incident light of the first wavelength is incident and the first collimating lens, or the second objective lens on which the incident light of the second wavelength is incident; ⁇ 1> to ⁇ 13> aligning the phases of the incident light of the first wavelength and the incident light of the second wavelength by adjusting any of the distances from the second collimating lens
  • the imaging device according to any one of 1.
  • the phase adjustment unit causes a laser beam to be incident as incident light including the first wavelength and the second wavelength, so that the amount of light received by the first imaging device is minimized. , by adjusting the distance between the first objective lens and the first collimating lens or the distance between the second objective lens and the second collimating lens, The imaging device according to ⁇ 14>, wherein the phases of the incident light and the incident light of the second wavelength are aligned.
  • the phase adjustment unit aligns phases of incident light including a first wavelength and a second wavelength that are different from each other, the polarizing plate polarizes the incident light of the first wavelength and the second wavelength in the same polarization direction;
  • the wavelength adjustment unit adjusts the wavelength of the incident light of the first wavelength polarized by the polarizing plate to the wavelength of the incident light of the second wavelength,
  • the phase difference adjusting unit adjusts the phase difference so that the phase difference between the incident light of the first wavelength and the incident light of the second wavelength, the wavelengths of which are aligned by the wavelength adjusting unit, is ⁇ . death,
  • a method of operating an image pickup device comprising the step of simultaneously receiving the incident light of the first wavelength and the second wavelength adjusted by the phase difference adjustment unit such that the phase difference is ⁇ .
  • 101 imaging device 111, 111-1, 111-2 objective lens, 112, 112-1, 112-2 collimating lens, 113, 113-1, 113-2 color filter, 114, 114-1, 114-2 half Mirrors 115, 115-1 to 115-3 Polarizing plates 116 Medium 117, 117-1, 117-2 Medium 118 Half mirror 119 Mirror 120, 120-1, 120-2 Imaging lens 121, 121-1, 121-2 image sensor, 131 signal processing unit, 141 phase adjustment unit

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本開示は、２枚の異なる波長の画像を用いた信号処理の処理負荷を低減することができるようにする撮像装置、および撮像装置の作動方法に関する。 波長の異なる２種類の入射光の位相を揃え、２種類の入射光を同一の偏光方向に偏光し、偏光された２種類の入射光のうちの一方の入射光の波長を、他方の入射光に揃え、一方の入射光の波長に揃えられた、２種類の入射光のうちの一方の入射光と、他方の入射光との位相差がπとなるように位相差を調整し、位相がπとなるように調整された２種類の入射光を撮像素子で同時に受光することで光学的に２種類のパワーの減算結果を取得する。本開示は、撮像装置に適用することができる。

Description

撮像装置、および撮像装置の作動方法
　本開示は、撮像装置、および撮像装置の作動方法に関し、特に、画像信号を用いた信号処理に係る負荷を低減し、処理速度の低下を抑制できるようにした撮像装置、および撮像装置の作動方法に関する。
　コンピュータビジョンの分野では、撮像した様々な画像に対して、目的に合わせた様々な処理が施されている。
　特に、分光イメージングの分野では異なる波長の画像群に対して演算処理が施されることにより、対象物の特性に関する様々な情報が入手されている。
　例えば、農業の分野では植物の生育に深く関わる特定の２種類の波長の光が照射された２枚の画像を撮像し、撮像した２枚の画像間の画素値の加算および減算、並びに乗算または積算といった四則演算を用いた信号処理を施すことで植物の生育状況を把握する技術が提案されている（非特許文献１および特許文献１参照）。
Application of Vegetation Indices for Agricultural Crop Yield Prediction Using Neural Network Techniqueshttps://www.mdpi.com/2072-4292/2/3/673/htm
国際公開第２００５／１１４５５３号
　ところで、非特許文献１および特許文献１において提案されている技術を実現させる上で必要とされる画像処理の基本となる信号処理は、画像間（画素間）の画素値の四則演算である。
　アプリケーションによっては、ごくわずかな計算パワーで高速に処理を行うことが求められるが、簡単な四則演算でも画像サイズが大きくなるほど、信号処理に係る負荷が増大し、処理速度が低下してしまう。
　本開示は、このような状況に鑑みてなされたものであり、特に、画像信号を用いた信号処理の一部を光学的に実現することで、信号処理に係る負荷を低減し、処理速度の低下を抑制するものである。
　本開示の一側面の撮像装置は、波長の異なる第１の波長と第２の波長を含む入射光の位相を揃える位相調整部と、前記第１の波長と前記第２の波長の入射光を同一の偏光方向に偏光する偏光板と、前記偏光板により偏光された前記第１の波長の入射光の波長を、前記第２の波長の入射光の波長に揃える波長調整部と、前記波長調整部により波長が揃えられた、前記第１の波長の入射光と、前記第２の波長の入射光との位相差がπとなるように位相差を調整する位相差調整部と、前記位相差調整部により位相差がπとなるように調整された前記第１の波長と、前記第２の波長の入射光を同時に受光する第１の撮像素子とを備える撮像装置である。
　本開示の一側面の撮像装置の作動方法は、位相調整部と、偏光板と、波長調整部と、位相差調整部と、撮像素子とを備えた撮像装置の作動方法であって、前記位相調整部は、波長の異なる第１の波長と第２の波長を含む入射光の位相を揃え、前記偏光板は、前記第１の波長と第２の波長の入射光を同一の偏光方向に偏光し、前記波長調整部は、前記偏光板により偏光された前記第１の波長の入射光の波長を、前記第２の波長の入射光の波長に揃え、前記位相差調整部は、前記波長調整部により波長が揃えられた、前記第１の波長の入射光と、前記第２の波長の入射光との位相差がπとなるように位相差を調整し、前記撮像素子は、前記位相差調整部により位相差がπとなるように調整された第１の波長と第２の波長の入射光を同時に受光するステップを含む撮像装置の作動方法である。
　本開示の一側面においては、波長の異なる第１の波長と第２の波長を含む入射光の位相が揃えられ、前記第１の波長と前記第２の波長の入射光が同一の偏光方向に偏光され、偏光された前記第１の波長の入射光の波長が、前記第２の波長の入射光の波長に揃えられ、波長が揃えられた、前記第１の波長の入射光と、前記第２の波長の入射光との位相差がπとなるように位相差が調整され、位相差がπとなるように調整された前記第１の波長と、前記第２の波長の入射光が同時に受光される。
偏光を説明する図である。 ２つの入射光の位相差によりパワーを相殺して、仮想的な減算を実現する例を説明する図である。 透明な媒質を透過する際の波長の変化を説明する図である。 異なる波長の２つの入射光を同一の波長に揃える方法を説明する図である。 位相が揃えられた同一の波長の２つの入射光の相互の位相差をπだけずらす方法を説明する図である。 本開示の撮像装置の俯瞰図である。 本開示の撮像装置の上面図である。 位相調整部を説明する図である。 撮像処理を説明するフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　＜＜好適な実施の形態＞＞
　（異なる波長の画像群より取得される対象物の特性の例）
　本開示は、特に、画像信号を用いた信号処理の一部を光学的に実現することで、信号処理に係る負荷を低減し、処理速度の低下を抑制するものである。
　本開示の撮像装置について説明するに当たって、異なる波長の画像群に対して演算処理が施されることにより、対象物の特性に関する情報を取得する例について説明する。
　（NDVI）
　植物の葉は、生育状況によって、外部から入射した光の中でも赤色光（Red）と近赤外光（NIR）に対する吸収率が特に大きく変化することが知られている。
　そこで、植物の葉を撮像することで、赤色光（Red）成分と近赤外光（NIR）成分の画像を撮像し、両者を用いた演算処理により育成状況を取得することが可能となる。
　育成状況を示す指標としては、植生指標（NDVI：Normalized Difference Vegetation Index）がよく知られている。
　植生指標（NDVI）は、以下の式（１）のように定義されている。
　NDVI=（NIR-Red）/（NIR+Red）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　このような植生指標を測定するにあたっては、異なる２台のカメラの前に赤色光に相当する波長の光と近赤外光に相当する波長の光のみを透過させるカラーフィルタを設置して、それぞれの波長光の画像を撮像し、式（１）に基づいた、それぞれの波長の画像間の加減算を信号処理により実現する。
　しかしながら、画像サイズが大きく、かつ、より高精細な画像になるほど、信号処理に係る負荷は増大し、処理速度が低減してしまう恐れがある。
　（視線抽出）
　自動車などの運転手の状態を記録するために、２種類の波長が異なる近赤外光に対する瞳の反射特性の違いを利用し、運転手の瞳の位置を画像から抽出し、運転手の視線方向を判断する技術がある。
　これは、２種類の異なる波長の近赤外光に対する瞳の反射特性の違いを利用するため、具体的には以下のような構成とされる。
　すなわち、波長が、例えば、850nmと950nmなどの２種類の近赤外光を発光するLEDが撮像装置の撮像方向を取り囲むように交互に配置され、順次波長を交互に切り替えて点灯しながら撮像装置で撮像することで明瞳孔画像と暗瞳孔画像を撮像する。そして、撮像した明瞳孔画像と暗瞳孔画像との差分を信号処理により求めて、瞳孔の特徴を浮き出させることで、瞳の位置を検出し、視線方向を特定するものである。
　この技術は、自動車を安全に運転させるための技術であるので、瞳の位置を高速かつ高精度に抽出する必要があるが、撮像された画像の画像サイズが大型化するほど、信号処理に係る負荷が増大し、処理速度が低下して遅延が生じる恐れがあった。
　（化学反応の観測）
　医療分野においては、細胞の中の特定の物質に対して蛍光剤を結び付けさせたあと、励起光を当てて蛍光の強さと空間分布を観測することで、特定物質の量と細胞内分布を計測し、細胞内の化学反応を観測する技術がある。
　その代表例の一つとして、神経細胞のレシオ観測がある。レシオ観測は、神経細胞の電位が変化するとき、細胞内のカルシウムの量が変化する現象を利用して、神経細胞の情報伝達過程を観測するものである。
　神経細胞は、刺激を受けていない状態において、細胞内部のカルシウム量は所定値よりも少なく、逆に、神経細胞が刺激を受けている状態における細胞内部のカルシウム量は所定値よりも増大する。
　また、神経細胞は、特定の２種類の波長の励起光を照射する場合、細胞内部のカルシウム量が所定値よりも少ないときには、いずれの蛍光も弱く、互いの光量差が小さいが、細胞内部のカルシウム量が所定値よりも多いときには、いずれかの蛍光が強くなり、互いの光量差が大きくなる。
　そこで、レシオ観測においては、２種類の波長の励起光を発生させて、２枚の画像を撮像し、撮像した２枚の画像間の光量差を信号処理により求めることで、神経細胞の電気的な活動状態を観測するものである。
　レシオ観測は、神経細胞の反応速度に応じた観測結果が必要となるが、撮像する画像の画像サイズが大型化するほど、信号処理に係る負荷が増大し、処理速度が低下して、神経細胞の反応速度に対して遅延が生じてしまう恐れがある。
　上記のいずれにおいても、避けて通れないのは画像に対する信号処理であるが、信号処理そのものは簡単な四則演算であるが、空間的な計測分解能を向上させていくと計測速度（フレームレート）と計測分解能との間でトレードオフの関係となる。
　このようなトレードオフの関係が存在する限り、特に運転手の瞳検出や神経細胞の観測のような高速で、かつ、高分解能であることが要求される用途に対しては、適切に利用できない恐れがある。
　そこで、本開示においては、上述した画像に対する四則演算からなる信号処理の一部を、光学的な処理で置き換えることにより、信号処理に係る負荷を低減し、高解像度化と観測速度の低減とを両立させる。
　＜偏光＞
　画像間の加算処理を信号処理で実現するにあたっては、撮像素子に対して、異なる波長の複数の入射光を同じ空間位置で結像させ、同時観測することにより実現することが一般的である。
　一方、画像間の減算処理については、本技術では２つの入射光に対して同一方向に偏光を掛け、波長を揃えて、相互の位相差がπとなるようにずらした上で、同時に観測することで、２つの入射光のパワーを相殺して光学的な減算処理を実現する。尚、本開示においては、複数の画像間における四則演算のうち、加算処理と減算処理について考えるものとする。
　まず、偏向について説明する。自然界では光は無偏光の状態で存在しており、光そのものは一定の周波数と振幅を持った波の状態となっている。
　ここで、図１で示されるように、矢印方向に向かって所定の波長の無偏光の入射光Ｌｉが偏光板Ｆを透過すると、その偏光板Ｆの形に従って、特定方向の偏光成分のみの出射光Ｌｏが抽出される。このように、無偏光の入射光Ｌｉから、特定の方向の振幅成分のみからなる出射光Ｌｏが抽出される処理が偏光である。
　図１においては、入射光Ｌｉは、実線と点線で示される様々な方向の振幅を持った波であることが示されている。また、出射光Ｌｏは、実線で示される方向についての振幅のみを持った波であることが示されている。
　＜位相ずれを利用した減算処理＞
　次に、図２で示されるように、波長と振幅が同一で、かつ、位相が相互にπ（rad）だけずれた２つの偏光成分が同時に観測されると、観測される光のパワーは、この２つの偏光成分の各位相におけるパワーの和となるが、位相がπ（rad）だけずれているので、相互振幅が疑似的に相殺されることにより振幅0の光が観測されることになり、２つの偏光成分の光学的な減算処理が実現される。
　尚、図２においては、直線上の波形Ｗ１が、第１の入射光と第２の入射光の最大振幅であり、点線の波形Ｗ２が第１の入射光の波形であり、実線の波形Ｗ３が第２の入射光の波形である。
　図２で示されるように、第１の入射光Ｗ１と第２の入射光Ｗ２は、同一方向に偏光され、波長と振幅が同一で、かつ、位相が相互にπ（rad）だけずれているため、双方を同時に観測すると、打ち消されて（相殺されて）振幅0の光、すなわち、光が観測されない状態となり、実質的に第１の入射光と第２の入射光の減算処理が実現される。
　＜媒質を利用した波長の制御＞
　このような相殺効果を得るためには、上述したように、信号処理の対象となる２つの入射光である第１の入射光と第２の入射光とが、同一方向に偏光され、波長が同一とされ、位相がπ（rad）だけずれた状態にされている必要がある。
　そこで、本開示においては、光を透過させる透明な媒質中に光が入射することで生じる特性を利用することで、まず、入射光の波長を制御する。
　所定の波長の入射光は、所定の屈折率の媒質に入射することで、媒質中においてスネルの法則にしたがって、光の波長が短くなる特性を備えていることが知られている。
　例えば、図３で示されるように、700nmの波長の入射光が、光を透過する透明な媒質として、例えば、屈折率n＝1.0769のガラスからなる媒質１１に入射する場合、入射光は、媒質１１中においては、波長が700nmから600nmへと変化し、媒質１１を透過すると、再び700nmの波長に戻る。
　そこで、この媒質の特性を利用して、波長を制御する。より具体的には、例えば、図４で示されるように、波長λ1の入射光Ｌ１の波長を、屈折率n1のガラスからなる媒質２１を用いて、入射光Ｌ２の波長λ2に揃えることを考える。
　例えば、図４で示されるように、屈折率n1のガラスからなる媒質２１が入射光Ｌ１の光路上に設置されるようにする。
　このとき、入射光Ｌ１が媒質２１内に入射すると、入射光Ｌ１の波長λ1は、媒質２１の屈折率n1に応じた波長λ11へと変化する。
　入射光Ｌ１が、媒質２１を透過したとき、この波長λ11が波長λ2になるように屈折率n1が設定されることにより、入射光Ｌ１の波長を入射光Ｌ２の波長に揃えることが可能となる。このとき、必要な屈折率n1は、以下の式（２）で定義される。
　n1=λ1/λ2
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　従って、屈折率n1が上述した式（２）の関係を満たすような媒質２１を用いた構成により、図４における位置ｐにおいては、入射光Ｌ１，Ｌ２は、いずれも波長λ2に揃えられる。
　＜位相の制御方法＞
　次に、２つの入射光の位相をπ（rad）だけずらす方法について説明する。
　位相が揃っている２本の入射光Ｌ１１，Ｌ１２のうち、入射光Ｌ１２の位相を制御することにより、相互の位相差をπだけずらすことを考える。
　例えば、図５で示されるように、入射光Ｌ１１の光路上に屈折率n2であって、厚さd1の光を透過する透明な、例えば、ガラス等からなる媒質３１を配置し、入射光Ｌ１２の光路上に媒質３１と同一の特性を備えた、厚さd2（＜d1）の媒質３２を配置する。
　このような構成により、図５で示されるように、媒質３１の前面となる位置p1において、入射光Ｌ１１，Ｌ１２の位相が、いずれも位相φ0であるものとすると、媒質３２の前面となる位置p2における入射光Ｌ１２の位相φ1は、下記の式（３）で表現される。
　φ1=φ0+2π(d1－d2)/λ1
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　これにより、媒質３１の底面となる位置p3での入射光Ｌ１１の位相φa、および、媒質３２の底面となる位置p3での入射光Ｌ１２の位相φbは、それぞれ下記の式（４），式（５）で表現される。
　φa=φ0+（2πn2d1）/λ1
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　φb=φ0+2π（d1－d2+n2d2）/λ1
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　よって、媒質３１の厚さd1が既知である場合、下記の式（６）で示されるように、φb=φa+πを満たすように媒質３２の厚さd2を決定することで、入射光Ｌ１１，Ｌ１２の相互の位相差をπにすることが可能となる。
　d2=（（1－n2）d1－π）/（1－n2）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　以上のように、本開示においては、位相が揃った２つの入射光に対して、偏光を施し、一方の入射光と他方の入射光の波長に揃え、さらに、一方の入射光と他方の入射光の位相差をπにすることで、２つの入射光を同時に同一空間で観測する。
　これにより、双方のパワーが打ち消されて観測されることにより、結果として、２つの入射光のパワーの光学的な減算処理を実現することが可能となる。
　＜本開示の撮像装置の構成例＞
　次に、図６，図７を参照して、本開示の技術を適用した、波長の異なる２種類の入射光のパワーを光学的に加算および減算して測定する撮像装置の構成例について説明する。
　尚、図６は、本開示の撮像装置の俯瞰図であり、図７は、本開示の撮像装置の上面図である。
　図６，図７の撮像装置１０１は、波長の異なる２種類の入射光Ｌ１１１－１，Ｌ１１１－２の両者のパワーを光学的に加算および減算した上で撮像し、加算結果および減算結果に基づいた信号処理を実行する。
　尚、図６，図７においては、入射光Ｌ１１１－１，Ｌ１１１－２は、それぞれ実線および点線の矢印として示されている。
　撮像装置１０１は、対物レンズ１１１－１，１１１－２、コリメートレンズ１１２－１，１１２－２、カラーフィルタ１１３－１，１１３－２、ハーフミラー１１４－１乃至１１４－３、および偏光板１１５－１，１１５－２を備える。
　さらに、撮像装置１０１は、媒質１１６，１１７－１，１１７－２、ハーフミラー１１８、ミラー１１９、結像レンズ１２０－１，１２０－２、撮像素子１２１－１，１２１－２、および信号処理部１３１を備える。
　尚、以降において、対物レンズ１１１－１，１１１－２、コリメートレンズ１１２－１，１１２－２、カラーフィルタ１１３－１，１１３－２、ハーフミラー１１４－１乃至１１４－３、偏光板１１５－１，１１５－２、媒質１１７－１，１１７－２、結像レンズ１２０－１，１２０－２、および撮像素子１２１－１，１２１－２のそれぞれを特に区別する必要がない場合、それぞれ、単に、対物レンズ１１１、コリメートレンズ１１２、カラーフィルタ１１３、ハーフミラー１１４、偏光板１１５、媒質１１７、結像レンズ１２０、および撮像素子１２１とも称するものとし、その他の構成についても同様に称する。
　対物レンズ１１１－１，１１１－２は、それぞれ入射光Ｌ１１１－１，Ｌ１１１－２を透過させて集光する。
　コリメートレンズ１１２－１，１１２－２は、それぞれ対物レンズ１１１－１，１１１－２を透過して集光された入射光Ｌ１１１－１，Ｌ１１１－２を平行光に変換する。尚、入射光Ｌ１１１－１，Ｌ１１１－２は、例えば、図８を参照して後述する位相調整部１４１等の機能により、コリメートレンズ１１２－１，１１２－２を透過することで、平行光に変換されると共に位相が揃えられた状態とされる。
　カラーフィルタ１１３－１，１１３－２は、位相が揃えられた状態の入射光Ｌ１１１－１，Ｌ１１１－２のそれぞれに対応する波長の光をフィルタリングして透過させる。
　ハーフミラー１１４－１乃至１１４－２は、それぞれカラーフィルタ１１３－１，１１３－２を透過した入射光Ｌ１１１－１，Ｌ１１１－２のうちの一部を後段の偏光板１１５－１，１１５－２に透過させ、一部とは異なる他の一部をハーフミラー１１４－３に向けて反射する。
　ハーフミラー１１４－３は、入射光Ｌ１１１－１，Ｌ１１１－２のうち、偏光板１１５－１，１１５－２に透過された一部とは異なる他の一部における、さらなる一部を反射して、結像レンズ１２０－２を介して撮像素子１２１－２に入射させ、さらなる一部とは異なる他のさらなる一部については、外部に放出する。尚、外部に放出される光路については、図示が省略されている。
　偏光板１１５－１，１１５－２は、上述した図１の偏光板Ｆに対応する構成であり、それぞれ入射光Ｌ１１１－１，Ｌ１１１－２のうちの一部に対して同一方向に偏光を施して、媒質１１７－１，１１６に入射させる。
　媒質１１６は、図４を参照して説明した媒質２１に対応する構成であり、入射光Ｌ１１１－２のうちの一部の波長を、入射光Ｌ１１１－１のうちの一部の媒質１１７－１内における波長と同一波長に揃えて、媒質１１７－２に入射させる。
　より具体的には、媒質１１６は、光を透過させる透明の媒質からなり、屈折率nが入射光Ｌ１１１－２のうちの一部の波長を、入射光Ｌ１１１－１のうちの一部の媒質１１７－１内における波長と揃えるための値とされており、例えば、屈折率n=1.1429のガラスなどである。
　すなわち、媒質１１６により、入射光Ｌ１１１－１，Ｌ１１１－２のうちの一部は、双方の波長が、媒質１１７－１，１１７－２内において揃えられた状態で、それぞれ媒質１１７－１，１１７－２に入射する。
　媒質１１７－１，１１７－２は、それぞれ図５を参照して説明した媒質３１，３２に対応する構成であり、入射光Ｌ１１１－２のうちの一部の位相を，入射光Ｌ１１１－１のうちの一部の位相に対してπ（rad）だけずらす。より具体的には、媒質１１７－１，１１７－２は、光を透過させる透明の媒質からなり、例えば、屈折率n=1.0769のガラスなどである。
　すなわち、媒質１１７－１，１１７－２は、媒質１１７－１内を透過する入射光Ｌ１１１－１の光路長と、媒質１１７－２内を透過する入射光Ｌ１１１－２の光路長とが、上述した厚さd1，d2と対応するように調整されることで、入射光Ｌ１１１－２のうちの一部の位相が，入射光Ｌ１１１－１のうちの一部の位相に対してπ（rad）だけずらされる。
　ミラー１１９は、媒質１１７－２内に設けられており、入射光Ｌ１１１－２のうちの一部を、ハーフミラー１１８に反射する。
　ハーフミラー１１８は、媒質１１７－１内に設けられており、入射光Ｌ１１１－１のうちの一部について、さらなる一部を透過させて結像レンズ１２０－１を介して撮像素子１２１－１に入射させると共に、入射光Ｌ１１１－１のうちの一部について、さらなる一部とは異なる他のさらなる一部を反射して外部に放出させる。尚、外部に放出される光路については、図示が省略されている。
　また、ハーフミラー１１８は、ミラー１１９により反射されてくる入射光Ｌ１１１－２ののちの一部について、さらなる一部を反射して結像レンズ１２０－１を介して撮像素子１２１－１に入射させると共に、入射光Ｌ１１１－２のうちの一部について、さらなる一部とは異なる他のさらなる一部を透過して外部に放出させる。尚、外部に放出される光路については、図示が省略されている。
　結像レンズ１２０－１，１２０－２と、対応する撮像素子１２１－１，１２１－２とは、それぞれ一体化した構造とされている。
　結像レンズ１２０－１，１２０－２は、それぞれ入射光Ｌ１１１－１，Ｌ１１１－２を集光して撮像素子１２１－１，１２１－２の撮像面において結像させる。
　撮像素子１２１－１，１２１－２は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサなどからなり結像レンズ１２０－１，１２０－２のそれぞれを介して集光された入射光Ｌ１１１－１，Ｌ１１１－２の光量に応じた画素信号を発生し、信号処理部１３１に出力する。
　これにより、結像レンズ１２０－１は、入射光Ｌ１１１－１と、入射光Ｌ１１１－１の位相に対してπ（rad）だけ位相がずれている入射光Ｌ１１１－２とを撮像素子１２１－１に対して結像するように集光して入射させる。
　撮像素子１２１－１は、入射光Ｌ１１１－１と、入射光Ｌ１１１－１の位相に対してπ（rad）だけずれている入射光Ｌ１１１－２とを受光することにより、入射光Ｌ１１１－１，Ｌ１１１－２の双方のパワーが光学的に打ち消された状態、すなわち、減算処理された状態の画素信号を発生して信号処理部１３１に出力する。
　撮像素子１２１－２は、位相が揃った状態の入射光Ｌ１１１－１，Ｌ１１１－２を受光することにより、双方のパワーが光学的に加算処理された状態の画素信号を発生して信号処理部１３１に出力する。
　信号処理部１３１は、撮像素子１２１－１，１２１－２より供給される撮像結果となる画素信号に基づいた信号処理を実行し、処理結果を出力する。
　＜入射光の位相の調整＞
　上述したように、相互の位相をπ（rad）ずらすにあたっては、まずは入射光Ｌ１１１－１，Ｌ１１１－２の双方の位相を調整する媒質の入射面（図５における位置p1）で揃える必要がある。
　位相を揃えるに当たっては、例えば、図８で示されるような位相調整部１４１を設けるようにしてもよい。尚、図８においては、撮像素子１２１－１に入射する光路に係る構成のみが記載されており、ハーフミラー１１４－３、結像レンズ１２０－２、および撮像素子１２１－２は省略されている。
　位相調整部１４１は、対物レンズ１１１－２とコリメートレンズ１１２との距離dxを調整する部位であり、距離dxを調整することで入射光Ｌ１１１－２の光路長を調整することにより、最終的に偏光板１１５－２に入射する入射光の位相を調整することができる。
　なお、位相を調整する場合、対物レンズ１１１－１，１１１－２の双方にレーザ光を入射光として入射させ、撮像素子１２１－１において受光される光量が最小となるように距離dxを調整することで、コリメートレンズ１１２－１，１１２－２を透過する入射光Ｌ１１１－１，Ｌ１１１－２の位相を揃えることが可能となる。
　＜撮像装置の撮像処理＞
　次に、図９のフローチャートを参照して、図６乃至図８の撮像装置１０１による撮像処理について説明する。ただし、事前に位相調整部１４１において距離dxが調整されて、入射光Ｌ１１１－１，Ｌ１１１－２の位相が揃えられる状態とされていることを前提とする。
　ステップＳ１１において、波長が異なる入射光Ｌ１１１－１，Ｌ１１１－２が対物レンズ１１１－１，１１１－２に入射されると、対物レンズ１１１－１，１１１－２は、それぞれ入射光Ｌ１１１－１，Ｌ１１１－２を集光して透過させる。
　このとき、予め対物レンズ１１１－２と対物レンズ１１２－２との距離dxが調整された、位相調整部１４１が、入射光Ｌ１１１－１，Ｌ１１１－２の位相を揃える。
　また、コリメートレンズ１１２－１，１１２－２は、それぞれ透過した入射光Ｌ１１１－１，Ｌ１１１－２を平行光に変換する。
　ステップＳ１２において、カラーフィルタ１１３－１，１１３－２は、それぞれ入射光Ｌ１１１－１，Ｌ１１１－２の、それぞれに対応する波長の入射光を透過させるようにフィルタリングする。
　ステップＳ１３において、ハーフミラー１１４－１，１１４－２は、入射光Ｌ１１１－１，Ｌ１１１－２のうちの一部を偏光板１１５－１，１１５－２に透過させ、一部とは異なる他の一部をハーフミラー１１４－３に向けて反射させることにより、撮像素子１２１－１側に入射させる。この処理により、入射光Ｌ１１１－１，Ｌ１１１－２が撮像素子１２１－１側の光路と、撮像素子１２１－２側の光路とに分離される。
　ステップＳ１４において、偏光板１１５－１，１１５－２は、それぞれ入射光Ｌ１１１－１，Ｌ１１１－２のうちの一部の双方を同一の方向に偏光させて、媒質１１７－１，１１６に入射させる。
　ステップＳ１５において、媒質１１６は、入射光Ｌ１１１－２の波長を、入射光Ｌ１１１－１の波長と同一の波長に揃えて、媒質１１７－２に入射させる。すなわち、入射光Ｌ１１１－１，Ｌ１１１－２の一部は、それぞれ媒質１１７－１，１１７－２に入射する時点で波長が入射光Ｌ１１１－１の波長に揃えられた状態とされる。
　ステップＳ１６において、媒質１１７－１，１１７－２は、それぞれ入射光Ｌ１１１－２の位相が、入射光Ｌ１１１－１の位相に対してπ（rad）だけずれるように、双方の位相差を調整する。
　このとき、媒質１１７－２において、ミラー１１９は、入射光Ｌ１１１－２をハーフミラー１１８に反射する。
　ステップＳ１７において、ハーフミラー１１８は、入射光Ｌ１１１－１のうちの一部について、さらなる一部を透過させると共に、入射光Ｌ１１１－２のうちの一部について、さらなる一部を反射させ、結像レンズ１２０－１を介して、双方を同時に撮像素子１２１－１に受光させる。
　ステップＳ１８において、撮像素子１２１－１は、入射光Ｌ１１１－１，Ｌ１１１－２の相互のパワーが光学的に減算処理された状態の光量を受光する。これにより、撮像素子１２１－１は、入射光Ｌ１１１－１，Ｌ１１１－２の相互のパワーの減算結果からなる画素信号を信号処理部１３１に出力する。
　ステップＳ１９において、ハーフミラー１１４－３は、位相が揃った、すなわち、位相差が０の入射光Ｌ１１１－１，Ｌ１１１－２のうちの一部とは異なる他の一部における、さらなる一部を反射して、結像レンズ１２０－２を介して撮像素子１２１－２に入射させ、受光させる。
　ステップＳ２０において、撮像素子１２１－２は、入射光Ｌ１１１－１，Ｌ１１１－２の相互のパワーが光学的に加算処理された状態の光量を受光する。これにより、撮像素子１２１－２は、入射光Ｌ１１１－１，Ｌ１１１－２の相互のパワーの加算結果からなる画素信号を信号処理部１３１に出力する。
　ステップＳ２１において、信号処理部１３１は、入射光Ｌ１１１－１，Ｌ１１１－２の相互のパワーの加算結果および減算結果に基づいた信号処理を実行し、処理結果を出力する。
　例えば、入射光Ｌ１１１－１，Ｌ１１１－２のそれぞれのパワーの２枚の撮像結果となる画素信号からなる画像が供給される場合においては、入射光Ｌ１１１－１，Ｌ１１１－２の加算処理および減算処理が信号処理の一部として実行させる必要があった。
　しかしながら、本開示の図６乃至図８で示される撮像装置１０１においては、光学的に求められた入射光Ｌ１１１－１，Ｌ１１１－２の相互のパワーの加算結果と減算結果とを直接取得することが可能となる。
　これにより、本開示の信号処理部１３１は、入射光Ｌ１１１－１，Ｌ１１１－２の相互のパワーの加算処理および減算処理等が不要となり、取得した加算結果および減算結果を直接用いた信号処理を実行するだけでよいので、信号処理に係る負荷を低減させることが可能となる。
　例えば、入射光Ｌ１１１－１，Ｌ１１１－２が、それぞれ赤外光と近赤外光である場合、本開示の撮像装置１０１の信号処理部１３１には、撮像素子１２１－１，１２１－２からそれぞれ赤外光と近赤外光のパワーの減算結果と加算結果とが供給されることになる。
　このため、信号処理部１３１は、上述した式（１）に係る信号処理を実行するにあたっては、赤外光と近赤外光のパワーの減算結果と加算結果とを取得することができるので、取得した減算結果と加算結果とを除算する信号処理をするのみでよくなる。
　また、例えば、入射光Ｌ１１１－１，Ｌ１１１－２が、850nmと950nmなどの２種類の近赤外光である場合、本開示の撮像装置１０１の信号処理部１３１には、撮像素子１２１－１，１２１－２から２種類の近赤外光のパワーの減算結果と加算結果とが供給されることになる。
　このため、２種類の近赤外光を運転者の顔等に照射して撮像することで、信号処理部１３１は、２種類の近赤外光の減算結果を、明瞳孔画像と暗瞳孔画像との差分として取得できるので、明瞳孔画像と暗瞳孔画像との差分に基づいて、瞳孔の特徴を浮き出させて、瞳の位置を検出し、視線方向を特定することが可能となる。
　さらに、例えば、入射光Ｌ１１１－１，Ｌ１１１－２が、２種類の波長の励起光である場合、本開示の撮像装置１０１の信号処理部１３１には、撮像素子１２１－１，１２１－２から２種類の波長の励起光のパワーの減算結果と加算結果とが供給されることになる。
　このため、細胞の中の特定の物質に対して蛍光剤を結び付けさせたあと、励起光を当てて蛍光の強さと空間分布を観測することで、信号処理部１３１は、２種類の波長の励起光のパワーの減算結果に基づいて、神経細胞の電気的な活動状態を観測することが可能となる。
　いずれにおいても、結果として、撮像素子１２１－１，１２１－２の高解像度化や画像の大型化が進んでも、加算処理および減算処理に係る処理負荷の増大が抑制されるので、信号処理に係る処理時間の増大が抑制され、処理に係る遅延を抑制することが可能となる。また、処理負荷の増大が抑制されることにより、信号処理部１３１をより安価な構成にすることが可能となり、コストの低減を図ることが可能となる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　波長の異なる第１の波長と第２の波長を含む入射光の位相を揃える位相調整部と、
　前記第１の波長と前記第２の波長の入射光を同一の偏光方向に偏光する偏光板と、
　前記偏光板により偏光された前記第１の波長の入射光の波長を、前記第２の波長の入射光の波長に揃える波長調整部と、
　前記波長調整部により波長が揃えられた、前記第１の波長の入射光と、前記第２の波長の入射光との位相差がπとなるように位相差を調整する位相差調整部と、
　前記位相差調整部により位相差がπとなるように調整された前記第１の波長と、前記第２の波長の入射光を同時に受光する第１の撮像素子と
　を備える撮像装置。
＜２＞　前記波長調整部は、前記第１の波長の入射光を透過させる、所定の屈折率の透明の媒質である
　＜１＞に記載の撮像装置。
＜３＞　前記所定の屈折率は、n1=λ1/λ2とされ、ここで、n1が前記媒質の屈折率であり、λ1が、前記第１の波長の入射光の波長であり、λ2は、前記第２の波長の入射光の波長である
　＜２＞に記載の撮像装置。
＜４＞　前記位相差調整部は、
　　前記第１の波長の入射光を透過させる、所定の屈折率の透明な透過方向に対する第１の厚さとなる第１の媒質と、
　　前記第２の波長の入射光を透過させる、前記第１の媒質と同一の特性を有する前記透過方向に対する第２の厚さとなる第２の媒質とを備える
　＜１＞に記載の撮像装置。
＜５＞　前記第２の厚さは、前記第１の厚さを既知とするとき、d2=（（1－n2）d1－π）/（1－n2）とされ、ここで、d1は、前記第１の厚さであり、d2は、前記第２の厚さであり、n2は、前記第１の媒質および前記第２の媒質の屈折率である
　＜４＞に記載の撮像装置。
＜６＞　前記透過方向に対する前記第１の厚さは、前記第１の媒質および前記第２の媒質内における、前記第１の波長の入射光の前記透過方向に対する光路である第１の光路の光路長であり、
　前記透過方向に対する前記第２の厚さは、前記第１の媒質および前記第２の媒質内における、前記第２の波長の入射光の前記透過方向に対する光路である第２の光路の光路長である
　＜５＞に記載の撮像装置。
＜７＞　前記第２の光路上には、前記第２の波長の入射光の光路を、前記第１の波長の入射光の光路に反射させるミラーと、
　前記第１の光路上には、前記第１の波長の入射光の一部を、前記第１の撮像素子に透過させると共に、前記ミラーにより反射された前記第２の波長の入射光の一部を前記第１の撮像素子の反射させるハーフミラーとをさらに含む
　＜６＞に記載の撮像装置。
＜８＞　前記位相調整部により位相が揃えられた前記第１の波長の入射光と前記第２の波長の入射光のそれぞれのうち、前記偏光板に入射させる一部と、前記一部とは異なる他の一部とを分離する分離部と、
　前記第１の波長の入射光と、前記第２の波長の入射光のそれぞれのうちの前記他の一部を同時に受光する前記第１の撮像素子とは異なる第２の撮像素子とをさらに含む
　＜１＞乃至＜７＞のいずれかに記載の撮像装置。
＜９＞　前記第１の波長の入射光と、前記第２の波長の入射光のそれぞれの前記他の一部について、さらなる一部を前記第２の撮像素子に反射して前記第２の撮像素子に受光させるハーフミラーとをさらに含む
　＜８＞に記載の撮像装置。
＜１０＞　前記第１の撮像素子は、前記位相差調整部により位相差がπとなるように調整された前記第１の波長の入射光と、前記第２の波長の入射光を同時に受光することで、光学的に前記第１の波長の入射光と、前記第２の波長の入射光のパワーの減算処理がなされた画素信号を出力し、
　前記第２の撮像素子は、前記位相が揃った前記第１の波長の入射光と、前記第２の波長の入射光を同時に受光することで、光学的に前記第１の波長の入射光と、前記第２の波長の入射光のパワーの加算処理がなされた画素信号を出力し、
　前記減算処理がなされた画素信号と、前記加算処理がなされた画素信号とに基づいた信号処理を実行する信号処理部とをさらに含む
　＜８＞に記載の撮像装置。
＜１１＞　前記第１の波長の入射光と、前記第２の波長の入射光が、赤色光と近赤外光である場合、前記信号処理部は、前記減算処理がなされた画素信号を、前記加算処理がなされた画素信号で除することにより、植生指標であるNVDI（Normalized Difference Vegetation Index）を算出する
　＜１０＞に記載の撮像装置。
＜１２＞　前記第１の波長の入射光と、前記第２の波長の入射光が、運転者の顔に照射される第１の近赤外光と、第２の近赤外光である場合、前記信号処理部は、前記減算処理がなされた画素信号を、前記運転者の明瞳孔画像と暗瞳孔画像との差分となる画素信号として取得し、取得した前記明瞳孔画像と前記暗瞳孔画像との差分となる画素信号より、瞳孔の特徴を浮き出させて、瞳の位置を検出し、前記運転者の視線方向を特定する
　＜１０＞に記載の撮像装置。
＜１３＞　前記第１の波長の入射光と、前記第２の波長の入射光が、神経細胞の中の特定の物質に対して蛍光剤を結び付けさせたあと、前記特定の物質に照射される第１の波長の励起光と、第２の波長の励起光である場合、前記信号処理部は、前記減算処理がなされた画素信号を、前記第１の波長の励起光と、前記第２の波長の励起光が照射されたときの差分画像における画素信号として取得し、取得した前記差分画像の画素信号より、前記神経細胞の電気的な活動状態を特定する
　＜１０＞に記載の撮像装置。
＜１４＞　前記位相調整部は、
　　前記第１の波長の入射光と、前記第２の波長の入射光がそれぞれ入射される第１の対物レンズおよび第２の対物レンズと、
　　前記第１の対物レンズおよび前記第２の対物レンズによりそれぞれ集光された第１の波長の入射光と、前記第２の波長の入射光のそれぞれを平行光に変換する第１のコリメートレンズおよび第２のコリメートレンズとを含み、
　前記第１の波長の入射光が入射する前記第１の対物レンズと、前記第１のコリメートレンズとの距離、または、前記第２の波長の入射光が入射する前記第２の対物レンズと、前記第２のコリメートレンズとの距離のいずれかを調整して、前記波長の異なる前記第１の波長の入射光と、前記第２の波長の入射光の位相を揃える
　＜１＞乃至＜１３＞のいずれかに記載の撮像装置。
＜１５＞　前記位相調整部は、前記第１の波長と、前記第２の波長とを含む入射光としてレーザ光を入射させ、前記第１の撮像素子において受光される光量が最小となるように、前記第１の対物レンズと、前記第１のコリメートレンズとの距離、または、前記第２の対物レンズと、前記第２のコリメートレンズとの距離を調整することで、前記第１の波長の入射光と、前記第２の波長の入射光の位相を揃える
　＜１４＞に記載の撮像装置。
＜１６＞　位相調整部と、
　偏光板と、
　波長調整部と、
　位相差調整部と、
　撮像素子とを備えた撮像装置の作動方法であって、
　前記位相調整部は、波長の異なる第１の波長と第２の波長を含む入射光の位相を揃え、
　前記偏光板は、前記第１の波長と前記第２の波長の入射光を同一の偏光方向に偏光し、
　前記波長調整部は、前記偏光板により偏光された前記第１の波長の入射光の波長を、前記第２の波長の入射光の波長に揃え、
　前記位相差調整部は、前記波長調整部により波長が揃えられた、前記第１の波長の入射光と、前記第２の波長の入射光との位相差がπとなるように位相差を調整し、
　前記撮像素子は、前記位相差調整部により位相差がπとなるように調整された前記第１の波長と前記第２の波長の入射光を同時に受光する
　ステップを含む撮像装置の作動方法。
　１０１　撮像装置，　１１１，１１１－１，１１１－２　対物レンズ，　１１２，１１２－１，１１２－２　コリメートレンズ，　１１３，１１３－１，１１３－２　カラーフィルタ，　１１４，１１４－１，１１４－２　ハーフミラー，　１１５，１１５－１乃至１１５－３　偏光板，　１１６　媒質，　１１７，１１７－１，１１７－２　媒質，　１１８　ハーフミラー，　１１９　ミラー，　１２０，１２０－１，１２０－２　結像レンズ，　１２１，１２１－１，１２１－２　撮像素子，　１３１　信号処理部，　１４１　位相調整部

Claims (16)

  1. 　波長の異なる第１の波長と第２の波長を含む入射光の位相を揃える位相調整部と、
    　前記第１の波長と前記第２の波長の入射光を同一の偏光方向に偏光する偏光板と、
    　前記偏光板により偏光された前記第１の波長の入射光の波長を、前記第２の波長の入射光の波長に揃える波長調整部と、
    　前記波長調整部により波長が揃えられた、前記第１の波長の入射光と、前記第２の波長の入射光との位相差がπとなるように位相差を調整する位相差調整部と、
    　前記位相差調整部により位相差がπとなるように調整された前記第１の波長と、前記第２の波長の入射光を同時に受光する第１の撮像素子と
    　を備える撮像装置。
  2. 　前記波長調整部は、前記第１の波長の入射光を透過させる、所定の屈折率の透明の媒質である
    　請求項１に記載の撮像装置。
  3. 　前記所定の屈折率は、n1=λ1/λ2とされ、ここで、n1が前記媒質の屈折率であり、λ1が、前記第１の波長の入射光の波長であり、λ2は、前記第２の波長の入射光の波長である
    　請求項２に記載の撮像装置。
  4. 　前記位相差調整部は、
    　　前記第１の波長の入射光を透過させる、所定の屈折率の透明な透過方向に対する第１の厚さとなる第１の媒質と、
    　　前記第２の波長の入射光を透過させる、前記第１の媒質と同一の特性を有する前記透過方向に対する第２の厚さとなる第２の媒質とを備える
    　請求項１に記載の撮像装置。
  5. 　前記第２の厚さは、前記第１の厚さを既知とするとき、d2=（（1－n2）d1－π）/（1－n2）とされ、ここで、d1は、前記第１の厚さであり、d2は、前記第２の厚さであり、n2は、前記第１の媒質および前記第２の媒質の屈折率である
    　請求項４に記載の撮像装置。
  6. 　前記透過方向に対する前記第１の厚さは、前記第１の媒質および前記第２の媒質内における、前記第１の波長の入射光の前記透過方向に対する光路である第１の光路の光路長であり、
    　前記透過方向に対する前記第２の厚さは、前記第１の媒質および前記第２の媒質内における、前記第２の波長の入射光の前記透過方向に対する光路である第２の光路の光路長である
    　請求項５に記載の撮像装置。
  7. 　前記第２の光路上には、前記第２の波長の入射光の光路を、前記第１の波長の入射光の光路に反射させるミラーと、
    　前記第１の光路上には、前記第１の波長の入射光の一部を、前記第１の撮像素子に透過させると共に、前記ミラーにより反射された前記第２の波長の入射光の一部を前記第１の撮像素子の反射させるハーフミラーとをさらに含む
    　請求項６に記載の撮像装置。
  8. 　前記位相調整部により位相が揃えられた前記第１の波長の入射光と前記第２の波長の入射光のそれぞれのうち、前記偏光板に入射させる一部と、前記一部とは異なる他の一部とを分離する分離部と、
    　前記第１の波長の入射光と、前記第２の波長の入射光のそれぞれのうちの前記他の一部を同時に受光する前記第１の撮像素子とは異なる第２の撮像素子とをさらに含む
    　請求項１に記載の撮像装置。
  9. 　前記第１の波長の入射光と、前記第２の波長の入射光のそれぞれの前記他の一部について、さらなる一部を前記第２の撮像素子に反射して前記第２の撮像素子に受光させるハーフミラーとをさらに含む
    　請求項８に記載の撮像装置。
  10. 　前記第１の撮像素子は、前記位相差調整部により位相差がπとなるように調整された前記第１の波長の入射光と、前記第２の波長の入射光を同時に受光することで、光学的に前記第１の波長の入射光と、前記第２の波長の入射光のパワーの減算処理がなされた画素信号を出力し、
    　前記第２の撮像素子は、前記位相が揃った前記第１の波長の入射光と、前記第２の波長の入射光を同時に受光することで、光学的に前記第１の波長の入射光と、前記第２の波長の入射光のパワーの加算処理がなされた画素信号を出力し、
    　前記減算処理がなされた画素信号と、前記加算処理がなされた画素信号とに基づいた信号処理を実行する信号処理部とをさらに含む
    　請求項８に記載の撮像装置。
  11. 　前記第１の波長の入射光と、前記第２の波長の入射光が、赤色光と近赤外光である場合、前記信号処理部は、前記減算処理がなされた画素信号を、前記加算処理がなされた画素信号で除することにより、植生指標であるNVDI（Normalized Difference Vegetation Index）を算出する
    　請求項１０に記載の撮像装置。
  12. 　前記第１の波長の入射光と、前記第２の波長の入射光が、運転者の顔に照射される第１の近赤外光と、第２の近赤外光である場合、前記信号処理部は、前記減算処理がなされた画素信号を、前記運転者の明瞳孔画像と暗瞳孔画像との差分となる画素信号として取得し、取得した前記明瞳孔画像と前記暗瞳孔画像との差分となる画素信号より、瞳孔の特徴を浮き出させて、瞳の位置を検出し、前記運転者の視線方向を特定する
    　請求項１０に記載の撮像装置。
  13. 　前記第１の波長の入射光と、前記第２の波長の入射光が、神経細胞の中の特定の物質に対して蛍光剤を結び付けさせたあと、前記特定の物質に照射される第１の波長の励起光と、第２の波長の励起光である場合、前記信号処理部は、前記減算処理がなされた画素信号を、前記第１の波長の励起光と、前記第２の波長の励起光が照射されたときの差分画像における画素信号として取得し、取得した前記差分画像の画素信号より、前記神経細胞の電気的な活動状態を特定する
    　請求項１０に記載の撮像装置。
  14. 　前記位相調整部は、
    　　前記第１の波長の入射光と、前記第２の波長の入射光がそれぞれ入射される第１の対物レンズおよび第２の対物レンズと、
    　　前記第１の対物レンズおよび前記第２の対物レンズによりそれぞれ集光された前記第１の波長の入射光と、前記第２の波長の入射光のそれぞれを平行光に変換する第１のコリメートレンズおよび第２のコリメートレンズとを含み、
    　前記第１の波長の入射光が入射する前記第１の対物レンズと、前記第１のコリメートレンズとの距離、または、前記第２の波長の入射光が入射する前記第２の対物レンズと、前記第２のコリメートレンズとの距離のいずれかを調整して、前記波長の異なる前記第１の波長の入射光と、前記第２の波長の入射光の位相を揃える
    　請求項１に記載の撮像装置。
  15. 　前記位相調整部は、前記第１の波長と、前記第２の波長とを含む入射光としてレーザ光を入射させ、前記第１の撮像素子において受光される光量が最小となるように、前記第１の対物レンズと、前記第１のコリメートレンズとの距離、または、前記第２の対物レンズと、前記第２のコリメートレンズとの距離を調整することで、前記第１の波長の入射光と、前記第２の波長の入射光の位相を揃える
    　請求項１４に記載の撮像装置。
  16. 　位相調整部と、
    　偏光板と、
    　波長調整部と、
    　位相差調整部と、
    　撮像素子とを備えた撮像装置の作動方法であって、
    　前記位相調整部は、波長の異なる第１の波長と第２の波長を含む入射光の位相を揃え、
    　前記偏光板は、前記第１の波長と前記第２の波長の入射光を同一の偏光方向に偏光し、
    　前記波長調整部は、前記偏光板により偏光された前記第１の波長の入射光の波長を、前記第２の波長の入射光の波長に揃え、
    　前記位相差調整部は、前記波長調整部により波長が揃えられた、前記第１の波長の入射光と、前記第２の波長の入射光との位相差がπとなるように位相差を調整し、
    　前記撮像素子は、前記位相差調整部により位相差がπとなるように調整された前記第１の波長と前記第２の波長の入射光を同時に受光する
    　ステップを含む撮像装置の作動方法。
PCT/JP2022/004793 2021-06-15 2022-02-08 撮像装置、および撮像装置の作動方法 WO2022264487A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023529477A JPWO2022264487A1 (ja) 2021-06-15 2022-02-08
CN202280041038.6A CN117441096A (zh) 2021-06-15 2022-02-08 成像装置以及成像装置操作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-099468 2021-06-15
JP2021099468 2021-06-15

Publications (1)

Publication Number Publication Date
WO2022264487A1 true WO2022264487A1 (ja) 2022-12-22

Family

ID=84526972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004793 WO2022264487A1 (ja) 2021-06-15 2022-02-08 撮像装置、および撮像装置の作動方法

Country Status (3)

Country Link
JP (1) JPWO2022264487A1 (ja)
CN (1) CN117441096A (ja)
WO (1) WO2022264487A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016008956A (ja) * 2014-06-26 2016-01-18 ソニー株式会社 撮像装置および方法
WO2016152108A1 (ja) * 2015-03-25 2016-09-29 日本電気株式会社 光測定装置
US20190056212A1 (en) * 2016-02-03 2019-02-21 Virginia Tech Intellectual Properties, Inc. Methods, systems and apparatus of interferometry for imaging and sensing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016008956A (ja) * 2014-06-26 2016-01-18 ソニー株式会社 撮像装置および方法
WO2016152108A1 (ja) * 2015-03-25 2016-09-29 日本電気株式会社 光測定装置
US20190056212A1 (en) * 2016-02-03 2019-02-21 Virginia Tech Intellectual Properties, Inc. Methods, systems and apparatus of interferometry for imaging and sensing

Also Published As

Publication number Publication date
CN117441096A (zh) 2024-01-23
JPWO2022264487A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
US11733100B2 (en) Polarization imaging system
Gao et al. A review of snapshot multidimensional optical imaging: measuring photon tags in parallel
US11054304B2 (en) Imaging device and method
US9052290B2 (en) SWIR targeted agile raman system for detection of unknown materials using dual polarization
US20130038877A1 (en) Dual Polarization with Liquid Crystal Tunable Filters
US9041930B1 (en) Digital pathology system
US9297980B2 (en) Optical device for transmission-type scanning by moving scanning beam without moving observation sample
US9442013B2 (en) Microscope spectrometer, optical axis shift correction device, spectroscope and microscope using same
JP2011161007A5 (ja) 撮像装置及びその制御方法
US9383188B2 (en) Polarization-sensitive optical measurement instrument
US8743358B2 (en) System and method for safer detection of unknown materials using dual polarized hyperspectral imaging and Raman spectroscopy
JP7154736B2 (ja) 撮像素子、電子機器
US20140268104A1 (en) System and method for safer detection of unknown materials using dual polarized hyperspectral imaging and raman spectroscopy
Harvey et al. Spectral imaging in a snapshot
CN102008287B (zh) 一种多通道眼底视网膜光谱成像装置
CN102791179A (zh) 荧光内窥镜装置
KR100886205B1 (ko) 생체 진단용 편광 방식 파장 분할 광 영상 측정 장치
CN110572553B (zh) 一种基于光纤阵列的多光谱光学成像装置及其成像方法
WO2022264487A1 (ja) 撮像装置、および撮像装置の作動方法
EP1519170A1 (en) Imaging polarimeter sensor with achromatic beam-splitting polarizer
CN110955039B (zh) 相差显微成像系统及其成像方法
US20220390895A1 (en) Incoherent color holography lattice light-sheet (ichlls)
KR20210061044A (ko) 듀얼 카메라 모듈과 이를 포함하는 전자장치와 그 동작방법
US9835491B1 (en) Spectral, polar and spectral-polar imagers for use in space situational awareness
CN110824684A (zh) 一种高速立体三维多模态成像系统和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824488

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529477

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280041038.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE