WO2021131052A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2021131052A1
WO2021131052A1 PCT/JP2019/051548 JP2019051548W WO2021131052A1 WO 2021131052 A1 WO2021131052 A1 WO 2021131052A1 JP 2019051548 W JP2019051548 W JP 2019051548W WO 2021131052 A1 WO2021131052 A1 WO 2021131052A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
infrared
solid
prism
incident surface
Prior art date
Application number
PCT/JP2019/051548
Other languages
English (en)
French (fr)
Inventor
俊輔 黒瀧
芳雄 田島
長武 浅野
石井 太
加藤 拓
高橋 宏明
Original Assignee
株式会社ジェイエイアイコーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジェイエイアイコーポレーション filed Critical 株式会社ジェイエイアイコーポレーション
Priority to JP2021566751A priority Critical patent/JP7355408B2/ja
Priority to CN201980103589.9A priority patent/CN115176454A/zh
Priority to EP19958034.1A priority patent/EP4084460A4/en
Priority to PCT/JP2019/051548 priority patent/WO2021131052A1/ja
Publication of WO2021131052A1 publication Critical patent/WO2021131052A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/12Beam splitting or combining systems operating by refraction only
    • G02B27/126The splitting element being a prism or prismatic array, including systems based on total internal reflection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/141Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/002Details of arrangement of components in or on camera body

Definitions

  • the present invention relates to an imaging device.
  • Patent Document 1 describes a prism that branches incident light into a plurality of visible light and infrared light having different wavelength ranges, and a plurality of prisms that receive the plurality of visible light and infrared light branched by the prism.
  • An imaging device including the solid-state imaging device of the above is disclosed.
  • an object of the present invention is to provide an image pickup apparatus capable of improving the separability of information to be imaged to be obtained in the infrared region.
  • the present invention includes a prism that branches incident light into visible light and invisible light, and branches the branched invisible light into a plurality of infrared lights having different wavelength ranges from each other.
  • a visible light detection unit including a first solid-state image sensor that receives the visible light from the prism and performs photoelectric conversion.
  • An infrared photodetector including a plurality of second solid-state image sensors that receive and perform photoelectric conversion of the plurality of infrared lights from the prism, respectively.
  • a signal processing unit that processes an electrical signal output from the visible light detection unit and / or the infrared light detection unit, and An imaging device comprising the above is provided.
  • the plurality of infrared lights may all be near infrared light.
  • the plurality of infrared lights include first and second infrared lights having different wavelength ranges from each other, and the first and second infrared lights all have a wavelength range in the range of 700 nm to 1000 nm.
  • the first solid-state image sensor may be a color solid-state image sensor.
  • the first solid-state image sensor may be a monochrome solid-state image sensor.
  • the signal processing unit may generate a color image or a monochrome image based on the electric signal from the visible light detection unit, and may generate an IR image based on the electric signal from the infrared light detection unit. ..
  • the prism is arranged so as to be adjacent to a first prism glass that branches the incident light into the visible light and the invisible light, and the first prism glass, and is branched by the first prism glass.
  • a third prism glass that transmits the second infrared light from the above may be included.
  • the first prism glass reflects the visible light of the first incident surface on which the incident light is incident and the incident light transmitted through the first incident surface toward the first incident surface.
  • the first solid-state imaging device has a first dichroic film that allows the invisible light to pass through, and receives the visible light that is totally reflected by the first incident surface, and the first solid-state imaging device receives the visible light.
  • the second prism glass has a second incident surface on which the invisible light transmitted through the first dichroic film is incident, and the first red of the invisible light transmitted through the second incident surface.
  • One of the plurality of second solid-state imaging elements which has a second dichroic film that reflects external light toward the second incident surface and transmits the second infrared light.
  • the second solid-state imaging element receives the first infrared light totally reflected by the second incident surface, and another second solid-state imaging element among the plurality of second solid-state imaging elements is The second infrared light transmitted through the second dichroic film is received, and the other second solid-state imaging element receives the second infrared light transmitted through the third prism glass.
  • the prism is arranged so as to be adjacent to the first prism glass and the first prism glass that branches the incident light into the visible light and the invisible light, and is branched by the first prism glass.
  • the invisible light is branched into a first infrared light and light including second and third infrared lights having different wavelength ranges from the first infrared light and different wavelength ranges from each other.
  • the second prism glass and the light including the second and third infrared lights arranged adjacent to the second prism glass and branched by the second prism glass are referred to as the second red.
  • a third prism glass that branches into external light and the third infrared light, and the third infrared light from the third prism glass that is arranged adjacent to the third prism glass. May include a fourth prism glass that allows the light to pass through.
  • the first prism glass reflects the visible light of the first incident surface on which the incident light is incident and the incident light transmitted through the first incident surface toward the first incident surface. It also has a first dichroic film that allows the invisible light to pass through.
  • the first solid-state image sensor receives the visible light totally reflected by the first incident surface, and receives the visible light.
  • the second prism glass is the first of the second incident surface on which the invisible light transmitted through the first dichroic film is incident and the invisible light transmitted through the second incident surface. It has a second dichroic film that reflects the infrared light of the above toward the second incident surface and transmits the light including the second and third infrared light.
  • the second solid-state image sensor which is one of the plurality of second solid-state image sensors, receives the first infrared light totally reflected by the second incident surface.
  • the third prism glass transmitted through a third incident surface on which light including the second and third infrared light transmitted through the second dichroic film is incident and the third incident surface.
  • Another second solid-state image sensor among the plurality of second solid-state image pickup devices receives the second infrared light totally reflected by the third incident surface, and receives the second infrared light.
  • Yet another second solid-state image pickup device among the plurality of second solid-state image pickup devices receives the third infrared light transmitted through the third dichroic film and receives the third infrared light.
  • the further second solid-state image sensor may receive the third infrared light transmitted through the fourth prism glass.
  • the imaging apparatus according to the present invention is mainly used for inspecting the surface and / or the inside of an object that is an object to be imaged.
  • the object is also referred to as a subject.
  • Specific examples of the subject include living organisms, pharmaceuticals, water, foods, packaging, and the like. That is, the imaging device according to the present invention can be widely applied to, for example, a pharmaceutical component analysis, a medical field including a biological tissue inspection / observation, a food freshness judgment inspection, a food field including a food contamination inspection, and the like. Be expected.
  • the imaging device according to the present invention can also detect, for example, the growing state of agricultural products.
  • the imaging device according to the present invention is attached to, for example, an endoscope.
  • FIG. 1 schematically shows the configuration of the image pickup apparatus 10 according to the first embodiment of the present invention.
  • FIG. 2 shows a plurality of (for example, three) wavelength ranges of light detected by the image pickup apparatus 10 according to the first embodiment of the present invention.
  • the image pickup apparatus 10 is, as an example, a three-plate prism camera.
  • the image pickup apparatus 10 includes a prism 50, a visible light detection unit 100, an infrared light detection unit 200, and a signal processing unit 300. Further, the image pickup apparatus 10 has a lens 5 in front of the prism 50. The lens 5 is not essential in the image pickup apparatus 10.
  • the prism 50 branches the incident light through the lens 5 into visible light and a plurality of infrared lights having different wavelength ranges from each other.
  • the incident light is, for example, light reflected by a subject (for example, natural light such as sunlight, artificial light such as illumination light), or light emitted from a subject (for example, a light emitter, a phosphor, etc.).
  • the prism 50 branches the incident light into visible light VL (for example, light in the wavelength range of 380 nm to 700 nm, the same applies hereinafter), first infrared light IR1, and second infrared light IR2.
  • the wavelength range of near-infrared light is about 700 nm to 2500 nm
  • the wavelength range of mid-infrared light is about 2500 nm to 4000 nm
  • the wavelength range of far-infrared light is, for example, about 4000 nm to 1000 ⁇ m. ..
  • the first and second infrared lights IR1 and IR2 are both near-infrared light.
  • the first and second infrared lights IR1 and IR2 have completely different wavelength ranges from each other, that is, they do not have a portion where the wavelength ranges overlap with each other.
  • the wavelength range of the first infrared light IR1 is, for example, 710 nm to 810 nm
  • the wavelength range of the second infrared light IR2 is, for example, 820 nm to 1000 nm.
  • At least one of the first and second infrared lights IR1 and IR2 may be light (mid-infrared light or far-infrared light) on the longer wavelength side than the near-infrared light.
  • the visible light detection unit 100 includes a first solid-state image sensor 100a that receives the visible light VL branched by the prism 50 and performs photoelectric conversion.
  • the first solid-state image sensor 100a is also called an image sensor.
  • a color solid-state image sensor that detects R (red), G (green), and B (blue) light contained in visible light VL is used.
  • the first solid-state image sensor 100a includes a plurality of pixels arranged two-dimensionally.
  • each pixel has a light receiving element (for example, a photodiode), an on-chip lens arranged in front of the light receiving element and condensing light on the light receiving element, and a color arranged between the light receiving element and the on-chip lens. Includes filters. This color filter transmits any of red light, green light and blue light.
  • the light receiving element of each pixel converts the received colored light (red light, green light, or blue light) into an electric signal and outputs it to the signal processing unit 300.
  • the infrared photodetector 200 receives a plurality of (for example, two) infrared lights (first and second infrared lights IR1 and IR2) having completely different wavelength ranges branched by the prism 50.
  • a second solid-state imaging device 200a (200a1, 200a2) is included.
  • Each second solid-state image sensor 200a is also called an image sensor.
  • a monochrome solid-state image sensor that receives the corresponding infrared light is used.
  • the light receiving element of each second solid-state image sensor 200a uses a material having high light receiving sensitivity with respect to the corresponding infrared light wavelength range.
  • Each second solid-state image sensor 200a includes a plurality of pixels arranged in two dimensions.
  • each pixel includes a light receiving element (for example, a photodiode) and an on-chip lens arranged in front of the light receiving element and condensing light on the light receiving element.
  • the light receiving element of each pixel converts the received corresponding infrared light (first or second infrared light IR1, IR2) into an electric signal, and the signal processing unit 300 Output to.
  • the signal processing unit 300 processes the electric signals output from the visible light detection unit 100 and the infrared light detection unit 200. Specifically, the signal processing unit 300 generates a color image based on an electric signal from the visible light detection unit 100 (specifically, an electric signal output from the first solid-state image sensor 100a), and also generates an infrared signal. An IR image is generated based on an electric signal from the photodetector 200 (for example, an electric signal output from the second solid-state image pickup devices 200a1 and 200a2).
  • the characteristics of each part are slightly different in the captured image (for example, color image and IR image). It should be reflected as it is.
  • the characteristics of each part of the subject can be roughly understood from the color information, but it is not easy to determine whether each part is normal or abnormal.
  • the IR image of the subject shows the characteristics (differences in properties (chemical structure) and states) of each part of the subject that do not appear in the color image. , It becomes possible to determine whether each part of the subject is normal or abnormal.
  • the signal processing unit 300 generates an image in which an IR image is superimposed on a color image.
  • an IR image By superimposing the IR image on the color image, it is possible to identify an abnormal part (for example, a wound, a tumor, a fragile part, etc.) that cannot be distinguished from the surrounding normal part only by the color image of the subject. It will be possible.
  • the images for each part of the subject do not always match. That is, in the IR image, the characteristics of each part of the subject may or may not appear depending on the wavelength range of the infrared light that is the source of the IR image. In other words, since the first and second infrared lights have different wavelength ranges, an IR image based on the first infrared light received by the second solid-state image sensor 200a for each pixel (hereinafter referred to as IR image 1).
  • IR image 2 By superimposing an IR image based on the second infrared light (hereinafter referred to as IR image 2) received by the second solid-state image sensor 200b for each pixel on the color image, each of the subjects The characteristics of the part can be reflected in the final output image in more detail. As described above, according to the image pickup apparatus 10, the separability of the information of the image pickup target obtained in the infrared region can be improved.
  • the imaging device 10 can be used for determining whether or not the site is abnormal based on the presence or absence of a fluorescence reaction when each site of the subject is irradiated with excitation light. More specifically, in this application, the portion that reflects the excitation light as it is is determined to be normal, and the portion that absorbs the excitation light and emits fluorescence (light having a longer wavelength than the excitation light) is determined to be abnormal. In this case, the wavelength range of the excitation light (infrared region) and the wavelength range of fluorescence (infrared region on the longer wavelength side than the excitation light) are different, and the amount of fluorescence light is much smaller than the amount of excitation light.
  • the image pickup apparatus 10 for example, when the excitation light matches the first infrared light IR1 and the fluorescence matches the second infrared light IR2, the first and second infrared lights IR1 and IR2 Can be detected individually (the separability of the information to be imaged obtained in the infrared region can be improved), so whether or not each part of the subject is irradiated with the excitation light and whether or not the part is fluorescing. Can be determined. That is, it is possible to determine the presence or absence of a fluorescence reaction at a site where it is confirmed that the excitation light is actually irradiated.
  • the infrared region of the wavelength range including the excitation light (infrared region) and the fluorescence (infrared region on the longer wavelength side than the excitation light) When light is detected, the excitation light and the fluorescence cannot be discriminated. Therefore, for example, only the fluorescence is detected without detecting the excitation light. In this case, the consistency between the portion irradiated with the excitation light and the portion emitting the fluorescence cannot be confirmed, and the reliability of the discrimination is low.
  • the signal processing unit 300 adds an IR image (IR image 1 and IR image) based on the electric signals output from the plurality of second solid-state image pickup elements 200a (for example, the second solid-state image pickup elements 200a1 and 300a2) to the color image. It is more preferable to superimpose 2). In this case, it is possible to discriminate an abnormal portion that cannot be discriminated from one of the IR image 1 and the IR image 2. Further, since the reflected light from the same part of the subject is superposed on the three (color image, IR image 1, IR image 2) by using the image pickup device 10 provided with the visible light VL and the prism 50, the same part of the subject is subjected to. The three images in the above can be superimposed as they are.
  • the three images can be accurately and easily superimposed by using one imaging device 10.
  • the three cameras are used as the subject. It is necessary to accurately position the same part so that the same part can be imaged, or to extract an image of the same part from three images and superimpose them. In this case, the cost is high and the control or processing is complicated.
  • the color image generation and / or the IR image generation may be performed not by the signal processing unit 300 but by an external device that generates the image.
  • the signal processing unit 300 may transfer the electric signal from the visible light detection unit 100 and / or the electric signal from the infrared light detection unit 200 to the external device.
  • the signal processing unit 300 is composed of, for example, a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), and the like.
  • the prism 50 branches the incident light IL into visible light VL and light containing first and second infrared lights IR1 and IR2 having different wavelength ranges (invisible light).
  • the prism glass 51 and the invisible light that is arranged adjacent to the first prism glass 51 and branched by the first prism glass 51 are the first infrared light IR1 and the second infrared light IR2.
  • the first prism glass 51 has a first incident surface 51b on which the incident light IL is incident, and a first dichroic film 51a provided on a surface facing the first incident surface 51b.
  • the first dichroic film 51a reflects visible light VL (for example, light in the wavelength range of 380 nm to 700 nm) contained in the incident light IL toward the first incident surface 51b, and the first and second reds.
  • Light including external light IR1 and IR2 invisible light, for example, infrared light having a wavelength of 710 nm or more
  • IR1 and IR2 visible light, for example, infrared light having a wavelength of 710 nm or more
  • the crosstalk between the visible light VL and the first infrared light is set. Can be suppressed.
  • the visible light VL reflected by the first dichroic film 51a is incident on the first incident surface 51b at an incident angle (critical angle) that is totally reflected by the first incident surface 51b.
  • the visible light VL totally reflected by the first incident surface 51b is transmitted through the surface of the first prism glass 51 connecting the first incident surface 51b and the surface provided with the first dichroic film 51a. It is incident on the first solid-state imaging element 100a.
  • the second prism glass 52 is provided on a second incident surface 52b on which invisible light transmitted through the first dichroic film 51a is incident and a second surface facing the second incident surface 52b. It has a dichroic film 52a.
  • the second dichroic film 52a directs the first infrared light IR1 (for example, light in the wavelength range of 710 nm to 820 nm) of the invisible light transmitted through the first dichroic film 51a toward the second incident surface 52b. It reflects and transmits the second infrared light IR2 (for example, light in the wavelength range of 830 nm to 1000 nm).
  • the first infrared light IR1 and the first infrared light IR1 It is possible to suppress crosstalk with the infrared light IR2 of 2.
  • the first infrared light IR1 reflected by the second dichroic film 52a is incident on the second incident surface 52b at an incident angle (incident angle larger than the critical angle) totally reflected by the second incident surface 52b.
  • the first infrared light IR1 totally reflected by the second incident surface 52b is a surface of the second prism glass 52 that connects the second incident surface 52b and the surface provided with the second dichroic film 52a. Is incident on the first second solid-state image sensor 200a1.
  • the prism 50 is arranged so as to be adjacent to the second prism glass 52, and the second infrared light IR2 (transmitted through the second dichroic film 52a) from the second prism glass 52 is transmitted as it is.
  • the prism glass 53 of the above is further included.
  • the second infrared light IR2 transmitted through the third prism glass 53 is incident on another second solid-state image sensor 200a2.
  • the image pickup apparatus 20 is a four-plate prism camera including four prism glasses.
  • the prism 500 converts the incident light IL into visible light VL and light including first, second, and third infrared lights IR1, IR2, and IR3 having different wavelength ranges (invisible light).
  • the first prism glass 501 that branches and the invisible light that is arranged adjacent to the first prism glass 501 and branched by the first prism glass 501 are combined with the first infrared light IR1 and the second and second prism glasses 501.
  • a second prism glass 502 branched into light containing the third infrared light IR2 and IR3, and a second prism glass 502 arranged adjacent to the second prism glass 502 and branched by the second prism glass 502.
  • the first, second, and third infrared lights IR1, IR2, and IR3 are all near-infrared light.
  • the wavelength range of the first infrared light IR1 is the shortest wavelength side
  • the wavelength range of the third infrared light IR3 is. It is on the longest wavelength region side.
  • the first prism glass 501 has a first incident surface 501b on which the incident light IL is incident, and a first dichroic film 501a provided on a surface facing the first incident surface 501b.
  • the first dichroic film 501a reflects visible light VL (for example, light in the wavelength range of 380 nm to 700 nm) of the incident light IL transmitted through the first incident surface 501b toward the first incident surface 501b, and also. , 1st, 2nd and 3rd infrared light.
  • Light including IR1, IR2 and IR3 invisible light, for example, light having a wavelength of 710 nm or more is transmitted.
  • the visible light VL and the first infrared light IR1 can be separated from each other. It is possible to suppress cross talk.
  • the visible light VL reflected by the first dichroic film 501a is incident on the first incident surface 501b at an incident angle (incident angle larger than the critical angle) totally reflected by the first incident surface 501b.
  • the visible light VL totally reflected by the first incident surface 501b is transmitted through the surface of the first prism glass 501 connecting the first incident surface 501b and the surface provided with the first dichroic film 501a. It is incident on the first solid-state imaging element 100a.
  • the second prism glass 502 is a second incident light (invisible light) including the first, second and third infrared lights IR1, IR2 and IR3 transmitted through the first dichroic film 501a. It has a surface 502b and a second dichroic film 502a facing the second incident surface 502b.
  • the second dichroic film 502a is the first infrared light among the light (invisible light) including the first, second and third infrared lights IR1, IR2 and IR3 transmitted through the second incident surface 502b.
  • IR1 (for example, light in the wavelength range of 710 nm to 800 nm) is reflected toward the second incident surface 502b, and the second and third infrared lights IR2 and IR3 (for example, light having a wavelength of 810 nm or more) are transmitted.
  • the difference between the upper limit of the wavelength range of the first infrared light IR1 and the lower limit of the wavelength range of the second infrared light IR2 to, for example, 10 nm or more, the first infrared light IR1 and the first infrared light IR1 It is possible to suppress crosstalk with the infrared light IR2 of 2.
  • the first infrared light IR1 reflected by the second dichroic film 502a is incident on the second incident surface 502b at an incident angle (incident angle larger than the critical angle) totally reflected by the second incident surface 502b. Will be done.
  • the first infrared light IR1 totally reflected by the second incident surface 502b is a surface of the second prism glass 502 that connects the second incident surface 502b and the surface provided with the second dichroic film 502a. Is incident on the first second solid-state image sensor 200a1.
  • the third prism glass 503 includes a third incident surface 503b on which light including the second and third infrared lights IR2 and IR3 transmitted through the second dichroic film 501a is incident, and the third incident surface. It has a third dichroic film 503a facing 503b.
  • the third dichroic film 503a is formed by the second infrared light IR2 (for example, in the wavelength range of 810 nm to 900 nm) among the light including the second and third infrared light IR2 and IR3 transmitted through the third incident surface 503b.
  • the third infrared light IR3 (for example, light in the wavelength range of 910 nm to 1000 nm) is transmitted.
  • the second infrared light IR2 and the second infrared light IR2 can be used. It is possible to suppress crosstalk with the infrared light IR3 of 3.
  • the second infrared light IR2 reflected by the third dichroic film 503a is incident on the third incident surface 503b at an incident angle (incident angle larger than the critical angle) totally reflected by the third incident surface 503b. Will be done.
  • the second infrared light IR2 totally reflected by the third incident surface 503b is a surface of the third prism glass 503 that connects the second incident surface 503b and the surface provided with the second dichroic film 503a. Is incident on another second solid-state image sensor 200a2.
  • the third infrared light IR3 transmitted through the third dichroic film 503a is incident on yet another second solid-state image sensor 200a3.
  • the prism 500 is arranged so as to be adjacent to the third prism glass 503, and includes a fourth prism glass 504 that allows the third infrared light IR3 from the third prism glass 503 to be transmitted as it is, and yet another prism 500 is included.
  • the second solid-state imaging device 200a3 receives the third infrared light IR3 transmitted through the fourth prism glass 504.
  • the present invention is not limited to the above embodiment, and various modifications can be made.
  • a three-plate or four-plate prism camera has been described as an example, but the present invention can also be applied to a prism camera having five or more plates.
  • a color solid-state image sensor is used as the first solid-state image sensor, but the present invention is not limited to this.
  • it may have three first solid-state image sensors that detect R, G, and B light, respectively.
  • a prism camera having five or more plates as the image pickup apparatus to receive a plurality of infrared lights having different wavelength ranges.
  • a first solid-state image sensor that detects light of two colors of R, G, and B and a first solid-state image sensor that detects light of the remaining one color may be used.
  • a prism camera having four or more plates as the image pickup apparatus to receive a plurality of infrared lights having different wavelength ranges.
  • the first solid-state image sensor that detects light of one color of R, G, and B may be used.
  • the signal processing unit 300 processes all of the signals of each color from the visible light detection unit and the plurality of infrared light signals from the infrared light detection unit to generate a color image and an IR image. However, only at least two of these plurality of signals may be selectively processed as necessary to generate an image (for example, a color image and / or an IR image).
  • the prism extracts light in the order of visible light VL, first infrared light IR1, and second infrared light IR2, but this order may be changed.
  • the wavelength range of each infrared light can be changed as appropriate.
  • the wavelength range of the first infrared light IR1 is in the range of 700 nm to 1000 nm
  • the wavelength range of the second infrared light IR2 is in the range of 1000 nm to 2500 nm.
  • the wavelength range of the first infrared light IR1 is in the range of 700 nm to 2500 nm
  • the wavelength range of the second infrared light IR2 is in the range of 2500 nm to 4000 nm. There may be.
  • the wavelength range of the first infrared light IR1 is in the range of 700 nm to 4000 nm
  • the wavelength range of the second infrared light IR2 is in the range of 4000 nm to 1000 ⁇ m.
  • the wavelength range of the first infrared light IR1 is in the range of 700 nm to 1000 nm
  • the wavelength range of the second and third infrared lights IR2 and IR3 is 1000 nm to 2500 nm. It may be within the range.
  • the wavelength range of the first infrared light IR1 is in the range of 700 nm to 1000 nm
  • the wavelength range of the second infrared light IR2 is in the range of 1000 nm to 2500 nm.
  • the wavelength range of the third infrared light IR3 may be in the range of 2500 nm to 4000 nm.
  • the wavelength range of the first infrared light IR1 is in the range of 700 nm to 2500 nm
  • the wavelength range of the second infrared light IR2 is in the range of 2500 nm to 4000 nm.
  • the wavelength range of the third infrared light IR3 may be in the range of 4000 nm to 1000 ⁇ m.
  • the wavelength range of the first infrared light IR1 is 700 nm.
  • the wavelength range of the second infrared light IR2 is in the range of 1000 nm to 2500 nm
  • the wavelength range of the third infrared light IR3 is in the range of 2500 nm to 4000 nm.
  • the wavelength range of the fourth infrared light IR4 may be in the range of 4000 nm to 1000 ⁇ m.
  • the first solid-state image sensor of the image pickup device of each of the above embodiments does not have to have at least one of a color filter and an on-chip lens.
  • the first solid-state image sensor may not have a color filter when used for generating a black-and-white image, for example. That is, the first solid-state image sensor may be a monochrome solid-state image sensor.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Studio Devices (AREA)

Abstract

撮像対象の物体の部位毎の性情、形状等の特徴を精度良く判別するための情報を得ることができる撮像装置を提供する。 本発明は、入射光を可視光と非可視光とに分岐し、分岐された前記非可視光を波長域が互いに異なる複数の赤外光に分岐するプリズムと、前記プリズムからの前記可視光を受光して光電変換する第1の固体撮像素子を含む可視光検出部と、前記プリズムからの前記複数の赤外光をそれぞれ受光して光電変換する複数の第2の固体撮像素子を含む赤外光検出部と、前記可視光検出部及び/又は前記赤外光検出部から出力された電気信号を処理する信号処理部と、を備える撮像装置を提供する。

Description

撮像装置
 本発明は、撮像装置に関する。
 従来、入射光を複数の光に分岐するプリズムと、該プリズムで分岐された複数の光をそれぞれ受光する複数の固体撮像素子とを備える撮像装置が知られている。
 例えば特許文献1には、入射光を波長域が互いに異なる複数の可視光と赤外光とに分岐するプリズムと、該プリズムで分岐された複数の可視光と赤外光とをそれぞれ受光する複数の固体撮像素子とを備える撮像装置が開示されている。
特開2017-205354号公報
 しかしながら、従来の撮像装置では、特に、赤外域で得られる撮像対象の情報の分離性を向上することに関して改善の余地があった。
 そこで、本発明は、赤外域で得られる撮像対象の情報の分離性を向上することができる撮像装置を提供することを目的とする。
 本発明は、入射光を可視光と非可視光とに分岐し、分岐された前記非可視光を波長域が互いに異なる複数の赤外光に分岐するプリズムと、
 前記プリズムからの前記可視光を受光して光電変換する第1の固体撮像素子を含む可視光検出部と、
 前記プリズムからの前記複数の赤外光をそれぞれ受光して光電変換する複数の第2の固体撮像素子を含む赤外光検出部と、
 前記可視光検出部及び/又は前記赤外光検出部から出力された電気信号を処理する信号処理部と、
 を備える撮像装置を提供する。
 前記複数の赤外光は、いずれも近赤外光であってもよい。
 前記複数の赤外光は、波長域が互いに異なる第1及び第2の赤外光を含み、前記第1及び第2の赤外光は、いずれも波長域が700nm~1000nmの範囲内にあってもよい。
 前記第1の固体撮像素子は、カラー固体撮像素子であってもよい。
 前記第1の固体撮像素子は、モノクロ固体撮像素子であってもよい。
 前記信号処理部は、前記可視光検出部からの電気信号に基づいてカラー画像又はモノクロ画像を生成し、且つ、前記赤外光検出部からの電気信号に基づいてIR画像を生成してもよい。
 前記プリズムは、前記入射光を前記可視光と前記非可視光とに分岐する第1のプリズムガラスと、該第1のプリズムガラスに隣り合うように配置され、該第1のプリズムガラスで分岐された前記非可視光を波長域が互いに異なる第1及び第2の赤外光に分岐する第2のプリズムガラスと、前記第2のプリズムガラスに隣り合うように配置され、前記第2のプリズムガラスからの前記第2の赤外光を透過させる第3のプリズムガラスとを含んでいてもよい。
 前記第1のプリズムガラスは、前記入射光が入射される第1の入射面と、該第1の入射面を透過した前記入射光のうち前記可視光を前記第1の入射面に向けて反射させ、且つ、前記非可視光を透過させる第1のダイクロイック膜とを有し、前記第1の固体撮像素子は、前記第1の入射面で全反射された前記可視光を受光し、前記第2のプリズムガラスは、前記第1のダイクロイック膜を透過した前記非可視光が入射される第2の入射面と、該第2の入射面を透過した前記非可視光のうち前記第1の赤外光を前記第2の入射面に向けて反射させ、且つ、前記第2の赤外光を透過させる第2のダイクロイック膜とを有し、前記複数の第2の固体撮像素子のうち一の第2の固体撮像素子は、前記第2の入射面で全反射された前記第1の赤外光を受光し、前記複数の第2の固体撮像素子のうち別の第2の固体撮像素子は、前記第2のダイクロイック膜を透過した前記第2の赤外光を受光し、前記別の第2の固体撮像素子は、前記第3のプリズムガラスを透過した前記第2の赤外光を受光してもよい。
 前記プリズムは、前記入射光を前記可視光と前記非可視光とに分岐する第1のプリズムガラスと、前記第1のプリズムガラスに隣り合うように配置され、前記第1のプリズムガラスで分岐された前記非可視光を第1の赤外光と、該第1の赤外光と波長域が異なり、且つ、互いに波長域が異なる第2及び第3の赤外光を含む光とに分岐する第2のプリズムガラスと、前記第2のプリズムガラスに隣り合うように配置され、前記第2のプリズムガラスで分岐された前記第2及び第3の赤外光を含む光を前記第2の赤外光と前記第3の赤外光とに分岐する第3のプリズムガラスと、前記第3のプリズムガラスに隣り合うように配置され、前記第3のプリズムガラスからの前記第3の赤外光を透過させる第4のプリズムガラスとを含んでいてもよい。
 前記第1のプリズムガラスは、前記入射光が入射される第1の入射面と、該第1の入射面を透過した前記入射光のうち前記可視光を前記第1の入射面に向けて反射させ、且つ、前記非可視光を透過させる第1のダイクロイック膜とを有し、
 前記第1の固体撮像素子は、前記第1の入射面で全反射された前記可視光を受光し、
 前記第2のプリズムガラスは、前記第1のダイクロイック膜を透過した前記非可視光が入射される第2の入射面と、該第2の入射面を透過した前記非可視光のうち前記第1の赤外光を前記第2の入射面に向けて反射させ、且つ、前記第2及び第3の赤外光を含む光を透過させる第2のダイクロイック膜とを有し、
 前記複数の第2の固体撮像素子のうち一の第2の固体撮像素子は、前記第2の入射面で全反射された前記第1の赤外光を受光し、
 前記第3のプリズムガラスは、前記第2のダイクロイック膜を透過した前記第2及び第3の赤外光を含む光が入射される第3の入射面と、該第3の入射面を透過した前記第2及び第3の赤外光を含む光のうち前記第2の赤外光を前記第3の入射面に向けて反射させ、且つ、前記第3の赤外光を透過させる第3のダイクロイック膜とを有し、
 前記複数の第2の固体撮像素子のうち別の第2の固体撮像素子は、前記第3の入射面で全反射された前記第2の赤外光を受光し、
 前記複数の第2の固体撮像素子のうち更なる別の第2の固体撮像素子は、前記第3のダイクロイック膜を透過した前記第3の赤外光を受光し、
 前記更なる別の第2の固体撮像素子は、前記第4のプリズムガラス透過した前記第3の赤外光を受光してもよい。
本発明の第1の実施形態に係る撮像装置の構成を模式的に示す図である。 本発明の第1の実施形態に係る撮像装置のプリズムにより分岐される可視光、第1の赤外光及び第2の赤外光の波長域の一例を示す図である。 本発明の第2の実施形態に係る撮像装置の構成を模式的に示す図である。 本発明の第2の実施形態に係る撮像装置のプリズムにより分岐される可視光、第1の赤外光、第2の赤外光及び第3の赤外光の波長域の一例を示す図である。
 以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。以下に説明する実施形態は、本発明の代表的な実施形態を示したものであり、これにより本発明の範囲が狭く解釈されることはない。本明細書において、本発明に係る撮像装置が複数の効果を奏することが記載される場合でも、本発明に係る撮像装置は、少なくとも1つの効果を奏すればよい。本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
 本発明について、以下の順序で説明を行う。
1.導入
2.本発明の第1の実施形態に係る撮像装置
3.本発明の第2の実施形態に係る撮像装置
4.本発明の変形例
1.<導入>
 本発明に係る撮像装置は、主に、撮像対象の物体である対象物の表面及び/又は内部の検査に用いられる。以下では、当該対象物を被検体とも呼ぶ。
 被検体の具体例としては、例えば生体、医薬品、水、食品、包装等が挙げられる。
 すなわち、本発明に係る撮像装置は、例えば、医薬品成分分析、生体組織検査・観察を含めた医療分野、食品の鮮度判定検査、食品の異物混入検査を含めた食品分野等に幅広く応用することが期待される。
 一例として、本発明に係る撮像装置を例えばドローン等に搭載することにより、広大な田畑を上空から広範囲に撮像することも可能となる。この際、本発明に係る撮像装置は、例えば農産物の生育状態を検出することも可能である。
 一例として、本発明に係る撮像装置が生体内部の検査に用いられる場合に、本発明に係る撮像装置は例えば内視鏡に取り付けられる。
2.<本発明の第1の実施形態に係る撮像装置>
 以下、本発明の第1の実施形態に係る撮像装置10について、図1及び図2を参照して説明する。図1には、本発明の第1の実施形態に係る撮像装置10の構成が模式的に示されている。図2には、本発明の第1の実施形態に係る撮像装置10により検出される複数(例えば3つ)の光の波長域が示されている。
 撮像装置10は、図1に示されるように、一例として3板式のプリズムカメラである。撮像装置10は、プリズム50と、可視光検出部100と、赤外光検出部200と、信号処理部300とを備えている。
 さらに、撮像装置10は、プリズム50の前段にレンズ5を有している。なお、レンズ5は、撮像装置10において必須のものではない。
 プリズム50は、例えばレンズ5を介した入射光を、可視光と、波長域が互いに異なる複数の赤外光とに分岐する。当該入射光は、一例として、被検体で反射された光(例えば太陽光等の自然光、照明光等の人工光など)、被検体(例えば発光体、蛍光体等)から放出される光である。
 プリズム50は、一例として、入射光を可視光VL(例えば380nm~700nmの波長域の光、以下同様)と、第1の赤外光IR1と、第2の赤外光IR2とに分岐する。
 ここで、一般に、近赤外光の波長域は約700nm~2500nmであり、中赤外光の波長域は約2500nm~4000nmであり、遠赤外光の波長域は例えば約4000nm~1000μmである。
 一例として、図2に示すように、第1及び第2の赤外光IR1、IR2は、いずれも近赤外光である。
 第1及び第2の赤外光IR1、IR2は、波長域が互いに全く異なる、すなわち波長域が互いに重複する部分を有しない。
 さらに、一例として、第1の赤外光IR1の波長域は例えば710nm~810nmであり、第2の赤外光IR2の波長域は例えば820nm~1000nmである。
 なお、第1及び第2の赤外光IR1、IR2の少なくとも一方は、近赤外光より長波長側の光(中赤外光又は遠赤外光)であってもよい。
 可視光検出部100は、プリズム50で分岐された可視光VLを受光して光電変換する第1の固体撮像素子100aを含む。第1の固体撮像素子100aは、イメージセンサとも呼ばれる。
 ここでは、第1の固体撮像素子100aとして、可視光VLに含まれるR(赤色)、G(緑色)、B(青色)の光を検出するカラー固体撮像素子が用いられている。
 第1の固体撮像素子100aは、2次元配列された複数の画素を含む。各画素は、一例として、受光素子(例えばフォトダイオード)と、受光素子の前段に配置され受光素子に光を集光させるオンチップレンズと、受光素子とオンチップレンズとの間に配置されたカラーフィルタとを含む。このカラーフィルタは、赤色光、緑色光及び青色光のいずれかを透過させる。
 第1の固体撮像素子100aにおいて、各画素の受光素子は、受光した色光(赤色光、緑色光又は青色光)を電気信号に変換して、信号処理部300に出力する。
 赤外光検出部200は、プリズム50で分岐された波長域が互いに全く異なる複数の赤外光(第1及び第2の赤外光IR1、IR2)をそれぞれ受光する複数(例えば2つ)の第2の固体撮像素子200a(200a1、200a2)を含む。各第2の固体撮像素子200aは、イメージセンサとも呼ばれる。
 ここでは、各第2の固体撮像素子200aとして、対応する赤外光を受光するモノクロ固体撮像素子が用いられている。各第2の固体撮像素子200aの受光素子は、一例として、対応する赤外光の波長域に対する受光感度が高い材料が用いられている。
 各第2の固体撮像素子200aは、2次元配列された複数の画素を含む。各画素は、一例として、受光素子(例えばフォトダイオード)と、該受光素子の前段に配置され受光素子に光を集光させるオンチップレンズとを含む。
 各第2の固体撮像素子200aにおいて、各画素の受光素子は、受光した対応する赤外光(第1又は第2の赤外光IR1、IR2)を電気信号に変換して、信号処理部300に出力する。
 信号処理部300は、可視光検出部100及び赤外光検出部200から出力された電気信号を処理する。
 具体的には、信号処理部300は、可視光検出部100からの電気信号(詳しくは第1の固体撮像素子100aから出力された電気信号)に基づいてカラー画像を生成し、且つ、赤外光検出部200からの電気信号(例えば第2の固体撮像素子200a1、200a2から出力された電気信号)に基づいてIR画像を生成する。
 ここで、被検体の各部位を構成する物質の状態、組成等により光の反射性、吸収性及び透過性が異なるため、当該部位毎の特徴が撮像画像(例えばカラー画像及びIR画像)に多少なりとも反映されるはずである。
 しかし、例えば被検体のカラー画像を視ることにより、その色情報から被検体の部位毎の特徴が概ね分かるが、各部位が正常であるか異常であるかを判別することは容易ではない。
 一方、被検体のIR画像には、カラー画像には現れない被検体の部位毎の特徴(性質(化学構造)の違いや状態の違い)が現れるので、被検体のIR画像を視ることにより、被検体の各部位が正常であるか異常であるかを判別することが可能となる。
 そこで、信号処理部300は、カラー画像にIR画像を重畳した画像を生成することが好ましい。カラー画像に対してIR画像が重畳されることにより、被検体のカラー画像のみでは周囲の正常な部位とは区別がつかない異常な部位(例えば傷、腫瘍、脆弱部等)を判別することが可能となる。
 また、互いに異なる波長域の複数の赤外光をそれぞれ画素毎に受光して得られる複数のIR画像は、被検体の部位毎の画像が必ずしも一致しない。すなわち、IR画像では、当該IR画像の元となる赤外光の波長域によって被検体の部位毎の特徴が現れたり、現れなかったりすることが起こり得る。
 換言すると、第1及び第2の赤外光は、波長域が異なるので、第2の固体撮像素子200aが画素毎に受光する第1の赤外光に基づくIR画像(以下、IR画像1とする)と、第2の固体撮像素子200bが画素毎に受光する第2の赤外光に基づくIR画像(以下、IR画像2とする)とをカラー画像に重畳させることにより、被検体の各部位の特徴をより詳細に最終的な出力画像に反映させることができる。このように、撮像装置10によれば、赤外域で得られる撮像対象の情報の分離性を向上することができる。
 一例として、撮像装置10は、励起光を被検体の各部位に照射したときの蛍光反応の有無により該部位が異常か否かを判別する用途に用いることができる。詳述すると、この用途では、励起光をそのまま反射する部位は正常と判断し、励起光を吸収して蛍光(励起光より長波長の光)を発する部位を異常と判別する。
 この場合には、励起光の波長域(赤外域)と蛍光の波長域(励起光より長波長側の赤外域)が異なり、且つ、蛍光の光量が励起光の光量に比べて非常に小さいので、赤外域で得られる撮像対象の情報の分離性の向上が要求される。
 撮像装置10では、例えば、励起光が第1の赤外光IR1に一致し、且つ、蛍光が第2の赤外光IR2に一致する場合において、第1及び第2の赤外光IR1、IR2を個別に検出できる(赤外域で得られる撮像対象の情報の分離性を向上できる)ので、励起光が被検体の各部位に照射されているか否か及び該部位が蛍光を発しているか否かを判別できる。つまり、実際に励起光が照射されていることが確認されている部位における蛍光反応の有無を判別することができる。
 一方、単一の赤外光を用いて蛍光反応の有無を判別する場合には、励起光(赤外域)及び蛍光(励起光より長波長側の赤外域)の波長を含む波長域の赤外光を検出すると励起光及び蛍光を判別できなくなるので、例えば励起光を検出せずに蛍光のみを検出していた。この場合には、励起光が照射された部位と蛍光を発した部位との一致性を確認できず、判別の信頼性が低い。
 そこで、信号処理部300は、カラー画像に、複数の第2の固体撮像素子200a(例えば第2の固体撮像素子200a1、300a2)から出力された電気信号に基づくIR画像(IR画像1及びIR画像2)を重畳させることがより好ましい。
 この場合には、IR画像1及びIR画像2の一方からでは、判別できない異常な部位を判別することも可能となる。
 さらに、被検体の同一部位からの反射光を可視光VL、プリズム50を備える撮像装置10を用いて3つの(カラー画像、IR画像1、IR画像2)を重畳させるので、被検体の同一部位における当該3つの画像をそのまま重畳させることができる。すなわち、1台の撮像装置10を用いて、精確且つ容易に当該3つの画像を重畳させることができる。
 一方、例えば、当該3つの画像の各々を撮像する3台の撮像装置(例えばカメラ)を用いて、被検体の同一部位の当該3つの画像を重畳させる場合には、3台のカメラを被検体の同一部位を撮像できるよう精確に位置決めするか、もしくは3つの画像から同一部位の画像を抽出して重畳する必要がある。この場合には、コストが嵩む上、制御もしくは処理が煩雑となる。
 なお、カラー画像の生成及び/又はIR画像の生成は、信号処理部300によらず、画像を生成する外部機器により行ってもよい。
 例えば、信号処理部300は、可視光検出部100からの電気信号及び/又は赤外光検出部200からの電気信号を、当該外部機器に転送してもよい。
 信号処理部300は、例えばCPU(Central Processing Unit)、FPGA(Field Programable Gate Array)等により構成されている。
 以下に、撮像装置10の構成をより詳細に説明する。
 図1に戻り、プリズム50は、入射光ILを可視光VLと、波長域が互いに異なる第1及び第2の赤外光IR1、IR2を含む光(非可視光)とに分岐する第1のプリズムガラス51と、該第1のプリズムガラス51に隣り合うように配置され、該第1のプリズムガラス51で分岐された非可視光を第1の赤外光IR1と第2の赤外光IR2とに分岐する第2のプリズムガラス52と、を含む。
 第1のプリズムガラス51は、入射光ILが入射される第1の入射面51bと、該第1の入射面51bに対向する面に設けられた第1のダイクロイック膜51aとを有する。
 第1のダイクロイック膜51aは、入射光ILに含まれる可視光VL(例えば380nm~700nmの波長域の光)を第1の入射面51bに向けて反射させ、且つ、第1及び第2の赤外光IR1、IR2を含む光(非可視光、例えば710nm以上の波長の赤外光)を透過させる。このように、可視光VLの波長域の上限と第1の赤外光IR1の波長域の下限との差を例えば10nmとすることにより、可視光VLと第1の赤外光とのクロストークを抑制することが可能となる。
 第1のダイクロイック膜51aで反射された可視光VLは、第1の入射面51bで全反射する入射角(臨界角)で該第1の入射面51bに入射される。
 第1の入射面51bで全反射された可視光VLは、第1のプリズムガラス51の、第1の入射面51bと第1のダイクロイック膜51aが設けられた面とを繋ぐ面を透過して第1の固体撮像素子100aに入射される。
 第2のプリズムガラス52は、第1のダイクロイック膜51aを透過した非可視光が入射される第2の入射面52bと、該第2の入射面52bに対向する面に設けられた第2のダイクロイック膜52aとを有する。
 第2のダイクロイック膜52aは、第1のダイクロイック膜51aを透過した非可視光のうち第1の赤外光IR1(例えば710nm~820nmの波長域の光)を第2の入射面52bに向けて反射させ、且つ、第2の赤外光IR2(例えば830nm~1000nmの波長域の光)を透過させる。このように、第1の赤外光IR1の波長域の上限と、第2の赤外光IR2の波長域の下限との差を例えば10nmとすることにより、第1の赤外光IR1と第2の赤外光IR2とのクロストークを抑制することが可能となる。
 第2のダイクロイック膜52aで反射された第1の赤外光IR1は、第2の入射面52bで全反射する入射角(臨界角より大きい入射角)で該第2の入射面52bに入射される。
 第2の入射面52bで全反射された第1の赤外光IR1は、第2のプリズムガラス52の、第2の入射面52bと第2のダイクロイック膜52aが設けられた面とを繋ぐ面を透過して一の第2の固体撮像素子200a1に入射される。
 プリズム50は、第2のプリズムガラス52に隣り合うように配置され、第2のプリズムガラス52からの(第2のダイクロイック膜52aを透過した)第2の赤外光IR2をそのまま透過させる第3のプリズムガラス53を更に含む。
 第3のプリズムガラス53を透過した第2の赤外光IR2は、別の第2の固体撮像素子200a2に入射される。
3.<本発明の第2の実施形態に係る撮像装置>
 以下に、本発明の第2の実施形態に係る撮像装置20について、図3及び図4を参照して説明する。
 撮像装置20は、図3に示すように、プリズムが4つのプリズムガラスを含む、4板式のプリズムカメラである。
 撮像装置20では、プリズム500は、入射光ILを可視光VLと、波長域が互いに異なる第1、第2及び第3の赤外光IR1、IR2、IR3を含む光(非可視光)とに分岐する第1のプリズムガラス501と、第1のプリズムガラス501に隣り合うように配置され、第1のプリズムガラス501で分岐された非可視光を第1の赤外光IR1と、第2及び第3の赤外光IR2、IR3を含む光とに分岐する第2のプリズムガラス502と、第2のプリズムガラス502に隣り合うように配置され、第2のプリズムガラス502で分岐された第2及び第3の赤外光IR2、IR3を含む光を第2の赤外光IR2と第3の赤外光IR3とに分岐する第3のプリズムガラス503と、を含む。
 一例として、図4に示すように、第1、第2及び第3の赤外光IR1、IR2、IR3は、いずれも近赤外光である。第1、第2及び第3の赤外光IR1、IR2、IR3の中で、第1の赤外光IR1の波長域が最も短波長側であり、第3の赤外光IR3の波長域が最も長波長域側である。
 第1のプリズムガラス501は、入射光ILが入射される第1の入射面501bと、該第1の入射面501bに対向する面に設けられた第1のダイクロイック膜501aとを有する。
 第1のダイクロイック膜501aは、第1の入射面501bを透過した入射光ILのうち可視光VL(例えば380nm~700nmの波長域の光)を第1の入射面501bに向けて反射させ、且つ、第1、第2及び第3の赤外光IR1、IR2、IR3を含む光(非可視光、例えば710nm以上の波長の光)を透過させる。このように、可視光VLの波長域の上限と第1の赤外光IR1の波長域の下限との差を例えば10nm以上とすることにより、可視光VLと第1の赤外光IR1とのクロストークを抑制することが可能となる。
 第1のダイクロイック膜501aで反射された可視光VLは、第1の入射面501bで全反射される入射角(臨界角より大きい入射角)で該第1の入射面501bに入射される。
 第1の入射面501bで全反射された可視光VLは、第1のプリズムガラス501の、第1の入射面501bと第1のダイクロイック膜501aが設けられた面とを繋ぐ面を透過して第1の固体撮像素子100aに入射される。
 第2のプリズムガラス502は、第1のダイクロイック膜501aを透過した第1、第2及び第3の赤外光IR1、IR2、IR3を含む光(非可視光)が入射される第2の入射面502bと、該第2の入射面502bに対向する第2のダイクロイック膜502aとを有する。
 第2のダイクロイック膜502aは、第2の入射面502bを透過した第1、第2及び第3の赤外光IR1、IR2、IR3を含む光(非可視光)のうち第1の赤外光IR1(例えば710nm~800nmの波長域の光)を第2の入射面502bに向けて反射し、且つ、第2及び第3の赤外光IR2、IR3(例えば810nm以上の波長の光)を透過させる。このように、第1の赤外光IR1の波長域の上限と第2の赤外光IR2の波長域の下限との差を例えば10nm以上とすることにより、第1の赤外光IR1と第2の赤外光IR2とのクロストークを抑制することが可能となる。
 第2のダイクロイック膜502aで反射された第1の赤外光IR1は、第2の入射面502bで全反射される入射角(臨界角より大きい入射角)で該第2の入射面502bに入射される。
 第2の入射面502bで全反射された第1の赤外光IR1は、第2のプリズムガラス502の、第2の入射面502bと第2のダイクロイック膜502aが設けられた面とを繋ぐ面を透過して一の第2の固体撮像素子200a1に入射される。
 第3のプリズムガラス503は、第2のダイクロイック膜501aを透過した第2及び第3の赤外光IR2、IR3を含む光が入射される第3の入射面503bと、該第3の入射面503bに対向する第3のダイクロイック膜503aとを有する。
 第3のダイクロイック膜503aは、第3の入射面503bを透過した第2及び第3の赤外光IR2、IR3を含む光のうち第2の赤外光IR2(例えば810nm~900nmの波長域の光)を第3の入射面503bに向けて反射し、且つ、第3の赤外光IR3(例えば910nm~1000nmの波長域の光)を透過させる。このように、第2の赤外光IR2の波長域の上限と第3の赤外光IR3の波長域の下限との差を例えば10nm以上とすることにより、第2の赤外光IR2と第3の赤外光IR3とのクロストークを抑制することが可能となる。
 第3のダイクロイック膜503aで反射された第2の赤外光IR2は、第3の入射面503bで全反射される入射角(臨界角より大きい入射角)で該第3の入射面503bに入射される。
 第3の入射面503bで全反射された第2の赤外光IR2は、第3のプリズムガラス503の、第2の入射面503bと第2のダイクロイック膜503aが設けられた面とを繋ぐ面を透過して別の第2の固体撮像素子200a2に入射される。
 第3のダイクロイック膜503aを透過した第3の赤外光IR3は、更なる別の第2の固体撮像素子200a3に入射される。
 プリズム500は、第3のプリズムガラス503に隣り合うように配置され、第3のプリズムガラス503からの第3の赤外光IR3をそのまま透過させる第4のプリズムガラス504を含み、更なる別の第2の固体撮像素子200a3は、第4のプリズムガラス504を透過した第3の赤外光IR3を受光する。
4.<本発明の変形例>
 本発明は、上記実施形態に限定されることなく、種々の変形が可能である。
 例えば、上記各実施形態では、本発明に係る撮像装置として、3板又は4板のプリズムカメラを例にとって説明したが、本発明は、5板以上のプリズムカメラにも適用可能である。
 上記各実施形態では、第1の固体撮像素子として、カラー固体撮像素子を用いているが、これに限らない。
 例えば、R、G、Bの光をそれぞれ検出する3つの第1の固体撮像素子を有していてもよい。この場合には、撮像装置に5板以上のプリズムカメラを用いて、波長域が異なる複数の赤外光を受光する必要がある。
 例えば、R、G、Bのうち2色の光を検出する第1の固体撮像素子及び残りの1色の光を検出する第1の固体撮像素子を用いてもよい。この場合には、撮像装置に4板以上のプリズムカメラを用いて、波長域が異なる複数の赤外光を受光する必要がある。
 例えば、R、G、Bのうち1色の光を検出する第1の固体撮像素子のみを用いてもよい。この場合には、撮像装置に3板以上のプリズムカメラを用いて、波長域が異なる複数の赤外光を受光する必要がある。
 上記各実施形態では、信号処理部300は、可視光検出部からの各色の信号及び赤外光検出部からの複数の赤外光の信号の全てを処理し、カラー画像及びIR画像を生成しているが、これら複数の信号のうち必要に応じて少なくとも2つの信号のみを選択的に処理し、画像(例えば色画像及び/又はIR画像)を生成してもよい。
 上記各実施形態では、プリズムは、可視光VL、第1の赤外光IR1、第2の赤外光IR2の順に光を取り出しているが、この順を変更してもよい。
 上記各実施形態において、各赤外光の波長域は、適宜変更可能である。
 例えば、上記第1の実施形態では、第1の赤外光IR1の波長域が700nm~1000nmの範囲内にあり、且つ、第2の赤外光IR2の波長域が1000nm~2500nmの範囲内にあってもよい。
 例えば、上記第1の実施形態では、第1の赤外光IR1の波長域が700nm~2500nmの範囲内にあり、且つ、第2の赤外光IR2の波長域が2500nm~4000nmの範囲内にあってもよい。
 例えば、上記第1の実施形態では、第1の赤外光IR1の波長域が700nm~4000nmの範囲内にあり、且つ、第2の赤外光IR2の波長域が4000nm~1000μmの範囲内にあってもよい。
 例えば、上記第2の実施形態では、第1の赤外光IR1の波長域が700nm~1000nmの範囲内にあり、第2及び第3の赤外光IR2、IR3の波長域が1000nm~2500nmの範囲内にあってもよい。
 例えば、上記第2の実施形態では、第1の赤外光IR1の波長域が700nm~1000nmの範囲内にあり、且つ、第2の赤外光IR2の波長域が1000nm~2500nmの範囲内にあり、且つ、第3の赤外光IR3の波長域が2500nm~4000nmの範囲内にあってもよい。
 例えば、上記第2の実施形態では、第1の赤外光IR1の波長域が700nm~2500nmの範囲内にあり、且つ、第2の赤外光IR2の波長域が2500nm~4000nmの範囲内にあり、且つ、第3の赤外光IR3の波長域が4000nm~1000μmの範囲内にあってもよい。
 例えば、5板のプリズムカメラを用いて1つの可視光VL及び第1~第4の赤外光(4つの赤外光)を検出する場合に、第1の赤外光IR1の波長域が700nm~1000nmの範囲内にあり、且つ、第2の赤外光IR2の波長域が1000nm~2500nmの範囲内にあり、且つ、第3の赤外光IR3の波長域が2500nm~4000nmの範囲内にあり、且つ、第4の赤外光IR4の波長域が4000nm~1000μmの範囲内にあってもよい。
 例えば、上記各実施形態の撮像装置の第1の固体撮像素子は、カラーフィルタ及びオンチップレンズの少なくとも一方を有していなくてもよい。第1の固体撮像素子は、例えば白黒画像の生成に用いられる場合は、カラーフィルタを有していなくてもよい。すなわち、第1の固体撮像素子は、モノクロ固体撮像素子であってもよい。
 10、20:撮像装置、50、500:プリズム、51、501:第1のプリズムガラス、52、502:第2のプリズムガラス、53、503:第3のプリズムガラス、504:第4のプリズムガラス、51a、501a:第1のダイクロイック膜、51b、501b:第1の入射面、52a、502a:第2のダイクロイック膜、52b、502b:第2の入射面、503a:第3のダイクロイック膜、503b:第3の入射面、300:信号処理部。
 

Claims (10)

  1.  入射光を可視光と非可視光とに分岐し、分岐された前記非可視光を波長域が互いに異なる複数の赤外光に分岐するプリズムと、
     前記プリズムからの前記可視光を受光して光電変換する第1の固体撮像素子を含む可視光検出部と、
     前記プリズムからの前記複数の赤外光をそれぞれ受光して光電変換する複数の第2の固体撮像素子を含む赤外光検出部と、
     前記可視光検出部及び/又は前記赤外光検出部から出力された電気信号を処理する信号処理部と、
     を備える撮像装置。
  2.  前記複数の赤外光は、いずれも近赤外光である、請求項1に記載の撮像装置。
  3.  前記複数の赤外光は、波長域が互いに重複する部分を有しない第1及び第2の赤外光を含み、
     前記第1及び第2の赤外光は、いずれも波長域が700nm~1000nmの範囲内にある、請求項1又は2に記載の撮像装置。
  4.  前記第1の固体撮像素子は、カラー固体撮像素子である、請求項1~3のいずれか1項に記載の撮像装置。
  5.  前記第1の固体撮像素子は、モノクロ固体撮像素子である、請求項1~3のいずれか1項に記載の撮像装置。
  6.  前記信号処理部は、前記可視光検出部からの電気信号に基づいてカラー画像又はモノクロ画像を生成し、且つ、前記赤外光検出部からの電気信号に基づいてIR画像を生成する、請求項1~5のいずれか1項に記載の撮像装置。
  7.  前記プリズムは、前記入射光を前記可視光と前記非可視光とに分岐する第1のプリズムガラスと、該第1のプリズムガラスに隣り合うように配置され、該第1のプリズムガラスで分岐された前記非可視光を波長域が互いに異なる第1及び第2の赤外光に分岐する第2のプリズムガラスと、前記第2のプリズムガラスに隣り合うように配置され、前記第2のプリズムガラスからの前記第2の赤外光を透過させる第3のプリズムガラスとを含む、請求項1~6のいずれか1項に記載の撮像装置。
  8.  前記第1のプリズムガラスは、前記入射光が入射される第1の入射面と、該第1の入射面を透過した前記入射光のうち前記可視光を前記第1の入射面に向けて反射させ、且つ、前記非可視光を透過させる第1のダイクロイック膜とを有し、
     前記第1の固体撮像素子は、前記第1の入射面で全反射された前記可視光を受光し、
     前記第2のプリズムガラスは、前記第1のダイクロイック膜を透過した前記非可視光が入射される第2の入射面と、該第2の入射面を透過した前記非可視光のうち前記第1の赤外光を前記第2の入射面に向けて反射させ、且つ、前記第2の赤外光を透過させる第2のダイクロイック膜とを有し、
     前記複数の第2の固体撮像素子のうち一の第2の固体撮像素子は、前記第2の入射面で全反射された前記第1の赤外光を受光し、
     前記複数の第2の固体撮像素子のうち別の第2の固体撮像素子は、前記第2のダイクロイック膜を透過した前記第2の赤外光を受光し、
     前記別の第2の固体撮像素子は、前記第3のプリズムガラス透過した前記第2の赤外光を受光する、請求項7に記載の撮像装置。
  9.  前記プリズムは、前記入射光を前記可視光と前記非可視光とに分岐する第1のプリズムガラスと、前記第1のプリズムガラスに隣り合うように配置され、前記第1のプリズムガラスで分岐された前記非可視光を第1の赤外光と、該第1の赤外光と波長域が異なり、且つ、互いに波長域が異なる第2及び第3の赤外光を含む光とに分岐する第2のプリズムガラスと、前記第2のプリズムガラスに隣り合うように配置され、前記第2のプリズムガラスで分岐された前記第2及び第3の赤外光を含む光を前記第2の赤外光と前記第3の赤外光とに分岐する第3のプリズムガラスと、前記第3のプリズムガラスに隣り合うように配置され、前記第3のプリズムガラスからの前記第3の赤外光を透過させる第4のプリズムガラスとを含む、請求項1~6のいずれか1項に記載の撮像装置。
  10.  前記第1のプリズムガラスは、前記入射光が入射される第1の入射面と、該第1の入射面を透過した前記入射光のうち前記可視光を前記第1の入射面に向けて反射させ、且つ、前記非可視光を透過させる第1のダイクロイック膜とを有し、
     前記第1の固体撮像素子は、前記第1の入射面で全反射された前記可視光を受光し、
     前記第2のプリズムガラスは、前記第1のダイクロイック膜を透過した前記非可視光が入射される第2の入射面と、該第2の入射面を透過した前記非可視光のうち前記第1の赤外光を前記第2の入射面に向けて反射させ、且つ、前記第2及び第3の赤外光を含む光を透過させる第2のダイクロイック膜とを有し、
     前記複数の第2の固体撮像素子のうち一の第2の固体撮像素子は、前記第2の入射面で全反射された前記第1の赤外光を受光し、
     前記第3のプリズムガラスは、前記第2のダイクロイック膜を透過した前記第2及び第3の赤外光を含む光が入射される第3の入射面と、該第3の入射面を透過した前記第2及び第3の赤外光を含む光のうち前記第2の赤外光を前記第3の入射面に向けて反射させ、且つ、前記第3の赤外光を透過させる第3のダイクロイック膜とを有し、
     前記複数の第2の固体撮像素子のうち別の第2の固体撮像素子は、前記第3の入射面で全反射された前記第2の赤外光を受光し、
     前記複数の第2の固体撮像素子のうち更なる別の第2の固体撮像素子は、前記第3のダイクロイック膜を透過した前記第3の赤外光を受光し、
     前記更なる別の第2の固体撮像素子は、前記第4のプリズムガラスを透過した前記第3の赤外光を受光する、請求項9に記載の撮像装置。
     
PCT/JP2019/051548 2019-12-27 2019-12-27 撮像装置 WO2021131052A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021566751A JP7355408B2 (ja) 2019-12-27 2019-12-27 撮像装置
CN201980103589.9A CN115176454A (zh) 2019-12-27 2019-12-27 拍摄装置
EP19958034.1A EP4084460A4 (en) 2019-12-27 2019-12-27 IMAGING DEVICE
PCT/JP2019/051548 WO2021131052A1 (ja) 2019-12-27 2019-12-27 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/051548 WO2021131052A1 (ja) 2019-12-27 2019-12-27 撮像装置

Publications (1)

Publication Number Publication Date
WO2021131052A1 true WO2021131052A1 (ja) 2021-07-01

Family

ID=76573828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051548 WO2021131052A1 (ja) 2019-12-27 2019-12-27 撮像装置

Country Status (4)

Country Link
EP (1) EP4084460A4 (ja)
JP (1) JP7355408B2 (ja)
CN (1) CN115176454A (ja)
WO (1) WO2021131052A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7025811B1 (ja) 2021-07-26 2022-02-25 株式会社タナカ技研 撮像装置
JP7131870B1 (ja) 2021-07-26 2022-09-06 株式会社タナカ技研 撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356004A (ja) * 2000-06-12 2001-12-26 Fuji Photo Film Co Ltd 画像撮像装置及び距離測定方法
JP2018175762A (ja) * 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置
JP2019047977A (ja) * 2017-09-11 2019-03-28 パナソニックIpマネジメント株式会社 内視鏡及び内視鏡システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3108388B2 (ja) * 1997-06-06 2000-11-13 池上通信機株式会社 ビデオカメラを用いる画像処理装置
JP2007334311A (ja) * 2006-05-18 2007-12-27 Nippon Hoso Kyokai <Nhk> 可視光・赤外光撮影光学系
JP5262180B2 (ja) * 2008-02-26 2013-08-14 ソニー株式会社 固体撮像装置及びカメラ
CN104980628B (zh) * 2014-04-13 2018-09-11 比亚迪股份有限公司 图像传感器和监控系统
TW201703503A (zh) * 2015-04-28 2017-01-16 Jai Ltd 功能擴充裝置、功能擴充裝置的裝卸構造以及功能擴充系統
EP4155716A1 (en) * 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly
NL2017973B1 (en) * 2016-12-09 2018-06-19 Quest Photonic Devices B V Dichroic prism assembly with four or five channels
NL2018494B1 (en) * 2017-03-09 2018-09-21 Quest Photonic Devices B V Method and apparatus using a medical imaging head for fluorescent imaging
CN108650447B (zh) * 2018-07-06 2024-03-05 上海图漾信息科技有限公司 图像传感器、深度数据测量头及测量系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356004A (ja) * 2000-06-12 2001-12-26 Fuji Photo Film Co Ltd 画像撮像装置及び距離測定方法
JP2018175762A (ja) * 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置
JP2019047977A (ja) * 2017-09-11 2019-03-28 パナソニックIpマネジメント株式会社 内視鏡及び内視鏡システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7025811B1 (ja) 2021-07-26 2022-02-25 株式会社タナカ技研 撮像装置
JP7131870B1 (ja) 2021-07-26 2022-09-06 株式会社タナカ技研 撮像装置
JP2023017489A (ja) * 2021-07-26 2023-02-07 株式会社タナカ技研 撮像装置
JP2023017684A (ja) * 2021-07-26 2023-02-07 株式会社タナカ技研 撮像装置

Also Published As

Publication number Publication date
JPWO2021131052A1 (ja) 2021-07-01
EP4084460A1 (en) 2022-11-02
EP4084460A4 (en) 2023-08-23
JP7355408B2 (ja) 2023-10-03
CN115176454A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
US11419501B2 (en) Fluorescence observation device and fluorescence observation endoscope device
US7538309B2 (en) Image pickup apparatus
JP6076093B2 (ja) 撮像装置
US7794394B2 (en) Device for wavelength-selective imaging
US10335019B2 (en) Image pickup element and endoscope device
CN107205613B (zh) 摄像装置
JP2005046634A5 (ja)
JP6027832B2 (ja) 撮像装置
WO2022257946A1 (zh) 多光谱成像系统、成像方法和存储介质
WO2021131052A1 (ja) 撮像装置
US10805512B2 (en) Dual path endoscope
US10602919B2 (en) Imaging device
CN107105977A (zh) 内窥镜装置
JP4245787B2 (ja) 蛍光画像取得方法および装置
JP6600800B2 (ja) 固体撮像装置、撮像システム及び物体識別システム
JP5489785B2 (ja) 蛍光内視鏡装置
JP2006261861A (ja) 撮像装置
KR102190398B1 (ko) 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법
JPH04357926A (ja) 内視鏡装置
WO2017042980A1 (ja) 蛍光観察装置および蛍光観察内視鏡装置
JP2004512120A (ja) 中空状部位に使用するための内視鏡器具
Themelis et al. Novel multispectral method for simultaneous color and fluorescence endoscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19958034

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021566751

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019958034

Country of ref document: EP

Effective date: 20220727