WO2020084973A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2020084973A1 WO2020084973A1 PCT/JP2019/036933 JP2019036933W WO2020084973A1 WO 2020084973 A1 WO2020084973 A1 WO 2020084973A1 JP 2019036933 W JP2019036933 W JP 2019036933W WO 2020084973 A1 WO2020084973 A1 WO 2020084973A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- solid
- glass substrate
- image
- imaging device
- Prior art date
Links
- 238000012545 processing Methods 0.000 title abstract description 58
- 239000000758 substrate Substances 0.000 claims abstract description 90
- 239000011521 glass Substances 0.000 claims abstract description 89
- 238000003384 imaging method Methods 0.000 claims description 154
- 125000006850 spacer group Chemical group 0.000 claims description 22
- 239000003795 chemical substances by application Substances 0.000 claims description 15
- 238000009423 ventilation Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 8
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000005855 radiation Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 37
- 238000004891 communication Methods 0.000 description 32
- 230000003287 optical effect Effects 0.000 description 29
- 238000001514 detection method Methods 0.000 description 27
- 210000003128 head Anatomy 0.000 description 27
- 239000000853 adhesive Substances 0.000 description 22
- 230000001070 adhesive effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 238000012986 modification Methods 0.000 description 20
- 230000004048 modification Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 18
- 238000001727 in vivo Methods 0.000 description 15
- 239000002775 capsule Substances 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000002674 endoscopic surgery Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 229920005989 resin Polymers 0.000 description 11
- 239000011347 resin Substances 0.000 description 11
- 230000004907 flux Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 239000000834 fixative Substances 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229920003002 synthetic resin Polymers 0.000 description 3
- 239000000057 synthetic resin Substances 0.000 description 3
- 208000005646 Pneumoperitoneum Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14618—Containers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
Definitions
- the present invention relates to an imaging device.
- a chip size package (CSP) structure is known as one of the structures of a solid-state imaging device that realizes such a large number of pixels, a small size, and a low profile.
- the CSP structure is an extremely small package realized in a size similar to that of a single chip.
- a pixel for converting incident light into an electric signal is formed on a semiconductor substrate, and a fixed surface of the solid-state imaging device and a light-receiving surface of the pixel are formed with respect to a light-receiving surface on which the pixel is formed.
- a glass substrate for protection and the like is arranged and configured.
- the incident object light is received by the pixel on the light receiving surface, is reflected by the light receiving surface, is incident on the glass substrate, and is further reflected on the boundary surface between the glass substrate and air. It is known that the reflected light is received by the light receiving surface.
- the reflected light reflected by the light receiving surface and the boundary surface between the glass substrate and the air is imaged around the subject light directly incident on the light receiving surface.
- the reflected light appears on the captured image as flare or a ghost with respect to the subject image, for example, and causes deterioration of the image quality of the captured image.
- the influence of the above phenomenon on a captured image can be reduced by reducing the thickness of the glass substrate.
- the plate thickness of the glass substrate is reduced, there is a problem that the strength of the entire solid-state image pickup element is reduced.
- the present disclosure has an object to provide an imaging device having a CSP structure, capable of acquiring a high-quality captured image, and capable of ensuring strength.
- an imaging device of the present disclosure includes a solid-state imaging device in which light-receiving elements are arranged in a two-dimensional lattice to form a light-receiving surface, and a glass substrate arranged on the light-receiving surface of the solid-state imaging element.
- An infrared cut filter disposed on the second surface of the glass substrate opposite to the first surface facing the light receiving surface via a cavity layer.
- FIG. 1 It is sectional drawing which shows the constructional example of the imaging device which concerns on 1st Embodiment. It is a top view which shows the structural example of the imaging device which concerns on 1st Embodiment. It is a figure which is applicable to 1st Embodiment and which shows a more concrete example of a ventilation path at the time of providing a spacer in an infrared cut filter. It is a figure for explaining an example in case the plate thickness of a glass substrate is thick. It is a figure for explaining an example in case the plate thickness of a glass substrate is thick. It is a figure for demonstrating the example in case the plate thickness of a glass substrate is thin. It is a figure for demonstrating the example in case the plate thickness of a glass substrate is thin.
- the image pickup apparatus includes a solid-state image pickup element that is arranged in a two-dimensional lattice and includes a plurality of light-receiving elements that convert received light into electric signals by photoelectric conversion, and fixing the solid-state image pickup element. And a glass substrate for protecting the light-receiving surface, and an infrared cut filter arranged on the glass substrate via a cavity layer (void layer).
- a signal processing circuit for performing the above may be included.
- a glass substrate having a thickness smaller than that of the infrared cut filter is used. Further, the glass substrate is fixed to the light-receiving surface of the solid-state image sensor with a transparent member (eg, adhesive) having a refractive index substantially the same as that of the glass substrate.
- a transparent member eg, adhesive
- FIG. 1A and 1B are diagrams showing an example of the structure of the imaging device according to the first embodiment.
- FIG. 1A is a cross-sectional view showing an example of a cross section of the image pickup apparatus 1a according to the first embodiment, taken along a plane including the optical axis of light incident on the image pickup apparatus 1a.
- FIG. 1B is a top view showing an example of the image pickup apparatus 1a viewed from the incident direction of light.
- an image pickup apparatus 1a includes an optical section 2a including a lens group 30a and an actuator 31, an element section 3a including a CSP solid-state image pickup element 10, a circuit board 12, a circuit board 15, a fixing section 13 and an infrared cut filter 22.
- an optical section 2a including a lens group 30a and an actuator 31, an element section 3a including a CSP solid-state image pickup element 10, a circuit board 12, a circuit board 15, a fixing section 13 and an infrared cut filter 22.
- the lens group 30a includes a plurality of lenses and forms a subject image on the light receiving surface of the solid-state image sensor 11 described later.
- the actuator 31 drives a predetermined lens included in the lens group 30a, for example, in a direction facing the CSP solid-state imaging device 10, in the up-down direction and the left-right direction (and the front-back direction) in FIG. 1A. As a result, at least one of the autofocus function and the camera shake correction function is realized.
- the actuator 31 may have one of the functions of auto focus and camera shake correction, or may be a simple lens holder that does not have both the functions of auto focus and camera shake correction. Further, autofocus and camera shake correction may be realized by means other than the actuator 31, such as image processing.
- the CSP solid-state image pickup device 10 includes a solid-state image pickup device 11 which is an image sensor using, for example, a CMOS (Complementary Metal Oxide Semiconductor), and has a chip size package (CSP) structure.
- the solid-state imaging device 11 is not limited to this, and may be an image sensor using a CCD (Charge Coupled Device).
- the solid-state image pickup device 11 includes a plurality of light receiving elements (for example, photodiodes) arranged in a two-dimensional lattice and a drive circuit for driving each light receiving element.
- the solid-state imaging device 11 may further include a signal processing circuit that performs signal processing such as CDS (Correlated Double Sampling) on the signal read from each light receiving element.
- CDS Correlated Double Sampling
- each light receiving element generates an electric charge according to the amount of incident light by photoelectric conversion.
- the solid-state image sensor 11 outputs a pixel signal based on an electric signal corresponding to the charges generated in each light receiving element.
- the solid-state image sensor 11 is electrically connected to the outside via a connection portion provided in the CSP solid-state image sensor 10.
- the solid-state imaging device 11 includes, for example, a color filter of any one of R (red), G (green), and B (blue) with respect to an incident portion on which light is incident in each light receiving element.
- a microlens is arranged on the incident side of the color filter.
- the surface on which the microlens is arranged is the light receiving surface of the solid-state image sensor 11.
- a transparent glass substrate 20 is provided on the light-receiving surface side of the solid-state imaging device 11.
- the glass substrate 20 is adhered to the light receiving surface of the solid-state image pickup device 11 with an adhesive 21 as a transparent member, and is fixedly arranged with respect to the solid-state image pickup device 11.
- the glass substrate 20 has a function of fixing the solid-state image sensor 11 and protecting the light receiving surface.
- An infrared cut filter 22 is arranged via a cavity layer 23 on the surface of the glass substrate 20 opposite to the surface in contact with the adhesive 21.
- the infrared cut filter 22 is a filter that cuts light in the infrared wavelength region.
- the cavity layer 23 is a void layer formed between the surface of the glass substrate 20 on the upper side in FIG. 1A and the surface of the infrared cut filter 22 facing the surface, and air is present inside.
- the height of the cavity layer 23 is formed by the spacer 24.
- the spacer 24 is formed in advance on the infrared cut filter 22, and the infrared cut filter 22 is arranged on the glass substrate 20 via the spacer 24. Thereby, the cavity layer 23 having the height of the spacer 24 can be formed.
- the spacer 24 is preferably formed of a material capable of suppressing light reflection. As a material that realizes such a material, there is a synthetic resin colored in matte black.
- the cavity layer 23 contains air inside, in order to prevent deformation due to expansion of air due to heat, etc., the cavity layer 23 allows ventilation with the outside, as exemplified by the ventilation path 40 in FIG. 1B. It is preferable to provide a route for
- FIG. 2 is a diagram showing a more specific example of the ventilation path 40 when the spacer 24 is provided in the infrared cut filter 22, which is applicable to the first embodiment.
- FIG. 2 shows a state in which the infrared cut filter 22 is viewed from the surface facing the glass substrate 20.
- a ventilation path 40 ′ that allows the cavity layer 23 to communicate with the outside is provided in a part of the spacer 24 provided on the four sides of the infrared cut filter 22.
- the ventilation path 40 ′ has a bent shape, as illustrated in FIG. 2, because it prevents dust and the like from entering the inside of the cavity layer 23 from the outside.
- the fixative 25 fixes the solid-state image sensor 11, the glass substrate 20, and the infrared cut filter 22.
- the solid-state image sensor 11, the glass substrate 20, and the infrared cut filter 22 are integrally configured. That is, the CSP solid-state image sensor 10 and the infrared cut filter 22 are integrally configured.
- the fixative 25 has a function of reducing stray light from the side of the CSP solid-state image sensor 10.
- the fixing agent 25 can be formed by using a matte black synthetic resin or a matte black colored synthetic resin.
- the adhesive 21 and the glass substrate 20 are laminated in this order on the light-receiving surface of the solid-state imaging device 11, and further, infrared rays are cut from the glass substrate 20 via the cavity layer 23.
- the filter 22 is laminated.
- the adhesive 21, and the infrared cut filter 22 those having substantially the same refractive index are used.
- the glass substrate 20 used is thinner than the infrared cut filter 22.
- the plate thickness of the infrared cut filter 22 is about 200 ⁇ m to 250 ⁇ m
- the plate thickness of the glass substrate 20 is set to about 30 ⁇ m to 110 ⁇ m.
- the plate thickness of the glass substrate 20 may be about 10 ⁇ m to 110 ⁇ m.
- the height of the cavity layer 23, that is, the height of the spacer 24 is not particularly limited, it is considered that the height is about 10 ⁇ m to several tens of ⁇ m.
- the fixed part 13 is connected to the CSP solid-state imaging device 10 and the infrared cut filter 22 via a fixing agent 25.
- the CSP solid-state image sensor 10 and the infrared cut filter 22 are fixed to the fixing portion 13.
- the actuator 31 is mounted on the upper surface of the fixed portion 13, and the optical portion 2a is fixed to the element portion 3a.
- the circuit board 12 is electrically connected to the connection unit included in the CSP solid-state imaging device 10.
- the circuit board 12 is connected to the circuit board 15 via the fixing portion 13, and further connected to the connector 16 via the circuit board 15.
- the connector 16 can be connected to an external terminal. That is, the pixel signal output from the solid-state imaging device 11 is supplied to the connector 16 via the circuit board 12, the fixing portion 13, and the circuit board 15, and is output to the outside.
- a circuit component 14 such as a capacitor, a resistance element required for driving the solid-state imaging device 11 or the actuator 31, and an integrated circuit for controlling the actuator 31 is mounted.
- the circuit boards 12 and 15 are connected to these circuit components 14 via the fixing portion 13.
- the circuit board 12 is preferably made of a material having a coefficient of linear expansion close to (similar to) the coefficient of linear expansion of silicon, which is the material of the solid-state imaging device 11.
- the circuit board 12 is preferably made of a material having a low elastic modulus lower than a predetermined elastic modulus.
- position fixing portions 18 1 , 18 2 , 18 3 and 18 4 are provided at predetermined positions on the fixing portion 13.
- the position fixing portions 18 1 to 18 4 are for allowing the CSP solid-state imaging device 10 to be easily arranged at an appropriate position in the opening of the fixing portion 13. That is, the position fixing portions 18 1 to 18 4 have a structure in which the four corners of the CSP solid-state imaging device 10 are fitted.
- the position fixing portions 18 1 to 18 4 guide the CSP solid-state imaging device 10 to an appropriate position on the circuit board 12 by the action of gravity even before the fixing agent 25 is injected into the fixing portion 13. It can be fixed.
- the position fixing parts 18 1 to 18 4 are allowed to intersect with the CSP solid-state imaging device 10 when the CSP solid-state imaging device 10 is arranged at an appropriate position in the opening of the fixing part 13. Within the range, it is configured to have a size that produces a very small gap.
- the position fixing portions 18 1 to 18 4 come into contact with the CSP solid-state image pickup device 10 to guide it to an appropriate position. .
- the position fixing portions 18 1 to 18 4 have a structure that prevents the CSP solid-state imaging device 10 from tilting or shifting due to warpage, distortion, contraction, or the like.
- the CSP solid-state image sensor 10 is mounted so that the four corners are aligned with the position fixing portions 18 1 to 18 4 and fitted into the fixing portion 13.
- the position fixing portions 18 1 to 18 4 can be arranged so as to be guided to an appropriate position on the circuit board 12.
- the fixing agent 25 also has a purpose of suppressing reflection after curing. Therefore, it is preferable to use the fixative 25 having a reflectance of not more than a predetermined value, for example, a reflectance of not more than 5%.
- the glass substrate 20 is arranged on the light-receiving surface of the CSP solid-state imaging device 10 with the adhesive 21 interposed therebetween, and the cavity layer 23 formed by the spacer 24 is further provided.
- the infrared cut filter 22 is arranged via the. Therefore, even when the glass substrate 20 is extremely thin (for example, about 10 ⁇ m to several tens of ⁇ m), sufficient strength can be obtained.
- FIG. 3A and FIG. 3B are diagrams for explaining an example in which the glass substrate 20 has a large thickness.
- FIG. 3A schematically shows a state in which the glass substrate 102 a is laminated on the light receiving surface 101 of the solid-state image sensor 100 via the adhesive 103. On the light receiving surface 101, a microlens is arranged for each pixel.
- the surface of the glass substrate 102a that is not in contact with the adhesive 103 is in contact with air.
- the refractive index n C of the solid-state imaging device 100 is higher than the refractive indices n A and n B of the adhesive 103 and the glass substrate 102a.
- the light flux 200 of light incident on the solid-state imaging device 11 is reflected by, for example, a microlens on the light-receiving surface 101 of the solid-state imaging device 11.
- the reflected light 201a in which the light flux 200 is reflected by the light receiving surface 101 passes through the adhesive 103, enters the glass substrate 102a, and is reflected at the boundary between the glass substrate 102a and air.
- the reflected light 202a reaches the light receiving surface 101 of the solid-state image sensor 11 and is incident on the solid-state image sensor 11 again.
- This phenomenon is generally called total reflection, and it is known that this phenomenon occurs when light is transmitted from a substance having a high refractive index to a substance having a low refractive index.
- the reflected light 202a reflected at the boundary with the air will be referred to as the folded reflected light 202a.
- FIG. 3B is a diagram schematically showing an image of a captured image captured by the solid-state image sensor 100 under the condition of FIG. 3A. It is known that when a light ray from a light source is applied to a surface, the image of the light source is projected with a certain spread on that surface.
- the light flux 200 in the example of FIG. 3A has a certain spread, is irradiated onto the light receiving surface 101, and is received by the light receiving element.
- FIG. 3B shows an example of the image 210 in which the light flux 200 is directly received by the light receiving element and imaged. For example, even if the light source of the light flux 200 is a point light source, the image 210 has a certain spread.
- the reflected reflected light 202a is emitted from the position where the light flux 200 is incident on the light receiving surface 101, to a position separated by a distance d 1 according to the total thickness of the adhesive 103 and the glass substrate 102a, and is received by the light receiving element. To be done.
- a circular image 211a having a radius of the distance d 1 from the center point of the image 210 by the light flux 200 is captured.
- This image 211a is called flare or ghost for the image 210, and becomes a factor that deteriorates the image quality of the image captured by the solid-state image sensor 100.
- FIGS. 4A and 4B are diagrams corresponding to FIGS. 3A and 3B described above, and are diagrams for explaining an example in which the plate thickness of the glass substrate 20 is thinner than that in the example of FIG. 3A.
- a glass substrate 102b, the refractive index of the adhesive 103 and the solid-state imaging device 100 includes a glass substrate 102a described with reference to FIG. 3A, the adhesive 103 and the refractive index n A of the solid-state imaging device 100, n B And n C.
- the thickness of the adhesive 103 is assumed to be the same in the example of FIG. 3A and the example of FIG. 4A.
- FIG. 4A when the plate thickness of the glass substrate 102b is thinner than the plate thickness of the glass substrate 102a of FIG. 3A, the position where the reflected light 202b of the light flux 200 is irradiated to the light receiving surface 101 and the light beam 200 is received on the light receiving surface 101.
- the distance d 2 from the incident position is smaller than the distance d 1 described above.
- the image 211b of the reflected reflected light 202b falls within the range of the image 210 of the light flux 200, as illustrated in FIG. 4B.
- the thickness of the glass substrate 102b and the adhesive 103 it is possible to suppress flare and ghost that occur in the image captured by the solid-state image sensor 100, and it is expected that the image quality of the captured image is improved.
- the strength of the solid-state image sensor 100 becomes low.
- the CSP The strength of the entire solid-state image sensor is reduced. In this case, for example, in an apparatus using the CSP solid-state image sensor including the solid-state image sensor 100, it is difficult to obtain a good result in a reliability test such as a drop test.
- the infrared cut filter 22 is arranged on the glass substrate 20 via the cavity layer 23.
- the light that has entered the light-receiving surface of the solid-state imaging device 11 and is reflected by the light-receiving surface is further reflected at the boundary between the glass substrate 20 and the cavity layer 23, and is incident on the light-receiving surface of the solid-state imaging device 11 as reflected light. .
- the glass substrate 20, the spacer 24 for forming the cavity layer 23, and the infrared cut filter 22 are fixed by the fixing agent 25. Therefore, even if the plate thickness of the glass substrate 20 is reduced to, for example, several tens of ⁇ m, it is possible to secure the strength of the entire element unit 3a of the imaging device 1a. Therefore, the plate thickness of the glass substrate 20 can be made sufficiently thin, and flare and ghost due to the reflected light reflected back can be suppressed.
- FIG. 5 is a diagram showing a structure of an example of an imaging device according to a modification of the first embodiment.
- FIG. 5 shows an example of a cross section of a plane including the optical axis of light incident on the image pickup apparatus.
- the infrared cut filter 22 uses the filter fixing resin 26 for the CSP solid-state image pickup element 10, and the glass substrate 20 arranged on the CSP solid-state image pickup element 10. It is fixed while maintaining a predetermined distance with respect to.
- the filter fixing resin 26 for example, a resin that is colored matt black or the like and that can suppress light reflection is used. Further, as the filter fixing resin 26, a resin that can be fixed to the hardened fixing agent 25 with sufficient strength is used.
- the filter fixing resin 26 is applied to the outer periphery of the CSP solid-state image sensor 10.
- the infrared cut filter 22 is arranged on the CSP solid-state imaging device 10 so that the four sides are in contact with the filter fixing resin 26 without gaps.
- the infrared cut filter 22 is fixed to the CSP solid-state image sensor 10 by hardening the resin 26 for fixing the filter.
- the cavity layer 23 having a height corresponding to the coating state of the filter fixing resin 26 is formed between the glass substrate 20 arranged in the CSP solid-state imaging device 10 and the infrared cut filter 22.
- the infrared cut filter 22 is used for the CSP solid-state image sensor 10 including the glass substrate 20 by using the filter fixing resin 26, as in the first embodiment described above. It is fixed. Therefore, even if the plate thickness of the glass substrate 20 is reduced to, for example, several tens of ⁇ m, it is possible to secure the strength of the entire element unit 3a of the imaging device 1a. Therefore, the plate thickness of the glass substrate 20 can be made sufficiently thin, and flare and ghost due to the reflected light reflected back can be suppressed.
- the lens group 30a in the image pickup apparatus 1a according to the first embodiment described with reference to FIG. 1 is a two-lens group including a lowermost lens included in the lens group 30a and another lens.
- the lens in the lowermost layer refers to a lens arranged at a position closest to the CSP solid-state imaging device 10 among the plurality of lenses included in the lens group 30a.
- FIG. 6 is a diagram showing a structure of an example of the image pickup apparatus according to the second embodiment.
- FIG. 6 shows an example of a cross section of a plane including the optical axis of light incident on the image pickup apparatus.
- the infrared cut filter 22 is provided with the lowermost lens 32 constituting a lens group for forming a subject image on the light receiving surface. That is, in the optical unit 2b, the lens group 30b includes each lens except the lens 32 in the lowermost layer of the lens group 30a in FIG.
- the lens 32 is bonded and fixed to the infrared cut filter 22 with, for example, a transparent adhesive.
- the imaging device 1c according to the second embodiment like the imaging device 1a according to the first embodiment described with reference to FIG. 1, includes a glass substrate 20, a spacer 24 for forming a cavity layer 23, The infrared cut filter 22 and the infrared cut filter 22 are fixed by a fixing agent 25. Therefore, it is possible to reduce the plate thickness of the glass substrate 20 while ensuring the strength of the entire element portion 3c, and it is possible to suppress the occurrence of flare and ghost due to the reflected reflected light.
- the lens 32 is fixed to the infrared cut filter 22. Therefore, it is possible to further increase the strength as compared with the image pickup apparatus 1a according to the first embodiment and the image pickup apparatus 1b according to the modification example. Therefore, it is possible to reduce the plate thickness of the glass substrate 20 and more effectively suppress the occurrence of flare and ghost due to the reflected light reflected back.
- the lens group 30a in the image pickup apparatus 1a according to the first embodiment described with reference to FIG. 1 is provided on the upper layer side (the side on which light from a subject is incident).
- a lens group 30c composed of a plurality of lenses and a lens group 30d composed of a plurality of lenses on the lower layer side are separated, and the lens group 30d is arranged on the infrared cut filter 22.
- FIG. 7 is a diagram showing a structure of an example of an imaging device according to a first modification of the second embodiment.
- FIG. 7 shows an example of a cross section of a plane including the optical axis of the light incident on the image pickup apparatus.
- the lens group for forming a subject image on the light receiving surface of the solid-state image pickup device 11 is divided into a lens group 30c including a plurality of lenses and a lens group 30d. It is configured.
- the lens group 30c is included in the optical unit 2c and is driven by the actuator 31 to realize functions of autofocus and camera shake correction.
- the lens group 30d is included in the element section 3d, and in the example of FIG. 7, is configured to include the lens 32 in the lowermost layer and the lens 33 in the uppermost layer in the entire lens group. These lenses 32 and 33 are fixed lenses that are not directly involved in the functions of autofocus and camera shake correction described above.
- the lens 32 and the lens 33 are bonded by, for example, a transparent adhesive to have an integrated structure, and the lens 32 is bonded and fixed to the infrared cut filter 22 by a transparent adhesive.
- the imaging device 1d according to the first modified example of the second embodiment forms the glass substrate 20 and the cavity layer 23 similarly to the imaging device 1a according to the first embodiment described with reference to FIG.
- the spacer 24 and the infrared cut filter 22 are fixed by a fixing agent 25.
- the image pickup apparatus 1d according to the first modification of the second embodiment fixes the infrared cut filter 22 with the lenses 32 and 33 integrally configured. Therefore, compared to the image pickup apparatus 1c according to the second embodiment described above, it is possible to further increase the strength, and the plate thickness of the glass substrate 20 is made thinner so that flare and ghost are not generated by the reflected light reflected back. It can be suppressed more effectively.
- the second modification of the second embodiment is an optical device included in the element unit 3d with respect to the structure of the imaging device 1d according to the first modification of the second embodiment described with reference to FIG. This is an example in which a light shielding mask is provided for the lens 33 to which light is directly incident from the lens group 30c of the portion 2c.
- FIG. 8 is a diagram showing a structure of an example of an imaging device according to a second modification of the second embodiment.
- FIG. 8 shows an example of a cross section of a plane including the optical axis of the light incident on the image pickup apparatus.
- an image pickup apparatus 1e according to a second modification of the second embodiment forms a subject image on the light receiving surface of the solid-state image pickup element 11, similarly to the image pickup apparatus 1d described with reference to FIG.
- the lens group 30c on the upper layer side, which is obtained by separating the lens group for, is included in the optical unit 2c.
- the element portion 3e includes a lens group 30d on the lower layer side of the lens group.
- the lower lens group 30d includes a lowermost lens 32 that is bonded and fixed to the infrared cut filter 22, and a lens 33 that is bonded and fixed to the lens 32.
- the configuration is not limited to this, and similarly to the imaging device 1c according to the second embodiment described with reference to FIG. 6, the element unit 3e may include only the lowermost lens 32 of the lens group.
- the light incident on the lens group 30c is emitted from the lens group 30c within a range indicated by an angle ⁇ with respect to the center of the uppermost lens 34 of the lens group 30c, and is incident on the lens group 30d.
- the light outside the range irradiated with light from the lens group 30c at this angle ⁇ can be said to be unnecessary light when the solid-state image sensor 11 receives light. . Therefore, it is preferable to shield the light outside this range from entering the solid-state imaging device 11.
- the solid-state imaging device 11, the glass substrate 20, the spacer 24 for forming the cavity layer 23, and the fixing agent 25 for fixing the lens group 30d are used as the lens group.
- the light-shielding mask 51 for the lens 33 is formed by extending and coating the upper surface of the uppermost lens 33, which is the incident surface at 30d.
- the fixing agent 25 is applied by extending it from the periphery of the lens 33 to the vicinity of the boundary of the range where the lens 33c is irradiated with light from the lens 33.
- the imaging device 1e according to the second modified example of the second embodiment has an infrared cut filter, like the imaging device 1d according to the first modified example of the second embodiment described with reference to FIG.
- Lenses 32 and 33 that are integrally configured are fixed to 22. Therefore, compared to the image pickup apparatus 1c according to the second embodiment described above, it is possible to further increase the strength, and the plate thickness of the glass substrate 20 is made thinner so that flare and ghost are not generated by the reflected light reflected back. It can be suppressed more effectively.
- the third embodiment is an example in which any one of the image pickup apparatuses 1a to 1e according to the first embodiment and the modified examples thereof, and the second embodiment and the modified examples thereof is applied to an electronic device. is there.
- the description will be given as an example in which the imaging device 1a is applied.
- FIG. 9 is a block diagram showing the configuration of an example of a terminal device 300 as an electronic device applicable to the third embodiment.
- the terminal device 300 is, for example, a multifunctional mobile phone terminal (smartphone) and has an imaging function.
- an electronic device having an imaging function and configured to be easily portable may be applied to another electronic device such as a tablet personal computer.
- the terminal device 300 includes an optical system 310, a shutter device 311, a solid-state image sensor 312, a signal processing unit 313, a display 314, a memory 315, and a driving unit 316.
- the terminal device 300 further includes a control unit 320, an input device 321, and a communication I / F 322.
- the control unit 320 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
- the control unit 320 controls the entire operation of the terminal device 300 by the CPU that operates using the RAM as a work memory according to a program stored in advance in the ROM.
- the input device 321 receives a user operation and sends a control signal according to the received user operation to the control unit 320.
- the communication I / F 322 performs communication with the outside according to a predetermined protocol under the control of the control unit 320, for example, by wireless communication.
- the optical system 310 includes the lens group 30 including one or a plurality of lenses corresponding to the above-described optical unit 2a, guides light (incident light) from a subject to the solid-state image sensor 312, and An image is formed on the light receiving surface of the image sensor 312. Further, the optical system 310 and the actuator 31 described above can be included.
- the shutter device 311 is arranged between the optical system 310 and the solid-state image sensor 312, and controls the light irradiation period and the light-shielding period for the solid-state image sensor 312 under the control of the control unit 320.
- the solid-state image sensor 312 corresponds to the CSP solid-state image sensor 10 described above, and accumulates signal charges for a certain period according to the light imaged on the light-receiving surface of the solid-state image sensor 11 via the optical system 310 and the shutter device 311. To do.
- the signal charge accumulated in the solid-state image sensor 312 is transferred according to the drive signal (timing signal) supplied from the drive unit 316.
- the drive unit 316 outputs a drive signal for controlling the transfer operation of the solid-state imaging device 312 and the shutter operation of the shutter device 311 under the control of the control unit 320, and drives the solid-state imaging device 312 and the shutter device 311.
- the signal processing unit 313 Under the control of the control unit 320, the signal processing unit 313 performs various signal processing such as CDS on the signal charge output from the solid-state imaging device 312, and generates image data according to the signal charge. Further, the signal processing unit 313 can display the image data obtained by performing the signal processing on the display 314 and store the image data in the memory 315 under the control of the control unit 320.
- the control unit 320 can transmit the image data stored in the memory 315 to the outside by the communication I / F 322 according to the user operation on the input device 321.
- the terminal device 300 configured as described above applies the above-described image pickup devices 1a to 1e as the optical system 310 and the solid-state image pickup device 312 to the solid-state image pickup device 312 while ensuring the strength of the solid-state image pickup device 312.
- the plate thickness of the glass substrate 20 used can be reduced. Therefore, flare and ghosts in image data obtained by the solid-state image sensor 312 and signal-processed by the signal processing unit 313 are suppressed, and the image quality of the image data can be improved.
- FIG. 10 is a diagram showing a usage example in which the image pickup apparatuses 1a to 1e according to the above-described first embodiment and the second embodiment and their modifications are used.
- the above-described image pickup devices 1a to 1e can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as described below.
- -A device that captures images used for viewing, such as digital cameras and mobile devices with camera functions.
- ⁇ In-vehicle sensors that take images of the front, rear, surroundings, and inside of the vehicle for safe driving such as automatic stop and recognition of the driver's condition, surveillance cameras for monitoring traveling vehicles and roads, inter-vehicle etc.
- a device used for traffic such as a distance measurement sensor for distance measurement.
- a device used for home appliances such as a TV, a refrigerator, and an air conditioner in order to photograph a user's gesture and operate a device according to the gesture.
- -A device used for medical care or healthcare such as an endoscope or a device for taking an angiogram by receiving infrared light.
- -A device used for security such as a security surveillance camera or a person authentication camera.
- -A device used for beauty such as a skin measuring device that photographs the skin and a microscope that photographs the scalp.
- -Devices used for sports such as action cameras and wearable cameras for sports purposes.
- -A device used for agriculture such as a camera for monitoring the condition of fields and crops.
- the technology according to the present disclosure (this technology) can be applied to various products.
- the technology according to the present disclosure may be applied to an endoscopic surgery system.
- FIG. 11 is a block diagram showing an example of a schematic configuration of a patient in-vivo information acquisition system using a capsule endoscope to which the technology according to the present disclosure (this technology) can be applied.
- the in-vivo information acquisition system 10001 includes a capsule endoscope 10100 and an external control device 10200.
- the capsule endoscope 10100 is swallowed by the patient at the time of inspection.
- the capsule endoscope 10100 has an imaging function and a wireless communication function, and moves inside the organ such as the stomach or intestine by peristaltic movement or the like until it is naturally discharged from the patient.
- Images (hereinafter, also referred to as in-vivo images) are sequentially captured at predetermined intervals, and information regarding the in-vivo images is sequentially wirelessly transmitted to the external control device 10200 outside the body.
- the external control device 10200 centrally controls the operation of the in-vivo information acquisition system 10001. Further, the external control device 10200 receives information about the in-vivo image transmitted from the capsule endoscope 10100, and displays the in-vivo image on a display device (not shown) based on the received information about the in-vivo image. Image data for display is generated.
- the in-vivo information acquisition system 10001 can obtain an in-vivo image of the inside of the patient's body at any time during the period from when the capsule endoscope 10100 is swallowed until it is discharged.
- the capsule endoscope 10100 has a capsule-shaped casing 10101, and in the casing 10101, a light source unit 10111, an imaging unit 10112, an image processing unit 10113, a wireless communication unit 10114, a power feeding unit 10115, and a power supply unit. 10116 and the control part 10117 are stored.
- the light source unit 10111 includes a light source such as an LED (Light Emitting Diode), and irradiates the imaging visual field of the imaging unit 10112 with light.
- a light source such as an LED (Light Emitting Diode)
- LED Light Emitting Diode
- the image pickup unit 10112 is composed of an image pickup element and an optical system including a plurality of lenses provided in the preceding stage of the image pickup element. Reflected light (hereinafter, referred to as observation light) of the light applied to the body tissue that is the observation target is condensed by the optical system and enters the image pickup device. In the image pickup unit 10112, the image pickup device photoelectrically converts the observation light incident thereon to generate an image signal corresponding to the observation light. The image signal generated by the imaging unit 10112 is provided to the image processing unit 10113.
- the image processing unit 10113 is configured by a processor such as a CPU and a GPU (Graphics Processing Unit), and performs various signal processing on the image signal generated by the imaging unit 10112.
- the image processing unit 10113 provides the image signal subjected to the signal processing to the wireless communication unit 10114 as RAW data.
- the wireless communication unit 10114 performs a predetermined process such as a modulation process on the image signal subjected to the signal processing by the image processing unit 10113, and transmits the image signal to the external control device 10200 via the antenna 10114A. Further, the wireless communication unit 10114 receives a control signal related to drive control of the capsule endoscope 10100 from the external control device 10200 via the antenna 10114A. The wireless communication unit 10114 provides the control signal received from the external control device 10200 to the control unit 10117.
- a predetermined process such as a modulation process
- the wireless communication unit 10114 receives a control signal related to drive control of the capsule endoscope 10100 from the external control device 10200 via the antenna 10114A.
- the wireless communication unit 10114 provides the control signal received from the external control device 10200 to the control unit 10117.
- the power feeding unit 10115 includes an antenna coil for receiving power, a power regeneration circuit that regenerates power from the current generated in the antenna coil, a booster circuit, and the like.
- the power supply unit 10115 generates electric power using the principle of so-called non-contact charging.
- the power supply unit 10116 is composed of a secondary battery and stores the electric power generated by the power supply unit 10115.
- the power stored in the power supply unit 10116 is the light source unit 10111.
- the control unit 10117 is configured by a processor such as a CPU, and controls the driving of the light source unit 10111, the imaging unit 10112, the image processing unit 10113, the wireless communication unit 10114, and the power feeding unit 10115 from the external control device 10200. Control as appropriate.
- the external control device 10200 is configured with a processor such as a CPU and a GPU, or a microcomputer or a control board in which a processor and a memory element such as a memory are mounted together.
- the external control device 10200 controls the operation of the capsule endoscope 10100 by transmitting a control signal to the control unit 10117 of the capsule endoscope 10100 via the antenna 10200A.
- a light irradiation condition for the observation target in the light source unit 10111 can be changed by a control signal from the external control device 10200.
- the image pickup condition for example, the frame rate, the exposure value, etc. in the image pickup unit 10112
- the control signal from the external control device 10200 may change the content of the processing in the image processing unit 10113 and the condition (for example, the transmission interval, the number of transmission images, etc.) at which the wireless communication unit 10114 transmits the image signal. .
- the external control device 10200 also performs various types of image processing on the image signal transmitted from the capsule endoscope 10100, and generates image data for displaying the captured in-vivo image on the display device.
- image processing include development processing (demosaic processing), high image quality processing (band emphasis processing, super-resolution processing, noise reduction processing, camera shake correction processing, etc.), enlargement processing (electronic zoom processing), etc.
- various types of signal processing can be performed.
- the external control device 10200 controls the driving of the display device to display the in-vivo image captured based on the generated image data.
- the external control device 10200 may record the generated image data in a recording device (not shown) or may print it out by a printing device (not shown).
- the technology according to the present disclosure can be applied to, for example, the imaging unit 10112 among the configurations described above.
- the configuration including the CSP solid-state imaging device 10 and the infrared cut filter 22 in each of the above-described imaging devices 1a to 1e can be applied to the imaging unit 10112.
- the technique according to the present disclosure to the imaging unit 10112, the deviation between the incident position of the incident light of the solid-state imaging device 11 and the incident position of the reflected light reflected by the total reflection is within the light-receiving surface of the solid-state imaging device 11. It can be kept almost constant. Therefore, for example, it is possible to reduce the load related to image processing executed in the external control device 10200.
- FIG. 12 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technology (the technology) according to the present disclosure can be applied.
- FIG. 12 illustrates a situation in which an operator (doctor) 11131 is operating on a patient 11132 on a patient bed 11133 using the endoscopic surgery system 11000.
- the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as a pneumoperitoneum tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
- a cart 11200 on which various devices for endoscopic surgery are mounted.
- the endoscope 11100 is composed of a lens barrel 11101 into which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
- the endoscope 11100 configured as a so-called rigid mirror having the rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
- An opening in which the objective lens is fitted is provided at the tip of the lens barrel 11101.
- a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101. It is irradiated toward the observation target in the body cavity of the patient 11132 via the lens.
- the endoscope 11100 may be a direct-viewing endoscope, or may be a perspective or side-viewing endoscope.
- An optical system and an image pickup device are provided inside the camera head 11102, and reflected light (observation light) from an observation target is condensed on the image pickup device by the optical system.
- the observation light is photoelectrically converted by the imaging element, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
- the image signal is transmitted to the CCU (camera control unit) 11201 as RAW data.
- the CCU 11201 is composed of a CPU, a GPU, and the like, and integrally controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives the image signal from the camera head 11102, and performs various image processing such as development processing (demosaic processing) for displaying an image based on the image signal on the image signal.
- image processing such as development processing (demosaic processing) for displaying an image based on the image signal on the image signal.
- the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201.
- the light source device 11203 is composed of a light source such as an LED (Light Emitting Diode), for example, and supplies the endoscope 11100 with irradiation light at the time of imaging a surgical site or the like.
- a light source such as an LED (Light Emitting Diode), for example, and supplies the endoscope 11100 with irradiation light at the time of imaging a surgical site or the like.
- the input device 11204 is an input interface for the endoscopic surgery system 11000.
- the user can input various kinds of information and instructions to the endoscopic surgery system 11000 via the input device 11204.
- the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
- the treatment instrument control device 11205 controls driving of the energy treatment instrument 11112 for cauterization of tissue, incision, or sealing of blood vessel.
- the pneumoperitoneum device 11206 uses a gastrointestinal tube 11111 to inject a gas into the body cavity of the patient 11132 in order to inflate the body cavity of the patient 11132 for the purpose of securing a visual field by the endoscope 11100 and a working space of an operator.
- the recorder 11207 is a device capable of recording various information regarding surgery.
- the printer 11208 is a device that can print various types of information regarding surgery in various formats such as text, images, or graphs.
- the light source device 11203 that supplies the endoscope 11100 with irradiation light when imaging a surgical site can be configured by, for example, an LED, a laser light source, or a white light source configured by a combination thereof.
- a white light source is formed by a combination of RGB laser light sources
- the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy, so that the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
- the laser light from each of the RGB laser light sources is time-divided onto the observation target, and the drive of the image pickup device of the camera head 11102 is controlled in synchronization with the irradiation timing, so that each of the RGB colors can be handled. It is also possible to take the captured image in time division. According to this method, a color image can be obtained without providing a color filter on the image sensor.
- the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
- the drive of the image sensor of the camera head 11102 in synchronization with the timing of changing the intensity of the light to acquire images in a time-division manner and combining the images, a high dynamic image without so-called blackout and overexposure is obtained. An image of the range can be generated.
- the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
- the special light observation for example, the wavelength dependence of the absorption of light in body tissues is used to irradiate a narrow band of light as compared with the irradiation light (that is, white light) at the time of normal observation, so that the mucosal surface layer A so-called narrow band imaging (Narrow Band Imaging) is performed in which a predetermined tissue such as blood vessels is imaged with high contrast.
- narrow band imaging Narrow Band Imaging
- fluorescence observation in which an image is obtained by the fluorescence generated by irradiating the excitation light may be performed.
- the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is also injected.
- the excitation light corresponding to the fluorescence wavelength of the reagent can be irradiated to obtain a fluorescence image.
- the light source device 11203 can be configured to be capable of supplying narrowband light and / or excitation light compatible with such special light observation.
- FIG. 13 is a block diagram showing an example of the functional configuration of the camera head 11102 and the CCU 11201 shown in FIG.
- the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
- the CCU 11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
- the camera head 11102 and the CCU 11201 are communicably connected to each other via a transmission cable 11400.
- the lens unit 11401 is an optical system provided at the connecting portion with the lens barrel 11101.
- the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
- the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
- the image pickup unit 11402 includes an image pickup element.
- the number of image pickup elements forming the image pickup section 11402 may be one (so-called single-plate type) or plural (so-called multi-plate type).
- image signals corresponding to RGB are generated by each image pickup element, and a color image may be obtained by combining them.
- the image capturing unit 11402 may be configured to have a pair of image capturing elements for respectively acquiring image signals for the right eye and the left eye corresponding to 3D (Dimensional) display.
- the 3D display enables the operator 11131 to more accurately grasp the depth of the living tissue in the operation site.
- a plurality of lens units 11401 may be provided corresponding to each image pickup element.
- the image pickup unit 11402 does not necessarily have to be provided in the camera head 11102.
- the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
- the drive unit 11403 is composed of an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405. Accordingly, the magnification and focus of the image captured by the image capturing unit 11402 can be adjusted appropriately.
- the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
- the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
- the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies it to the camera head control unit 11405.
- the control signal includes, for example, information that specifies the frame rate of the captured image, information that specifies the exposure value at the time of capturing, and / or information that specifies the magnification and focus of the captured image. Contains information about the condition.
- the image capturing conditions such as the frame rate, the exposure value, the magnification, and the focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good. In the latter case, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are installed in the endoscope 11100.
- AE Auto Exposure
- AF Auto Focus
- AWB Auto White Balance
- the camera head control unit 11405 controls driving of the camera head 11102 based on a control signal from the CCU 11201 received via the communication unit 11404.
- the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
- the communication unit 11411 receives the image signal transmitted from the camera head 11102 via the transmission cable 11400.
- the communication unit 11411 transmits a control signal for controlling the driving of the camera head 11102 to the camera head 11102.
- the image signal and the control signal can be transmitted by electric communication, optical communication, or the like.
- the image processing unit 11412 performs various kinds of image processing on the image signal that is the RAW data transmitted from the camera head 11102.
- the control unit 11413 performs various controls regarding imaging of a surgical site or the like by the endoscope 11100 and display of a captured image obtained by imaging the surgical site or the like. For example, the control unit 11413 generates a control signal for controlling the driving of the camera head 11102.
- control unit 11413 causes the display device 11202 to display a picked-up image of the surgical site or the like based on the image signal subjected to the image processing by the image processing unit 11412.
- the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects a surgical instrument such as forceps, a specific body part, bleeding, a mist when the energy treatment instrument 11112 is used, etc. by detecting the shape and color of the edge of the object included in the captured image. Can be recognized.
- the control unit 11413 may use the recognition result to superimpose and display various types of surgery support information on the image of the operation unit. By displaying the surgery support information in a superimposed manner and presenting it to the operator 11131, the burden on the operator 11131 can be reduced, and the operator 11131 can proceed with the operation reliably.
- the transmission cable 11400 that connects the camera head 11102 and the CCU 11201 is an electric signal cable compatible with electric signal communication, an optical fiber compatible with optical communication, or a composite cable of these.
- wired communication is performed using the transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
- the technology according to the present disclosure can be applied to, for example, the endoscope 11100 or the imaging unit 11402 of the camera head 11102 among the configurations described above.
- the configuration including the CSP solid-state imaging device 10 and the infrared cut filter 22 in each of the above-described imaging devices 1a to 1e can be applied to the imaging unit 10402.
- the technique according to the present disclosure to the imaging unit 11402, the deviation between the incident position of the incident light of the solid-state imaging device 11 and the incident position of the reflected light reflected by the total reflection is within the imaging plane of the solid-state imaging device 1. Since it can be made almost constant, it is possible to reduce the load related to image processing in the CCU 11201, for example.
- the technology according to the present disclosure may be applied to devices mounted on various moving bodies such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. .
- FIG. 14 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio / video output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
- the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
- the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
- the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
- the body system control unit 12020 receives inputs of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
- the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
- the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
- the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
- the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
- the vehicle exterior information detection unit 12030 for example, performs image processing on the received image and performs object detection processing and distance detection processing based on the result of the image processing.
- the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
- the imaging unit 12031 can output the electric signal as an image or can output as the distance measurement information.
- the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
- the in-vehicle information detection unit 12040 detects in-vehicle information.
- a driver state detection unit 12041 that detects the state of the driver is connected.
- the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether or not the driver is asleep.
- the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the information inside or outside the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
- a control command can be output to 12010.
- the microcomputer 12051 realizes functions of ADAS (Advanced Driver Assistance System) including collision avoidance or impact mitigation of vehicles, follow-up traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's It is possible to perform cooperative control for the purpose of autonomous driving, which autonomously travels without depending on the operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
- the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
- the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to a passenger of the vehicle or the outside of the vehicle.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
- the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
- FIG. 15 is a diagram showing an example of the installation position of the imaging unit 12031.
- the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
- the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
- the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
- the image capturing unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
- the front images acquired by the image capturing units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
- FIG. 15 shows an example of the shooting range of the imaging units 12101 to 12104.
- the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
- the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
- a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
- At least one of the image capturing units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
- the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100). By determining, it is possible to extract the closest three-dimensional object on the traveling path of the vehicle 12100, which is traveling in a substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km / h or more) as a preceding vehicle. it can. Furthermore, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
- automatic braking control including follow-up stop control
- automatic acceleration control including follow-up start control
- the microcomputer 12051 uses the distance information obtained from the image capturing units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for collision avoidance by outputting an alarm to the driver or by performing forced deceleration or avoidance steering through the drive system control unit 12010.
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104. To recognize such a pedestrian, for example, a procedure for extracting a feature point in an image captured by the image capturing units 12101 to 12104 as an infrared camera and a pattern matching process on a series of feature points indicating the contour of an object are performed to determine whether the pedestrian is a pedestrian.
- the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
- the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
- the above has described an example of the vehicle control system to which the technology according to the present disclosure can be applied.
- the technology according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
- the configuration including the CSP solid-state imaging device 10 and the infrared cut filter 22 in each of the above-described imaging devices 1a to 1e can be applied to the imaging unit 12031.
- the technique according to the present disclosure to the image capturing unit 12031, the deviation between the incident position of the incident light of the solid-state image sensor 11 and the incident position of the reflected light reflected by the total reflection is within the image capturing plane of the solid-state image sensor 11. It can be kept almost constant. Therefore, for example, it is possible to reduce the load related to image processing or the like in the vehicle exterior information detection unit 12030.
- a solid-state imaging device in which light-receiving elements are arranged in a two-dimensional lattice to form a light-receiving surface;
- a glass substrate arranged on the light-receiving surface of the solid-state imaging device,
- An infrared cut filter disposed on a second surface of the glass substrate opposite to the first surface facing the light receiving surface via a cavity layer;
- An imaging device including.
- the spacer is The imaging device according to (1) or (2), which is formed using a material capable of suppressing light reflection.
- the spacer is The imaging device according to (3) above, which has a ventilation path for passing the inside and the outside of the cavity layer.
- One of the lenses included in a lens group that forms a subject image on the light receiving surface is fixedly arranged on the infrared cut filter, according to any one of (1) to (6) above.
- Imaging device. The imaging device according to (7), further including a light-shielding mask on an incident surface of the one or more lenses, the light-shielding mask being capable of shielding light outside a range in which the light incident on the lens group is incident on the incident surface.
- the light-shielding mask is The imaging device according to (8) above, which is formed by extending a fixing agent that fixes the solid-state imaging device, the glass substrate, and the infrared cut filter to the incident surface.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Hardware Design (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Blocking Light For Cameras (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
撮像装置は、受光素子が2次元格子状に配列されて受光面が形成される固体撮像素子(11)と、固体撮像素子の受光面に配置されるガラス基板(20)と、ガラス基板の、受光面の側に向いた第1の面と反対側の第2の面に対してキャビティ層(23)を介して配置される赤外線カットフィルタ(22)と、を備える。
Description
本発明は、撮像装置に関する。
近年、カメラ付き移動体端末装置やディジタルスチルカメラなどにおいて撮像を行う撮像装置としての固体撮像素子では、多画素化が進む一方で、小型化および低背化が進んでいる。このような多画素化、小型化および低背化を実現する固体撮像素子の構造の一つとして、チップサイズパッケージ(CSP)構造が知られている。CSP構造は、チップ単体と同程度のサイズで実現された極めて小型のパッケージである。CSP構造の固体撮像素子では、例えば、半導体基板上に、入射した光を電気信号に変換するための画素が形成され、画素が形成される受光面に対し、固体撮像素子の固定、受光面の保護などのためのガラス基板が配置されて構成される。
一方、CSP構造の固体撮像素子において、入射した被写体光が受光面において画素に受光されると共に、当該受光面で反射してガラス基板に入射し、ガラス基板と空気との境界面においてさらに反射し、その反射光が受光面に受光される現象が発生することが知られている。
CSP構造の固体撮像素子では、上述した現象により、受光面に直接的に入射した被写体光の周囲に、受光面およびガラス基板と空気との境界面にて反射した反射光が撮像されてしまう。この反射光は、例えば被写体像に対するフレアやゴーストとして撮像画像上に現れ、撮像画像の画質低下の要因となる。上述の現象による撮像画像への影響は、ガラス基板の板厚を薄くすることで低減可能であることが知られている。しかしながら、ガラス基板の板厚を薄くすると、固体撮像素子全体の強度が低下してしまうという問題点があった。
本開示は、CSP構造を有し、高画質の撮像画像を取得可能、且つ、強度を確保可能とした撮像装置を提供することを目的とする。
上記目的を解決するために、本開示の撮像装置は、受光素子が2次元格子状に配列されて受光面が形成される固体撮像素子と、固体撮像素子の受光面に配置されるガラス基板と、ガラス基板の、受光面の側に向いた第1の面と反対側の第2の面に対してキャビティ層を介して配置される赤外線カットフィルタと、を備える。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
[第1の実施形態]
本開示の第1の実施形態について説明する。第1の実施形態に係る撮像装置は、2次元格子状に配列された、それぞれ受光した光を光電変換により電気信号に変換する複数の受光素子を含む固体撮像素子と、当該固体撮像素子の固定および受光面の保護のためのガラス基板と、当該ガラス基板に対してキャビティ層(空隙層)を介して配置される赤外線カットフィルタと、を含む。第1の実施形態に係る撮像装置に、当該固体撮像素子の受光面に被写体像を結像させるためのレンズ群および当該レンズ群を駆動するアクチュエータや、受光素子から出力される電気信号に信号処理を施す信号処理回路を含めてもよい。
本開示の第1の実施形態について説明する。第1の実施形態に係る撮像装置は、2次元格子状に配列された、それぞれ受光した光を光電変換により電気信号に変換する複数の受光素子を含む固体撮像素子と、当該固体撮像素子の固定および受光面の保護のためのガラス基板と、当該ガラス基板に対してキャビティ層(空隙層)を介して配置される赤外線カットフィルタと、を含む。第1の実施形態に係る撮像装置に、当該固体撮像素子の受光面に被写体像を結像させるためのレンズ群および当該レンズ群を駆動するアクチュエータや、受光素子から出力される電気信号に信号処理を施す信号処理回路を含めてもよい。
詳細は後述するが、第1の実施形態に係る撮像装置において、ガラス基板は、板厚が赤外線カットフィルタの板厚よりも薄いものが用いられる。また、ガラス基板は、当該ガラス基板と略同一の屈折率を持つ透明部材(例えば接着剤)にて、固体撮像素子の受光面に対して固着される。
図1Aおよび図1Bは、第1の実施形態に係る撮像装置の構造例を示す図である。図1Aは、第1の実施形態に係る撮像装置1aを、当該撮像装置1aに入射される光の光軸を含む面による断面の例を示す断面図である。また、図1Bは、撮像装置1aを、光の入射方向から見た例を示す上面図である。
図1Aにおいて、撮像装置1aは、レンズ群30aおよびアクチュエータ31を含む光学部2aと、CSP固体撮像素子10、回路基板12、回路基板15、固定部13および赤外線カットフィルタ22を含む素子部3aと、を有する。
光学部2aにおいて、レンズ群30aは、複数枚のレンズを含み、後述する固体撮像素子11の受光面に対して被写体像を結像させる。アクチュエータ31は、レンズ群30aに含まれる所定のレンズを例えばCSP固体撮像素子10に対向する方向に、図1Aにおける上下方向、および、左右方向(および前後方向)に駆動する。これにより、オートフォーカスおよび手ブレ補正機能のうち少なくとも一方の機能が実現される。
なお、アクチュエータ31は、オートフォーカスおよび手振れ補正の何れか一方の機能を有したものでもよいし、オートフォーカスおよび手振れ補正の何れの機能も有しない、単なるレンズホルダでもよい。また、オートフォーカスや手振れ補正に関しては、画像処理などアクチュエータ31以外の手段で実現してもよい。
素子部3aにおいて、CSP固体撮像素子10は、例えばCMOS(Complementary Metal Oxide Semiconductor)を用いたイメージセンサである固体撮像素子11を含み、チップサイズパッケージ(CSP)構造を有する。固体撮像素子11は、これに限らず、CCD(Charge Coupled Device)を用いたイメージセンサであってもよい。
固体撮像素子11は、2次元格子状に配列された複数の受光素子(例えばフォトダイオード)と、各受光素子を駆動するための駆動回路と、を含む。固体撮像素子11は、各受光素子から読み出された信号に対してCDS(Correlated Double Sampling)などの信号処理を施す信号処理回路をさらに含んでもよい。固体撮像素子11において、各受光素子は、光電変換により、入射された光の光量に応じた電荷を発生する。固体撮像素子11は、各受光素子において発生された電荷に対応する電気信号による画素信号を出力する。固体撮像素子11は、CSP固体撮像素子10に設けられる接続部を介して、外部との間で電気的に接続される。
固体撮像素子11は、より詳細には、例えば、各受光素子における、光が入射される入射部に対して、R(赤色)、G(緑色)およびB(青色)の何れかのカラーフィルタが配置され、さらに、カラーフィルタの入射側に、マイクロレンズが配置される。この、マイクロレンズが配置される面を、固体撮像素子11の受光面とする。
CSP固体撮像素子10において、固体撮像素子11の受光面側に、透明なガラス基板20が設けられる。ガラス基板20は、透明部材としての接着剤21により、固体撮像素子11の受光面に接着され、固体撮像素子11に対して固定的に配置される。ガラス基板20は、固体撮像素子11の固定および受光面の保護の機能を有する。ガラス基板20の接着剤21に接する面と反対側の面には、キャビティ層23を介して赤外線カットフィルタ22が配置される。赤外線カットフィルタ22は、赤外波長領域の光をカットするフィルタである。
キャビティ層23は、ガラス基板20の図1Aにおける上部側の面と、当該面に対向する赤外線カットフィルタ22の面との間に形成される空隙層であって、内部には空気が存在する。キャビティ層23の高さは、スペーサ24により形成される。例えば、スペーサ24を赤外線カットフィルタ22上に予め形成し、赤外線カットフィルタ22をスペーサ24を介してガラス基板20上に配置する。これにより、スペーサ24の高さを有するキャビティ層23を形成することができる。スペーサ24は、光の反射を抑制可能な材質により形成すると好ましい。このような材質を実現する材料として、艶消し黒色に着色された合成樹脂などがある。
なお、キャビティ層23は、内部に空気を含むため、熱による空気の膨張に伴う変形などを防止するために、図1Bに通気経路40として例示されるように、外部との通気を可能とするための経路を設けると好ましい。
図2は、第1の実施形態に適用可能な、赤外線カットフィルタ22にスペーサ24を設けた場合の、通気経路40のより具体的な例を示す図である。図2は、赤外線カットフィルタ22をガラス基板20に対向する面から見た様子を示している。図2の例では、赤外線カットフィルタ22の4辺に設けられたスペーサ24の一部に、キャビティ層23と外部とを通じさせる通気経路40’が設けられている。また、通気経路40’は、図2に例示されるように、屈曲した形状とすると、外部からキャビティ層23内部にダストなどが入り込むことが防止され、好ましい。
なお、キャビティ層23の体積が十分小さい場合には、通気経路40’を省略することができる。
固定剤25は、固体撮像素子11と、ガラス基板20と、赤外線カットフィルタ22とを固定する。これにより、固体撮像素子11と、ガラス基板20と、赤外線カットフィルタ22と、が一体的に構成される。すなわち、CSP固体撮像素子10と赤外線カットフィルタ22とが一体的に構成される。さらに、固定剤25は、CSP固体撮像素子10のサイドからの迷光を軽減させる機能を持つ。例えば、固定剤25は、艶消し黒色の合成樹脂、あるいは、艶消し黒色に着色された合成樹脂を用いて形成することができる。
このように、素子部3aにおいては、固体撮像素子11の受光面に対して、接着剤21、ガラス基板20、の順に積層され、さらに、ガラス基板20に対してキャビティ層23を介して赤外線カットフィルタ22が積層される。なお、ガラス基板20、接着剤21および赤外線カットフィルタ22は、略等しい屈折率を持つものを用いる。
ここで、上述したように、ガラス基板20は、赤外線カットフィルタ22よりも薄いものが用いられる。一例として、赤外線カットフィルタ22の板厚が200μm~250μm程度である場合、ガラス基板20の板厚を30μm~110μm程度とする。ガラス基板20の板厚は、10μm~110μm程度であってもよい。また、キャビティ層23の高さすなわちスペーサ24の高さは、特に限定されないが、10μm~数10μm程度とすることが考えられる。
固定部13は、固定剤25を介してCSP固体撮像素子10と赤外線カットフィルタ22とが接続される。これにより、CSP固体撮像素子10と赤外線カットフィルタ22とが固定部13に対して固定される。また、固定部13は、上面部にアクチュエータ31が搭載され、素子部3aに対して光学部2aが固定される。
素子部3aにおいて、回路基板12は、CSP固体撮像素子10が備える接続部と電気的に接続される。また、回路基板12は、固定部13を介して回路基板15と接続され、さらに回路基板15を介してコネクタ16に接続される。コネクタ16は、外部の端子と接続可能とされる。すなわち、固体撮像素子11から出力された画素信号は、回路基板12、固定部13および回路基板15を介してコネクタ16に供給され、外部に出力される。
また、固定部13上には、例えば固体撮像素子11やアクチュエータ31の駆動に必要なコンデンサ、抵抗素子や、アクチュエータ31を制御するための集積回路といった回路部品14が実装される。回路基板12および15は、固定部13を介して、これら回路部品14と接続される。なお、回路基板12は、線膨張率が固体撮像素子11の材質であるシリコンの線膨張率に近い(類似した)材質であることが望ましい。また、回路基板12は、所定の弾性率よりも低い低弾性率の材質であることが望ましい。
図1Bに示すように、固定部13上の所定位置に、位置固定部181、182、183および184が設けられる。位置固定部181~184は、CSP固体撮像素子10を固定部13の開口部の適切な位置に容易に配置可能とするためのものである。すなわち、これら位置固定部181~184は、CSP固体撮像素子10の4箇所の各角部が嵌め込まれる構造とされている。位置固定部181~184により、固定部13に対して固定剤25が注入される前の状態でも、重力の作用により、CSP固体撮像素子10を回路基板12上の適切な位置に誘導し固定することが可能となっている。
なお、位置固定部181~184は、CSP固体撮像素子10が固定部13の開口部の適切な位置に配置された場合に、CSP固体撮像素子10との間に、交差が許容される範囲で、極僅かに隙間が生じるサイズに構成されている。一方で、位置固定部181~184は、CSP固体撮像素子10に反りや歪み、収縮などが生じた場合には、CSP固体撮像素子10に当接して適切な位置に誘導することができる。このように、位置固定部181~184は、CSP固体撮像素子10の反りや歪み、収縮などによる、CSP固体撮像素子10の傾きやずれの発生を防止する構造である。
したがって、CSP固体撮像素子10は、4箇所の角部のそれぞれを位置固定部181~184に合わせて、固定部13に対して嵌め込まれるように載置されることにより、自重による重力の作用を受けて、位置固定部181~184により、回路基板12上の適切な位置に誘導されるように配置することが可能となる。
また、CSP固体撮像素子10は、回路基板12上の適切な位置に誘導されて配置された後、CSP固体撮像素子10と固定部13との間の空間に固定剤25が注入された場合の位置のズレが、位置固定部181~184により抑制される。そのため、固定剤25が乾燥して固着(硬化)するまでの間に固定剤25の変形などが発生した場合であっても、回路基板12に対する、CSP固体撮像素子10の歪み、反り、および傾きの発生を防止することができる。上述したように、固定剤25は、硬化後に反射を抑える目的も有する。そのため、固定剤25は、反射率が所定以下、例えば反射率5%以下のものを使用することが好ましい。
上述したように、第1の実施形態に係る撮像装置1aは、CSP固体撮像素子10の受光面に接着剤21を介してガラス基板20を配置し、さらに、スペーサ24により形成されたキャビティ層23を介して赤外線カットフィルタ22を配置している。そのため、ガラス基板20の板厚を極めて薄く(例えば10μm~数10μm程度)した場合であっても、十分な強度を得ることが可能となる。
次に、ガラス基板20を薄くした場合の効果について説明する。先ず、図3Aおよび図3Bを用いて、ガラス基板20の板厚が厚い場合の例について説明するための図である。図3Aは、固体撮像素子100の受光面101に対して、それぞれ接着剤103を介してガラス基板102aが積層されている様子を模式的に示している。受光面101は、画素毎にマイクロレンズが配置される。
ここで、ガラス基板102aの屈折率nAが例えばnA=1.5であり、接着剤103の屈折率nBも、ガラス基板102aと略等しい屈折率nB=1.5を有するものとする。また、ガラス基板102aの、接着剤103と接していない面は、空気と接している。ここでは、空気の屈折率nAIRを、nAIR=1.0として考える。また、一般的には、固体撮像素子100の屈折率nCは、接着剤103およびガラス基板102aの屈折率nAおよびnBより大きい。例えば、固体撮像素子100の受光面101に配置されるマイクロレンズの屈折率nをn=1.8とすると、この屈折率n=1.8を固体撮像素子100の屈折率nCと見做すことができる。
この場合、図3Aに示されるように、固体撮像素子11に入射される光の光束200は、固体撮像素子11の受光面101において、例えばマイクロレンズに反射される。光束200が受光面101で反射された反射光201aは、接着剤103を透過してガラス基板102aに入射し、ガラス基板102aと空気との境界にて反射される。この反射光202aは、固体撮像素子11の受光面101に到達し、固体撮像素子11に再度入射される。この現象は、一般的に、全反射と称されており、屈折率の高い物質から低い物質へ光が透過する際に発生することは既知である。以降、この空気との境界で反射した反射光202aを、折返し反射光202aと呼ぶ。
図3Bは、図3Aの条件において固体撮像素子100により撮像された撮像画像のイメージを模式的に示す図である。光源からの光線がある面に照射された場合、光源の像が、その面において一定の広がりを有して投影されることが知られている。図3Aの例における光束200は、一定の広がりを有して受光面101に照射され、受光素子に受光される。図3Bに、光束200が直接的に受光素子に受光されて撮像された像210の例を示す。例えば、光束200の光源が点光源であっても、像210は、一定の広がりを有する。
さらに、折返し反射光202aが、光束200が受光面101に入射された位置から、接着剤103およびガラス基板102aの合計の厚みに応じた距離d1だけ離れた位置に照射され、受光素子に受光される。
この距離d1が像210の半径よりも大きい場合、光束200による像210の中心点から距離d1を半径とする円状の像211aとして撮像される。この像211aは、像210に対するフレアあるいはゴーストなどと呼ばれ、固体撮像素子100により撮像される画像の画質を劣化させる要因となる。
図4Aおよび図4Bは、上述した図3Aおよび図3Bと対応する図であって、ガラス基板20の板厚が図3Aの例に比べて薄い場合の例について説明するための図である。なお、図4Aにおいて、ガラス基板102b、接着剤103および固体撮像素子100の屈折率は、図3Aを用いて説明したガラス基板102a、接着剤103および固体撮像素子100の屈折率nA、nBおよびnCと同一であるものとする。また、接着剤103の厚みは、図3Aの例と図4Aの例とで同一であるものとする。
図4Aにおいて、ガラス基板102bの板厚が図3Aのガラス基板102aの板厚よりも薄い場合、光束200の折返し反射光202bが受光面101に照射される位置と、光束200が受光面101に入射された位置との距離d2が、上述した距離d1より小さくなる。ここで、ガラス基板102bと接着剤103とを合わせた厚みが所定以下の場合、図4Bに例示されるように、折返し反射光202bによる像211bが光束200による像210の範囲内に入る。すなわち、ガラス基板102bおよび接着剤103の厚みをある程度以上薄くすることで、固体撮像素子100により撮像された画像において発生するフレアやゴーストを抑制することができ、撮像画質の向上が期待できる。
しかしながら、固体撮像素子100に配置するガラス基板102bおよび接着剤103の厚みを薄くすると、当該固体撮像素子100の強度が低くなり、当該固体撮像素子100がCSP固体撮像素子に含まれる場合、そのCSP固体撮像素子全体の強度が低くなる。この場合、例えば、当該固体撮像素子100を含むCSP固体撮像素子を用いた装置において、例えば落下試験などの信頼性試験で良好な結果を得ることが難しくなる。
これに対して、第1の実施形態に係る撮像装置1aは、図1Aを用いて説明したように、ガラス基板20に対してキャビティ層23を介して赤外線カットフィルタ22を配置するようにしている。固体撮像素子11の受光面に入射し、当該受光面で反射した光は、ガラス基板20とキャビティ層23との境界でさらに反射し、折返し反射光として固体撮像素子11の受光面に入射される。
ここで、第1の実施形態に係る撮像装置1aは、ガラス基板20と、キャビティ層23を形成するためのスペーサ24と、赤外線カットフィルタ22とを固定剤25で固定している。そのため、ガラス基板20の板厚を例えば数10μmと薄くした場合であっても、撮像装置1aの素子部3a全体の強度を確保することが可能である。したがって、ガラス基板20の板厚を十分薄くすることができ、折返し反射光によるフレアやゴーストの発生を抑制することが可能である。
[第1の実施形態の変形例]
次に、第1の実施形態の変形例について説明する。第1の実施形態の変形例は、ガラス基板20と赤外線カットフィルタ22との間のキャビティ層23を、スペーサ24を用いずに形成する場合の例である。図5は、第1の実施形態の変形例に係る撮像装置の一例の構造を示す図である。図5は、当該撮像装置に入射される光の光軸を含む面による断面の例を示している。
次に、第1の実施形態の変形例について説明する。第1の実施形態の変形例は、ガラス基板20と赤外線カットフィルタ22との間のキャビティ層23を、スペーサ24を用いずに形成する場合の例である。図5は、第1の実施形態の変形例に係る撮像装置の一例の構造を示す図である。図5は、当該撮像装置に入射される光の光軸を含む面による断面の例を示している。
図5に示される撮像装置1bの素子部3bにおいて、赤外線カットフィルタ22は、CSP固体撮像素子10に対して、フィルタ固定用樹脂26を用いて、CSP固体撮像素子10に配置されるガラス基板20に対して所定の距離を保って固定される。フィルタ固定用樹脂26は、例えば艶消し黒色などで着色された、光の反射を抑制可能なものを用いる。また、フィルタ固定用樹脂26は、硬化した固定剤25に対して十分な強さで固着可能なものを用いる。
例えば、CSP固体撮像素子10の外周に対して、フィルタ固定用樹脂26を塗布する。塗布したフィルタ固定用樹脂26が硬化していない状態で、赤外線カットフィルタ22を、4辺がフィルタ固定用樹脂26に隙間無く接するように、CSP固体撮像素子10上に配置する。フィルタ固定用樹脂26が硬化することで、赤外線カットフィルタ22がCSP固体撮像素子10に対して固定される。これにより、CSP固体撮像素子10に配置されるガラス基板20と、赤外線カットフィルタ22との間に、フィルタ固定用樹脂26の塗布状態に応じた高さのキャビティ層23が形成される。
この第1の実施形態の変形例においても、上述した第1の実施形態と同様に、赤外線カットフィルタ22を、ガラス基板20を含むCSP固体撮像素子10に対してフィルタ固定用樹脂26を用いて固定している。そのため、ガラス基板20の板厚を例えば数10μmと薄くした場合であっても、撮像装置1aの素子部3a全体の強度を確保することが可能である。したがって、ガラス基板20の板厚を十分薄くすることができ、折返し反射光によるフレアやゴーストの発生を抑制することが可能である。
[第2の実施形態]
次に、第2の実施形態について説明する。第2の実施形態は、図1を用いて説明した第1の実施形態に係る撮像装置1aにおけるレンズ群30aを、当該レンズ群30aに含まれる最下層のレンズと、他のレンズとによる2群に分離し、当該最下層のレンズを、赤外線カットフィルタ22上に配置する例である。ここで、最下層のレンズとは、レンズ群30aに含まれる複数のレンズのうち、CSP固体撮像素子10に最も近い位置に配置されるレンズを指す。
次に、第2の実施形態について説明する。第2の実施形態は、図1を用いて説明した第1の実施形態に係る撮像装置1aにおけるレンズ群30aを、当該レンズ群30aに含まれる最下層のレンズと、他のレンズとによる2群に分離し、当該最下層のレンズを、赤外線カットフィルタ22上に配置する例である。ここで、最下層のレンズとは、レンズ群30aに含まれる複数のレンズのうち、CSP固体撮像素子10に最も近い位置に配置されるレンズを指す。
図6は、第2の実施形態に係る撮像装置の一例の構造を示す図である。図6は、当該撮像装置に入射される光の光軸を含む面による断面の例を示している。図6に示される撮像装置1cは、素子部3cにおいて、赤外線カットフィルタ22上に、被写体像を受光面に結像させるためのレンズ群を構成する最下層のレンズ32が配置されている。すなわち、光学部2bにおいて、レンズ群30bは、図1のレンズ群30aの最下層のレンズ32を除いた各レンズを含むことになる。レンズ32は、赤外線カットフィルタ22に対して例えば透明な接着剤により接着され固定される。
第2の実施形態に係る撮像装置1cは、図1を用いて説明した第1の実施形態に係る撮像装置1aと同様に、ガラス基板20と、キャビティ層23を形成するためのスペーサ24と、赤外線カットフィルタ22とを固定剤25で固定している。そのため、素子部3c全体の強度を確保しつつガラス基板20の板厚を薄くすることができ、折返し反射光によるフレアやゴーストの発生を抑制することが可能である。
さらに、第2の実施形態に係る撮像装置1cは、赤外線カットフィルタ22に対してレンズ32を固定している。そのため、第1の実施形態に係る撮像装置1aおよびその変形例による撮像装置1bと比べて、さらに強度を持たせることが可能である。そのため、ガラス基板20の板厚をより薄くして折返し反射光によるフレアやゴーストの発生をより効果的に抑制することが可能である。
[第2の実施形態の第1の変形例]
次に、第2の実施形態の第1の変形例について説明する。第2の実施形態の第1の変形例は、図1を用いて説明した第1の実施形態に係る撮像装置1aにおけるレンズ群30aを、上層側(被写体からの光が入射される側)の複数枚のレンズからなるレンズ群30cと、下層側の複数枚のレンズからなるレンズ群30dとに分離し、レンズ群30dを、赤外線カットフィルタ22上に配置する例である。
次に、第2の実施形態の第1の変形例について説明する。第2の実施形態の第1の変形例は、図1を用いて説明した第1の実施形態に係る撮像装置1aにおけるレンズ群30aを、上層側(被写体からの光が入射される側)の複数枚のレンズからなるレンズ群30cと、下層側の複数枚のレンズからなるレンズ群30dとに分離し、レンズ群30dを、赤外線カットフィルタ22上に配置する例である。
図7は、第2の実施形態の第1の変形例に係る撮像装置の一例の構造を示す図である。図7は、当該撮像装置に入射される光の光軸を含む面による断面の例を示している。図7に示される撮像装置1dは、被写体像を固体撮像素子11の受光面に結像させるためのレンズ群が、それぞれ複数枚のレンズを含むレンズ群30cと、レンズ群30dとに分離されて構成されている。レンズ群30cは、光学部2cに含まれ、アクチュエータ31により駆動されて、オートフォーカスや手ブレ補正の機能を実現する。
レンズ群30dは、素子部3dに含まれ、図7の例では、レンズ群全体における最下層のレンズ32と、一つ上層のレンズ33とを含んで構成される。これらレンズ32および33は、上述のオートフォーカスや手ブレ補正の機能には直接的には関与しない、固定レンズである。レンズ32およびレンズ33は、例えば透明な接着剤にて接着されて一体的な構造とされ、さらに、レンズ32は、赤外線カットフィルタ22に対して透明な接着剤により接着されて固定される。
第2の実施形態の第1の変形例に係る撮像装置1dは、図1を用いて説明した第1の実施形態に係る撮像装置1aと同様に、ガラス基板20と、キャビティ層23を形成するためのスペーサ24と、赤外線カットフィルタ22とを固定剤25で固定している。さらに、第2の実施形態の第1の変形例に係る撮像装置1dは、赤外線カットフィルタ22に対して、一体的に構成されたレンズ32および33を固定している。そのため、上述した第2の実施形態に係る撮像装置1cと比べて、さらに強度を持たせることが可能であり、ガラス基板20の板厚をより薄くして折返し反射光によるフレアやゴーストの発生をより効果的に抑制することが可能である。
[第2の実施形態の第2の変形例]
次に、第2の実施形態の第2の変形例について説明する。第2の実施形態の第2の変形例は、図7を用いて説明した第2の実施形態の第1の変形例に係る撮像装置1dの構造に対して、素子部3dに含まれる、光学部2cのレンズ群30cから光が直接的に入射されるレンズ33に対して、遮光マスクを設けた例である。
次に、第2の実施形態の第2の変形例について説明する。第2の実施形態の第2の変形例は、図7を用いて説明した第2の実施形態の第1の変形例に係る撮像装置1dの構造に対して、素子部3dに含まれる、光学部2cのレンズ群30cから光が直接的に入射されるレンズ33に対して、遮光マスクを設けた例である。
図8は、第2の実施形態の第2の変形例に係る撮像装置の一例の構造を示す図である。図8は、当該撮像装置に入射される光の光軸を含む面による断面の例を示している。図8において、第2の実施形態の第2の変形例に係る撮像装置1eは、図7を用いて説明した撮像装置1dと同様に、被写体像を固体撮像素子11の受光面に結像させるためのレンズ群を分離させた上層側のレンズ群30cが光学部2cに含まれる。また、素子部3eは、当該レンズ群の下層側のレンズ群30dが含まれている。下層側のレンズ群30dは、赤外線カットフィルタ22に接着され固定される、最下層のレンズ32と、当該レンズ32に接着され固定されるレンズ33と、を含む。これに限らず、図6を用いて説明した第2の実施形態に係る撮像装置1cと同様に、素子部3eがレンズ群の最下層のレンズ32のみを含む構成でもよい。
ここで、レンズ群30cに入射された光は、例えば、レンズ群30cの最上層のレンズ34の中心に対して角度αで示す範囲内においてレンズ群30cから射出され、レンズ群30dに入射されるものとする。この場合、レンズ群30dの最上層のレンズ33において、この角度αにてレンズ群30cから光が照射される範囲の外側の光は、固体撮像素子11での受光に際して不要な光であるといえる。したがって、この範囲の外側の光が固体撮像素子11に入射されないように遮光することが好ましい。
第2の実施形態の第2の変形例では、固体撮像素子11と、ガラス基板20と、キャビティ層23を形成するためのスペーサ24と、レンズ群30dとを固定する固定剤25を、レンズ群30dにおける入射面となる最上層のレンズ33の上面まで延長させて塗布することで、レンズ33に対する遮光マスク51を形成する。より具体的には、固定剤25を、レンズ33の周辺から、レンズ33に対してレンズ群30cから光が照射される範囲の境界付近まで延長させて塗布する。これにより、固体撮像素子11に対する余分な光の入射が抑制され、固体撮像素子11により撮像される画像の高画質化が可能となる。
また、第2の実施形態の第2の変形例に係る撮像装置1eは、図7を用いて説明した第2の実施形態の第1の変形例に係る撮像装置1dと同様に、赤外線カットフィルタ22に対して、一体的に構成されたレンズ32および33を固定している。そのため、上述した第2の実施形態に係る撮像装置1cと比べて、さらに強度を持たせることが可能であり、ガラス基板20の板厚をより薄くして折返し反射光によるフレアやゴーストの発生をより効果的に抑制することが可能である。
[第3の実施形態]
次に、第3の実施形態について説明する。第3の実施形態は、上述した第1の実施形態およびその変形例、ならびに、第2の実施形態およびその各変形例に係る撮像装置1a~1eの何れかを、電子機器に適用した例である。以下では、特に記載の無い限り、撮像装置1aを適用した例として説明を行う。
次に、第3の実施形態について説明する。第3の実施形態は、上述した第1の実施形態およびその変形例、ならびに、第2の実施形態およびその各変形例に係る撮像装置1a~1eの何れかを、電子機器に適用した例である。以下では、特に記載の無い限り、撮像装置1aを適用した例として説明を行う。
図9は、第3の実施形態に適用可能な電子機器としての端末装置300の一例の構成を示すブロック図である。端末装置300は、例えば多機能型携帯電話端末(スマートフォン)であり、撮像機能を備える。端末装置300は、撮像機能を備え、携帯容易に構成された電子機器であればタブレット型パーソナルコンピュータなど他の電子機器を適用してもよい。
図9の例では、端末装置300は、光学系310と、シャッタ装置311と、固体撮像素子312と、信号処理部313と、ディスプレイ314と、メモリ315と、駆動部316と、を含む。端末装置300は、さらに、制御部320と、入力デバイス321と、通信I/F322と、を含む。
制御部320は、CPU(Central Processing Unit)と、ROM(Read Only Memory)およびRAM(Random Access Memory)とを含む。制御部320は、ROMに予め記憶されたプログラムに従い、RAMをワークメモリとして用いて動作するCPUにより、この端末装置300の全体の動作を制御する。入力デバイス321は、ユーザ操作を受け付け、受け付けたユーザ操作に応じた制御信号を制御部320に送る。通信I/F322は、制御部320の制御に従い、所定のプロトコルに従い、例えば無線通信により外部との通信を行う。
光学系310は、上述した光学部2aに対応し、1枚または複数枚のレンズを含むレンズ群30を有して構成され、被写体からの光(入射光)を固体撮像素子312に導き、固体撮像素子312の受光面に結像させる。また、光学系310、上述したアクチュエータ31を含むことができる。シャッタ装置311は、光学系310および固体撮像素子312の間に配置され、制御部320の制御に従って、固体撮像素子312への光照射期間および遮光期間を制御する。
固体撮像素子312は、上述したCSP固体撮像素子10に対応し、光学系310およびシャッタ装置311を介して固体撮像素子11受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子312に蓄積された信号電荷は、駆動部316から供給される駆動信号(タイミング信号)に従って転送される。
駆動部316は、制御部320の制御に従い、固体撮像素子312の転送動作、および、シャッタ装置311のシャッタ動作を制御する駆動信号を出力して、固体撮像素子312およびシャッタ装置311を駆動する。
信号処理部313は、制御部320の制御に従い、固体撮像素子312から出力された信号電荷に対してCDSなど各種の信号処理を施し、当該信号電荷に応じた画像データを生成する。また、信号処理部313は、制御部320の制御に従い、信号処理を施すことにより得た画像データのディスプレイ314への表示、および、メモリ315への記憶を行うことができる。
制御部320は、入力デバイス321に対するユーザ操作に応じて、メモリ315に記憶される画像データを、通信I/F322により外部に送信することができる。
このように構成された端末装置300は、光学系310および固体撮像素子312として、上述した撮像装置1a~1eを適用することで、固体撮像素子312の強度を確保しつつ、固体撮像素子312に用いられるガラス基板20の板厚を薄くすることができる。したがって、固体撮像素子312において撮像され信号処理部313により信号処理されて得られた画像データにおけるフレアやゴーストが抑制され、画像データの高画質化が可能である。
[第4の実施形態]
次に、第4の実施形態として、本開示に係る、第1の実施形態、ならびに、第2の実施形態およびその各変形例による撮像装置1a~1eの適用例について説明する。図10は、上述の第1の実施形態、ならびに、第2の実施形態およびその各変形例に係る撮像装置1a~1eを使用する使用例を示す図である。
次に、第4の実施形態として、本開示に係る、第1の実施形態、ならびに、第2の実施形態およびその各変形例による撮像装置1a~1eの適用例について説明する。図10は、上述の第1の実施形態、ならびに、第2の実施形態およびその各変形例に係る撮像装置1a~1eを使用する使用例を示す図である。
上述した各撮像装置1a~1eは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
[本開示に係る技術のさらなる適用例]
本開示に係る技術(本技術)は、様々な製品へ適用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術(本技術)は、様々な製品へ適用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
(体内情報取得システムへの適用例)
図11は、本開示に係る技術(本技術)が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
図11は、本開示に係る技術(本技術)が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
体内情報取得システム10001は、カプセル型内視鏡10100と、外部制御装置10200とから構成される。
カプセル型内視鏡10100は、検査時に、患者によって飲み込まれる。カプセル型内視鏡10100は、撮像機能および無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像(以下、体内画像ともいう)を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置10200に順次無線送信する。
外部制御装置10200は、体内情報取得システム10001の動作を統括的に制御する。また、外部制御装置10200は、カプセル型内視鏡10100から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置(図示しない)に当該体内画像を表示するための画像データを生成する。
体内情報取得システム10001では、このようにして、カプセル型内視鏡10100が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。
カプセル型内視鏡10100と外部制御装置10200の構成および機能についてより詳細に説明する。
カプセル型内視鏡10100は、カプセル型の筐体10101を有し、その筐体10101内には、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、給電部10115、電源部10116、および制御部10117が収納されている。
光源部10111は、例えばLED(Light Emitting Diode)等の光源から構成され、撮像部10112の撮像視野に対して光を照射する。
撮像部10112は、撮像素子、および当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光(以下、観察光という)は、当該光学系によって集光され、当該撮像素子に入射する。撮像部10112では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部10112によって生成された画像信号は、画像処理部10113に提供される。
画像処理部10113は、CPUやGPU(Graphics Processing Unit)等のプロセッサによって構成され、撮像部10112によって生成された画像信号に対して各種の信号処理を行う。画像処理部10113は、信号処理を施した画像信号を、RAWデータとして無線通信部10114に提供する。
無線通信部10114は、画像処理部10113によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ10114Aを介して外部制御装置10200に送信する。また、無線通信部10114は、外部制御装置10200から、カプセル型内視鏡10100の駆動制御に関する制御信号を、アンテナ10114Aを介して受信する。無線通信部10114は、外部制御装置10200から受信した制御信号を制御部10117に提供する。
給電部10115は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、および昇圧回路等から構成される。給電部10115では、いわゆる非接触充電の原理を用いて電力が生成される。
電源部10116は、二次電池によって構成され、給電部10115によって生成された電力を蓄電する。図11では、図面が煩雑になることを避けるために、電源部10116からの電力の供給先を示す矢印等の図示を省略しているが、電源部10116に蓄電された電力は、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、および制御部10117に供給され、これらの駆動に用いられ得る。
制御部10117は、CPU等のプロセッサによって構成され、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、および、給電部10115の駆動を、外部制御装置10200から送信される制御信号に従って適宜制御する。
外部制御装置10200は、CPU、GPU等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置10200は、カプセル型内視鏡10100の制御部10117に対して制御信号を、アンテナ10200Aを介して送信することにより、カプセル型内視鏡10100の動作を制御する。カプセル型内視鏡10100では、例えば、外部制御装置10200からの制御信号により、光源部10111における観察対象に対する光の照射条件が変更され得る。また、外部制御装置10200からの制御信号により、撮像条件(例えば、撮像部10112におけるフレームレート、露出値等)が変更され得る。また、外部制御装置10200からの制御信号により、画像処理部10113における処理の内容や、無線通信部10114が画像信号を送信する条件(例えば、送信間隔、送信画像数等)が変更されてもよい。
また、外部制御装置10200は、カプセル型内視鏡10100から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、ノイズリダクション処理、手ブレ補正処理等)、拡大処理(電子ズーム処理)等、それぞれ単独で、あるいは、組み合わせて、各種の信号処理を行うことができる。外部制御装置10200は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置10200は、生成した画像データを記録装置(図示しない)に記録させたり、印刷装置(図示しない)に印刷出力させてもよい。
以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部10112に適用され得る。具体的には、上述した各撮像装置1a~1eにおける、CSP固体撮像素子10および赤外線カットフィルタ22を含む構成は、撮像部10112に適用することができる。撮像部10112に本開示に係る技術を適用することにより、固体撮像素子11の入射光の入射位置と、全反射による折返し反射光の入射位置とのずれを、固体撮像素子11の受光面内において略一定にすることができる。そのため、例えば外部制御装置10200において実行される画像処理などに係る負荷を低減させることが可能となる。
(内視鏡手術システムへの適用例)
本開示に係る技術は、さらに、内視鏡手術システムに適用されてもよい。図12は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
本開示に係る技術は、さらに、内視鏡手術システムに適用されてもよい。図12は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図12では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系および撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてCCU(カメラコントロールユニット)11201に送信される。
CCU11201は、CPUやGPU等によって構成され、内視鏡11100および表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率および焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保および術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度および出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれおよび白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光および/又は励起光を供給可能に構成され得る。
図13は、図12に示すカメラヘッド11102およびCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズおよびフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用および左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率および焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率および焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能およびAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、および、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102およびCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図13の例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡11100や、カメラヘッド11102の撮像部11402に適用され得る。具体的には、上述した各撮像装置1a~1eにおける、CSP固体撮像素子10および赤外線カットフィルタ22を含む構成は、撮像部10402に適用することができる。撮像部11402に本開示に係る技術を適用することにより、固体撮像素子11の入射光の入射位置と、全反射による折返し反射光の入射位置とのずれを、固体撮像素子1の撮像面内においてほぼ一定にすることができるので、例えばCCU11201における画像処理に係る負荷を低減させることが可能となる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
(移動体への適用例)
本開示に係る技術は、さらに自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
本開示に係る技術は、さらに自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
図14は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図14に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、および統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、および車載ネットワークI/F(インタフェース)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット12030は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図14の例では、出力装置として、オーディオスピーカ12061、表示部12062およびインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図15は、撮像部12031の設置位置の例を示す図である。図15では、車両12100は、撮像部12031として、撮像部12101、12102、12103、12104および12105を有する。
撮像部12101、12102、12103、12104および12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101および車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101および12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図15には、撮像部12101~12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112および12113は、それぞれサイドミラーに設けられた撮像部12102および12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101~12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101~12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101~12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101~12104から得られた距離情報を基に、撮像範囲12111~12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101~12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101~12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101~12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101~12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101~12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、上述した各撮像装置1a~1eにおける、CSP固体撮像素子10および赤外線カットフィルタ22を含む構成は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、固体撮像素子11の入射光の入射位置と、全反射による折返し反射光の入射位置とのずれを、固体撮像素子11の撮像面内において略一定にすることができる。そのため、例えば車外情報検出ユニット12030における画像処理などに係る負荷を低減させることが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
受光素子が2次元格子状に配列されて受光面が形成される固体撮像素子と、
前記固体撮像素子の前記受光面に配置されるガラス基板と、
前記ガラス基板の、前記受光面の側に向いた第1の面と反対側の第2の面に対してキャビティ層を介して配置される赤外線カットフィルタと、
を備える撮像装置。
(2)
前記ガラス基板の板厚が前記赤外線カットフィルタの板厚よりも薄い
前記(1)に記載の撮像装置。
(3)
前記赤外線カットフィルタと前記ガラス基板の前記第2の面との間に設けられる、前記キャビティ層を形成するためのスペーサをさらに備え、
前記スペーサは、
光の反射を抑制可能な材質を用いて形成される
前記(1)または(2)に記載の撮像装置。
(4)
前記スペーサは、
前記キャビティ層の内部と外部とを通じさせるための通気経路を有する
前記(3)に記載の撮像装置。
(5)
前記固体撮像素子と、前記ガラス基板と、前記赤外線カットフィルタとが、光の反射を抑制可能な固定剤を用いて固定される
前記(1)乃至(4)の何れかに記載の撮像装置。
(6)
前記ガラス基板は、前記受光面に対して透明部材を介して配置される
前記(1)乃至(5)の何れかに記載の撮像装置。
(7)
前記赤外線カットフィルタ上に、被写体像を前記受光面に結像させるレンズ群に含まれるレンズのうち1以上のレンズが固定して配置される
前記(1)乃至(6)の何れかに記載の撮像装置。
(8)
前記1以上のレンズの入射面に、前記レンズ群から入射された光が該入射面に照射される範囲の外の光を遮光可能な遮光マスクをさらに備える
前記(7)に記載の撮像装置。
(9)
前記遮光マスクは、
前記固体撮像素子と、前記ガラス基板と、前記赤外線カットフィルタとを固定する固定剤を前記入射面に延長させて形成される
前記(8)に記載の撮像装置。
(1)
受光素子が2次元格子状に配列されて受光面が形成される固体撮像素子と、
前記固体撮像素子の前記受光面に配置されるガラス基板と、
前記ガラス基板の、前記受光面の側に向いた第1の面と反対側の第2の面に対してキャビティ層を介して配置される赤外線カットフィルタと、
を備える撮像装置。
(2)
前記ガラス基板の板厚が前記赤外線カットフィルタの板厚よりも薄い
前記(1)に記載の撮像装置。
(3)
前記赤外線カットフィルタと前記ガラス基板の前記第2の面との間に設けられる、前記キャビティ層を形成するためのスペーサをさらに備え、
前記スペーサは、
光の反射を抑制可能な材質を用いて形成される
前記(1)または(2)に記載の撮像装置。
(4)
前記スペーサは、
前記キャビティ層の内部と外部とを通じさせるための通気経路を有する
前記(3)に記載の撮像装置。
(5)
前記固体撮像素子と、前記ガラス基板と、前記赤外線カットフィルタとが、光の反射を抑制可能な固定剤を用いて固定される
前記(1)乃至(4)の何れかに記載の撮像装置。
(6)
前記ガラス基板は、前記受光面に対して透明部材を介して配置される
前記(1)乃至(5)の何れかに記載の撮像装置。
(7)
前記赤外線カットフィルタ上に、被写体像を前記受光面に結像させるレンズ群に含まれるレンズのうち1以上のレンズが固定して配置される
前記(1)乃至(6)の何れかに記載の撮像装置。
(8)
前記1以上のレンズの入射面に、前記レンズ群から入射された光が該入射面に照射される範囲の外の光を遮光可能な遮光マスクをさらに備える
前記(7)に記載の撮像装置。
(9)
前記遮光マスクは、
前記固体撮像素子と、前記ガラス基板と、前記赤外線カットフィルタとを固定する固定剤を前記入射面に延長させて形成される
前記(8)に記載の撮像装置。
1a,1b,1c,1d,1e 撮像装置
2a,2b,2c 光学部
3a,3b,3c,3d,3e 素子部
10 CSP固体撮像素子
11,100,312 固体撮像素子
20,102a,102b ガラス基板
21,103 接着剤
22 赤外線カットフィルタ
23 キャビティ層
24 スペーサ
25 固定剤
30a,30b,30c,30d レンズ群
32,33,34 レンズ
40,40’ 通気経路
51 遮光マスク
101 受光面
300 端末装置
313 信号処理部
315 メモリ
320 制御部
2a,2b,2c 光学部
3a,3b,3c,3d,3e 素子部
10 CSP固体撮像素子
11,100,312 固体撮像素子
20,102a,102b ガラス基板
21,103 接着剤
22 赤外線カットフィルタ
23 キャビティ層
24 スペーサ
25 固定剤
30a,30b,30c,30d レンズ群
32,33,34 レンズ
40,40’ 通気経路
51 遮光マスク
101 受光面
300 端末装置
313 信号処理部
315 メモリ
320 制御部
Claims (9)
- 受光素子が2次元格子状に配列されて受光面が形成される固体撮像素子と、
前記固体撮像素子の前記受光面に配置されるガラス基板と、
前記ガラス基板の、前記受光面の側に向いた第1の面と反対側の第2の面に対してキャビティ層を介して配置される赤外線カットフィルタと、
を備える撮像装置。 - 前記ガラス基板の板厚が前記赤外線カットフィルタの板厚よりも薄い
請求項1に記載の撮像装置。 - 前記赤外線カットフィルタと前記ガラス基板の前記第2の面との間に設けられる、前記キャビティ層を形成するためのスペーサをさらに備え、
前記スペーサは、
光の反射を抑制可能な材質を用いて形成される
請求項1に記載の撮像装置。 - 前記スペーサは、
前記キャビティ層の内部と外部とを通じさせるための通気経路を有する
請求項3に記載の撮像装置。 - 前記固体撮像素子と、前記ガラス基板と、前記赤外線カットフィルタとが、光の反射を抑制可能な固定剤を用いて固定される
請求項1に記載の撮像装置。 - 前記ガラス基板は、前記受光面に対して透明部材を介して配置される
請求項1に記載の撮像装置。 - 前記赤外線カットフィルタ上に、被写体像を前記受光面に結像させるレンズ群に含まれるレンズのうち1以上のレンズが固定して配置される
請求項1に記載の撮像装置。 - 前記1以上のレンズの入射面に、前記レンズ群から入射された光が該入射面に照射される範囲の外の光を遮光可能な遮光マスクをさらに備える
請求項7に記載の撮像装置。 - 前記遮光マスクは、
前記固体撮像素子と、前記ガラス基板と、前記赤外線カットフィルタとを固定する固定剤を前記入射面に延長させて形成される
請求項8に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/285,550 US12040338B2 (en) | 2018-10-24 | 2019-09-20 | Imaging apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-200401 | 2018-10-24 | ||
JP2018200401A JP2020068302A (ja) | 2018-10-24 | 2018-10-24 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020084973A1 true WO2020084973A1 (ja) | 2020-04-30 |
Family
ID=70331395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/036933 WO2020084973A1 (ja) | 2018-10-24 | 2019-09-20 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US12040338B2 (ja) |
JP (1) | JP2020068302A (ja) |
WO (1) | WO2020084973A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111641762B (zh) * | 2020-05-28 | 2021-11-02 | 维沃移动通信有限公司 | 摄像模组及电子设备 |
CN111885288B (zh) * | 2020-07-29 | 2022-01-21 | 中科振华科技发展有限公司 | 一种具有散热功能的监控设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233262A (ja) * | 2006-03-03 | 2007-09-13 | Konica Minolta Opto Inc | 撮像装置及び携帯端末 |
JP2008117919A (ja) * | 2006-11-02 | 2008-05-22 | Toppan Printing Co Ltd | 固体撮像装置及びその製造方法 |
JP2009193986A (ja) * | 2008-02-12 | 2009-08-27 | Sony Corp | 半導体装置及びその製造方法 |
JP2012134742A (ja) * | 2010-12-21 | 2012-07-12 | Toshiba Corp | カメラモジュール |
JP2018085353A (ja) * | 2015-03-24 | 2018-05-31 | ソニー株式会社 | 固体撮像装置、固体撮像装置の製造方法、及び、電子機器 |
JP2018110302A (ja) * | 2016-12-28 | 2018-07-12 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像装置の製造方法、並びに、電子機器 |
JP2019047237A (ja) * | 2017-08-31 | 2019-03-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および電子機器、並びに撮像装置の製造方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100994845B1 (ko) | 2006-11-02 | 2010-11-16 | 도판 인사츠 가부시키가이샤 | 고체 촬상 장치 및 그 제조 방법 |
JP5061579B2 (ja) | 2006-11-02 | 2012-10-31 | 凸版印刷株式会社 | 固体撮像装置及びその製造方法 |
JP5671684B2 (ja) * | 2009-08-31 | 2015-02-18 | パナソニックIpマネジメント株式会社 | レンズ鏡筒、撮像装置および携帯端末装置 |
JP2011145374A (ja) * | 2010-01-13 | 2011-07-28 | Panasonic Corp | プラスチックレンズ、撮影レンズ、撮像装置及び携帯機器 |
KR101672737B1 (ko) * | 2010-01-21 | 2016-11-04 | 삼성전자 주식회사 | 이미지 센서 및 상기 이미지 센서를 포함하는 영상 장치 |
JP6163398B2 (ja) | 2013-09-18 | 2017-07-12 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子、製造装置、製造方法 |
-
2018
- 2018-10-24 JP JP2018200401A patent/JP2020068302A/ja active Pending
-
2019
- 2019-09-20 US US17/285,550 patent/US12040338B2/en active Active
- 2019-09-20 WO PCT/JP2019/036933 patent/WO2020084973A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233262A (ja) * | 2006-03-03 | 2007-09-13 | Konica Minolta Opto Inc | 撮像装置及び携帯端末 |
JP2008117919A (ja) * | 2006-11-02 | 2008-05-22 | Toppan Printing Co Ltd | 固体撮像装置及びその製造方法 |
JP2009193986A (ja) * | 2008-02-12 | 2009-08-27 | Sony Corp | 半導体装置及びその製造方法 |
JP2012134742A (ja) * | 2010-12-21 | 2012-07-12 | Toshiba Corp | カメラモジュール |
JP2018085353A (ja) * | 2015-03-24 | 2018-05-31 | ソニー株式会社 | 固体撮像装置、固体撮像装置の製造方法、及び、電子機器 |
JP2018110302A (ja) * | 2016-12-28 | 2018-07-12 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像装置の製造方法、並びに、電子機器 |
JP2019047237A (ja) * | 2017-08-31 | 2019-03-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および電子機器、並びに撮像装置の製造方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020068302A (ja) | 2020-04-30 |
US20210384245A1 (en) | 2021-12-09 |
US12040338B2 (en) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7449317B2 (ja) | 撮像装置 | |
US11670656B2 (en) | Imaging element, fabrication method, and electronic equipment | |
JP7146376B2 (ja) | 撮像装置、および電子機器 | |
JP2018200423A (ja) | 撮像装置、および電子機器 | |
WO2020230675A1 (ja) | 撮像素子および電子機器 | |
WO2018159344A1 (ja) | 固体撮像素子、電子機器、および半導体装置 | |
WO2017169889A1 (ja) | カメラモジュール、およびカメラモジュールの製造方法、撮像装置、および電子機器 | |
WO2021131904A1 (ja) | 撮像装置および撮像装置の製造方法 | |
JP7237595B2 (ja) | 撮像素子、製造方法、および電子機器 | |
JP6869717B2 (ja) | 撮像装置および撮像装置の製造方法、並びに、電子機器 | |
WO2019171879A1 (ja) | 撮像装置 | |
US11553118B2 (en) | Imaging apparatus, manufacturing method therefor, and electronic apparatus | |
WO2020084973A1 (ja) | 撮像装置 | |
WO2017169822A1 (ja) | 固体撮像素子、撮像装置、内視鏡装置、および電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19876061 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19876061 Country of ref document: EP Kind code of ref document: A1 |