WO2019146275A1 - 撮像装置、及び、電子機器 - Google Patents

撮像装置、及び、電子機器 Download PDF

Info

Publication number
WO2019146275A1
WO2019146275A1 PCT/JP2018/045092 JP2018045092W WO2019146275A1 WO 2019146275 A1 WO2019146275 A1 WO 2019146275A1 JP 2018045092 W JP2018045092 W JP 2018045092W WO 2019146275 A1 WO2019146275 A1 WO 2019146275A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
lens
beam splitter
image
imaging device
Prior art date
Application number
PCT/JP2018/045092
Other languages
English (en)
French (fr)
Inventor
典宏 田部
宜邦 野村
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/961,521 priority Critical patent/US20200358933A1/en
Priority to CN201880086877.3A priority patent/CN111630452B/zh
Publication of WO2019146275A1 publication Critical patent/WO2019146275A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective

Definitions

  • the present disclosure relates to an imaging device and an electronic device.
  • the first imaging unit including the first imaging element SA and the lens LA and the second imaging unit including the second imaging element SB and the lens LB are disposed side by side in a state of being separated by a distance D
  • D It is a schematic diagram for demonstrating the image formation state of an imaging device.
  • the incident angle of view changes according to the distance to the object OBJ 1 on the far side and the distance to the object OBJ 2 on the near side, and as a result Misalignment occurs in the position.
  • the pair of imaging units are arranged side by side, parallax occurs between the images, and a difference also occurs in a state in which the subject in front of the subject hides the subject behind it (so-called occlusion). These effects cause spatial displacement between the images.
  • Patent Document 1 discloses an imaging apparatus having a compound eye configuration capable of reducing the displacement between images caused by the parallax and the occlusion described above.
  • the basic structure of this imaging device will be described with reference to FIG.
  • the imaging apparatus includes a beam splitter BS, a reflection mirror ML, an imaging device SA and a lens LA, and an imaging device SB and a lens LB.
  • a part of incident light to the beam splitter BS is reflected by the reflecting surface RS to be incident on the imaging element SA and the lens LA.
  • the light transmitted through the beam splitter BS is incident again on the beam splitter BS by the reflection mirror ML and is reflected on the reflection surface RS to be incident on the imaging element SB and the lens LB.
  • the optical axes of the imaging element SA and the imaging element SB coincide with each other. Therefore, no parallax occurs between the images.
  • the optical axes of the first imaging unit and the second imaging unit can be set to coincide with each other. There is nothing to say. However, depending on the positional relationship of each imaging unit with respect to the beam splitter, a phenomenon may occur in which the images are shifted depending on the distance to the subject.
  • the present disclosure aims to provide an imaging device having a compound eye configuration capable of reducing a shift between images according to a distance to an object, and an electronic apparatus including the imaging device.
  • An imaging device for achieving the above object is: A beam splitter having a light incident surface on which light from a subject is incident; Reflecting mirror for returning the light transmitted through the beam splitter to the beam splitter side A first imaging unit including a first lens disposed on a first emission surface side of a beam splitter from which light from the light incident surface side is reflected and emitted; A second imaging unit including a second lens disposed on a second emission surface side of a beam splitter from which light from the reflection mirror side is reflected and emitted; Equipped with The optical distance from the light incident surface to the first lens is set to be substantially the same as the optical distance from the light incident surface to the second lens. It is an imaging device.
  • An electronic device for achieving the above object is: An electronic device provided with an imaging device,
  • the imaging device is A beam splitter having a light incident surface on which light from a subject is incident; Reflecting mirror for returning the light transmitted through the beam splitter to the beam splitter side
  • a first imaging unit including a first lens disposed on a first emission surface side of a beam splitter from which light from the light incident surface side is reflected and emitted;
  • a second imaging unit including a second lens disposed on a second emission surface side of a beam splitter from which light from the reflection mirror side is reflected and emitted; Equipped with The optical distance from the light incident surface to the first lens is set to be substantially the same as the optical distance from the light incident surface to the second lens. It is an electronic device.
  • FIG. 1 is a schematic view for describing a configuration of an imaging device according to a first embodiment of the present disclosure.
  • FIG. 2 is a schematic view for explaining the configuration of the imaging device of the reference example.
  • FIG. 3 is a diagram for explaining an imaging state in the imaging device of the reference example.
  • FIG. 3A is a schematic view for explaining an imaging state of a first imaging unit in an imaging device of a reference example.
  • FIG. 3B is a schematic view for explaining an imaging state of a second imaging unit in the imaging device of the reference example.
  • FIG. 4 is a diagram for explaining an imaging state in the imaging device according to the first embodiment.
  • FIG. 4A is a schematic view for explaining an imaging state of the first imaging unit.
  • FIG. 4B is a schematic view for explaining an imaging state of the second imaging unit.
  • FIG. 5 is a diagram for explaining image processing in the imaging device according to the first embodiment.
  • FIG. 5A is a schematic view for explaining the configuration of the image processing unit.
  • FIG. 5B is a schematic view for explaining the operation of the image processing unit.
  • FIG. 6 is a schematic view for describing a configuration of an imaging device according to a second embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining an imaging state in the imaging device according to the second embodiment.
  • FIG. 7A is a schematic view for explaining an imaging state of the first imaging unit.
  • FIG. 7B is a schematic view for explaining an imaging state of the second imaging unit.
  • FIG. 8 is a view for explaining an imaging state at the closest imaging distance at which imaging is possible in the imaging device according to the second embodiment.
  • FIG. 8A is a schematic view for explaining an imaging state of the first imaging unit.
  • FIG. 8B is a schematic view for explaining an imaging state of the second imaging unit.
  • FIG. 9 is a schematic view for describing a configuration of an imaging device according to a third embodiment of the present disclosure.
  • FIG. 10 is a schematic view for describing a configuration of an imaging device according to a fourth embodiment of the present disclosure.
  • FIG. 11 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 12 is an explanatory view showing an example of installation positions of the outside information detection unit and the imaging unit.
  • FIG. 13 is a schematic view for explaining an imaging state of an imaging device in which a pair of imaging units are arranged in parallel.
  • FIG. 14 is a schematic view for explaining the structure of an imaging device using a beam splitter.
  • the beam splitter is a cube that has a square cross section, The length of one side of the cross section of the beam splitter is denoted by L, The refractive index of the material constituting the beam splitter is n, The distance between the beam splitter and the reflecting mirror is a, The distance between the second exit surface and the entrance pupil of the second lens is denoted by b, When expressed using The optical distance between the first exit surface and the entrance pupil of the first lens is set to be substantially 2a + nL + b, It can be configured.
  • the object distance which is the closest distance is expressed by the symbol OD '
  • the number of pixels in the X direction and the Y direction of the second imaging unit is 2Px and 2Py
  • the focal length of the first lens is f 1
  • the focal length of the second lens is f 2
  • f 1 ⁇ f 2 When expressed using If f 1 ⁇ f 2 and the optical distance between the first exit surface and the entrance pupil of the first lens is 2a + nL + ⁇ z + b
  • the code ⁇ z is the following formula, Can be configured to satisfy
  • the object distance which is the closest distance is expressed by the symbol OD '
  • the number of pixels in the X direction and the Y direction of the second imaging unit is 2Px and 2Py
  • the pixel pitch of the second imaging unit is denoted by d
  • the focal length of the first lens is f 1
  • the focal length of the second lens is f 2
  • the numerical aperture of the second lens is denoted by NA
  • the wavelength of the light to be detected is denoted by ⁇ ,
  • f 1 ⁇ f 2 and the optical distance between the first exit surface and the entrance pupil of the first lens is 2a + nL + ⁇ z + b
  • the code ⁇ z is the following formula, Can be configured to satisfy
  • a glass material is disposed between the first exit surface and the entrance pupil of the first lens,
  • the refractive index of the glass material is represented using the symbol n ′
  • the axial length of the glass material is set to (2a + nL + b) / n ′. It can be configured.
  • the reflecting mirror is arranged in contact on the plane of the beam splitter, It can be configured.
  • the image processing apparatus further includes an image processing unit that processes an image based on the first image acquired by the first imaging unit and the second image acquired by the second imaging unit. It can be configured.
  • the image processing unit A size matching unit for matching the first image acquired by the first imaging unit and the second image acquired by the second imaging unit to the same size;
  • An image signal processing unit that performs signal processing based on image signals of the first image and the second image of the same size; Equipped with It can be configured.
  • a beam splitter used in the imaging apparatus and the electronic device of the present disclosure (hereinafter, these may be simply referred to as the present disclosure) including the above-described preferable configuration has a function of separating light into two.
  • the beam splitter is composed of a prism or the like made of an optical material such as glass.
  • the slopes of two right-angle prisms are joined together, and an optical thin film for splitting light into approximately half each is formed on the slopes of one of the prisms.
  • the beam splitter may be of non-polarization type or of polarization type.
  • an optical member such as a ⁇ / 4 wavelength plate may be disposed on the surface of the beam splitter.
  • the configuration of the reflection mirror is not particularly limited.
  • a metal film such as a silver (Ag) layer may be formed on a planar base material.
  • a metal film or the like may be formed on the base material of the beam splitter.
  • the first imaging unit and the second imaging unit can be configured by appropriately combining a lens, an imaging device, and the like.
  • the first lens and the second lens may be composed of a single lens or may be composed of a lens group.
  • the imaging device used for the first imaging unit and the second imaging unit is not particularly limited.
  • an imaging element such as a CMOS sensor or a CCD sensor in which pixels including photoelectric conversion elements and various pixel transistors are arranged in a two-dimensional matrix in the row direction and the column direction can be used.
  • the types of images captured by the first imaging unit and the second imaging unit are not particularly limited.
  • the first imaging unit and the second imaging unit both capture monochrome images or both color images, or alternatively, one of the first imaging unit and the second imaging unit captures a monochrome image, and the other is a color
  • the configuration may be such that an image is captured.
  • the number of pixels and the size of the imaging elements used in the first imaging unit and the second imaging unit may be the same or different.
  • a transparent glass material and a plastic material can be illustrated as a glass material arrange
  • the image processing unit used in the imaging device of the present disclosure may be implemented as hardware or may be implemented as software. Furthermore, hardware and software may be implemented to cooperate. The same applies to a control unit that controls the overall operation of the imaging apparatus. These can be formed of, for example, a logic circuit, a memory circuit, or the like, and can be formed using known circuit elements.
  • the image processing unit or the like may be configured integrally with the imaging device, or may be configured separately.
  • Examples of electronic devices provided with the imaging device of the present disclosure include various electronic devices such as imaging systems such as digital still cameras and digital video cameras, cellular phones provided with an imaging function, and other devices provided with an imaging function. be able to.
  • the conditions shown in various expressions in the present specification are satisfied not only when the expressions are mathematically strictly true, but also when the expressions are substantially true.
  • the presence of various variations in design or manufacture of the beam splitter, the reflection mirror, the first imaging unit, the second imaging unit, etc. is tolerated.
  • the optical distance may be influenced by the wavelength of light, in such a case, the value of the wavelength range of light to be imaged, for example, a value in the vicinity of the average value may be used. The value should be selected in consideration of it.
  • FIG. 1 described later shows the structure of the imaging device, it does not indicate the ratio of width, height, thickness, and the like.
  • the first embodiment relates to an imaging device according to the present disclosure.
  • FIG. 1 is a schematic view for describing a configuration of an imaging device according to a first embodiment of the present disclosure.
  • the imaging device 1 is A beam splitter 30 having a light incident surface 33 on which light from an object is incident; A reflecting mirror 40 for returning the light transmitted through the beam splitter 30 to the beam splitter 30 side, A first imaging unit 10 including a first lens 11 disposed on a first emission surface 31 side of a beam splitter 30 that reflects and emits light from the light incident surface 33 side; A second imaging unit 20 including a second lens 21 disposed on the second emission surface 32 side of the beam splitter 30 from which light from the reflection mirror 40 side is reflected and emitted; Is equipped.
  • part of incident light to the beam splitter 30 is reflected by the reflection surface 35 and emitted from the first emission surface 31.
  • the light is incident by
  • the second imaging unit 20 the light from the surface 34 transmitted through the beam splitter 30 is again incident on the surface 34 of the beam splitter 30 by the reflection mirror 40, and is reflected by the reflection surface 35 to be incident.
  • the optical distance from the light incident surface 33 to the first lens 11 is the light from the light incident surface 33.
  • the optical distance to the second lens 21 is set to be substantially the same. As a result, it is possible to reduce the occurrence of a gap between images according to the distance to the subject, so that it is possible to preferably carry out composition processing of the images captured by the respective imaging units.
  • the focal length of the first lens 11 is denoted by f 1
  • the focal length of the second lens 21 is denoted by f 2 , Express using.
  • the first imaging unit 10 further includes a first imaging element 12 configured to capture an image formed by the first lens 11.
  • the second imaging unit 20 further includes a second imaging element 22 that captures an image formed by the second lens 21.
  • the first imaging device 12 and the second imaging device 22 are configured by, for example, a CMOS sensor in which pixels are arranged in a two-dimensional matrix in the row direction and the column direction.
  • CMOS sensor in which pixels are arranged in a two-dimensional matrix in the row direction and the column direction.
  • the beam splitter 30 is a cube type having a square cross section, and the slopes of two right angle prisms are joined, and the slope of one of the prisms is an optical system for splitting light into approximately half each. A thin film is formed.
  • the distance between the object and the light incident surface 33 of the beam splitter 30 is denoted by OD
  • the length of one side of the cross section of the beam splitter 30 is denoted by L
  • the refractive index of the material constituting the beam splitter 30 is denoted by n
  • the distance between the beam splitter 30 and the reflecting mirror 40 is denoted by a
  • the distance between the second exit surface 32 and the entrance pupil of the second lens 21 is denoted by b, Express using.
  • the optical distance between the first emission surface 31 and the entrance pupil of the first lens 11 is set to be substantially 2a + nL + b.
  • the outline of the imaging device 1 has been described above. Next, in order to help the understanding of the first embodiment, the configuration of the imaging device of the reference example and the problems thereof will be described.
  • FIG. 2 is a schematic view for explaining the configuration of the imaging device of the reference example.
  • the imaging device 9 of the reference example has a configuration in which, for example, in order to reduce the occupied area, the distance between the exit surface of the beam splitter 30 and the lens is reduced.
  • the imaging system 9 shown in FIG. 2 has an optical distance between the first exit surface 31 and the entrance pupil of the first lens 11 of the imaging system 1 shown in FIG.
  • the imaging system 9 shown in FIG. 2 has an optical distance between the first exit surface 31 and the entrance pupil of the first lens 11 of the imaging system 1 shown in FIG.
  • the imaging system 9 shown in FIG. 2 has an optical distance between the first exit surface 31 and the entrance pupil of the first lens 11 of the imaging system 1 shown in FIG.
  • the imaging system 9 shown in FIG. 2 has an optical distance between the first exit surface 31 and the entrance pupil of the first lens 11 of the imaging system 1 shown in FIG.
  • the imaging system 9 shown in FIG. 2 has an optical distance between the first exit surface 31 and the entrance pupil of the first lens 11 of the imaging system 1 shown in FIG.
  • the imaging system 9 shown in FIG. has an optical distance
  • FIG. 3 is a diagram for explaining an imaging state in the imaging device of the reference example.
  • FIG. 3A is a schematic view for explaining an imaging state of a first imaging unit in an imaging device of a reference example.
  • FIG. 3B is a schematic view for explaining an imaging state of a second imaging unit in the imaging device of the reference example.
  • the distance from the first exit surface 31 to the entrance pupil of the first lens 11 b The sum total of [OD + nL + b].
  • the imaging state of the first imaging unit 10 is as shown in FIG. 3A.
  • First image sensor 12 the distance of an object located in [OD + nL + b], the focal length imaging through the first lens 11 of the code f 1.
  • Expressed the imaging position of the first image pickup element 12 by the reference numeral y 1, can be represented by the following formula (1).
  • the light from the surface 34 transmitted through the beam splitter 30 is again incident on the surface 34 of the beam splitter 30 by the reflection mirror 40, and is reflected by the reflection surface 35, whereby the light is incident. Therefore, from the positional relationship shown in FIG.
  • the distance for reciprocating between the surface 34 and the reflecting mirror 40 2a
  • the distance from the second exit surface 32 to the entrance pupil of the second lens 21 b
  • the imaging state of the second imaging unit 20 is as shown in FIG. 3B.
  • the imaging position in the second image pickup element 22 by the reference numeral y 2 can be represented by the following formula (2).
  • the angle of view of the second imaging unit 20 is narrower than that of the first imaging unit 10, and the range in which the image is captured is also narrower. In other words, the image on the telephoto side is captured. Therefore, in order to align the image captured by the first imaging unit 10 with the image captured by the second imaging unit 20, it is necessary to perform signal processing on the image captured by the first imaging unit 10 and appropriately enlarge the image. If magnification is performed with the magnification k represented by the following equation (3), the imaging position y 1 and the imaging position y 2 virtually coincide with each other.
  • Formula (4) and Formula (5) do not become equivalent. Therefore, in the case of performing the enlargement process with the magnification k shown in Equation (3), the imaging positions of the first imaging unit 10 and the second imaging unit 20 virtually coincide with each other if the subject distance is OD. Then it does not match. For this reason, when imaging a scene including subjects having different distances, a shift occurs in the image according to the distance of the subjects.
  • the optical distance between the first emission surface 31 and the entrance pupil of the first lens 11 is substantially 2a + nL + b and It is set to become.
  • the optical distance from the subject to the entrance pupil of the second lens 21 is the same as in the reference example. That is, [OD + 2a + 2nL + b].
  • the optical distance from the subject to the entrance pupil of the first lens 11 is the positional relationship shown in FIG.
  • the distance from the subject to the light incident surface 33 of the beam splitter 30 OD
  • the distance from the first exit surface 31 to the entrance pupil of the first lens 11 2a + nL + b
  • FIG. 4 is a diagram for explaining an imaging state in the imaging device according to the first embodiment.
  • FIG. 4A is a schematic view for explaining an imaging state of the first imaging unit.
  • FIG. 4B is a schematic view for explaining an imaging state of the second imaging unit.
  • the imaging state of the first imaging unit 10 is as shown in FIG. 4A.
  • First image sensor 12 the distance of an object located in [OD + 2a + 2nL + b ], the focal length imaging through the first lens 11 of the code f 1.
  • the imaging position of the first image pickup element 12 by the reference numeral y 1 can be expressed by the following equation (6).
  • the imaging state of the second imaging unit 20 is as shown in FIG. 4B.
  • Expressed the imaging position in the second image pickup element 22 by the reference numeral y 2, can be represented by the following formula (7).
  • the angle of view of the second imaging unit 20 is narrower than that of the first imaging unit 10, and the range in which the image is captured is also narrower.
  • the angle of view of the second imaging unit 20 is narrower than that of the first imaging unit 10, and the range in which the image is captured is also narrower.
  • Expressions (9) and (10) have the same value. Therefore, if the enlargement process is performed with the magnification k represented by Expression (8), the imaging positions of the first imaging unit 10 and the second imaging unit 20 virtually coincide regardless of the subject distance. For this reason, even in the case where a scene including subjects having different distances is taken, the image does not shift depending on the subject distance.
  • the imaging device 1 further includes an image processing unit that processes an image based on the first image acquired by the first imaging unit 10 and the second image acquired by the second imaging unit 20. It can also be done. The same applies to the other embodiments described later.
  • FIG. 5 is a diagram for explaining image processing in the imaging device according to the first embodiment.
  • FIG. 5A is a schematic view for explaining the configuration of the image processing unit.
  • FIG. 5B is a schematic view for explaining the operation of the image processing unit.
  • the image processing unit 50 A size matching unit 51 for matching the first image acquired by the first imaging unit 10 and the second image acquired by the second imaging unit 20 to the same size;
  • An image signal processing unit 52 that performs signal processing based on image signals of the first image and the second image of the same size, Is equipped.
  • the size matching unit 51 performs enlargement processing on the first image 12P acquired by the first imaging unit 10 based on, for example, the magnification k represented by the above-described equation (8).
  • the image signal processing unit 52 appropriately performs signal processing based on the image signal of the first image 12P ′ subjected to the enlargement processing and the image signal of the second image 22P acquired by the second imaging unit 20. . For example, a process of combining a plurality of images to improve the S / N or a process of adding color information to a black and white image to combine a color image is performed, and a processed image 1222 P ′ is output.
  • the imaging device has been described above.
  • the magnification at the time of enlargement processing is constant regardless of the distance of the subject.
  • the second embodiment also relates to an imaging device according to the present disclosure.
  • the optical distance between the first exit surface and the entrance pupil of the first lens is 2a + nL + b.
  • the second embodiment is a modification of the first embodiment, and is different in defining a range of ⁇ z when there is a shift such as ⁇ z in the optical distance.
  • the range of ⁇ z is defined in consideration of the pixel size of the imaging device.
  • FIG. 6 is a schematic view for describing a configuration of an imaging device according to a second embodiment of the present disclosure.
  • the optical distance between the first emission surface 31 and the entrance pupil of the first lens 11 is 2a + nL + b.
  • the optical distance between the first exit surface 31 and the entrance pupil of the first lens 11 is 2a + nL + ⁇ z + b.
  • the object distance which is the closest distance is denoted by OD '
  • the number of pixels in the X direction and Y direction of the second imaging unit 20 is 2Px and 2Py
  • the focal length of the first lens 11 is denoted by f 1
  • the focal length of the second lens 21 is denoted by f 2
  • f 1 ⁇ f 2 When expressed using If f 1 ⁇ f 2 and the optical distance between the first exit surface 31 and the entrance pupil of the first lens 11 is 2a + nL + ⁇ z + b
  • the code ⁇ z is the following formula, It is characterized by satisfying.
  • FIG. 7 is a diagram for explaining an imaging state in the imaging device according to the second embodiment.
  • FIG. 7A is a schematic view for explaining an imaging state of the first imaging unit.
  • FIG. 7B is a schematic view for explaining an imaging state of the second imaging unit.
  • the imaging state of the first imaging unit 10 is as shown in FIG. 7A.
  • the imaging position of the first image pickup element 12 by the reference numeral y 1, it can be represented by the following formula (11).
  • the imaging state of the second imaging unit 20 is as shown in FIG. 7B.
  • the imaging position in the second image pickup element 22 by the reference numeral y 1, it can be expressed by the following equation (12).
  • the closest imaging distance at which imaging can be performed is set due to constraints such as the lens performance.
  • FIG. 8 is a view for explaining an imaging state at the closest imaging distance at which imaging is possible in the imaging device according to the second embodiment.
  • FIG. 8A is a schematic view for explaining an imaging state of the first imaging unit.
  • FIG. 8B is a schematic view for explaining an imaging state of the second imaging unit.
  • the distance of the subject in the most close-up state is represented by a symbol OD ′
  • the image height of the first imaging device 12 is represented by a symbol y 1 ′
  • the image height of the second imaging device 22 is represented by a symbol y 2 ′.
  • the image height y 1 ′ and the image height y 2 ′ can be expressed by the following equations (15) and (16), respectively.
  • the difference between the above equation (16) and the equation (17) is the amount of positional deviation when combining the images.
  • the positional deviation amount is expressed by the following equation (18) if it is expressed by a symbol ⁇ y.
  • the maximum .DELTA.y is the maximum image height. For example, if the number of pixels is 1000 ⁇ 1000 and the pixel pitch is 1 micrometer, the maximum image height is (500 2 +500 2 ) 1/2 micrometers.
  • the symbol Y is represented by the following equation (19).
  • the third embodiment also relates to an imaging device according to the present disclosure.
  • the third embodiment is also a modification of the first embodiment, and is different in that the optical distance has a deviation such as ⁇ z.
  • the range of ⁇ z is defined in consideration of the optical performance.
  • the schematic block diagram of the imaging device 3 which concerns on 3rd Embodiment should just replace the imaging device 2 with the imaging device 3 in FIG.
  • the components are the same as the components described in the second embodiment, and thus the description thereof is omitted.
  • the object distance which is the closest distance is denoted by OD '
  • the number of pixels in the X direction and Y direction of the second imaging unit 20 is 2Px and 2Py
  • the pixel pitch of the second imaging unit 20 is denoted by d
  • the focal length of the first lens 11 is denoted by f 1
  • the focal length of the second lens 21 is denoted by f 2
  • the numerical aperture of the second lens 21 is denoted by NA
  • the wavelength of the light to be detected is denoted by ⁇ , When expressed using When f 1 ⁇ f 2 and the optical distance between the first exit surface 31 and the entrance pupil of the first lens 11 is 2a + nL + ⁇ z + b
  • the code ⁇ z is the following formula, It is characterized by satisfying.
  • the equation (22) in the second embodiment was derived focusing on the fact that if ⁇ y is smaller than the pixel pitch d, an error based on it is undetectable.
  • the third embodiment it was noted that if ⁇ y was smaller than the optical diffraction limited performance, it could be treated as having a sufficiently small error.
  • the following equation (23) was derived as an equation representing that the equation (21) derived in the second embodiment is smaller than 1.22 ⁇ / NA giving the Airy disc diameter.
  • the sign ⁇ z is a range that satisfies this expression, the error based on it can be treated as sufficiently small, and good alignment can be performed.
  • the fourth embodiment also relates to an imaging device according to the present disclosure.
  • the first embodiment differs from the first embodiment mainly in that a glass material is disposed between the first exit surface and the entrance pupil of the first lens.
  • FIG. 9 is a schematic view for describing a configuration of an imaging device according to a fourth embodiment of the present disclosure.
  • the space between the first exit surface 31 and the entrance pupil of the first lens 11 is a space having a refractive index of “1”.
  • a glass material is disposed between the first exit surface 31 and the entrance pupil of the first lens 11,
  • the refractive index of the glass material is represented using the symbol n ′
  • the axial length of the glass material is set to (2a + nL + b) / n ′. The point is different.
  • the other elements are the same as the elements described in the first embodiment, so the description will be omitted.
  • the physical lengths of the first emission surface 31 and the first lens 11 can be shorter than those in the first embodiment. Further, the relationship of the optical distance is the same as that of the first embodiment. Therefore, the alignment can be favorably performed as in the first embodiment, and the entire length of the imaging device can be further shortened.
  • the glass material 13 and the beam splitter 30 are shown as separate members, in some cases, the glass material 13 and the triangular prism constituting the beam splitter 30 may be integrally formed. Further, there may be a gap between the first lens 11 and the glass material 13 such that the width can be ignored. .
  • the fifth embodiment also relates to an imaging device according to the present disclosure.
  • the main difference with respect to the first embodiment is that the reflecting mirror is arranged in contact on the surface of the beam splitter.
  • FIG. 10 is a schematic view for describing a configuration of an imaging device according to a fifth embodiment of the present disclosure.
  • the optical distance between the first exit surface and the entrance pupil of the first lens is set to be substantially 2a + nL + b. Therefore, if the code a is reduced, the space between the first emission surface and the first lens is narrowed, which is advantageous for downsizing of the entire imaging device.
  • the reflection mirror 40 and the beam splitter 30 may be separate or integral. For example, it is possible to apply a coating on the surface 34 of the beam splitter 30 to form a reflection mirror 40.
  • the ⁇ / 4 wavelength plate may be configured such that an optical material such as a QWP film is disposed between the beam splitter 30 and the reflection mirror 40.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is any type of movement, such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), etc. It may be realized as a device mounted on the body.
  • FIG. 11 is a block diagram showing a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 comprises a plurality of electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting the plurality of control units is, for example, an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing in accordance with various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various arithmetic operations, and drive circuits that drive devices to be controlled. Equipped with Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and by wired communication or wireless communication with an apparatus or sensor inside or outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • the other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • Drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • drive system control unit 7100 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as an ABS (Antilock Brake System) or an ESC (Electronic Stability Control).
  • Vehicle state detection unit 7110 is connected to drive system control unit 7100.
  • the vehicle state detection unit 7110 may be, for example, a gyro sensor that detects an angular velocity of an axial rotational movement of a vehicle body, an acceleration sensor that detects an acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of the sensors for detecting the angle, the engine speed, the rotational speed of the wheel, etc. is included.
  • Drive system control unit 7100 performs arithmetic processing using a signal input from vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • Body system control unit 7200 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a head lamp, a back lamp, a brake lamp, a blinker or a fog lamp.
  • the body system control unit 7200 may receive radio waves or signals of various switches transmitted from a portable device substituting a key.
  • Body system control unit 7200 receives the input of these radio waves or signals, and controls a door lock device, a power window device, a lamp and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 which is a power supply source of the drive motor according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device provided with the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 7310 or control of a cooling device or the like provided in the battery device.
  • Outside-vehicle information detection unit 7400 detects information outside the vehicle equipped with vehicle control system 7000.
  • the imaging unit 7410 and the external information detection unit 7420 is connected to the external information detection unit 7400.
  • the imaging unit 7410 includes at least one of a time-of-flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and another camera.
  • ToF time-of-flight
  • an environment sensor for detecting the current weather or weather, or another vehicle, an obstacle or a pedestrian around the vehicle equipped with the vehicle control system 7000 is detected in the outside-vehicle information detection unit 7420, for example.
  • the ambient information detection sensors at least one of the ambient information detection sensors.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects wet weather, a fog sensor that detects fog, a sunshine sensor that detects sunshine intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a light detection and ranging (LIDAR) device.
  • the imaging unit 7410 and the external information detection unit 7420 may be provided as independent sensors or devices, or may be provided as an integrated device of a plurality of sensors or devices.
  • FIG. 12 shows an example of installation positions of the imaging unit 7410 and the external information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided at, for example, at least one of the front nose of the vehicle 7900, the side mirror, the rear bumper, the back door, and the upper portion of the windshield of the vehicle interior.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 12 illustrates an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors
  • the imaging range d indicates The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown.
  • a bird's-eye view of the vehicle 7900 as viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, and corners of the vehicle 7900 and above the windshield of the vehicle interior may be, for example, ultrasonic sensors or radar devices.
  • the external information detection units 7920, 7926, 7930 provided on the front nose of the vehicle 7900, the rear bumper, the back door, and the upper part of the windshield of the vehicle interior may be, for example, a LIDAR device.
  • These outside-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle or the like.
  • the out-of-vehicle information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle, and receives the captured image data. Further, the external information detection unit 7400 receives detection information from the external information detection unit 7420 connected. When the out-of-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the out-of-vehicle information detection unit 7400 transmits ultrasonic waves or electromagnetic waves and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing or distance detection processing of a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions and the like based on the received information.
  • the external information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the external information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the external information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. It is also good.
  • the external information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • An in-vehicle information detection unit 7500 detects information in the vehicle.
  • a driver state detection unit 7510 that detects a state of a driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera for imaging the driver, a biometric sensor for detecting the driver's biological information, a microphone for collecting sound in the vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver who grips the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver does not go to sleep You may The in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 in accordance with various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input operated by the passenger.
  • the integrated control unit 7600 may receive data obtained by speech recognition of speech input by the microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the above-described input unit 7800 and outputs the generated signal to the integrated control unit 7600. The passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and instruct processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • HDD hard disk drive
  • semiconductor storage device an optical storage device
  • magneto-optical storage device or the like.
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)), Bluetooth (registered trademark), etc. may be implemented.
  • the general-purpose communication I / F 7620 is connected to, for example, an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or access point
  • an apparatus for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or an operator-specific network
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) existing near the vehicle using, for example, P2P (Peer To Peer) technology. It may be connected with
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol designed for use in a vehicle.
  • the dedicated communication I / F 7630 may be a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of lower layer IEEE 802.11p and upper layer IEEE 1609, for example. May be implemented.
  • the dedicated communication I / F 7630 is typically used for Vehicle to Vehicle communication, Vehicle to Infrastructure communication, Vehicle to Home communication, and Vehicle to Pedestrian. 2.) Perform V2X communication, a concept that includes one or more of the communication.
  • the positioning unit 7640 receives a GNSS signal (for example, a GPS signal from a Global Positioning System (GPS) satellite) from, for example, a Global Navigation Satellite System (GNSS) satellite and executes positioning, thereby performing latitude, longitude, and altitude of the vehicle.
  • Generate location information including Positioning section 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone having a positioning function, a PHS, or a smartphone.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station or the like installed on a road, and acquires information such as the current position, traffic jams, closing times or required time.
  • the function of the beacon reception unit 7650 may be included in the above-described dedicated communication I / F 7630.
  • An in-vehicle apparatus I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle apparatuses 7760 existing in the vehicle.
  • the in-car device I / F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected via a connection terminal (not shown) (and, if necessary, a cable) via USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile)
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried in or attached to a vehicle. Further, the in-vehicle device 7760 may include a navigation device for performing a route search to any destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon reception unit 7650, an in-vehicle device I / F 7660 and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled in accordance with various programs based on the information acquired. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the driving system control unit 7100. It is also good.
  • the microcomputer 7610 realizes the function of an advanced driver assistance system (ADAS) including collision avoidance or shock mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. Cooperative control for the purpose of In addition, the microcomputer 7610 automatically runs without using the driver's operation by controlling the driving force generating device, the steering mechanism, the braking device, etc. based on the acquired information of the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving and the like.
  • ADAS advanced driver assistance system
  • the microcomputer 7610 is information acquired via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon reception unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a collision of a vehicle or a pedestrian or the like approaching a road or the like on the basis of the acquired information, and may generate a signal for warning.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or aurally notifying information to a passenger or the outside of a vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a wearable device such as a glasses-type display worn by a passenger, a projector, or a lamp other than these devices.
  • the display device may obtain information obtained from various processes performed by the microcomputer 7610 or information received from another control unit in various formats such as text, images, tables, graphs, etc. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data or audio data into an analog signal and outputs it in an auditory manner.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may comprise another control unit not shown.
  • part or all of the functions of any control unit may be provided to another control unit. That is, as long as transmission and reception of information are performed via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to any control unit is connected to another control unit, a plurality of control units may mutually transmit and receive detection information via the communication network 7010. .
  • the technique according to the present disclosure may be applied to, for example, the imaging unit of the external information detection unit in the configuration described above. That is, according to the present disclosure, image processing can be performed in a state in which positional deviation between images is reduced by an imaging device having a plurality of imaging units, so that more detailed information can be obtained. Become.
  • the present disclosure can also be configured as follows.
  • a beam splitter having a light incident surface on which light from a subject is incident; Reflecting mirror for returning the light transmitted through the beam splitter to the beam splitter side
  • a first imaging unit including a first lens disposed on a first emission surface side of a beam splitter from which light from the light incident surface side is reflected and emitted;
  • a second imaging unit including a second lens disposed on a second emission surface side of a beam splitter from which light from the reflection mirror side is reflected and emitted; Equipped with The optical distance from the light incident surface to the first lens is set to be substantially the same as the optical distance from the light incident surface to the second lens. Imaging device.
  • the beam splitter is a cube that has a square cross section, The length of one side of the cross section of the beam splitter is denoted by L, The refractive index of the material constituting the beam splitter is n, The distance between the beam splitter and the reflecting mirror is a, The distance between the second exit surface and the entrance pupil of the second lens is b, When expressed using The optical distance between the first exit surface and the entrance pupil of the first lens is set to be substantially 2a + nL + b.
  • the object distance which is the closest distance is denoted by OD '
  • the number of pixels in the X direction and the Y direction of the second imaging unit is 2Px and 2Py
  • the focal length of the first lens is f 1
  • the focal length of the second lens is f 2
  • f 1 ⁇ f 2 When expressed using If f 1 ⁇ f 2 and the optical distance between the first exit surface and the entrance pupil of the first lens is 2a + nL + ⁇ z + b
  • the code ⁇ z is the following formula, Meet The imaging device according to the above [A2].
  • the object distance which is the closest distance is denoted by OD '
  • the number of pixels in the X direction and the Y direction of the second imaging unit is 2Px and 2Py
  • the pixel pitch of the second imaging unit is denoted by d
  • the focal length of the first lens is f 1
  • the focal length of the second lens is f 2
  • the numerical aperture of the second lens is denoted by NA
  • the wavelength of the light to be detected is denoted by ⁇ ,
  • f 1 ⁇ f 2 and the optical distance between the first exit surface and the entrance pupil of the first lens is 2a + nL + ⁇ z + b
  • the code ⁇ z is the following formula, Meet The imaging device according to the above [A2].
  • a glass material is disposed between the first exit surface and the entrance pupil of the first lens, When the refractive index of the glass material is represented using the symbol n ′, the axial length of the glass material is set to (2a + nL + b) / n ′.
  • the imaging device according to any one of the above [A2] to [A4].
  • the reflecting mirror is arranged in contact on the plane of the beam splitter, The imaging device according to any one of the above [A1] to [A5].
  • the image processing apparatus further includes an image processing unit that processes an image based on the first image acquired by the first imaging unit and the second image acquired by the second imaging unit. The imaging device according to any one of the above [A1] to [A6].
  • the image processing unit A size matching unit for matching the first image acquired by the first imaging unit and the second image acquired by the second imaging unit to the same size; An image signal processing unit that performs signal processing based on image signals of the first image and the second image of the same size; Equipped with The imaging device according to the above [A7].
  • An electronic device provided with an imaging device,
  • the imaging device is A beam splitter having a light incident surface on which light from a subject is incident; Reflecting mirror for returning the light transmitted through the beam splitter to the beam splitter side
  • a first imaging unit including a first lens disposed on a first emission surface side of a beam splitter from which light from the light incident surface side is reflected and emitted;
  • a second imaging unit including a second lens disposed on a second emission surface side of a beam splitter from which light from the reflection mirror side is reflected and emitted; Equipped with The optical distance from the light incident surface to the first lens is set to be substantially the same as the optical distance from the light incident surface to the second lens.
  • the beam splitter is a cube that has a square cross section, The length of one side of the cross section of the beam splitter is denoted by L, The refractive index of the material constituting the beam splitter is n, The distance between the beam splitter and the reflecting mirror is a, The distance between the second exit surface and the entrance pupil of the second lens is b, When expressed using The optical distance between the first exit surface and the entrance pupil of the first lens is set to be substantially 2a + nL + b.
  • the electronic device according to the above [B1].
  • the object distance which is the closest distance is denoted by OD '
  • the number of pixels in the X direction and the Y direction of the second imaging unit is 2Px and 2Py
  • the pixel pitch of the second imaging unit is denoted by d
  • the focal length of the first lens is f 1
  • the focal length of the second lens is f 2
  • the numerical aperture NB of the second lens, NB
  • the wavelength of the light to be detected is denoted by ⁇ ,
  • f 1 ⁇ f 2 and the optical distance between the first exit surface and the entrance pupil of the first lens is 2a + nL + ⁇ z + b
  • the code ⁇ z is the following formula, Meet The electronic device as described in said [B2].
  • a glass material is disposed between the first exit surface and the entrance pupil of the first lens, When the refractive index of the glass material is represented using the symbol n ′, the axial length of the glass material is set to (2a + nL + b) / n ′.
  • the reflecting mirror is arranged in contact on the plane of the beam splitter, The electronic device according to any one of the above [B1] to [B5].
  • the image processing apparatus further includes an image processing unit that processes an image based on the first image acquired by the first imaging unit and the second image acquired by the second imaging unit. The electronic device according to any one of the above [B1] to [B6].
  • the image processing unit A size matching unit for matching the first image acquired by the first imaging unit and the second image acquired by the second imaging unit to the same size; An image signal processing unit that performs signal processing based on image signals of the first image and the second image of the same size; Equipped with The electronic device as described in said [B7].

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Lenses (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

撮像装置は、被写体からの光が入射する光入射面を有するビームスプリッタ、ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、を備えており、光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている。

Description

撮像装置、及び、電子機器
　本開示は、撮像装置、及び、電子機器に関する。
　近年、所謂複眼構成の撮像装置を用いて、各撮像部が撮像する画像に基づいて画像処理を行なうといったことが提案されている。各撮像部からの画像を合成してＳ／Ｎ比の改善や高解像度化を図るといった処理を行なう場合、各撮像部からの画像には空間的なズレがないことが望ましい。しかしながら、一対の撮像部が並置して配置されるといった構成では、各撮像部からの画像には空間的なズレが生ずる。
　図１３は、第１撮像素子ＳＡ及びレンズＬＡから成る第１撮像部と、第２撮像素子ＳＢ及びレンズＬＢから成る第２撮像部とが、距離Ｄ離間した状態で並置して配置されている撮像装置の結像状態を説明するための模式図である。レンズＬＢの光軸上にある遠方側の被写体ＯＢＪ1と近傍側の被写体ＯＢＪ2とを撮像する場合、第２撮像素子ＳＢにあっては、いずれの被写体も第２撮像素子ＳＢの中心に被写体の像が結像する。即ち、結像位置は被写体の距離には無関係である。これに対し、第１撮像素子ＳＡにあっては、遠方側の被写体ＯＢＪ1までの距離と近傍側の被写体ＯＢＪ2までの距離とに応じて入射画角が変化するため、結果として、結像位置にズレが生じる。このように、一対の撮像部が並置して配置されるといった構成では、画像間において視差が生じ、また、手前の被写体が背後の被写体を隠す状態（所謂オクルージョン）にも差が生ずる。これらの影響によって、画像間には空間的なズレが生ずる。
　上述した視差やオクルージョンにより生ずる画像間のズレを軽減することができる複眼構成の撮像装置が、例えば特許文献１に開示されている。この撮像装置の基本的な構造を、図１４を参照して説明する。この撮像装置は、ビームスプリッタＢＳ、反射ミラーＭＬ、撮像素子ＳＡ及びレンズＬＡ、並びに、撮像素子ＳＢ及びレンズＬＢとを備えている。撮像素子ＳＡ及びレンズＬＡには、ビームスプリッタＢＳへの入射光の一部が反射面ＲＳで反射することによって光が入射する。一方、撮像素子ＳＢ及びレンズＬＢには、ビームスプリッタＢＳを透過した光が反射ミラーＭＬによって再度ビームスプリッタＢＳに入射しその反射面ＲＳで反射することによって光が入射する。この構成において、光学的には、撮像素子ＳＡと撮像素子ＳＢの光軸は一致する。従って、画像間において視差が生ずるといったことはない。
特開２０１７－１８７７７１号公報
　上述したように、ビームスプリッタを用いた複眼構成の撮像装置にあっては、第１撮像部と第２撮像部との光軸が一致するように設定することができるので、画像間に視差が生ずるといってことはない。しかしながら、ビームスプリッタに対する各撮像部の位置関係によっては、被写体までの距離に応じて画像間にズレを生ずるといった現象が生じ得る。
　そこで、本開示は、被写体までの距離に応じて画像間に生ずるズレを低減することができる複眼構成の撮像装置、及び、係る撮像装置を備えた電子機器を提供することを目的とする。
　上記の目的を達成するための本開示に係る撮像装置は、
　被写体からの光が入射する光入射面を有するビームスプリッタ、
　ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
　光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
　反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
　光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
撮像装置である。
　上記の目的を達成するための本開示に係る電子機器は、
　撮像装置を備えた電子機器であって、
　撮像装置は、
　被写体からの光が入射する光入射面を有するビームスプリッタ、
　ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
　光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
　反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
　光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
電子機器である。
図１は、本開示の第１の実施形態に係る撮像装置の構成を説明するための模式図である。 図２は、参考例の撮像装置の構成を説明するための模式図である。 図３は、参考例の撮像装置における結像状態を説明するための図である。図３Ａは、参考例の撮像装置における第１撮像部の結像状態を説明するための模式図である。図３Ｂは、参考例の撮像装置における第２撮像部の結像状態を説明するための模式図である。 図４は、第１の実施形態に係る撮像装置における結像状態を説明するための図である。図４Ａは、第１撮像部の結像状態を説明するための模式図である。図４Ｂは、第２撮像部の結像状態を説明するための模式図である。 図５は、第１の実施形態に係る撮像装置における画像処理を説明するための図である。図５Ａは、画像処理部の構成を説明するための模式図である。図５Ｂは、画像処理部の動作を説明するための模式図である。 図６は、本開示の第２の実施形態に係る撮像装置の構成を説明するための模式図である。 図７は、第２の実施形態に係る撮像装置における結像状態を説明するための図である。図７Ａは、第１撮像部の結像状態を説明するための模式図である。図７Ｂは、第２撮像部の結像状態を説明するための模式図である。 図８は、第２の実施形態に係る撮像装置における、撮像可能である最接写距離時の結像状態を説明するための図である。図８Ａは、第１撮像部の結像状態を説明するための模式図である。図８Ｂは、第２撮像部の結像状態を説明するための模式図である。 図９は、本開示の第３の実施形態に係る撮像装置の構成を説明するための模式図である。 図１０は、本開示の第４の実施形態に係る撮像装置の構成を説明するための模式図である。 図１１は、車両制御システムの概略的な構成の一例を示すブロック図である。 図１２は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 図１３は、一対の撮像部が並置して配置される撮像装置の結像状態を説明するための模式図である。 図１４は、ビームスプリッタを用いた撮像装置の構造を説明するための模式図である。
　以下、図面を参照して、実施形態に基づいて本開示を説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値や材料などは例示である。以下の説明において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は、以下の順序で行う。
１．本開示に係る、撮像装置、及び、電子機器、全般に関する説明
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態
７．第６の実施形態：応用例
８．その他
［本開示に係る、撮像装置、及び、電子機器、全般に関する説明］
　本開示に係る撮像装置、あるいは又、本開示に係る電子機器に用いられる撮像装置（以下、これらを単に、本開示の撮像装置と呼ぶ場合がある）において、
　ビームスプリッタは、断面が正方形状であるキューブ型であり、
　ビームスプリッタの断面の一辺の長さを符号Ｌ、
　ビームスプリッタを構成する材料の屈折率を符号ｎ、
　ビームスプリッタと反射ミラーとの間の距離を符号ａ、
　第２出射面と第２レンズの入射瞳と間の距離を符号ｂ、
を用いて表すとき、
　第１出射面と第１レンズの入射瞳との間の光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている、
構成とすることができる。
　この場合において、
　最接写距離となる被写体距離を符号ＯＤ’
　第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
　第１レンズの焦点距離を符号ｆ1、
　第２レンズの焦点距離を符号ｆ2、
を用いて表すとき、
　ｆ1≦ｆ2であって、第１出射面と第１レンズの入射瞳との間の光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、
Figure JPOXMLDOC01-appb-I000003
を満たす構成とすることができる。
　あるいは又、この場合において、
　最接写距離となる被写体距離を符号ＯＤ’
　第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
　第２撮像部の画素ピッチを符号ｄ、
　第１レンズの焦点距離を符号ｆ1、
　第２レンズの焦点距離を符号ｆ2、
　第２レンズの開口数を符号ＮＡ、
　検出する光の波長を符号λ、
を用いて表すとき、
　ｆ1≦ｆ2であって、第１出射面と第１レンズの入射瞳との間の光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、
Figure JPOXMLDOC01-appb-I000004
を満たす構成とすることができる。
　上述した各種の好ましい構成の本開示に係る撮像装置にあっては、
　第１出射面と第１レンズの入射瞳との間には硝材が配置されており、
　硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
構成とすることができる。
　上述した各種の好ましい構成の本開示に係る撮像装置おいて、
　反射ミラーは、ビームスプリッタの面上に接して配置されている、
構成とすることができる。
　上述した各種の好ましい構成の本開示に係る撮像装置にあっては、
　第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えている、
構成とすることができる。
　この場合において、画像処理部は、
　第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とを同じサイズに合わせるサイズ合わせ部、及び、
　同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部、
を備えている、
構成とすることができる。
　上述した好ましい構成を含む本開示の撮像装置や電子機器（以下、これらを単に、本開示と呼ぶ場合がある）に用いられるビームスプリッタは、光線を２つに分離する機能を有する。ビームスプリッタは、ガラスなどの光学材料から成るプリズムなどから構成されている。キューブ型の場合、２個の直角プリズムの斜面同士が接合されており、一方のプリズムの斜面には、光を略半分ずつに分岐するための光学薄膜が形成されている。ビームスプリッタは、無偏光タイプであってもよいし、偏光タイプであってもよい。尚、ビームスプリッタの面には、構成に応じて、λ／４波長板などの光学部材が配置されていてもよい。
　反射ミラーの構成は特に限定するものではない。例えば、平面状の基材上に銀（Ａｇ）層などの金属膜などが形成されて構成されていてもよい。場合によっては、ビームスプリッタを構成する基材の上に金属膜などが形成されて構成されていてもよい。
　第１撮像部および第２撮像部は、レンズや撮像素子などを適宜組み合わせて構成することができる。第１レンズや第２レンズは、単一のレンズから構成されていてもよいし、レンズ群から構成されていてもよい。
　第１撮像部および第２撮像部に用いられる撮像素子は、特に限定するものではない。例えば、光電変換素子や種々の画素トランジスタを含む画素が、行方向及び列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサやＣＣＤセンサといった撮像素子を用いることができる。
　第１撮像部と第２撮像部が撮像する画像の種類は特に限定するものではない。例えば、第１撮像部と第２撮像部は共にモノクロ画像あるいは共にカラー画像を撮像する構成、あるいは又、第１撮像部と第２撮像部のうちいずれか一方はモノクロ画像を撮像し他方はカラー画像を撮像するといった構成であってもよい。第１撮像部と第２撮像部に用いられる撮像素子の画素数やサイズは、同一であってもよいし異なっていてもよい。
　第１出射面と第１レンズの入射瞳との間に配置される硝材として、透明なガラス材料やプラスチック材料を例示することができる。表示装置の小型化といった観点からは、屈折率の大きい材料を使うことが好ましい。
　本開示の撮像装置に用いられる画像処理部はハードウェアとして実装されていてもよいし、ソフトウェアとして実装されていてもよい。更には、ハードウェアとソフトウェアとが協同するように実装されていてもよい。撮像装置全般の動作を制御する制御部などについても同様である。これらは、例えば、論理回路や記憶回路などから構成することができ、周知の回路素子を用いて作成することができる。画像処理部などは、撮像装置と一体として構成されていてもよいし、別体として構成されていてもよい。
　本開示の撮像装置を備えた電子機器として、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器を例示することができる。
　本明細書における各種の式に示す条件は、式が数学的に厳密に成立する場合の他、式が実質的に成立する場合にも満たされる。式の成立に関し、ビームスプリッタ、反射ミラー、第１撮像部、第２撮像部などの設計上あるいは製造上生ずる種々のばらつきの存在は許容される。例えば、光学的距離は光の波長によって左右されることがあるが、このような場合には、撮像対象とする光の波長範囲の例えば平均値付近における値を用いるなど、適宜、実施条件などを勘案して値を選択すればよい。
　また、以下の説明で用いる図は模式的なものである。例えば、後述する図１は撮像装置の構造を示すが、幅、高さ、厚さなどの割合を示すものではない。
［第１の実施形態］
　第１の実施形態は、本開示に係る撮像装置に関する。
　図１は、本開示の第１の実施形態に係る撮像装置の構成を説明するための模式図である。
　撮像装置１は、
　被写体からの光が入射する光入射面３３を有するビームスプリッタ３０、
　ビームスプリッタ３０を透過した光をビームスプリッタ３０側に戻すための反射ミラー４０、
　光入射面３３側からの光が反射して出射するビームスプリッタ３０の第１出射面３１側に配された、第１レンズ１１を含む第１撮像部１０、及び、
　反射ミラー４０側からの光が反射して出射するビームスプリッタ３０の第２出射面３２側に配された、第２レンズ２１を含む第２撮像部２０、
を備えている。
　図１４を参照して説明したように、撮像装置１においても、第１撮像部１０には、ビームスプリッタ３０への入射光の一部が反射面３５で反射して第１出射面３１から出射することによって光が入射する。一方、第２撮像部２０には、ビームスプリッタ３０を透過した面３４からの光が反射ミラー４０によって再度ビームスプリッタ３０の面３４に入射し、反射面３５で反射することによって光が入射する。
　後述する図４を参照して後で詳しく説明するが、撮像装置１にあっては、光が光入射面３３から第１レンズ１１に至るまでの光学的距離は、光が光入射面３３から第２レンズ２１に至るまでの光学的距離と実質的に同じになるように設定されている。これによって、被写体までの距離に応じて画像間にズレを生ずるといったことが低減されるので、各撮像部が撮像した画像の合成処理などを好適に行うことができる。
　以下の説明において、
　第１レンズ１１の焦点距離を符号ｆ1、
　第２レンズ２１の焦点距離を符号ｆ2、
を用いて表す。
　第１撮像部１０は、第１レンズ１１によって結像される像を撮像する第１撮像素子１２を更に備えている。また、第２撮像部２０は、第２レンズ２１によって結像される像を撮像する第２撮像素子２２を更に備えている。第１撮像素子１２と第２撮像素子２２は、例えば、画素が行方向および列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサから構成されている。以下の説明において、第１撮像素子１２と第２撮像素子２２は共にモノクロ画像の撮像用であるとするが、これは例示に過ぎない。また、特に限定がない限り、空間の屈折率は「１」であるとして説明する。
　ビームスプリッタ３０は、断面が正方形状であるキューブ型であって、２個の直角プリズムの斜面同士が接合されており、一方のプリズムの斜面には、光を略半分ずつに分岐するための光学薄膜が形成されている。
　以下の説明において、
　被写体とビームスプリッタ３０の光入射面３３との距離を符号ＯＤ、
　ビームスプリッタ３０の断面の一辺の長さを符号Ｌ、
　ビームスプリッタ３０を構成する材料の屈折率を符号ｎ、
　ビームスプリッタ３０と反射ミラー４０との間の距離を符号ａ、
　第２出射面３２と第２レンズ２１の入射瞳との間の距離を符号ｂ、
を用いて表す。撮像装置１にあっては、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている。
　以上、撮像装置１の概要について説明した。次いで、第１の実施形態の理解を助けるために、参考例の撮像装置の構成と、その問題点について説明する。
　図２は、参考例の撮像装置の構成を説明するための模式図である。
　参考例の撮像装置９は、例えば、占有面積を減らすために、ビームスプリッタ３０の出射面とレンズとの間の距離を小さくしたといった構成である。具体的には、図２に示す撮像システム９は、図１に示す撮像システム１に対して、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が、第２出射面３２と第２レンズ２１の入射瞳との間の距離と同じく、共に符号ｂと設定されている点が相違する。
　図３は、参考例の撮像装置における結像状態を説明するための図である。図３Ａは、参考例の撮像装置における第１撮像部の結像状態を説明するための模式図である。図３Ｂは、参考例の撮像装置における第２撮像部の結像状態を説明するための模式図である。
　第１撮像部１０には、ビームスプリッタ３０への入射光の一部が反射面で反射することによって光が入射する。従って、被写体から第１レンズ１１の入射瞳までの光学的距離は、図２に示す位置関係から、
　・被写体からビームスプリッタ３０の光入射面３３までの距離
　　　＝ＯＤ
　・ビームスプリッタ３０の屈折率×（光入射面３３から反射面３５までの距離＋反射面　　３５から第１出射面３１までの距離）
　　　＝ｎ×（Ｌ／２＋Ｌ／２）
　　　＝ｎＬ
　・第１出射面３１から第１レンズ１１の入射瞳までの距離
　　　＝ｂ
の総和、即ち、［ＯＤ＋ｎＬ＋ｂ］となる。
　従って、光軸から像高方向に符号Ｙずれた被写体を観察する際、第１撮像部１０の結像状態は、図３Ａに示すとおりである。第１撮像素子１２は、距離［ＯＤ＋ｎＬ＋ｂ］にある被写体を、焦点距離が符号ｆ1の第１レンズ１１を介して撮像する。第１撮像素子１２における結像位置を符号ｙ1で表せば、以下の式（１）で表すことができる。
Figure JPOXMLDOC01-appb-I000005
　第２撮像部２０には、ビームスプリッタ３０を透過した面３４からの光が反射ミラー４０によって再度ビームスプリッタ３０の面３４に入射し、反射面３５で反射することによって光が入射する。従って、被写体から第２レンズ２１の入射瞳までの光学的距離は、図２に示す位置関係から、
　・被写体からビームスプリッタ３０の光入射面３３までの距離
　　　＝ＯＤ
　・ビームスプリッタ３０の屈折率×（光入射面３３から面３４までの距離）
　　　＝ｎＬ
　・面３４と反射ミラー４０との間を往復する距離
　　　＝２ａ
　・ビームスプリッタ３０の屈折率×（面３４から反射面３５までの距離＋反射面３５か　　ら第２出射面３２までの距離）
　　　＝ｎ×（Ｌ／２＋Ｌ／２）
　　　＝ｎＬ
　・第２出射面３２から第２レンズ２１の入射瞳までの距離
　　　＝ｂ
の総和、即ち、［ＯＤ＋２ａ＋２ｎＬ＋ｂ］となる。
　従って、光軸から像高方向に符号Ｙずれた被写体を観察する際、第２撮像部２０の結像状態は、図３Ｂに示すとおりである。第２撮像素子２２は、距離［ＯＤ＋２ａ＋２ｎＬ＋ｂ］にある被写体を、焦点距離が符号ｆ2の第２レンズ２１を介して撮像する。第２撮像素子２２における結像位置を符号ｙ2で表せば、以下の式（２）で表すことができる。
Figure JPOXMLDOC01-appb-I000006
　例えばｆ1≦ｆ2である場合、第２撮像部２０は第１撮像部１０よりも画角が狭くなり写る範囲も狭くなる。換言すれば、より望遠側の画像が撮像される。従って、第２撮像部２０が撮像した画像に第１撮像部１０が撮像した画像を合わせるためには、第１撮像部１０が撮像した画像に信号処理を施し、適宜拡大する必要がある。以下の式（３）で表す倍率ｋで拡大するとすれば、結像位置ｙ1と結像位置ｙ2とは仮想的に一致する。
Figure JPOXMLDOC01-appb-I000007
　ここで、被写体までの距離が符号ΔＯＤ変化した場合を考える。その際の、第１レンズ１１の結像位置に上述した倍率ｋを乗じた位置を符号ｙ1’で表し、第２レンズ２１の結像位置を符号ｙ2’で表す。これらは、それぞれ、以下の式（４）と式（５）で表すことができる。
Figure JPOXMLDOC01-appb-I000008
Figure JPOXMLDOC01-appb-I000009
　ここで、式（４）と式（５）とは同値にならない。従って、式（３）に示す倍率ｋで拡大処理を施す場合、被写体距離がＯＤであれば、第１撮像部１０と第２撮像部２０の結像位置は仮想的に一致するが、それ以外では一致しない。このため、距離が異なる被写体が含まれるシーンを撮像するといった場合に、被写体の距離に応じて画像にズレが生ずる。
　以上、参考例の撮像装置の構成と、その問題点について説明した。
　図１に示すように、第１の実施形態に係る撮像装置１にあっては、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている。これによって、参考例における、被写体の距離に応じて画像にズレが生ずるといった問題を解消することができる。
　撮像装置１において、被写体から第２レンズ２１の入射瞳までの光学的距離は、参考例と同様である。即ち、［ＯＤ＋２ａ＋２ｎＬ＋ｂ］となる。
　一方、被写体から第１レンズ１１の入射瞳までの光学的距離は、図１に示す位置関係から、
　・被写体からビームスプリッタ３０の光入射面３３までの距離
　　　＝ＯＤ
　・ビームスプリッタ３０の屈折率×（光入射面３３から反射面３５までの距離＋反射面　　３５から第１出射面３１までの距離）
　　　＝ｎ×（Ｌ／２＋Ｌ／２）
　　　＝ｎＬ
　・第１出射面３１から第１レンズ１１の入射瞳までの距離
　　　＝２ａ＋ｎＬ＋ｂ
の総和、即ち、［ＯＤ＋２ａ＋２ｎＬ＋ｂ］となる。
　図４は、第１の実施形態に係る撮像装置における結像状態を説明するための図である。図４Ａは、第１撮像部の結像状態を説明するための模式図である。図４Ｂは、第２撮像部の結像状態を説明するための模式図である。
　光軸から像高方向に符号Ｙずれた被写体を観察する際、第１撮像部１０の結像状態は、図４Ａに示すとおりである。第１撮像素子１２は、距離［ＯＤ＋２ａ＋２ｎＬ＋ｂ］にある被写体を、焦点距離が符号ｆ1の第１レンズ１１を介して撮像する。第１撮像素子１２における結像位置を符号ｙ1で表せば、以下の式（６）で表すことができる。
Figure JPOXMLDOC01-appb-I000010
　また、光軸から像高方向に符号Ｙずれた被写体を観察する際、第２撮像部２０の結像状態は、図４Ｂに示すとおりである。第２撮像素子２２は、距離［ＯＤ＋２ａ＋２ｎＬ＋ｂ］にある被写体を、焦点距離が符号ｆ2の第２レンズ２１を介して撮像する。第２撮像素子２２における結像位置を符号ｙ2で表せば、以下の式（７）で表すことができる。
Figure JPOXMLDOC01-appb-I000011
　例えばｆ1≦ｆ2である場合、第２撮像部２０は第１撮像部１０よりも画角が狭くなり写る範囲も狭くなる。参考例において説明したと同様に、以下の式（８）で表す倍率ｋで拡大するとすれば、結像位置ｙ1と結像位置ｙ2とは仮想的に一致する。
Figure JPOXMLDOC01-appb-I000012
　ここで、被写体までの距離が符号ΔＯＤ変化した場合を考える。その際の、第１レンズ１１の結像位置に上述した倍率ｋを乗じた位置を符号ｙ1’で表し、第２レンズ２１の結像位置を符号ｙ2’で表す。これらは、それぞれ、以下の式（９）と式（１０）で表すことができる。
Figure JPOXMLDOC01-appb-I000013
Figure JPOXMLDOC01-appb-I000014
　式（９）と式（１０）とは同値である。従って、式（８）で表す倍率ｋで拡大処理を施せば、被写体距離に関わらず、第１撮像部１０と第２撮像部２０の結像位置は仮想的に一致する。このため、距離が異なる被写体が含まれるシーンを撮像するといった場合であっても、被写体の距離に応じて画像にズレが生ずるといったことがない。
　上述したように撮像装置１にあっては、画像合わせを良好に行なうことができる。そして、撮像装置１は、第１撮像部１０により取得された第１画像と第２撮像部２０により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えているといった構成とすることもできる。後述する他の実施形態においても同様である。
　図５は、第１の実施形態に係る撮像装置における画像処理を説明するための図である。図５Ａは、画像処理部の構成を説明するための模式図である。図５Ｂは、画像処理部の動作を説明するための模式図である。
　図５Ａに示すように、画像処理部５０は、
　第１撮像部１０により取得された第１画像と第２撮像部２０により取得された第２画像とを同じサイズに合わせるサイズ合わせ部５１、及び、
　同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部５２、
を備えている。
　図５Ｂを参照して、画像処理部５０の動作を説明する。サイズ合わせ部５１は、例えば、上述した式（８）で表す倍率ｋに基づいて、第１撮像部１０により取得された第１画像１２Ｐについて拡大処理を行なう。
　画像信号処理部５２は、拡大処理が施された第１画像１２Ｐ’の画像信号と、第２撮像部２０により取得された第２画像２２Ｐの画像信号とに基づいて、適宜、信号処理を行なう。例えば、例えば、複数の画像を合成してＳ／Ｎを向上させるといった処理や、白黒画像に色情報を加えてカラー画像を合成するといった処理を行ない、処理後の画像１２２２Ｐ’を出力する。
　以上、第１の実施形態に係る撮像装置について説明した。第１の実施形態に係る撮像装置にあっては、拡大処理をする際の倍率が被写体の距離とは無関係に一定となる。これによって、各撮像部が撮像した画像の合成処理などを好適に行うことができる。
［第２の実施形態］
　第２の実施形態も、本開示に係る撮像装置に関する。
　第１の実施形態において、第１出射面と第１レンズの入射瞳との間の光学的距離が２ａ＋ｎＬ＋ｂである場合を説明した。第２の実施形態は、第１の実施形態の変形例であって、光学的距離にΔｚといったズレがある場合に、Δｚの範囲を規定する点が相違する。
　撮像素子の画素の寸法や光学的な結像限界を考慮すると、光学的距離に多少のズレが生じても取得される画像に何ら影響を与えないといったことが生じ得る。第２の実施形態にあっては、撮像素子の画素の寸法を考慮した上で、Δｚの範囲を規定した。
　図６は、本開示の第２の実施形態に係る撮像装置の構成を説明するための模式図である。
　図１に示す撮像装置１にあっては、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が２ａ＋ｎＬ＋ｂであった。これに対し、図６に示す撮像装置２にあっては、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである点が相違する。他の要素は、第１の実施形態において説明した要素と同様であるので、説明を省略する。
　第２の実施形態に係る撮像装置２にあっては、
　最接写距離となる被写体距離を符号ＯＤ’、
　第２撮像部２０のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
　第１レンズ１１の焦点距離を符号ｆ1、
　第２レンズ２１の焦点距離を符号ｆ2、
を用いて表すとき、
　ｆ1≦ｆ2であって、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、
Figure JPOXMLDOC01-appb-I000015
を満たすことを特徴とする。
　以下、図を参照して、第２の実施形態について詳しく説明する。
　図７は、第２の実施形態に係る撮像装置における結像状態を説明するための図である。図７Ａは、第１撮像部の結像状態を説明するための模式図である。図７Ｂは、第２撮像部の結像状態を説明するための模式図である。
　図７Ａから明らかなように、光軸から像高方向に符号Ｙずれた被写体を観察する際、第１撮像部１０の結像状態は、図７Ａに示すとおりである。第１撮像素子１２における結像位置を符号ｙ1で表せば、以下の式（１１）で表すことができる。
Figure JPOXMLDOC01-appb-I000016
　また、図７Ｂから明らかなように、光軸から像高方向に符号Ｙずれた被写体を観察する際、第２撮像部２０の結像状態は、図７Ｂに示すとおりである。第２撮像素子２２における結像位置を符号ｙ1で表せば、以下の式（１２）で表すことができる。
Figure JPOXMLDOC01-appb-I000017
　ここで、無限遠撮影時を基準として、画像の倍率を設定することを考える。無限遠においては、ＯＤ＞＞Δｚである。従って、上述した式（１１）は、以下の式（１３）のように近似することができる。
Figure JPOXMLDOC01-appb-I000018
　上述した式（１２）、式（１３）から、拡大処理を行なう際の係数ｋは、以下の式（１４）のように表すことができる。
Figure JPOXMLDOC01-appb-I000019
　一般的に、撮像装置の光学系には、レンズの性能などの制約により、撮像可能である最接写距離が設定される。
　図８は、第２の実施形態に係る撮像装置における、撮像可能である最接写距離時の結像状態を説明するための図である。図８Ａは、第１撮像部の結像状態を説明するための模式図である。図８Ｂは、第２撮像部の結像状態を説明するための模式図である。
　最接写状態となる被写体の距離を符号ＯＤ’、第１撮像素子１２の像高を符号ｙ1’、第２撮像素子２２の像高を符号ｙ2’と表す。このとき、像高ｙ1’と像高ｙ2’とは、それぞれ、以下の式（１５）と式（１６）とで表すことができる。
Figure JPOXMLDOC01-appb-I000020
Figure JPOXMLDOC01-appb-I000021
　ここで、上述した式（１４）を式（１５）に乗ずることにより得られる仮想的な結像位置は、以下の式（１７）のように表される。
Figure JPOXMLDOC01-appb-I000022
　以上の式（１６）と式（１７）との差分が、画像を合わせる際の位置ズレ量となる。位置ズレ量を符号Δｙで表せば、以下の式（１８）のように表される。
Figure JPOXMLDOC01-appb-I000023
　第２撮像部２０、より詳しくは、第２撮像部２０の第２撮像素子２２におけるＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙで表し、その画素ピッチを符号ｄで表すとき、上述したΔｙが最大となるのは、最大像高となる場合である。例えば、画素数が１０００×１０００で、画素ピッチが１マイクロメートルである場合、最大像高は（５００2＋５００2）1/2マイクロメートルである。符号Ｙは以下の式（１９）で表される。
Figure JPOXMLDOC01-appb-I000024
　以上の式（１８）と式（１９）とから、Δｙは以下の式（２０）のように表される。
Figure JPOXMLDOC01-appb-I000025
　ここで、Δｙが画素ピッチより小さければ、それに基づく誤差は検出不能である。従って、以下の式（２１）を満たすことによって、良好な位置合わせを行なうことができる。
Figure JPOXMLDOC01-appb-I000026
　そして、式（２１）の両辺を符号ｄで除算することによって、以下の式（２２）が得られる。
Figure JPOXMLDOC01-appb-I000027
　符号Δｚがこの式を満たす範囲であれば、それに基づく誤差は検出不能であって、良好な位置合わせを行なうことができる。
［第３の実施形態］
　第３の実施形態も、本開示に係る撮像装置に関する。
　第３の実施形態も、第１の実施形態の変形例であって、光学的距離にΔｚといったズレがある点が相違する。
　上述したように、撮像素子の画素の寸法や光学的な結像限界を考慮すると、光学的距離に多少のズレが生じても取得される画像に何ら影響を与えないといったことが生じ得る。第３の実施形態にあっては、光学的な性能を考慮した上で、Δｚの範囲を規定した。
　第３の実施形態に係る撮像装置３の模式的な構成図は、図６において撮像装置２を撮像装置３と読み替えればよい。構成要素は、第２の実施形態において説明した要素と同様であるので、説明を省略する。
　第３の実施形態に係る撮像装置３にあっては、
　最接写距離となる被写体距離を符号ＯＤ’、
　第２撮像部２０のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
　第２撮像部２０の画素ピッチを符号ｄ、
　第１レンズ１１の焦点距離を符号ｆ1、
　第２レンズ２１の焦点距離を符号ｆ2、
　第２レンズ２１の開口数を符号ＮＡ、
　検出する光の波長を符号λ、
を用いて表すとき、
　ｆ1≦ｆ2であって、第１出射面３１と第１レンズ１１の入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、
Figure JPOXMLDOC01-appb-I000028
を満たすことを特徴とする。
　以下、第３の実施形態について詳しく説明する。
　第２の実施形態における式（２２）は、Δｙが画素ピッチｄより小さければ、それに基づく誤差は検出不能であるといったことに注目して導出された。これに対し、第３の実施形態では、Δｙが光学的な回折限界性能よりも小さければ、誤差としては充分小さいと扱える点に注目した。具体的には、第２の実施形態において導出した式（２１）が、エアリーディスク径を与える１．２２λ／ＮＡより小さいことを表す式として、以下の式（２３）を導出した。
Figure JPOXMLDOC01-appb-I000029
　符号Δｚがこの式を満たす範囲であれば、それに基づく誤差は充分小さいと扱うことができ、良好な位置合わせを行なうことができる。
［第４の実施形態］
　第４の実施形態も、本開示に係る撮像装置に関する。第１の実施形態に対して、第１出射面と第１レンズの入射瞳との間には硝材が配置されていることが主に相違する。
　図９は、本開示の第４の実施形態に係る撮像装置の構成を説明するための模式図である。
　図１に示す撮像装置１にあっては、第１出射面３１と第１レンズ１１の入射瞳との間は屈折率が「１」の空間であった。これに対し、図９に示す撮像装置４にあっては、
　第１出射面３１と第１レンズ１１の入射瞳との間には硝材が配置されており、
　硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
といった点が相違する。他の要素は、第１の実施形態において説明した要素と同様であるので、説明を省略する。
　撮像装置４にあっては、第１出射面３１と第１レンズ１１の物理的長さを、第１の実施形態よりも短くすることができる。また、光学的距離の関係は、第１の実施形態と同様である。従って、第１の実施形態と同様に位置合わせを良好に行なうことができ、さらに、撮像装置の全長をより短くすることができる。
　尚、図９においては、硝材１３とビームスプリッタ３０とは別部材であるとして示したが、場合によっては、硝材１３と、ビームスプリッタ３０を構成する三角プリズムとが一体として構成されていてもよい。また、第１レンズ１１と硝材１３との間に幅が無視できる程度の間隙があってもよい。
。
［第５の実施形態］
　第５の実施形態も、本開示に係る撮像装置に関する。第１の実施形態に対して、反射ミラーがビームスプリッタの面上に接して配置されていることが主に相違する。
　図１０は、本開示の第５の実施形態に係る撮像装置の構成を説明するための模式図である。
　第１の実施形態において、第１出射面と第１レンズの入射瞳との間の光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている。従って、符号ａを小さくすれば、第１出射面と第１レンズの間は狭まるので、撮像装置全体の小型化に有利である。
　図１０に示す撮像装置５において、反射ミラー４０は、ビームスプリッタ３０の面上に接して配置されている。従って、符号ａ＝０として扱うことができ、撮像装置全体の小型化を図ることができる。
　反射ミラー４０とビームスプリッタ３０は別体であってもよいし、一体であってもよい。例えば、ビームスプリッタ３０の面３４上にコーティングを施して反射ミラー４０とすることも可能である。また、ビームスプリッタ３０と反射ミラー４０との間にλ／4波長板はＱＷＰフィルムなどの光学材料が配される構成であってもよい。
［第６の実施形態：応用例］
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニットの撮像部に適用され得る。即ち、本開示によれば、複数の撮像部を有する撮像装置によって、画像間の位置的なズレが軽減された状態で画像処理を行なうことができるので、より詳細な情報を得ることが可能になる。
［本開示の構成］
　尚、本開示は、以下のような構成をとることもできる。
［Ａ１］
　被写体からの光が入射する光入射面を有するビームスプリッタ、
　ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
　光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
　反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
　光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
撮像装置。
［Ａ２］
　ビームスプリッタは、断面が正方形状であるキューブ型であり、
　ビームスプリッタの断面の一辺の長さを符号Ｌ、
　ビームスプリッタを構成する材料の屈折率を符号ｎ、
　ビームスプリッタと反射ミラーとの間の距離を符号ａ、
　第２出射面と第２レンズの入射瞳までの距離を符号ｂ、
を用いて表すとき、
　第１出射面と第１レンズの入射瞳までの光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている、
上記［Ａ１］に記載の撮像装置。
［Ａ３］
　最接写距離となる被写体距離を符号ＯＤ’、
　第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
　第１レンズの焦点距離を符号ｆ1、
　第２レンズの焦点距離を符号ｆ2、
を用いて表すとき、
　ｆ1≦ｆ2であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、
Figure JPOXMLDOC01-appb-I000030
を満たす、
上記［Ａ２］に記載の撮像装置。
［Ａ４］
　最接写距離となる被写体距離を符号ＯＤ’、
　第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
　第２撮像部の画素ピッチを符号ｄ、
　第１レンズの焦点距離を符号ｆ1、
　第２レンズの焦点距離を符号ｆ2、
　第２レンズの開口数を符号ＮＡ、
　検出する光の波長を符号λ、
を用いて表すとき、
　ｆ1≦ｆ2であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、
Figure JPOXMLDOC01-appb-I000031
を満たす、
上記［Ａ２］に記載の撮像装置。
［Ａ５］
　第１出射面と第１レンズの入射瞳との間には硝材が配置されており、
　硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
上記［Ａ２］ないし［Ａ４］のいずれかに記載の撮像装置。
［Ａ６］
　反射ミラーは、ビームスプリッタの面上に接して配置されている、
上記［Ａ１］ないし［Ａ５］のいずれかに記載の撮像装置。
［Ａ７］
　第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えている、
上記［Ａ１］ないし［Ａ６］のいずれかに記載の撮像装置。
［Ａ８］
　画像処理部は、
　第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とを同じサイズに合わせるサイズ合わせ部、及び、
　同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部、
を備えている、
上記［Ａ７］に記載の撮像装置。
［Ｂ１］
　撮像装置を備えた電子機器であって、
　撮像装置は、
　被写体からの光が入射する光入射面を有するビームスプリッタ、
　ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
　光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
　反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
　光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
電子機器。
［Ｂ２］
　ビームスプリッタは、断面が正方形状であるキューブ型であり、
　ビームスプリッタの断面の一辺の長さを符号Ｌ、
　ビームスプリッタを構成する材料の屈折率を符号ｎ、
　ビームスプリッタと反射ミラーとの間の距離を符号ａ、
　第２出射面と第２レンズの入射瞳までの距離を符号ｂ、
を用いて表すとき、
　第１出射面と第１レンズの入射瞳までの光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている、
上記［Ｂ１］に記載の電子機器。
［Ｂ３］
　最接写距離となる被写体距離を符号ＯＤ’、
　第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
　第１レンズの焦点距離を符号ｆ1、
　第２レンズの焦点距離を符号ｆ2、
を用いて表すとき、
　ｆ1≦ｆ2であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、
Figure JPOXMLDOC01-appb-I000032
を満たす、
上記［Ｂ２］に記載の電子機器。
［Ｂ４］
　最接写距離となる被写体距離を符号ＯＤ’、
　第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
　第２撮像部の画素ピッチを符号ｄ、
　第１レンズの焦点距離を符号ｆ1、
　第２レンズの焦点距離を符号ｆ2、
　第２レンズの開口数を符号ＮＢ、
　検出する光の波長を符号λ、
を用いて表すとき、
　ｆ1≦ｆ2であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、
Figure JPOXMLDOC01-appb-I000033
を満たす、
上記［Ｂ２］に記載の電子機器。
［Ｂ５］
　第１出射面と第１レンズの入射瞳との間には硝材が配置されており、
　硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
上記［Ｂ２］ないし［Ｂ４］のいずれかに記載の電子機器。
［Ｂ６］
　反射ミラーは、ビームスプリッタの面上に接して配置されている、
上記［Ｂ１］ないし［Ｂ５］のいずれかに記載の電子機器。
［Ｂ７］
　第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えている、
上記［Ｂ１］ないし［Ｂ６］のいずれかに記載の電子機器。
［Ｂ８］
　画像処理部は、
　第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とを同じサイズに合わせるサイズ合わせ部、及び、
　同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部、
を備えている、
上記［Ｂ７］に記載の電子機器。
１，２，３，４，５，９・・・撮像装置、１０・・・第１撮像部、１１・・・第１レンズ、１２・・・第１撮像素子、１３・・・硝材、２０・・・第２撮像部、２１・・・第２レンズ、２２・・・第２撮像素子、３０・・・ビームスプリッタ、３１・・・第１出射面、３２・・・第２出射面、３３・・・光入射面、３４・・・反射ミラー側の面、３５・・・反射面、４０・・・反射ミラー、５０・・・画像処理部、５１・・・サイズ合わせ部、５２・・・画像信号処理部

Claims (9)

  1. 　被写体からの光が入射する光入射面を有するビームスプリッタ、
    　ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
    　光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
    　反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
    を備えており、
    　光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
    撮像装置。
  2. 　ビームスプリッタは、断面が正方形状であるキューブ型であり、
    　ビームスプリッタの断面の一辺の長さを符号Ｌ、
    　ビームスプリッタを構成する材料の屈折率を符号ｎ、
    　ビームスプリッタと反射ミラーとの間の距離を符号ａ、
    　第２出射面と第２レンズの入射瞳までの距離を符号ｂ、
    を用いて表すとき、
    　第１出射面と第１レンズの入射瞳までの光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている、
    請求項１に記載の撮像装置。
  3. 　最接写距離となる被写体距離を符号ＯＤ’、
    　第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
    　第１レンズの焦点距離を符号ｆ1、
    　第２レンズの焦点距離を符号ｆ2、
    を用いて表すとき、
    　ｆ1≦ｆ2であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
    符号Δｚは以下の式、
    Figure JPOXMLDOC01-appb-I000001
    を満たす、
    請求項２に記載の撮像装置。
  4. 　最接写距離となる被写体距離を符号ＯＤ’、
    　第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
    　第２撮像部の画素ピッチを符号ｄ、
    　第１レンズの焦点距離を符号ｆ1、
    　第２レンズの焦点距離を符号ｆ2、
    　第２レンズの開口数を符号ＮＡ、
    　検出する光の波長を符号λ、
    を用いて表すとき、
    　ｆ1≦ｆ2であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
    符号Δｚは以下の式、
    Figure JPOXMLDOC01-appb-I000002
    を満たす、
    請求項２に記載の撮像装置。
  5. 　第１出射面と第１レンズの入射瞳との間には硝材が配置されており、
    　硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
    請求項２に記載の撮像装置。
  6. 　反射ミラーは、ビームスプリッタの面上に接して配置されている、
    請求項１に記載の撮像装置。
  7. 　第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えている、
    請求項１に記載の撮像装置。
  8. 　画像処理部は、
    　第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とを同じサイズに合わせるサイズ合わせ部、及び、
    　同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部、
    を備えている、
    請求項１に記載の撮像装置。
  9. 　撮像装置を備えた電子機器であって、
    　撮像装置は、
    　被写体からの光が入射する光入射面を有するビームスプリッタ、
    　ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
    　光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
    　反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
    を備えており、
    　光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
    電子機器。
PCT/JP2018/045092 2018-01-26 2018-12-07 撮像装置、及び、電子機器 WO2019146275A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/961,521 US20200358933A1 (en) 2018-01-26 2018-12-07 Imaging device and electronic apparatus
CN201880086877.3A CN111630452B (zh) 2018-01-26 2018-12-07 成像装置和电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018011302A JP2019128517A (ja) 2018-01-26 2018-01-26 撮像装置、及び、電子機器
JP2018-011302 2018-01-26

Publications (1)

Publication Number Publication Date
WO2019146275A1 true WO2019146275A1 (ja) 2019-08-01

Family

ID=67395372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045092 WO2019146275A1 (ja) 2018-01-26 2018-12-07 撮像装置、及び、電子機器

Country Status (4)

Country Link
US (1) US20200358933A1 (ja)
JP (1) JP2019128517A (ja)
CN (1) CN111630452B (ja)
WO (1) WO2019146275A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3998082A4 (en) 2019-07-10 2024-02-07 Nat Cancer Ct SPECIFIC MARKER FOR IDENTIFYING T CELLS THAT SPECIFICALLY ATTACK CANCER CELLS
CN111220627B (zh) * 2020-03-20 2022-09-13 泉州师范学院 基于双色分离成像法的晶粒双面同时等光程共焦成像检测的装置与方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011007599A (ja) * 2009-06-25 2011-01-13 Kyocera Corp 被写体距離推定装置
JP2012198414A (ja) * 2011-03-22 2012-10-18 Sharp Corp 立体像撮影装置および電子機器
WO2013027459A1 (ja) * 2011-08-24 2013-02-28 オリンパスメディカルシステムズ株式会社 撮像装置及び撮像装置システム
JP2014103597A (ja) * 2012-11-21 2014-06-05 Olympus Corp 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW550936B (en) * 2001-12-31 2003-09-01 Veutron Corp Optical path layout of image capturing system and the achieving method thereof
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
WO2011043025A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 固体撮像素子および撮像装置
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9374516B2 (en) * 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
JP2015222333A (ja) * 2014-05-22 2015-12-10 コニカミノルタ株式会社 ズームレンズ及び撮像装置
US9386222B2 (en) * 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) * 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US10539763B2 (en) * 2016-03-31 2020-01-21 Sony Corporation Optical system, electronic device, camera, method and computer program
CN106713723A (zh) * 2017-03-29 2017-05-24 中山联合光电科技股份有限公司 一种双光可调拍摄系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011007599A (ja) * 2009-06-25 2011-01-13 Kyocera Corp 被写体距離推定装置
JP2012198414A (ja) * 2011-03-22 2012-10-18 Sharp Corp 立体像撮影装置および電子機器
WO2013027459A1 (ja) * 2011-08-24 2013-02-28 オリンパスメディカルシステムズ株式会社 撮像装置及び撮像装置システム
JP2014103597A (ja) * 2012-11-21 2014-06-05 Olympus Corp 撮像装置

Also Published As

Publication number Publication date
US20200358933A1 (en) 2020-11-12
CN111630452A (zh) 2020-09-04
CN111630452B (zh) 2022-01-14
JP2019128517A (ja) 2019-08-01

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US11076141B2 (en) Image processing device, image processing method, and vehicle
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
JP7140135B2 (ja) 可変焦点距離レンズ系および撮像装置
US11942494B2 (en) Imaging device
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2019146275A1 (ja) 撮像装置、及び、電子機器
US20230186651A1 (en) Control device, projection system, control method, and program
WO2019073744A1 (ja) 撮像レンズおよび撮像装置
CN114829988B (zh) 透镜系统、用于控制透镜系统的方法和计算机程序产品
JP7140136B2 (ja) 可変焦点距離レンズ系および撮像装置
US20230013424A1 (en) Information processing apparatus, information processing method, program, imaging apparatus, and imaging system
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2024106114A1 (en) Imaging element
WO2023195392A1 (en) Light detection device
JP2024073899A (ja) 撮像素子
JP2024065130A (ja) 情報処理装置、情報処理方法及びプログラム
JP2023152551A (ja) 光検出装置及び電子機器
CN117044051A (zh) 半导体装置、电子装置以及控制半导体装置的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902729

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18902729

Country of ref document: EP

Kind code of ref document: A1