WO2024101325A1 - 光学装置及び撮像装置 - Google Patents

光学装置及び撮像装置 Download PDF

Info

Publication number
WO2024101325A1
WO2024101325A1 PCT/JP2023/039951 JP2023039951W WO2024101325A1 WO 2024101325 A1 WO2024101325 A1 WO 2024101325A1 JP 2023039951 W JP2023039951 W JP 2023039951W WO 2024101325 A1 WO2024101325 A1 WO 2024101325A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
optical
optical system
imaging
Prior art date
Application number
PCT/JP2023/039951
Other languages
English (en)
French (fr)
Inventor
俊 菅原
佑介 林
将行 佐東
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2024101325A1 publication Critical patent/WO2024101325A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • This disclosure relates to optical devices and imaging devices.
  • the imaging optical system that forms an image of the object being observed has a variety of physical properties, such as focal length and angle of view. As the focal length increases, an enlarged image of the object being observed is formed, and detailed optical information of the distant object being observed, in other words, enlarged optical information, can be obtained. As the angle of view increases, optical information of objects located over a wider area can be obtained. However, there is a trade-off between focal length and angle of view, and as the focal length increases, the angle of view becomes narrower, and as the focal length decreases, the angle of view becomes wider.
  • the focal length is adjusted so that the desired optical information can be obtained depending on the situation.
  • the focal length is adjusted by displacing a zoom lens included in the imaging optical system.
  • the focal length is also adjusted by switching between multiple fixed focal length lenses (see Patent Documents 1 and 2).
  • An optical device includes an optical system, an optical element, and a prism.
  • the optical system focuses an incident first light onto a predetermined area.
  • the optical element guides a second light, the angle between the optical axis of the optical system and the chief ray incident on the optical system being different from that of the first light, to the predetermined area.
  • the prism is located in a space surrounded by the optical system, the optical element, and the predetermined area.
  • An imaging device includes the optical device and an imaging element arranged so that the predetermined area and the imaging area overlap.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging device according to a first embodiment.
  • FIG. 2 is a diagram showing a modified example of the optical element in FIG. 1 , as viewed from a direction perpendicular to the optical axis of the imaging device.
  • FIG. 2 is a diagram showing another modified example of the optical element in FIG. 1 , as viewed from a direction perpendicular to the optical axis of the imaging device.
  • FIG. 2 is a diagram showing an imaging device viewed from a direction perpendicular to the optical axis, in order to show yet another modified example of the optical element in FIG. 1 .
  • FIG. 1 is a diagram showing a schematic configuration of an imaging device according to a first embodiment.
  • FIG. 2 is a diagram showing a modified example of the optical element in FIG. 1 , as viewed from a direction perpendicular to the optical axis of the imaging device.
  • FIG. 2 is a diagram showing another modified example of the optical element in FIG. 1
  • FIG. 2 is a diagram showing an imaging device viewed from a direction perpendicular to the optical axis, in order to show yet another modified example of the optical element in FIG. 1 .
  • FIG. 2 is a diagram showing an imaging device viewed from a direction perpendicular to the optical axis, in order to show yet another modified example of the optical element in FIG. 1 .
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region.
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region. 2 is a diagram for explaining physical properties of the image sensor and the optical system in FIG. 1 .
  • FIG. 2 is a conceptual diagram illustrating an image that reaches the light receiving region of FIG. 1 .
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region.
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region.
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region.
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region.
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region.
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region.
  • FIG. 2 is a diagram showing still another modified example of the optical element in FIG. 1, as viewed from the normal direction of the light receiving region.
  • 2 is a conceptual diagram illustrating a situation in which a superimposed image reaching the light receiving region in FIG. 1 is formed.
  • 4 is a conceptual diagram for explaining a process of generating a restored image from a superimposed image by the controller of FIG. 1.
  • 4 is a flowchart for explaining a distance measurement process executed by the controller of FIG. 1 .
  • FIG. 11 is a diagram illustrating an example of a schematic configuration of an imaging device according to a second embodiment.
  • FIG. 2 is a diagram showing an example of a superimposed image of images formed by two imaging optical systems.
  • FIG. 21 is a diagram showing an example in which an object point outside the angle of view is directly imaged in the configuration of FIG. 20 .
  • FIG. 13 is a diagram illustrating an example of a schematic configuration of an imaging device according to a third embodiment.
  • FIG. 13 is a diagram showing a schematic configuration of an imaging device according to a fourth embodiment.
  • 25 is a conceptual diagram for explaining image components that reach the light receiving region of FIG. 24.
  • 21 is a conceptual diagram for explaining image components that reach a light receiving region in the modified example of FIG. 20.
  • 21 is a conceptual diagram for explaining image components that reach a light receiving region in another modified example of FIG. 20.
  • FIG. FIG. 13 is a diagram showing a schematic configuration of an imaging device according to a fifth embodiment.
  • FIG. 30 is a configuration diagram for explaining a pixel structure in the image sensor of FIG. 28.
  • wide-range and expanded optical information can be generated.
  • the imaging device 10 includes an optical device 21, an imaging element 12, and a prism 30.
  • the imaging device 10 may further include a controller 14.
  • the optical device 21 includes an imaging optical system 11 and an optical element 13.
  • the imaging optical system 11 is also simply referred to as an optical system.
  • the imaging optical system 11 forms an image of the light or light beam incident from the subject.
  • the light or light beam incident from the subject is also called subject light or subject light beam.
  • the imaging optical system 11 forms an image of the first light incident on a predetermined area pa.
  • the first light may be light emitted from an object point located within the angle of view of the imaging optical system 11 alone.
  • the predetermined area pa may be, for example, a virtual plane or curved surface in a three-dimensional space whose center intersects with the optical axis ox of the imaging optical system 11.
  • the angle of view of the imaging optical system 11 alone in other words, the angle of view of the imaging optical system 11 in a configuration that does not include the optical element 13, is also called the direct angle of view.
  • the imaging optical system 11 is composed of optical elements that form light or light beams emitted from object points at different positions at different image points alone, in other words, without the optical element 13.
  • the optical elements that constitute the imaging optical system 11 are, for example, lenses, mirrors, apertures, etc.
  • the imaging optical system 11 does not have to be image-side telecentric.
  • the angle of the chief ray of any light beam passing through the imaging optical system 11 with respect to the optical axis may be greater than 0°.
  • the imaging optical system 11 may be image-side telecentric.
  • the optical element 13 guides the second light incident on the imaging optical system 11 to a predetermined area pa.
  • the second light is different from the first light in the angle between the optical axis ox of the imaging optical system 11 and the chief ray incident on the imaging optical system 11.
  • the second light may be light emitted from an object point located outside the angle of view of the imaging optical system 11, in other words, directly outside the angle of view. Therefore, the angle between the chief ray of the second light and the optical axis ox may be larger than the angle between the chief ray of the first light and the optical axis ox.
  • the chief ray may be any of a ray passing through the center of the aperture stop of the imaging optical system 11, a ray passing through the center of the entrance pupil of the imaging optical system 11, and a ray at the center of a light beam emitted from any one object point and incident on the imaging optical system 11.
  • the optical element 13 may image the second light passing through the imaging optical system 11 in a predetermined area pa.
  • the optical element 13 may be a mirror that reflects the second light and directs it to a predetermined area pa.
  • the reflective surface of the mirror may be parallel to the optical axis ox of the imaging optical system 11. Alternatively, the reflective surface of the mirror may not be parallel to the optical axis ox.
  • the prism 30 is located between the imaging optical system 11 and the imaging element 12, and between the two optical elements 13. In other words, the prism 30 is located in a space surrounded by the imaging optical system 11, the optical element 13, and a predetermined area pa.
  • the prism 30 is made of a transparent material such as glass or resin.
  • the prism 30 has a first surface 31 that faces the imaging optical system 11.
  • the prism 30 has a second surface 32 that faces the optical element 13.
  • the prism 30 has a third surface 33 that faces the imaging element 12.
  • the imaging element 12 has a light receiving area ra.
  • the imaging element 12 captures the light that is incident on the light receiving area ra.
  • the light receiving area ra is also called the imaging area.
  • the imaging optical system 11 is configured to focus the subject light or subject light beams on the light receiving area ra of the imaging element 12, taking into account the refraction of light at the first surface 31 of the prism 30.
  • the optical element of the imaging optical system 11 that is located closest to the imaging element 12 may be configured integrally with the first surface 31 of the prism 30.
  • the prism 30 may be included in the imaging optical system 11, and function as the optical element of the imaging optical system 11 that is located closest to the imaging element 12.
  • the second surface 32 of the prism 30 contacts the reflective surface of the mirror that constitutes the optical element 13.
  • the second surface 32 of the prism 30 may be configured integrally with the optical element 13.
  • the second surface 32 of the prism 30 may function as the reflective surface of the mirror that constitutes the optical element 13.
  • the surface of the transparent member may be coated with a material with high reflectivity, such as metal or resin.
  • the prism 30 may have a surface at the third surface 33 that contacts the surface of the cover of the image sensor 12.
  • the prism 30 may be configured integrally with the cover of the image sensor 12.
  • the reflective surface of the mirror may be tilted with respect to the optical axis ox so as to be in an outwardly tilted position facing the imaging optical system 11, as shown in FIG. 2.
  • the angle of view of the entire optical device 21 can be made wider than in a configuration in which the reflective surface of the mirror is parallel to the optical axis ox.
  • the prism 30 may be located between the reflective surfaces of the mirrors of the optical element 13.
  • the optical device 21 may have a first lens 22 for adjusting the optical path length disposed between the imaging optical system 11 and the optical element 13, which is a mirror.
  • the first lens 22 may be a cylindrical lens in a configuration in which the mirror is a mirror having a surface parallel to the direction perpendicular to the optical axis ox, such as a plane mirror.
  • the first lens 22 may be located outside the optical axis ox of a line connecting the chief ray of the first light passing through the outer edge of the exit pupil of the imaging optical system 11 and the predetermined area pa.
  • the optical device 21 may be provided with a prism 23 as shown in FIG. 3.
  • the second light may be reflected by the optical element 13, which is a mirror, and then further reflected by the prism 23, so as to be guided to a predetermined area pa.
  • the prism 23 may be installed on the imaging element 12.
  • the prism 23 may be arranged so as to be in contact with at least a portion of the prism 30.
  • the prism 23 may be configured integrally with the prism 30.
  • the optical element 13, which is a mirror may be, for example, a flat mirror, a curved mirror, a DMD (Digital Mirror Device), and a Fresnel mirror.
  • the reflective surface of the mirror may be tilted with respect to the optical axis ox so as to be in an inwardly tilted position facing the imaging surface of the imaging optical system 11, as shown in FIG. 4.
  • the entire optical device 21 can be made smaller than in a configuration in which the reflective surface of the mirror is parallel to the optical axis ox.
  • the prism 30 may be located between the reflective surfaces of the mirrors of the optical element 13.
  • the optical element 13, which is a mirror may be, for example, a flat mirror, a curved mirror as shown in FIG. 5, or a DMD or Fresnel mirror as shown in FIG. 6.
  • the prism 30 may be located between the reflective surfaces of the mirror of the optical element 13 in FIG. 5.
  • the prism 30 may also be located between the DMD or Fresnel mirror in FIG. 6. If the mirror in FIG. 6 is a DMD, the prism 30 may be positioned so as not to interfere with the operation of the DMD.
  • the reflective surface of the mirror may be parallel to one of the sides of the rectangular light receiving area ra of the image sensor 12 described later.
  • the reflective surface of the mirror may intersect one of the sides of the light receiving area ra as shown in FIG. 7.
  • the prism 30 may be arranged along the reflective surface of the mirror or in contact with the reflective surface of the mirror. In a configuration in which the reflective surface of the mirror intersects one of the sides of the light receiving area ra, the separation accuracy by the image separation model described later can be improved.
  • the optical element 13 in a configuration in which the reflective surface of the mirror intersects one of the sides of the light receiving area ra, it is preferable to arrange the optical element 13 so that the overlap area between the area sandwiched between two straight lines extending perpendicularly from both ends of the optical element 13, which is a mirror, and the light receiving area ra is maximized when viewed from the normal direction of the light receiving area ra.
  • the mirror may be located outside the exit pupil of the imaging optical system 11 when viewed from the optical axis ox direction of the imaging optical system 11. More specifically, the mirror may be positioned with respect to the imaging optical system 11 so that the reflective surface is located outside the exit pupil. Alternatively, the mirror may be located inside the exit pupil when viewed from the optical axis ox direction. In particular, in a configuration in which the light receiving area ra is smaller than the pupil diameter, the mirror may be located inside the exit pupil.
  • the mirror may include a plurality of plane mirrors. Two plane mirrors belonging to at least one set of the plurality of plane mirrors may be positioned so that their reflective surfaces face each other and are parallel to each other. Alternatively, the plurality of plane mirrors may be two plane mirrors positioned so that their reflective surfaces are perpendicular to each other, as shown in FIG. 8. Furthermore, the two plane mirrors whose reflective surfaces are perpendicular to each other may be parallel to two perpendicular sides of the rectangular light receiving area ra. The plane mirror and the outer edge of the light receiving area ra of the image sensor 12 may be in close contact with each other in the normal direction of the plane mirror.
  • the plane mirror and the outer edge of the light receiving area ra may not be in close contact with each other in the normal direction of the plane mirror, but may have a gap therebetween. Even in this case, the prism 30 may be arranged along the reflective surface of the mirror or in contact with the reflective surface of the mirror.
  • the distance H between the optical axis ox and each of the two plane mirrors whose reflective surfaces are parallel to each other may be equal.
  • the two parallel plane mirrors, the imaging optical system 11, and the imaging element 12 may be designed and arranged to satisfy CRA ⁇ tan-1(H/B).
  • CRA is the angle of the chief ray of the imaging optical system 11, which is emitted from an object point pp at an angle twice the direct angle of view, with respect to the optical axis ox.
  • B is the back focus of the imaging optical system 11.
  • the prism 30 may be located between the reflective surfaces of the mirrors of the optical element 13.
  • the first image component im1 corresponding to the first light reaches the light receiving area ra of the image sensor 12 without passing through the optical element 13. More specifically, the first image component im1 corresponding to the first light corresponds to the subject image located directly within the angle of view. Furthermore, the second image component im2 corresponding to the second light reaches the light receiving area ra in an inverted form via the optical element 13. More specifically, the second image component im2 corresponding to the second light corresponds to the subject image located directly outside the angle of view.
  • the optical element 13 is a mirror having a surface parallel to the direction perpendicular to the optical axis ox, but it may be a mirror having a curved surface as viewed from the optical axis ox.
  • the optical element 13 may be a pair of curved mirrors provided on a pair of opposite sides of the rectangular light receiving area ra as viewed from the normal direction of the light receiving area ra, as shown in FIG. 11.
  • the curved mirrors may be parallel to the normal direction of the light receiving area ra.
  • the optical element 13 may be a mirror having a circular curved surface that contains the rectangular light receiving area ra as viewed from the normal direction of the light receiving area ra, as shown in FIG. 12.
  • the optical element 13 may be a mirror having an elliptical curved surface that contains the rectangular light receiving area ra as viewed from the normal direction of the light receiving area ra, as shown in FIG. 13.
  • a mirror having an elliptical curved surface is preferable in a configuration in which the light receiving area ra is a rectangle other than a square.
  • the optical element 13 may be a mirror having a circular curved surface that is included in the rectangular light receiving area ra when viewed from the normal direction of the light receiving area ra, as shown in FIG. 14.
  • the optical element 13 may be a mirror having an elliptical curved surface that is included in the rectangular light receiving area ra when viewed from the normal direction of the light receiving area ra, as shown in FIG. 15.
  • the optical element 13 is a mirror having a curved surface that is included in the rectangular light receiving area ra
  • a gap between the light receiving area ra and the mirror can be eliminated when viewed from the normal direction of the light receiving area ra.
  • the elimination of the gap can improve the continuity of optical information in the superimposed image described later, compared to a configuration with a gap.
  • the prism 30 may be arranged along the reflective surface of the mirror or in contact with the reflective surface of the mirror.
  • the outer shape of the prism 30 may be a shape that matches the shape of the reflective surface of the mirror.
  • the imaging element 12 captures an image that is formed within the light receiving area ra.
  • the imaging element 12 may be arranged in the imaging device 10 so that a predetermined area pa of the optical device 21 and the light receiving area ra overlap. Therefore, the light receiving area ra of the imaging element 12 may correspond to the direct angle of view.
  • the direct angle of view may be an angle of view equivalent to the range of object points that are imaged within the light receiving area ra without passing through the optical element 13.
  • At least a portion of the light beam which is the first light that enters the imaging optical system 11 from within the direct angle of view of the imaging optical system 11, may be imaged in the light receiving area ra.
  • at least a portion of the light beam, which is the second light that enters the imaging optical system 11 from outside the direct angle of view of the imaging optical system 11 and passes through the optical element 13 may be imaged in the light receiving area ra.
  • the imaging element 12 may be capable of capturing an image using invisible light such as visible light, infrared light, and ultraviolet light.
  • the imaging element 12 may be, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, or the like.
  • the imaging element 12 may be a color image sensor.
  • a plurality of pixels arranged in the light receiving area ra of the imaging element 12 may be covered by, for example, RGB (Red, Green, and Blue) color filters so as to be evenly distributed within the light receiving area ra.
  • the light receiving area ra of the imaging element 12 may also be covered by a cover.
  • the cover may be configured as a transparent member such as glass or resin.
  • the imaging element 12 generates an image signal corresponding to an image received by imaging.
  • the imaging element 12 may generate an image signal at a predetermined frame rate such as 30 fps (frames per second).
  • the outer edge of the light receiving area ra on the side where the optical element 13 is provided may be located outside the outer edge of the exit pupil of the image capturing optical system 11. Outside the outer edge of the exit pupil means outside with respect to the optical axis ox of the image capturing optical system 11.
  • the light receiving area ra may be rectangular.
  • the imaging device 10 may be provided with multiple imaging elements 12.
  • an optical element 13 may be provided between two adjacent imaging elements 12.
  • the prism 30 may be disposed on the imaging element 12 on which the optical element 13 is provided, along the reflective surface of the mirror, or in contact with the reflective surface of the mirror.
  • the prism 30 may also be disposed on an imaging element 12 on which the optical element 13 is not provided.
  • the prism 30 may be disposed across the imaging element 12 on which the optical element 13 is provided and the imaging element 12 on which the optical element 13 is not provided.
  • the imaging element 12 captures a superimposed image olim of the first image component im1 and the second image component im2 inverted when the optical element 13 is a mirror.
  • the controller 14 is configured to include at least one processor, at least one dedicated circuit, or a combination of these.
  • the processor is a general-purpose processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), or a dedicated processor specialized for specific processing.
  • the dedicated circuit may be, for example, an FPGA (Field-Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), etc.
  • the controller 14 may perform image processing on the image signal obtained from the image sensor 12.
  • the controller 14 may perform image processing to separate the superimposed image olim corresponding to the image signal into a first image component im1 and a second image component im2.
  • the controller 14 separates the superimposed image olim by applying an image processing method such as independent component analysis, wavelet method, image separation model, etc.
  • the image separation model is a model constructed by, for example, creating a superimposed image by superimposing multiple images in advance and learning the multiple images as correct answers for the superimposed image.
  • the image separation model may be a model that applies Pix-to-Pix, which makes a generator that generates an image like an Encoder-Decoder model compete with a discriminator that determines whether the generated image is a fake image, and generates a pair image that reflects the relationship.
  • the controller 14 may generate a restored image rcim by combining the separated first image component im1 and second image component im2.
  • the controller 14 may use the restored image rcim to measure the distance to a subject captured in the vicinity of the imaging device 10.
  • the controller 14 may use the restored image rcim to measure the distance, for example, based on Depth From Defocus (DFD).
  • the controller 14 may use the restored image rcim to measure the distance based on the motion parallax method (SLAM: Simultaneous Localization and Mapping, Motion Stereo), a separation model based on Deep Learning, a foot distance measurement method, etc.
  • the foot distance measurement method is a method of calculating three-dimensional coordinates based on image coordinates, assuming that the bottom end of the subject image is located on the ground.
  • the controller 14 may generate a distance image based on the distance corresponding to each address of the restored image rcim.
  • the distance image is an image in which the pixel value of each pixel corresponds to the distance.
  • the controller 14 may provide the distance image to an external device.
  • the distance measurement process starts each time an image signal is acquired from the image sensor 12.
  • step S100 the controller 14 separates the second image component im2 from the superimposed image olim corresponding to the acquired image signal. After separation, the process proceeds to step S101.
  • step S101 the controller 14 generates a first image component im1 by subtracting the second image component im2 separated in step S100 from the superimposed image olim. After the first image component im1 is generated, the process proceeds to step S102.
  • step S102 the controller 14 generates a restored image rcim by combining the second image component im2 separated in step S100 with the first image component im1 generated in step S101. After generating the restored image rcim, the process proceeds to step S103.
  • step S103 the controller 14 uses the restored image rcim generated in step S102 to measure the distance to each subject appearing in the restored image rcim. After measuring the distance, the process proceeds to step S104.
  • step S104 the controller 14 generates a distance image based on the distance calculated in step S103 and the position of the restored image rcim that corresponds to that distance.
  • the controller 14 also provides the distance image to the external device. After the distance image is generated, the distance measurement process ends.
  • the optical device 21 of the first embodiment configured as described above includes an imaging optical system 11 that focuses an incident first light on a predetermined area pa, and an optical element 13 that directs a second light, the angle between the optical axis ox of the imaging optical system 11 and the principal ray incident on the imaging optical system 11 being different from that of the first light, to the predetermined area pa.
  • the optical device 21 employs an imaging optical system 11 with a relatively long focal length, and can direct an image including optical information in a wider angle range than the angle of view corresponding to that focal length to the predetermined area ra. Therefore, the optical device 21 can generate wide-range and expanded optical information.
  • the optical element 13 is a mirror that reflects the second light and directs it to a predetermined area pa, and the reflective surface of the mirror is parallel to the optical axis ox and to one of the sides of the rectangular light-receiving area ra of the imaging element 12.
  • the imaging device 10 of the first embodiment also includes a prism 30.
  • the second surface 32 of the prism 30 is in contact with the reflective surface of the optical element 13 or is configured integrally with the reflective surface of the optical element 13.
  • the reflective surface of the optical element 13 is less likely to move relative to the imaging optical system 11. In other words, the position of the optical element 13 is stable. As a result, the effects of misalignment of the optical element 13 due to vibration, impact, or the like are reduced.
  • the mirrors include a plurality of plane mirrors, and at least one pair of two plane mirrors of the plurality of plane mirrors are positioned so that the reflective surfaces are parallel to each other.
  • the imaging device 10 can acquire optical information that is expanded on both sides from the direct angle of view centered on the optical axis ox.
  • the distance H between the optical axis ox and each of the reflecting surfaces of the two parallel plane mirrors is equal, and the angle CRA of the chief ray of the light beam from the object point pp at an angle twice the direct angle of view satisfies CRA ⁇ tan ⁇ 1 (H/B).
  • the imaging device 10 prevents the superposition of three layers of image components caused by the superposition of the reflected light components from one plane mirror and the other plane mirror, and can improve the accuracy of separation of the image components by subsequent image processing.
  • the plane mirror and the outer edge of the light receiving area ra of the imaging element 12 are in close contact in the normal direction of the plane mirror. If a gap occurs between the plane mirror and the light receiving area ra of the imaging element 12 in the normal direction, optical information of the subject imaged in the gap is lost. In response to such an event, the imaging device 10 having the above-described configuration prevents the loss of optical information.
  • the mirror is located outside the exit pupil of the imaging optical system 11 when viewed from the direction of the optical axis ox.
  • the imaging device 10 can cause light or light beams passing near the edge of the exit pupil to be incident on the mirror. Therefore, the imaging device 10 can reduce the reduction in the amount of light caused by vignetting of part of the light or light beams passing near the exit pupil.
  • the angle of the chief ray of any light beam in the imaging optical system 11 with respect to the optical axis ox is greater than 0°.
  • the imaging optical system 11 is not image-side telecentric, so light or light beams from an object point at an angle wider than the direct angle of view can be made incident on the optical element 13. Therefore, the imaging device 10 can reliably generate optical information in a range that is wider than the direct angle of view.
  • the imaging device 10 of the first embodiment also includes a controller 14 that separates an image corresponding to an image signal into a first image component im1 corresponding to the first light and a second image component im2 corresponding to the second light.
  • the imaging device 10 can generate an image in which the superimposition of a superimposed image olim, in which multiple image components are superimposed, is eliminated.
  • the second embodiment differs from the first embodiment in that two imaging optical systems 11 are arranged for one imaging element 12.
  • the second embodiment will be described, focusing on the differences from the first embodiment. Note that parts having the same configuration as the first embodiment will be given the same reference numerals.
  • the imaging device generates a parallax image of the object by forming a parallax image of the object using each of the two imaging optical systems 11 and capturing the parallax images using the imaging element 12.
  • the parallax image of the object is used to calculate the distance to each object point on the object.
  • the imaging device 102 includes a first imaging optical system 11A and a second imaging optical system 11B as the imaging optical system 11.
  • the first imaging optical system 11A is also referred to as the first optical system.
  • the second imaging optical system 11B is also referred to as the second optical system.
  • the first optical system and the second optical system may be positioned in parallel.
  • the imaging device 102 further includes a prism 30 and an optical element 13.
  • the prism 30 may be configured in the same manner as or similar to the prism 30 in the imaging device 10 according to the first embodiment.
  • the optical element 13 may be configured in the same manner as or similar to the optical element 13 in the imaging device 10 according to the first embodiment.
  • the first imaging optical system 11A and the second imaging optical system 11B image the light or light beam incident from the object point on the light receiving area ra of the image sensor 12.
  • the imaging device 102 images an object having object points pp1 and pp2 at both ends.
  • the first imaging optical system 11A images the object point pp1 at an image forming point ip1 on the light receiving area ra, and images other parts of the object in an area to the left of the image forming point ip1.
  • the second imaging optical system 11B images the object point pp2 at an image forming point ip2 on the light receiving area ra, and images other parts of the object in an area to the right of the image forming point ip2.
  • the image of the object formed by the first imaging optical system 11A and the image of the object formed by the second imaging optical system 11B overlap each other in the central area of the light receiving area ra.
  • the image of the object formed by the first imaging optical system 11A is represented as a first image imA.
  • the image of the object formed by the second imaging optical system 11B is represented as a second image imB.
  • the first image imA includes a first non-overlapping image im_A1 that does not overlap with the second image imB on the light receiving area ra, and a first overlapping image im_A2 that overlaps with the second image imB on the light receiving area ra.
  • the second image imB includes a second non-overlapping image im_B1 that does not overlap with the first image imA on the light receiving area ra, and a second overlapping image im_B2 that overlaps with the first image imA on the light receiving area ra.
  • the image sensor 12 captures the first non-overlapping image im_A1, the second non-overlapping image im_B1, and an image in which the first overlaid image im_A2 and the second overlaid image im_B2 are overlaid, to generate an overlaid image olim.
  • the imaging device 102 may further include a controller 14.
  • the controller 14 may separate an image in which the first superimposed image im_A2 and the second superimposed image im_B2 are superimposed in the superimposed image olim, and generate a first image imA and a second image imB from the superimposed image olim.
  • the image point ip2 may be located outside the light receiving area ra.
  • the object point pp2 may be located outside the direct angle of view of the first imaging optical system 11A.
  • the light or light beam imaged at the image point ip2 is reflected by the optical element 13 to the inside of the light receiving area ra and is imaged superimposed on the light receiving area ra.
  • the superimposed image olim includes an image in which an image of an object point within the direct angle of view and an image of an object point outside the direct angle of view in the first image imA are superimposed.
  • the image point ip1 may be located outside the light receiving area ra.
  • the object point pp1 may be located outside the direct angle of view of the second imaging optical system 11B.
  • the light or light beam focused at the image point ip1 is reflected by the optical element 13 toward the inside of the light receiving area ra and is focused in a superimposed manner on the light receiving area ra.
  • the superimposed image olim includes an image in which the image of the object point within the direct angle of view and the image of the object point outside the direct angle of view are superimposed in the second image imB.
  • the controller 14 may separate the images of object points within the direct angle of view and the images of object points outside the direct angle of view for each of the first image imA and the second image imB of the superimposed image olim, and generate an image that extends to object points outside the direct angle of view.
  • the imaging device 102 can capture an image in which the first image imA and the second image imB are superimposed on the light receiving area ra of the imaging element 12, and can separate the first image imA and the second image imB from the superimposed image olim. In this way, the imaging device 102 can capture a parallax image composed of two images with a single imaging element 12.
  • the imaging device 102 can capture parallax images with a wider angle of view than when the light receiving area ra is simply divided into two areas and a parallax image is captured in each area.
  • the imaging device 102 also includes an optical element 13 that focuses at least a portion of the light or light beam that is incident on the imaging optical system 11 from outside the direct angle of view of the imaging optical system 11 corresponding to the light receiving area ra of the image sensor 12 within the light receiving area ra.
  • the imaging device 10 employs an imaging optical system 11 with a relatively long focal length, and can form an image including optical information in a wider range than the angle of view corresponding to the focal length. Therefore, the imaging device 10 can generate wide-range and expanded optical information.
  • the baseline length corresponds to the distance between the devices that capture the two images that make up the parallax image.
  • the following comparative example is one possible method for capturing parallax images to generate distance measurement data.
  • a stereo camera is a method of performing triangulation using two cameras arranged in parallel.
  • the distance between the two cameras corresponds to the baseline length. Therefore, by increasing the baseline length of the stereo camera, the resolution and accuracy of the distance data can be improved. Also, by being able to set the focal length of each of the two cameras, the captured image can be made wider-angle.
  • the device becomes larger as the two cameras are arranged farther apart. Also, calibration of the two cameras is required.
  • the split-pupil method can be considered as a second comparative example.
  • the split-pupil method is a method of constructing a stereo camera within a lens by splitting the pupil of the camera.
  • Devices using the split-pupil method can be made smaller than stereo cameras because they can be constructed with only one pupil.
  • the baseline length is limited by the pupil diameter.
  • a method of increasing the focal length can be considered.
  • increasing the focal length makes it difficult to widen the angle of the captured image.
  • the limited baseline length makes it difficult to either widen the angle of the captured image or improve the resolution and accuracy of the distance data.
  • a method of superimposing the inputs from two pupils and capturing an image with one image sensor can be considered.
  • a device relating to this method can lengthen the baseline length and capture a wider angle image like a stereo camera, and can be made up of fewer image sensors than a stereo camera.
  • the optical system requires a special optical design. Also, the number of parts in the optical system increases. As a result, it is costly to make it smaller.
  • the imaging device 102 according to the second embodiment can capture two images using one imaging element 12, thereby realizing a wide-angle captured image and being smaller in size than the stereo camera according to the first comparative example.
  • the imaging device 102 according to the second embodiment is provided with a first imaging optical system 11A and a second imaging optical system 11B for one imaging element 12, thereby making it possible to make the baseline length longer than the pupil division method according to the second comparative example and improving the resolution and accuracy of the distance data.
  • the imaging device 102 can separate images corresponding to each of the superimposed images from a superimposed image captured from images superimposed and focused on the light receiving area ra of the imaging element 12, thereby making it possible to configure it more simply and smaller than the method according to the third comparative example.
  • the imaging device 102 according to the second embodiment can be realized as a simpler and more compact configuration than the comparative example described above, while achieving a wider angle of the captured image and improved resolution and accuracy of the distance data.
  • the imaging device 103 includes a first prism 30A corresponding to the first imaging optical system 11A and a second prism 30B corresponding to the second imaging optical system 11B.
  • the imaging device 103 includes a first optical element 13A located on the side of the first prism 30A and a second optical element 13B located on the side of the second prism 30B.
  • the light receiving area ra of the imaging element 12 is divided into a first light receiving area raA where the first prism 30A is located and a second light receiving area raB where the second prism 30B is located.
  • the first imaging optical system 11A images the light or light beam incident from the object point pp3 at a first image point ipA on the first light receiving area raA.
  • the first imaging optical system 11A may image the light or light beam incident from another object point outside the first light receiving area raA.
  • the light or light beam imaged outside the first light receiving area raA is reflected by the first optical element 13A and imaged at a point on the first light receiving area raA.
  • the configuration combining the first imaging optical system 11A, the first prism 30A, and the first optical element 13A can image objects, including images of object points outside the direct angle of view of the first imaging optical system 11A, on the first light receiving area raA.
  • the second imaging optical system 11B images the light or light beam incident from the object point pp3 at a second image point ipB on the second light receiving area raB.
  • the second imaging optical system 11B may image the light or light beam incident from another object point outside the second light receiving area raB.
  • the light or light beam imaged outside the second light receiving area raB is reflected by the second optical element 13B and imaged at a point on the second light receiving area raB.
  • the configuration combining the second imaging optical system 11B, the second prism 30B, and the second optical element 13B can image objects, including images of object points outside the direct angle of view of the second imaging optical system 11B, on the second light receiving area raB.
  • the imaging device 103 has two configurations that combine one imaging optical system 11, one prism 30, and an optical element 13 located on the side of the prism 30. With the imaging device 103 thus combining two identical configurations, one configuration can be applied universally, which can reduce manufacturing man-hours or costs.
  • the imaging element 12 captures an image formed by the first imaging optical system 11A and an image formed by the second imaging optical system 11B separately.
  • the superimposed image olim includes images in which images of object points within the direct angle of view and images of object points outside the direct angle of view are superimposed only in each of the first image imA and the second image imB.
  • the first optical element 13A may be formed as a reflective film on the side surface of the first prism 30A
  • the second optical element 13B may be formed as a reflective film on the side surface of the second prism 30B.
  • the area occupied by the first optical element 13A and the second optical element 13B in the light receiving region ra of the imaging element 12 is reduced.
  • the area of the region that does not receive light and does not belong to either the first light receiving region raA or the second light receiving region raB is reduced.
  • the area of the image that can be captured in the light receiving region ra can be expanded.
  • the angle of view of the imaging device 103 can be expanded.
  • an imaging device according to a fourth embodiment of the present disclosure will be described.
  • the configuration of the optical elements and the separation process by the controller are different from those of the first embodiment.
  • the fourth embodiment will be described, focusing on the differences from the first embodiment. Note that parts having the same configuration as the first embodiment will be given the same reference numerals.
  • the imaging device 100 is similar to the first embodiment and includes an imaging optical system 11, an imaging element 12, a prism 30, and an optical element 130.
  • the imaging device 100 may further include a controller 14.
  • the structures and functions of the imaging optical system 11 and the imaging element 12 in the fourth embodiment are the same as those in the first embodiment.
  • the structure of the controller 14 in the fourth embodiment is the same as that in the first embodiment.
  • the optical element 130 similar to the first embodiment, focuses at least a portion of the light or light beam incident on the imaging optical system 11 from outside the direct angle of view of the imaging optical system 11 within the light receiving area ra of the imaging element 12. In the fourth embodiment, unlike the first embodiment, the optical element 130 performs optical processing on the incident light or light beam before outputting it.
  • Optical processing is, for example, a change in the band of the incident light or light beam.
  • the optical element 130 attenuates light in a band that corresponds to some of the color filters among the multiple color filters that cover the image sensor 12, from the incident light or light beam.
  • the optical element 130 forms an image of light in a band excluding the light in that band within the light receiving area ra.
  • Optical element 130 may be a mirror that reflects light in a band other than the color band to be attenuated. For example, optical element 130 attenuates R light and reflects GB light.
  • the first R image component im1r, the first G image component im1g, and the first B image component im1b which correspond to object points directly within the angle of view and to the colors of all the color filters, reach the light receiving area ra without passing through the optical element 130.
  • the second G image component im2g and the second B image component im2b which correspond to object points directly outside the angle of view and to colors other than the attenuated color components, reach the light receiving area ra via the optical element 130.
  • the optical processing is, for example, the addition of a contrast pattern to the incident light or light beam according to the incident position.
  • the optical element 130 has a surface in which the first region 190 and the second region 200 are distributed, for example, in a checkerboard pattern.
  • the first region 190 attenuates the luminance of the incident light at a first attenuation rate and outputs the light.
  • the first attenuation rate is greater than 0% and less than 100%.
  • the second region 200 attenuates the luminance of the incident light at a second attenuation rate and outputs the light.
  • the second attenuation rate is greater than 0% and less than the first attenuation rate. Therefore, the optical element 130 imparts a contrast pattern to the incident light or light beam according to the patterns of the first region 190 and the second region 200, and forms an image in the light receiving region ra.
  • the optical processing is, for example, the imparting of distortion to an image formed in the light receiving area ra by the incident light or light beam.
  • the optical element 130 is a mirror having a cylindrical curved surface with an axis parallel to the optical axis, and reflects the incident light or light beam to form a distorted image in the light receiving area ra. More specifically, the optical element 130 is a mirror with a plane perpendicular to the optical axis, and the image is distorted so as to expand in the direction connecting both ends of the arc of the cross section of the optical element.
  • the controller 14 may perform image processing to separate the superimposed image olim corresponding to the image signal into a first image component im1 and a second image component im2, similar to the first embodiment.
  • the controller 14 separates the superimposed image olim by an image processing method using an image separation model.
  • the image separation model in the fourth embodiment will be described below.
  • the image separation model is constructed by generating a superimposed image in advance, which is a first image that has not been subjected to optical processing, and a second image that is different from the first image and is subjected to image processing equivalent to the optical processing performed by the optical element 130, and then learning the first image and the second image as the correct answer for the superimposed image.
  • the first image is the RGB image components of an arbitrary image.
  • the second image is the GB image components of an image other than the arbitrary image.
  • the R image component of the arbitrary image can also be used for learning in addition to the superimposed image.
  • the first image is an arbitrary image.
  • the second image is an image in which the luminance of an image other than the arbitrary image is changed by the brightness contrast pattern of the optical element 130.
  • the first image is an arbitrary image.
  • the second image is an image other than the arbitrary image that is reflected by a mirror that has the same curved surface as the optical element 130.
  • the controller 14 may generate a restored image rcim by combining the separated first image component im1 and second image component im2, as in the first embodiment. In the fourth embodiment, the controller 14 may use the restored image rcim to measure the distance to a subject captured in the vicinity of the imaging device 100, as in the first embodiment. In the fourth embodiment, the controller 14 may generate a distance image based on the distance corresponding to each address of the restored image rcim, and provide it to an external device, as in the first embodiment.
  • the optical device 210 of the fourth embodiment configured as described above also includes an imaging optical system 11 that focuses the incident first light on a predetermined area pa, and an optical element 130 that guides the second light, the angle between the optical axis ox of the imaging optical system 11 and the principal ray incident on the imaging optical system 11 being different from that of the first light, to the predetermined area pa. Therefore, the imaging device 100 can also generate optical information that is wide-ranging and expanded.
  • the optical element 130 is a mirror that reflects the second light to form an image in a predetermined area pa, and the reflective surface of the mirror is parallel to the optical axis ox and to one of the sides of the rectangular light receiving area ra of the imaging element 12. Therefore, the imaging device 100 can also reduce the load of image processing that removes distortion of the reflected light component caused by the mirror contained in the captured image, thereby improving the reproducibility of the reflected light component.
  • the mirrors include multiple plane mirrors, and at least one pair of two plane mirrors of the multiple plane mirrors are positioned so that the reflective surfaces are parallel to each other. Therefore, the imaging device 100 can also obtain optical information that is expanded on both sides from the direct angle of view centered on the optical axis ox.
  • the distance H between the optical axis ox and each of the reflecting surfaces of the two parallel plane mirrors is equal, and the angle CRA of the chief ray of the light beam from the object point pp at an angle twice the direct angle of view satisfies CRA ⁇ tan ⁇ 1 (H/B). Therefore, in the imaging device 100, the overlap of three layers of image components caused by the overlap of the reflected light components from one plane mirror and the reflected light components from the other plane mirror is prevented, and the accuracy of separation of the image components by the subsequent image processing can be improved.
  • the plane mirror and the outer edge of the light receiving area ra of the imaging element 12 are in close contact with each other in the normal direction of the plane mirror. Therefore, the imaging device 100 also prevents the loss of optical information.
  • the mirror is located outside the exit pupil of the imaging optical system 11 when viewed from the direction of the optical axis ox. Therefore, the imaging device 100 can also reduce the reduction in the amount of light caused by vignetting of part of the light or light beam passing near the exit pupil.
  • the angle of the chief ray of any light beam in the imaging optical system 11 with respect to the optical axis ox is greater than 0°. Therefore, the imaging device 100 can also reliably generate optical information in a range that is wider than the direct angle of view.
  • the imaging device 100 of the fourth embodiment also includes a controller 14 that separates an image corresponding to an image signal into a first image component im1 corresponding to the first light and a second image component im2 corresponding to the second light. Therefore, the imaging device 100 can also generate an image in which the superimposition of a superimposed image olim, in which multiple image components are superimposed, is eliminated.
  • the optical element 130 performs optical processing on the light or light beam incident on the optical element 130 and then emits the light or light beam.
  • the imaging device 100 imparts optical characteristics corresponding to the optical processing to the separated image components. Therefore, the imaging device 100 can construct an image separation model that has been trained to improve separation accuracy. Therefore, the imaging device 100 can improve the restoration accuracy of the restored image.
  • an imaging device according to a fifth embodiment of the present disclosure will be described.
  • the configuration of the imaging element and the separation process by the controller are different from those of the first embodiment.
  • the fifth embodiment will be described, focusing on the differences from the first embodiment. Note that parts having the same configuration as the first embodiment are given the same reference numerals.
  • the imaging device 101 is similar to the first embodiment and includes an imaging optical system 11, an imaging element 121, a prism 30, and an optical element 13.
  • the imaging device 101 may further include a controller 14.
  • the structures and functions of the imaging optical system 11 and the optical element 13 in the fifth embodiment are the same as those in the first embodiment.
  • the structure of the controller 14 in the fifth embodiment is the same as that in the first embodiment.
  • the image sensor 121 captures an image formed in the light receiving area ra via the imaging optical system 11, similar to the first embodiment.
  • the image sensor 121 may be capable of capturing an image using invisible light such as visible light, infrared light, and ultraviolet light, similar to the first embodiment.
  • the image sensor 121 may be a color image sensor.
  • the image sensor 121 generates an image signal corresponding to an image received by imaging, similar to the first embodiment.
  • the image sensor 121 may generate an image signal at a predetermined frame rate such as 30 fps, similar to the first embodiment.
  • the outer edge of the light receiving area ra on the side where the optical element 13 is provided may be located outside the outer edge of the exit pupil of the imaging optical system 11, as in the first embodiment.
  • the light receiving area ra may be rectangular, as in the first embodiment.
  • the image sensor 121 may be a dual pixel type image sensor.
  • the image sensor 121 which is a dual pixel type image sensor, is an image sensor having a structure in which a first PD (Photo Diode) 171 and a second PD 181 are provided in the pixels 161 covered by each microlens 151, and light or a light beam can only be incident on one of the PDs depending on the incident direction.
  • a first PD Photo Diode
  • second PD 181 are provided in the pixels 161 covered by each microlens 151, and light or a light beam can only be incident on one of the PDs depending on the incident direction.
  • first PD Photo Diode
  • second PD 181 the image sensor having a structure in which a first PD (Photo Diode) 171 and a second PD 181 are provided in the pixels 161 covered by each microlens 151, and light or a light beam can only be incident on one of the PDs depending on the incident direction.
  • the first image component im1 corresponding to the first light reaches the first PD 171 in the light receiving area ra without passing through the optical element 13. Also, the second image component im2 corresponding to the second light reaches the second PD 181 in the light receiving area ra in an inverted form via the optical element 13.
  • the controller 14 may perform image processing to separate the superimposed image olim corresponding to the image signal into a first image component im1 and a second image component im2, similar to the first embodiment.
  • the controller 14 may generate the first image component im1 based only on the signal generated by the first PD 171. Based only on the signal generated by the first PD 171 specifies that the signal generated by the second PD 181 is not used, and may include using a signal unrelated to the signal output by the second PD 181, such as a synchronization signal.
  • the controller 14 may generate the inverted second image component im2 based only on the signal generated by the second PD 181. Based only on the signal generated by the second PD 181 has a similar meaning to based only on the signal generated by the first PD 171.
  • the controller 14 may generate a restored image rcim by combining the separated first image component im1 and second image component im2, as in the first embodiment. In the fifth embodiment, the controller 14 may use the restored image rcim to measure the distance to a subject captured in the vicinity of the imaging device 101, as in the first embodiment. In the fifth embodiment, the controller 14 may generate a distance image based on the distance corresponding to each address of the restored image rcim, and provide it to an external device, as in the first embodiment.
  • the optical element 13 is a mirror that reflects the second light and guides it into a predetermined area pa, and the reflective surface of the mirror is parallel to the optical axis ox and to one of the sides of the rectangular light receiving area ra of the imaging element 121. Therefore, the imaging device 101 can also reduce the load of image processing that removes distortion of the reflected light component caused by the mirror contained in the captured image, thereby improving the reproducibility of the reflected light component.
  • the mirrors include multiple plane mirrors, and at least one pair of two plane mirrors of the multiple plane mirrors are positioned so that the reflective surfaces are parallel to each other. Therefore, the imaging device 101 can also obtain optical information that is expanded on both sides from the direct angle of view centered on the optical axis ox.
  • the imaging device 101 of the fifth embodiment the distance H between the optical axis ox and each of the reflecting surfaces of the two parallel plane mirrors is equal, and the angle CRA of the chief ray of the light beam from the object point pp at an angle twice the direct angle of view satisfies CRA ⁇ tan ⁇ 1 (H/B). Therefore, the imaging device 101 also prevents the superposition of three layers of image components caused by the superposition of the reflected light components from one plane mirror and the reflected light components from the other plane mirror, and can improve the accuracy of separation of the image components by subsequent image processing.
  • the plane mirror and the outer edge of the light receiving area ra of the imaging element 121 are in close contact with each other in the normal direction of the plane mirror. Therefore, the imaging device 101 also prevents loss of optical information.
  • the mirror is located outside the exit pupil of the imaging optical system 11 when viewed from the direction of the optical axis ox. Therefore, the imaging device 101 can also reduce the reduction in the amount of light caused by vignetting of part of the light or light beam passing near the exit pupil.
  • the angle of the chief ray of any light beam in the imaging optical system 11 with respect to the optical axis ox is greater than 0°. Therefore, the imaging device 101 can also reliably generate optical information in a range that is wider than the direct angle of view.
  • the imaging device 101 of the fifth embodiment also includes a controller 14 that separates an image corresponding to an image signal into a first image component im1 corresponding to the first light and a second image component im2 corresponding to the second light. Therefore, the imaging device 101 can also generate an image in which the superimposition of a superimposed image olim, in which multiple image components are superimposed, is eliminated.
  • embodiments of the present disclosure are not limited to the specific configurations of any of the embodiments described above.
  • the embodiments of the present disclosure may extend to any novel feature or combination of features described herein, or any novel method or process step or combination of features described herein.
  • references such as “first” and “second” are identifiers for distinguishing the configuration.
  • Configurations distinguished by descriptions such as “first” and “second” in this disclosure may have their numbers exchanged.
  • the first image component may exchange identifiers “first” and “second” with the second image component.
  • the exchange of identifiers is performed simultaneously.
  • the configurations remain distinguished even after the exchange of identifiers.
  • Identifiers may be deleted.
  • Configurations from which identifiers have been deleted are distinguished by symbols. Descriptions of identifiers such as “first” and “second” in this disclosure alone should not be used to interpret the order of the configurations or to justify the existence of identifiers with smaller numbers.
  • an optical device includes an optical system that focuses an incident first light onto a predetermined area, an optical element that guides a second light, the second light having an angle between the optical axis of the optical system and a principal ray incident on the optical system that is different from that of the first light, to the predetermined area, and a prism that is located in a space surrounded by the optical system, the optical element, and the predetermined area.
  • the optical element may include a reflective surface that is configured as at least one surface of the prism.
  • the angle between the chief ray of the second light and the optical axis may be greater than the angle between the chief ray of the first light and the optical axis.
  • the optical element may include a mirror that reflects the second light and directs it to the specified area.
  • the optical device includes an optical system that focuses an incident first light on a predetermined area, an optical element that guides a second light, the second light having an angle between the optical axis of the optical system and a principal ray incident on the optical system different from that of the first light, to the predetermined area, and a prism located in at least a part of the optical path of the first light and the second light output from the optical system.
  • the imaging device includes the optical device described in any one of (1) to (5) above, and an imaging element arranged so that the predetermined area and the imaging area overlap.
  • the optical system may include a first optical system and a second optical system that have different optical axes and share a portion of the subject. A portion of the image formed by the first optical system and a portion of the image formed by the second optical system may be superimposed in the light receiving area of the imaging element.
  • the optical system may include a first optical system and a second optical system that have different optical axes and share a portion of the subject.
  • the prism may include a first prism that corresponds to the first optical system and a second prism that corresponds to the second optical system.
  • the prism may be configured so that the reflecting surface of the prism is parallel to the optical axis of the optical system.
  • Any one of the imaging devices described above in (6) to (9) may further include a processor that separates an image captured by the imaging element into a first image component corresponding to the first light and a second image component corresponding to the second light.
  • imaging methods using imaging devices 10, 100, 101, 102, and 103 can also be embodied as a method or program for implementing the device, or as a storage medium on which a program is recorded (for example, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a CD-RW, a magnetic tape, a hard disk, or a memory card, etc.).
  • a storage medium on which a program is recorded for example, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a CD-RW, a magnetic tape, a hard disk, or a memory card, etc.
  • the implementation form of the program is not limited to application programs such as object code compiled by a compiler or program code executed by an interpreter, but may be in the form of a program module incorporated into an operating system.
  • the program may or may not be configured so that all processing is performed only by the CPU on the control board.
  • the program may be configured so that part or all of it is executed by another processing unit implemented on an expansion board or expansion unit added to the board as necessary.
  • Imaging device 11 Imaging optical system (11A: first imaging optical system, 11B: second imaging optical system) 12, 121 Image pickup element 13, 130 Optical element (13A: first optical element, 13B: second optical element) 14 Controller 151 Microlens 161 Pixel 171 First PD (Photo-Diode) 181 Second P.D. 190 First region 200 Second region 21, 210, 211 Optical device 22 First lens 23 Prism 30 Prism (30A: First prism, 30B: Second prism, 31: First surface, 32: Second surface, 33: Third surface) CRA: Angle of the chief ray of the imaging optical system, emitted from an object point at an angle twice the direct angle of view, with respect to the optical axis.
  • Second image component im2g Second G image component imA: First image (im_A1: First non-overlapping image, im_A2: First overlapping image) imB second image (im_B1: second non-overlapping image, im_B2: second overlapping image) ip1, ip2 Image points ipA, ipB First image point, second image point olim Superimposed image ox Optical axis pa Predetermined area rcim Restored image pp Object point at an angle twice the direct angle of view pp1, pp2, pp3 Object point ra Light receiving area (raA: first light receiving area, raB: second light receiving area)

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

光学装置は、入射する第１の光を所定の領域に結像させる光学系と、光学系の光軸と光学系に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域に導く光学素子と、光学系と光学素子と所定の領域とで囲まれる空間に位置するプリズムとを備える。

Description

光学装置及び撮像装置 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０２２－１８１１８９号（２０２２年１１月１１日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、光学装置及び撮像装置に関する。
　観察対象を結像させる撮像光学系は、焦点距離、画角等の多様な物性を有する。焦点距離が長くなると、観察対象が拡大化された像が形成されるので、遠方の観察対象の詳細な光学情報、言換えると拡大された光学情報が得られる。画角は広角化するほど、広範囲に位置する観察対象の光学情報が得られる。しかし、焦点距離と画角とはトレードオフの関係があり、焦点距離が長くなると画角は狭角化し、焦点距離が短くなると画角は広角化する。
　それゆえ、状況に応じて望まれる光学情報を得られるように焦点距離の調整が行われている。例えば、撮像光学系に含まれるズームレンズを変位させることにより、焦点距離の調整が行われる。又、複数の単焦点レンズを切替えることにより、焦点距離の調整が行われる（特許文献１、２参照）。
特開平１１－３１１８３２号公報 特開２００４－２７９５５６号公報
　本開示の一実施形態に係る光学装置は、光学系と、光学素子と、プリズムとを備える。前記光学系は、入射する第１の光を所定の領域に結像させる。前記光学素子は、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く。前記プリズムは、前記光学系と前記光学素子と前記所定の領域とで囲まれる空間に位置する。
　本開示の一実施形態に係る撮像装置は、前記光学装置と、前記所定の領域と撮像領域とが重なるように配置されている撮像素子とを備える。
第１の実施形態に係る撮像装置の概略構成を示す構成図である。 図１の光学素子の変形例を示すために、光軸に垂直な方向から撮像装置を見た図である。 図１の光学素子の別の変形例を示すために、光軸に垂直な方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、光軸に垂直な方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、光軸に垂直な方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、光軸に垂直な方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、受光領域の法線方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、受光領域の法線方向から撮像装置を見た図である。 図１の撮像素子及び光学系の物性を説明するための図である。 図１の受光領域に到達する像を説明する概念図である。 図１の光学素子の更に別の変形例を示すために、受光領域の法線方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、受光領域の法線方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、受光領域の法線方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、受光領域の法線方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、受光領域の法線方向から撮像装置を見た図である。 図１の光学素子の更に別の変形例を示すために、受光領域の法線方向から撮像装置を見た図である。 図１の受光領域に到達する重畳画像が形成される状況を説明する概念図である。 図１のコントローラにより重畳画像から復元画像を生成する過程を説明するための概念図である。 図１のコントローラが実行する測距処理を説明するためのフローチャートである。 第２の実施形態に係る撮像装置の概略構成例を示す図である。 ２つの撮像光学系それぞれで結像した像の重畳画像の例を示す図である。 図２０の構成において直接画角外の物点を結像させる例を示す図である。 第３の実施形態に係る撮像装置の概略構成例を示す図である。 第４の実施形態に係る撮像装置の概略構成を示す構成図である。 図２４の受光領域に到達する画像成分を説明するための概念図である。 図２０の変形例における受光領域に到達する画像成分を説明するための概念図である。 図２０の別の変形例における受光領域に到達する画像成分を説明するための概念図である。 第５の実施形態に係る撮像装置の概略構成を示す構成図である。 図２８の撮像素子における画素構造を説明するための構成図である。
　焦点距離の切替えによって、拡大された光学情報及び広範囲の光学情報が別々に提供され得る場合であっても、広範囲且つ拡大された光学情報が同時に得られなかった。本開示によれば、広範囲且つ拡大された光学情報が生成され得る。
　以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。
　図１に示すように、本開示の第１の実施形態に係る撮像装置１０は、光学装置２１と、撮像素子１２と、プリズム３０とを含んで構成される。撮像装置１０は、更にコントローラ１４を含んで構成されてよい。光学装置２１は、撮像光学系１１及び光学素子１３を含んで構成される。撮像光学系１１は、単に光学系とも称される。
　撮像光学系１１は、被写体から入射する光又は光束を結像させる。被写体から入射する光又は光束は、被写体光又は被写体光束とも称される。撮像光学系１１は、所定の領域ｐａに、入射する第１の光を結像させる。第１の光は、撮像光学系１１単体の画角内に位置する物点が放射する光であってよい。所定の領域ｐａは、例えば、中心が撮像光学系１１の光軸ｏｘと交差する三次元空間上の仮想の平面又は曲面であってよい。以後、撮像光学系１１単体の画角、言い換えると光学素子１３を含まない構成における撮像光学系１１の画角を、直接画角とも呼ぶ。撮像光学系１１は、位置の異なる物点から放射する光又は光束を、単体で、言換えると光学素子１３無しで、異なる像点に結像させる光学素子によって構成される。撮像光学系１１を構成する光学素子は、例えば、レンズ、ミラー、絞り等である。
　撮像光学系１１は、像側テレセントリックでなくてよい。言換えると、撮像光学系１１を通過する任意の光束の主光線の光軸に対する角度は０°より大きくてよい。又は、撮像光学系１１は、像側テレセントリックであってもよい。
　光学素子１３は、撮像光学系１１に入射する第２の光を、所定の領域ｐａに導く。第２の光は、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる。第２の光は、撮像光学系１１の画角外、言換えると直接画角の外に位置する物点が放射する光であってよい。したがって、第２の光の主光線と光軸ｏｘとのなす角度は、第１の光の主光線と光軸ｏｘとのなす角度より大きくてよい。主光線は、撮像光学系１１の開口絞りの中心を通る光線、撮像光学系１１の入射瞳の中心を通る光線、及び任意の一つの物点から放射され撮像光学系１１に入射する光束の中心の光線のいずれかであってよい。更に、光学素子１３は、撮像光学系１１を通過した第２の光を所定の領域ｐａに結像させてよい。
　光学素子１３は、第２の光を反射して所定の領域ｐａに導くミラーであってよい。ミラーの反射面は、撮像光学系１１の光軸ｏｘに平行であってよい。又は、ミラーの反射面は、光軸ｏｘに平行でなくてよい。
　プリズム３０は、撮像光学系１１と撮像素子１２との間、かつ、２つの光学素子１３の間に位置する。言い換えれば、プリズム３０は、撮像光学系１１と光学素子１３と所定の領域ｐａとで囲まれる空間に位置する。プリズム３０は、例えばガラス又は樹脂等の透明材料で構成される。プリズム３０は、撮像光学系１１に対向する第１面３１を有する。プリズム３０は、光学素子１３に対向する第２面３２を有する。プリズム３０は、撮像素子１２に対向する第３面３３を有する。
　撮像光学系１１を通過した被写体からの光又は光束は、プリズム３０の第１面３１に入射し、プリズム３０を通過して撮像素子１２に入射する。撮像素子１２は、受光領域ｒａを有する。撮像素子１２は、受光領域ｒａに入射した光を撮像する。受光領域ｒａは撮像領域とも称される。撮像光学系１１は、プリズム３０の第１面３１における光の屈折を考慮して被写体光又は被写体光束を撮像素子１２の受光領域ｒａに結像させるように構成される。撮像光学系１１のうち撮像素子１２の最も近くに位置する光学素子は、プリズム３０の第１面３１と一体に構成されてよい。プリズム３０は、撮像光学系１１に含まれ、撮像光学系１１のうち撮像素子１２の最も近くに位置する光学素子として機能してもよい。
　プリズム３０は、第２面３２において、光学素子１３を構成するミラーの反射面に接触する。プリズム３０の第２面３２は、光学素子１３と一体に構成されてよい。つまり、プリズム３０の第２面３２は、光学素子１３を構成するミラーの反射面として機能してよい。プリズム３０の第２面３２は、ミラーの反射面として機能する場合、透明部材の表面に金属又は樹脂等の高い反射率を有する材料で被膜されてよい。
　プリズム３０は、第３面３３において、撮像素子１２のカバーの表面に接触する面を有してよい。プリズム３０は、撮像素子１２のカバーと一体に構成されてもよい。
　ミラーの反射面は、図２に示すように、撮像光学系１１側を向く外側傾斜の姿勢となるように、光軸ｏｘに対して傾斜してよい。外側傾斜の姿勢では、ミラーの反射面が光軸ｏｘと平行な構成に比べて、光学装置２１全体の画角を広角化し得る。この場合でも、プリズム３０は、光学素子１３のミラーの反射面の間に位置してよい。
　外側傾斜の構成において、光学装置２１には、撮像光学系１１及びミラーである光学素子１３の間に、光路長調整用の第１のレンズ２２が配置されてよい。第１のレンズ２２が配置されることにより、ミラーの反射面が光軸ｏｘに平行な構成に比べて光路長が長くなることによる合焦位置の所定の領域ｐａからのずれが低減され得る。第１のレンズ２２は、ミラーが平面ミラーのように光軸ｏｘに垂直な方向に平行な面を有するミラーである構成においては、シリンドリカルレンズであってよい。第１のレンズ２２は、撮像光学系１１の射出瞳の外縁を通る第１の光の主光線と所定の領域ｐａを結ぶ線よりも光軸ｏｘから外側に位置してよい。
　又、外側傾斜の構成において、光学装置２１には、図３に示すように、プリズム２３が設けられてよい。第２の光は、ミラーである光学素子１３に反射され、更にプリズム２３で反射されることにより、所定の領域ｐａに導かれてよい。プリズム２３が設けられることにより、外側傾斜の構成におけるミラーと光軸ｏｘとの傾斜角度を広角化し得る。この場合でも、プリズム３０が撮像素子１２の上に設置されてよい。プリズム２３は、プリズム３０の少なくとも一部に接触するように配置されてよい。プリズム２３は、プリズム３０と一体に構成されてもよい。
　外側傾斜の構成において、ミラーである光学素子１３は、例えば、平面ミラー、曲面ミラー、ＤＭＤ（Digital Mirror Device）、及びフレネルミラーであってよい。
　ミラーの反射面は、図４に示すように、撮像光学系１１の結像面側を向く内側傾斜の姿勢となるように、光軸ｏｘに対して傾斜してよい。内側傾斜の姿勢では、ミラーの反射面が光軸ｏｘと平行な構成に比べて、光学装置２１全体を小型化し得る。この場合でも、プリズム３０は、光学素子１３のミラーの反射面の間に位置してよい。
　内側傾斜の構成において、ミラーである光学素子１３は、例えば、平面ミラー、図５に示すように曲面ミラー、図６に示すようにＤＭＤ又はフレネルミラーであってよい。プリズム３０は、図５の光学素子１３のミラーの反射面の間に位置してよい。プリズム３０は、図６のＤＭＤ又はフレネルミラーの間に位置してもよい。プリズム３０は、図６のミラーがＤＭＤである場合、ＤＭＤの動作を阻害しないように配置され得る。
　ミラーの反射面は、後述する撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行であってよい。又は、ミラーの反射面は、図７に示すように、受光領域ｒａのいずれかの辺に対して交差してよい。この場合でも、プリズム３０は、ミラーの反射面に沿って、又は、ミラーの反射面に接するように配置されてよい。ミラーの反射面が受光領域ｒａのいずれかの辺に対して交差する構成においては、後述する画像分離モデルによる分離精度を向上させ得る。なお、ミラーの反射面が受光領域ｒａのいずれかの辺に対して交差する構成においては、受光領域ｒａの法線方向から見てミラーである光学素子１３の両端から垂直に延ばした２直線の間に挟まれる領域と受光領域ｒａとの重畳領域が最大となるように、光学素子１３を配置することが好ましい。
　ミラーは、撮像光学系１１の光軸ｏｘ方向から見て、当該撮像光学系１１の射出瞳の外側に位置してよい。更に詳細には、反射面が射出瞳の外側に位置するように、ミラーは撮像光学系１１に対して配置されてよい。又は、ミラーは、光軸ｏｘ方向から見て、射出瞳の内側に位置してよい。特に、受光領域ｒａが瞳径より小さい構成においては、ミラーが射出瞳の内側に位置してよい。
　ミラーは、複数の平面ミラーを含んでよい。複数の平面ミラーの中の少なくとも１組に属する２つの平面ミラーは、反射面が互いに対向し平行になるように位置してよい。又は、複数の平面ミラーは２つの平面ミラーであって、図８に示すように、反射面が互いに直交するように位置してよい。更に、反射面が互いに直交する２つの平面ミラーは、矩形である受光領域ｒａの互いに垂直な２辺にそれぞれ平行であってよい。平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接していてよい。又は、平面ミラーと受光領域ｒａの外縁とは平面ミラーの法線方向において密接せずに隙間を有していてよい。この場合でも、プリズム３０は、ミラーの反射面に沿って、又は、ミラーの反射面に接するように配置されてよい。
　図９に示すように、反射面が互いに平行な２つの平面ミラーそれぞれと、光軸ｏｘとの間隔Ｈが等しくてよい。互い平行な２つの平面ミラー、撮像光学系１１、及び撮像素子１２は、ＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たすように設計され、配置されてよい。ＣＲＡは、直接画角の２倍の角度における物点ｐｐから放射される光束の撮像光学系１１による主光線の光軸ｏｘに対する角度である。Ｂは、撮像光学系１１のバックフォーカスである。この場合でも、プリズム３０は、光学素子１３のミラーの反射面の間に位置してよい。
　後述するように撮像装置１０内における撮像素子１２の配置と上述のような構成の組合せにより、図１０に示すように、撮像素子１２の受光領域ｒａには、第１の光に対応する第１の画像成分ｉｍ１が光学素子１３を介することなく到達する。第１の光に対応する第１の画像成分ｉｍ１とは、より具体的には、直接画角内に位置する被写体像に相当する。また、受光領域ｒａには、第２の光に対応する第２の画像成分ｉｍ２が光学素子１３を介して反転して到達する。第２の光に対応する第２の画像成分ｉｍ２とは、より具体的には、直接画角外に位置する被写体像に相当する。
　上述の説明では、光学素子１３が、光軸ｏｘに対して垂直な方向に平行な面を有するミラーであるが、光軸ｏｘから見て曲線状の面を有するミラーであってよい。例えば、光学素子１３は、図１１に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａの一組の対辺に設けられる一組の曲面ミラーであってよい。当該曲面ミラーは、受光領域ｒａの法線方向に平行であってよい。又は、光学素子１３は、図１２に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａを内包する円形の曲面状の面を有するミラーであってよい。又は、光学素子１３は、図１３に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａを内包する楕円形の曲面状の面を有するミラーであってよい。楕円形の曲面状の面を有するミラーは、受光領域ｒａが正方形を除く矩形である構成において好ましい。又は、光学素子１３は、図１４に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａに内包される円形の曲面状の面を有するミラーであってよい。又は、光学素子１３は、図１５に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａに内包される楕円形の曲面状の面を有するミラーであってよい。光学素子１３が矩形の受光領域ｒａに内包される曲面状の面を有するミラーである構成においては、受光領域ｒａの法線方向から見て、受光領域ｒａとミラーとの間の隙間が排除され得る。このような構成においては、隙間が排除されることにより、隙間を有する構成に比較して、後述する重畳画像における光学情報の連続性を向上させ得る。ミラーが曲線状の面を有する場合であっても、プリズム３０は、ミラーの反射面に沿って、又は、ミラーの反射面に接するように配置されてよい。プリズム３０の外形は、ミラーの反射面の形状に合わせた形状であってよい。
　撮像素子１２は、受光領域ｒａ内に結像する像を撮像する。撮像素子１２は、撮像装置１０において、光学装置２１の所定の領域ｐａと受光領域ｒａとが重なるように配置されていてよい。したがって、撮像素子１２の受光領域ｒａは直接画角に対応してよい。直接画角は、光学素子１３を介することなく受光領域ｒａ内に結像する物点の範囲に相当する画角であってよい。受光領域ｒａには、撮像光学系１１の直接画角内から撮像光学系１１に入射する第１の光である光束の少なくとも一部が結像してよい。又、受光領域ｒａには、撮像光学系１１の直接画角の外から撮像光学系１１に入射し光学素子１３を介する第２の光である光束の少なくとも一部が結像してよい。
　撮像素子１２は、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等である。撮像素子１２は、カラーイメージセンサであってよい。言換えると、撮像素子１２の受光領域ｒａに配置される複数の画素は、例えばＲＧＢ（Red, Green and Blue）のカラーフィルタによって受光領域ｒａ内で均等に分布するように覆われてよい。また、撮像素子１２の受光領域ｒａは、カバーで覆われてよい。カバーは、ガラス又は樹脂等の透明部材として構成されてよい。撮像素子１２は、撮像により受光する画像に相当する画像信号を生成する。撮像素子１２は、３０ｆｐｓ（frames per second）等の所定のフレームレートで画像信号を生成してよい。
　撮像素子１２では、光学素子１３が設けられる側の受光領域ｒａの外縁は、撮像光学系１１の射出瞳の外縁よりも外側に位置してよい。射出瞳の外縁より外側とは、撮像光学系１１の光軸ｏｘを基準として外側であることを意味する。前述のように、受光領域ｒａは、矩形であってよい。
　撮像装置１０には、複数の撮像素子１２が設けられてよい。複数の撮像素子１２が設けられる構成において、図１６に示すように、互いに隣接する２つの撮像素子１２の間に光学素子１３が設けられてよい。互いに隣接する２つの撮像素子１２の間に光学素子１３が設けられることにより、光学素子１３が設けられない構成において隣接する２つの撮像素子１２の受光領域ｒａの間に生じる隙間に結像する被写体光又は被写体光束が少なくとも一方の撮像素子１２において撮像され得る。プリズム３０は、光学素子１３が設けられている撮像素子１２の上に、ミラーの反射面に沿って、又は、ミラーの反射面に接するように配置されてよい。プリズム３０は、光学素子１３が設けられていない撮像素子１２の上にも配置されてよい。プリズム３０は、光学素子１３が設けられている撮像素子１２と、光学素子１３が設けられていない撮像素子１２とにまたがって配置されてもよい。
　又、上述のような構成により、図１７に示すように、第１の画像成分ｉｍ１と、光学素子１３がミラーである構成において反転した第２の画像成分ｉｍ２とが受光領域ｒａにおいて重畳する。したがって、撮像素子１２は、第１の画像成分ｉｍ１と、光学素子１３がミラーである構成において反転した第２の画像成分ｉｍ２との重畳画像ｏｌｉｍを撮像する。
　コントローラ１４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等であってもよい。コントローラ１４は、撮像素子１２から取得する画像信号に画像処理を施してよい。
　図１８に示すように、コントローラ１４は、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。コントローラ１４は、例えば、独立成分分析、ウェーブレット法、画像分離モデル等の画像処理方法の適用により、重畳画像ｏｌｉｍを分離する。画像分離モデルは、例えば、事前に、複数の画像を重ねた重畳画像を作成し、当該重畳画像に対して、複数の画像を正解として学習させることにより構築されるモデルである。画像分離モデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルのように画像を生成するｇｅｎｅｒａｔｏｒと、生成された画像が偽画像かどうか判定するｄｉｓｃｒｉｍｉｎａｔｏｒとを競わせて、その関係を反映したペア画像を生成するＰｉｘ－ｔｏ－Ｐｉｘを適用したモデルであってよい。コントローラ１４は、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。
　コントローラ１４は、復元画像ｒｃｉｍを用いて、撮像装置１０周辺において撮像された被写体の測距を行ってよい。コントローラ１４は、例えば、ＤＦＤ（Depth From Defocus）に基づいて、復元画像ｒｃｉｍを用いて測距を行う。コントローラ１４は、運動視差法（ＳＬＡＭ：Simultaneous Localization and Mapping, Motion Stereo）、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇに基づく分離モデル、足元測距法等に基づいて、復元画像ｒｃｉｍを用いた測距を行ってよい。足元測距法は、被写体像の下端が地面に位置することを前提として画像座標に基づいて３次元座標を算出する方法である。
　コントローラ１４は、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成してよい。距離画像は、各画素の画素値が距離に対応した画像である。コントローラ１４は、距離画像を外部機器に付与してよい。
　次に、本実施形態においてコントローラ１４が実行する、測距処理について、図１９のフローチャートを用いて説明する。測距処理は、撮像素子１２から画像信号を取得するたびに開始する。
　ステップＳ１００において、コントローラ１４は、取得した画像信号に相当する重畳画像ｏｌｉｍから第２の画像成分ｉｍ２を分離する。分離後、プロセスはステップＳ１０１に進む。
　ステップＳ１０１では、コントローラ１４は、重畳画像ｏｌｉｍからステップＳ１００において分離した第２の画像成分ｉｍ２を減算することにより、第１の画像成分ｉｍ１を生成する。第１の画像成分ｉｍ１の生成後、プロセスはステップＳ１０２に進む。
　ステップＳ１０２では、コントローラ１４は、ステップＳ１００において分離した第２の画像成分ｉｍ２と、ステップＳ１０１において生成した第１の画像成分ｉｍ１とを結合させることにより復元画像ｒｃｉｍを生成する。復元画像ｒｃｉｍの生成後、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、コントローラ１４は、ステップＳ１０２において生成した復元画像ｒｃｉｍを用いて、復元画像ｒｃｉｍに写る各被写体に対して測距を行う。測距後、プロセスはステップＳ１０４に進む。
　ステップＳ１０４では、コントローラ１４は、ステップＳ１０３において算出した距離と当該距離に対応する復元画像ｒｃｉｍの位置とに基づいて、距離画像を生成する。又、コントローラ１４は、距離画像を外部機器に付与する。距離画像の生成後、測距処理は終了する。
　以上のような構成の第１の実施形態の光学装置２１は、入射する第１の光を所定の領域ｐａに結像させる撮像光学系１１と、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域ｐａに導く光学素子１３を備える。このような構成により、光学装置２１は、焦点距離が比較的長い撮像光学系１１を採用しながら、当該焦点距離に対応する画角より広角の範囲の光学情報を含む画像を所定の領域ｒａに導き得る。したがって、光学装置２１は、広範囲かつ拡大された光学情報を生成し得る。
　また、第１の実施形態の撮像装置１０では、光学素子１３は第２の光を反射して所定の領域ｐａに導くミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行である。このような構成により、撮像装置１０では、ミラーを介して受光領域ｒａに到達する像の歪む方向は１方向以下になる。したがって、撮像装置１０は、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
　また、第１の実施形態の撮像装置１０は、プリズム３０を備える。プリズム３０の第２面３２は、光学素子１３の反射面に接触する、又は、光学素子１３の反射面と一体に構成される。このような構成により、光学素子１３の反射面が撮像光学系１１に対して動きにくい。つまり、光学素子１３の位置が安定する。その結果、振動又は衝撃等による光学素子１３のズレの影響が低減される。
　また、第１の実施形態の撮像装置１０では、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。このような構成により、撮像装置１０は、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
　また、第１の実施形態の撮像装置１０では、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。このような構成により、撮像装置１０では、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
　また、第１の実施形態の撮像装置１０では、平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。当該法線方向において、平面ミラーと撮像素子１２の受光領域ｒａとの間に隙間が生じていると、当該隙間において結像する被写体の光学情報は失われる。このような事象に対して、上述の構成を有する撮像装置１０は、光学情報の喪失を防止する。
　また、第１の実施形態の撮像装置１０では、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。このような構成により、撮像装置１０は、射出瞳の端部近傍を通過する光又は光束をミラーに入射させ得る。したがって、撮像装置１０は、射出瞳近傍を通過する光又は光束の一部のケラレによる光量の低下を低減させ得る。
　また、第１の実施形態の撮像装置１０では、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。このような構成により、撮像装置１０では、撮像光学系１１は像側テレセントリックでないので、直接画角より広い角度の物点からの光又は光束を光学素子１３に入射させ得る。したがって、撮像装置１０は、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
　また、第１の実施形態の撮像装置１０では、画像信号に相当する画像を、第１の光に対応する第１の画像成分ｉｍ１と、第２の光に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。このような構成により、撮像装置１０は、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
　次に、本開示の第２の実施形態に係る撮像装置について説明する。第２の実施形態では、１つの撮像素子１２に対して、２つの撮像光学系１１が配置される点で、第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
　第２の実施形態に係る撮像装置は、２つの撮像光学系１１のそれぞれによって対象物の視差像を結像させ、撮像素子１２によって視差像を撮像することによって、対象物の視差画像を生成する。対象物の視差画像は、対象物の各物点までの距離を算出するために用いられる。
　図２０に示すように、第２の実施形態に係る撮像装置１０２は、撮像光学系１１として、第１撮像光学系１１Ａと第２撮像光学系１１Ｂとを備える。第１撮像光学系１１Ａは、第１光学系とも称される。第２撮像光学系１１Ｂは、第２光学系とも称される。第１光学系と第２光学系とは並列して位置してよい。撮像装置１０２は、プリズム３０と光学素子１３とを更に備える。プリズム３０は、第１の実施形態に係る撮像装置１０におけるプリズム３０と同一又は類似に構成されてよい。光学素子１３は、第１の実施形態に係る撮像装置１０における光学素子１３と同一又は類似に構成されてよい。
　第１撮像光学系１１Ａ及び第２撮像光学系１１Ｂは、物点から入射する光又は光束を撮像素子１２の受光領域ｒａに結像させる。ここで、撮像装置１０２が物点ｐｐ１及びｐｐ２を両端に有する対象物を撮像すると仮定する。この場合、第１撮像光学系１１Ａは、物点ｐｐ１を受光領域ｒａの上の結像点ｉｐ１に結像し、対象物の他の部分を結像点ｉｐ１よりも左側の領域に結像する。第２撮像光学系１１Ｂは、物点ｐｐ２を受光領域ｒａの上の結像点ｉｐ２に結像し、対象物の他の部分を結像点ｉｐ２よりも右側の領域に結像する。その結果、第１撮像光学系１１Ａが対象物を結像した像と、第２撮像光学系１１Ｂが対象物を結像した像とは、互いに受光領域ｒａの中央の領域で重畳する。
　図２１に示すように、第１撮像光学系１１Ａが対象物を結像した像は、第１像ｉｍＡとして表される。第２撮像光学系１１Ｂが対象物を結像した像は、第２像ｉｍＢとして表される。第１像ｉｍＡは、受光領域ｒａの上で第２像ｉｍＢと重畳しない第１非重畳像ｉｍ＿Ａ１と、受光領域ｒａの上で第２像ｉｍＢと重畳する第１重畳像ｉｍ＿Ａ２とを含む。第２像ｉｍＢは、受光領域ｒａの上で第１像ｉｍＡと重畳しない第２非重畳像ｉｍ＿Ｂ１と、受光領域ｒａの上で第１像ｉｍＡと重畳する第２重畳像ｉｍ＿Ｂ２とを含む。
　撮像素子１２は、第１非重畳像ｉｍ＿Ａ１と、第２非重畳像ｉｍ＿Ｂ１と、第１重畳像ｉｍ＿Ａ２と第２重畳像ｉｍ＿Ｂ２とが重畳した像とを撮像し、重畳画像ｏｌｉｍを生成する。
　撮像装置１０２は、コントローラ１４を更に備えてよい。コントローラ１４は、重畳画像ｏｌｉｍのうち第１重畳像ｉｍ＿Ａ２と第２重畳像ｉｍ＿Ｂ２とが重畳した像を分離し、重畳画像ｏｌｉｍから第１像ｉｍＡと第２像ｉｍＢとを生成してよい。
　図２２に示すように、第１撮像光学系１１Ａによって物点ｐｐ２を結像したときの結像点ｉｐ２は、受光領域ｒａの外に位置することがある。つまり、物点ｐｐ２が第１撮像光学系１１Ａの直接画角外に位置することがある。この場合でも、結像点ｉｐ２に結像される光又は光束は、光学素子１３によって受光領域ｒａの内側に反射されて、受光領域ｒａの上に重畳して結像される。その結果、重畳画像ｏｌｉｍは、第１像ｉｍＡにおいて直接画角内の物点の像と直接画角外の物点の像を重畳した像を含む。また、第２撮像光学系１１Ｂによって物点ｐｐ１を結像したときの結像点ｉｐ１は、受光領域ｒａの外に位置することがある。つまり、物点ｐｐ１が第２撮像光学系１１Ｂの直接画角外に位置することがある。この場合でも、結像点ｉｐ１に結像される光又は光束は、光学素子１３によって受光領域ｒａの内側に反射されて、受光領域ｒａの上に重畳して結像される。その結果、重畳画像ｏｌｉｍは、第２像ｉｍＢにおいて直接画角内の物点の像と直接画角外の物点の像を重畳した像を含む。
　コントローラ１４は、重畳画像ｏｌｉｍのうち第１像ｉｍＡ及び第２像ｉｍＢそれぞれについて、直接画角内の物点の像と直接画角外の物点の像とを分離して直接画角外の物点まで拡張した画像を生成してよい。
　以上述べてきたように、第２の実施形態に係る撮像装置１０２は、撮像素子１２の受光領域ｒａの上で第１像ｉｍＡと第２像ｉｍＢとが重畳した像を撮像し、重畳画像ｏｌｉｍから第１像ｉｍＡと第２像ｉｍＢとを分離できる。このようにすることで、撮像装置１０２は、１つの撮像素子１２で、２枚の画像で構成される視差画像を撮像できる。
　また、撮像装置１０２は、視差画像を構成する２枚の画像が互いに重複するように撮像することによって、単に、受光領域ｒａを２つの領域に分けてそれぞれの領域で視差画像を撮像する場合と比較して、広い画角で視差画像を撮像できる。また、撮像装置１０２は、撮像素子１２の受光領域ｒａに対応する撮像光学系１１の直接画角の外から当該撮像光学系１１に入射する光又は光束の少なくとも一部を当該受光領域ｒａ内に結像させる光学素子１３を備える。このような構成により、撮像装置１０は、焦点距離が比較的長い撮像光学系１１を採用しながら、当該焦点距離に対応する画角より広角の範囲の光学情報を含む画像を結像し得る。したがって、撮像装置１０は、広範囲かつ拡大された光学情報を生成し得る。
　視差画像に基づく測距において、基線長が大きいほど距離データの分解能及び精度が高められる。基線長は、視差画像を構成する２枚の画像を撮影する装置の間隔に対応する。測距データを生成するための視差画像を撮影する方法として、以下の比較例に係る方法が考えられる。
　第１の比較例としてステレオカメラを用いる方法が考えられる。ステレオカメラは、平行に配置した２つのカメラで三角測量を行う方式である。ステレオカメラにおいて、２つのカメラの間隔が基線長に対応する。したがって、ステレオカメラの基線長を長くすることによって距離データの分解能及び精度が高められ得る。また、２つのカメラそれぞれの焦点距離を設定できることによって、撮影画像が広角化され得る。しかし、ステレオカメラにおいて基線長を長くする場合、２つのカメラを離して配置することによって装置が大きくなる。また、２つのカメラの校正が必要になる。
　第２の比較例として瞳分割法が考えられる。瞳分割法は、カメラの瞳を分割することによって、レンズ内でステレオカメラを構成する方式である。瞳分割法に係る装置は、瞳が１つで構成できることによって、ステレオカメラと比較して小型化され得る。しかし、基線長が瞳径で制限される。その結果、基線長を長くすることが難しい。したがって、距離データの分解能及び精度を高めることが難しい。ここで、瞳分割法において、距離データの分解能及び精度を高めるために、焦点距離を長くする方法が考えられる。しかし、焦点距離を長くすることによって撮像画像の広角化が難しくなる。つまり、基線長が制限されることによって、撮像画像の広角化又は距離データの分解能及び精度の向上のいずれかが難しくなる。
　第３の比較例として２つの瞳の入力を重畳して１つの撮像素子で撮像する方法が考えられる。この方法に係る装置は、ステレオカメラのように基線長を長くしたり撮像画像を広角化したりできるとともに、ステレオカメラより少ない撮像素子で構成され得る。しかし、２つの瞳の入力を重畳するために、光学系が特殊な光学設計を必要とする。また、光学系の部品点数が増大する。その結果、小型化するためにコストがかかる。
　一方で、第２の実施形態に係る撮像装置１０２は、１つの撮像素子１２によって２枚の画像を撮像できることによって、撮像画像の広角化を実現しつつ、第１の比較例に係るステレオカメラよりも小型化され得る。また、第２の実施形態に係る撮像装置１０２は、１つの撮像素子１２に対して第１撮像光学系１１Ａと第２撮像光学系１１Ｂとを備えることによって、第２の比較例に係る瞳分割法よりも基線長を長くでき、距離データの分解能及び精度を向上できる。また、第２の実施形態に係る撮像装置１０２は、撮像素子１２の受光領域ｒａの上で重畳して結像させた像を撮像した重畳画像から、重畳されたそれぞれの像に対応する画像を分離できることによって、第３の比較例に係る方法よりも簡便かつ小型に構成され得る。
　以上述べてきたように、第２の実施形態に係る撮像装置１０２は、上述した比較例に対して、簡便かつ小型の構成として実現されつつ、撮像画像の広角化並びに距離データの分解能及び精度の向上を実現し得る。
　図２３に示すように、第３の実施形態に係る撮像装置１０３は、第１撮像光学系１１Ａに対応する第１プリズム３０Ａと、第２撮像光学系１１Ｂに対応する第２プリズム３０Ｂとを備える。撮像装置１０３は、第１プリズム３０Ａの側面に位置する第１光学素子１３Ａと、第２プリズム３０Ｂの側面に位置する第２光学素子１３Ｂとを備える。撮像装置１０３において、撮像素子１２の受光領域ｒａは、第１プリズム３０Ａが位置する第１受光領域ｒａＡと、第２プリズム３０Ｂが位置する第２受光領域ｒａＢとに分けられる。
　第１撮像光学系１１Ａは、物点ｐｐ３から入射する光又は光束を第１受光領域ｒａＡの上の第１結像点ｉｐＡで結像させる。第１撮像光学系１１Ａは、他の物点から入射する光又は光束を第１受光領域ｒａＡの外で結像させることがある。第１受光領域ｒａＡの外で結像される光又は光束は、第１光学素子１３Ａによって反射され、第１受光領域ｒａＡの上の点で結像される。つまり、第１撮像光学系１１Ａと第１プリズム３０Ａと第１光学素子１３Ａとを組み合わせた構成は、第１撮像光学系１１Ａの直接画角外の物点の像も含めて、対象物を第１受光領域ｒａＡの上に結像させ得る。
　第２撮像光学系１１Ｂは、物点ｐｐ３から入射する光又は光束を第２受光領域ｒａＢの上の第２結像点ｉｐＢで結像させる。第２撮像光学系１１Ｂは、他の物点から入射する光又は光束を第２受光領域ｒａＢの外で結像させることがある。第２受光領域ｒａＢの外で結像される光又は光束は、第２光学素子１３Ｂによって反射され、第２受光領域ｒａＢの上の点で結像される。つまり、第２撮像光学系１１Ｂと第２プリズム３０Ｂと第２光学素子１３Ｂとを組み合わせた構成は、第２撮像光学系１１Ｂの直接画角外の物点の像も含めて、対象物を第２受光領域ｒａＢの上に結像させ得る。
　第３の実施形態に係る撮像装置１０３は、１つの撮像光学系１１と１つのプリズム３０とプリズム３０の側面に位置する光学素子１３とを組み合わせた構成を２組有する。このように２組の同一の構成を組み合わせた撮像装置１０３によれば、１組の構成が汎用的に適用され得ることによって、製造工数又はコストが低減され得る。
　第３の実施形態に係る撮像装置１０３において、撮像素子１２は、第１撮像光学系１１Ａで結像される像と、第２撮像光学系１１Ｂで結像される像とを分離して撮像する。この場合、重畳画像ｏｌｉｍは、第１像ｉｍＡ及び第２像ｉｍＢそれぞれの中だけで直接画角内の物点の像と直接画角外の物点の像とが重畳した像を含む。その結果、第１の実施形態に係る撮像装置１０で重畳画像ｏｌｉｍから重畳した像を分離するために用いられた、画像分離モデル等の手法がそのまま適用され得る。
　第３の実施形態に係る撮像装置１０３において、第１光学素子１３Ａが第１プリズム３０Ａの側面に反射膜として形成され、かつ、第２光学素子１３Ｂが第２プリズム３０Ｂの側面に反射膜として形成され得る。この場合、撮像素子１２の受光領域ｒａにおいて、第１光学素子１３Ａ及び第２光学素子１３Ｂが占める面積が小さくなる。つまり、第１受光領域ｒａＡ及び第２受光領域ｒａＢのいずれにも属さない受光できない領域の面積が小さくなる。逆に言えば、受光領域ｒａで撮像できる像の面積が広げられ得る。その結果、撮像装置１０３の画角が広げられ得る。
　次に、本開示の第４の実施形態に係る撮像装置について説明する。第４の実施形態では、光学素子の構成及びコントローラによる分離処理が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第４の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
　図２４に示すように、第４の実施形態に係る撮像装置１００は、第１の実施形態と類似して、撮像光学系１１、撮像素子１２、プリズム３０、及び光学素子１３０を含んで構成される。撮像装置１００は、更にコントローラ１４を含んで構成されてよい。第４の実施形態における撮像光学系１１及び撮像素子１２の構造及び機能は、第１の実施形態と同じである。第４の実施形態におけるコントローラ１４の構造は、第１の実施形態と同じである。
　第４の実施形態において、光学素子１３０は、第１の実施形態と類似して、撮像光学系１１の直接画角の外から撮像光学系１１に入射する光又は光束の少なくとも一部を撮像素子１２の受光領域ｒａ内に結像させる。第４の実施形態において、光学素子１３０は、第１の実施形態と異なり、入射する光又は光束に、光学的処理を施して出射する。
　光学的処理は、例えば、入射する光又は光束の帯域の変化である。具体的には、光学素子１３０は、入射する光又は光束の中で、撮像素子１２を覆う複数のカラーフィルタの中の一部のカラーフィルタに対応する帯域の光を減衰させる。したがって、光学素子１３０は、当該帯域の光を除く帯域の光を受光領域ｒａ内に結像させる。
　光学素子１３０は、減衰させる色の帯域とは他の帯域の光を反射するミラーであってよい。光学素子１３０は、例えば、Ｒ光を減衰させ、ＧＢ光を反射する。
　上述のような構成により、図２５に示すように、第４の実施形態においては、受光領域ｒａには、直接画角内の物点に対応し且つ全カラーフィルタの色に対応した第１のＲ画像成分ｉｍ１ｒ、第１のＧ画像成分ｉｍ１ｇ、及び第１のＢ画像成分ｉｍ１ｂが光学素子１３０を介することなく到達する。また、受光領域ｒａには、直接画角外の物点に対応し且つ減衰させた色成分以外の色に対応した第２のＧ画像成分ｉｍ２ｇ及び第２のＢ画像成分ｉｍ２ｂが光学素子１３０を介して到達する。
　または、光学的処理は、例えば、入射する光又は光束への入射位置に応じた明暗差パターンの付加である。具体的には、図２６に示すように、光学素子１３０は、第１の領域１９０及び第２の領域２００が、例えば、市松状に分布する表面を有する。第１の領域１９０は、入射する光の輝度を第１の減衰率で減衰して出射させる。第１の減衰率は、０％超且つ１００％未満である。第２の領域２００は、入射する光の輝度を第２の減衰率で減衰して出射させる。第２の減衰率は、０％以上且つ第１の減衰率未満である。したがって、光学素子１３０は、入射する光又は光束に、第１の領域１９０及び第２の領域２００のパターンに応じた明暗差を付与して、受光領域ｒａ内に結像させる。
　または、光学的処理は、例えば、入射する光又は光束が受光領域ｒａ内に結像させる像への歪みの付与である。具体的には、図２７に示すように、光学素子１３０は、光軸と平行な線を軸とした円筒状の曲面を有するミラーであり、入射する光又は光束を反射して歪が付与された像を受光領域ｒａ内に結像させる。より具体的には、光学素子１３０は、光軸に垂直な平面によるミラーである光学素子の断面の円弧の両端を結ぶ方向に拡大するように歪んだ画像である。
　第４の実施形態において、コントローラ１４は、第１の実施形態に類似して、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。第４の実施形態においては、コントローラ１４は、画像分離モデルを用いた画像処理方法により重畳画像ｏｌｉｍを分離する。
　第４の実施形態における画像分離モデルについて、以下に説明する。画像分離モデルは、事前に、光学的処理を施さない第１画像と、当該第１画像とは別の第２画像に対して光学素子１３０が行う光学的処理に相当する画像処理を施して第１画像に重畳させた重畳画像とを生成し、重畳画像に対して当該第１画像及び第２画像を正解として学習することにより構築されるモデルである。
　光学的処理が帯域の変化である構成において、第１画像は任意の画像のＲＧＢ画像成分である。又、当該構成において、第２画像は当該任意の画像とは別の画像のＧＢ画像成分である。光学的処理が帯域の変化である構成においては、任意の画像のＲ画像成分も重畳画像に加えて、学習に用いられ得る。
　光学的処理が明暗差パターンの付加である構成において、第１画像は任意の画像である。また、当該構成において、第２画像は当該任意の画像とは別の画像の輝度を、光学素子１３０の明暗差パターンで変化させた画像である。
　光学的処理が歪の付与である構成において、第１画像は任意の画像である。また、当該構成において、第２画像は当該任意の画像とは別の画像を、光学素子１３０と同じ曲面のミラーで反射させた像である。
　第４の実施形態において、コントローラ１４は、第１の実施形態と同じく、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。第４の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍを用いて、撮像装置１００周辺において撮像された被写体の測距を行ってよい。第４の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成し、外部機器に付与してよい。
　以上のような構成の第４の実施形態の光学装置２１０も、入射する第１の光を所定の領域ｐａに結像させる撮像光学系１１と、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域ｐａに導く光学素子１３０を備える。したがって、撮像装置１００も、広範囲かつ拡大された光学情報を生成し得る。
　また、第４の実施形態の撮像装置１００でも、光学素子１３０は第２の光を反射して所定の領域ｐａ内に結像させるミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行である。したがって、撮像装置１００も、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
　また、第４の実施形態の撮像装置１００でも、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。したがって、撮像装置１００も、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
　また、第４の実施形態の撮像装置１００でも、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。したがって、撮像装置１００でも、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
　また、第４の実施形態の撮像装置１００でも、平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。したがって、撮像装置１００も、光学情報の喪失を防止する。
　また、第４の実施形態の撮像装置１００でも、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。したがって、撮像装置１００も、射出瞳近傍を通過する光又は光束の一部のケラレによる光量の低下を低減させ得る。
　また、第４の実施形態の撮像装置１００でも、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。したがって、撮像装置１００も、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
　また、第４の実施形態の撮像装置１００でも、画像信号に相当する画像を、第１の光に対応する第１の画像成分ｉｍ１と、第２の光に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。したがって、撮像装置１００も、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
　また、第４の実施形態の撮像装置１００では、光学素子１３０は、当該光学素子１３０に入射する光又は光束に光学的処理を施して出射する。このような構成により、撮像装置１００では、分離される画像成分に当該光学的処理に対応する光学的特徴が付与される。したがって、撮像装置１００では、分離精度を向上させるように学習された画像分離モデルが構築され得る。それゆえ、撮像装置１００では、復元画像の復元精度を向上し得る。
　次に、本開示の第５の実施形態に係る撮像装置について説明する。第５の実施形態では、撮像素子の構成及びコントローラによる分離処理が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第５の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
　図２８に示すように、第５の実施形態に係る撮像装置１０１は、第１の実施形態と類似して、撮像光学系１１、撮像素子１２１、プリズム３０、及び光学素子１３を含んで構成される。撮像装置１０１は、更にコントローラ１４を含んで構成されてよい。第５の実施形態における撮像光学系１１及び光学素子１３の構造及び機能は、第１の実施形態と同じである。第５の実施形態におけるコントローラ１４の構造は、第１の実施形態と同じである。
　第５の実施形態において、撮像素子１２１は、第１の実施形態に類似して、撮像光学系１１を介して受光領域ｒａ内に結像する像を撮像する。撮像素子１２１は、第１の実施形態に類似して、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子１２１は、カラーイメージセンサであってよい。撮像素子１２１は、第１の実施形態に類似して、撮像により受光する画像に相当する画像信号を生成する。撮像素子１２１は、第１の実施形態に類似して、３０ｆｐｓ等の所定のフレームレートで画像信号を生成してよい。撮像素子１２１では、第１の実施形態と同じく、光学素子１３が設けられる側の受光領域ｒａの外縁は、撮像光学系１１の射出瞳の外縁よりも外側に位置してよい。受光領域ｒａは、第１の実施形態と同じく、矩形であってよい。
　第５の実施形態において、撮像素子１２１は、第１の実施形態と異なり、デュアルピクセルタイプのイメージセンサであってよい。図２９に示すように、デュアルピクセルタイプのイメージセンサである撮像素子１２１は、各マイクロレンズ１５１が覆う画素１６１に第１のＰＤ（Photo Diode）１７１及び第２のＰＤ１８１が設けられており、光又は光束の入射方向によりいずれかのＰＤにのみ入射可能な構造を有するイメージセンサである。例えば、各画素１６１において、第１のＰＤ１７１には光軸ｏｘ側に傾斜した方向からの光又は光束のみが入射可能であり、第２のＰＤ１８１には光学素子１３側に傾斜した方向からの光又は光束のみが入射可能である。
　上述のような構成により、受光領域ｒａにおける第１のＰＤ１７１には、第１の光に対応する第１の画像成分ｉｍ１が光学素子１３を介することなく到達する。また、受光領域ｒａにおける第２のＰＤ１８１には、第２の光に対応する第２の画像成分ｉｍ２が光学素子１３を介して反転して到達する。
　第５の実施形態において、コントローラ１４は、第１の実施形態に類似して、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。第５の実施形態においては、コントローラ１４は、第１のＰＤ１７１が生成する信号のみに基づいて第１の画像成分ｉｍ１を生成してよい。第１のＰＤ１７１が生成する信号のみに基づいてとは、第２のＰＤ１８１が生成する信号を用いないことを規定しており、例えば同期信号等のように第２のＰＤ１８１の出力する信号とは無関係の信号を用いることを含んでよい。また、第５の実施形態においては、コントローラ１４は、第２のＰＤ１８１が生成する信号のみに基づいて反転した第２の画像成分ｉｍ２を生成してよい。第２のＰＤ１８１が生成する信号のみに基づくという意味は、第１のＰＤ１７１が生成する信号のみに基づくと類似した意味である。
　第５の実施形態において、コントローラ１４は、第１の実施形態と同じく、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。第５の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍを用いて、撮像装置１０１周辺において撮像された被写体の測距を行ってよい。第５の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成し、外部機器に付与してよい。
　以上のような構成の第５の実施形態の撮像装置１０１でも、光学素子１３は第２の光を反射して所定の領域ｐａ内に導くミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２１の矩形の受光領域ｒａのいずれかの辺に平行である。したがって、撮像装置１０１も、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
　また、第５の実施形態の撮像装置１０１でも、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。したがって、撮像装置１０１も、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
　また、第５の実施形態の撮像装置１０１でも、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。したがって、撮像装置１０１でも、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
　また、第５の実施形態の撮像装置１０１でも、平面ミラーと撮像素子１２１の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。したがって、撮像装置１０１も、光学情報の喪失を防止する。
　また、第５の実施形態の撮像装置１０１でも、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。したがって、撮像装置１０１も、射出瞳近傍を通過する光又は光束の一部のケラレによる光量の低下を低減させ得る。
　また、第５の実施形態の撮像装置１０１でも、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。したがって、撮像装置１０１も、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
　また、第５の実施形態の撮像装置１０１でも、画像信号に相当する画像を、第１の光に対応する第１の画像成分ｉｍ１と、第２の光に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。したがって、撮像装置１０１も、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
　本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
　本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
　さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の画像成分は、第２の画像成分と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　一実施形態において、（１）光学装置は、入射する第１の光を所定の領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、前記光学系と前記光学素子と前記所定の領域とで囲まれる空間に位置するプリズムとを備える。
　（２）上記（１）の光学装置において、前記光学素子は、前記プリズムの少なくとも１つの面として構成される反射面を含んでよい。
　（３）上記（１）又は（２）の光学装置において、前記第２の光の主光線と前記光軸とのなす角度は、前記第１の光の主光線と前記光軸とのなす角度より大きくてよい。
　（４）上記（１）から（３）までのいずれか１つの光学装置において、前記光学素子は、前記第２の光を反射して前記所定の領域に導くミラーを含んでよい。
　一実施形態において、（５）光学装置は、入射する第１の光を所定の領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、前記光学系から出力される前記第１の光および前記第２の光の光路の少なくとも一部に位置するプリズムとを備える。
　一実施形態において、（６）撮像装置は、上記（１）から（５）までのいずれか１つに記載の光学装置と、前記所定の領域と撮像領域とが重なるように配置されている撮像素子とを備える。
　（７）上記（６）の撮像装置において、前記光学系は、異なる光軸を有し、それぞれの被写体の一部が共通する第１光学系と第２光学系とを含んでよい。前記第１光学系によって結像した像の一部と、前記第２光学系によって結像した像の一部とが、前記撮像素子の受光領域で重畳してよい。
　（８）上記（６）の撮像装置において、前記光学系は、異なる光軸を有し、それぞれの被写体の一部が共通する第１光学系と第２光学系とを含んでよい。前記プリズムは、前記第１光学系に対応する第１プリズムと、前記第２光学系に対応する第２プリズムとを含んでよい。
　（９）上記（６）から（８）までのいずれか１つの撮像装置において、前記プリズムは、前記プリズムの反射面が前記光学系の光軸と平行になるように構成されてよい。
　（１０）上記（６）から（９）までのいずれか１つの撮像装置は、前記撮像素子が撮像した画像を、前記第１の光に対応する第１の画像成分と、前記第２の光に対応する第２の画像成分とに分離するプロセッサを更に備えてよい。
　以上、撮像装置１０、１００、１０１、１０２、１０３を用いた撮像方法の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
　また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
　１０、１００、１０１、１０２、１０３　撮像装置
　１１　撮像光学系（１１Ａ：第１撮像光学系、１１Ｂ：第２撮像光学系）
　１２、１２１　撮像素子
　１３、１３０　光学素子（１３Ａ：第１光学素子、１３Ｂ：第２光学素子）
　１４　コントローラ
　１５１　マイクロレンズ
　１６１　画素
　１７１　第１のＰＤ（Photo-Diode）
　１８１　第２のＰＤ
　１９０　第１の領域
　２００　第２の領域
　２１、２１０、２１１　光学装置
　２２　第１のレンズ
　２３　プリズム
　３０　プリズム（３０Ａ：第１プリズム、３０Ｂ：第２プリズム、３１：第１面、３２：第２面、３３：第３面）
　ＣＲＡ　直接画角の２倍の角度における物点から放射される光束の撮像光学系による主光線の光軸に対する角度
　ｉｍ１　第１の画像成分
　ｉｍ１ｂ　第１のＢ画像成分
　ｉｍ１ｇ　第１のＧ画像成分
　ｉｍ１ｒ　第１のＲ画像成分
　ｉｍ２　第２の画像成分
　ｉｍ２ｂ　第２のＢ画像成分
　ｉｍ２ｇ　第２のＧ画像成分
　ｉｍＡ　第１像（ｉｍ＿Ａ１：第１非重畳像、ｉｍ＿Ａ２：第１重畳像）
　ｉｍＢ　第２像（ｉｍ＿Ｂ１：第２非重畳像、ｉｍ＿Ｂ２：第２重畳像）
　ｉｐ１、ｉｐ２　結像点
　ｉｐＡ、ｉｐＢ　第１結像点、第２結像点
　ｏｌｉｍ　重畳画像
　ｏｘ　光軸
　ｐａ　所定の領域
　ｒｃｉｍ　復元画像
　ｐｐ　直接画角の２倍の角度における物点
　ｐｐ１、ｐｐ２、ｐｐ３　物点
　ｒａ　受光領域（ｒａＡ：第１受光領域、ｒａＢ：第２受光領域）

Claims (10)

  1. 　入射する第１の光を所定の領域に結像させる光学系と、
    　前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、
    　前記光学系と前記光学素子と前記所定の領域とで囲まれる空間に位置するプリズムと
    を備える、光学装置。
  2. 　前記光学素子は、前記プリズムの少なくとも１つの面として構成される反射面を含む、請求項１に記載の光学装置。
  3. 　前記第２の光の主光線と前記光軸とのなす角度は、前記第１の光の主光線と前記光軸とのなす角度より大きい、請求項１又は２に記載の光学装置。
  4. 　前記光学素子は、前記第２の光を反射して前記所定の領域に導くミラーを含む、請求項１又は２に記載の光学装置。
  5. 　入射する第１の光を所定の領域に結像させる光学系と、
    　前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、
    　前記光学系から出力される前記第１の光および前記第２の光の光路の少なくとも一部に位置するプリズムと
    を備える、光学装置。
  6. 　請求項１、２又は５に記載の光学装置と、
    　前記所定の領域と撮像領域とが重なるように配置されている撮像素子と
    を備える撮像装置。
  7. 　前記光学系は、異なる光軸を有し、それぞれの被写体の一部が共通する第１光学系と第２光学系とを含み、
    　前記第１光学系によって結像した像の一部と、前記第２光学系によって結像した像の一部とが、前記撮像素子の受光領域で重畳する、請求項６に記載の撮像装置。
  8. 　前記光学系は、異なる光軸を有し、それぞれの被写体の一部が共通する第１光学系と第２光学系とを含み、
    　前記プリズムは、前記第１光学系に対応する第１プリズムと、前記第２光学系に対応する第２プリズムとを含む、請求項６に記載の撮像装置。
  9. 　前記プリズムは、前記プリズムの反射面が前記光学系の光軸と平行になるように構成される、請求項６に記載の撮像装置。
  10. 　前記撮像素子が撮像した画像を、前記第１の光に対応する第１の画像成分と、前記第２の光に対応する第２の画像成分とに分離するプロセッサを更に備える、請求項６に記載の撮像装置。
PCT/JP2023/039951 2022-11-11 2023-11-06 光学装置及び撮像装置 WO2024101325A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-181189 2022-11-11
JP2022181189A JP2024070596A (ja) 2022-11-11 2022-11-11 光学装置及び撮像装置

Publications (1)

Publication Number Publication Date
WO2024101325A1 true WO2024101325A1 (ja) 2024-05-16

Family

ID=91032428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/039951 WO2024101325A1 (ja) 2022-11-11 2023-11-06 光学装置及び撮像装置

Country Status (2)

Country Link
JP (1) JP2024070596A (ja)
WO (1) WO2024101325A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254750A (ja) * 1995-03-17 1996-10-01 Canon Inc 撮影装置
JP2009128527A (ja) * 2007-11-21 2009-06-11 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP2017060107A (ja) * 2015-09-18 2017-03-23 レノボ・シンガポール・プライベート・リミテッド カメラモジュール及び情報処理装置
JP2020523625A (ja) * 2017-05-23 2020-08-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 複数開口画像化装置、画像化システム、および複数開口画像化装置を提供する方法
JP2023065299A (ja) * 2021-10-27 2023-05-12 京セラ株式会社 光学装置及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254750A (ja) * 1995-03-17 1996-10-01 Canon Inc 撮影装置
JP2009128527A (ja) * 2007-11-21 2009-06-11 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP2017060107A (ja) * 2015-09-18 2017-03-23 レノボ・シンガポール・プライベート・リミテッド カメラモジュール及び情報処理装置
JP2020523625A (ja) * 2017-05-23 2020-08-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 複数開口画像化装置、画像化システム、および複数開口画像化装置を提供する方法
JP2023065299A (ja) * 2021-10-27 2023-05-12 京セラ株式会社 光学装置及び撮像装置

Also Published As

Publication number Publication date
JP2024070596A (ja) 2024-05-23

Similar Documents

Publication Publication Date Title
CN108718376B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US10345684B2 (en) Pattern projection and imaging using lens arrays
JP6791243B2 (ja) 撮像素子、及び、撮像装置
JP7331222B2 (ja) 光学装置及び撮像装置
TWI687099B (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
JPH08265804A (ja) 撮像装置
US9648305B2 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
JP2008294819A (ja) 撮像装置
JP4708970B2 (ja) 焦点検出装置及び当該焦点検出装置を有する撮像装置
KR102648091B1 (ko) 다중 채널 이미징 장치 및 다중 조리개 이미징 장치를 갖는 장치
WO2024101325A1 (ja) 光学装置及び撮像装置
US20020025155A1 (en) Camera and focal point detection apparatus
WO2023090191A1 (ja) 撮像装置
JP2007006318A (ja) 撮像光学系および撮像装置
WO2023074401A1 (ja) 光学装置及び撮像装置
WO2024101256A1 (ja) 光学装置及び撮像装置
WO2024101324A1 (ja) 光学装置及び撮像装置
CN112616008B (zh) 电子设备及其摄像模组
CN118176459A (zh) 光学装置以及拍摄装置
KR20210151474A (ko) 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법
CN214101550U (zh) 图像传感组件、成像设备和终端
JP2002148732A (ja) ３次元動画入力装置
CN112788218B (zh) 电子设备及其摄像模组
JPH09243905A (ja) 焦点検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888672

Country of ref document: EP

Kind code of ref document: A1