WO2016185902A1 - 撮像装置、撮像方法、並びにプログラム - Google Patents

撮像装置、撮像方法、並びにプログラム Download PDF

Info

Publication number
WO2016185902A1
WO2016185902A1 PCT/JP2016/063535 JP2016063535W WO2016185902A1 WO 2016185902 A1 WO2016185902 A1 WO 2016185902A1 JP 2016063535 W JP2016063535 W JP 2016063535W WO 2016185902 A1 WO2016185902 A1 WO 2016185902A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
lens
lenses
image
images
Prior art date
Application number
PCT/JP2016/063535
Other languages
English (en)
French (fr)
Inventor
佐藤　修三
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016185902A1 publication Critical patent/WO2016185902A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present technology relates to an imaging device, an imaging method, and a program. More specifically, the present invention relates to an imaging apparatus, an imaging method, and a program that can capture an image with a high resolution and a wide image frame.
  • Japanese Patent Application Laid-Open No. H10-228561 describes a distributed method for capturing an image using a plurality of imaging devices having different image characteristics. It is also disclosed that the plurality of imaging devices are adapted to obtain one high dynamic range image, panoramic image, high spectral image, distance to the object, and high frame rate video.
  • Patent Document 1 it is premised on signal processing under the condition of the same substrate with the same number of pixels, and a plurality of identical images are acquired by a plurality of imaging devices, and signal processing is performed.
  • the number of pixels of an image picked up by one image pickup device is small, and there is a possibility that a sufficient resolution cannot be obtained even if an image having the small number of pixels is synthesized.
  • the present technology has been made in view of such a situation, and enables imaging capable of obtaining a sufficient resolution.
  • An imaging apparatus generates an output image by combining and joining N imaging units including a pair of an imaging element and a lens and images captured by the N imaging units.
  • the adjacent imaging units are arranged so that imaging regions are superimposed, and the generation unit synthesizes the images that are superimposed and combines the synthesized images, thereby outputting the output Generate an image.
  • the direction of the optical axis of each of the N lenses can be different between adjacent lenses.
  • Each of the N lenses has a configuration in which a plurality of lenses are stacked, and an optical axis is arranged in a predetermined direction by adjusting an arrangement position of each of the plurality of lenses. Can be.
  • the adjacent lenses can be made of a light shielding member.
  • the generation unit can generate a high-resolution image using a plurality of images captured in a superimposed manner.
  • the composition can be performed by comparing and emphasizing a plurality of images captured in a superimposed manner.
  • the rate at which the imaging regions are superimposed is around 25%, and images in the output image can be generated by superimposing images captured by the four imaging units.
  • Each of the N lenses has a configuration in which a plurality of lenses are stacked, each of the plurality of lenses is formed of a different wafer, the lens is formed in a hole penetrating the wafer, and the stack is Can be performed in the state of a wafer.
  • Each of the plurality of lenses is formed by forming a material for forming the lens uniformly formed by coating or CVD (Chemical Vapor Deposition) on the wafer or the hole into an optical shape by a homogeneous processing method. Can be formed.
  • CVD Chemical Vapor Deposition
  • the lamination can be performed by plasma bonding.
  • the wafer can be a silicon wafer.
  • Each of the N lenses has a configuration in which a plurality of lenses are stacked, the plurality of lenses are formed of materials having different optical characteristics, the plurality of lenses are formed of the same wafer, Each of the N lenses can be formed by sequentially filling the holes through the wafer with the different materials for forming the lens and forming the lens in an optical shape.
  • An imaging method is a method of combining an image captured by the N imaging units in an imaging method of an imaging apparatus including N imaging units including a pair of an imaging element and a lens. And generating an output image at the adjacent image capturing unit, the adjacent image capturing units capture the images so that the imaging regions overlap, combine the captured images, and combine the combined images to output the output Generating an image.
  • a program combines an image captured by the N image capturing units with an image capturing apparatus including N image capturing units including a pair of an image sensor and a lens, and combines the images to output an output image.
  • the adjacent imaging units capture the imaging regions so as to overlap each other, synthesize the images captured by superimposing and combine the synthesized images to generate the output image
  • a process including steps is executed.
  • N imaging units including a combination of an imaging element and a lens are provided, and images captured by the N imaging units are synthesized and joined. As a result, an output image is generated.
  • Adjacent imaging units capture images so that the imaging regions overlap, combine the images captured by superimposition, and join the combined images to generate an output image.
  • FIG. 1 is a diagram illustrating a configuration of an embodiment of an imaging apparatus to which the present technology is applied.
  • an imaging element 102 configured by an imaging unit, for example, a CMOS image sensor, and outputs image data by photoelectric conversion.
  • the output image data is input to the image processing unit 103.
  • the imaging device 100 includes a plurality of lenses 101 and displays a plurality of images. One image is generated by combining the plurality of images that are acquired in the imaging operation.
  • the output image of the image sensor 102 is a so-called mosaic image in which any pixel value of RGB is set for each pixel.
  • the image processing unit 103 performs demosaic processing for setting all RGB pixel values for each pixel, composition processing described later, and the like.
  • the output of the image processing unit 103 is input to the signal processing unit 104.
  • the signal processing unit 104 performs signal processing in a general camera, such as white balance (WB) adjustment and gamma correction, and generates an output image 120.
  • the output image 120 is stored in a storage unit (not shown). Or it outputs to a display part (not shown).
  • the control unit 105 outputs a control signal to each unit according to a program stored in a memory (not shown), for example, and controls various processes.
  • the image 201 as shown in FIG. Assume that the image 201 is a part of an image finally obtained as the output image 120.
  • the image 201 is divided into four areas 211 to 214 for convenience of explanation. Further, the area 211 is divided into four areas, an A area, a B area, a C area, and a D area.
  • the area 211 is imaged by nine imaging units as described with reference to FIG.
  • the imaging unit is configured to include a lens, an imaging device, and an image processing unit, and is a part having a function of capturing and acquiring an image in the region 211.
  • the images in the area 211 are picked up by the nine image pickup sections 251 of the image pickup sections 251-1 to 251-9.
  • a rectangle denoted by reference numeral 251-1 illustrated in FIG. 3 indicates an image (image frame) captured by the imaging unit 251-1.
  • the image A4 that is positioned and the image A5 that is positioned at the upper left of the image captured by the imaging unit 251-5 the image A of the region A in the region 211 is generated.
  • an image in the A area is generated by combining the images captured by the four imaging units 251.
  • the image capturing unit 251-1, the image capturing unit 251-2, the image capturing unit 251-4, and the image capturing unit 251-5 perform image capturing in a state where the A region is superimposed. .
  • the size of the region to be picked up and captured here is described as an example of 25%, it may be 25% or more, 25% or less, and 25%. However, this does not mean that the scope of application of the present technology is limited.
  • a high-resolution image may be generated by comparing and emphasizing the overlapping portions.
  • the image B5 located at the upper right of the image B5 and the image B5 located at the upper left of the image picked up by the image pickup unit 251-6 the image B of the B region in the region 211 is generated.
  • the image C7 located in the upper right of the image C8 and the image C8 located in the upper left of the image captured by the imaging unit 251-8 the image C of the region C in the region 211 is generated.
  • the image D of the D region in the region 211 is generated by combining the image D8 located in the upper right of the image D8 and the image D9 located in the upper left of the image captured by the imaging unit 251-9.
  • the images in the region 211 of the image 201 are generated by joining (stitching) the images A, B, C, and D generated in this way.
  • each of the images in the regions 212 to 214 of the image 201 is also captured by a plurality of imaging units in a state where a predetermined region is superimposed, and the images captured by superimposing are combined.
  • the generated image is generated by further joining.
  • the output image 120 is generated by joining a plurality of images generated by such processing.
  • the image in the region 211 is an image captured by the nine imaging units 251.
  • a predetermined area in one image is captured by a plurality of imaging units, and the plurality of images are combined to generate an image of the area, thereby performing imaging with improved resolution. Is possible.
  • an image having a wide dynamic range can be acquired by setting exposure times of the imaging unit 251 to different exposure times and combining images having different exposure times.
  • the exposure times of the four imaging units 251 of the imaging unit 251-1, the imaging unit 251-2, the imaging unit 251-4, and the imaging unit 251-5 that capture an image in the area A are different exposure times.
  • the image in the region A becomes an image having a wide dynamic range.
  • FIG. 4 the configuration of the imaging apparatus 100 when a predetermined area is captured by a plurality of imaging units and combined is described with reference to FIG. 4.
  • the imaging apparatus 100 including the imaging units 251-1 to 251-9 illustrated in FIG. 3 will be described as an example.
  • the imaging unit 251-1 includes a lens 101-1, an imaging element 102-1, and an image processing unit 103-1.
  • the imaging unit 251-2 includes a lens 101-2, an imaging element 102-2, and an image processing unit 103-2.
  • the imaging units 251-3 to 251-9 are also configured to include lenses 101-3 to 101-9, imaging elements 102-3 to 102-9, and image processing units 103-3 to 103-9, respectively.
  • the light condensed by the lens 101-1 in the imaging unit 251-1 is received by the imaging element 102-1.
  • the image sensor 102-1 outputs image data by photoelectric conversion.
  • the output image data is input to the image processing unit 103-1.
  • the image processing unit 103-1 generates an image including the image A in the region A within the region 211 (FIG. 2), and outputs the image to the combining unit 261.
  • the imaging units 251-2 to 251-9 each generate an image obtained by capturing a predetermined area, and output the generated image to the synthesis unit 261.
  • Nine images generated by the imaging units 251-1 to 251-9 are supplied to the combining unit 261.
  • the combining unit 261 generates an image in a predetermined region by combining images captured by being superimposed from each image, and further generates the generated image.
  • the images 201 (the output image 120 including the image 201) are generated by stitching together.
  • the imaging apparatus 100 captures images by the imaging unit 251 in which the lens 101 and the imaging element 102 are paired, and combines the plurality of captured images with the combining unit 261, thereby It has a configuration for generating an image.
  • FIG. 4 an example in which the image processing units 103-1 to 103-9 are provided has been described. However, a configuration in which an image from the imaging elements 102-1 to 102-9 is processed by one image processing unit 103 is described. It is also possible. Further, the image processing unit 103 and the combining unit 261 can be configured as one processing unit.
  • the image sensor 102-1, the image sensor 102-2, and the image sensor 102-3 are arranged at predetermined intervals.
  • the lens 101-1, the lens 101-2, and the lens 101-3 are arranged at predetermined intervals, but the intervals are not equal.
  • the lens 101-1, the lens 101-2, and the lens 101-3 are arranged so that their optical axes have a predetermined deviation.
  • the optical axis of the lens 101-1 is the optical axis 301-1
  • the optical axis of the lens 101-2 is the optical axis 301-2
  • the optical axis of the lens 101-3 is the optical axis 301-3. .
  • the lens 101-2 located at the center is arranged so that its optical axis 301-2 is in the vertical direction (vertical direction).
  • the lens 101-1 located on the left side of the lens 101-2 is disposed such that the optical axis 301-1 is inclined leftward with respect to the optical axis 301-2.
  • the lens 101-3 located on the right side of the lens 101-2 is disposed such that its optical axis 301-3 is oblique to the right with respect to the optical axis 301-2.
  • the lenses 101 are not arranged so that the optical axes are in the same direction, but are arranged in different directions.
  • the three lenses 101 are described as an example, but the imaging apparatus 100 is provided with a plurality of three or more lenses.
  • some lenses have an optical axis in the same direction, but the optical axes of adjacent (adjacent) lenses are configured in different directions.
  • adjacent lenses are centered on a predetermined lens 101 and are adjacent to the lens 101 in the vertical, horizontal, and diagonal directions. Are the eight lenses 101 arranged at the same time.
  • each optical axis 101-9 is configured to have a different direction.
  • the lens 101 is composed of a combination of a plurality of lenses. This point will be described later with reference to FIG.
  • the imaging area imaged by the imaging element 102-1 is an imaging area 302-1 represented by a triangle in FIG.
  • the imaging area imaged by the imaging element 102-1 is the imaging area 302-2
  • the imaging area imaged by the imaging element 102-3 is the imaging area 302-3.
  • imaging area 302-1 and the imaging area 302-2 areas for imaging the images A1 and A2 are superimposed.
  • areas for imaging the image B2 and the image B3 are superimposed.
  • the imaging elements 102-1 to 102-3 have a predetermined interval so that the imaging element 102 is positioned ahead of the optical axis 301. Are arranged.
  • FIG. 6 five image sensors 102 arranged in the horizontal direction and a lens 101 paired with these image sensors 102 are illustrated. As shown in FIG. 6, the image sensor 102-1, the image sensor 102-2, the image sensor 102-3, the image sensor 102-10, and the image sensor 102-11 are arranged in this order in the horizontal direction. .
  • the lens 101 is composed of three lenses.
  • the lens 101-1 paired with the image sensor 102-1 includes a lens 101-1-1, a lens 101-1-2, and a lens 101-1-3. As shown in FIG. 6, the lens 101-1-1, the lens 101-1-2, and the lens 101-1-3 have an axis passing through the center of each lens on the imaging surface of the imaging element 102-1. It is arrange
  • An angle a formed by the imaging surface of the imaging element 102-1 and the axis is a right angle.
  • the lens 101-2 paired with the image sensor 102-2 is composed of a lens 101-2-1, a lens 101-2-2, and a lens 101-2-3.
  • the lens 101-2-1, the lens 101-2-2, and the lens 101-2-3 have an axis passing through the center of each lens on the imaging surface of the imaging element 102-2. It is arrange
  • the angle b formed by the imaging surface of the image sensor 102-2 and the axis satisfies the relationship of the angle a> the angle b formed.
  • the distance between the lens 101-1-2 and the lens 101-2-2 is wider than the distance between the lens 101-1-1 and the lens 101-2-1.
  • the lens 101-1 and the lens 101-2 are arranged so that the distance from the lens 2-3 becomes wider.
  • the centers of the lenses 101-2-1 to 101-2-3 are arranged so as to be shifted from each other, so that the lens 101 has an angle b formed with the imaging surface of the imaging element 102-2. Has been.
  • the lens 101-3 that forms a pair with the image sensor 102-3 includes a lens 101-3-1, a lens 101-3-2, and a lens 101-3-3.
  • the lens 101-3-1, the lens 101-3-2, and the lens 101-3-3 have an axis passing through the center of each lens on the imaging surface of the imaging element 102-3. It is arrange
  • An angle c formed by the imaging surface of the image sensor 102-3 and the axis satisfies a relationship of an angle a> an angle b> an angle c.
  • the distance between the lens 101-2-2 and the lens 101-3-2 is larger than the distance between the lens 101-2-1 and the lens 101-3-1.
  • the lens 101-2 and the lens 101-3 are arranged so that the distance from the line 3-3 becomes wider. In this manner, the centers of the lenses 101-3-1 to 101-3-3 are arranged so as to be shifted from each other, so that the lens 101-3-1 has an angle c formed with the imaging surface of the imaging element 102-3. Has been.
  • the imaging device 102-10 and the lenses 101-10-1 to 101-10-3 that are paired with the imaging device 102-10 are also similar to the lens 101-10 in the same manner as the relationship between the imaging device 102 and the lens 101 described above.
  • -1 to 101-10-3 are also arranged so that their centers are deviated, and the angle formed by the axis passing through these centers and the imaging surface of the imaging device 102-10 is the angle d formed. .
  • the image sensor 102-11 and the lenses 101-11-1 to 101-11-3 paired with the image sensor 102-11 are also similar to the lens 101 in the same manner as the relationship between the image sensor 102 and the lens 101 described above.
  • -11-1 to 101-11-3 are also arranged so that the centers are shifted, and the angle formed by the axis passing through these centers and the imaging surface of the imaging element 102-11 is an angle e formed. ing.
  • the formed angles a to e satisfy the following relationship. Formed angle a> formed angle b> formed angle c> formed angle d> formed angle e
  • the angle formed from the center toward the outer periphery is configured to become an acute angle.
  • Such adjustment of the angle formed is performed so that the optical axis comes in a desired direction by adjusting the arrangement positions of the plurality of lenses constituting the lens 101 as described above.
  • the lenses 101 adjacent in the horizontal direction are arranged with a predetermined interval.
  • the predetermined interval is filled with a light shielding member or the like so that the adjacent image sensor 102 is not affected.
  • the distance between the lenses 101 is constituted by a substrate, and this substrate is constituted by a light shielding member.
  • a solid portion indicates a substrate having a light shielding function.
  • a substrate is provided between the lens 101-1-1 and the lens 101-2-1, and a substrate is provided between the lens 101-1-2 and the lens 101-2-2.
  • -3 and the lens 101-2-3 are provided with a substrate. Since these substrates have a light shielding function, light incident on the substrate can be shielded, and light incident on the image sensor 102 from a portion other than the lens 101 can be blocked.
  • the lens 101 can be manufactured as shown in FIG.
  • FIG. 8 shows a wafer used in the manufacturing process of the lens 101.
  • the wafer 401 has a plurality of holes 402.
  • One hole 402 corresponds to a portion where one lens 101 is formed.
  • the distance between the hole 402 and the hole 402 is a portion referred to as a substrate in the above description, and is, for example, between the lens 101-1-1 and the lens 101-2-1.
  • the hole 402 is filled with a member for forming the lens 101, for example, glass, silicon, resin (hereinafter referred to as a lens material), and the mold is taken to form the lens 101. Taking one hole 402 as an example, the formation of the lens 101 will be described with reference to FIG.
  • the lens material 411 (FIG. 9) is filled in each hole 402. Thereafter, the lens 101 is formed by removing the mold by the mold 431 and the mold 432.
  • the mold 431 and the mold 432 have shapes that allow the lens 101 to be formed to be formed.
  • the lens material 411 is, for example, a thermosetting resin, and is cured by applying heat after the mold is taken to become the lens 101.
  • the lens 101-1 includes a lens 101-1-1, a lens 101-1-2, and a lens 101-1-3.
  • each lens 101 may be manufactured as described with reference to FIGS.
  • the lens 101-1-1, the lens 101-1-2, and the lens 101-1-3 are formed by using different wafers 401 and molds 431 and 432 having respective lens shapes.
  • the wafer 401 is formed.
  • the wafer 401-1 of the lens 101-1-1, the wafer 401-2 of the lens 101-1-2, and the wafer 401-3 of the lens 101-1-3 are manufactured.
  • the lens 101 laminated in a state having a predetermined angle is obtained as shown in FIG. Can be manufactured.
  • FIG. 10 shows a state of a part of the laminated wafer 401 although it has two layers.
  • a wafer 401-1 and a wafer 401-2 are stacked.
  • the wafer 401-1 and the wafer 401-2 are bonded with an adhesive such as a resin, for example. Or you may make it join by plasma joining etc., without using an adhesive agent.
  • the stacked wafer 401 is placed on the wafer on which the image sensor 102 is arranged, and the wafer on which the image sensor and the lens are stacked is cut out in a region including the number of required lenses 101, thereby 7 (FIG. 6) can be manufactured.
  • the laminated wafer 401 is cut out in an area including the required number of lenses 101 and placed on the image sensor 102 that has already been cut out from the wafer, as shown in FIG. 7 (FIG. 6).
  • An imaging device in such a state can be manufactured.
  • a through-hole substrate having holes 402 formed in the wafer 401 is manufactured, and the lens material 411 is uniformly coated on the through-hole substrate or the through-holes 402, or formed by CVD (Chemical Vapor Deposition) or the like.
  • the lens described with reference to FIG. 7 is manufactured by manufacturing a plurality of lenses formed in an optical shape by a homogeneous processing method such as imprint and lithography, and laminating the lenses manufactured at the wafer level.
  • processing such as bonding can be performed at the wafer level, it is possible to easily manufacture even a configuration in which a plurality of lenses are stacked with their centers shifted as described above. .
  • the wafer 401 may be a silicon wafer using silicon, and such a wafer can be applied to the present technology.
  • the substrate exists between the lenses 101.
  • the lens 101 and the substrate are configured with materials having different coefficients of thermal expansion, for example, even if the lens 101 expands due to the influence of heat or the like, the influence of the expansion of the lens 101 is prevented by the substrate. Can do. Therefore, it is possible to prevent the influence of such heat from reaching other lenses 101.
  • the lens 101 is configured by laminating three lenses has been described as an example.
  • the lens material 461 is filled into the hole 402 of the substrate 401, and a lens (referred to as a first lens) is formed by the mold 451 and the mold 452. Is done.
  • a lens material 462 is filled on the first lens, and a second lens different from the first lens is formed by the mold 453.
  • the lens material 461 and the lens material 462 are materials having different optical characteristics such as refractive index and dispersion.
  • a third material which is under the first lens in FIG. 11 but is filled with a lens material 463 after processing such as inversion of the substrate and different from the first and second lenses by the mold 454 is used.
  • a lens is formed.
  • the lens material 461, the lens material 462, and the lens material 463 are materials having different optical characteristics such as refractive index and dispersion.
  • the second lens and the third lens are formed in this order.
  • the second lens and the third lens are formed at the same timing.
  • the second lens may be formed after the third lens is formed.
  • first to third lenses are laminated has been described as an example, but the present technology can be applied to a plurality of layers such as two layers and four layers.
  • a lens in which lenses made of materials having different optical characteristics such as refractive index and dispersion are laminated can be applied as the lens 101 described above.
  • a plurality of pairs of lenses and imaging elements are arranged, superimposed imaging is performed, and a superimposed image is generated to generate a high-resolution image. Is possible.
  • the present technology is configured to perform imaging using a combination of a plurality of lenses and an image sensor, one lens is reduced in size, the focal length is shortened, and the distance between the lens and the image sensor is also reduced. Also gets better. That is, according to the present technology, a reduction in height can be realized.
  • FIG. 12 is a diagram illustrating a usage example in which the above-described imaging device and an electronic device including the imaging device are used.
  • the imaging device described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 13 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 605 is further connected to the bus 604.
  • An input unit 606, an output unit 607, a storage unit 608, a communication unit 609, and a drive 610 are connected to the input / output interface 605.
  • the input unit 606 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 607 includes a display, a speaker, and the like.
  • the storage unit 608 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 609 includes a network interface or the like.
  • the drive 610 drives a removable medium 611 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 601 loads the program stored in the storage unit 608 into the RAM 603 via the input / output interface 605 and the bus 604 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 601) can be provided by being recorded on a removable medium 611 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 608 via the input / output interface 605 by attaching the removable medium 611 to the drive 610. Further, the program can be received by the communication unit 609 via a wired or wireless transmission medium and installed in the storage unit 608. In addition, the program can be installed in advance in the ROM 602 or the storage unit 608.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • system represents the entire apparatus composed of a plurality of apparatuses.
  • this technique can also take the following structures.
  • N imaging units including a combination of an imaging element and a lens;
  • a generation unit that generates an output image by combining and joining the images captured by the N imaging units;
  • Adjacent imaging units are arranged so that imaging regions overlap,
  • the generator is Synthesize the images captured by superimposition,
  • An imaging apparatus that generates the output image by joining the synthesized images.
  • the direction of the optical axis of each of the N lenses is a different direction between adjacent lenses.
  • Each of the N lenses has a configuration in which a plurality of lenses are stacked, and is configured such that an optical axis comes in a predetermined direction by adjusting the arrangement position of each of the plurality of lenses.
  • the imaging device according to (1).
  • the imaging apparatus according to any one of (1) to (3), wherein a space between adjacent lenses is configured by a light shielding member.
  • the imaging device according to any one of (1) to (4), wherein the generation unit generates a high-resolution image using a plurality of images captured in an overlapping manner.
  • the composition is performed by comparing and emphasizing a plurality of images that are superimposed and imaged.
  • the imaging device according to any one of (1) to (5).
  • the rate at which the imaging regions are superimposed is around 25%, and images in the output image are generated by superimposing images captured by four imaging units. (1) to (6) ).
  • Each of the N lenses has a configuration in which a plurality of lenses are stacked, The plurality of lenses are formed of different wafers; The lens is formed in a hole penetrating the wafer, The imaging device according to any one of (1) to (7), wherein the stacking is performed in a wafer state.
  • a material for forming the lens which is uniformly applied or formed by CVD (Chemical Vapor Deposition) on the wafer or the hole, is formed into an optical shape by a homogeneous processing method
  • the imaging device according to (8) formed by: (10)
  • the stacking is performed by plasma bonding.
  • Each of the N lenses has a configuration in which a plurality of lenses are stacked, The plurality of lenses are formed of materials having different optical characteristics, The plurality of lenses are formed of the same wafer; Each of the N lenses is formed by sequentially filling the holes penetrating the wafer with the different materials for forming the lens, and forming the optical shape of the lens, so that any one of (1) to (7) is formed.
  • An imaging apparatus according to claim 1.
  • an imaging method of an imaging apparatus including N imaging units including a combination of an imaging element and a lens Combining the images captured by the N imaging units and generating an output image by joining the images, Adjacent imaging units capture images so that the imaging regions overlap, Synthesize the images captured by superimposition, An imaging method including the step of generating the output image by joining the synthesized images.
  • An imaging method including the step of generating the output image by joining the synthesized images.
  • a program that executes processing including a step of generating the output image by joining the synthesized images.
  • imaging device 101 lens, 102 imaging element, 103 image processing unit, 104 signal processing unit, 105 control unit, 251 imaging unit, 261 synthesis unit

Abstract

本技術は、高解像度の画像を生成することができるようにする撮像装置、撮像方法、並びにプログラムに関する。 撮像素子とレンズの組を含むＮ個の撮像部と、Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成する生成部とを備え、隣接する撮像部は、撮像領域が重畳するように配置され、生成部は、重畳して撮像された画像を合成し、合成された画像を接合することで、出力画像を生成する。Ｎ個のレンズのそれぞれの光軸の方向は、隣接するレンズ同士では異なる方向とされている。本技術は撮像装置に適用できる。

Description

撮像装置、撮像方法、並びにプログラム
　本技術は、撮像装置、撮像方法、並びにプログラムに関する。詳しくは、高解像度で、画枠の広い画像を撮像できるようにする撮像装置、撮像方法、並びにプログラムに関する。
　近年、デジタルビデオカメラやデジタルスチルカメラでは、被写体の細部まで映しだす高い解像力や携帯性を重視した機器の小型化が求められてきた。また撮像装置では、撮像特性を維持しつつ、画素サイズの小型化に向けた開発が行われてきた。
　特許文献１では、異なる画像特性の複数の撮像装置を用いて画像を撮像する分散型の手法についての記載が有る。またこの複数の撮像装置は、１つの高ダイナミックレンジ画像、パノラマ画像、高スペクトル画像、対象物との距離、および高フレームレートビデオを得るように適合されているということが開示されている。
特表２０１１－５２３５３８号公報
　特許文献１では、同一画素数の同一基板の条件下での信号処理を前提としており、複数の撮像装置で同一の画像が複数取得され、信号処理が行われる。１つの撮像装置で撮像される画像の画素数は少なく、その少ない画素数の画像を合成しても、十分な解像度を得られない可能性があった。
　本技術は、このような状況に鑑みてなされたものであり、十分な解像度を得られる撮像を行えるようにするものである。
　本技術の一側面の撮像装置は、撮像素子とレンズの組を含むＮ個の撮像部と、前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成する生成部とを備え、隣接する撮像部は、撮像領域が重畳するように配置され、前記生成部は、重畳して撮像された画像を合成し、前記合成された画像を接合することで、前記出力画像を生成する。
　前記Ｎ個のレンズのそれぞれの光軸の方向は、隣接するレンズ同士では異なる方向とされているようにすることができる。
　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、前記複数のレンズのそれぞれの配置位置を調整することで所定の方向に光軸がくるように構成されているようにすることができる。
　隣接するレンズ間は、遮光部材で構成されているようにすることができる。
　前記生成部は、重畳して撮像された複数の画像を用いて、高解像度画像を生成するようにすることができる。
　前記合成は、重畳して撮像された複数の画像を比較し、強調することで行われるようにすることができる。
　前記撮像領域が重畳している割合は、２５％前後であり、４個の撮像部で撮像された画像を重畳することで、前記出力画像内の画像が生成されるようにすることができる。
　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、前記複数のレンズは、それぞれ異なるウェーハで形成され、前記ウェーハの貫通する穴に前記レンズは形成され、前記積層は、ウェーハの状態で行われるようにすることができる。
　前記複数のレンズのそれぞれは、前記ウェーハ上または前記穴上に、均一に塗布またはＣＶＤ（Chemical Vapor Deposition）で成膜された前記レンズを形成する材料を、均質加工方法で光学形状に形成することで形成されるようにすることができる。
　前記積層は、プラズマ接合により行われるようにすることができる。
　前記ウェーハは、シリコンウェーハであるようにすることができる。
　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、前記複数のレンズは、光学特性の異なる材料で形成され、前記複数のレンズは、同一のウェーハで形成され、前記ウェーハの貫通する穴にレンズを形成する前記異なる材料が順次充填され、レンズの光学形状に形成されることで前記Ｎ個のレンズのそれぞれが形成されるようにすることができる。
　本技術の一側面の撮像方法は、撮像素子とレンズの組を含むＮ個の撮像部を備える撮像装置の撮像方法において、前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成するステップを含み、隣接する撮像部は、撮像領域が重畳するように撮像し、重畳して撮像された画像を合成し、前記合成された画像を接合することで、前記出力画像を生成するステップを含む。
　本技術の一側面のプログラムは、撮像素子とレンズの組を含むＮ個の撮像部を備える撮像装置に、前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成するステップを含み、隣接する撮像部は、撮像領域が重畳するように撮像し、重畳して撮像された画像を合成し、前記合成された画像を接合することで、前記出力画像を生成するステップを含む処理を実行させる。
　本技術の一側面の撮像装置、撮像方法、並びにプログラムにおいては、撮像素子とレンズの組を含むＮ個の撮像部が備えられ、Ｎ個の撮像部で撮像された画像が合成され、接合されることで出力画像が生成される。隣接する撮像部は、撮像領域が重畳するように撮像し、重畳して撮像された画像を合成し、合成された画像を接合することで、出力画像が生成される。
　本技術の一側面によれば、解像度を高めた撮像を行うことが可能となる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮像装置の一実施の形態の構成を示す図である。 撮像される画像について説明するための図である。 所定の領域内の画像の撮像と合成について説明するための図である。 撮像部の構成について説明するための図である。 光軸の配置について説明するための図である。 光軸の配置について説明するための図である。 光軸の配置について説明するための図である。 レンズの製造について説明するための図である。 レンズの製造について説明するための図である。 レンズの製造について説明するための図である。 レンズの製造について説明するための図である。 撮像装置の使用例について説明するための図である。 記録媒体について説明するための図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
　１．撮像装置の構成
　２．撮像される画像について
　３．撮像部の構成
　４．光軸の配置について
　５．レンズの製造について
　６．撮像装置の使用例
　７．記録媒体について
　＜撮像装置の構成＞
　図１は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。図１に示した撮像装置１００は、レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。
　図１では、１枚のレンズ１０１を示し、そのレンズ１０１と対をなす撮像素子１０２を示したが、後述するように、撮像装置１００は、複数のレンズ１０１を有し、複数の画像を一回の撮像において取得し、それらの複数の画像を合成することで、１枚の画像を生成する。
　撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。画像処理部１０３は、各画素にＲＧＢの全画素値を設定するデモザイク処理、後述する合成処理などを行う。
　この画像処理部１０３の出力は信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部（不図示）に出力される。
　制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
　＜撮像される画像について＞
　撮像装置１００で撮像される画像について説明を加える。撮像装置１００における撮像では、撮像された複数の画像から１枚の画像が出力画像１２０として生成される。
　撮像装置１００において、図２に示すような画像２０１が撮像されたとする。画像２０１は、最終的に、出力画像１２０として得られる画像の一部分であるとする。画像２０１を、説明の都合上、領域２１１乃至２１４の４領域に分割する。さらに、領域２１１を、Ａ領域、Ｂ領域、Ｃ領域、Ｄ領域の４つの領域に分割する。
　領域２１１は、図３を参照して説明するように、９個の撮像部で撮像されている。ここで撮像部とは、レンズ、撮像素子、および画像処理部を含む構成とされ、領域２１１内の画像を撮像し、取得する機能を有する部分である。
　撮像部２５１-１乃至２５１－９の９個の撮像部２５１により、領域２１１内の画像は撮像される。図３に示した例えば、２５１－１と符号を付した四角形は、撮像部２５１－１で撮像される画像（画枠）を示す。
　撮像部２５１－１で撮像された画像の右下に位置する画像Ａ１、撮像部２５１－２で撮像された画像の左下に位置する画像Ａ２、撮像部２５１－４で撮像された画像の右上に位置する画像Ａ４、および撮像部２５１－５で撮像された画像の左上に位置する画像Ａ５を合成することで、領域２１１内のＡ領域の画像Ａが生成される。
　すなわちこの場合、４つの撮像部２５１で撮像された画像を合成することで、Ａ領域内の画像が生成される。このような合成を可能とするために、撮像部２５１－１、撮像部２５１－２、撮像部２５１－４、および撮像部２５１－５は、Ａ領域が重畳するような状態での撮像を行う。
　この場合、所定の撮像部２５１が撮像する画像内の２５％の領域が、他の撮像部２５１が撮像する画像内の２５％の領域と重畳するような撮像が行われるように設定されている。この設定は、図５を参照して説明するように、レンズの光軸をずらすことなどで実現される。
　なおここでは、重畳されて撮像される領域の大きさは、２５％の場合を例に挙げて説明するが、２５％以上であっても良いし、２５％以下であっても良く、２５％に本技術の適用範囲が限定されることを意味する記載ではない。
　複数の画像を合成するとき、重畳部分を比較して、強調することで、高解像度の画像が生成されるようにしても良い。
　同様に、撮像部２５１－２で撮像された画像の右下に位置する画像Ｂ１、撮像部２５１－３で撮像された画像の左下に位置する画像Ｂ３、撮像部２５１－５で撮像された画像の右上に位置する画像Ｂ５、および撮像部２５１－６で撮像された画像の左上に位置する画像Ｂ５を合成することで、領域２１１内のＢ領域の画像Ｂが生成される。
　同様に、撮像部２５１－４で撮像された画像の右下に位置する画像Ｃ４、撮像部２５１－５で撮像された画像の左下に位置する画像Ｃ５、撮像部２５１－７で撮像された画像の右上に位置する画像Ｃ７、および撮像部２５１－８で撮像された画像の左上に位置する画像Ｃ８を合成することで、領域２１１内のＣ領域の画像Ｃが生成される。
　同様に、撮像部２５１－５で撮像された画像の右下に位置する画像Ｄ５、撮像部２５１－６で撮像された画像の左下に位置する画像Ｄ６、撮像部２５１－８で撮像された画像の右上に位置する画像Ｄ８、および撮像部２５１－９で撮像された画像の左上に位置する画像Ｄ９を合成することで、領域２１１内のＤ領域の画像Ｄが生成される。
　このようにして生成された画像Ａ、画像Ｂ、画像Ｃ、および画像Ｄが接合（ステッチング）されることで、画像２０１の領域２１１内の画像が生成される。
　なお図示はしないが、画像２０１の領域２１２乃至２１４内のそれぞれの画像も、複数の撮像部が、所定の領域を重畳する状態で撮像し、重畳して撮像された画像が合成されることにより生成された画像が、さらに接合されることで生成される。そして、画像２０１が出力画像１２０の一部分である場合、このような処理により生成された複数の画像が接合されることにより、出力画像１２０は生成される。
　このように、この場合、領域２１１内の画像は、９個の撮像部２５１により撮像された画像とされる。このように、１画像内の所定の領域を、複数の撮像部で撮像し、それら複数の画像を合成することで、その領域の画像を生成することで、解像度を向上させた撮像を行うことが可能となる。
　また、撮像部２５１の露光時間を異なる露光時間とし、露光時間が異なる画像を合成することで、広ダイナミックレンジを有する画像を取得することができる。例えば、領域Ａ内の画像を撮像する撮像部２５１－１、撮像部２５１－２、撮像部２５１－４、および撮像部２５１－５の４つの撮像部２５１の露光時間を、それぞれ異なる露光時間とし、それぞれの撮像部２５１から得られた４枚の異露光画像を合成することで、領域Ａ内の画像は、広ダイナミックレンジを有する画像となる。
　＜撮像部の構成＞
　図３を参照して説明したように、所定の領域を複数の撮像部で撮像し、合成する場合の撮像装置１００の構成について、図４を参照して説明する。図４では、図３に示した撮像部２５１―１乃至２５１－９を備える撮像装置１００を例に挙げて説明する。
　撮像部２５１－１は、レンズ１０１－１、撮像素子１０２－１、画像処理部１０３－１を含む構成とされている。同様に、撮像部２５１－２は、レンズ１０１－２、撮像素子１０２－２、画像処理部１０３－２を含む構成とされている。撮像部２５１－３乃至２５１－９も、それぞれレンズ１０１－３乃至１０１－９、撮像素子１０２－３乃至１０２－９、および画像処理部１０３－３乃至１０３－９を含む構成とされている。
　撮像部２５１－１内のレンズ１０１－１により集光された光は、撮像素子１０２－１に受光される。撮像素子１０２－１は、光電変換による画像データを出力する。出力画像データは画像処理部１０３－１に入力される。画像処理部１０３－１は、図３に示したように、領域２１１(図２)内のＡ領域の画像Ａを含む画像を生成し、合成部２６１に出力する。
　同様に、撮像部２５１－２乃至２５１－９も、それぞれ所定領域を撮像した画像を生成し、合成部２６１に、生成した画像を出力する。合成部２６１には、撮像部２５１－１乃至２５１－９で生成された、９枚の画像が供給される。合成部２６１は、図３を参照して説明したように、各画像から重畳して撮像されている画像を合成することで、所定領域内の画像を生成し、さらに、その生成された画像をつなぎ合わせることで、画像２０１（画像２０１を含む出力画像１２０）を生成する。
　このように、撮像装置１００は、レンズ１０１と撮像素子１０２を１対とした撮像部２５１により、それぞれ画像を撮像し、撮像した複数の画像を、合成部２６１で合成することで、１枚の画像を生成する構成を有する。
　なお、図４では、画像処理部１０３－１乃至１０３－９を設ける例を挙げて説明したが、１つの画像処理部１０３で、撮像素子１０２－１乃至１０２－９からの画像を処理する構成とすることも可能である。また、画像処理部１０３と合成部２６１を、１つの処理部とすることも可能である。
　＜光軸の配置について＞
　このような重畳する領域があるように撮像を行うようにした場合、レンズ１０１と撮像素子１０２は、図５に示すような配置とされる。図５では、図３において、横方向(水平方向)に配置されている撮像部２５１－１乃至２５１－３を例に挙げて説明する。
　撮像素子１０２－１、撮像素子１０２－２、および撮像素子１０２－３は、それぞれ所定の間隔を空けて配置されている。同じく、レンズ１０１－１、レンズ１０１－２、およびレンズ１０１－３は、それぞれ所定の間隔を空けて配置されているが、その間隔は等間隔ではない。
　レンズ１０１－１、レンズ１０１－２、およびレンズ１０１－３は、それぞれの光軸が所定のずれを有するように配置されている。レンズ１０１－１の光軸は、光軸３０１－１であり、レンズ１０１－２の光軸は、光軸３０１－２であり、レンズ１０１－３の光軸は、光軸３０１－３である。
　中央に位置するレンズ１０１－２は、その光軸３０１－２が、垂直方向(上下方向)になるように配置されている。レンズ１０１－２の左側に位置するレンズ１０１－１は、その光軸３０１－１が、光軸３０１－２に対して、左斜め方向になるように配置されている。レンズ１０１－２の右側に位置するレンズ１０１－３は、その光軸３０１－３が、光軸３０１－２に対して、右斜め方向になるように配置されている。
　このようにレンズ１０１は、光軸が同方向になるように配置されているのではなく、異なる方向になるように配置されている。ここでは、３枚のレンズ１０１を例に挙げて説明したが、撮像装置１００には、３以上の複数のレンズが設けられている。それらの複数のレンズのうち、同方向に光軸が設けられているレンズもあるが、近接する（隣り合う）レンズ同士の光軸は異なる方向となるように構成されている。
　なお、レンズ１０１は、２次元的にマトリクス状に配置されているため、隣接するレンズ同士とは、所定のレンズ１０１を中心としたとき、そのレンズ１０１に隣接するとは、上下、左右、斜め方向に配置されている８個のレンズ１０１のこととなる。
　例えば、図３に示したような撮像部２５１－１乃至２５１－９の９個の撮像部２５１が配置され、それぞれレンズ１０１－１乃至１０１－９が配置されている場合、レンズ１０１－１乃至１０１－９のそれぞれの光軸は、異なる方向となるように構成されている。
　このような光軸のずれを生じさせるために、レンズ１０１は、複数のレンズの組み合わせで構成されている。この点については、図６を参照して後述する。
　光軸３０１がずれた状態で配置されることで、撮像領域をずらすことが可能となる。撮像素子１０２－１で撮像される撮像領域は、図５中、三角形で表した撮像領域３０２－１であるとする。同様に、撮像素子１０２－１で撮像される撮像領域は、撮像領域３０２－２であり、撮像素子１０２－３で撮像される撮像領域は、撮像領域３０２－３である。
　撮像領域３０２－１と撮像領域３０２－２は、画像Ａ１と画像Ａ２をそれぞれ撮像する領域が重畳されている。また、撮像領域３０２－２と撮像領域３０２－３は、画像Ｂ２と画像Ｂ３をそれぞれ撮像する領域が重畳されている。
　このように、撮像領域３０２が重畳している領域を設けることで、図３を参照して説明したような重畳した撮像を行い、重畳している領域の画像を合成し、高解像度の画像を生成することが可能となる。
　光軸３０１がずれるようにレンズ１０１が配置されているため、その光軸３０１の先に、撮像素子１０２が位置するように、撮像素子１０２－１乃至１０２－３は、所定の間隔を有して配置されている。
　このように、光軸３０１がずれるようにレンズ１０１や撮像素子１０２を配置することで、広視野を実現した撮像を行うことが可能となる。また、撮像領域３０２に重畳する領域を設け、その重畳して撮像された領域内の画像を重畳することで、高解像度を実現することが可能となる。
　このような光軸３０１のずれを実現するために、レンズ１０１を複数枚で構成することについて、図６を参照して説明する。
　図６では、横方向に配置されている５個の撮像素子１０２と、それらの撮像素子１０２と対をなすレンズ１０１を図示してある。図６に示したように、撮像素子１０２－１、撮像素子１０２－２、撮像素子１０２－３、撮像素子１０２－１０、撮像素子１０２－１１が、この順で、水平方向に配置されている。
　レンズ１０１は、３枚のレンズから構成されている。撮像素子１０２－１と対をなすレンズ１０１―１は、レンズ１０１－１－１、レンズ１０１－１－２、およびレンズ１０１－１－３から構成されている。レンズ１０１－１－１、レンズ１０１－１－２、およびレンズ１０１－１－３は、図６に示したように、それぞれのレンズの中心を通る軸が、撮像素子１０２－１の撮像面に対して垂直となる方向と一致するように配置されている。撮像素子１０２－１の撮像面と軸のなす角ａは、直角となっている。
　撮像素子１０２－２と対をなすレンズ１０１－２は、レンズ１０１－２－１、レンズ１０１－２－２、およびレンズ１０１－２－３から構成されている。レンズ１０１－２－１、レンズ１０１－２－２、およびレンズ１０１－２－３は、図６に示したように、それぞれのレンズの中心を通る軸が、撮像素子１０２－２の撮像面に対して所定の角度を有する方向と一致するように配置されている。撮像素子１０２－２の撮像面と軸とのなす角ｂは、なす角ａ＞なす角ｂとの関係を満たす。
　レンズ１０１－１－１とレンズ１０１－２－１との間隔よりも、レンズ１０１－１－２とレンズ１０１－２－２との間隔の方が広く、レンズ１０１－１－３とレンズ１０１－２－３との間隔の方がさらに広くなるようにレンズ１０１－１とレンズ１０１－２は配置されている。このように、レンズ１０１－２－１乃至１０１－２－３の中心が、それぞれずれるような配置とされることで、撮像素子１０２－２の撮像面と軸がなす角ｂを有するように構成されている。
　同様に、撮像素子１０２－３と対をなすレンズ１０１－３は、レンズ１０１－３－１、レンズ１０１－３－２、およびレンズ１０１－３－３から構成されている。レンズ１０１－３－１、レンズ１０１－３－２、およびレンズ１０１－３－３は、図６に示したように、それぞれのレンズの中心を通る軸が、撮像素子１０２－３の撮像面に対して所定の角度を有する方向と一致するように配置されている。撮像素子１０２－３の撮像面と軸とのなす角ｃは、なす角ａ＞なす角ｂ＞なす角ｃとの関係を満たす。
　レンズ１０１－２－１とレンズ１０１－３－１との間隔よりも、レンズ１０１－２－２とレンズ１０１－３－２との間隔の方が広く、レンズ１０１－２－３とレンズ１０１－３－３との間隔の方がさらに広くなるようにレンズ１０１－２とレンズ１０１－３は配置されている。このように、レンズ１０１－３－１乃至１０１－３－３の中心が、それぞれずれるような配置とされることで、撮像素子１０２－３の撮像面と軸がなす角ｃを有するように構成されている。
　撮像素子１０２－１０と、その撮像素子１０２－１０と対をなすレンズ１０１－１０－１乃至１０１－１０－３も、上記した撮像素子１０２とレンズ１０１との関係と同様に、レンズ１０１－１０－１乃至１０１－１０－３も、中心がずれるように配置され、それらの中心を通る軸と撮像素子１０２－１０の撮像面とのなす角が、なす角ｄとなるように構成されている。
　さらに、撮像素子１０２－１１と、その撮像素子１０２－１１と対をなすレンズ１０１－１１－１乃至１０１－１１－３も、上記した撮像素子１０２とレンズ１０１との関係と同様に、レンズ１０１－１１－１乃至１０１－１１－３も、中心がずれるように配置され、それらの中心を通る軸と撮像素子１０２－１１の撮像面とのなす角が、なす角ｅとなるように構成されている。
　なす角ａ乃至ｅは、以下の関係を満たす。
　なす角ａ＞なす角ｂ＞なす角ｃ＞なす角ｄ＞なす角ｅ
図６に示した例では、中心から外周に向かうほど、なす角が鋭角になるように構成されている。
　このようななす角の調整は、上記したように、レンズ１０１を構成する複数のレンズの配置位置を調整することで、所望の方向に光軸が来るように行われる。
　このように、水平方向で隣接するレンズ１０１同士は、所定の間隔を有して配置されている。この所定の間隔のところは、遮光する部材が充填されるなどし、隣接する撮像素子１０２に影響を与えないような構成とされる。
　例えば、図７に示すように、レンズ１０１同士の間隔は、基板で構成され、この基板は、遮光部材で構成されているようにする。図中、塗りつぶしで表した部分は、遮光機能を有する基板であることを示している。
　例えば、レンズ１０１－１－１とレンズ１０１－２－１との間に基板が設けられ、レンズ１０１－１－２とレンズ１０１－２－２との間に基板が設けられ、レンズ１０１－１－３とレンズ１０１－２－３との間に基板が設けられている。これらの基板は、遮光機能を有するため、この基板に対して入射してきた光を遮光することができ、レンズ１０１以外の部分から撮像素子１０２に入射する光を遮断することが可能となる。
　また、レンズ１０１間に基板を設けた構成とすることで、図８に示したようにしてレンズ１０１を製造することができるようになる。
　＜レンズの製造について＞
　図８は、レンズ１０１の製造工程に用いられるウェーハを表している。ウェーハ４０１には、複数の穴４０２が空けられている。１つの穴４０２は、１つのレンズ１０１が形成される部分に該当する。穴４０２と穴４０２の間隔は、上記した記載では、基板と称している部分であり、例えば、レンズ１０１－１－１とレンズ１０１－２－１との間である。
　この穴４０２に、レンズ１０１を形成するための部材、例えば、ガラス、シリコン、樹脂など(以下、レンズ材と記述する)が充填され、型が取られることでレンズ１０１が形成される。１つの穴４０２を例に挙げ、図９を参照してレンズ１０１の形成について説明する。
　図８に示したウェーハ４０１の状態のときに、レンズ材４１１(図９)が、各穴４０２に充填される。その後、型４３１と型４３２により型が取られることで、レンズ１０１が形成される。型４３１と型４３２は、形成したいレンズ１０１を形成できる形状とされている。レンズ材４１１は、例えば、熱硬化性の樹脂であり、型が取られた後に熱が加えられることで硬化し、レンズ１０１となる。
　図７を再度参照するに、例えば、レンズ１０１－１は、レンズ１０１－１－１、レンズ１０１－１－２、およびレンズ１０１－１－３から構成されている。このように複数のレンズ１０１が積層されている構成とした場合、図８、図９を参照して説明したようにして、各レンズ１０１が製造されるようにすればよい。
　すなわちこの場合、レンズ１０１－１－１、レンズ１０１－１－２、およびレンズ１０１－１－３は、それぞれ別のウェーハ４０１と、それぞれのレンズの形状を有する型４３１，４３２が用いられて、ウェーハ４０１の状態でまず形成される。この場合、レンズ１０１－１－１のウェーハ４０１－１、レンズ１０１－１－２のウェーハ４０１－２、およびレンズ１０１－１－３のウェーハ４０１－３がそれぞれ製造される。
　この製造された３枚のウェーハ４０１－１、ウェーハ４０１－２、およびウェーハ４０１－３を積層することで、図７に示したように、所定の角度を有した状態で積層されたレンズ１０１を製造することができる。
　図１０では、２層であるが、積層されたウェーハ４０１の一部分の状態を示す。図１０に示した例では、ウェーハ４０１－１とウェーハ４０１－２が積層されている。ウェーハ４０１－１とウェーハ４０１－２は、例えば、樹脂等の接着剤により接着される。または、接着剤を用いずに、プラズマ接合等などにより接合されるようにしても良い。
　積層されたウェーハ４０１を、撮像素子１０２が配置されているウェーハに載置し、撮像素子とレンズが積層されたウェーハを、必要とされるレンズ１０１の個数を含む領域で切り出すことでで、図７(図６)に示したような状態の撮像装置を製造することができる。または、積層されたウェーハ４０１を、必要とされるレンズ１０１の個数を含む領域で切り出し、既にウェーハから切り出されている撮像素子１０２上に載置することで、図７(図６)に示したような状態の撮像装置を製造することができる。
　このように、ウェーハ４０１に穴４０２を設けた貫通基板を製造し、その貫通基板上または貫通された穴４０２上に、レンズ材４１１を均質に塗布またＣＶＤ（Chemical Vapor Deposition）等で成膜し、インプリント、リソグラフィーなどの均質加工方法で光学形状に形成された複数のレンズを製造し、ウェーハレベルで製造されたレンズを積層することで、図７などを参照して説明したレンズが製造される。
　このように、ウェーハレベルで貼り合わせなどの処理が行えるため、上記したように複数のレンズを、中心をずらした状態で積層するような構成であっても、容易に製造することが可能である。
　なお、ウェーハ４０１は、シリコンを用いたシリコンウェーハであっても良く、そのようなウェーハを、本技術に適用することもできる。
　このように、基板上に穴を設け、その穴４０２の部分にレンズ１０１が形成されるようにすることで、レンズ１０１同士の間に、基板が存在する状態となる。レンズ１０１と基板を、熱膨張率が異なる材料で構成することで、例えば、熱などの影響により、レンズ１０１が膨張するような状況であっても、レンズ１０１の膨張による影響を基板で食い止めることができる。よって、そのような熱による影響が、他のレンズ１０１に及ぶようなことを防ぐことが可能となる。
　上述した実施の形態においては、レンズ１０１を、３枚のレンズを積層して構成する場合を例に挙げて説明したが、図１１に示すように、屈折率などが異なる材料を用いて、上記した３枚のレンズが積層された場合と同等の光学特性を有するレンズを形成するようにしても良い。
　図１１を参照するに、まず、図１１の左側に示した用に、基板４０１の穴４０２にレンズ材４６１が充填され、型４５１と型４５２により、レンズ（第１のレンズとする）が形成される。その次の工程として、第１のレンズ上に、レンズ材４６２が充填され、型４５３により、第１のレンズとは異なる第２のレンズが形成される。
　レンズ材４６１とレンズ材４６２は、屈折率や分散など、光学特性が異なる材料である。
　次の工程として、図１１中では第１のレンズ下であるが、基板の反転などの処理後に、レンズ材４６３が充填され、型４５４により、第１、第２のレンズとは異なる第３のレンズが形成される。レンズ材４６１、レンズ材４６２、およびレンズ材４６３は、屈折率や分散など、光学特性が異なる材料である。
　ここでは、第１のレンズが形成された後、第２のレンズ、第３のレンズの順に形成されるとして説明したが、第２のレンズと第３のレンズが同じタイミングで形成されたり、第３のレンズの形成後に第２のレンズが形成されたりする流れにしても良い。
　またここでは、第１乃至第３のレンズが積層される場合を例に挙げて説明したが、２層、４層など、複数の層に対して、本技術は適用できる。
　このように、屈折率や分散といった光学的な特性が異なる材料からなるレンズが積層される構成とすることも可能である。またこの場合もウェーハ４０１の状態でレンズを積層するまでの処理を行えるため、容易に複層のレンズを形成することができる。
　このように、屈折率や分散といった光学的な特性が異なる材料からなるレンズが積層されたレンズを、上記したレンズ１０１として適用することも勿論できる。
　上記したように、本技術では、レンズと撮像素子との組を複数配置し、重畳した撮像を行うようにし、重畳して撮像された画像を合成することで、高い解像度の画像を生成することが可能となる。
　仮に、同一の解像度の画像を１組のレンズと撮像素子で撮像できるようにした場合、そのレンズの形状は大きくなり、焦点距離が長くなり、レンズと撮像素子の間隔を広く取らなくてはならなくなる。これに対して、本技術は、複数のレンズと撮像素子の組を用いて撮像を行う構成のため、１つのレンズは小型化され、焦点距離が短くなり、レンズと撮像素子の間隔も狭くても良くなる。すなわち、本技術によれば、低背化を実現できる。
　また本技術によれば、レンズの光軸を振ることで広視野を実現した画像を撮像することができる。
　このように、本技術によれば広角と高解像度を両立した撮像を行うことが可能となる。
　＜撮像装置の使用例＞
　図１２は、上述の撮像素子や撮像素子を含む電子機器を使用する使用例を示す図である。
　上述した撮像装置は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３は、バス６０４により相互に接続されている。バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
　入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、ＲＡＭ６０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ＲＯＭ６０２や記憶部６０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　撮像素子とレンズの組を含むＮ個の撮像部と、
　前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成する生成部と
　を備え、
　隣接する撮像部は、撮像領域が重畳するように配置され、
　前記生成部は、
　重畳して撮像された画像を合成し、
　前記合成された画像を接合することで、前記出力画像を生成する
　撮像装置。
（２）
　前記Ｎ個のレンズのそれぞれの光軸の方向は、隣接するレンズ同士では異なる方向とされている
　前記（１）に記載の撮像装置。
（３）
　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、前記複数のレンズのそれぞれの配置位置を調整することで所定の方向に光軸がくるように構成されている
　前記（１）に記載の撮像装置。
（４）
　隣接するレンズ間は、遮光部材で構成されている
　前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
　前記生成部は、重畳して撮像された複数の画像を用いて、高解像度画像を生成する
　前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
　前記合成は、重畳して撮像された複数の画像を比較し、強調することで行われる
　前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記撮像領域が重畳している割合は、２５％前後であり、４個の撮像部で撮像された画像を重畳することで、前記出力画像内の画像が生成される
　前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、
　前記複数のレンズは、それぞれ異なるウェーハで形成され、
　前記ウェーハの貫通する穴に前記レンズは形成され、
　前記積層は、ウェーハの状態で行われる
　前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）
　前記複数のレンズのそれぞれは、前記ウェーハ上または前記穴上に、均一に塗布またはＣＶＤ（Chemical Vapor Deposition）で成膜された前記レンズを形成する材料を、均質加工方法で光学形状に形成することで形成される
　前記（８）に記載の撮像装置。
（１０）
　前記積層は、プラズマ接合により行われる
　前記（８）または（９）に記載の撮像装置。
（１１）
　前記ウェーハは、シリコンウェーハである
　前記（８）乃至（１０）のいずれかに記載の撮像装置。
（１２）
　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、
　前記複数のレンズは、光学特性の異なる材料で形成され、
　前記複数のレンズは、同一のウェーハで形成され、
　前記ウェーハの貫通する穴にレンズを形成する前記異なる材料が順次充填され、レンズの光学形状に形成されることで前記Ｎ個のレンズのそれぞれが形成される
　前記（１）乃至（７）のいずれかに記載の撮像装置。
（１３）
　撮像素子とレンズの組を含むＮ個の撮像部を備える撮像装置の撮像方法において、
　前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成するステップを含み、
　隣接する撮像部は、撮像領域が重畳するように撮像し、
　重畳して撮像された画像を合成し、
　前記合成された画像を接合することで、前記出力画像を生成する
　ステップを含む撮像方法。
（１４）
　撮像素子とレンズの組を含むＮ個の撮像部を備える撮像装置に、
　前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成するステップを含み、
　隣接する撮像部は、撮像領域が重畳するように撮像し、
　重畳して撮像された画像を合成し、
　前記合成された画像を接合することで、前記出力画像を生成する
　ステップを含む処理を実行させるプログラム。
　１００　撮像装置，　１０１　レンズ，　１０２　撮像素子，　１０３　画像処理部，　１０４　信号処理部，　１０５　制御部，　２５１　撮像部，　２６１　合成部

Claims (14)

  1. 　撮像素子とレンズの組を含むＮ個の撮像部と、
    　前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成する生成部と
    　を備え、
    　隣接する撮像部は、撮像領域が重畳するように配置され、
    　前記生成部は、
    　重畳して撮像された画像を合成し、
    　前記合成された画像を接合することで、前記出力画像を生成する
    　撮像装置。
  2. 　前記Ｎ個のレンズのそれぞれの光軸の方向は、隣接するレンズ同士では異なる方向とされている
    　請求項１に記載の撮像装置。
  3. 　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、前記複数のレンズのそれぞれの配置位置を調整することで所定の方向に光軸がくるように構成されている
    　請求項１に記載の撮像装置。
  4. 　隣接するレンズ間は、遮光部材で構成されている
    　請求項１に記載の撮像装置。
  5. 　前記生成部は、重畳して撮像された複数の画像を用いて、高解像度画像を生成する
    　請求項１に記載の撮像装置。
  6. 　前記合成は、重畳して撮像された複数の画像を比較し、強調することで行われる
    　請求項１に記載の撮像装置。
  7. 　前記撮像領域が重畳している割合は、２５％前後であり、４個の撮像部で撮像された画像を重畳することで、前記出力画像内の画像が生成される
    　請求項１に記載の撮像装置。
  8. 　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、
    　前記複数のレンズは、それぞれ異なるウェーハで形成され、
    　前記ウェーハの貫通する穴に前記レンズは形成され、
    　前記積層は、ウェーハの状態で行われる
    　請求項１に記載の撮像装置。
  9. 　前記複数のレンズのそれぞれは、前記ウェーハ上または前記穴上に、均一に塗布またはＣＶＤ（Chemical Vapor Deposition）で成膜された前記レンズを形成する材料を、均質加工方法で光学形状に形成することで形成される
    　請求項８に記載の撮像装置。
  10. 　前記積層は、プラズマ接合により行われる
    　請求項８に記載の撮像装置。
  11. 　前記ウェーハは、シリコンウェーハである
    　請求項８に記載の撮像装置。
  12. 　前記Ｎ個のレンズのそれぞれは、複数のレンズが積層された構成を有し、
    　前記複数のレンズは、光学特性の異なる材料で形成され、
    　前記複数のレンズは、同一のウェーハで形成され、
    　前記ウェーハの貫通する穴にレンズを形成する前記異なる材料が順次充填され、レンズの光学形状に形成されることで前記Ｎ個のレンズのそれぞれが形成される
    　請求項１に記載の撮像装置。
  13. 　撮像素子とレンズの組を含むＮ個の撮像部を備える撮像装置の撮像方法において、
    　前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成するステップを含み、
    　隣接する撮像部は、撮像領域が重畳するように撮像し、
    　重畳して撮像された画像を合成し、
    　前記合成された画像を接合することで、前記出力画像を生成する
    　ステップを含む撮像方法。
  14. 　撮像素子とレンズの組を含むＮ個の撮像部を備える撮像装置に、
    　前記Ｎ個の撮像部で撮像された画像を合成し、接合することで出力画像を生成するステップを含み、
    　隣接する撮像部は、撮像領域が重畳するように撮像し、
    　重畳して撮像された画像を合成し、
    　前記合成された画像を接合することで、前記出力画像を生成する
    　ステップを含む処理を実行させるプログラム。
PCT/JP2016/063535 2015-05-15 2016-05-02 撮像装置、撮像方法、並びにプログラム WO2016185902A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015099720 2015-05-15
JP2015-099720 2015-05-15

Publications (1)

Publication Number Publication Date
WO2016185902A1 true WO2016185902A1 (ja) 2016-11-24

Family

ID=57320062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/063535 WO2016185902A1 (ja) 2015-05-15 2016-05-02 撮像装置、撮像方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2016185902A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139254A1 (en) * 2017-01-26 2018-08-02 Sony Semiconductor Solutions Corporation Camera module, method of producing the same, and electronic device
WO2018128096A3 (en) * 2017-01-05 2018-08-16 Sony Semiconductor Solutions Corporation Lens module and method of producing lens module

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH065829A (ja) * 1992-06-19 1994-01-14 Toshiba Corp 光電変換装置
JPH0799296A (ja) * 1993-09-28 1995-04-11 Sharp Corp 固体撮像装置およびその製造方法
WO2006101064A1 (ja) * 2005-03-24 2006-09-28 Matsushita Electric Industrial Co., Ltd. 撮像装置及びそれに用いられるレンズアレイ
JP2011071247A (ja) * 2009-09-25 2011-04-07 Sony Corp 固体撮像装置の製造方法
JP2011180292A (ja) * 2010-02-26 2011-09-15 Fujifilm Corp レンズアレイ
JP2011199662A (ja) * 2010-03-19 2011-10-06 Sony Corp 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体
JP2012159483A (ja) * 2011-02-03 2012-08-23 Sony Corp 放射線撮像装置および放射線撮像表示システム
JP2012186488A (ja) * 2012-04-27 2012-09-27 Dainippon Printing Co Ltd 固体撮像素子の製造方法
JP2013077678A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像素子、電子機器、並びに、製造方法
JP2013246558A (ja) * 2012-05-24 2013-12-09 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体
WO2014091985A1 (ja) * 2012-12-11 2014-06-19 コニカミノルタ株式会社 複眼光学系とそれを用いた撮像装置
JP2014207253A (ja) * 2012-04-17 2014-10-30 キヤノン株式会社 イメージセンサおよび撮像装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH065829A (ja) * 1992-06-19 1994-01-14 Toshiba Corp 光電変換装置
JPH0799296A (ja) * 1993-09-28 1995-04-11 Sharp Corp 固体撮像装置およびその製造方法
WO2006101064A1 (ja) * 2005-03-24 2006-09-28 Matsushita Electric Industrial Co., Ltd. 撮像装置及びそれに用いられるレンズアレイ
JP2011071247A (ja) * 2009-09-25 2011-04-07 Sony Corp 固体撮像装置の製造方法
JP2011180292A (ja) * 2010-02-26 2011-09-15 Fujifilm Corp レンズアレイ
JP2011199662A (ja) * 2010-03-19 2011-10-06 Sony Corp 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体
JP2012159483A (ja) * 2011-02-03 2012-08-23 Sony Corp 放射線撮像装置および放射線撮像表示システム
JP2013077678A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像素子、電子機器、並びに、製造方法
JP2014207253A (ja) * 2012-04-17 2014-10-30 キヤノン株式会社 イメージセンサおよび撮像装置
JP2012186488A (ja) * 2012-04-27 2012-09-27 Dainippon Printing Co Ltd 固体撮像素子の製造方法
JP2013246558A (ja) * 2012-05-24 2013-12-09 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体
WO2014091985A1 (ja) * 2012-12-11 2014-06-19 コニカミノルタ株式会社 複眼光学系とそれを用いた撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128096A3 (en) * 2017-01-05 2018-08-16 Sony Semiconductor Solutions Corporation Lens module and method of producing lens module
CN109983368A (zh) * 2017-01-05 2019-07-05 索尼半导体解决方案公司 透镜模块、制造透镜模块的方法、成像装置和电子设备
TWI741108B (zh) * 2017-01-05 2021-10-01 日商索尼半導體解決方案公司 透鏡模組，生產透鏡模組之方法，成像裝置及電子裝置
WO2018139254A1 (en) * 2017-01-26 2018-08-02 Sony Semiconductor Solutions Corporation Camera module, method of producing the same, and electronic device
US11134184B2 (en) 2017-01-26 2021-09-28 Sony Semiconductor Solutions Corporation Camera module, method of producing the same, and electronic device
CN110192128B (zh) * 2017-01-26 2022-05-17 索尼半导体解决方案公司 相机模块、其制造方法和电子设备

Similar Documents

Publication Publication Date Title
JP7180658B2 (ja) 固体撮像素子、および電子機器
JP2021121123A (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US9319585B1 (en) High resolution array camera
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
WO2017126376A1 (ja) イメージセンサ、製造方法、及び、電子機器
JP2010252105A (ja) 撮像装置
JP2010154493A (ja) 撮像装置
JP2009253413A (ja) 撮像装置及び光軸制御方法
JP2009177727A (ja) 撮像装置
WO2017169881A1 (ja) 半導体装置、半導体装置の製造方法、集積基板、及び、電子機器
JP2005252625A (ja) 撮像装置および画像処理方法
JP2016127043A (ja) 固体撮像素子及び電子機器
JP2012189551A5 (ja)
JP2010206643A (ja) 撮像装置、方法およびプログラム
WO2016185902A1 (ja) 撮像装置、撮像方法、並びにプログラム
CN108156383B (zh) 基于相机阵列的高动态十亿像素视频采集方法及装置
JP2022002331A (ja) 固体撮像素子、および電子機器
TWI709340B (zh) 固體攝像元件及電子機器
JP4735978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
TWI746620B (zh) 相機模組、製造方法及電子機器
JP2017103752A5 (ja)
US10032823B2 (en) Solid-state imaging device and imaging apparatus
US11496680B2 (en) Imaging unit
WO2018088212A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2016147901A1 (ja) 固体撮像素子、撮像装置、並びに電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796296

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16796296

Country of ref document: EP

Kind code of ref document: A1