WO2009088068A1 - 撮像装置及び光軸制御方法 - Google Patents

撮像装置及び光軸制御方法 Download PDF

Info

Publication number
WO2009088068A1
WO2009088068A1 PCT/JP2009/050198 JP2009050198W WO2009088068A1 WO 2009088068 A1 WO2009088068 A1 WO 2009088068A1 JP 2009050198 W JP2009050198 W JP 2009050198W WO 2009088068 A1 WO2009088068 A1 WO 2009088068A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
optical axis
image
lens
unit
Prior art date
Application number
PCT/JP2009/050198
Other languages
English (en)
French (fr)
Inventor
Hiroshi Ito
Makoto Kitagawa
Tomoya Shimura
Shinichi Arita
Satoru Inoue
Hirokazu Katakame
Sakae Saito
Shunichi Sato
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008180689A external-priority patent/JP4413261B2/ja
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to CN2009801018029A priority Critical patent/CN101911671B/zh
Priority to US12/812,142 priority patent/US8619183B2/en
Publication of WO2009088068A1 publication Critical patent/WO2009088068A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/291—Two-dimensional analogue deflection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to an imaging apparatus and an optical axis control method.
  • This application claims priority based on Japanese Patent Application No. 2008-003075 filed in Japan on January 10, 2008, and Japanese Patent Application No. 2008-180689 filed in Japan on July 10, 2008. , The contents of which are incorporated herein.
  • An image pickup apparatus represented by a digital camera includes an image pickup element, an imaging optical system (lens optical system), an image processor, a buffer memory, a flash memory (card type memory), an image monitor, an electronic circuit and a mechanical mechanism for controlling these, and the like. It is composed of A solid-state electronic device such as a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is usually used for the image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the light quantity distribution imaged on the image sensor is photoelectrically converted, and the obtained electric signal is processed by an image processor and a buffer memory.
  • a DSP Digital Signal Processor
  • a DRAM Dynamic Random Access Memory
  • the captured image is recorded and accumulated in a card type flash memory or the like, and the recorded and accumulated image can be displayed on a monitor.
  • An optical system for forming an image on an image sensor is usually composed of several aspheric lenses in order to eliminate aberrations.
  • a driving mechanism (actuator) that changes the focal length of the combination lens and the distance between the lens and the image sensor is necessary.
  • the imaging device has increased pixel count and resolution, the imaging optical system has lower aberration and higher accuracy, and has a zoom function, autofocus function, and camera shake. Advanced functions such as correction functions are advancing. Along with this, there is a problem that the imaging device becomes large and it is difficult to reduce the size and thickness.
  • an imaging lens device that includes a solid lens array, a liquid crystal lens array, and a single imaging device arranged in a planar shape has been proposed (for example, Patent Document 1).
  • the same number of images as the number of lens arrays 2001 are divided and imaged on a single image sensor 2003.
  • a plurality of images obtained from the image sensor 2003 are subjected to image processing by the arithmetic unit 2004 to reconstruct the entire image. Further, focus information is detected from the arithmetic unit 2004, and each liquid crystal lens of the liquid crystal lens array 2002 is driven via the liquid crystal drive unit 2005 to perform auto focus.
  • the imaging lens device of Patent Document 1 has an autofocus function and a zoom function and can be downsized by combining a liquid crystal lens and a solid lens.
  • an image pickup apparatus including one non-solid lens (liquid lens, liquid crystal lens), a solid lens array, and one image pickup device (for example, Patent Document 2).
  • FIG. 39 it is composed of a liquid crystal lens 2131, a compound eye optical system 2120, an image synthesizer 2115, and a drive voltage calculation unit 2142.
  • the same number of images as the number of lens arrays are formed on a single image sensor 2105, and the image is reconstructed by image processing.
  • a focus adjustment function can be realized with a small size and a thin shape by combining one non-solid lens (liquid lens, liquid crystal lens) and a solid lens array.
  • the thin camera disclosed in Patent Document 3 achieves high definition of the composite image by combining the imaging lens array and the imaging element having the light shielding unit. Further, by combining a liquid lens with the imaging lens array and the imaging device, it is possible to realize a high definition of the composite image.
  • the present invention has been made in view of such circumstances, and in order to realize a high-quality image pickup apparatus, the relative position of the optical system and the image pickup element is easily adjusted without requiring manual work. It is an object of the present invention to provide an imaging apparatus and an optical axis control method that can be used.
  • the present invention includes a plurality of image sensors, a plurality of solid lenses that form images on each of the image sensors, and a plurality of optical axis controllers that control the directions of the optical axes of light incident on the image sensors. It is characterized by providing.
  • the optical axis control unit is configured by a non-solid lens capable of changing a refractive index distribution, and by changing the refractive index distribution of the non-solid lens, the light incident on the imaging element is changed.
  • the optical axis is deflected.
  • the optical axis control unit includes a refracting plate and an inclination angle changing unit that changes an inclination angle of the refracting plate, and the inclination angle changing unit changes the inclination angle of the refracting plate by the inclination angle changing unit.
  • the optical axis of light incident on the image sensor is deflected.
  • the optical axis control unit includes a variable apex angle prism, and deflects an optical axis of light incident on the image sensor by changing an apex angle of the variable apex angle prism.
  • the optical axis control unit includes a moving unit that moves the solid lens, and deflects an optical axis of light incident on the imaging element by moving the solid lens. .
  • the optical axis control unit includes a moving unit that moves the image sensor, and controls the optical axis of light incident on the image sensor by moving the image sensor. .
  • the present invention is characterized in that the optical axis control unit controls the direction of the optical axis based on a relative positional relationship with a known imaging target.
  • the present invention is characterized in that each of the plurality of imaging elements has a different pixel pitch.
  • the present invention is characterized in that each of the plurality of solid lenses has a different focal length.
  • the present invention is characterized in that the plurality of imaging devices are arranged by rotating at different angles around the optical axis.
  • the present invention includes a plurality of imaging elements, a plurality of solid lenses that form images on each of the imaging elements, and a non-solid lens capable of changing a refractive index distribution. And a focus control unit that changes a focal length of the solid lens by changing a rate distribution.
  • the present invention includes a plurality of image sensors, a plurality of solid lenses that form images on each of the image sensors, and a plurality of optical axis controllers that control the directions of the optical axes of light incident on the image sensors.
  • An optical axis control method in an imaging apparatus comprising: the optical axis control unit controlling a direction of the optical axis based on a relative positional relationship between a known imaging target and the optical axis control unit.
  • the present invention includes a plurality of imaging elements, a plurality of solid lenses that form images on each of the imaging elements, and a non-solid lens capable of changing a refractive index distribution.
  • An optical axis control method in an imaging apparatus comprising: a focus control unit that changes a focal length of the solid lens by changing a rate distribution, wherein the focus control unit includes a known imaging target and the image sensor. The focal length of the solid lens is controlled based on the relative positional relationship.
  • the direction of the optical axis is controlled based on the relative position between the imaging target and the plurality of optical axis controllers, it is possible to set the optical axis at an arbitrary position on the imaging element surface, and focus adjustment An imaging device with a wide range can be realized.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention. It is a detailed block diagram of the unit imaging part of the imaging device by 1st Embodiment shown in FIG. It is a block diagram of a liquid crystal lens. It is a schematic diagram explaining the function of the liquid crystal lens used for the imaging device by 1st Embodiment. It is a schematic diagram explaining the liquid crystal lens of the imaging device by 1st Embodiment. It is a schematic diagram explaining the image pick-up element of the image pick-up device by 1st Embodiment shown in FIG. It is a detailed schematic diagram of an image sensor. It is a block diagram which shows the whole structure of the imaging device 1 shown in FIG.
  • FIG. 2 is a detailed block diagram of a video processing unit of the imaging apparatus according to the first embodiment.
  • FIG. It is a detailed block diagram of a video composition processing unit of video processing of the imaging device according to the first embodiment.
  • 2 is a detailed block diagram of a video processing control unit of the imaging apparatus according to the first embodiment.
  • FIG. It is a flowchart explaining an example of operation
  • FIG. 3 is a schematic diagram illustrating a state of imaging by the imaging apparatus 1.
  • FIG. It is a schematic diagram explaining a high-definition subpixel. It is another schematic diagram explaining a high-definition subpixel. It is explanatory drawing which shows the relationship between an imaging target (object) and image formation. It is another explanatory drawing which shows the relationship between an imaging target (subject) and image formation. It is another explanatory drawing which shows the relationship between an imaging target (subject) and image formation.
  • 6 is a schematic diagram illustrating the operation of the imaging apparatus 1.
  • FIG. 6 is another schematic diagram illustrating the operation of the imaging apparatus 1.
  • FIG. 6 is another schematic diagram illustrating the operation of the imaging apparatus 1.
  • FIG. 1 is a functional block diagram showing the overall configuration of the imaging apparatus according to the first embodiment of the present invention.
  • the imaging apparatus 1 shown in FIG. 1 includes six system unit imaging units 2 to 7.
  • the unit imaging unit 2 includes an imaging lens 8 and an imaging element 14.
  • the unit imaging unit 3 is an imaging lens 9 and an imaging element 15,
  • the unit imaging unit 4 is an imaging lens 10 and an imaging element 16,
  • the unit imaging unit 5 is an imaging lens 11 and an imaging element 17, and the unit imaging unit 6 is an imaging lens 12.
  • the image pickup device 18 and the unit image pickup unit 7 include an image pickup lens 13 and an image pickup device 19.
  • Each of the imaging lenses 8 to 13 forms an image of the light from the imaging target on the corresponding imaging elements 14 to 19, respectively.
  • Reference numerals 20 to 25 shown in FIG. 1 indicate optical axes of light incident on the image sensors 14 to 19, respectively.
  • the image formed by the imaging lens 9 is photoelectrically converted by the imaging element 15 to convert the optical signal into an electrical signal.
  • the electrical signal converted by the image sensor 15 is converted into a video signal by a parameter set in advance by the video processing unit 27.
  • the video processing unit 27 outputs the converted video signal to the video composition processing unit 38.
  • the video composition processing unit 38 inputs the video signals converted by the video processing units 26 and 28 to 31 corresponding to the electrical signals output from the other unit imaging units 2 and 4 to 7.
  • the video composition processing unit 38 synthesizes the six video signals picked up by the unit image pickup units 2 to 7 into one video signal while synchronizing them, and outputs it as a high-definition video.
  • the video composition processing unit 38 when the synthesized high-resolution video is deteriorated from a preset determination value, the video composition processing unit 38 generates a control signal based on the determination result and outputs the control signal to the six control units 32 to 37. .
  • the control units 32 to 37 perform optical axis control of the corresponding imaging lenses 8 to 13 based on the input control signal. Then, the video composition processing unit 38 determines the high-definition video again. If this determination result is good, a high-definition video is output, and if it is bad, the operation of controlling the imaging lens is repeated.
  • the unit imaging unit 3 includes a liquid crystal lens (non-solid lens) 301 and an optical lens (solid lens) 302.
  • the control unit 33 includes four voltage control units 33a, 33b, 33c, and 33d that control the voltage applied to the liquid crystal lens 301.
  • the voltage control units 33a, 33b, 33c, and 33d determine the voltage to be applied to the liquid crystal lens 301 based on the control signal generated by the video composition processing unit 38, and control the liquid crystal lens 301. Since the imaging lenses and control units of the other unit imaging units 2 and 4 to 7 shown in FIG. 1 have the same configuration, detailed description thereof is omitted here.
  • the liquid crystal lens 301 includes a transparent first electrode 303, a second electrode 304, a transparent third electrode 305, and a liquid crystal disposed between the second electrode 304 and the third electrode 305.
  • a first insulating layer 307 disposed between the layer 306, the first electrode 303 and the second electrode 304, and a second insulating layer disposed between the second electrode 304 and the third electrode 305.
  • 308 a third insulating layer 311 disposed outside the first electrode 303, and a fourth insulating layer 312 disposed outside the third electrode 305.
  • the second electrode 304 has a circular hole, and is composed of four electrodes 304a, 304b, 304c, and 304d divided vertically and horizontally as shown in the front view of FIG.
  • the voltage can be applied independently to each electrode.
  • the liquid crystal layer 306 has liquid crystal molecules aligned in one direction so as to face the third electrode 305, and by applying a voltage between the electrodes 303, 304, and 305 that sandwich the liquid crystal layer 306, Alignment control is performed.
  • the insulating layer 308 is made of, for example, a transparent glass having a thickness of about several hundreds ⁇ m in order to increase the diameter.
  • the dimensions of the liquid crystal lens 301 are shown below.
  • the size of the circular hole of the second electrode 304 is about ⁇ 2 mm, the distance from the first electrode 303 is 70 ⁇ m, and the thickness of the second insulating layer 308 is 700 ⁇ m.
  • the thickness of the liquid crystal layer 306 is 60 ⁇ m.
  • the first electrode 303 and the second electrode 304 are different layers in this embodiment mode, they may be formed on the same surface. In that case, the shape of the first electrode 303 is smaller than the circular hole of the second electrode 304 and is arranged at the hole position of the second electrode 304, and the electrode is taken out at the divided portion of the second electrode 304. It is set as the structure which provided the part. At this time, the electrodes 304a, 304b, 304c, and 304d constituting the first electrode 303 and the second electrode can be independently voltage controlled. With this configuration, the overall thickness can be reduced.
  • the operation of the liquid crystal lens 301 shown in FIG. 3 will be described.
  • a voltage is applied between the transparent third electrode 305 and the second electrode 304 made of an aluminum thin film or the like, and at the same time, the first electrode 303 and the second electrode 304 are applied.
  • an electric field gradient targeted for the axis can be formed on the central axis 309 of the second electrode 304 having a circular hole.
  • the liquid crystal molecules of the liquid crystal layer 306 are aligned in the direction of the electric field gradient due to the axial target electric field gradient around the edge of the circular electrode formed in this way.
  • the refractive index distribution of the extraordinary light changes from the center to the periphery of the circular electrode due to the change in the orientation distribution of the liquid crystal layer 306, and thus can function as a lens.
  • the refractive index distribution of the liquid crystal layer 306 can be freely changed by applying a voltage to the first electrode 303 and the second electrode 304, and optical characteristics such as a convex lens and a concave lens can be freely controlled. Is possible.
  • an effective voltage of 20 Vrms is applied between the first electrode 303 and the second electrode 304, and an effective voltage of 70 Vrms is applied between the second electrode 304 and the third electrode 305.
  • an effective voltage of 90 Vrms is applied between the first electrode 303 and the third electrode 305 to function as a convex lens.
  • the liquid crystal driving voltage (voltage applied between the electrodes) is a sine wave or a rectangular wave AC waveform with a duty ratio of 50%.
  • the voltage value to be applied is expressed as an effective voltage (rms: root mean square value).
  • an AC sine wave of 100 Vrms has a voltage waveform having a peak value of ⁇ 144V.
  • 1 kHz is used as the frequency of the AC voltage.
  • the refractive index was axially symmetric when the same voltage was applied.
  • the distribution is an asymmetric distribution with the axis shifted with respect to the second electrode central axis 309 having a circular hole, and the effect of deflecting the incident light from the straight direction is obtained.
  • the direction of incident light deflection can be changed by appropriately changing the voltage applied between the divided second electrode 304 and third electrode 305.
  • the optical axis denoted by reference numeral 309
  • the position is shifted to the position indicated by reference numeral 310.
  • the shift amount is 3 ⁇ m, for example.
  • FIG. 4 is a schematic diagram for explaining the optical axis shift function of the liquid crystal lens 301.
  • the imaging device by controlling the voltage applied between the electrodes 304a, 304b, 304c, and 304d constituting the second electrode and the third electrode 305 for each of the electrodes 304a, 304b, 304c, and 304d, the imaging device The center axis of the liquid crystal lens and the center axis of the refractive index distribution of the liquid crystal lens can be shifted. Since this corresponds to the lens being displaced in the xy plane with respect to the image pickup device surface, the light beam input to the image pickup device can be deflected in the u and v planes.
  • FIG. 5 shows a detailed configuration of the unit imaging unit 3 shown in FIG.
  • the optical lens 302 in the unit imaging unit 3 includes two optical lenses 302a and 302b, and the liquid crystal lens 301 is disposed between the optical lenses 302a and 302b.
  • Each of the optical lenses 302a and 302b is composed of one or a plurality of lenses.
  • Light rays incident from the object plane are collected by an optical lens 302a disposed on the object plane side of the liquid crystal lens 301, and are incident on the liquid crystal lens 301 in a state where the spot is reduced. At this time, the incident angle of the light beam to the liquid crystal lens 301 is almost parallel to the optical axis.
  • the light beam emitted from the liquid crystal lens 301 is imaged on the surface of the image sensor 15 by the optical lens 302b disposed on the image sensor 15 side of the liquid crystal lens 301.
  • the diameter of the liquid crystal lens 301 can be reduced, the voltage applied to the liquid crystal lens 301 can be reduced, the lens effect can be increased, and the thickness of the second insulating layer 308 can be reduced.
  • the lens thickness can be reduced.
  • one image pickup lens is arranged for one image pickup device.
  • a plurality of second electrodes 304 are formed on the same substrate, and a plurality of second electrode 304 is formed.
  • a configuration in which a liquid crystal lens is integrated may be used. That is, in the liquid crystal lens 301, since the hole portion of the second electrode 304 corresponds to the lens, a plurality of patterns of the second electrode 304 are arranged on one substrate, whereby each of the second electrodes 304 is arranged.
  • the hole portion has a lens effect. Therefore, by arranging the plurality of second electrodes 304 on the same substrate in accordance with the arrangement of the plurality of image sensors, it is possible to deal with all the image sensors with a single liquid crystal lens unit.
  • the number of liquid crystal layers is one.
  • the responsiveness is improved while maintaining the same light collecting property. It is also possible to do. This is because the response speed deteriorates as the thickness of the liquid crystal layer increases.
  • the lens effect can be obtained in all the polarization directions with respect to the light incident on the liquid crystal lens by changing the direction of polarization between the liquid crystal layers.
  • the number of electrode divisions is exemplified as a four-division type as an example, but the number of electrode divisions can be changed according to the direction in which the electrode is desired to move.
  • a CMOS imaging device can be used as the imaging device of the imaging apparatus according to the present embodiment.
  • the image sensor 15 is composed of pixels 501 in a two-dimensional array.
  • the pixel size of the CMOS image sensor of this embodiment is 5.6 ⁇ m ⁇ 5.6 ⁇ m
  • the pixel pitch is 6 ⁇ m ⁇ 6 ⁇ m
  • the effective number of pixels is 640 (horizontal) ⁇ 480 (vertical).
  • the pixel is a minimum unit of an imaging operation performed by the imaging device.
  • one pixel corresponds to one photoelectric conversion element (for example, a photodiode).
  • the pixel Among the pixel sizes of 5.6 ⁇ m, there is a light receiving part with a certain area (spatial spread), and the pixel averages and integrates the light incident on the light receiving part to convert it into an electric signal and convert it into an electric signal To do.
  • the averaging time is controlled by an electronic or mechanical shutter or the like, and its operating frequency generally matches the frame frequency of the video signal output from the imaging apparatus, for example, 60 Hz.
  • FIG. 7 shows a detailed configuration of the image sensor 15.
  • the pixel 501 of the CMOS image sensor 15 amplifies the signal charge photoelectrically converted by the photodiode 515 by the amplifier 516.
  • a signal of each pixel is selected by a vertical scanning method by a vertical scanning circuit 511 and a horizontal scanning circuit 512, and is taken out as a voltage or a current.
  • a CDS (Correlated Sampling) 518 is a circuit that performs correlated double sampling, and can suppress 1 / f noise among random noises generated by the amplifier 516 and the like.
  • the pixels other than the pixel 501 have the same configuration and function.
  • the monochrome CMOS image sensor 15 is used, but a color-compatible CMOS image sensor in which R, G, and B color filters are individually attached to each pixel can also be used. Using a Bayer structure in which the repetition of R, G, G, and B is arranged in a checkered pattern, colorization can be easily achieved with a single image sensor.
  • P001 is a CPU (Central Processing ⁇ ⁇ Unit) that controls the overall processing operation of the imaging apparatus 1 and is sometimes called a microcontroller (microcomputer).
  • P002 is a ROM (Read Only Memory) configured by a non-volatile memory, and stores a setting value necessary for the CPU / P001 program and each processing unit.
  • P003 is a RAM (Random Access Memory) that stores temporary data of the CPU.
  • P004 is a VideoRAM, which mainly stores video signals and image signals in the middle of calculation, and is composed of SDRAM (Synchronous Dynamic RAM) or the like.
  • FIG. 8 shows a configuration in which the RAM P003 is stored for storing programs in the CPU P001 and the VideoRAM P004 is used for storing images.
  • P005 is a system bus to which a CPU / P001, a ROM / P002, a RAM / P003, a VideoRAM / P004, a video processing unit 27, a video composition processing unit 38, and a control unit 33 are connected.
  • the system bus P005 is also connected to internal blocks of the video processing unit 27, the video composition processing unit 38, and the control unit 33, which will be described later.
  • the CPU P001 controls the system bus P005 as a host, and setting data necessary for video processing, image processing, and optical axis control flows bidirectionally. Further, for example, the system bus P005 is used when an image being processed by the video composition processing unit 38 is stored in the VideoRAM ⁇ P004. A bus for an image signal that requires a high transfer speed and a low-speed data bus may be different bus lines.
  • the system bus P005 is connected to an external interface such as a USB or flash memory card (not shown) and a display drive controller of a liquid crystal display as a viewfinder.
  • FIG. 9 is a block diagram illustrating a configuration of the video processing unit 27.
  • reference numeral 601 denotes a video input processing unit
  • 602 denotes a correction processing unit
  • 603 denotes a calibration parameter storage unit.
  • the video input processing unit 601 inputs the video signal captured from the unit imaging unit 3, performs signal processing such as knee processing and gamma processing, and also performs white balance control.
  • the output of the video input processing unit 601 is passed to the correction processing unit 602, and distortion correction processing based on calibration parameters obtained by a calibration procedure described later is performed. For example, distortion caused by the mounting error of the image sensor 15 is calibrated.
  • the calibration parameter storage unit 603 is a RAM (Random Access Memory) and stores a calibration value (calibration value).
  • the corrected video signal that is output from the correction processing unit 602 is output to the video composition processing unit 38.
  • the data stored in the calibration parameter storage unit 603 is updated by the CPU P001 when the imaging apparatus is powered on, for example.
  • the calibration parameter storage unit 603 may be a ROM (Read Only Memory), and the stored data may be determined and stored in the ROM by a calibration procedure at the time of factory shipment.
  • the video input processing unit 601, the correction processing unit 602, and the calibration parameter storage unit 603 are each connected to the system bus P005.
  • the aforementioned gamma processing characteristics of the video input processing unit 601 are stored in the ROM P002.
  • the video input processing unit 601 receives the data stored in the ROM P002 via the system bus P005 by the program of the CPU P001.
  • the correction processing unit 602 writes image data in the middle of calculation to VideoRAM ⁇ P004 via the system bus P005 or reads out from the VideoRAM ⁇ P004.
  • a monochrome CMOS image sensor 15 is used.
  • the image processing unit 601 performs Bayer interpolation processing. It will be.
  • FIG. 10 is a block diagram showing a configuration of the video composition processing unit 38.
  • the composition processing unit 701 performs composition processing on the imaging results of the plurality of unit imaging units 2 to 7.
  • the composition processing can improve the resolution of the image as will be described later.
  • the synthesis parameter storage unit 702 stores image shift amount data obtained from, for example, three-dimensional coordinates between unit imaging units derived by calibration described later.
  • the composition processing unit 701 shifts the image based on this shift amount and composes it.
  • the determination unit 703 detects the power of the high-band component of the video signal by, for example, Fourier transforming the result of the synthesis process.
  • the image sensor is a wide VGA (854 pixels ⁇ 480 pixels). Further, it is assumed that the video output that is the output of the video composition processing unit 38 is a high-vision signal (1920 pixels ⁇ 1080 pixels). In this case, the frequency band determined by the determination unit 703 is approximately 20 MHz to 30 MHz. The upper limit of the video frequency band at which a wide VGA video signal can be reproduced is approximately 10 MHz to 15 MHz.
  • the synthesis processing unit 701 performs synthesis processing to restore a component of 20 MHz to 30 MHz.
  • the image pickup device is a wide VGA, but the image pickup optical system mainly including the image pickup lenses 8 to 13 is required to have a characteristic that does not deteriorate the band of the high vision signal.
  • the control units 32 to 37 are controlled so that the power of the frequency band (20 MHz to 30 MHz component in the above example) of the combined video signal is maximized.
  • the determination unit 703 performs a Fourier transform process, and determines the magnitude of energy above a specific frequency (for example, 20 MHz).
  • the effect of restoring the video signal band that exceeds the band of the image sensor changes depending on the phase when the image formed on the image sensor is sampled within a range determined by the size of the pixel.
  • the control lenses 32 to 37 are used to control the imaging lenses 8 to 13. Specifically, the control unit 33 controls the liquid crystal lens 301 in the imaging lens 9.
  • the ideal state of the control result is a state in which the sampling phase of the imaging result of each unit imaging unit is shifted in the horizontal, vertical, and diagonal directions by 1 ⁇ 2 of the pixel size.
  • the energy of the high band component as a result of the Fourier transform is maximized. That is, control is performed so that the energy of the result of the Fourier transform is maximized by a feedback loop that controls the liquid crystal lens and determines the resultant synthesis process.
  • this control method controls the imaging lens 2 and the imaging lenses 4 to 7 via the control units 32 and 34 to 37 other than the control unit 33 with the video signal from the video processing unit 27 as a reference.
  • the optical axis phase of the imaging lens 2 is controlled by the control unit 32.
  • the optical axis phase is similarly controlled for the other imaging lenses 4 to 7.
  • the phase offset averaged by the image sensor is optimized. In other words, when sampling an image formed on the image sensor with pixels, the sampling phase is controlled to an ideal state for high definition by controlling the optical axis phase. As a result, it becomes possible to synthesize high-definition and high-quality video signals.
  • the determination unit 703 determines the synthesis processing result, and if a high-definition and high-quality video signal is synthesized, maintains the control value and outputs the high-definition and high-quality video signal as video. On the other hand, if a high-definition and high-quality video signal cannot be synthesized, the imaging lens is controlled again.
  • the output of the video composition processing unit 38 is, for example, a video signal, which is output to a display (not shown), or passed to an image recording unit (not shown) and recorded on a magnetic tape or an IC card.
  • the synthesis processing unit 701, the synthesis parameter storage unit 702, and the determination unit 703 are each connected to the system bus P005.
  • the synthesis parameter storage unit 702 is composed of a RAM. For example, it is updated via the system bus P005 by the CPU P001 when the imaging apparatus is powered on. Further, the composition processing unit 701 writes the image data in the middle of the calculation to the VideoRAM / P004 via the system bus P005, or reads it from the VideoRAM / P004.
  • reference numeral 801 denotes a voltage control unit
  • 802 denotes a liquid crystal lens parameter storage unit.
  • the voltage control unit 801 controls the voltage of each electrode of the liquid crystal lens 301 included in the imaging lens 9 in accordance with a control signal from the determination unit 703 of the video composition processing unit 38.
  • the voltage to be controlled is determined based on the parameter value read from the liquid crystal lens parameter storage unit 802.
  • the electric field distribution of the liquid crystal lens 301 is ideally controlled, and the optical axis is controlled as shown in FIG. .
  • Such control ideally controls the pixel phase, resulting in improved resolution of the video output signal.
  • control unit 33 If the control result of the control unit 33 is in an ideal state, the energy detection of the result of the Fourier transform, which is the process of the determination unit 703, is maximized. In order to achieve such a state, the control unit 33 forms a feedback loop by the imaging lens 9, the video processing unit 27, and the video synthesis processing unit 38 so that high-frequency energy can be greatly obtained. To control.
  • the voltage control unit 801 and the liquid crystal lens parameter storage unit 802 are each connected to the system bus P005.
  • the liquid crystal lens parameter storage unit 802 is constituted by a RAM, for example, and is updated by the CPU P001 via the system bus P005 when the image pickup apparatus 1 is turned on.
  • the calibration parameter storage unit 603, the composite parameter storage unit 702, and the liquid crystal lens parameter storage unit 802 shown in FIGS. 9 to 11 may be configured to be selectively used according to the stored addresses using the same RAM or ROM. Further, a configuration may be used in which some addresses of ROM • P002 and RAM • P003 are used.
  • FIG. 12 is a flowchart showing the operation of the imaging apparatus 1.
  • the correction processing unit 602 reads calibration parameters from the calibration parameter storage unit 603 (step S901).
  • the correction processing unit 602 performs correction for each of the unit imaging units 2 to 7 based on the read calibration parameters (step S902). This correction is to remove distortion for each of the unit imaging units 2 to 7 described later.
  • the synthesis processing unit 701 reads a synthesis parameter from the synthesis parameter storage unit 702 (step S903).
  • the composition processing unit 701 executes sub-pixel video composition high-definition processing based on the read composition parameters (step S904).
  • a high-definition image is constructed based on information having different phases in units of subpixels.
  • the determination unit 703 executes high-definition determination (step S905), and determines whether it is high-definition (step S906).
  • the determination unit 703 holds a determination threshold value inside, determines the high-definition degree, and passes the determination result information to each of the control units 32 to 37.
  • Each control unit 32 to 37 maintains the same value of the liquid crystal lens parameter without changing the control voltage when high definition is achieved (step S907).
  • the control units 32 to 37 change the control voltage of the liquid crystal lens 301 (step S908).
  • the CPU P001 manages the control end condition, for example, determines whether or not the device power-off condition is satisfied (step S909).
  • control end condition If the control end condition is not satisfied, the process returns to step S903. Repeat the process. On the other hand, if the control end condition is satisfied, the process ends.
  • the control end condition may be set such that the number of high-definition determinations is 10 in advance when the apparatus is turned on, and the processes in steps S903 to S909 may be repeated for the specified number of times.
  • the image size, the magnification, the rotation amount, and the shift amount are synthesis parameters, and are parameters read from the synthesis parameter storage unit 702 in the synthesis parameter reading process (step S903).
  • one high-definition image is obtained from four unit imaging units. From four images picked up by the individual unit image pickup units, they are superimposed on one coordinate system using parameters of the rotation amount and the shift amount. Then, the filter calculation is performed using the four images and the weighting coefficient based on the distance. For example, the filter uses cubic (third order approximation).
  • the determination unit 703 extracts a signal within the defined range (step S1001). For example, when one frame in a frame is defined as a definition range, a frame memory block (not shown) is separately provided, and signals for one screen are stored in advance. For example, in the case of VGA resolution, one screen is two-dimensional information composed of 640 ⁇ 480 pixels. The determination unit 703 performs Fourier transform on the two-dimensional information to convert time-axis information into frequency-axis information (step S1002). Next, a high-frequency signal is extracted by an HPF (High-pass filter) (step S1003).
  • HPF High-pass filter
  • the image pickup device 9 is a VGA signal (640 pixels ⁇ 480 pixels) having an aspect ratio of 4: 3, 60 fps (Frame Per Second) (progressive), and a video output signal output from the video composition processing unit is Quad ⁇ .
  • VGA Assume the case of VGA. Assume that the limit resolution of the VGA signal is about 8 MHz and a signal of 10 to 16 MHz is reproduced by the synthesis process. In this case, the HPF has a characteristic of passing a component of 10 MHz or more, for example.
  • the determination unit 703 performs determination by comparing the signal of 10 MHz or higher with a threshold value (step S1004). For example, when the DC (direct current) component resulting from Fourier transform is set to 1, the threshold value of energy of 10 MHz or higher is set to 0.5, and the threshold value is compared with the threshold value.
  • the definition range is the line unit (the unit of horizontal synchronization repetition, the number of effective pixels in the case of a high-definition signal). If it is defined in units of 1920 pixels, the frame memory block becomes unnecessary, and the circuit scale can be reduced.
  • the Fourier transform is repeatedly executed, for example, 1080 times of the number of lines, and the threshold comparison judgment for 1080 times for each line is integrated to determine the high-definition degree of one screen. Good. Further, the determination may be made using several frames of threshold comparison determination results in units of screens.
  • the threshold determination may use a fixed threshold, but may adaptively change the threshold.
  • the feature of the image being judged may be extracted separately, and the threshold value may be switched based on the result. For example, image features may be extracted by histogram detection. Further, the current threshold value may be changed in conjunction with the past determination result.
  • step S908 executed by the control units 32 to 37 shown in FIG. 12 will be described with reference to FIG.
  • the processing operation of the control unit 33 will be described as an example, but the processing operations of the control units 32 and 34 to 37 are the same.
  • the voltage control unit 801 reads out the current parameter value of the liquid crystal lens from the liquid crystal lens parameter storage unit 802 (step S1101).
  • the voltage control unit 801 updates the parameter value of the liquid crystal lens (step S1102).
  • the liquid crystal lens parameters have a past history.
  • the voltage of the voltage control unit 33a is 40V, 45V, 50V, and 5V in the past history.
  • the voltage values of the voltage control unit 33b, the voltage control unit 33c, and the voltage control unit 33d are determined.
  • the voltage of the voltage control unit 33a is updated to 55V. In this manner, the voltage values applied to the electrodes 304a, 304b, 304c, and 304d of the four liquid crystal lenses are sequentially updated. Further, the updated value updates the value of the liquid crystal lens parameter as a history.
  • the captured images of the plurality of unit imaging units 2 to 7 are synthesized in sub-pixel units, the degree of high definition is determined, and the control voltage is changed so as to maintain high definition performance.
  • an image pickup apparatus with high image quality can be realized.
  • a sample when an image formed on the image sensor by the imaging lenses 8 to 13 is sampled with pixels of the image sensor by applying different voltages to the divided electrodes 304a, 304b, 304c, and 304d. Change the conversion phase.
  • the ideal state of the control is a state in which the sampling phase of the imaging result of each unit imaging unit is shifted in the horizontal, vertical, and diagonal directions by 1 ⁇ 2 of the pixel size.
  • the determination unit 703 determines whether the state is ideal.
  • This processing operation is, for example, processing performed at the time of factory production of the imaging apparatus 1, and this camera calibration is performed by performing a specific operation such as simultaneously pressing a plurality of operation buttons when the imaging apparatus is powered on.
  • This camera calibration process is executed by the CPU P001.
  • an operator who adjusts the imaging device 1 prepares a checker pattern or checkered test chart with a known pattern pitch, and acquires images by capturing images in 30 different postures of the checker pattern while changing the posture and angle. (Step S1201).
  • the CPU P001 analyzes the captured image for each of the unit imaging units 2 to 7, and derives an external parameter value and an internal parameter value for each of the unit imaging units 2 to 7 (step S1202).
  • six external parameter values are external information including three-dimensional rotation information and translation information of the posture of the camera.
  • a general camera model there are a total of six external parameters including a three-axis vector of yaw, pitch, and roll indicating the camera attitude with respect to world coordinates, and a three-axis component of a translation vector indicating a translation component.
  • the internal parameters are the image center (u 0 , v 0 ) where the optical axis of the camera intersects the image sensor, the angle and aspect ratio of the coordinates assumed on the image sensor, and the focal length.
  • the CPU P001 stores the obtained parameters in the calibration parameter storage unit 603 (step S1203).
  • the individual camera distortion of the unit imaging units 2 to 7 is corrected. That is, since a checker pattern that was originally a straight line may be imaged as a curve due to camera distortion, parameters for returning the checker pattern to a straight line are derived by this camera calibration process, and the unit imaging units 2 to 7 is corrected.
  • the CPU ⁇ P001 derives the parameters between the unit imaging units 2 to 7 and the external parameters between the unit imaging units 2 to 7 (step S1204), and stores them in the composite parameter storage unit 702 and the liquid crystal lens parameter storage unit 802.
  • the stored parameters are updated (steps S1205 and S1206). This value is used in the sub-pixel video composition high-definition processing S904 and the control voltage change S908.
  • the CPU or microcomputer in the imaging device has a camera calibration function
  • a separate personal computer is prepared and the same processing is executed on this personal computer.
  • the configuration may be such that only the parameters are downloaded to the imaging apparatus.
  • the state of projection by the camera is considered using a pinhole camera model as shown in FIG.
  • the pinhole camera model all the light reaching the image plane passes through a pinhole, which is one point at the center of the lens, and forms an image at a position intersecting the image plane.
  • the coordinate system that takes the intersection of the optical axis and the image plane as the origin and takes the x-axis and y-axis to match the camera element placement axis is called the image coordinate system.
  • the camera lens center is the origin and the optical axis is the Z-axis.
  • a coordinate system taking the X axis and the Y axis in parallel with the x axis and the y axis is called a camera coordinate system.
  • the three-dimensional coordinates M [X, Y, Z] T in the world coordinate system (Xw, Yw, Zw) which is a coordinate system representing the space, and the image coordinate system (x, y) which is the projection thereof.
  • the point m [u, v] T is associated with the equation (1).
  • A is called an internal parameter matrix, and is a matrix like the following equation (2).
  • ⁇ and ⁇ are scale factors formed by the product of the pixel size and the focal length, (u 0 , v 0 ) is the image center, and ⁇ is a parameter representing the distortion of the coordinate axes of the image.
  • [R t] is an external parameter matrix, which is a 4 ⁇ 3 matrix in which a 3 ⁇ 3 rotation matrix R and a translation vector t are arranged.
  • a ⁇ T A ⁇ 1 includes 6 unknowns in a 3 ⁇ 3 target matrix as shown in Equation (8), and two equations can be established for each H. If obtained above, the internal parameter A can be determined.
  • a -T A -1 has a target.
  • Equations (6) and (7) become as follows:
  • V is a 2n ⁇ 6 matrix.
  • b is obtained as an eigenvector corresponding to the minimum eigenvalue of V T V.
  • n 2
  • ⁇ 0
  • the expression [0 1 0 0 0 0] b 0 Is obtained by adding to the equation (13).
  • Optimum external parameters can be obtained by optimizing the parameters by the non-linear least square method using the parameters obtained so far as initial values.
  • camera calibration can be performed by using three or more images taken with the internal parameters fixed from different viewpoints. At this time, generally, the larger the number of images, the higher the parameter estimation accuracy. Also, the error increases when the rotation between images used for calibration is small.
  • FIG. 18 shows a point M on the target object plane with the above-described liquid crystal lens by using a basic image sensor 15 (referred to as a basic camera) and an adjacent image sensor 16 adjacent thereto (referred to as an adjacent camera).
  • a basic image sensor 15 referred to as a basic camera
  • an adjacent image sensor 16 adjacent thereto referred to as an adjacent camera
  • the image is projected (photographed) onto a point m1 or m2 on each image sensor.
  • FIG. 19 shows FIG. 18 using the pinhole camera model shown in FIG.
  • the relationship between the point M on the world coordinate system and the point m on the image coordinate system can be expressed by using the central projection matrix P from the viewpoint of the mobility of the camera, etc.
  • the corresponding point m 2 between the calculated basic image and the adjacent image is obtained in units of sub-pixels.
  • Corresponding point matching using camera parameters has an advantage that the corresponding points can be instantaneously calculated only by matrix calculation because the camera parameters have already been obtained.
  • (x u , y u ) are image coordinates of an imaging result of an ideal lens having no distortion
  • (x d , y d ) are image coordinates of a lens having distortion.
  • the coordinate systems of these coordinates are both the above-described image coordinate system x-axis and y-axis.
  • R is the distance from the image center to (x u , y u ).
  • the image center is determined by the aforementioned internal parameters u0 and v0. Assuming the above model, if the coefficients k1 to k5 and internal parameters are derived by calibration, the difference in imaging coordinates depending on the presence or absence of distortion can be obtained, and distortion caused by the real lens can be corrected.
  • FIG. 20 is a schematic diagram illustrating an imaging state of the imaging apparatus 1.
  • the unit imaging unit 3 including the imaging element 15 and the imaging lens 9 images the imaging range a.
  • the unit imaging unit 4 including the imaging element 16 and the imaging lens 10 images the imaging range b.
  • the two unit imaging units 3 and 4 image substantially the same imaging range. For example, when the arrangement interval of the imaging elements 15 and 16 is 12 mm, the focal length of the unit imaging units 3 and 4 is 5 mm, the distance to the imaging range is 600 mm, and the optical axes of the unit imaging units 3 and 4 are parallel, the imaging range The area in which a and b are different is about 3%. In this way, the same part is imaged, and the composition processing unit 38 performs high definition processing.
  • the horizontal axis of FIG. 21 shows the expansion of the space.
  • the expansion of the space indicates both the case of the actual space and the expansion of the virtual space on the image sensor. These are synonymous because they can be mutually converted and converted by using external parameters and internal parameters.
  • the horizontal axis in FIG. 21 is the time axis. In this case as well, when displayed on the display, it is recognized that the space is widened by the observer's eyes. Therefore, the time axis of the video signal is synonymous with the expansion of space.
  • the vertical axis in FIG. 21 represents amplitude and intensity. Since the intensity of the object reflected light is photoelectrically converted by a pixel of the image sensor and output as a voltage level, it may be regarded as an amplitude.
  • the unit imaging units 2 to 7 capture the image as shown in the graph G2 in FIG.
  • the integration is performed using an LPF (Low Pass Filter).
  • An arrow A2 in FIG. 21 is the spread of the pixels of the image sensor.
  • a graph G3 in FIG. 21 is a result of imaging with different unit imaging units 2 to 7, and the light is integrated by the spread of the pixel indicated by the arrow A3 in FIG.
  • the contour (profile) of reflected light that is less than the spread determined by the resolution (pixel size) of the image sensor cannot be reproduced by the image sensor.
  • a feature of the present invention is that both phase relationships have an offset in the graphs G2 and G3 in FIG.
  • the combining processing unit By capturing light with such an offset and optimally combining it with the combining processing unit, it is possible to reproduce the contour shown in the graph G4 of FIG.
  • the graph G4 in FIG. 21 that most reproduces the contour of the graph G1 in FIG. 21, and the imaging corresponding to the width of the arrow in the graph G4 in FIG. It is equivalent to the performance of the pixel size of the element.
  • a non-solid lens typified by a liquid crystal lens and a plurality of unit imaging units including imaging elements are used to obtain a video output exceeding the resolution limit by the above-described averaging (integration using LPF). Is possible.
  • FIG. 22 is a schematic diagram showing a relative phase relationship between two unit imaging units.
  • sampling is synonymous with sampling, and refers to processing for extracting analog signals at discrete positions. Since FIG. 22 assumes the case where two unit imaging units are used, the phase relationship of 0.5 pixel size is ideal as indicated by reference numeral C1.
  • the one-dimensional phase relationship has been described with reference to FIG.
  • the phase control of the two-dimensional space can be performed by the operation shown in FIG.
  • two-dimensional phase control is realized by performing phase control of the unit imaging unit on one side with respect to the reference one in two dimensions (horizontal, vertical, horizontal + vertical). May be.
  • the above-described interpolation filtering process uses, for example, a cubic (third order approximation) method. This is a weighting process based on the distance to the interpolation point.
  • the resolution limit of the image sensor is VGA
  • the imaging lens has the ability to pass the Quad-VGA band, and the Quad-VGA band component equal to or higher than VGA is imaged at the VGA resolution as aliasing. Using this aliasing distortion, the high-band component of Quad-VGA is restored by the video composition process.
  • FIGS. 23A to 23C are diagrams showing the relationship between the imaging target (subject) and the imaging. This figure is based on a pinhole model that ignores lens distortion. An image pickup apparatus with a small lens distortion can be explained by this model, and can be explained only by geometric optics.
  • P1 is an imaging target and is separated by an imaging distance H.
  • the pinholes O and O ′ correspond to the imaging lenses of the two unit imaging units, and are schematic diagrams in which one image is captured by the two unit imaging units of the imaging elements M and N.
  • FIG. FIG. 23B shows a state where an image of P1 is formed on the pixels of the image sensor. In this way, the phase of the image formed with the pixel is determined. This phase is determined by the positional relationship (baseline length B) of the imaging elements, the focal length f, and the imaging distance H.
  • the design value may differ depending on the mounting accuracy of the image sensor, and the relationship varies depending on the imaging distance.
  • the phases are matched as shown in FIG. 23C.
  • the light intensity distribution image in FIG. 23B schematically shows the light intensity for a certain spread. With respect to such light input, the image sensor averages within the range of pixel expansion. As shown in FIG. 23B, when the two unit imaging units capture at different phases, the same light intensity distribution is averaged at different phases. In the case of resolution, a high bandwidth higher than VGA resolution) can be reproduced. Since there are two unit imaging units, a phase shift of 0.5 pixels is ideal.
  • FIG. 24A and 24B are schematic diagrams for explaining the operation of the imaging apparatus 1.
  • FIG. A state in which an image is picked up by an image pickup apparatus including two unit image pickup units is illustrated. Each image sensor is shown enlarged in pixel units for convenience of explanation.
  • the plane of the imaging element is defined in two dimensions u and v, and FIG. 24A corresponds to a u-axis cross section.
  • the distance from the optical axis of each image of P1 is u1, u'1.
  • the relative phase with respect to the pixels of the image sensors M and N at the positions where P0 and P1 are imaged on the image sensors M and N determines the image shift performance. This relationship is determined by the imaging distance H, the focal length f, and the baseline length B that is the distance between the optical axes of the imaging elements.
  • FIG. 24B is a schematic diagram of an operation of restoring and generating one image by calculating the same images of the captured images.
  • Pu indicates the pixel size in the u direction
  • Pv indicates the pixel size in the v direction.
  • FIG. 24B shows a relationship in which the pixels are shifted by half of each other, which is an ideal state for performing image shift and generating a high-definition image.
  • FIG. 25A and FIG. 25B are schematic diagrams in the case where the image sensor N is attached with a deviation of half the pixel size from the design due to attachment errors, for example, with respect to FIG. 24A and FIG. 24B.
  • the mutual relationship between u1 and u'1 is the same phase for the pixels of each image sensor.
  • both images are formed at positions on the left side of the pixel.
  • 26A and 26B are schematic diagrams when the optical axis shift of the present invention is operated with respect to FIGS. 25A and 25B.
  • the movement in the right direction called optical axis shift in FIG. 26A is an image of the operation.
  • the position at which the imaging target forms an image can be controlled with respect to the pixels of the imaging device.
  • An ideal phase relationship can be achieved as shown in FIG. 26B.
  • FIG. 27A is a schematic diagram illustrating a case where the subject is switched from the state in which P0 is captured at the imaging distance H0 to the object P1 at the distance H1.
  • P0 forms an image at the center of the pixel of the image sensor M.
  • the image sensor N forms an image around the pixel.
  • FIG. 27B is a schematic diagram illustrating the phase relationship between the imaging elements when the subject is P1. After changing the subject to P1 as shown in FIG. 27B, the phases of each other substantially coincide.
  • FIG. 28A it is possible to control the ideal phase relationship as shown in FIG. 28B by moving the optical axis by the optical axis shift means when the subject P1 is imaged. Can be achieved.
  • a distance measuring unit for measuring the distance.
  • the distance may be measured with the imaging device of the present invention.
  • An example of measuring distance using a plurality of cameras (unit imaging units) is common in surveying and the like.
  • the distance measurement performance is in inverse proportion to the distance to the distance measurement object in proportion to the base line length which is the distance between the cameras and the focal length of the camera.
  • the imaging apparatus of the present invention has, for example, an eight-eye configuration, that is, a configuration including eight unit imaging units.
  • the measurement distance that is, the distance to the subject is 500 mm
  • four cameras with short distances between the optical axes (baseline lengths) among the eight-eye cameras are assigned to imaging and image shift processing, and the remaining baselines are long with respect to each other.
  • the distance to the subject is as long as 2000 mm
  • high resolution processing of image shift is performed using eight eyes, and ranging is performed by determining the amount of blur by analyzing the resolution of the captured image, for example. You may make it the structure performed by the process which estimates a distance.
  • the accuracy of distance measurement may be improved by using other distance measuring means such as TOF (Time of Flight) together.
  • TOF Time of Flight
  • FIG. 29A is a schematic diagram of imaging P1 and P2 considering the depth ⁇ r.
  • the difference (u1-u2) in distance from each optical axis is expressed by equation (22).
  • (U1-u2) ⁇ r ⁇ u1 / H (22)
  • u1-u2 is a value determined by the base line length B, the imaging distance H, and the focal length f.
  • these conditions B, H, and f are fixed and regarded as constants.
  • an ideal optical axis relationship is obtained by the optical axis shift means.
  • FIG. 29B shows a condition in which the influence of depth falls within the range of one pixel, assuming a pixel size of 6 ⁇ m, an imaging distance of 600 mm, and a focal length of 5 mm as an example. Since the effect of image shift is sufficient under the condition that the influence of depth falls within the range of one pixel, it is possible to avoid image shift performance deterioration due to depth if used properly depending on the application, such as narrowing the angle of view. It becomes.
  • optical axis shift control for controlling the optical axis of light incident on the image sensor is Since it can be achieved by means other than a non-solid lens such as a liquid crystal lens, other embodiments will be described below.
  • the image pickup apparatus has a refracting plate disposed between a plurality of solid lenses and a plurality of image pickup elements.
  • a refracting plate 3001 instead of the liquid crystal lens 301 of the unit imaging unit 3 shown in FIG. 2, a refracting plate 3001 whose incident surface and output surface are parallel is arranged between the solid lens 302 and the image sensor 15, and the piezoelectric element.
  • FIG. As shown in “Principle diagram of optical axis shift by tilting of refracting plate” in FIG.
  • the optical axis shift amount by refracting plate 3001 varies depending on the tilt angle. It becomes possible. However, since the direction of the optical axis shift caused by tilting the refracting plate 3001 is only one axis direction (Y direction in the drawing), a refracting plate that shifts the optical axis in the X direction is separately arranged. As a result, the optical axis can be shifted in the biaxial direction, and the optical axis can be shifted in any direction within the image sensor surface.
  • the image pickup apparatus uses a plurality of variable apex angle prisms, a plurality of solid lenses, and a plurality of image pickup elements.
  • the incident light is deflected by changing the apex angle of the variable apex angle prism 3101 by means such as an actuator using the piezoelectric element 3102, the image is formed on the imaging element 15 by the solid lens 302.
  • the position of is changed, and the optical axis can be shifted.
  • the optical axis shift direction is only one axial direction (Y direction in the figure) as shown in FIG. 31, a variable apex angle prism that shifts the optical axis in the X direction is arranged separately.
  • the optical axis can be shifted in an arbitrary direction.
  • the image pickup apparatus uses a plurality of solid-state lenses and a plurality of image pickup image-pickup elements, and the whole or a part of the solid-state lens is substantially perpendicular to the optical axis by moving means such as an actuator using a plurality of piezoelectric elements. Move in the direction.
  • the imaging lens 3209 includes three solid lenses 3201, 3202, and 3203, and the solid lens 3202 that is one part of the imaging lens 3209 is moved by an actuator 3204 using a piezoelectric element that can move in the X direction.
  • the solid lens 3202 which is a part of the imaging lens 3209, moves, so that the incident light is deflected and connected by the imaging lens 3209.
  • the position on the image sensor 15 to be imaged is changed, and the optical axis can be shifted.
  • the optical axis can be shifted independently in the XY directions on the image sensor surface.
  • the imaging apparatus uses a plurality of solid lenses and a plurality of imaging elements, and moves the plurality of imaging elements directly by moving means such as an actuator using a piezoelectric element.
  • moving means such as an actuator using a piezoelectric element.
  • the control of the optical axis shift amount is performed not on the imaging lens but on the imaging element 15.
  • FIG. 33 shows a configuration in which each of the image pickup elements of the six systems of unit image pickup units 2 to 7 shown in FIG. 1 is directly moved by a moving means such as an actuator using a piezoelectric element. As shown in FIG.
  • a piezoelectric element is used as an actuator as a moving means.
  • the present invention is not limited to this, and a solenoid actuator using electromagnetic force, an actuator using a motor and a gear mechanism, and pressure are used. It is also possible to use means such as an actuator.
  • the control means is not limited to voltage control. Regarding the optical axis shift direction, the uniaxial direction and the biaxial direction have been described, but the present invention is not limited to this.
  • the optical axis shift control is performed by another method instead of a non-solid lens such as a liquid crystal lens, it is possible to increase the degree of freedom of the configuration for realizing the optical axis control.
  • a non-solid lens such as a liquid crystal lens
  • the components that make up the mobile phone terminal when the lens diameter cannot be increased or the focal length cannot be secured sufficiently It is possible to use an appropriate method according to the layout.
  • FIGS. 34A and 34B a sixth embodiment will be described with reference to FIGS. 34A and 34B.
  • the resolution can be increased by performing the optical axis shift as described above.
  • the resolution can be increased by performing the focus shift in the same manner as the optical axis shift at the imaging distance where the resolution cannot be increased due to the correspondence between the imaging distance and the pixel pitch of the image sensor.
  • FIG. 34A is a schematic diagram for explaining a case where the subject changes from a state at the point P0 at the imaging distance H0 to a state at the point P1 at the distance H1.
  • the point P0 forms an image on the central portion of the pixel Mn of the image sensor M
  • the image sensor N forms an image on the end portion of the pixel Nn.
  • the image is shifted by a pixel (u′0 shown in FIG. 34A).
  • the imaging position is shifted by one pixel (u′1 shown in FIG. 34A), and therefore the phases of the pixels of the image pickup device M and the image pickup device N substantially match.
  • the state shown in the upper diagram of FIG. 34B is obtained. Accordingly, the phases of the pixels are substantially coincident and high resolution cannot be achieved.
  • the focus of the pinhole O ′ is shifted in the direction of the image sensor N (the focal length f is shortened), so that the state shown in the upper diagram of FIG. 34B is changed to the lower diagram. Since the state can be changed, the pixels of the image sensor M and the image sensor N are shifted by half a pixel, and an optimal phase relationship can be obtained. However, if the focal length f of the pinhole O ′ is shortened until the optimum phase relationship is reached, the image on the image sensor N may be blurred.
  • the purpose of shortening the focal length f of the pinhole O ′ is to avoid a state in which the phases of the pixels of the image pickup device M and the image pickup device N are substantially coincident with each other. Just move it.
  • the change of the focal length can be realized by the liquid crystal lens 301 shown in FIG. 3, and the refractive index distribution of the liquid crystal layer 306 can be freely set by applying a voltage to the first electrode 303 and the second electrode 304. Change to In this case, the electrodes 304a, 304b, 304c, and 304d shown in FIG. Thereby, the liquid crystal lens 301 functions as a convex lens, and the focal length of the optical lens 302 shown in FIG. 2 can be changed.
  • each liquid crystal lens of each liquid crystal lens array may be driven via each control unit 32 to 37 to operate the autofocus function.
  • a high-resolution image of a moving subject can be taken.
  • the intersection of the solid lines represents the pixels of the image sensor M
  • the intersection of the dotted lines represents the pixels of the image sensor N.
  • the values of the pixels Puv necessary for high definition are (pixel Mi, j, Ni, j), (pixel Mi, j + 1, Ni, j + 1), (pixel Mi + 1, j, Ni + 1) located around the pixel Puv. , J) and (pixels Mi + 1, j + 1, Ni + 1, j + 1) and the pixel Puv
  • the filter coefficient is used for the calculation.
  • the seventh embodiment described above an image sensor having a different pixel pitch is used for each of the six image sensors.
  • the imaging magnification is optically changed using six image sensors having the same pixel pitch.
  • the pixel pitch of the image sensor may be changed. That is, when the pixel pitches of the image sensor N and the image sensor N are the same, the image formed on the image sensor M becomes larger or smaller by changing (magnifying or reducing) the magnification of the imaging lens of the image sensor M. Thus, it is possible to avoid that the phases of the respective pixels substantially coincide with each other.
  • the image sensor shown in FIG. 37 has one image sensor (image sensor N) as a fulcrum (for example, the upper left corner of the image sensor) with respect to the other image sensor (image sensor M) and the optical axis. It is rotated and fixed around a parallel axis. Also in this case, as in the case shown in FIG. 36, the pixel positions in the u-axis and v-axis directions are different, so that the phases of the pixel pitches can be prevented from matching.
  • the image pickup apparatus is arranged so that the pixel pitches of the image pickup devices 14 to 19 are different from each other, and the above-described operation for controlling the direction of the optical axis is combined to increase the resolution. You may do it. By doing in this way, it becomes possible to obtain a high-resolution image easily.
  • the image quality is deteriorated due to crosstalk on the image sensor, and it is difficult to improve the image quality.
  • the optical axis of the light incident on the image sensor is controlled. Accordingly, it is possible to realize an imaging device that can eliminate crosstalk and obtain high image quality.
  • the image formed on the imaging device is captured by image processing. Therefore, the resolution of the imaging device needs to be larger than the required imaging resolution.
  • the liquid crystal Since it is possible to control not only the optical axis direction of the lens but also the optical axis of light incident on the image sensor at an arbitrary position, the size of the image sensor can be reduced, and a light, thin and small size is required. It can be mounted on a portable terminal or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

　光学系と撮像素子の相対位置の調整を行うべく、複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備える。

Description

撮像装置及び光軸制御方法
　本発明は、撮像装置及び光軸制御方法に関する。
　本願は、２００８年１月１０日に、日本に出願された特願２００８－００３０７５号、および、２００８年７月１０日に、日本に出願された特願２００８－１８０６８９に基づき優先権を主張し、その内容をここに援用する。
　近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話端末等に小型で高画質なデジタルカメラが搭載されてきている。デジタルカメラに代表される撮像装置は、撮像素子、結像光学系（レンズ光学系）、イメージプロセッサ、バッファメモリ、フラッシュメモリ（カード型メモリ）、画像モニタ及びこれらを制御する電子回路やメカニカル機構等から構成されている。撮像素子には、通常、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の固体電子デバイスが使用されている。撮像素子上に結像された光量分布は光電変換されて、得られた電気信号はイメージプロセッサとバッファメモリによって信号処理される。イメージプロセッサとしてはＤＳＰ（Digital Signal Processor）等が、またバッファメモリとしてはＤＲＡＭ（Dynamic Random Access Memory）等が使用される。撮像された画像はカード型フラッシュメモリ等に記録蓄積され、記録蓄積された画像はモニタに表示することができる。
　撮像素子に像を結像させる光学系は、通常、収差を除去するために、数枚の非球面レンズから構成されている。また、光学的なズーム機能を持たせる場合は、組合せレンズの焦点距離や、レンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。
　撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系はより低収差、高精度化され、かつズーム機能、オートフォーカス機能、手振れ補正機能等の高機能化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になるという問題がある。
　このような問題を解決するために、結像光学系に複眼構造を採用したり、液晶レンズや液体レンズ等の非固体レンズを組み合わせることにより、撮像装置を小型化、薄型化することが提案されている。例えば、平面状に配置した固体レンズアレイと液晶レンズアレイと１つの撮像素子から構成された撮像レンズ装置が提案されている（例えば、特許文献１）。図３８に示すように、固定焦点距離のレンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する単一の撮像素子２００３から構成されている。この構成によって、レンズアレイ２００１の数と同数の画像を単一の撮像素子２００３上に分割して結像させる。この撮像素子２００３より得られた複数の画像を演算装置２００４により画像処理を行い、全体の画像を再構成する。また、この演算装置２００４からフォーカス情報を検出し、液晶駆動装置２００５を介して液晶レンズアレイ２００２の各液晶レンズを駆動して、オートフォーカスを行う。このように、特許文献１の撮像レンズ装置においては、液晶レンズと固体レンズを組み合わせることにより、オートフォーカス機能やズーム機能を有し、かつ小型化を実現することができる。
　また、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイと１つの撮像素子から構成された撮像装置もある（例えば、特許文献２）。図３９に示すように、液晶レンズ２１３１と、複眼光学系２１２０と、画像合成器２１１５と、駆動電圧演算部２１４２から構成されている。特許文献１と同様、単一の撮像素子２１０５上に、レンズアレイの数と同数の画像を結像させて、画像処理で画像を再構成する。このように、特許文献２の撮像装置においては、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイを組み合わせることにより、小型、薄型で焦点調整機能を実現することができる。
　また、撮像素子である検出器アレイと撮像レンズアレイから構成されたサブピクセル解像度を有する薄型カメラにおいて、２つのサブカメラ上の画像の相対的な位置ずれを変化させて、合成画像の解像度を増大させる方法が知られている（例えば、特許文献３）。この方法では、片方のサブカメラに絞りを設けて、この絞りによって半画素分の光を遮断することで、被写体距離によって解像度が改善できなくなる課題を解決している。また、特許文献３は、外部から電圧を与えることで焦点距離を制御することが可能な液体レンズを組み合わせて、焦点距離を変更することで画像の結像位置と画素の位相も同時に変更することで、合成画像の解像度を増大させている。このように、特許文献３の薄型カメラでは、撮像レンズアレイと、遮光手段を持つ撮像素子を組み合わせることにとより、合成画像の高精細化を実現している。また、撮像レンズアレイと撮像素子に液体レンズを組み合わせることで、合成画像の高精細化を実現することができる。
特開２００６－２５１６１３号公報 特開２００６－２１７１３１号公報 特表２００７－５２０１６６号公報
　しかしながら、特許文献１～３の撮像レンズ装置では、光学系と撮像素子の相対位置の調整の精度が画質に影響するため、組み立て時に正確に調整する必要があるという問題がある。また、相対位置の調整を機械的精度だけで調整を行う場合は、高精度な非固体レンズ等が必要となり、コストが高くなるという問題がある。また、装置の組立て時に正確に調整されたとしても、経時変化等により光学系と撮像素子との相対位置が変わり、画質劣化が生じることもある。再度位置調整をすれば画質が良くなるが、組立て時と同様の調整を行わなければならないという問題がある。さらに、光学系や撮像素子を数多く備えている装置においては調整するべき箇所が数多くなるため、多大な作業時間を要するという問題もある。
　本発明は、このような事情に鑑みてなされたもので、高画質な撮像装置を実現するために、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができる撮像装置及び光軸制御方法を提供することを目的とする。
　本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備えることを特徴とする。
　本発明は、前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
　本発明は、前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
　本発明は、前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
　本発明は、前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
　本発明は、前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする。
　本発明は、前記光軸制御部は、既知の撮像対象との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする。
　本発明は、前記複数の撮像素子のそれぞれは、画素のピッチが異なることを特徴とする。
　本発明は、前記複数の固体レンズのそれぞれは、焦点距離が異なることを特徴とする。
　本発明は、前記複数の撮像装置は、光軸周りにそれぞれ異なる角度で回転させて配置したことを特徴とする。
　本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部とを備えることを特徴とする。
　本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備える撮像装置における光軸制御方法であって、前記光軸制御部が、既知の撮像対象と前記光軸制御部との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする。
　　本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部とを備える撮像装置における光軸制御方法であって、前記焦点制御部が、既知の撮像対象と前記撮像素子との相対位置関係に基づいて前記固体レンズの焦点距離を制御することを特徴とする。
　本発明によれば、複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸を制御する複数の光軸制御部とを備えたため、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができ、高画質な撮像装置を実現することができるという効果が得られる。特に、入射する光の光軸を撮像素子面上の任意の位置に設定するように制御することが可能となるため、光学系と撮像素子間の位置調整を簡単に行うことができる高画質な撮像装置を実現することができる。また、撮像対象と複数の光軸制御部との相対位置に基づいて光軸の方向を制御するようにしたため、撮像素子面の任意の位置に光軸の設定を行うことが可能となり、焦点調整範囲が広い撮像装置を実現することができる。
本発明の第１の実施の形態による撮像装置の構成を示すブロック図である。 図１に示した第１の実施の形態による撮像装置の単位撮像部の詳細な構成図である。 液晶レンズの構成図である。 第１の実施の形態による撮像装置に使用した液晶レンズの機能を説明する模式図である。 第１の実施の形態による撮像装置の液晶レンズを説明する模式図である。 図１に示した第１の実施の形態による撮像装置の撮像素子を説明する模式図である。 撮像素子の詳細な模式図である。 図１に示す撮像装置１の全体構成を示すブロック図である。 第１の実施の形態による撮像装置の映像処理部の詳細なブロック図である。 第１の実施の形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。 第１の実施の形態による撮像装置の映像処理の制御部の詳細なブロック図である。 制御部の動作の一例を説明するフローチャートである。 図１２に示すサブ画素映像合成高精細化処理の動作を示す説明図である。 高精細判定の一例を説明するフローチャートである。 制御電圧変更処理の一例を説明するフローチャートである。 カメラキャリブレーションの一例を説明するフローチャートである。 単位撮像部のカメラキャリブレーションを説明する模式図である。 複数の単位撮像部のカメラキャリブレーションを説明する模式図である。 複数の単位撮像部のカメラキャリブレーションを説明する別の模式図である。 撮像装置１の撮像の様子を示す模式図である。 高精細なサブ画素について説明する模式図である。 高精細なサブ画素について説明する別の模式図である。 撮像対象（被写体）と結像の関係を示す説明図である。 撮像対象（被写体）と結像の関係を示す別の説明図である。 撮像対象（被写体）と結像の関係を示す別の説明図である。 撮像装置１の動作を説明する模式図である。 撮像装置１の動作を説明する別の模式図である。 取り付け誤差により撮像素子がずれて取り付けられた場合の模式図である。 取り付け誤差により撮像素子がずれて取り付けられた場合の別の模式図である。 光軸シフト制御の動作を示す模式図である。 光軸シフト制御の動作を示す別の模式図である。 撮像距離と光軸シフトの関係を示す説明図である。 撮像距離と光軸シフトの関係を示す別の説明図である。 撮像距離と光軸シフトの関係を示す説明図である。 撮像距離と光軸シフトの関係を示す別の説明図である。 奥行きと光軸シフトによるイメージシフトの効果を示す説明図である。 奥行きと光軸シフトによるイメージシフトの効果を示す別の説明図である。 第２の実施の形態による光軸シフト制御を行う構成を示す構成図である。 第３の実施の形態による光軸シフト制御を行う構成を示す構成図である。 第４の実施の形態による光軸シフト制御を行う構成を示す構成図である。 第５の実施の形態による光軸シフト制御を行う構成を示す構成図である。 第６の実施の形態による焦点シフト制御を行う構成を示す構成図である。 第６の実施の形態による焦点シフト制御を行う構成を示す別の構成図である。 第６の実施の形態による焦点シフト制御を行う構成を示す構成図である。 第７の実施の形態による撮像素子の構成を示す構成図である。 第７の実施の形態の変形例による撮像素子の構成を示す構成図である。 従来の撮像装置の構成を示すブロック図である。 他の従来の撮像装置の構成を示すブロック図である。
符号の説明
１　撮像装置
２～７　単位撮像部
８～１３　撮像レンズ
１４～１９　撮像素子
２０～２５　光軸
２６～３１　映像処理部
３２～３７　制御部
３８　映像合成処理部
　以下に、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る、撮像装置の全体構成を示す機能ブロック図である。図１に示す撮像装置１は、６系統の単位撮像部２～７を備えている。単位撮像部２は撮像レンズ８と撮像素子１４から構成されている。同様に、単位撮像部３は撮像レンズ９と撮像素子１５、単位撮像部４は撮像レンズ１０と撮像素子１６、単位撮像部５は撮像レンズ１１と撮像素子１７、単位撮像部６は撮像レンズ１２と撮像素子１８、及び単位撮像部７は撮像レンズ１３と撮像素子１９から構成されている。各撮像レンズ８～１３は撮影対象からの光を対応する各撮像素子１４～１９上にそれぞれ結像する。図１に示す符号２０～２５は、各撮像素子１４～１９に入射する光の光軸を示している。
　以下、単位撮像部３を例にとり、信号の流れを説明する。撮像レンズ９によって結像した像を撮像素子１５で光電変換し、光信号を電気信号に変換する。撮像素子１５で変換された電気信号は、映像処理部２７によって予め設定されたパラメータにより映像信号に変換する。映像処理部２７は、変換した映像信号を映像合成処理部３８へ出力する。映像合成処理部３８は、他の単位撮像部２、４～７から出力される電気信号を対応する各映像処理部２６、２８～３１により変換処理された映像信号を入力する。映像合成処理部３８では、各単位撮像部２～７において撮像された６つの映像信号を同期を取りながら１本の映像信号に合成し、高精細映像として出力する。また映像合成処理部３８は、合成した高解像度映像が予め設定した判定値より劣化していた場合、その判定結果に基づいて、制御信号を生成して、６つの制御部３２～３７へ出力する。各制御部３２～３７は、入力した制御信号に基づいて、対応する各撮像レンズ８～１３の光軸制御を行う。そして、映像合成処理部３８は、再度高精細映像の判定を行う。この判定結果が良ければ高精細映像を出力し、悪ければ再度、撮像レンズを制御するという動作を繰り返す。
　次に、図２を参照して、図１に示す単位撮像部３の撮像レンズ９及びこの撮像レンズ９を制御する制御部３３の詳細な構成を説明する。単位撮像部３は、液晶レンズ（非固体レンズ）３０１及び光学レンズ（固体レンズ）３０２から構成されている。また、制御部３３は、液晶レンズ３０１に印加する電圧を制御する４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄから構成されている。電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄは、映像合成処理部３８が生成した制御信号に基づいて、液晶レンズ３０１に印加する電圧を決定し、液晶レンズ３０１を制御する。図１に示す他の単位撮像部２、４～７の撮像レンズ及び制御部も同様な構成であるため、ここでは詳細な説明を省略する。
　次に、図３を参照して、図２に示す液晶レンズ３０１の構成を説明する。本実施形態における液晶レンズ３０１は、透明な第１の電極３０３、第２の電極３０４、透明な第３の電極３０５、第２の電極３０４と第３の電極３０５との間に配置された液晶層３０６、第１の電極３０３と第２の電極３０４との間に配置された第１の絶縁層３０７、第２の電極３０４と第３の電極３０５の間に配置された第２の絶縁層３０８、第１の電極３０３の外側に配置された第３の絶縁層３１１、第３の電極３０５の外側に配置された第４の絶縁層３１２によって構成されている。ここで、第２の電極３０４は、円形の孔を有しており、図３の正面図に示すように縦、横に分割された４つの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄによって構成されており、それぞれの電極に独立して電圧を印加することができる。また、液晶層３０６は第３の電極３０５に対向するように液晶分子を一方向に配向させており、液晶層３０６を挟む電極３０３、３０４、３０５の間に電圧を印加することで液晶分子の配向制御を行う。また、絶縁層３０８は大口径化のため例えば数百μｍ程度の厚さの透明な硝子等を用いている。
　一例として液晶レンズ３０１の寸法を以下に示す。第２の電極３０４の円形の孔のサイズは約φ２ｍｍであり、第１の電極３０３との間隔は７０μｍであり、第２の絶縁層３０８の厚みは７００μｍである。液晶層３０６の厚さは６０μｍとしている。本実施の形態では第１の電極３０３と第２の電極３０４は異なった層となっているが、同一の面上に形成しても構わない。その場合、第１の電極３０３の形状は第２の電極３０４の円形の孔よりも小さなサイズの円形として第２の電極３０４の孔位置に配置し、第２の電極３０４の分割部分に電極取り出し部を設けた構成とする。このとき、第１の電極３０３と第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄはそれぞれ独立に電圧制御が行える。このような構成をすることで全体の厚みを減少させることができる。
　次に、図３に示す液晶レンズ３０１の動作を説明する。図３に示す液晶レンズ３０１において、透明な第３の電極３０５とアルミニウム薄膜等で構成された第２の電極３０４との間に電圧を印加すると同時に、第１の電極３０３と第２の電極３０４の間にも電圧を印加することにより、円形の孔を有する第２の電極３０４の中心軸３０９に軸対象な電界勾配を形成することができる。このように形成された円形電極のエッジ周りの軸対象な電界勾配により、液晶層３０６の液晶分子が電界勾配の方向に配向する。その結果、液晶層３０６の配向分布の変化により、異常光の屈折率分布が円形の電極の中心から周辺まで変化するため、レンズとして機能させることができる。第１の電極３０３、第２の電極３０４への電圧の掛け方によってこの液晶層３０６の屈折率分布を自由に変化させることができ、凸レンズや凹レンズなど自由に光学的な特性の制御を行うことが可能である。
　本実施形態では、第１の電極３０３と第２の電極３０４の間に２０Ｖｒｍｓの実効電圧を印加し、また、第２の電極３０４と第３の電極３０５の間に７０Ｖｒｍｓの実効電圧を印加して、第１の電極３０３と第３の電極３０５の間には９０Ｖｒｍｓの実効電圧が印加されるようにして凸レンズとして機能させている。ここで、液晶駆動電圧（各電極間に印加する電圧）は正弦波、またはデューティ比５０％の矩形波の交流波形である。印加する電圧値は実効電圧（ｒｍｓ：root mean square value）で表す。例えば１００Ｖｒｍｓの交流正弦波は、±１４４Ｖの尖頭値を有する電圧波形となる。また、交流電圧の周波数は例えば１ｋＨｚが用いられる。更に第２の電極３０４を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと第３の電極３０５との間にそれぞれ異なった電圧を印加することにより、同一電圧を印加したときには軸対称であった屈折率分布が、円形の孔を有する第２の電極中心軸３０９に対して、軸のずれた非対称な分布となり、入射光が直進する方向から偏向するという効果が得られる。この場合、分割された第２の電極３０４と第３の電極３０５の間に印加する電圧を適宜変えることにより、入射光の偏向の方向を変化させることができる。例えば、電極３０４ａと電極３０５間と、電極３０４ｃと電極３０５間にそれぞれ７０Ｖｒｍｓを、電極３０４ｂと電極３０５間と、電極３０４ｄと電極３０５間にそれぞれ７１Ｖｒｍｓを印加することで、符号３０９で示す光軸位置が符号３１０で示す位置にシフトする。そのシフト量は例えば３μｍである。
　図４は、液晶レンズ３０１の光軸シフト機能を説明する模式図である。前述した通り第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと第３の電極３０５との間に印加する電圧を、電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ毎に制御することによって、撮像素子の中心軸と液晶レンズの屈折率分布の中心軸をずらすことが可能となる。これは撮像素子面に対してレンズがそのｘｙ面内でずれたことに相当するため、撮像素子に入力する光線を、そのｕ、ｖ面内で偏向することができる。
　図５に図２に示す単位撮像部３の詳細構成を示す。単位撮像部３の中の光学レンズ３０２は２つの光学レンズ３０２ａ、３０２ｂによって構成され、液晶レンズ３０１は光学レンズ３０２ａ、３０２ｂの間に配置している。光学レンズ３０２ａ、３０２ｂはそれぞれ１枚もしくは複数枚のレンズより構成されている。物体面から入射した光線は液晶レンズ３０１の物体面側に配置する光学レンズ３０２ａによって集光され、スポットを小さくした状態で液晶レンズ３０１に入射される。このとき、液晶レンズ３０１への光線の入射角度は光軸に対して平行に近い状態となっている。液晶レンズ３０１から出射された光線は液晶レンズ３０１の撮像素子１５側に配置する光学レンズ３０２ｂによって撮像素子１５面上に結像される。このような構成とすることで液晶レンズ３０１の径を小さくすることが可能であり、液晶レンズ３０１へ印加する電圧の低減やレンズ効果の増大、第２の絶縁層３０８の厚さを薄くすることによるレンズ厚の低減が可能である。
　図１に示す撮像装置１では、１つの撮像素子に対して１つの撮像レンズを配置した構成としているが、液晶レンズ３０１において同一基板上に複数個の第２の電極３０４を構成し、複数の液晶レンズを一体化した構成でも構わない。すなわち液晶レンズ３０１は第２の電極３０４の孔の部分がレンズに相当するため、１枚の基板上に複数個の第２の電極３０４のパターンを配置することで、それぞれの第２の電極３０４の孔の部分がレンズ効果を有する。そのため、複数個の撮像素子の配置に合わせて同一基板上に複数の第２の電極３０４を配置することで単一の液晶レンズユニットで全ての撮像素子に対応することが可能である。
　なお、前述した説明においては液晶層の層数が１層であったが、１層の厚みを薄くして複数の層で構成することで同程度の集光性を保ったまま応答性を改善することも可能である。これは液晶層の厚みが増すほど応答速度が劣化する特徴によるものである。また、液晶層を複数の層で構成した場合、それぞれの液晶層間での偏光の向きを変えることで、液晶レンズへ入射した光線に対して全ての偏光方向でレンズ効果を得ることができる。さらに、電極分割数も１例として４分割のタイプを例示したが、移動したい方向に応じて電極の分割数を変更することも可能である。
　次に、図６及び図７を参照して、図１に示す撮像素子１５の構成を説明する。本実施形態による撮像装置の撮像素子は、一例として、ＣＭＯＳ撮像素子を使用することができる。図６において、撮像素子１５は、２次元配列の画素５０１から構成されている。本実施形態のＣＭＯＳ撮像素子の画素サイズは５．６μｍ×５．６μｍ、画素ピッチは６μｍ×６μｍ、実効画素数は６４０（水平）×４８０（垂直）である。ここで画素とは、撮像素子が行う撮像動作の最小単位である。通常、１つの光電変換素子（例えばフォトダイオード）に１つの画素が対応している。５．６μｍ各の画素サイズのなかに、ある面積（空間的広がり）を持つ受光部があり、画素はその受光部に入射した光を平均化、積分して光の強度とし、電気信号に変換する。平均化する時間は電子式や機械式のシャッター等で制御されて、その動作周波数は一般的に撮像装置が出力するビデオ信号のフレーム周波数と一致し、例えば６０Ｈｚである。
　図７に撮像素子１５の詳細な構成を示す。ＣＭＯＳ撮像素子１５の画素５０１は、増幅器５１６によって、フォトダイオード５１５で光電変換された信号電荷を増幅する。各画素の信号は、垂直走査回路５１１及び水平走査回路５１２により、垂直水平アドレス方式で選択し、電圧または電流として取り出される。ＣＤＳ（Correlated Double Sampling）５１８は相関２重サンプリングを行う回路であり、アンプ５１６等で発生するランダム雑音のうち１／ｆ雑音を抑圧することができる。画素５０１以外の画素についても同様の構成、機能となっている。またＣＭＯＳロジックＬＳＩ製造プロセスの応用で大量生産が可能なため、高電圧アナログ回路を持つＣＣＤイメージセンサと比較して安価であり、素子が小さいことから消費電力も少なく、原理的にスミアやブルーミングが発生しないという長所もある。本実施形態ではモノクロのＣＭＯＳ撮像素子１５を使用したが、各画素には個別にＲ，Ｇ，Ｂのカラーフィルタを取り付けたカラー対応のＣＭＯＳ撮像素子も使用できる。Ｒ，Ｇ，Ｇ，Ｂの繰り返しを市松模様状に配置するベイヤー構造を用いて、１つの撮像素子でカラー化を簡易に達成できる。
　次に、図８を参照して、撮像装置１の全体の構成について説明する。図８において、図１に示す同一の部分には同一の符号を付し、その説明を省略する。図８において、Ｐ００１は撮像装置１の処理動作を統括して制御するＣＰＵ（Central Processing Unit）であり、マイクロコントローラ（マイコン）と呼ばれる場合もある。Ｐ００２は不揮発性メモリで構成するＲＯＭ（Read Only Memory）であり、ＣＰＵ・Ｐ００１のプログラムや各処理部に必要な設定値を記憶する。Ｐ００３はＲＡＭ（Random Access Memory）であり、ＣＰＵの一時的なデータを記憶する。Ｐ００４はＶｉｄｅｏＲＡＭであり、主に演算途中の映像信号、画像信号を記憶するためのもので、ＳＤＲＡＭ（Synchronous Dynamic RAM）などで構成される。
　図８はＣＰＵ・Ｐ００１のプログラム格納用としてＲＡＭ・Ｐ００３を、画像格納用としてＶｉｄｅｏＲＡＭ・Ｐ００４を持つ構成であるが、例えば２つのＲＡＭブロックをＶｉｄｅｏＲＡＭ・Ｐ００４に統一する構成でもよい。Ｐ００５はシステムバスであり、ＣＰＵ・Ｐ００１、ＲＯＭ・Ｐ００２、ＲＡＭ・Ｐ００３、ＶｉｄｅｏＲＡＭ・Ｐ００４、映像処理部２７、映像合成処理部３８、制御部３３が接続されている。またシステムバスＰ００５は、後述する映像処理部２７、映像合成処理部３８、制御部３３の各ブロックの内部ブロックにも接続される。ＣＰＵ・Ｐ００１がホストとしてシステムバスＰ００５を制御しており、映像処理、画像処理及び光軸制御に必要な設定データが双方向に流れる。
　また、例えば映像合成処理部３８の演算途中の画像をＶｉｄｅｏＲＡＭ・Ｐ００４に格納する際にこのシステムバスＰ００５を使用する。高速転送速度が必要な画像信号用のバスと、低速のデータバスを異なるバスラインとしてもよい。システムバスＰ００５には、図示しないＵＳＢやフラッシュメモリカードのような外部とのインターフェースや、ビューファインダとしての液晶表示器の表示駆動コントローラが接続される。
　次に、図９、図１０を参照して、映像処理部２７と映像合成処理部３８の処理動作を説明する。図９は、映像処理部２７の構成を示すブロック図である。図９において、６０１は映像入力処理部、６０２は補正処理部、６０３は較正パラメータ記憶部である。映像入力処理部６０１は、単位撮像部３から取り込んだ映像信号を入力し、例えばニー処理やガンマ処理などの信号処理を施し、さらにホワイトバランス制御も実施する。映像入力処理部６０１の出力は補正処理部６０２に渡されて、後述するキャリブレーション手順によって得られた較正パラメータに基づく歪みの補正処理が施される。例えば撮像素子１５の取り付け誤差に起因する歪みが較正される。較正パラメータ記憶部６０３はＲＡＭ（Random Access Memory）であり、キャリブレーション値（較正値）を記憶している。補正処理部６０２からの出力である補正済みの映像信号は、映像合成処理部３８に出力される。較正パラメータ記憶部６０３に記憶されているデータは、例えば撮像装置の電源投入時にＣＰＵ・Ｐ００１によって更新される。または、較正パラメータ記憶部６０３をＲＯＭ（Read Only Memory）として、工場出荷時のキャリブレーション手順にて格納データを確定してＲＯＭに記憶するようにしてもよい。
　映像入力処理部６０１、補正処理部６０２及び較正パラメータ記憶部６０３は、それぞれシステムバスＰ００５に接続されている。例えば映像入力処理部６０１の前述のガンマ処理の特性はＲＯＭ・Ｐ００２に格納されている。映像入力処理部６０１は、ＣＰＵ・Ｐ００１のプログラムによって、ＲＯＭ・Ｐ００２に格納されているデータをシステムバスＰ００５を介して受け取る。また、補正処理部６０２は、演算途中の画像データをシステムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出し、またはＶｉｄｅｏＲＡＭ・Ｐ００４から読み出す。本実施形態ではモノクロのＣＭＯＳの撮像素子１５を使用しているが、カラーのＣＭＯＳ撮像素子を使用する場合、例えば撮像素子がベイヤ構造である場合は、映像処理部６０１でベイヤ補間処理を実施することになる。
　図１０は、映像合成処理部３８の構成を示すブロック図である。合成処理部７０１は、複数の単位撮像部２～７の撮像結果を合成処理する。合成処理により、後述するように画像の解像度を改善することができる。合成パラメータ記憶部７０２は、例えば後述するキャリブレーションによって導出される単位撮像部間の３次元座標から求まる画像シフト量のデータを格納している。合成処理部７０１は、このシフト量を基に画像をシフトさせて合成する。判定部７０３は、合成処理の結果を例えばフーリエ変換することで、映像信号の高帯域成分のパワーを検出する。ここで、例えば４つの単位撮像部の合成処理を行う場合を仮定する。撮像素子はワイドＶＧＡ（８５４画素×４８０画素）であると仮定する。
　また、映像合成処理部３８の出力であるビデオ出力がハイビジョン信号（１９２０画素×１０８０画素）であると仮定する。この場合、判定部７０３で判断する周波数帯域は、およそ２０ＭＨｚから３０ＭＨｚである。ワイドＶＧＡの映像信号が再現可能な映像周波数の帯域上限はおよそ１０ＭＨｚ～１５ＭＨｚである。このワイドＶＧＡの信号を用いて、合成処理部７０１で合成処理することにより、２０ＭＨｚ～３０ＭＨｚの成分を復元する。ここで、撮像素子はワイドＶＧＡであるが、主に撮像レンズ８～１３からなる撮像光学系は、ハイビジョン信号の帯域を劣化させない特性を持つことが条件となる。
この合成後のビデオ信号の周波数帯域（前述の例では２０ＭＨｚ～３０ＭＨｚの成分）のパワーが最大となるように、制御部３２～制御部３７を制御する。周波数軸での判断のために、判定部７０３ではフーリエ変換処理を行い、その結果の、特定の周波数以上（例えば２０ＭＨｚ）のエネルギーの大きさを判断する。撮像素子の帯域を越える映像信号帯域の復元の効果は、撮像素子上に結像した像を画素の大きさで決まる範囲で標本化する際の、その位相によって変化する。この位相を最適な状態とするために、制御部３２～３７を用いて、撮像レンズ８～１３を制御する。具体的には、制御部３３は撮像レンズ９にある液晶レンズ３０１を制御する。液晶レンズ３０１の分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに印加する電圧のバランスを制御することで、図４に示した通り、撮像素子面上の画像が移動する。制御結果の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。そのような理想的な状態になった場合、フーリエ変換の結果の高帯域成分のエネルギーは最大となる。つまり、液晶レンズの制御と、その結果の合成処理の判定を行うフィードバックループにより、フーリエ変換の結果のエネルギーを最大となるよう制御する。
　以上説明した通り、この制御方法は、映像処理部２７からの映像信号を基準として、制御部３３以外の制御部３２、３４～３７を介して撮像レンズ２、撮像レンズ４～７を制御する。この場合、撮像レンズ２は、制御部３２によって光軸位相が制御される。その他の撮像レンズ４～７についても同様に光軸位相が制御される。各撮像素子の画素より小さいサイズでの位相の制御がなされることで、撮像素子で平均化される位相のオフセットが最適化される。つまり、撮像素子上に結像した像を画素で標本化する際の、その標本化の位相を、光軸位相の制御により高精細化を行うために理想的な状態に制御する。その結果高精細、高画質な映像信号を合成することが可能となる。判定部７０３は、合成処理結果を判定し、高精細、高画質な映像信号が合成できていれば、その制御値を維持し、高精細、高画質な映像信号をビデオ出力する。一方、高精細、高画質な映像信号が合成できていなければ、再度撮像レンズの制御を行う。
　ここでは、撮像素子１の画素と撮像対象の結像の位相が、画素のサイズ以下となるために、サブ画素と名前をつけて定義するが、画素を分割するサブ画素の構造が撮像素子上に実在するものではない。また、映像合成処理部３８の出力は、例えばビデオ信号であり、図示しないディスプレイに対して出力されたり、または図示しない画像記録部に渡されて、磁気テープやＩＣカードに記録される。合成処理部７０１、合成パラメータ記憶部７０２、判定部７０３は、それぞれシステムバスＰ００５に接続されている。合成パラメータ記憶部７０２はＲＡＭで構成されている。例えば、撮像装置の電源投入時にＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。また、合成処理部７０１は、演算途中の画像データを、システムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出し、またはＶｉｄｅｏＲＡＭ・Ｐ００４から読み出す。
　次に、図１１を参照して、制御部３３の構成を説明する。図１１において、８０１は電圧制御部、８０２は液晶レンズパラメータ記憶部である。電圧制御部８０１は、映像合成処理部３８の判定部７０３からの制御信号に従い、撮像レンズ９が備えている液晶レンズ３０１の各電極の電圧を制御する。制御される電圧は、液晶レンズパラメータ記憶部８０２から読み出すパラメータ値を基準に決定する。このような処理により、液晶レンズ３０１の電界分布が理想的に制御されて、図４に示すように光軸が制御されて、結果取り込み位相が補正された状態で撮像素子１５において光電変換される。このような制御によって、画素の位相が理想的に制御されて、その結果ビデオ出力信号の解像度が改善される。制御部３３の制御結果が理想的な状態であれば、判定部７０３の処理であるフーリエ変換の結果のエネルギー検出が最大となる。そのような状態となるように、制御部３３は、撮像レンズ９、映像処理部２７、映像合成処理部３８によるフィードバックループを構成して、高域周波数のエネルギーが大きく得られるように、液晶レンズを制御する。電圧制御部８０１、液晶レンズパラメータ記憶部８０２は、それぞれシステムバスＰ００５に接続されている。液晶レンズパラメータ記憶部８０２は例えばＲＡＭで構成されており、撮像装置１の電源投入時にＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。
　なお、図９～図１１に示す較正パラメータ記憶部６０３、合成パラメータ記憶部７０２及び液晶レンズパラメータ記憶部８０２は、同一のＲＡＭ、もしくはＲＯＭを用いて、記憶するアドレスで使い分ける構成にしてもよい。また、ＲＯＭ・Ｐ００２やＲＡＭ・Ｐ００３の一部のアドレスを使用する構成でもよい。
　次に、撮像装置１の制御動作を説明する。図１２は、撮像装置１の動作を示すフローチャートである。ここでは、映像合成処理において映像の空間周波数情報を使用する一例を示す。まず、ＣＰＵ・Ｐ００１が制御処理の開始を指示すると、補正処理部６０２は、較正パラメータ記憶部６０３から較正パラメータを読み込む（ステップＳ９０１）。補正処理部６０２は、読み取った較正パラメータを基に、単位撮像部２～７毎の補正を行う（ステップＳ９０２）。この補正は、後述の単位撮像部２～７毎の歪みを除去するものである。次に、合成処理部７０１は、合成パラメータ記憶部７０２から合成パラメータを読み込む（ステップＳ９０３）。そして、合成処理部７０１は読み込んだ合成パラメータを基にサブ画素映像合成高精細化処理を実行する（ステップＳ９０４）。後述するように、サブ画素単位での位相が異なる情報をもとに高精細画像を構築する。
　次に、判定部７０３は高精細判定を実行し（ステップＳ９０５）、高精細か否かを判定する（ステップＳ９０６）。判定部７０３は、内部に判定用の閾値を保持しており、高精細の度合いを判定して、この判定結果の情報を制御部３２～３７のそれぞれに渡す。各制御部３２～３７は、高精細が達成されている場合は制御電圧を変更せずに、液晶レンズパラメータは同一値を保持する（ステップＳ９０７）。一方、高精細ではないと判定された場合、制御部３２～３７は、液晶レンズ３０１の制御電圧を変更する（ステップＳ９０８）。ＣＰＵ・Ｐ００１は、制御終了条件を管理しており、例えば装置のパワーオフの条件が成立したか否かを判定し（ステップＳ９０９）、制御終了条件が満たされていなければ、ステップＳ９０３へ戻り、処理を繰り返す。一方、制御終了条件を満たしていれば処理を終了する。なお、制御終了条件は、装置のパワーオン時に予め高精細判定回数を１０回というように定めておき、指定回数分、ステップＳ９０３～Ｓ９０９の処理を繰り返すようにしてもよい。
　次に、図１３を参照して、図１２に示すサブ画素映像合成高精細化処理（ステップＳ９０４）の動作を説明する。画像サイズ、倍率、回転量及びシフト量は合成パラメータであり、合成パラメータ読み込み処理（ステップＳ９０３）において合成パラメータ記憶部７０２から読み出されるパラメータである。ここでは、４つの単位撮像部から１つの高精細画像を得る場合を仮定する。個々の単位撮像部にて撮像した４つの画像から、回転量とシフト量のパラメータを使用して１つの座標系に重ねる。そして、４つの画像と距離による重み係数によってフィルタ演算を行う。例えばフィルタはキュービック（３次近似）を使用する。距離ｄにある画素から取得する重みｗは次式となる。
　ｗ＝１－２×ｄ２＋ｄ３　（０≦ｄ＜１）
　　＝４－８×ｄ＋５×ｄ２－ｄ３　（１≦ｄ＜２）
　　＝０　（２≦ｄ）
　次に、図１４を参照して、図１２に示す判定部７０３が行う高精細判定処理（ステップＳ９０５）の詳細動作を説明する。まず、判定部７０３は、定義範囲の信号を抽出する（ステップＳ１００１）。例えばフレーム単位の１画面を定義範囲とした場合は別途図示しないフレームメモリブロックを持ち、あらかじめ１画面分の信号を記憶する。例えばＶＧＡ解像度であれば、１画面分は６４０×４８０画素からなる２次元の情報である。この２次元情報に対して、判定部７０３は、フーリエ変換を実行して、時間軸の情報を周波数軸の情報に変換する（ステップＳ１００２）。次に、ＨＰＦ（High pass filter：高域通過濾過器）によって、高域信号を抽出する（ステップＳ１００３）。例えば、撮像素子９が、アスペクト比が４：３、６０ｆｐｓ（Frame Per Second）（プログレッシブ）のＶＧＡ信号（６４０画素×４８０画素）であり、映像合成処理部の出力であるビデオ出力信号がＱｕａｄ－ＶＧＡである場合を仮定する。ＶＧＡ信号の限界解像度が約８ＭＨｚであり、合成処理にて１０ＭＨｚ～１６ＭＨｚの信号を再生する場合を仮定する。この場合、ＨＰＦは例えば１０ＭＨｚ以上の成分を通過させる特性を持つ。判定部７０３は、この１０ＭＨｚ以上の信号を閾値と比較して判定を行う（ステップＳ１００４）。閾値は、例えばフーリエ変換した結果のＤＣ（直流）成分を１とした場合の１０ＭＨｚ以上のエネルギーの閾値を０．５と設定して、その閾値との比較とする。
　前述した説明においては、ある解像度の撮像結果の１フレーム分の画像を基準にフーリエ変換する場合を説明したが、定義範囲をライン単位（水平同期繰り返しの単位、ハイビジョン信号であれば、有効画素数１９２０画素単位）で定義すれば、フレームメモリブロックが不要となり、回路規模を小さくすることが可能となる。この場合、例えばハイビジョン信号であれば、例えばライン数の１０８０回、フーリエ変換を繰り返し実行して、ライン単位の１０８０回分の閾値比較判定を総合して、一画面の高精細度合いを判断してもよい。また、画面単位の閾値比較判定結果を数フレーム分使用して判断してもよい。このように、複数の判定結果をもとに総合判定することで、突発的なノイズの影響などを除去可能となる。また、閾値判定は、固定の閾値を使用してもよいが、閾値を適応的に変更してもよい。判断している画像の特徴を別途抽出して、その結果をもとに閾値を切り替えてもよい。例えば、ヒストグラム検出で画像の特徴を抽出してもよい。また、過去の判定結果と連動して現在の閾値を変更してもよい。
　次に、図１５を参照して、図１２に示すは制御部３２～３７が実行する制御電圧変更処理（ステップＳ９０８）の詳細動作を説明する。ここでは、制御部３３の処理動作を例として説明するが、制御部３２、３４～３７の処理動作も同様である。まず、電圧制御部８０１は、液晶レンズパラメータ記憶部８０２から現在の液晶レンズのパラメータ値を読み出す（ステップＳ１１０１）。そして、電圧制御部８０１は、液晶レンズのパラメータ値を更新する（ステップＳ１１０２）。液晶レンズパラメータには過去の履歴を持たせておき、例えば現在４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄに対して、電圧制御部３３ａの電圧を過去の履歴で４０Ｖ、４５Ｖ、５０Ｖと５Ｖ置きに上昇させている最中である場合、履歴と今回の高精細ではないという判断から、さらに電圧を上げるべきと判断し、電圧制御部３３ｂ、電圧制御部３３ｃ、電圧制御部３３ｄの電圧値を保持しながら、電圧制御部３３ａの電圧を５５Ｖに更新する。このように、順次４つの液晶レンズの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄに与える電圧値を更新する。また、更新した値は、履歴として液晶レンズパラメータの値を更新する。
　以上の処理動作により、複数の単位撮像部２～７の撮像画像をサブ画素単位で合成して、その高精細の程度を判定して、高精細性能を維持するように制御電圧を変更することで、高画質な撮像装置を実現することが可能となる。分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに異なる電圧を印加することで、撮像レンズ８～１３によって撮像素子上に結像した像を撮像素子の画素で標本化する際の、標本化位相を変化させる。その制御の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。理想的な状態であるかどうかの判断は、判定部７０３で判断する。
　次に、図１６を参照して、カメラキャリブレーションの処理動作を説明する。この処理動作は、例えば撮像装置１の工場生産時に行う処理であり、撮像装置の電源投入時に複数の操作ボタンを同時に押すなどの特定の操作を行うことでこのカメラキャリブレーションを実行する。このカメラキャリブレーション処理は、ＣＰＵ・Ｐ００１によって実行される。まず、撮像装置１を調整する作業者が、パターンピッチが既知のチェッカーパターンや市松模様のテストチャートを用意して、姿勢やアングルを変えながらチェッカーパターンの３０種類の姿勢で撮像して画像を取得する（ステップＳ１２０１）。続いて、ＣＰＵ・Ｐ００１はこの撮像画像を、単位撮像部２～７毎に解析して、単位撮像部２～７毎の外部パラメータ値、内部パラメータ値を導出する（ステップＳ１２０２）。例えばピンホールカメラモデルと呼ばれるような一般的なカメラのモデルであれば、外部パラメータ値はカメラの姿勢の３次元での回転情報と並進情報の６つが外部パラメータとなる。また同様に内部パラメータは５つである。このようなパラメータを導出することが、較正（キャリブレーション）である。一般的なカメラモデルでは、外部パラメータは、世界座標に対してカメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す並進ベクトルの３軸成分の、合計６つである。また、内部パラメータは、カメラの光軸が撮像素子と交わる画像中心（ｕ０，ｖ０）、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５つである。
　次に、ＣＰＵ・Ｐ００１は、得られたパラメータを較正パラメータ記憶部６０３に記憶する（ステップＳ１２０３）。前述の通り、本パラメータを単位撮像部２～７の補正処理（図１２に示すステップＳ９０２）で使用することで、単位撮像部２～７の個別のカメラ歪みが補正されることになる。すなわち、本来直線であったチェッカーパターンがカメラの歪みで曲線となって撮像される場合があるので、これを直線に戻すためのパラメータをこのカメラキャリブレーション処理によって導出して、単位撮像部２～７の補正を行う。
　次に、ＣＰＵ・Ｐ００１は、単位撮像部２～７間のパラメータを単位撮像部２～７間の外部パラメータを導出して（ステップＳ１２０４）、合成パラメータ記憶部７０２、液晶レンズパラメータ記憶部８０２に記憶されているパラメータを更新する（ステップＳ１２０５、Ｓ１２０６）。この値は、サブ画素映像合成高精細化処理Ｓ９０４、及び制御電圧変更Ｓ９０８で使用される。
　なお、ここでは撮像装置内のＣＰＵまたはマイコンにカメラキャリブレーションの機能を持たせた場合を示したが、例えば別途パソコンを用意して、このパソコン上で同様の処理を実行させて、得られたパラメータのみを撮像装置にダウンロードするような構成でもよい。
　次に図１７を参照して、単位撮像部２～７のカメラキャリブレーションの原理について説明する。ここでは、カメラによる投影の様子について図１７に示すようなピンホールカメラモデルを用いて考える。ピンホールカメラモデルにおいて、画像平面に至る光は全てレンズの中心の１点であるピンホールを通過し、画像平面と交差した位置で像を結ぶ。光軸と画像平面との交点を原点とし、カメラの素子の配置軸に合わせてｘ軸とｙ軸をとる座標系を画像座標系と呼び、カメラのレンズ中心を原点、光軸をＺ軸とし、ｘ軸とｙ軸に平行にＸ軸とＹ軸をとる座標系をカメラ座標系と呼ぶ。ここで、空間を表す座標系であるワールド座標系（Ｘw，Ｙw，Ｚw）での３次元座標Ｍ＝［Ｘ，Ｙ，Ｚ］Ｔと、その投影である画像座標系（ｘ，ｙ）上の点ｍ＝［ｕ，ｖ］Ｔとの間には、（１）式のように関連付けられる。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Ａは内部パラメータ行列といい、次の（２）式のような行列である。
Figure JPOXMLDOC01-appb-M000002
　α，βは画素の大きさと焦点距離との積からなるスケール係数、（ｕ０，ｖ０）は画像中心、γは画像の座標軸の歪みを表すパラメータである。また、［Ｒ　ｔ］は外部パラメータ行列といい、３×３の回転行列Ｒと平行移動ベクトルｔを並べた４×３行列である。
　Ｚｈａｎｇのキャリブレーション手法では、既知のパターンが貼り付けられた平板を動かしながら画像を（３回またはそれ以上）撮影するだけで、内部パラメータ、外部パラメータ、レンズ歪みパラメータを求めることができる。この手法では、キャリブレーション平面をワールド座標系のＺw＝０の平面としてキャリブレーションする。（１）式で示したキャリブレーション平面上の点Ｍと、その平面を撮影した画像上の対応する点ｍとの関係は、次の（３）式のように書き変えることができる。
Figure JPOXMLDOC01-appb-M000003
　平面上の点と画像上の点との関係は３×３のホモグラフィ行列Ｈで、（４）式のように記述できる。
Figure JPOXMLDOC01-appb-M000004
　キャリブレーション平面の画像が１つ与えられると、ホモグラフィ行列Ｈが１つ得られる。このホモグラフィＨ＝［ｈ１　ｈ２　ｈ３］が得られると、（４）式より次の（５）式が得られる。
Figure JPOXMLDOC01-appb-M000005
　Ｒが回転行列なのでｒ１とｒ２は直交であることから、次に示す内部パラメータに関する２つの拘束式である（６）、（７）式が得られる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　Ａ－ＴＡ－１は（８）式のように、３×３の対象行列で６つの未知数を含んでおり、１つのＨにつき２つの式を立てることができるので、Ｈが３つまたはそれ以上得られれば内部パラメータＡを決定することができる。ここで、Ａ－ＴＡ－１は対象性を持っていることから
Figure JPOXMLDOC01-appb-M000008
とするＢの要素を並べたベクトルを
Figure JPOXMLDOC01-appb-M000009
と定義する。ホモグラフィＨのｉ番目の列ベクトルをｈｉ＝［ｈｉ１　ｈｉ２　ｈｉ３］Ｔ，（ｉ＝１，２，３）とすると、ｈｉ ＴＢｈｊは
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
と表せる。
　これにより、（６）式と（７）式は次式のようになる。
Figure JPOXMLDOC01-appb-M000012
　もし、ｎ枚の画像が得られていれば、ｎ個の上記の式を積み重ねることで、
Figure JPOXMLDOC01-appb-M000013
を得る。ここで、Ｖは２ｎ×６の行列である。これより、ｂはＶＴＶの最小固有値に対応する固有ベクトルとして求められる。この場合、ｎ≧３であれば直接ｂに関する解を得ることができるが、ｎ＝２の場合は内部パラメータ中のγ＝０とすることで、式［０　１　０　０　０　０］ｂ＝０を（１３）式に加えることで解を得る。また、ｎ＝１であれば２つの内部パラメータしか求めることができないため、例えばαとβのみを未知とし、残りの内部パラメータを既知とすることで解を得る。ｂを求めることでＢが求まれば、Ｂ＝μＡ－ＴＡからカメラの内部パラメータは（１４）式で計算される。
Figure JPOXMLDOC01-appb-M000014
　また、これより内部パラメータＡが求まれば、外部パラメータに関しても（５）式より、
Figure JPOXMLDOC01-appb-M000015
として求めることができ、ここまでで得られたパラメータを初期値とする非線形最小二乗法によってパラメータを最適化することで、最適な外部パラメータを得ることができる。
　以上のように、全ての内部パラメータが未知の場合においては、異なる視点から内部パラメータを固定した状態で撮影した３枚またはそれ以上の画像を用いることでカメラキャリブレーションを行うことができる。この時、一般的には画像枚数が多いほどパラメータ推定精度は高くなる。また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなる。
　次に、図１８、図１９を参照して、カメラキャリブレーションで求められるカメラ（撮像装置）の位置・姿勢を表すカメラパラメータから、各画像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する。図１８は、基本となる撮像素子１５（これを基本カメラと称する）とそれと隣り合う隣接の撮像素子１６（これを隣接カメラと称する）にて対象物体面上の点Ｍを前述の液晶レンズを介して各撮像素子上の点ｍ１またはｍ２へ投影（撮影）する場合を示している。また、図１９は図１８を、図１７に示すピンホールカメラモデルを用いて図示したものである。ワールド座標系上の点Ｍと画像座標系上の点ｍの関係は、カメラの移動性等から、中心射影行列Ｐを用いて表すと（１）式より、
Figure JPOXMLDOC01-appb-M000016
と表せる。
　算出されたＰを用いることで、三次元空間中の点と二次元画像平面上の点との対応関係が記述できる。図１９に示す構成において、基本カメラの中心射影行列をＰ１とし、隣接カメラの中心射影行列をＰ２とする。画像平面１上の点ｍ１から、その点と対応する画像平面２上の点ｍ２を求めるために、以下の方法を用いる。
（１）（１６）式よりｍ１から三次元空間中の点Ｍを求める。中心射影行列Ｐは、３×４の行列であるため、Ｐの疑似逆行列を用いて求める。
Figure JPOXMLDOC01-appb-M000017
（２）算出された三次元位置より、隣接カメラの中心射影行列Ｐ２を用いて、隣接画像の対応点ｍ２を求める。
Figure JPOXMLDOC01-appb-M000018
　カメラパラメータＰはアナログの値を持っているので、算出された基本画像と隣接画像の対応点ｍ２は、サブ画素単位で求まる。カメラパラメータを用いる対応点マッチングには、既にカメラパラメータが求まっているため、行列計算だけで対応点を瞬時に算出できる利点がある。
　次に、レンズの歪みとカメラキャリブレーションについて説明する。ここまではレンズを１つの点と見なすピンホールモデルで説明したが、実際にはレンズには有限の大きさがあるため、ピンホールモデルでは説明できない場合がある。このような場合の歪みの補正について、以下に説明する。凸レンズを使用する場合、入射光が屈折することによる歪みが発生する。このような放射方向の歪みに対する補正係数をｋ１、ｋ２、ｋ５と置く。また、レンズと撮像素子が平行に配置されない場合は、接線方向の歪みを生じる。この法線方向の歪みに対する補正係数をｋ３、ｋ４と置く。これらの歪みを歪曲収差と呼ぶ。ここで、歪み補正式は下記となる。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　ここで、（ｘｕ，ｙｕ）は歪曲収差のない理想的なレンズの撮像結果の画像座標であり、（ｘｄ、ｙｄ）は歪曲収差のあるレンズの画像座標である。この座標の座標系は、双方とも前述の画像座標系ｘ軸、ｙ軸である。また、ｒは画像中心から（ｘｕ，ｙｕ）までの距離である。画像中心は、前述の内部パラメータｕ０，ｖ０で定まる。以上のモデルを仮定して、係数ｋ１～ｋ５や内部パラメータをキャリブレーションによって導出すれば、歪の有無による結像座標の差が求まり、実物レンズに起因する歪みを補正することが可能となる。
　図２０は、撮像装置１の撮像の様子を示す模式図である。撮像素子１５と撮像レンズ９からなる単位撮像部３は、撮像範囲ａを撮像する。撮像素子１６と撮像レンズ１０からなる単位撮像部４は、撮像範囲ｂを撮像する。２つの単位撮像部３、４にて略同一の撮像範囲を撮像する。例えば撮像素子１５、１６の配置間隔を１２ｍｍ、単位撮像部３、４の焦点距離が５ｍｍ、撮像範囲までの距離が６００ｍｍ、単位撮像部３、４の光軸が各々平行である場合、撮像範囲ａ，ｂの異なる範囲のエリアはおよそ３％程度である。このように、同一部を撮像して合成処理部３８で高精細化処理を行う。
　次に、図２１、図２２を参照して、撮像装置１の高精細化について説明する。図２１の横軸は、空間の広がりを示す。この空間の広がりとは、現実の空間である場合と、撮像素子上の仮想空間広がりと、双方を示すものである。これらは、外部パラメータ、内部パラメータを用いれば相互に変換、換算が可能であるので同義である。また、撮像素子から順次読み出された映像信号をみなした場合は、図２１の横軸は時間軸となるが、この場合もディスプレイに表示された場合は観察者の目において空間の広がりと認識されるため、映像信号の時間軸である場合も空間の広がりと同義である。図２１の縦軸は振幅、強度である。物体反射光の強度を撮像素子の画素で光電変換して電圧レベルとして出力することから、振幅とみなしてよい。
　図２１のグラフＧ１は、現実空間での物体の輪郭である。この輪郭、すなわち物体の反射光の強度を撮像素子の画素の広がりで積分するため、単位撮像部２～７にて図２１のグラフＧ２のように取り込まれる。積分は、一例として、ＬＰＦ（Low Pass Filter：低域通過フィルタ）を用いて行う。図２１の矢印Ａ２が、撮像素子の画素の広がりである。図２１のグラフＧ３は異なる単位撮像部２～７で撮像した結果であり、図２１の矢印Ａ３の画素の広がりで光を積分する。図２１のグラフＧ２、Ｇ３にあるように、撮像素子の解像度（画素のサイズ）で定まる広がり以下の反射光の輪郭（プロファイル）は、撮像素子では再現できない。
　しかし、本発明の特徴とするところは、図２１のグラフＧ２、Ｇ３において双方の位相関係にオフセットを持つことである。このようなオフセットを持って光を取り込み、合成処理部で最適に合成することで、図２１のグラフＧ４に示す輪郭を再現することが可能となる。図２１のグラフＧ１～Ｇ４から明らかなように、図２１のグラフＧ１の輪郭をもっとも再現できているのは図２１のグラフＧ４であり、図２１のグラフＧ４中の矢印の幅に相当する撮像素子の画素のサイズの性能と等価である。本実施形態は液晶レンズに代表される非固体レンズと、撮像素子からなる単位撮像部を複数使用して、上述の平均化（ＬＰＦを用いた積分）による解像限界を超えるビデオ出力を得ることが可能となる。
　図２２は、２つの単位撮像部の相対的な位相関係を示す模式図である。後段の画像処理で高精細化を行う場合、撮像素子によるサンプリング位相の相対関係は等間隔であることが望ましい。ここで、サンプリングとは、標本化と同義であり、離散的な位置におけるアナログ信号を取り出す処理を指す。図２２は２つの単位撮像部を使用する場合を仮定しているので、その位相関係は符号Ｃ１のように、０．５画素サイズの位相関係が理想である。
　しかし、撮像距離や、装置の組み立ての関係で、図２２の符号Ｃ２やＣ３のようになる場合がある。この場合、平均化されたあとの映像信号のみを用いて画像処理演算を行っても、すでに図２２の符号Ｃ２、Ｃ３のような位相関係で平均化されてしまった信号は復元不可能である。そこで図２２の符号Ｃ２、Ｃ３の位相関係を、符号Ｃ４に示すものに制御することが必須となる。本発明では、この制御を図４に示した液晶レンズによる光軸シフトで実現する。以上の処理により、常に理想的な位相関係が保たれるので、観察者に最適な画像を提供可能となる。
　ここで、図２２においては１次元の位相関係について説明した。例えば４つの単位撮像部を用いて、各々水平、垂直、斜め４５度の各方向の１次元シフトをすることで、図２２に示した動作で２次元空間の位相制御が可能となる。また、例えば２つの単位撮像部を用いて、基準のものに対して片側の単位撮像部を２次元（水平、垂直、水平＋垂直）に位相制御することで、２次元の位相制御を実現してもよい。
　例えば、４つの単位撮像部を用いて概略同一の撮像対象（被写体）を撮像して、４つの画像を得る場合を仮定する。ある画像を基準として、個々の画像をフーリエ変換して周波数軸で特徴点を判断して、基準画像に対する回転量とシフト量を算出して、その回転量、シフト量を用いて内挿フィルタリング処理することで高精細画像を得ることが可能となる。例えば撮像素子の画素数がＶＧＡ（６４０×４８０画素）であれば、４つのＶＧＡの単位撮像部によってＱｕａｄ－ＶＧＡ（１２８０×９６０画素）の高精細画像が得られる。
　前述の内挿フィルタリング処理は、例えばキュービック（３次近似）法を用いる。内挿点までの距離による重み付けの処理である。撮像素子の解像度限界はＶＧＡであるが、撮像レンズはＱｕａｄ－ＶＧＡの帯域を通過させる能力を持ち、ＶＧＡ以上のＱｕａｄ－ＶＧＡの帯域成分は折り返し歪み（エイリアシング）としてＶＧＡ解像度で撮像される。この折り返し歪みを使用して、映像合成処理でＱｕａｄ－ＶＧＡの高帯域成分を復元する。
　図２３Ａ～図２３Ｃは、撮像対象（被写体）と結像の関係を示す図である。この図においては、レンズひずみを無視したピンホールモデルがベースになっている。レンズひずみが小さい撮像装置はこのモデルで説明可能であり、幾何光学のみで説明可能である。図２３Ａにおいて、Ｐ１は撮像対象であり、撮像距離Ｈ離れている。ピンホールＯ、Ｏ’が２つの単位撮像部の撮像レンズに相当して、撮像素子Ｍ、Ｎの２つの単位撮像部で１つの像を撮像している模式図である。図２３Ｂは、撮像素子の画素にＰ１の像が結像する様子である。このように、画素と結像した像の位相が定まる。この位相は、互いの撮像素子の位置関係（基線長Ｂ）、焦点距離ｆ、撮像距離Ｈで決まる。
　すなわち、撮像素子の取り付け精度によって設計値と異なる場合があり、また撮像距離によっても関係は変化する。この場合、ある組み合わせによっては図２３Ｃのように、互いの位相が一致してしまう場合が発生する。図２３Ｂの光強度分布イメージは、ある広がりに対する光の強度を模式的に示したものである。このような光の入力に対して、撮像素子では、画素の広がりの範囲で平均化する。図２３Ｂにあるように、２つの単位撮像部で異なる位相で取り込んだ場合は、同一の光強度分布が異なる位相で平均化されるため、後段の合成処理で高帯域成分（例えば撮像素子がＶＧＡ解像度であれば、ＶＧＡ解像度以上の高帯域）が再現できる。２つの単位撮像部であるので、０．５画素の位相ずれが理想である。
　しかし、図２３Ｃのように位相が一致してしまうと、互いの撮像素子で取り込む情報が同じものとなり、高解像化は不可能となる。そこで、図２３Ｃにあるように、光軸シフトで位相を最適な状態に制御することで、高解像化を達成する。最適な状態とは、図１４での処理で実現する。位相関係は、使用する単位撮像部の位相が等間隔が望ましい。本発明は光軸シフト機能を持つため、そのような最適な状態を外部からの電圧制御で達成可能となる。
　図２４Ａ、図２４Ｂは、撮像装置１の動作を説明する模式図である。２つの単位撮像部からなる撮像装置で撮像している様子を図示したものである。各々の撮像素子は、説明の便宜上、画素単位に拡大して記載している。撮像素子の平面をｕ，ｖの２次元で定義していて、図２４Ａはｕ軸の断面に相当する。撮像対象Ｐ０、Ｐ１は同一撮像距離Ｈにある。Ｐ０の像が、各々ｕ０、ｕ’０に結像する。ｕ０，ｕ’０は各々の光軸を基準とした撮像素子上の距離であり、図２４ＡではＰ０は撮像素子Ｍの光軸上にあるので、ｕ０＝０である。また、Ｐ１の各々の像の、光軸からの距離がｕ１，ｕ’１である。ここで、Ｐ０，Ｐ１が撮像素子Ｍ，Ｎ上に結像する位置の、撮像素子Ｍ，Ｎの画素に対する相対的な位相がイメージシフトの性能を左右する。この関係は、撮像距離Ｈ、焦点距離ｆ、撮像素子の光軸の間の距離である基線長Ｂによって定まる。
　図２４Ａ、図２４Ｂでは、互いの結像する位置、すなわちｕ０とｕ’０は画素のサイズの半分だけシフトしている。ｕ０（＝０）は撮像素子Ｍの画素の中心に位置している。対してｕ’０は撮像素子Ｎの画素の周辺に結像している。すなわち、画素サイズの半画素分ずれた関係となっている。ｕ１とｕ’１も同様に半画素のサイズだけシフトしている。図２４Ｂは、各々撮像した画像の同一画像同士を演算することで、１つの画像を復元・生成する動作の模式図である。Ｐｕがｕ方向の画素サイズを、Ｐｖがｖ方向の画素サイズを示す。図２４Ｂでは、互いに画素の半分だけシフトしている関係となり、イメージシフトを実施して高精細画像を生成するための理想的な状態である。
　図２５Ａ、図２５Ｂは、図２４Ａ、図２４Ｂに対して、例えば取り付け誤差により撮像素子Ｎが設計よりも画素サイズの半分だけずれて取り付けられた場合の模式図である。この場合、ｕ１とｕ’１の互いの関係は、各々の撮像素子の画素に対して同一の位相となる。図２５Ａでは、双方とも、画素に対して左側に寄った位置に結像している。ｕ０（＝０）とｕ’０の関係も同様である。よって図２５Ｂのように、互いの位相は略一致する。
　図２６Ａ、図２６Ｂは、図２５Ａ、図２５Ｂに対して、本発明の光軸シフトを動作させた場合の模式図である。図２６Ａ中の光軸シフトという右方向の移動がその動作のイメージである。このように、光軸シフト手段を用いてピンホールＯ’をずらすことで、撮像対象が結像する位置が撮像素子の画素に対して制御可能となる。図２６Ｂのように理想的な位相関係が達成可能となる。
　次に、図２７Ａ、図２７Ｂを参照して、撮像距離と光軸シフトの関係について説明する。図２７Ａは、撮像距離Ｈ０でＰ０を撮像している状態から、距離Ｈ１にある物体Ｐ１に被写体を切り替えた場合を説明する模式図である。図２７Ａにおいて、Ｐ０，Ｐ１はそれぞれ撮像素子Ｍ上の光軸上であると仮定しているので、ｕ０＝０であり、またｕ１＝０である。Ｐ０、Ｐ１が撮像素子Ｎに結像する際の、撮像素子Ｂの画素とＰ０，Ｐ１の像の関係に注目する。Ｐ０は、撮像素子Ｍの画素の中心に結像している。対して撮像素子Ｎでは、画素の周囲に結像している。よってＰ０を撮像していたときは最適な位相関係であったといえる。図２７Ｂは、被写体がＰ１の場合の互いの撮像素子の位相関係を示す模式図である。図２７Ｂにあるように被写体をＰ１に変更したあとは、互いの位相が略一致してしまう。
　そこで、図２８Ａにあるように、被写体Ｐ１撮像時に光軸シフト手段で光軸を動かすことで、図２８Ｂに示すように理想的な位相関係に制御することが可能となり、よってイメージシフトによる高精細化が達成できる。ここで、撮像距離の情報を得る方法は、距離を測定する測距手段を別途持てばよい。または、本発明の撮像装置で距離を測定してもよい。複数のカメラ（単位撮像部）を用いて距離を測定する例が、測量などでは一般的である。その測距性能は、カメラ間の距離である基線長とカメラの焦点距離に比例して、測距物体までの距離に反比例する。
　本発明の撮像装置を例えば８眼構成、すなわち８個の単位撮像部からなる構成とする。
　測定距離、すなわち被写体までの距離が５００ｍｍの場合は、８眼カメラのうち互いの光軸間距離（基線長）の短い４つのカメラで撮像、イメージシフト処理に割り当て、残りの互いに基線長の長い４つのカメラで被写体までの距離を測定する。また、被写体までの距離が２０００ｍｍと遠い場合は、８眼を使用してイメージシフトの高解像処理を行い、測距は例えば撮像した画像の解像度を解析することでボケ量を判定して、距離を推定するような処理で行うような構成にしてもよい。前述の５００ｍｍの場合にも、例えばＴＯＦ（Time of Flight）のような他の測距手段を併用することで、測距の精度を向上させてもよい。
　次に、図２９Ａ、図２９Ｂを参照して、奥行きと光軸シフトによるイメージシフトの効果について説明する。図２９Ａは、奥行きΔｒを考えたＰ１，Ｐ２を撮像している模式である。各々の光軸からの距離の差（ｕ１－ｕ２）は（２２）式となる。
　　　（ｕ１－ｕ２）＝Δｒ×ｕ１／Ｈ　・・・（２２）
　ここで、ｕ１－ｕ２は、基線長Ｂ、撮像距離Ｈ、焦点距離ｆによって定まる値である。
　ここでは、これらの条件Ｂ，Ｈ，ｆを固定して定数とみなす。また、光軸シフト手段により、理想的な光軸関係としていると仮定する。Δｒと画素の位置（撮像素子に結像する像の、光軸からの距離）との関係は、（２３）式となる。
　　　　Δｒ＝（ｕ１－ｕ２）×Ｈ／ｕ１　・・・（２３）
　すなわち、Δｒはｕ１に対して反比例の関係となる。また、図２９Ｂは、一例として画素サイズ６μｍ、撮像距離６００ｍｍ、焦点距離５ｍｍの場合を仮定して、奥行きによる影響が１画素の範囲内に収まる条件を導出したものである。奥行きによる影響が１画素の範囲内に収まる条件下では、イメージシフトの効果が十分であるので、例えば画角を狭めるなど、アプリケーションによって使い分ければ、奥行きによるイメージシフト性能劣化を回避することが可能となる。
　以上、説明したように、液晶レンズの光軸シフト制御により、個別の撮像装置で得られる映像信号を高精細な映像に合成することが可能となる。
　前述した説明においては、撮像素子へ入射する光の光軸を制御するために、液晶レンズを用いた例を説明したが、撮像素子へ入射する光の光軸を制御する光軸シフト制御は、液晶レンズなどの非固体レンズ以外の手段でも達成することが可能であるため、以下、他の実施形態について説明する。
　初めに、図３０を参照して、第２の実施形態を説明する。第２の実施形態における撮像装置は、複数の固体レンズと複数の撮像素子のそれぞれの間に屈折板を配置したものである。図３０は、図２に示す単位撮像部３の液晶レンズ３０１に替えて、入射面と出射面が平行であるような屈折板３００１を固体レンズ３０２と撮像素子１５の間に配置し、圧電素子３００２を用いたアクチュエータなどの傾斜手段で傾斜させることにより光軸を制御する構成を示す図である。図３０中の「屈折板の傾斜による光軸シフト原理図」に示すように傾斜角度により屈折板３００１による光軸シフト量が変化するため、撮像素子１５に入射する位置が変わり、光軸シフトが可能となる。ただし、屈折板３００１を傾斜することにより発生することによる光軸シフトの方向は１軸方向（図中ではＹ方向）のみであるため、Ｘ方向に光軸シフトするような屈折板を別に配置することにより、２軸方向の光軸シフトが可能となり、撮像素子面内の任意の方向に光軸シフトをすることが可能となる。
　次に、図３１を参照して、第３の実施形態を説明する。第３の実施形態における撮像装置は、複数の可変頂角プリズムと複数固体レンズと複数の撮像素子を用いたものである。
　図３１に示すように、可変頂角プリズム３１０１の頂角を圧電素子３１０２を用いたアクチュエータなどの手段により変化させることにより、入射光が偏向するため、固体レンズ３０２によって結像する撮像素子１５上の位置が変わり、光軸をシフトすることが可能となる。ただしこの場合も光軸シフトの方向は図３１に示す通り１軸方向（図中ではＹ方向）のみであるため、Ｘ方向に光軸シフトするような可変頂角プリズムを、別に配置することにより、任意の方向に光軸シフトすることが可能となる。
　次に、図３２を参照して、第４の実施形態を説明する。第４の実施形態における撮像装置は、複数の固体レンズと複数の撮像撮像素子を用い、固体レンズの全体或いは１部分を、複数の圧電素子を用いたアクチュエータなどによる移動手段により光軸と略垂直方向に移動させるものである。図３２においては、撮像レンズ３２０９は、３つの固体レンズ３２０１、３２０２、３２０３で構成されており、その１部分である固体レンズ３２０２を、Ｘ方向に移動可能な圧電素子を用いたアクチュエータ３２０４による移動手段と、Ｙ方向に移動可能な圧電素子３２０５を用いたアクチュエータによる移動手段によって移動させる。図３２中の「固体レンズの移動による光軸シフトの原理図」に示すように、撮像レンズ３２０９の１部である固体レンズ３２０２が移動することにより、入射光が偏向し、撮像レンズ３２０９によって結像する撮像素子１５上の位置が変わり、光軸をシフトすることが可能となる。これをＸ、Ｙ方向に行うことにより、光軸を撮像素子面上でＸＹ方向に独立してシフトすることが可能となる。
　次に、図３３を参照して、第５の実施形態を説明する。第５の実施形態における撮像装置は、複数の固体レンズと複数の撮像素子を用い、複数の撮像素子を、圧電素子を用いたアクチュエータなどによる移動手段により直接移動させるものである。この場合、光軸シフト量の制御は撮像レンズではなく、撮像素子１５に対して行われることになる。図１に示す６系統の単位撮像部２～７の撮像素子のそれぞれを、圧電素子を用いたアクチュエータなどによる移動手段により直接移動させる構成を図３３に示す。図３３に示すように、撮像素子１５を、Ｘ方向に移動する圧電素子３３０２を用いたアクチュエータによる移動手段と、Ｙ方向に移動する圧電素子３３０３を用いたアクチュエータによる移動手段により移動させることにより、撮像素子１５上の結像位置が移動するため、ＸＹ方向に独立して光軸シフトを行うことが可能となる。
　なお、図３０～図３３において、移動手段として圧電素子をアクチュエータとして用いているが、これに限定するものではなく、電磁力を用いたソレノイドアクチュエータ、モータとギア機構を用いたアクチュエータ、圧力を用いたアクチュエータなどの手段を用いることもできる。また制御手段も電圧制御に限定するものではない。光軸シフト方向についても、１軸方向、２軸方向について述べたが、これに限定するものではない。
　このように、液晶レンズ等の非固体レンズに替えて、他の手法による光軸シフト制御を行うようにしたため、光軸制御を実現する構成の自由度を増すことが可能となる。特に、携帯電話端末のように、軽薄短小が要求される筐体においては、レンズ径を大きくすることができなかったり、焦点距離を十分に確保できないような場合に、携帯電話端末を構成する部品のレイアウトに応じて適切な手法を用いることが可能となる。
　次に、図３４Ａ、図３４Ｂを参照して、第６の実施形態を説明する。前述した第１の実施形態において、撮影距離と撮像素子の画素ピッチの対応関係で高解像度化できない撮影距離が存在するが、前述したように光軸シフトを行うことで高解像度化できることを示した。ここで、撮影距離と撮像素子の画素ピッチの対応関係で高解像度化できない撮影距離において、光軸シフトと同様に焦点シフトを行うことにより高解像度化できることを説明する。
　図３４Ａは、被写体が、撮像距離Ｈ０で点Ｐ０にある状態から、距離Ｈ１にある点Ｐ１にある状態に変化した場合を説明する模式図である。図３４Ａに示すように、焦点距離がｆの場合、点Ｐ０は、撮像素子Ｍの画素Ｍｎの中心部分に結像し、撮像素子Ｎにおいては画素Ｎｎの端の部分に結像するため、半画素分（図３４Ａに示すｕ’０）ずれて結像することになる。一方、点Ｐ１の場合は、焦点距離がｆであると、結像位置が１画素分（図３４Ａに示すｕ’１）ずれるため、撮像素子Ｍと撮像素子Ｎの画素の位相が略一致し、図３４Ｂの上の図に示す状態になる。従って、互いの画素の位相が略一致し、高解像度できなくなる。
　そこで、図３４Ａに示すように、ピンホールＯ’の焦点を撮像素子Ｎの方向にシフトする（焦点距離ｆを短くする）ことにより、図３４Ｂの上の図に示す状態から下の図に示す状態に変化させることができるため、撮像素子Ｍと撮像素子Ｎの画素が半画素分ずれて、最適な位相関係にすることができる。ただし、最適な位相関係になるまで、ピンホールＯ’の焦点距離ｆを短くすると撮像素子Ｎ上の像がボケてしまう場合が生じる。ピンホールＯ’の焦点距離ｆを短くする目的は、撮像素子Ｍと撮像素子Ｎの画素の位相が略一致している状態を回避することであるため、撮像素子Ｎ上の像がボケない範囲で動かせば良い。
　ピンホールＯ’を光軸方向に移動しても（焦点距離を短くしたり、長くしたりしても）被写体の像にボケが生じない範囲を図３５を参照して説明する。ピンホールＯ’移動量（撮像素子に近づく方向）、前方被写界深度及び倍率の関係は、以下の通りである。
　ピンホールＯ’移動量（焦点距離を短くする）＜前方被写界深度／倍率・・・（２４）
　ピンホールＯ’移動量（焦点距離を長くする）＜後方被写界深度／倍率・・・（２５）
　ここで、
　前方被写界深度＝許容錯乱円径×絞り値×撮像距離２／（焦点距離２＋許容錯乱円径×絞り値×撮像距離）
　後方被写界深度＝許容錯乱円径×絞り値×撮像距離２／（焦点距離２－許容錯乱円径×絞り値×撮像距離）
　倍率＝撮像距離／像点距離≒撮像距離／焦点距離
　被写界深度＝前方被写界深度＋後方被写界深度である。
　例えば、焦点距離５ｍｍ、撮像距離６００ｍｍ、許容錯乱円径０．００６ｍｍ、絞り値２ｍｍとすれば、
　前方被写界深度＝１３２．２（ｍｍ）
　後方被写界深度＝２４２．７（ｍｍ）
　倍率＝１２０となる。従って、（２４）、（２５）式は、
　ピンホールＯ’移動量（焦点距離を短くする）＜１．１（ｍｍ）
　ピンホールＯ’移動量（焦点距離を長くする）＜２．０（ｍｍ）となる。
　この移動量の範囲内でピンホールＯ’の焦点距離を制御することにより、光軸シフトのときと同様に高解像度化が可能となる。
　焦点距離の変更（焦点シフト）は、図３に示す液晶レンズ３０１によって実現可能であり、第１の電極３０３、第２の電極３０４への電圧の掛け方によって液晶層３０６の屈折率分布を自由に変化させればよい。この場合、図３に示す電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄは同一電圧を掛ける。これにより、液晶レンズ３０１が凸レンズとして働き、図２に示す光学レンズ３０２の焦点距離を変化させることが可能となる。
　なお、図１に示す撮像装置１において、各撮像素子１４～１９及び映像処理部２６～３１より得られた複数の映像を映像合成処理部３８により画像処理を行い、全体の画像を再構成することでフォーカス情報を検出し、各制御部３２～３７を介して各液晶レンズアレイの各液晶レンズを駆動して、オートフォーカス機能を動作させるようにしてもよい。オートフォーカス機能と連動させて、液晶レンズ３０１を制御することにより、動く被写体の高解像度画像を撮像することが可能となる。
　次に、図３６を参照して、第７の実施形態を説明する。前述した実施形態においては、全ての撮像素子は同一仕様のものを使用する構成であり、図１に示す撮像素子１４～１９の画素ピッチは等しかった。そのため、図３４Ｂの上の図に示す状態になり、互いの画素の位相が略一致してしまう頻度が高くなり、高解像度化ができなくなる場合がある。
第７の実施形態においては、図１に示す６つの撮像素子１４～１９それぞれについて、画素ピッチが異なる撮像素子を使用する。
　図３６において、実線の交点が撮像素子Ｍの画素、点線の交点が撮像素子Ｎの画素を表している。高精細化するために必要な画素Ｐｕｖの値は、画素Ｐｕｖの周囲に位置する（画素Ｍｉ，ｊ、Ｎｉ，ｊ）、（画素Ｍｉ，ｊ＋１、Ｎｉ，ｊ＋１）、（画素Ｍｉ＋１，ｊ、Ｎｉ＋１，ｊ）、（画素Ｍｉ＋１，ｊ＋１、Ｎｉ＋１，ｊ＋１）のそれぞれと画素Ｐｕｖとの距離による重み係数によってフィルタ演算を行うことによって求めることができる。例えばフィルタとして、キュービック（３次近似）を使用するとすれば、距離ｄにある画素から取得する重みｗは次式となる。
　ｗ＝１－２×ｄ２＋ｄ３　（０≦ｄ＜１）
　　＝４－８×ｄ＋５×ｄ２－ｄ３　（１≦ｄ＜２）
　　＝０　（２≦ｄ）
　次に、第７の実施形態の変形例を説明する。前述した第７の実施形態では、６つの撮像素子のそれぞれについて画素ピッチが異なる撮像素子を用いるようにしたが、同じ画素ピッチの６つの撮像素子を用いて、光学的に結像倍率を変えることによって、撮像素子の画素ピッチを変えるようにしてもよい。すなわち、撮像素子Ｎと撮像素子Ｎの画素ピッチが同じ場合に、撮像素子Ｍの撮像レンズの倍率を変える（拡大または縮小）ことにより、撮像素子Ｍ上に形成された像が大きく、または小さくなり、互いの画素の位相が略一致してしまうことを回避することが可能となる。
　次に、図３７を参照して、第７の実施形態の他の変形例を説明する。図３７に示す撮像素子は、一方の撮像素子（撮像素子Ｎ）を他方の撮像素子（撮像素子Ｍ）に対して、所定の位置を支点（例えば、撮像素子の左上の隅）として光軸と平行の軸周りに回転させて固定し配置している。この場合も図３６に示す場合と同様に、ｕ軸、ｖ軸方向の画素位置が異なるため、互いの画素ピッチの位相が一致することを回避することができる。例えば、一方の撮像素子（撮像素子Ｎ）をθだけ、撮像素子受光面内で回転する場合、撮像素子Ｎのう’軸方向の画素ピッチをｐとすると、撮像素子Ｍのｕ軸方向（撮像素子Ｎのｕ’軸方向）の画素ピッチｐ’は次式となる。
　ｐ’＝ｐ／ｃｏｓθ
　なお、撮像素子Ｎの受光面に垂直な軸（光軸）とｕ’軸でなす平面内で回転させて配置するようにしてもよい。
　このように、図１に示す６つの撮像素子１４～１９それぞれの画素ピッチが異なるようにすることで、互いの画素の位相が略一致してしまうことを回避することができ、高解像度化ができなくなることを防止することができる。
　また、図３６、３７に示すように、撮像素子１４～１９のそれぞれの画素ピッチが異なるように撮像装置を配置するとともに、前述した光軸の方向を制御する動作を組み合わせて高解像度化を図るようにしてもよい。このようにすることにより、高解像度の画像を容易に得ることが可能となる。
　以上説明したように、従来、撮像素子上でのクロストークにより画質劣化が生じ、高画質化が難しかったが、本発明の撮像装置によれば、撮像素子に入射する光の光軸を制御することによりクロストークが無くすことができ、高画質を得ることができる撮像装置を実現することができる。また、従来の撮像装置では、画像処理によって、撮像素子上の結像したイメージを取り込むため、撮像素子の解像度を必要とする撮像解像度より大きくする必要があるが、本発明の撮像装置では、液晶レンズの光軸方向のみでなく、撮像素子に入射する光の光軸を任意の位置に設定する制御を行うことができるため、撮像素子のサイズを小さくすることができる、軽薄短小が要求される携帯端末等にも搭載することが可能となる。

Claims (13)

  1. 　複数の撮像素子と、
    　前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
    　前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と
    　を備えることを特徴とする撮像装置。
  2. 　前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
  3. 　前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
  4. 　前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
  5. 　前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
  6. 　前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする請求項１に記載の撮像装置。
  7. 　前記光軸制御部は、既知の撮像対象との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする請求項１に記載の撮像装置。
  8. 　前記複数の撮像素子のそれぞれは、画素のピッチが異なることを特徴とする請求項１に記載の撮像装置。
  9. 　前記複数の固体レンズのそれぞれは、焦点距離が異なることを特徴とする請求項１に記載の撮像装置。
  10. 　前記複数の撮像装置は、光軸周りにそれぞれ異なる角度で回転させて配置したことを特徴とする請求項１に記載の撮像装置。
  11. 　複数の撮像素子と、
    　前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
    　屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部と
    　を備えることを特徴とする撮像装置。
  12. 　複数の撮像素子と、
    　前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
    　前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と
    　を備える撮像装置における光軸制御方法であって、
    　前記光軸制御部が、既知の撮像対象と前記光軸制御部との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする光軸制御方法。
  13. 　複数の撮像素子と、
    　前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
    　屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部と
    　を備える撮像装置における光軸制御方法であって、
    　前記焦点制御部が、既知の撮像対象と前記撮像素子との相対位置関係に基づいて前記固体レンズの焦点距離を制御することを特徴とする光軸制御方法。
PCT/JP2009/050198 2008-01-10 2009-01-09 撮像装置及び光軸制御方法 WO2009088068A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009801018029A CN101911671B (zh) 2008-01-10 2009-01-09 摄像装置和光轴控制方法
US12/812,142 US8619183B2 (en) 2008-01-10 2009-01-09 Image pickup apparatus and optical-axis control method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008003075 2008-01-10
JP2008-003075 2008-01-10
JP2008-180689 2008-07-10
JP2008180689A JP4413261B2 (ja) 2008-01-10 2008-07-10 撮像装置及び光軸制御方法

Publications (1)

Publication Number Publication Date
WO2009088068A1 true WO2009088068A1 (ja) 2009-07-16

Family

ID=40853177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/050198 WO2009088068A1 (ja) 2008-01-10 2009-01-09 撮像装置及び光軸制御方法

Country Status (1)

Country Link
WO (1) WO2009088068A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039650A (ja) * 2009-08-07 2011-02-24 Jm:Kk 室内改装費用見積システム
CN114422708A (zh) * 2022-03-15 2022-04-29 深圳市海清视讯科技有限公司 图像获取方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265804A (ja) * 1995-03-20 1996-10-11 Canon Inc 撮像装置
JPH11252467A (ja) * 1998-03-02 1999-09-17 Sharp Corp 撮像装置
JP2000193925A (ja) * 1998-12-24 2000-07-14 Olympus Optical Co Ltd 光偏向器及びそれを備えたブレ防止装置
JP2005181720A (ja) * 2003-12-19 2005-07-07 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置および立体画像表示装置
JP2005277606A (ja) * 2004-03-23 2005-10-06 Fuji Photo Film Co Ltd 撮影装置
JP2006251613A (ja) * 2005-03-14 2006-09-21 Citizen Watch Co Ltd 撮像レンズ装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265804A (ja) * 1995-03-20 1996-10-11 Canon Inc 撮像装置
JPH11252467A (ja) * 1998-03-02 1999-09-17 Sharp Corp 撮像装置
JP2000193925A (ja) * 1998-12-24 2000-07-14 Olympus Optical Co Ltd 光偏向器及びそれを備えたブレ防止装置
JP2005181720A (ja) * 2003-12-19 2005-07-07 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置および立体画像表示装置
JP2005277606A (ja) * 2004-03-23 2005-10-06 Fuji Photo Film Co Ltd 撮影装置
JP2006251613A (ja) * 2005-03-14 2006-09-21 Citizen Watch Co Ltd 撮像レンズ装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039650A (ja) * 2009-08-07 2011-02-24 Jm:Kk 室内改装費用見積システム
CN114422708A (zh) * 2022-03-15 2022-04-29 深圳市海清视讯科技有限公司 图像获取方法、装置、设备及存储介质
CN114422708B (zh) * 2022-03-15 2022-06-24 深圳市海清视讯科技有限公司 图像获取方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
JP4413261B2 (ja) 撮像装置及び光軸制御方法
JP4529010B1 (ja) 撮像装置
US20200252597A1 (en) System and Methods for Calibration of an Array Camera
JP6702323B2 (ja) カメラモジュール、固体撮像素子、電子機器、および撮像方法
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
JP4322921B2 (ja) カメラモジュールおよびそれを備えた電子機器
US20100097491A1 (en) Compound camera sensor and related method of processing digital images
JP2012123296A (ja) 電子機器
JP5677366B2 (ja) 撮像装置
US10594932B2 (en) Camera module performing a resolution correction and electronic device including the same
JP7312185B2 (ja) カメラモジュール及びその超解像度映像処理方法
JP2010130628A (ja) 撮像装置、映像合成装置および映像合成方法
WO2009088068A1 (ja) 撮像装置及び光軸制御方法
JP5393877B2 (ja) 撮像装置および集積回路
US11948316B2 (en) Camera module, imaging device, and image processing method using fixed geometric characteristics
JP6056160B2 (ja) 自動合焦装置、自動合焦方法及びプログラム
US7898591B2 (en) Method and apparatus for imaging using sensitivity coefficients
JP4558781B2 (ja) カメラの焦点検出装置
US20220232166A1 (en) Range measurement apparatus, storage medium and range measurement method
JP7289996B2 (ja) 検出装置、撮像装置、検出方法、及びプログラム
KR20210114846A (ko) 고정된 기하학적 특성을 이용한 카메라 모듈, 촬상 장치 및 이미지 처리 방법
JP2005134617A (ja) 焦点検出装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980101802.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09700479

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12812142

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 4461/CHENP/2010

Country of ref document: IN

122 Ep: pct application non-entry in european phase

Ref document number: 09700479

Country of ref document: EP

Kind code of ref document: A1