WO2010038378A1 - 画素ずらし型撮像装置 - Google Patents

画素ずらし型撮像装置 Download PDF

Info

Publication number
WO2010038378A1
WO2010038378A1 PCT/JP2009/004774 JP2009004774W WO2010038378A1 WO 2010038378 A1 WO2010038378 A1 WO 2010038378A1 JP 2009004774 W JP2009004774 W JP 2009004774W WO 2010038378 A1 WO2010038378 A1 WO 2010038378A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
light sensing
sensing unit
unit
image
Prior art date
Application number
PCT/JP2009/004774
Other languages
English (en)
French (fr)
Inventor
平本政夫
杉谷芳明
滝沢輝之
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US12/745,366 priority Critical patent/US8253818B2/en
Priority to CN2009801012287A priority patent/CN101884215A/zh
Priority to JP2010501322A priority patent/JPWO2010038378A1/ja
Publication of WO2010038378A1 publication Critical patent/WO2010038378A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • the present invention relates to a so-called pixel shift technique for shifting the pixel position of an image sensor and improving the resolution of a captured image.
  • the first pixel shifting technique is a pixel shifting of an image spatial positional shift in which other pixels are shifted and arranged with respect to a plurality of pixels periodically arranged in the imaging surface of the solid-state imaging device.
  • the second pixel shifting technique is dynamic pixel shifting that mechanically finely moves at least one of a two-dimensional square array solid-state imaging device and an optical system.
  • Patent Document 1 An example of the basic principle of the first pixel shifting technique is described in Patent Document 1.
  • the first pixel shifting technique is applied to a three-plate color camera using three image sensors. This color camera increases the resolution in the horizontal direction by adopting a configuration in which the pixels of the green (G) image sensor, which has high human visibility, are shifted in the horizontal direction by 1/2 pitch every other row.
  • G green
  • Patent Document 2 An example in which pixels are shifted not only in the horizontal direction but also in the vertical direction is shown in Patent Document 2.
  • the shape of the light sensing portion corresponding to a pixel is rhombused and arranged in a meandering manner.
  • the resolution in the horizontal and vertical directions is enhanced by arranging each pixel by shifting it by a half pitch of the pixel in both the horizontal and vertical directions.
  • Patent Document 3 describes an example of mechanically moving an optical system with respect to an image sensor.
  • a translucent parallel plate is installed between an image sensor and a lens. By shaking the parallel plate with respect to the optical axis, the optical image formed on the image sensor is finely moved, and the resolution in the fine movement direction is improved.
  • Patent Document 4 describes an example in which the resolution is improved by finely moving the image sensor itself without moving the optical system.
  • a piezoelectric element is used as the fine movement means, and the fine movement amount is 1 ⁇ 2 pitch of the pixel to improve the resolution.
  • the conventional pixel shifting technique improves the resolution by finely moving the image sensor by arranging the pixels or mechanically, and shifting the pixels by 1/2 pitch in the horizontal direction or both the horizontal and vertical directions.
  • the resolution is improved twice by shifting the pixels by 1/2 pitch.
  • FIG. 15 is a graph showing a curve representing the relationship between the coordinates in the one-dimensional direction (X) of the image and the luminance value f (X), and a rectangular wave pulse waveform for sampling the luminance value.
  • the horizontal axes X and t of the graph are both horizontal distances from a certain reference point (for example, the center of the imaging surface).
  • the luminance value f (X) increases or decreases in a sine wave shape as X increases.
  • One sampling pulse corresponds to one light sensing unit.
  • two sampling pulses are shown, but in reality, there are many sampling pulses.
  • the luminance value of the image formed on the imaging surface changes in a sine wave shape in the X direction
  • the luminance value f (X) is expressed by Equation 1 using the amplitude A, the frequency ⁇ , and the phase 0. expressed.
  • the sampling pulse has a wave height of 1, a frequency ⁇ s, and a period (width) T.
  • Equation 2 Since the amount of light received by one light sensing unit having an aperture ratio of 100% is an integral amount for one period of the sampling pulse, the amount of light received P (n) of the nth pixel is expressed by Equation 2.
  • the signal amount of the nth pixel can be found.
  • the signal amount is guaranteed when ⁇ / ⁇ s ⁇ 1/2 according to the sampling theorem.
  • ⁇ / ⁇ s> 1/2 the signal difference from adjacent pixels is small.
  • the value of ⁇ / ⁇ s approaches 1 the signals of the nth pixel and the (n + 1) th pixel are almost in phase, so that the difference is almost eliminated.
  • the pixel shifting technique can improve the resolution.
  • the aperture ratio is 100%
  • the resolution cannot be improved more than twice even if the pixel shifting pitch is changed.
  • the higher the aperture ratio the higher the light receiving sensitivity. Therefore, in recent years, a micro lens is provided on each pixel of the image sensor, and the aperture ratio is increased to nearly 100%.
  • a great improvement in image quality cannot be expected.
  • Patent Document 5 describes a technique for further improving the resolution.
  • a pixel arrangement configuration in which the pixel is shifted by 1/2 pitch in the horizontal direction and the vertical direction in the imaging surface is employed. Further, an opening having a very small aperture ratio is provided at the center position between the pixels, and the photoelectric conversion signal is obtained also from the opening, thereby further improving the resolution.
  • this technique after introducing the conventional pixel shifting technology, a minute opening is further arranged between each pixel by structural ingenuity. As a result, image information between pixels can be obtained, and the resolution can be improved accordingly. In addition to improving the resolution, this technique also improves the so-called dynamic range in which the luminance range of the subject to be imaged can be expanded by a light sensing unit having a minute opening and a normal opening.
  • Patent Document 6 and Patent Document 7 Structures having light sensing portions with different aperture ratios are also shown in Patent Document 6 and Patent Document 7. According to these prior arts, a signal from a light sensing unit with a low aperture ratio is used in a bright scene, and an image is reproduced using a signal from a light sensing unit with a high aperture ratio in a dark scene. The width of is widened. That is, the techniques disclosed in Patent Documents 6 and 7 essentially improve the dynamic range and do not actively improve the resolution.
  • the resolution can be improved by about twice, but no further increase can be expected.
  • an object of the present invention is to provide a pixel shifting technique that improves the resolution that cannot be realized by the conventional pixel shifting technique to a value exceeding twice.
  • the pixel shifting type imaging apparatus of the present invention includes a solid-state imaging device, an optical system that forms an image on the imaging surface of the solid-state imaging device, a pixel shifting unit that shifts the position of the image on the imaging surface, and the solid-state imaging device. And a video signal processing unit that processes an electrical signal output from the imaging device, wherein the solid-state imaging device has a first pixel pitch along a first direction on the imaging surface.
  • One has a first light sensing unit having a first aperture ratio
  • the other of the two unit pixel regions has a second light sensing unit having a second aperture ratio lower than the first aperture ratio.
  • the first light sensing unit includes the first light sensing unit.
  • a first pixel signal corresponding to the amount of light incident on the light sensing unit is output, and the second light sensing unit outputs a second pixel corresponding to the amount of light incident on the second light sensing unit.
  • the first light sensing unit covers the entire second light sensing unit.
  • the portion of the first light sensing unit that has virtually moved does not cover the second light sensing unit functions as a virtual third light sensing unit, and the video signal processing unit From the difference between the first pixel signal and the second pixel signal, a virtual pixel signal corresponding to the amount of light incident on the virtual third light sensing unit is obtained.
  • the center of the second light sensing unit is the center of the shifted first light sensing unit. It is deviated by a distance ⁇ from the center in the second direction.
  • one of the two edges of the second light sensing unit parallel to the first direction is different from the two edges of the first light sensing unit parallel to the first direction. It is in contact with one of the straight lines extending in the direction of 1.
  • the pixel shifting unit shifts the position of the image on the imaging surface in the second direction by a distance equal to or more than half of the distance ⁇ .
  • the pixel shifting unit shifts the position of the image on the imaging surface in the second direction by a distance equal to or less than half of the second pixel pitch.
  • the pixel shifting unit shifts the position of the image on the imaging surface in the second direction by a distance equal to or less than half the width of the second light sensing unit.
  • the pixel shifting unit shifts the position of the image on the imaging surface by half of the first pixel pitch in the first direction.
  • the pixel shifting unit shifts the position of the image on the imaging surface in the first direction by the first pixel pitch and by a half of the first pixel pitch. Execute alternately.
  • the pixel shifting unit shifts the position of the image on the imaging surface in an oblique direction with respect to both the first direction and the second direction.
  • the center of the second light sensing unit is the center of the shifted first light sensing unit. It is shifted from the center by ⁇ X in the second direction and by ⁇ Y in the first direction.
  • the pixel shifting unit shifts the position of the image on the imaging surface by a distance Y1 that is not less than half of the distance ⁇ Y and not more than half of the first pixel pitch in the first direction, and
  • the distance X1 is shifted in the second direction by a distance X1 that is not less than half of the distance ⁇ X and not more than half of the second pixel pitch.
  • the pixel shifting unit shifts the position of the image on the imaging surface by the distance Y1 plus the first pixel pitch in the first direction, and the distance in the second direction. Shift by X1 plus the second pixel pitch.
  • the center of the second light sensing unit is the center of the shifted first light sensing unit.
  • the first light sensing unit and the second light sensing unit are arranged so as to coincide with each other, and the pixel shifting unit determines the position of the image on the imaging surface in the first direction and the first direction.
  • the first photo-sensing unit covers the entire second photo-sensing unit by shifting in the third direction oblique to both of the two directions, and by the shift in the third direction by the pixel shifting unit; and A portion of the first light sensing unit that does not cover the second light sensing unit is formed in one region, the region functions as a virtual pixel, and the video signal processing unit is the pixel shifting unit.
  • the third pixel shift unit causes the third light sensing unit to move to the third direction.
  • the position of the image on the imaging surface is moved in the first direction, and is also moved in the second direction by a distance defined by (W1a ⁇ W1b) / 2.
  • the pixel shift unit when the length of the first light sensing unit in the first direction is T1a and the length of the second light sensing unit in the first direction is T1b, the pixel shift unit The shift in the third direction moves the position of the image on the imaging surface in the first direction by a distance defined by (T1a ⁇ T1b) / 2 and also in the first direction.
  • W1b W1a. If not equal to / 2, the pixel shifting unit shifts the position of the image on the imaging surface by W1a / 2 in the second direction separately from the shift in the third direction.
  • the pixel shifting unit periodically repeats the shift in the third direction.
  • the solid-state imaging device has an array of microlenses that adjusts an aperture ratio and a position of the first light sensing unit and the second light sensing unit.
  • the solid-state imaging device of the present invention is arranged at a first pixel pitch along the first direction on the imaging surface and at a second pixel pitch along a second direction that intersects the first direction.
  • a solid-state imaging device having a plurality of unit pixel regions, wherein one of the two unit pixel regions adjacent in the first direction has a first light sensing unit having a first aperture ratio, and the two units The other of the pixel areas has a second light sensing unit having a second aperture ratio lower than the first aperture ratio, and the first light sensing unit is incident on the first light sensing unit.
  • a first pixel signal corresponding to the amount of light is output, and the second light sensing unit outputs a second pixel signal corresponding to the amount of light incident on the second light sensing unit, and When the first light sensing unit is virtually moved in the first direction by the first pixel pitch, the first light sensing unit is Serial second covers the entire light sensing unit.
  • a portion of the first light sensing unit that has virtually moved by the first pixel pitch in the first direction and does not cover the second light sensing unit is a virtual third
  • a virtual pixel signal functions as a light sensing unit, and a virtual pixel signal corresponding to an amount of light incident on the virtual third light sensing unit is obtained from a difference between the first pixel signal and the second pixel signal. can get.
  • the first light sensing unit when the first light sensing unit is shifted in the first direction by the first pixel pitch, the shifted center of the first light sensing unit and the center of the second light sensing unit.
  • the positions of the first light sensing unit and the second light sensing unit are determined so that does not match.
  • the center of the second light sensing unit is the center of the shifted first light sensing unit. It is offset from the center by a distance ⁇ in the second direction.
  • the shifted center of the first light sensing unit and the center of the second light sensing unit when the first light sensing unit is shifted in the first direction by the first pixel pitch, the shifted center of the first light sensing unit and the center of the second light sensing unit. Is not parallel to the first direction.
  • the pixel-shift type imaging device has a splitter for branching light from a subject into at least two optical paths including a first optical path and a second optical path, and light that passes through the first optical path.
  • a pixel shift unit that shifts the position of an image and a pixel region based on an aperture difference between the pixels associated by the matching unit are defined as virtual pixels, and the movement amount of the virtual pixel by the pixel shift unit is 1 / of the virtual pixel. 2 pitch or 3/2 pitch Which comprise.
  • the first image sensor has pixels arranged at a first density
  • the second image sensor is arranged at a second density higher than the first density. It has a pixel.
  • a first optical system having a first magnification is included in the first optical path, and a second optical system having a smaller magnification than the first magnification is included in the second optical path.
  • the first definition the second definition is n: m (n and m are positive integers different from each other, n ⁇ m).
  • the moving amount of the virtual pixel is 1 ⁇ 2 times the pitch of the virtual pixel in the moving direction.
  • the moving amount of the virtual pixel is 1/2 times, 1/2 times, and 3/2 times the pitch of the virtual pixels in the moving direction.
  • the pixel shift type imaging apparatus of the present invention at least two types of light sensing units having different aperture ratios are provided, and a virtual light sensing unit having an aperture smaller than that of the light sensing unit is created from the difference between the apertures. Then, by finely moving the virtual light sensing unit, a high-definition signal in the fine movement direction can be obtained.
  • FIGS. 4A to 4C are diagrams showing resolution results when a wedge-shaped resolution pattern is imaged according to the first embodiment of the present invention.
  • the top view which showed the basic arrangement of 2 rows 2 columns of the image sensor light sensing part in Embodiment 2 of this invention (A) to (F) are diagrams showing resolution results when a wedge-shaped resolution pattern is imaged in the second embodiment of the present invention.
  • the top view which showed the basic arrangement of 2 rows 2 columns of the image sensor light sensing part in Embodiment 3 of this invention In Embodiment 3 of this invention, the top view which showed the basic arrangement
  • positioning of the image sensor light sensing part at the time of arranging the light sensing parts 1a and 1b alternately two-dimensionally The top view which showed the basic arrangement of 2 rows 2 columns of the image sensor light sensing part in Embodiment 4 of this invention
  • (A) is the top view which showed the basic composition before and behind the nth line of an array pixel, and the moving direction of a pixel in Embodiment 4 of this invention
  • (B) is the nth line pixel in Embodiment 4 of this invention.
  • FIG. 9C is a plan view showing a state in which the pixel after the movement is superimposed on the pixel before the movement with respect to the pixel in the (n + 1) th row, and (C) is a virtual created from the pixel signal before and after the movement and the difference between them in Embodiment 4 of the present invention
  • Timing diagram showing pixel signals (A) is a top view which shows the arrangement
  • FIG. 14 A graph representing the relationship between the coordinates in the one-dimensional direction (X) of the image and the luminance value f (X) and a rectangular wave pulse for sampling the luminance value superimposed on each other.
  • (A) to (C) are resolution simulation results in which a wedge-shaped resolution pattern is imaged when the aperture ratio of the light sensing unit is 100% and pixels are shifted by 1/2 pitch, 1/3 pitch, and 1/4 pitch.
  • FIG. 6 The top view which showed a part of pixel arrangement
  • (A) is a diagram showing an arrangement state of pixel signals in the first image memory 31, and
  • (B) is a diagram showing an arrangement state of pixel signals in the second image memory 32.
  • the pixel-shift imaging device includes a solid-state imaging device 60, an optical system (lens 50) that forms an image on the imaging surface of the solid-state imaging device 60, and the image on the imaging surface.
  • a pixel shifting unit 52 that shifts the position of the image signal, and a video signal processing unit 70 that processes an electrical signal output from the solid-state imaging device 60.
  • the pixel shifting unit 52 includes, for example, a transparent glass plate whose thickness changes in the in-plane direction, and has a configuration in which the transparent glass is finely moved in a direction parallel to the imaging surface (for example, the horizontal direction).
  • an optical low-pass filter 54 made of, for example, a crystal plate is disposed between the pixel shifting unit 52 and the solid-state imaging device 60. The configurations and functions of the signal receiving unit 64 and the video signal processing unit 70 will be described later.
  • FIG. 2 is a perspective view schematically showing elements in which an image is formed on the imaging surface 61 of the solid-state imaging device 60 by the lens 50.
  • the position on the imaging surface 61 can be expressed by the coordinates of the X axis and the Y axis that intersect.
  • the solid-state imaging device 60 has a plurality of unit pixel regions 1 arranged on the imaging surface 61 as shown in FIG.
  • the unit pixel regions 1 are arranged at a first pixel pitch along the Y-axis direction (first direction) in FIG. 2 and are second pixels along the X-axis direction (second direction) intersecting the first direction. Arranged at pitch.
  • one of the two unit pixel regions 1 has a first light sensing unit 1a having a first aperture ratio.
  • the other of the two unit pixel regions 1 has a second light sensing unit 1b having a second aperture ratio lower than the first aperture ratio.
  • the light sensing units 1a and 1b are composed of photodiodes.
  • the first light sensing unit 1a outputs a first pixel signal corresponding to the amount of light incident on the first light sensing unit 1a
  • the second light sensing unit 1b is a second light sensing unit 1b.
  • a second pixel signal corresponding to the amount of light incident on is output.
  • the first pixel signal output from the first light sensing unit 1a is the second pixel output from the second light sensing unit 1b.
  • the amplitude is larger than that of the pixel signal. This is because the aperture ratio of the first light sensing unit 1a is larger than the aperture ratio of the second light sensing unit 1b.
  • the aperture ratio is the ratio of the area of one photodetecting portion 1a, 1b to the area of one unit pixel region 1.
  • the first light sensing unit 1a when the first light sensing unit 1a is virtually moved in the vertical direction by the first pixel pitch, the first light sensing unit 1a is connected to the second light sensing unit 1b.
  • the layout of the light sensing units 1a and 1b is designed so as to cover the whole.
  • FIG. 4 is a plan view showing the basic arrangement of the light sensing units of the image sensor according to Embodiment 1 of the present invention.
  • FIG. 4 only four adjacent unit pixel areas are shown, but a large number of unit pixel areas are arranged on the imaging surface of an actual imaging element.
  • a large number of light sensing units having a basic configuration of the light sensing units of 2 rows and 2 columns are two-dimensionally arranged.
  • a set of four light sensing units (basic pixel set) shown in FIG. 4 is periodically arranged in the horizontal direction and the vertical direction. 4 corresponds to the X-axis direction in FIGS. 2 and 3, and the vertical direction in FIG. 4 corresponds to the Y-axis direction in FIGS. 2 and 3.
  • the center-to-center distance between two unit pixel regions adjacent in the vertical direction is the pixel pitch in the vertical direction (first pixel pitch).
  • the center-to-center distance between two unit pixel regions adjacent in the horizontal direction is the pixel pitch in the vertical direction (second pixel pitch). This is also true for other embodiments.
  • the light sensing unit (aperture ratio 100%) 1 a having a relatively high aperture ratio has unit pixel regions in the first row and first column and the first row and second column in the pixel basic set. Is placed inside.
  • the light sensing unit 1b having a relatively low aperture ratio has a narrow opening in the horizontal direction, and is disposed in the unit pixel regions of the second row and the first column and the second row and the second column in the pixel basic set. Further, regarding the positional relationship between the light sensing unit 1a and the light sensing unit 1b, the center of the light sensing unit 1b is shifted by ⁇ X from the center of the light sensing unit 1a in the horizontal direction.
  • the center of the shifted light sensing unit 1a does not coincide with the center of the light sensing unit 1b, and is shifted by ⁇ X in the horizontal direction.
  • the present invention improves the resolution by utilizing the difference in aperture ratio of the light sensing part of the pixel.
  • the resolution is improved, but the sensitivity is lowered as the aperture ratio is lowered. Therefore, the present invention only reduces the aperture ratio of one part of the light sensing unit. Then, a virtual light sensing unit having a low aperture ratio is created based on the difference from other light sensing units, and the resolution is improved by shifting the virtual light sensing unit.
  • T is the size (width) of the unit pixel region 1 in the X direction, and corresponds to the pulse width shown in FIG.
  • Equation 6 the received light amount P (n) of the nth pixel is expressed by Equation 6.
  • Equation 7 the received light amount P (n) of the nth pixel is expressed by Equation 6.
  • Equation 8 is obtained by changing n to n (1 + k / 2m) and substituting it into Expression 7.
  • the amount of light received by the light sensing unit 1b in Embodiment 1 of the present invention is obtained.
  • the received light amount P (n) of the nth pixel is expressed by Equation 3.
  • the width in the horizontal direction of the light sensing unit 1b is narrow, the width of the integration interval corresponding to it is Tb.
  • the amount of deviation of the center of the light sensing unit 1b from the center of the unit pixel region is represented by ⁇ .
  • the received light amount P (n) of the light sensing unit 1b is expressed by Equation 9. [Expression 9]
  • P (n) Bsin ( ⁇ Tb / 2) cos ( ⁇ (nT ⁇ ))
  • the resolution in the horizontal direction can be improved by the aperture difference between the light sensing units 1a and 1b arranged in the vertical direction.
  • a characteristic point of this embodiment is that the opening center of the light sensing unit 1a and the opening center of the light sensing unit 1b are not on the same straight line extending in the vertical direction.
  • Expression 10 is further transformed into Expression 11.
  • Expression 11 when the first and second terms on the right side and the third and fourth terms are combined in the form of Expression 12 and Expression 13, Expression 11 is expressed as Expression 14.
  • P (n) B [sin ( ⁇ T / 2) cos ( ⁇ nT) ⁇ sin ( ⁇ Tb / 2) cos ( ⁇ nT) + Sin ( ⁇ Tb / 2) cos ( ⁇ nT) ⁇ sin ( ⁇ Tb / 2) cos ( ⁇ (nT ⁇ ))]
  • Z1 includes (T ⁇ Tb)
  • the resolution can be increased by shifting pixels.
  • Z1 includes (T + Tb)
  • the resolution is lowered due to the latter effect.
  • 4 is a portion having the same area as the region 1d in the virtual opening 1c, and the region 1f is a virtual opening related to the deviation amount ⁇ X of the opening center.
  • Z2 shown in Expression 13 since Z2 shown in Expression 13 includes ⁇ , it corresponds to the amount of light received by the virtual opening 1f.
  • ⁇ b 2 ⁇ / Tb is first set. Then, the resolution limit by sin ( ⁇ / ⁇ b) is ⁇ b / 2. Further, the resolution limit is improved to near ⁇ b by performing pixel shifting at a pitch corresponding to Tb / 2.
  • the resolution limit by sin ( ⁇ / ⁇ d) is ⁇ d / 2. Furthermore, by performing pixel shifting at a pitch corresponding to ⁇ / 2, the resolution limit is improved to near ⁇ d. After all, if ⁇ ⁇ Tb, the resolution can be improved at least to the vicinity of ⁇ b as long as the pixel shift amount is in a range corresponding to ⁇ / 2 or more and Tb / 2 or less.
  • Z1 decreases the resolution with respect to the resolution improvement by the horizontal pixel shift.
  • Z2 can improve the resolution by a factor of T / Tb by making a slight shift between the opening centers of the light sensing unit 1a and the light sensing unit 1b.
  • the pixel shift technique corresponding to T / 2 has been improved up to nearly twice, but in the present invention, at least (T / Tb) times of improvement is possible. Since T / Tb> 1, according to the present invention, the resolution can be improved more than twice, and there is an effect that is not found in the past.
  • the horizontal width T of the light sensing unit 1a shown in FIG. 4 is 1 (aperture ratio 100%), the horizontal width Tb of the light sensing unit 1b is 0.8 (aperture ratio 80%), and ⁇ X is 0, 0.05, Changed to 0.10.
  • the unit of length in the horizontal direction is 1 for the pixel pitch in the horizontal direction.
  • “perform pixel shift of 0.25 pitch” means “by finely moving the position of the image on the imaging surface, the distance between the image and the pixel by a distance of 0.25 times the pixel pitch in the horizontal direction. It means that the relative positional relationship is shifted.
  • the limit resolution in the horizontal direction when the pixel shift is not performed is set to 200 lines.
  • the pixel shift pitch based on the virtual opening 1f is not adopted.
  • the horizontal pixel shift was performed at a 0.25 pitch satisfying 1/2 or less of the horizontal width Tb (0.8) of the light sensing portion 1b, and an image was displayed using only the signals of the virtual opening portions 1c and 1d.
  • This pixel shifting operation and signal processing are (1) imaging 1, (2) moving by one pixel pitch in the vertical direction, (3) imaging 2, (4) subtraction of imaging 1 signal and imaging 2 signal, ( 5) Repeat the step of shifting horizontal pixels.
  • the two types of light sensing units having different aperture ratios are arranged every other row, and the opening centers of the two types of light sensing units in the horizontal direction are shifted. Adopted. And according to this embodiment, there exists an effect that the high-definition signal which the resolution of the horizontal direction raised with the difference signal of 2 pixels from which an aperture ratio differs is obtained.
  • the position of the image on the imaging surface is shifted by one pixel in the vertical direction by the action of the pixel shifting unit, that is, the light sensing unit 1a and the light sensing unit 1b are overlapped on the same part of the image.
  • the signal difference between the two pixels is made in the shape of Specifically, the luminance signal relating to the same part of the image is acquired from each of the light sensing unit 1a and the light sensing unit 1b by shifting the image by one pixel in the vertical direction on the imaging surface.
  • the luminance of the image formed on the imaging surface is uniform (not changing) in the vertical direction at least in the range of the region having the size of about the pixel pitch, the position of the image on the imaging surface is shifted by one pixel. There is no need. That is, a signal difference may be created between pixels using signals obtained at the same time from the light sensing units 1a and 1b adjacent in the vertical direction.
  • the video signal processing unit 70 includes an image memory 72 that stores a signal received from the signal receiving unit 64, a video signal generation unit 72 that generates a video signal (high-definition signal) from data read from the image memory 72, and a video signal Has an interface (IF) unit 76 for outputting to the outside.
  • IF interface
  • the high-definition signal obtained by the above method may be used as it is. Further, even if it is added to the signal processing result with low resolution but high sensitivity, its effectiveness is not lost.
  • the light sensing unit having the same aperture ratio is arranged in each row on the imaging surface.
  • the aperture ratio of the light sensing unit with a wide aperture is 100%.
  • the present invention is not limited to this, and the total aperture ratio of the light sensor with a wide aperture and the light sensor with a narrow aperture is 200. It is also possible to adopt a configuration in which both are adjusted to be%. By doing so, it is possible to prevent a decrease in overall sensitivity.
  • FIG. 6 is a plan view showing the basic arrangement of the light sensing units in the second embodiment of the present invention.
  • two rows and two columns are two-dimensionally arranged as a basic configuration.
  • a light sensing unit 1a having an aperture ratio of 100% is arranged in the first row and first column and the first row and second column.
  • Photodetectors 1b having an aperture ratio of 50% are arranged in the second row and the first column and the second row and the second column.
  • FIG. 7 shows the result of the simulation when the wedge-shaped resolution pattern is imaged by the pixel shift type imaging device of the present embodiment.
  • This pixel shifting operation and signal processing are as follows: (1) Image 1, (2) Move one pixel in the vertical direction, (3) Image 2, (4) Subtract image 1 signal and image 2 signal, (5) This is a repetition of moving half a pixel in the vertical direction (1) to (4) performing the process and (6) shifting the horizontal pixel.
  • two types of light sensing units having different aperture ratios are arranged every other row, and the right ends of the openings of the two types of light sensing units in the horizontal direction are set to the same position.
  • one virtual opening can be made from the opening difference between two types of light sensing parts adjacent in the vertical direction. Then, there is an effect that a high-definition signal with an increased resolution in the horizontal direction can be obtained by shifting the pixels in the horizontal direction of the virtual opening.
  • the signal difference between the two pixels is created by shifting one pixel in the vertical direction, that is, by overlapping the light sensing units 1a and 1b, but if there is no luminance change in the vertical direction, A signal difference may be created between vertically adjacent pixels.
  • the obtained high-definition signal is used as it is, or even if it is added to a signal processing result that is low resolution by adding pixels but is highly sensitive, its effectiveness is not lost.
  • the pixel configuration is the same photodetection unit in each row, but there is no problem if the photodetection units in the first row, second column and second row, second column of the basic configuration shown in FIG.
  • the aperture ratio of the light sensing unit 1a is 100%, but the present invention is not limited to this, and the total aperture of the light sensing unit having a wide aperture and the light sensing unit having a narrow aperture is also included. A configuration in which both are adjusted so that the rate becomes 200% may be used, and thereby the overall sensitivity reduction can be prevented.
  • FIG. 8 is a plan view showing the basic arrangement of the light sensing units in Embodiment 3 of the present invention.
  • Two rows and two columns are two-dimensionally arranged as a basic configuration.
  • a light sensing portion (aperture ratio 100%) 1a having a high aperture ratio is arranged in the first row and the first column and the first row and the second column.
  • the light sensing unit 1a having a low aperture ratio has a narrow opening in the horizontal and vertical directions, and is arranged in the second row and the first column and the second row and the second column.
  • the positional relationship between the light sensing unit 1a and the light sensing unit 1b is such that the center of the light sensing unit 1b is shifted by ⁇ X from the center of the light sensing unit 1a with respect to the horizontal direction, and the center of the light sensing unit 1b with respect to the vertical direction. Is shifted by ⁇ y from the center position shifted by 1 pitch.
  • the horizontal resolution can be improved by the aperture difference between the light sensing units 1a and 1b arranged in the vertical direction.
  • the present embodiment is characterized in that the opening centers of the light sensing unit 1a and the light sensing unit 1b are shifted in two directions. That is, this embodiment differs from the first embodiment in that the opening of the light sensing unit 1b is narrow also in the vertical direction.
  • the horizontal and vertical openings of the light sensing unit 1b were set to 1/2 the pixel pitch.
  • the imaging subject, the limit resolution condition, and the pixel shifting process are the same as those in the second embodiment.
  • the center position of the light sensing unit 1b is shifted by ⁇ X and ⁇ y in the horizontal and vertical directions from the center position of the unit pixel region, respectively.
  • ⁇ X ⁇ y
  • ⁇ X is changed by 0.05 from 0 to 0.25.
  • the two types of light sensing units having different aperture ratios are arranged in every other row so that the aperture centers do not overlap, and the light sensing units having a low aperture ratio are arranged in the horizontal and vertical directions.
  • the opening By narrowing the opening, a high-definition signal with an increased horizontal resolution can be obtained.
  • the pixels in the form shown in FIG. 11 it can be expected that the resolution in the horizontal and vertical directions is improved at the same time.
  • FIG. 12 is a plan view showing the basic arrangement of the light sensing units according to Embodiment 4 of the present invention.
  • a light sensing portion (aperture ratio 100%) 1a having a high aperture ratio is arranged in the first row and the first column and the first row and the second column.
  • the light sensing unit 1b having a low aperture ratio has a narrow opening in the horizontal direction, and its aperture ratio is 1 ⁇ 2 of the aperture ratio of the light sensing unit 1a.
  • the light sensing unit 1b is arranged in the second row, first column and the second row, second column. Yes.
  • the center of the light sensing unit 1b and the center of the light sensing unit 1a are arranged at the same position in the horizontal direction.
  • the positions of the light sensing units 1a and 1b are determined so that the center of the shifted light sensing unit 1a coincides with the center of the light sensing unit 1b. It has been.
  • high definition in the horizontal direction can be achieved by shifting the image obliquely on the imaging surface.
  • the image shift on the imaging surface is performed separately for the vertical movement and the horizontal movement, but in the present embodiment, the image is shifted obliquely.
  • the horizontal resolution is improved by using the signal (actual pixel signal) output from.
  • Shifting the image diagonally on the imaging surface by the function of the pixel shifting unit corresponds to shifting the pixel diagonally based on the image. Therefore, in the following description, shifting the image on the imaging surface by the function of the pixel shifting unit is expressed as “shifting the pixel”.
  • the pixel center in the horizontal direction (the X coordinate of the center of the light sensing unit) may be the same between two pixels adjacent in the vertical direction.
  • the pixels are shifted obliquely before completing the imaging of a certain frame and imaging the next frame (current frame).
  • the pixel one frame before is shifted by one pixel in the vertical direction (one pixel pitch) and by ⁇ s in the horizontal direction.
  • a signal from a virtual pixel is obtained using a subtraction result between the image one frame before and the current frame image, and an actual signal from a pixel having a relatively low aperture ratio is obtained from the image one frame before.
  • W1a the horizontal opening width of the light sensing unit 1a
  • W1b the horizontal opening width of the light sensing unit 1b
  • ⁇ s is expressed by Expression 16.
  • W1a: W1b 2: 1
  • FIG. 13A shows a basic configuration around the n-th row and a pixel moving direction in a pixel group arranged two-dimensionally.
  • FIG. 13B shows a state in which the pixel after the movement is overlapped with the pixel before the movement in the n-th row and the (n + 1) -th row.
  • a light sensing unit with a high aperture ratio completely covers a pixel with a low aperture ratio.
  • the light sensing units having a high aperture ratio there is only one portion (non-overlapping region) that does not cover the light sensing units having a low aperture ratio for each light sensing unit. This non-overlapping area functions as a light receiving area of the virtual pixel.
  • the amount of light received by the virtual pixel corresponds to a difference between signals obtained from two light sensing units having different aperture ratios.
  • FIG. 13C shows a pixel signal before and after pixel movement by pixel shifting and a virtual pixel signal created from the difference between them.
  • the pixel signals of the light sensing units 1a and 1b are expressed as 1a (n) and 1b (n) if they exist in the nth row before the pixel movement, that is, one frame before.
  • the light sensing unit 1b is moved by one pixel pitch in the vertical direction and by 1/4 pixel pitch in the horizontal direction.
  • the horizontal width of the light sensing unit 1b is 1 ⁇ 2 of the horizontal pixel pitch
  • the movement by a 1 ⁇ 4 pixel pitch is shown in FIGS. 13C, 13A, and 13B.
  • the conventional half-pitch pixel shift is merely realized by movement and time difference.
  • a virtual pixel signal based on the aperture difference between the light sensing unit 1a and the light sensing unit 1b is generated from subtraction of the 1a (n) signal after movement and the 1b (n + 1) signal before movement (FIG. 13). (C) (3)).
  • the pixel shift of the virtual pixel due to the aperture difference between the light detection unit 1a and the light detection unit 1b is added to the pixel shift of the light detection unit 1b.
  • a 1/2 pitch pixel shift of a 1/2 size pixel can be realized, and the horizontal resolution is increased four times.
  • the pixel with a low aperture ratio and the horizontal aperture of the virtual pixel are the same, but if they are different, the resolution is reduced by the pixel with the larger horizontal aperture. In such a case, if the pixel is further moved horizontally by 1/2 aperture of the pixel having a large horizontal aperture in both pixels, the pixel shift effect can be obtained by that amount, so that a reduction in resolution can be prevented.
  • a virtual pixel is created by the pixel aperture difference by moving the pixel obliquely.
  • a high-definition image signal is obtained from the signals of the virtual pixel and the pixel having a low aperture ratio.
  • the aperture ratios are set to 100% and 50% for the two types of light sensing units.
  • the present invention is not limited to these. There is no problem if one kind of virtual pixel can be created. Also, the pixel aperture difference is only in the horizontal direction. However, the present invention is not limited to this. If the aperture difference can also be created in the vertical direction and the pixel can be moved in that direction to create a virtual pixel, the same applies. The resolution can be improved.
  • FIG. 14A is a plan view showing a part of the microlens array disposed on the light sensing unit in the fifth embodiment of the present invention.
  • This microlens array actually has a large number of microlenses arranged two-dimensionally, but has a basic configuration of a set of microlenses of 2 rows and 2 columns shown in FIG.
  • FIG. 14B is a cross-sectional view taken along line AA ′ in FIG.
  • FIG. 14C is a cross-sectional view taken along the line BB ′ in FIG. In the set of four microlenses shown in FIG.
  • a microlens 2a having a relatively high light collection rate and a microlens 2b having a relatively low light collection rate are arranged adjacent to each other in the vertical direction.
  • the right ends of both microlenses 2a and 2b are on the same straight line extending in the vertical direction.
  • the light sensing units 1g that receive light from the microlenses 2a and 2b and output them as electrical signals are regularly arranged in the horizontal and vertical directions.
  • the microlens 2a is positioned on the center of the opening of the light sensing unit 1g, but the microlens 2b is displaced in the horizontal direction from the center of the opening of the light sensing unit 1g.
  • the deviation is within a range in which the microlens 2b can project all the condensed light onto the light sensing unit 1g.
  • the aperture ratio of the light sensing unit can be changed by changing the shape of the microlens arranged on the surface of the image pickup device, and the characteristics of the image pickup device can be improved. There is an effect that it is advantageous.
  • the fifth embodiment is applied to the case where the right end area of the light sensing unit with a high aperture ratio and the right end area of the light sensing unit with a low aperture ratio match in the horizontal direction in the first embodiment.
  • the present invention may be applied to all image pickup devices that achieve high definition using the aperture difference of the light sensing unit in the second to fourth embodiments and other cases.
  • the present invention is applied on the premise that the light sensing units of the image sensor are arranged in the horizontal and vertical directions.
  • the present invention is not limited to this, and 45 degrees and 135 degrees with respect to the horizontal.
  • the present invention can also be applied to an element having an oblique arrangement structure such as an inclined arrangement.
  • the light sensing unit of the image pickup device has been described by taking two types with different aperture ratios.
  • the present invention is not limited to this, and even if there are three or more aperture ratios, an aperture difference is created and the virtual pixel signal is generated. If it can be obtained, it is possible to increase the definition of the image.
  • FIG. 17 is a configuration diagram of a pixel shift type imaging apparatus with two images in Embodiment 6 of the present invention.
  • the pixel-shift-type imaging device of the present embodiment includes a first imaging system that performs imaging with a first definition, and a second imaging system that performs imaging with a second definition that is lower than the first definition. It has. Then, collating means for associating the first image obtained by the first imaging system and the second image obtained by the second imaging system in units of pixels, and pixels for optical imaging. And a pixel shifting means for relatively moving.
  • the apparatus of FIG. 17 includes a beam splitter 7 that divides light from a subject into two, and reflecting mirrors 6, 61, and 62 for guiding the divided light to the imaging surfaces of two solid-state imaging devices.
  • a binocular lens 5 having two lenses having the same optical characteristics is disposed so as to cross each of the two divided optical paths.
  • the binocular lens 5 is coupled to a fine movement device 4 that finely moves the binocular lens 5 in the horizontal direction.
  • the imaging elements 11 and 12 have the same imaging characteristics, such as the number of pixels in the vertical direction and the light receiving area, except that the number of pixels in the horizontal direction is different.
  • the number of pixels in the horizontal direction of the image sensor 11 is 2M
  • the number of pixels in the vertical direction is N
  • the number of pixels in the horizontal direction of the image sensor 12 is 3M
  • the number of pixels in the vertical direction is N (where M and N are integers).
  • the imaging apparatus includes a high-definition signal generator 3 that receives image signals from the imaging element 11 and the imaging element 12, instructs the fine movement device 4 on the amount of fine movement, and generates a high-definition image signal. .
  • FIG. 18 is a plan view showing a part of the pixel array in the image sensor 11 and the image sensor 12.
  • FIGS. 18A and 18B relatively represent pixel sizes in the horizontal direction of both image sensors.
  • FIG. 18A shows the pixels 11 a and 11 b of the image sensor 11.
  • FIG. 4B shows the pixels 12a, 12b, and 12c of the image sensor 12.
  • the number of horizontal pixels of the image sensor 11 is smaller than the number of horizontal pixels of the image sensor 12. However, the horizontal opening area of each pixel in the image sensor 11 is wide. In the present embodiment, the number of horizontal pixels of the image sensor 11 is 2M (2 million), while the number of horizontal pixels of the image sensor 12 is 3M (3 million). On the other hand, the aperture ratio of each pixel 11 a and 11 b in the image sensor 11 is 1.5 times the aperture ratio of each pixel in the image sensor 12.
  • FIG. 18C shows the aperture difference between the pixels of both image sensors.
  • a region 101a indicates an aperture difference between the pixel 11a and the pixel 12a
  • a region 101b indicates an aperture difference between the pixel 11b and the pixel 12c.
  • the difference signal between the photoelectric conversion signal of the pixel 11a and the photoelectric conversion signal of the pixel 12a is obtained when the region 101a is a virtual pixel. It can be considered as a photoelectric conversion signal. That is, the areas 101a and 101b function as virtual pixels.
  • each device is configured so that the optical path length from the beam splitter 7 to the binocular lens 5 via the reflecting mirror 61 and the optical path length from the beam splitter 7 to the binocular lens 5 via the reflecting mirrors 6 and 62 are the same. Placement is set.
  • the two subject lights are imaged on the light receiving surfaces of the image sensor 11 and the image sensor 12 by the binocular lens 5, respectively, and are photoelectrically converted by both image sensors.
  • the horizontal position of the reflecting mirror 61 or 62 is finely adjusted with respect to the relative position of the two image sensors with respect to the image formation. As shown in FIG. 18, two pixels of the image sensor 11 and three pixels of the image sensor 12 have a horizontal phase difference of 0. It has become.
  • Image signals from the image sensor 11 and the image sensor 12 are input to a high-definition signal generator 13, in which the image signal from the image sensor 11 is input to the image memory 1 and the image signal from the image sensor 12 is an image. Accumulated in memory.
  • the horizontal two-pixel signal of the first image memory is added and the horizontal three-pixel signal of the second image memory is added, and all of them are used to collate two images and perform other signal processing. I do.
  • the other signal processing includes fine movement instruction processing for the fine movement device 4, imaging instruction processing for the image sensors 11 and 12, and high-definition signal generation processing.
  • FIG. 19A shows an arrangement state of pixel signals in the first image memory 31.
  • FIG. 19B shows an arrangement state of pixel signals in the second image memory 32.
  • FIG. 20 is a flowchart of two image matching processing and other signal processing.
  • the addition signal of the horizontal two-pixel signals G1 (2j-1, i) and G1 (2j, i) in the image memory 1 is SG1 (j, i)
  • the horizontal three-pixel signal G2 (3j-2 The added signal of i), G2 (3j-1, i), G2 (3j, i) is SG2 (j, i).
  • the horizontal shift amount of two images is dX
  • the vertical shift amount is dY.
  • the difference between the addition signals SG1 (j, i) and SG2 (j, i) is taken, and the addition result for all the data is compared with a preset value Zth (S3). If the result of the comparison determination is affirmative (Yes), the signal VG1 (j, i) of the virtual pixel 101a is calculated using Equation 6 and the signal VG2 (j, i) of the virtual pixel 101b is calculated using Equation 7.
  • virtual pixel signals are generated one after another while performing the following five horizontal pixel shifting processes (S4).
  • the generated virtual pixel signal is a high-definition signal because the horizontal opening ( ⁇ ) is narrow and the pixels are shifted at 1/2 and 3/2 pitches (S5). This operation is shown in FIG. This situation of pixel shifting is equivalent to virtual pixels being densely arranged in the horizontal direction and pixel shifting at a 1/2 pitch.
  • the resolution is improved 3 times for the image sensor 11 and 2 times for the image sensor 12. Further, since this is equivalent to shifting the 1 ⁇ 2 pitch pixel, the double resolution is improved. As a result, the resolution is improved by 6 times compared to the case where only the image sensor 11 is used, and 4 times as compared with the case where only the image sensor 12 is used.
  • an apparatus that captures images with at least two types of imaging systems having different imaging resolutions, and the resolutions of the two imaging systems in the horizontal direction are 2: 3,
  • the resolution is improved by 4 to 6 times, which is not effective in the prior art. That is, the virtual pixel generated from a slight aperture difference can realize a large resolution improvement.
  • the conditions are as follows, but the present invention is not limited thereto.
  • the imaging systems differ only in the horizontal resolution of the imaging element, they may have different vertical resolutions.
  • the image pickup systems differ only in the horizontal resolution of the image pickup device, the effect of aperture difference can be obtained by shifting the pixels by 1/2, 3/2 pitch of the virtual pixels in the diagonal direction even if the horizontal and vertical resolutions are different.
  • the imaging systems have different imaging element resolutions, optical systems having different resolutions may be used.
  • the definition of the two imaging systems is 2: 3, other integer ratios n: m may be used. In particular, if the values of n and m are large and the difference between them is small, a large resolution can be obtained.
  • two imaging systems are used, three or more imaging systems may be used if the definition is different.
  • the solid-state imaging device is applied to all cameras such as consumer cameras using a solid-state imaging device, so-called digital cameras, solid-state cameras for digital movies and broadcasts, and industrial-use solid-state monitoring cameras including nighttime surveillance. It is valid.
  • 1 Unit pixel area 1a Photosensor with a wide opening (photodiode) DESCRIPTION OF SYMBOLS 1b Light-sensitive part with a narrow opening part 1c Photo-sensitive part 1c, 1d, 1e, 1f Virtual opening part 2a Micro lens with high condensing rate 2b Micro lens with low condensing rate 11 Image pick-up element 11a, 11a pixel 11b Pixel 12 Imaging Element 12a, 12b, 12c Pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

　本発明の固体撮像素子は、撮像面上において、Ｙ方向に沿って第１画素ピッチで配列され、かつ、Ｘ方向に沿って第２画素ピッチで配列された複数の単位画素領域を有する。Ｙ第１方向に隣接する２つの単位画素領域１の一方は、第１の開口率を有する第１の光感知部１ａを有し、他方は第１の開口率よりも低い第２の開口率を有する第２の光感知部１ｂを有する。第１の光感知部１ａをＹ方向に第１画素ピッチだけ仮想的に移動させると、第１の光感知部１ａは第２の光感知部１ｂの全体を覆う。このとき、第１の光感知部１ａのうちで第２の光感知部１ｂを覆っていない部分が仮想的な第３の光感知部として機能する。光感知部１ａ、１ｂが出力する信号の差分から、仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号が得られる。

Description

画素ずらし型撮像装置
　本発明は撮像素子の画素位置をずらし、撮像画像の解像度を向上させる、所謂、画素ずらし技術に関するものである。
　近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、高度な微細化が進み、高集積化が図られ、撮像素子としても１００万画素から１０００万画素へと多画素化が図られている。ただその一方で、多画素撮像素子の製造プロセスでは、画素密度が高くなる程、製造工程が複雑になり、また画質検査時間も長くなり、その結果歩留りや生産性にも影響が出ている。
　画像の高解像度化には、このような多画素化による方法以外に、撮像素子の画素をずらすという、所謂、画素ずらし技術による方法もある。画素ずらし技術には、大きく分けて２種類の技術がある。第１の画素ずらし技術は、固体撮像素子の撮像面内において周期的配列された複数の画素に対して他の画素をずらして配置する画像空間的位置ずれの画素ずらしである。第２の画素ずらし技術は、２次元正方配列の固体撮像素子及び光学系の少なくとも一方を機械的に微動させる動的な画素ずらしである。
　第１の画素ずらし技術の基本原理の１例が特許文献１の中で記されている。特許文献１では、第１の画素ずらし技術が撮像素子を３つ用いた３板式のカラーカメラに適用されている。このカラーカメラは、人間の視感度の高い緑（Ｇ）の撮像素子の画素を１行おきに１／２ピッチ水平方向にずらした構成を採用することにより、水平方向の解像度を高めている。
　水平方向だけでなく垂直方向にも画素をずらせた１例が、特許文献２の中で示されている。特許文献２のＣＣＤ撮像素子では、画素に相当する光感知部の形状をひし形にして、蛇行状に配置している。各画素を水平方向にも垂直方向にも画素の１／２ピッチ分ずらして配列することにより、水平及び垂直方向における解像度を高めている。
　動的な画素ずらしの技術については、撮像素子に対して光学系を機械的に微動させる例が、特許文献３に記されている。特許文献３では、撮像素子とレンズとの間に透光性の平行平板を設置している。光軸に対して平行平板を振らせることにより、撮像素子に結像した光学像を微動させ、微動方向の解像度を向上させている。光学系は動かさず、撮像素子そのものを微動させ、解像度を向上させた例が特許文献４に記されている。この場合、微動手段として圧電素子を用い、微動量は画素の１／２ピッチとして、解像度を向上させている。
　以上のように、従来の画素ずらし技術は、画素の配置あるいは機械的に撮像素子を微動させ、水平方向あるいは水平及び垂直の両方向に画素を１／２ピッチずらして解像度を向上させている。原理的には、光感知部の開口率が１００％であれば、画素を１／２ピッチずらせることにより、解像度は２倍向上する。
　このことを図１５と式を使って以下に説明する。図１５は画像の１次元方向（Ｘ）の座標と輝度値ｆ（Ｘ）の関係を表した曲線と、その輝度値をサンプリングするための矩形波パルス波形とを示すグラフである。グラフの横軸Ｘおよびｔは、いずれも、ある基準点（例えば撮像面の中心）からの水平方向の距離である。図１５の例では、輝度値ｆ（Ｘ）は、Ｘの増加に応じて正弦波状に増減している。
　１つのサンプリングパルスが１つの光感知部に対応する。図１５では、２個のサンプリングパルスが示されているが、現実には、多数のサンプリングばパルスが存在している。ここで、撮像面に形成される画像の輝度値は、Ｘ方向に正弦波状に変化しているため、輝度値ｆ（Ｘ）は、振幅Ａ、周波数ω、位相０を用いると、式１で表される。サンプリングパルスは、波高が１、周波数ωｓ、周期（幅）Ｔで表される。
　　［式１］ｆ（Ｘ）＝ＡｃｏｓωＸ
　開口率１００％の光感知部１つの受光量はサンプリングパルスの１周期分の積分量になるので、ｎ番目の画素の受光量Ｐ（ｎ）は式２で表される。式２の計算結果を１周期Ｔで割り、時間平均で表すと式３が得られる。但し、式３において、Ｂ＝２Ａ／ωＴである。さらに、式３は、Ｔωｓ＝２πの関係から、式４で表される。
　　［式２］Ｐ（ｎ）＝∫Ａｃｏｓωｔｄｔ　［ｔ＝－Ｔ／２＋ｎＴ～Ｔ／２＋ｎＴ］
　　［式３］Ｐ（ｎ）＝Ｂｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）
　　［式４］Ｐ（ｎ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｎω／ωｓ）
　式４でｎ＝０、１、２、・・・と変化させると、ｎ番目の画素の信号量がわかる。その信号量が保証されるのは、サンプリング定理により、ω／ωｓ≦１／２の場合である。ω／ωｓ＞１／２では、隣接画素との信号差が小さくなる。ω／ωｓの値が１に近づくと、ｎ番目の画素と（ｎ＋１）番目の画素の信号は、ほぼ同相になるため、その差はほとんど無くなる。
　画素を１／２ピッチずらすと、ｎ＝ｎ＋１／２となり、これを式４に代入すると、画素ずらし後の受光量は式５で表現できる。すなわち、ω／ωｓの値が１に近づいても、式４では得られなかった位相がπずれた画像情報を得ることができる。もちろん、ω／ωｓ＝１では、Ｂｓｉｎ（πω／ωｓ）＝０となるため、その場合の解像力はないが、ω／ωｓの値が１付近までは、解像できる。結局、画素ずらしにより、解像度を２倍近くまで向上させることができると言える。
　　［式５］Ｐ（ｎ＋１／２）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（π（２ｎ＋１）ω／ωｓ）
　以上のことをさらに確認するために、光感知部の開口率が１００％で、画素を１／２ピッチ、１／３ピッチ、１／４ピッチずつずらし、クサビ型の解像度パターンを撮像したシミュレーション結果を図１６に示す。
　このシミュレーションは、画素をずらさない場合の水平方向の限界解像度を２００本に設定し撮像したものである。図１６において、（Ａ）は画素を１／２ピッチずらせた結果の画像で、（Ｂ）は画素を１／３ピッチずらせた結果の画像で、（Ｃ）は画素を１／４ピッチずらせた結果の画像である。但し、同図において、（Ａ）と（Ｂ）は（Ｃ）の画像サイズに合わせるため、それぞれ水平及び垂直方向に２倍、４／３倍拡大している。これらの結果から、いずれの場合も解像度は４００本弱で限界解像度２００本の約２近くまで解像度が向上されることがわかる。
　このように画素ずらし技術により、解像度は向上できるが、開口率が１００％である限り、画素ずらしピッチを変えても、解像度を２倍以上向上させることはできない。もちろん開口率が高い程、受光感度は高くなる。そのため、近年では撮像素子の各画素上にマイクロイレンズを配設し、開口率を１００％近くまで上げている。しかし、解像度向上の点では、大きな画質改善は望めない。
　このような状況の中、さらに解像度を向上させる技術が特許文献５に記されている。この技術では、撮像面内において、水平方向、垂直方向に画素の１／２ピッチずらせた画素配置構成を採用している。さらに画素間の中心位置に開口率が微小な開口部を設け、当該部分からも光電変換信号を得ることにより、さらに解像度を向上させている。
　この技術では、従来の画素ずらし技術を導入した上で、さらに各画素間に微小な開口部を構造的な工夫を行うことにより配設している。その結果、画素と画素の間の画像情報が得られ、その分、解像度を向上させることができる。また、この技術は解像度向上以外にも、微小な開口部と通常の開口部を有する光感知部により、撮像する被写体の輝度の範囲を広げられるという所謂ダイナミックレンジも向上させている。
　開口率が異なる光感知部を有する構成は、特許文献６や特許文献７にも示されている。これらの従来技術によれば、明るいシーンでは開口率が低い光感知部からの信号を用い、また暗いシーンでは開口率が高い光感知部からの信号を用いて画像を再生し、それによって撮像条件の幅を広げている。すなわち、特許文献６，７に開示されている技術は、本質的にはダイナミックレンジを向上させるものであり、積極的に解像度を向上させるものではない。
特開昭５８－１３７２４７号公報 特開昭６０－１８７１８７号公報 特開昭６３－２８４９７９号公報 特開昭６４－６９１６０号公報 特開２００４－７９７４７号公報（特許第４１２５９２７号） 特開平４－２９８１７５号公報 特開２００６－１７４４０４号公報
　従来の画素ずらし技術によれば、解像度を約２倍向上させることができるが、それ以上の増加は望めない。さらに解像度を向上させるには、微小開口部であっても画素数を増やさなければならなかった。
　そこで、本発明は従来の画素ずらし技術では実現できなかった解像度を、２倍を超える値に向上させる画素ずらし技術を提供することを目的とする。
　本発明の画素ずらし型撮像装置は、固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記撮像面上における前記像の位置をシフトさせる画素ずらし部と、前記固体撮像素子から出力される電気信号を処理する映像信号処理部とを備える画素ずらし型撮像装置であって、前記固体撮像素子は、前記撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有しており、前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆い、前記仮想的に移動した第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、前記映像信号処理部は、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号を得る。
　好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向に距離δだけずれている。
　好ましい実施形態において、前記第１の方向に平行な前記第２の光感知部の２つのエッジの一方は、前記第１の方向に平行な前記第１の光感知部の２つのエッジを前記第１の方向に延長した直線の一方に接している。
　好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記距離δの半分以上の距離だけシフトさせる。
　好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２画素ピッチの半分以下の距離だけシフトさせる。
　好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２光感知部の幅の半分以下の距離だけシフトさせる。
　好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチの半分シフトさせる。
　好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチだけシフトさせること、及び前記第１画素ピッチの半分だけシフトさせることを交互に実行する。
　好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの方向にシフトさせる。
　好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向にδＸだけずれ、かつ前記第１方向にδＹだけずれている。
　好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離δＹの半分以上かつ前記第１画素ピッチの半分以下の距離Ｙ１だけシフトさせ、かつ、前記第２方向に前記距離δＸの半分以上かつ前記第２画素ピッチの半分以下の距離Ｘ１だけシフトさせる。
　好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離Ｙ１プラス前記第１画素ピッチだけシフトさせ、かつ、前記第２方向に、前記距離Ｘ１プラス前記第２画素ピッチだけシフトさせる。
　好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心が前記シフトした第１の光感知部の中心と一致するように前記第１の光感知部及び前記第２の光感知部が配置されており、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの第３方向にシフトさせ、前記画素ずらし部による前記第３方向のシフトにより、前記第１の光感知部は前記第２の光感知部の全体を覆い、かつ、前記第１の光感知部のうちで前記第２の光感知部を覆わない部分が１つの領域だけ形成され、前記領域が仮想画素として機能し、前記映像信号処理部は、前記画素ずらし部による前記シフトの前後に得られる前記前記第１の画素信号及び前記第２の画素信号の差分と、前記第２の画素信号とに基づいて高精細信号を生成する。
　好ましい実施形態において、前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に移動させるとともに、前記第２方向にも（Ｗ１ａ－Ｗ１ｂ）／２によって規定される距離だけ移動させる。
　好ましい実施形態において、前記第１の光感知部の前記第１方向における長さをＴ１ａ、前記第２の光感知部の前記第１方向における長さをＴ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に、（Ｔ１ａ－Ｔ１ｂ）／２によって規定される距離だけ移動させるとともに、前記第１方向にも移動させる。
　好ましい実施形態において、前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき（Ｗ１ａ＞Ｗ１ｂ）、Ｗ１ｂがＷ１ａ／２に一致しない場合、前記画素ずらし部は、前記第３方向のシフトとは別に、前記撮像面上における前記像の位置を前記第２方向にＷ１ａ／２だけシフトさせる。
　好ましい実施形態において、前記画素ずらし部は、前記第３方向のシフトを周期的に繰り返す。
　好ましい実施形態において、前記固体撮像素子は、前記第１光感知部及び前記第２光感知部の開口率及び位置を調節するマイクロレンズのアレイを有している。
　本発明の固体撮像素子は、撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有する固体撮像素子であって、前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆う。
　好ましい実施形態において、前記第１方向に前記第１画素ピッチだけ仮想的に移動した前記第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号が得られる。
　好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とが一致しないように前記第１の光感知部及び第２の光感知部の位置が決められている。
　好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心に対して前記第２方向に距離δだけずれている。
　好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とを結ぶ直線は、前記第１方向に対して平行ではない。
　本発明の画素ずらし型撮像装置は、被写体からの光を第１の光路及び第２の光路を含む少なくとも２つの光路に分岐するスプリッタと、前記第１の光路を通る光により、第１の精細度で撮像を行う第１の固体撮像素子と、前記第２の光路を通る光により、前記第１の精細度よりも高い第２の精細度で撮像を行う第２の固体撮像素子と、前記第１の固体撮像素子で得られた第１の画像と前記第２の固体撮像素子で得られた第２の画像とを画素単位で対応付ける照合手段と、前記各固体撮像素子の撮像面上における像の位置をシフトさせる画素ずらし部と、前記照合手段によって対応付けられた画素間の開口差による画素領域を仮想画素とし、前記画素ずらし部による前記仮想画素の移動量が前記仮想画素の１／２ピッチあるいは３／２ピッチを含んでいる。
　好ましい実施形態において、前記第１の撮像素子は、第１の密度で配列された画素を有し、前記第２の撮像素子は、前記第１の密度よりも高い第２の密度で配列された画素を有する。
　好ましい実施形態において、第１の倍率を有する第１の光学系を前記第１の光路に有し、前記第１の倍率よりも小さな倍率を有する第２の光学系を前記第２の光路に有する。
　好ましい実施形態において、前記第１の精細度：前記第２の精細度は、ｎ：ｍである（ｎ、ｍは、互いに異なる正の整数、ｎ＜ｍ）である。
　好ましい実施形態において、前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍である。
　好ましい実施形態において、前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍、または１／２倍及び３／２倍である。
　本発明の画素ずらし型撮像装置によれば、開口率が異なる少なくとも２種類の光感知部を有し、それらの開口差から前記光感知部より開口の小さい仮想の光感知部を作る。そして、前記仮想の光感知部を微動させることにより、当該微動方向の高精細信号を得ることが可能となる。
本発明による画素ずらしがた撮像装置の基本的な構成例を示す図 固体撮像素子の撮像面を示す斜視図 固体撮像素子の撮像面の一部を示す拡大図 本発明の実施形態１における撮像素子光感知部の２行２列の基本配置を示した平面図 （Ａ）～（Ｃ）は、本発明の実施形態１におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図 本発明の実施形態２における撮像素子光感知部の２行２列の基本配置を示した平面図 （Ａ）～（Ｆ）は、本発明の実施形態２におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図 本発明の実施形態３における撮像素子光感知部の２行２列の基本配置を示した平面図 本発明の実施形態３において、光感知部１ａと１ｂとの位置差が最大になった場合の撮像素子光感知部の基本配置を示した平面図 （Ａ）～（Ｆ）は、本発明の実施形態２におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図 本発明の実施形態３において、光感知部１ａと１ｂを２次元的に交互に配列させた場合の撮像素子光感知部の基本配置を示した平面図 本発明の実施形態４における撮像素子光感知部の２行２列の基本配置を示した平面図 （Ａ）は、本発明の実施形態４において、配列画素のｎ行目前後の基本構成と画素の移動方向を示した平面図、（Ｂ）は本発明の実施形態４において、ｎ行目画素とｎ＋１行目画素に関して移動前の画素に移動後の画素を重ね合わせた状態を示す平面図、（Ｃ）は本発明の実施形態４において、移動前後の画素信号とそれらの差分から作り出した仮想画素の信号を示したタイミング図 （Ａ）は本発明の実施形態５における光感知部上に配設されたマイクロレンズの配置関係を示す平面図、（Ｂ）は図１４（Ａ）におけるＡＡ’断面図、（Ｃ）は図１４（Ｂ）におけるＢＢ’断面図 画像の１次元方向（Ｘ）の座標と輝度値ｆ（Ｘ）の関係を表したグラフとその輝度値をサンプリングするための矩形波のパルスを重ねて合わせた図 （Ａ）～（Ｃ）は、光感知部の開口率が１００％で、画素を１／２ピッチ、１／３ピッチ、１／４ピッチずつずらし、クサビ型の解像度パターンを撮像した解像度シミュレーション結果を示した図 本発明の実施形態６の基本構成を示す図 本発明の実施形態６について、撮像素子１１及び撮像素子１２における画素配列の１部を示した平面図 （Ａ）は、第１画像メモリ３１における画素信号の配列状態を示す図、（Ｂ）は、第２画像メモリ３２における画素信号の配列状態を示す図 ２つの画像の照合処理及びその他の信号処理のフローチャー 本発明の実施形態６における画素ずらしを示す図
　本発明による画素ずらし型撮像装置は、図１に例示するように、固体撮像素子６０と、固体撮像素子６０の撮像面に像を形成する光学系（レンズ５０）と、撮像面上における前記像の位置をシフトさせる画素ずらし部５２と、固体撮像素子６０から出力される電気信号を処理する映像信号処理部７０とを備えている。
　画素ずらし部５２は、例えば、厚さが面内方向に変化する透明ガラス板を備え、この透明ガラスを撮像面に平行な方向（例えば水平方向）に微動させる構成を有している。図１の例では、画素ずらし部５２と固体撮像素子６０との間に例えば水晶板からなる光学的ローパスフィルタ５４が配置されている。信号受信部６４及び映像信号処理部７０の構成と働きについては、後述する。
　本発明において最も特徴的な構成要素は、固体撮像素子６０である。以下、図２、図３を参照しながら、本発明における固体撮像素子６０の基本的な構成を説明する。図２は、レンズ５０によって固体撮像素子６０の撮像面６１に像が形成される要素を模式的に示す斜視図である。撮像面６１上の位置を交差するＸ軸及びＹ軸の座標によって表現することができる。
　固体撮像素子６０は、図３に示すように、撮像面６１上に配列された複数の単位画素領域１を有している。単位画素領域１は、図２のＹ軸方向（第１方向）に沿って第１画素ピッチで配列され、かつ、第１方向と交差するＸ軸方向（第２方向）に沿って第２画素ピッチで配列されている。
　ここで、多数の単位画素領域１のうちで、垂直方向（Ｙ軸方向）に隣接する２つの単位画素領域１に着目する。図３の右側に示すように、２つの単位画素領域１の一方は、第１の開口率を有する第１の光感知部１ａを有している。また、２つの単位画素領域１の他方は、第１の開口率よりも低い第２の開口率を有する第２の光感知部１ｂを有している。光感知部１ａ、１ｂは、フォトダイオードから構成されている。
　第１の光感知部１ａは、第１の光感知部１ａに入射した光の量に応じた第１の画素信号を出力し、第２の光感知部１ｂは、第２の光感知部１ｂに入射した光の量に応じた第２の画素信号を出力する。均一な強さの光が複数の単位画素領域１に入射している場合、第１の光感知部１ａが出力する第１の画素信号は、第２の光感知部１ｂが出力する第２の画素信号よりも振幅が大きくなる。これは、第１の光感知部１ａの開口率が第２の光感知部１ｂの開口率よりも大きいためである。
　本明細書において開口率は、１つの単位画素領域１の面積に対する１つの光感知部１ａ、１ｂの面積の比率である。光感知部上にマイクロレンズ（不図示）を設けることにより、その光感知部の開口率を１００％にすることも可能である。
　本発明では、図３に示すように、第１の光感知部１ａを垂直方向に第１画素ピッチだけ仮想的に移動させると、第１の光感知部１ａは第２の光感知部１ｂの全体を覆うように、光感知部１ａ、１ｂのレイアウトが設計されている。
　以下、図面を参照しながら本発明の実施形態を説明する。全ての図にわたって共通する要素には同一の符号を付している。
　（実施形態１）
　図４は本発明の実施形態１における撮像素子の光感知部の基本配置を示した平面図である。図４では、隣接する４つの単位画素領域のみが示されているが、現実の撮像素子の撮像面には、多数の単位画素領域が配列されている。本実施形態及び後述すの各実施形態では、２行２列の光感知部を基本構成とする多数の光感知部が２次元状に配列されている。言い換えると、現実の撮像面では、図４に示す４つの光感知部の組（画素基本セット）が水平方向及び垂直方向に周期的に配列されている。なお、図４の水平方向は、図２、図３のＸ軸方向に相当し、図４の垂直方向は、図２、図３のＹ軸方向に相当する。
　図４において、垂直方向に隣接する２つの単位画素領域の中心間距離は、垂直方向の画素ピッチ（第１の画素ピッチ）である。また、水平方向に隣接する２つの単位画素領域の中心間距離は、垂直方向の画素ピッチ（第２の画素ピッチ）である。このことは、他の実施形態についても成立する。
　本実施形態では、図４に示すように、開口率が相対的に高い光感知部（開口率１００％）１ａが画素基本セット内の１行１列目と１行２列目の単位画素領域内に配置されている。開口率が相対的に低い光感知部１ｂは、水平方向に開口が狭く、画素基本セット内の２行１列目と２行２列目の単位画素領域内に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部１ｂの中心が光感知部１ａの中心よりδＸずれている。言い換えると、光感知部１ａを垂直方向に１画素ピッチだけシフトさせたとき、シフトした光感知部１ａの中心と光感知部１ｂの中心とは一致せず、水平方向にδＸだけずれている。
　本発明は、画素の光感知部の開口率差を利用し、解像度を改善する。通常、開口率を下げて細かく画素をずらせば、解像度は向上するが、開口率が下がった分感度が低下する。そこで、本発明は１部の光感知部の開口率のみを下げる。そして、その他の光感知部との差により、開口率の低い仮想の光感知部を作り、その仮想の光感知部をずらすことにより、解像度を向上させる。
　ここで、開口部のサイズがＸ方向に１／ｍとなった光感知部の画素ずらしの場合について、図１５を参考に説明しておく。ここで、ｍは１を超える数値であるとする。この場合、その光感知部の開口率は１／ｍに減少する。このような光感知部による受光量を得るには、式２において、積分区間の範囲を、ｔ＝－Ｔ／２ｍ＋ｎＴ～Ｔ／２ｍ＋ｎＴにすればよい。ここで、Ｔは単位画素領域１のＸ方向サイズ（幅）であり、図１５に示すパルスの幅に相当する。
　Ｔωｓ＝２πの関係を用いると、ｎ番目の画素の受光量Ｐ（ｎ）は、式６で表される。周波数ωのｍ倍の高調波をｍωとして、式６においてωにｍωを代入すると、式７が得られる。この場合は、ｎをｎ（１＋ｋ／２ｍ）に変え、式７に代入することにより、式８が得られる。但し、ｋは整数でｋ＝１～２ｍ－１である。すなわち、１／２ｍピッチずつずらせることにより、位相がπ程ずれた情報も得られるため、解像度が２ｍ倍向上する。
　　［式６］Ｐ（ｎ）＝Ｂｓｉｎ（π（ω／ｍ）／ωｓ）ｃｏｓ（２πｎω／ωｓ）
　　［式７］Ｐ（ｎ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｎｍω／ωｓ）
　　［式８］Ｐ（ｎ＋ｋ／２ｍ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｍｎ（１＋ｋ／２ｍ）ω／ωｓ）
　次に、本発明の実施形態１における光感知部１ｂの受光量を求める。開口率１００％の光感知部１ａについて、ｎ番目の画素の受光量Ｐ（ｎ）は式３で表される。一方、光感知部１ｂについては、水平方向の幅が狭いため、それに相当する積分区間の幅をＴｂとする。また、単位画素領域の中心からの、光感知部１ｂの中心のずれ量をδとする。この場合、光感知部１ｂの受光量Ｐ（ｎ）は、式９で表される。
　　［式９］Ｐ（ｎ）＝Ｂｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ－δ））
　本実施形態は、垂直方向に配列されている光感知部１ａと光感知部１ｂとの間の開口差により、水平方向の解像度を向上させることができる。本実施形態に特徴的な点は、光感知部１ａの開口中心と光感知部１ｂの開口中心とが垂直方向に延びる同一の直線上にない点にある。光感知部１ａと光感知部１ｂの差分から作られる仮想開口部１ｃと仮想開口部１ｄの受光量の合計が、仮想画素の信号となり、式１０で表される。
　　［式１０］Ｐ（ｎ）＝Ｂ（ｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）－ｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ－δ）））
　式１０はさらに式１１に変形され、式１１において右辺の第１項と第２項、第３項と第４項を式１２、式１３の形でまとめると、式１１は式１４で表現される。
　　［式１１］Ｐ（ｎ）＝Ｂ[ｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）－ｓｉｎ（ωＴｂ／２）ｃｏｓ（ωｎＴ）
　　　　　　　　　　　＋ｓｉｎ（ωＴｂ／２）ｃｏｓ（ωｎＴ）－ｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ－δ））]
　　［式１２］Ｚ１＝（ｓｉｎ（ωＴ／２）－ｓｉｎ（ωＴｂ／２））ｃｏｓ（ωｎＴ）
　　　　　　　　　＝２ｃｏｓ（ω（Ｔ＋Ｔｂ）／２） ｓｉｎ（ω（Ｔ－Ｔｂ）／２）ｃｏｓ（ωｎＴ）
　　［式１３］Ｚ２＝ｓｉｎ（ωＴｂ／２）（ｃｏｓ（ωｎＴ）－ｃｏｓ（ω（ｎＴ－δ）））
　　　　　　　　　＝－２ｓｉｎ（ωＴｂ／２）ｓｉｎ（ω（ｎＴ－δ／２））ｓｉｎ（ωδ／２）
　　［式１４］Ｐ（ｎ）＝Ｂ（Ｚ１＋Ｚ２）
　ここで、式１２で示すＺ１は、光感知部１ａ、１ｂの開口中心のずれ量δを含んでいないので、図４の仮想開口部１ｅ、１ｄの受光量の合計に相当する。Ｚ１は（Ｔ－Ｔｂ）を含んでいるので、それにより画素ずらしで解像度を高められる。しかし、Ｚ１は、（Ｔ＋Ｔｂ）も含んでいるので、結局、後者の影響で解像度は低下する。なお、図４の領域１ｅは仮想開口部１ｃの中で領域１ｄと同じ面積を有する部分であり、領域１ｆは開口中心のずれ量δＸに係わる仮想開口部である。
　一方、式１３で示すＺ２はδを含んでいるので、仮想開口部１ｆの受光量に相当する。この場合は、ｓｉｎ（ωＴｂ／２）とｓｉｎ（ωδ／２）を含んでいるため、まずωｂ＝２π／Ｔｂとする。すると、ｓｉｎ（πω／ωｂ）による解像度限界はωｂ／２である。さらにＴｂ／２に相当するピッチで画素ずらしを行うことにより解像度限界はωｂ付近まで向上する。
　またωｄ＝２π／δとすると、ｓｉｎ（πω／ωｄ）による解像度限界はωｄ／２である。さらにδ／２に相当するピッチで画素ずらしを行うことにより、解像度限界はωｄ付近まで向上する。結局、δ≦Ｔｂとすると、画素ずらし量として、δ／２以上Ｔｂ／２以下に相当する範囲であれば、少なくとも解像度をωｂ付近まで向上できる。
　以上の結果から、水平方向の画素ずらしによる解像度向上に関して、Ｚ１は解像度を低下させることがわかる。しかし、Ｚ２は、光感知部１ａと光感知部１ｂの開口中心のずれを僅かに作るだけで、解像度をＴ／Ｔｂ倍ほど向上させることができる。従来はＴ／２に相当する画素ずらし技術で２倍付近まで向上できたが、本発明では少なくともさらにその（Ｔ／Ｔｂ）倍の向上が可能である。Ｔ／Ｔｂ＞１であるので、本発明によれば、２倍よりも大きく解像度を向上でき、従来にない効果がある。
　次に、本実施形態による画素ずらしのシミュレーションを行った。図４に示した光感知部１ａの水平幅Ｔを１（開口率１００％）、光感知部１ｂの水平幅Ｔｂを０．８（開口率８０％）とし、δＸを０、０.０５、０.１０と変化させた。ここで、水平方向の長さの単位は、水平方向の画素ピッチを１とする。例えば「δＸ＝０．０５」とは、δＸが水平方向の画素ピッチの０．０５倍の長さを有していることを意味する。また、例えば「０．２５ピッチの画素ずらしを行う」とは、「撮像面上における像の位置を微動させることにより、水平方向の画素ピッチの０．２５倍の距離だけ、像と画素との相対的な位置関係をシフトさせる」ことを意味するものとする。
　このシミュレーションでは、サビ型解像度パターンを対象とし、垂直方向に１画素ピッチずらせて撮像し、かつ、下記の水平ピッチで画素ずらしを行って撮像を行った場合の結果を求めた。この結果を図５に示す。
　なお、このシミュレーションでは、画素ずらしを行わない場合の水平方向の限界解像度を２００本に設定している。このシミュレーションの場合、光感知部１ｂの水平幅に対してδがかなり小さいので、仮想開口部１ｆに基づいた画素ずらしピッチは採用していない。光感知部１ｂの水平幅Ｔｂ（０．８）の１／２以下を満足する０．２５ピッチで水平画素ずらしを行い、仮想開口部１ｃ、１ｄの信号のみで画像を表示した。
　この画素ずらしの動作及び信号処理は、（１）撮像１、（２）垂直方向に１画素ピッチだけ移動、（３）撮像２、（４）撮像１の信号と撮像２の信号の減算、（５）水平画素ずらし、というステップを繰り返して実行する。
　図５において、（Ａ）はδＸ＝０の場合で、上記のＺ１の影響のみの結果を示す。この場合、解像度は２００本を越えた程度で、画素ずらしの効果はあまり見られない。この結果からわかるように、従来の１／２ピッチ画素ずらしより解像度は低下している。図５（Ｂ）はδＸ＝０.０５の場合で、Ｚ１にＺ２が加わった状態の結果である。光感知部の開口中心をわずか変えるだけで、６００本以上に解像度が向上していることがわかる。図５（Ｃ）は、δＸ＝０.１０の場合で、この場合は仮想開口部１ｄが消滅し、１ｃのみの場合でさらに解像度が向上していることがわかる。本実施形態はδＸを０としないことが特徴であるため、このシミュレーションの図５（Ｂ）、（Ｃ）の場合のように、大幅に解像度を向上できることがわかる。
　以上のように本発明の実施形態１によると、開口率の異なる２種類の光感知部の各々を１行おきに配列し、水平方向における２種類の光感知部の開口中心をずらせた構成を採用している。そして、本実施形態によれば、開口率が異なる２画素の差分信号により、水平方向の解像度が上昇した高精細な信号が得られるという効果がある。
　なお、本発明の実施形態１では、画素ずらし部の働きによって撮像面上における像の位置を垂直方向に１画素ずらせて、すなわち光感知部１ａと光感知部１ｂとを像の同じ部分に重ねた形で両画素の信号差を作っている。具体的には、撮像面上で垂直方向に１画素だけ、像をシフトさせることにより、像の同じ部分に関する輝度信号を光感知部１ａ及び光感知部１ｂの各々から取得している。しかし、撮像面に形成される像の輝度が、少なくとも画素ピッチ程度の大きさを持つ領域の範囲において、垂直方向に一様（変化しない）なら、撮像面上における像の位置を１画素だけずらす必要はない。すなわち、垂直方向に隣接する光感知部１ａ及び光感知部１ｂから同時刻に得られる信号を用いて画素間で信号差を作っても良い。
　図１の信号受信部６４は、固体撮像素子６０からの信号を受け取り、映像信号処理部７０に送出する。映像信号処理部７０は、信号受信部６４から受け取った信号を記憶する画像メモリ７２と、画像メモリ７２から読み出したデータからビデオ信号（高精細信号）を生成するビデオ信号生成部７２と、ビデオ信号を外部に出力するインターフェース（ＩＦ）部７６を有している。
　上述した方法によって得られた高精細信号はそのまま利用してよい。また、低解像であるが高感度な信号処理結果に加算しても、その効力を失うものではない。
　本実施形態では、撮像面上の各行の中で同じ開口率を有する光感知部を配置しているが、図４に示した基本構成の１行２列目と２行２列目の光感知部を入れ替えても問題はない。本実施形態では、開口の広い光感知部の開口率を１００％としたが、それに限定されるものではなく、また、開口の広い光感知部と開口の狭い光感知部の合計開口率が２００％になるよう両方を調整した構成を採用しても良い。そうすれば、全体的な感度低下も防止できる。
　（実施形態２）
　次に、図６を参照して、第２の実施形態を説明する。図６は本発明の実施形態２における光感知部の基本配置を示した平面図である。本実施形態では、２行２列を基本構成として２次元状に配列している。同図において、開口率１００％の光感知部１ａが１行１列目と１行２列目に配置されている。開口率５０％の光感知部１ｂが２行１列目と２行２列目に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部の右端が同じ位置にある。そのため、光感知部１ａの開口中心に対して、光感知部１ｂの開口中心は水平方向に０．２５ピッチ（δＸ＝０.２５）ずれている。
　本実施形態の場合は、実施形態１の図４で示した仮想開口部１ｄがなく、仮想開口部１ｃのみ形成される。このような画素配置構成で、実施形態１の場合と同様、水平方向に画素をずらせながら、垂直方向に隣接する２つの画素から信号の差分処理で高精細な信号を作る。この場合の画素の受光量Ｐ（ｎ）は、式１０において、δ＝（Ｔ－Ｔｂ）／２とすることにより得られ、その結果は式１５で示される。
　　［式１５］Ｐ（ｎ）＝Ｂ（ｓｉｎ（ω（Ｔ－Ｔｂ）／２）ｃｏｓ（ω（ｎＴ－Ｔｂ／２）））
　画素ずらしの場合、ｓｉｎ（ω（Ｔ－Ｔｂ）／２）によってその解像度性能が決まる。このため、（Ｔ－Ｔｂ）に相当する開口部１ｃの１／２のピッチで画素ずらしを行うことにより、解像度をサンプリング周波数ωｓのＴ／（Ｔ－Ｔｂ）倍付近まで向上させることができる。具体的に本実施形態の場合は、Ｔ＝１、Ｔｂ＝０.５であることから、解像度はサンプリング周波数ωｓの２倍、画素ずらしを行わない場合に比べて解像度を４倍向上できる。さらに本実施形態では、垂直方向に従来の１／２画素ピッチの画素ずらしも適用することとした。
　次に、本実施形態の画素ずらし型撮像装置によってクサビ型解像度パターンを撮像した場合のシミュレーションの結果を図７に示す。このシミュレーションでは、δＸを０～０.２５まで、０.０５ずつ変化させた。また、垂直方向に１画素ずつずらせ、下記水平ピッチの画素ずらしを行った。画素をずらさない場合の水平方向の限界解像度を２００本に設定している。本実施形態は、δＸ＝０.２５の場合である。また、このシミュレーションでは仮想開口部１ｃから得られる信号のみで画像を表示した。
　この画素ずらしの動作及び信号処理は、（１）撮像１、（２）垂直方向に１画素移動、（３）撮像２、（４）撮像１の信号と撮像２の信号の減算、（５）垂直方向に１／２画素移動し（１）～（４）処理実施、（６）水平画素ずらし、という繰り返しである。
　このシミュレーション結果から、同図（Ａ）δＸ＝０の場合、画素ずらしの効果はあまり無いことがわかる。しかし、この場合でも、垂直方向に１／２ピッチ画素ずらしを適用していることもあり、限界解像度は２５０本近くとやや向上している。一方、同図（Ｂ）～（Ｆ）はδＸ＞０の場合であるが、δＸが０でなければ極端に解像度が改善され、同図（Ｆ）δＸ＝０.２５で最も高精細な画像が得られ、解像度は７００本近くまで向上していることがわかる。
　以上のように本発明の実施形態２によると、開口率の異なる２種類の光感知部各々を１行おきに配列し、水平方向における２種類の光感知部の開口右端を同じ位置にすること及び垂直方向に隣接する２種類の光感知部間の開口差分から、仮想開口部を１つ作ることができる。そして、当該仮想開口部の水平方向の画素ずらしにより、水平方向の解像度が上昇した高精細な信号が得られるという効果がある。
　なお、本発明の実施形態２では、垂直方向に１画素ずらせて、すなわち光感知部１ａと１ｂとを重ねた形で両画素の信号差を作ったが、垂直方向に輝度変化が無いなら、垂直隣接の画素間で信号差を作っても良い。そして、得られた高精細信号はそのまま利用しても、画素加算して低解像であるが高感度な信号処理結果に加算しても、その効力を失うものではない。また、画素の構成として、各行の中では同じ光感知部としたが、図６に示した基本構成の１行２列目と２行２列目の光感知部を入れ替えても問題はない上、２種類の光感知部の位置に関して、開口部右端を揃えたが、開口部の左端を揃えても構わない。加えて、上記実施形態の中では、光感知部１ａの開口率を１００％としたが、それに限定されるものではなく、また、開口の広い光感知部と開口の狭い光感知部の合計開口率が２００％になるよう両方を調整した構成でも構わず、そうすれば全体的な感度低下も防止できる。
　（実施形態３）
　次に図８を参照しながら第３の実施形態を説明する。図８は本発明の実施形態３における光感知部の基本配置を示した平面図である。２行２列を基本構成として２次元状に配列している。同図において、開口率が高い光感知部（開口率１００％）１ａは、１行１列目と１行２列目に配置されている。開口率の低い光感知部１ａは、水平及び垂直方向に開口が狭く、２行１列目と２行２列目に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部１ｂの中心が光感知部１ａの中心よりδＸずれ、垂直方向に関して光感知部１ｂの中心が光感知部１ａを１ピッチずらせた中心位置よりδyずれている。
　本実施形態も上記２つの実施形態と同様、垂直方向に配列されている光感知部１ａと光感知部１ｂの開口差により、水平方向の解像度を向上させることができる。本実施形態では、光感知部１ａと光感知部１ｂの開口中心が２方向にずれていることが特徴である。すなわち、本実施形態は実施形態１とは異なり、垂直方向にも光感知部１ｂの開口が狭くなっている。
　本シミュレーションでは、光感知部１ｂの水平及び垂直方向の開口を画素ピッチの１／２に設定した。その結果、開口率は０．５×０．５＝０．２５となる。撮像被写体、限界解像度条件及び画素ずらし処理は、上記実施形態２の場合と同じである。光感知部１ｂの中心位置は、単位画素領域の中心位置から水平及び垂直方向に、それぞれ、δＸ、δyだけシフトしている。このシミュレーションでは、簡単のため、δＸ＝δyとして、δＸを０～０.２５まで０.０５ずつ変化させる。
　シミュレーション結果を図１０に示す。同図（Ａ）に示すように、δＸ＝δy＝０の場合は、従来の１／２ピッチ画素ずらしを行った場合に比べて解像度は向上していないが、実施形態２の場合より解像度は改善されている。垂直方向に隣接する２つの光感知部１ａ、１ｂの間に垂直方向のサイズ差（開口差）があると、水平方向の解像度特性を良化させる。
　δＸ＝δy＞０について、同図（Ｂ）～（Ｆ）にシミュレーション結果を示す。実施形態１及び２の場合と同様、解像度は極端に向上することがわかる。特にδＸ＝δy＝０.２０の場合や、δＸ＝δy＝０.２５の場合では、７００本近くまで解像していることがわかる。
　光感知部１ｂの面積縮小に伴って光感度が低下するという課題はある。しかし、光感知部１ｂを水平及び垂直方向に狭くし、図９に示すように光感知部１ａと光感知部１ｂとの位置差が最大になるようにすると、解像度を大きく向上できる。また、このような結果から、水平及び垂直方向の解像度を同時に向上させるには、図１１に示すように光感知部１ａと光感知部１ｂを２次元的に交互）に配列させる構成（チェッカーパターン）も考えられる。
　以上のように本発明の実施形態３によると、開口率の異なる２種類の光感知部各々を１行おきに開口中心が重ならず配列し、開口率の低い光感知部について水平及び垂直方向に開口を狭くすることにより、水平方向の解像度が上昇した高精細な信号が得られる。また、画素を図１１に示す形に配列させることにより、水平及び垂直方向の解像度を同時に向上させることが期待できる。
　（実施形態４）
　次に、図１２を参照して第４の実施形態を説明する。図１２は本発明の実施形態４における光感知部の基本配置を示した平面図である。同図において、開口率が高い光感知部（開口率１００％）１ａは、１行１列目と１行２列目に配置されている。開口率の低い光感知部１ｂは、水平方向に開口が狭く、その開口率は光感知部１ａの開口率の１／２であり、２行１列目と２行２列目に配置されている。
　光感知部１ａと光感知部１ｂは、水平方向に関して光感知部１ｂの中心と光感知部１ａの中心が同じ位置に配置されている。言い換えると、光感知部１ａを垂直方向に画素ピッチだけシフトさせたとき、シフトした光感知部１ａの中心と光感知部１ｂの中心とが一致するように光感知部１ａ、１ｂの位置が決められている。
　次に、本実施形態における画像の高精細処理について説明する。
　本実施形態では、撮像面上で像を斜めにシフトさせることにより、水平方向の高精細化を図ることができる。上記実施形態１～３では、撮像面上での像のシフトを、垂直移動、水平移動と別々に行っていたが、本実施形態では斜め方向に行う。そして、本実施形態では、垂直方向に隣接する開口率が異なる２つの光感知部から得られる信号の差分（仮想画素からの信号に相当）のみならず、開口率が相対的に低い光感知部から出力される信号（現実の画素信号）をも利用して水平解像度を向上させる点に特徴を有している。
　画素ずらし部の働きによって撮像面上で像を斜めにシフトさせることは、像を基準にすると、画素を斜めにシフトさせることに対応する。このため、以下の説明では、画素ずらし部の働きによって撮像面上で像をシフトさせることを、「画素をずらす」と表現することになる。
　本実施形態では、画素を斜め方向にずらすため、水平方向における画素中心（光感知部の中心のＸ座標）が、垂直方向に隣接する２つの画素の間で同じであっても良い。具体的には、連続して複数のフレームを撮像するとき、あるフレームの撮像を完了し、次のフレーム（現フレーム）の撮像を行う前に、画素を斜めにずらすことになる。現フレームの撮像を開始する前には、１フレーム前の画素を垂直方向に１画素分（１画素ピッチ）、水平方向にδｓだけずらす。
　１フレーム前の画像と現フレーム画像との減算結果を用い仮想的な画素からの信号を得るとともに、１フレーム前の画像から開口率が相対的に低い画素からの現実の信号を取得する。これらを用いて、高精細な画像を作る。ここで，光感知部１ａの水平方向の開口幅をＷ１ａ、光感知部１ｂの水平方向の開口幅をＷ１ｂとすると、δｓは式１６で表される。本実施形態の場合は、Ｗ１ａ：Ｗ１ｂ＝２：１であるので、δｓ＝Ｗ１ａ／４で、これは水平画素ピッチの１／４である。
　　［式１６］δｓ＝（Ｗ１ａ－Ｗ１ｂ）／２
　画素のずらし方について、図１３を参照しながら説明する。図１３（Ａ）は２次元状に配列された画素群におけるｎ行目前後の基本構成と画素の移動方向を示している。図１３（Ｂ）は、ｎ行目とｎ＋１行目について、移動前の画素に移動後の画素を重ね合わせた状態を示している。開口率が高い光感知部が開口率の低い画素を完全に覆っている。開口率が高い光感知部のうち、開口率が低い光感知部を覆っていない部分（非重複領域）は、各光感知部について１つのみである。この非重複領域が仮想画素の受光領域として機能する。この仮想画素の受光量は、開口率が異なる２つの光感知部からから得られる信号の差分に相当する。図１３（Ｃ）は、画素ずらしによる画素の移動前後の画素信号と、それらの差分から作り出した仮想画素の信号を示したものである。ここで、光感知部１ａ及び１ｂの画素信号は、画素移動前すなわち１フレーム前にｎ行目に存在していたならば、１ａ（ｎ）及び１ｂ（ｎ）と表現する。
　まず光感知部１ｂについて、垂直方向に１画素ピッチ分、水平方向に１／４画素ピッチ分移動させる。この水平方向の移動に関して、光感知部１ｂの水平幅が水平画素ピッチの１／２であるので、１／４画素ピッチ分移動させることは、図１３（Ｃ）（１）（２）に示すように従来の１／２ピッチ画素ずらしを移動と時間差で実現したに過ぎない。一方、光感知部１ａに関して、移動後の１ａ（ｎ）信号と移動前の１ｂ（ｎ＋１）信号の減算から、光感知部１ａと光感知部１ｂの開口差による仮想画素信号を作る（図１３（Ｃ）（３））。
　本実施形態の場合は、光感知部１ｂの水平幅と水平移動量の関係から、水平方向が１／２サイズの画素が仮想的に作られ、その仮想画素から信号が得られたことと等価である。また、移動前の１ａ（ｎ）信号と移動後の１ｂ（ｎ－１）信号の減算から、同様に光感知部１ａと光感知部１ｂの開口差による仮想画素信号を作る（図１３（Ｃ）（４））。
　結局、光感知部１ｂの画素ずらしに、光感知部１ａと光感知部１ｂの開口差による仮想画素の画素ずらしが加わる。その結果、１／２サイズ画素の１／２ピッチ画素ずらしが実現できることになり、水平解像度が４倍高められる。
　本実施形態では、開口率の低い画素と仮想画素の水平開口が同じであったが、異なる場合は、どちらか水平開口の大きい画素によって解像度は低下する。そのような場合は、両画素において水平開口の大きい画素の１／２開口分さらに水平移動させれば、その分画素ずらし効果が得られるので、解像度低下を防止できる。
　以上のように、本発明の実施形態４によると、開口率の異なる２種類の光感知部を有し、画素を斜めに移動させることにより画素の開口差による仮想画素をつくる。そしてその仮想画素と開口率の低い画素との信号から、高精細な画像信号が得られる。
　なお、本発明の実施形態４では、２種類の光感知部に関して開口率を１００％、５０％としたが、それらに限定されるものではなく、両光感知部に開口差があり、画素移動で１種類の仮想画素を作ることができれば問題ない。また、画素の開口差も水平方向のみとしたが、これに限定されるものではなく、垂直方向にも開口差を作り、当該方向にも画素を移動させて仮想画素を作ることができれば、同様に解像度を向上できる。
　（実施形態５）
　次に、図１４を参照しながら、第５の実施形態を説明する。図１４（Ａ）は本発明の実施形態５における光感知部上に配設されたマイクロレンズアレイの一部を示す平面図である。このマイクロレンズアレイは、現実には、２次元的に配列された多数のマイクロレンズを有しているが、図１４（Ａ）に示す２行２列のマイクロレンズのセットを基本構成としている。また、図１４（Ｂ）は、図１４（Ａ）におけるＡＡ’線断面図である。１４図（Ｃ）は、図１４（Ａ）におけるＢＢ’線断面図である。図１４に示す４つのマイクロレンズのセットにおいて、集光率の相対的に高いマイクロレンズ２ａと、集光率の相対的に低いマイクロレンズ２ｂとが、垂直方向に隣接して配置されている。両マイクロレンズ２ａ、２ｂの右端が垂直方向の延びる同一直線上にある。マイクロレンズ２ａ、２ｂからの光を受けて電気信号に出力する光感知部１ｇは、水平垂直方向に規則的に配列している。
　本実施形態の場合、マイクロレンズ２ａは光感知部１ｇの開口中心上に位置しているが、マイクロレンズ２ｂは光感知部１ｇの開口中心から水平方向にずれている。しかしながら、そのずれはマイクロレンズ２ｂが光感知部１ｇに集光を全て投射できる範囲内にある。このような構造すなわちマイクロレンズの構造を部分的に変えることにより、撮像素子の各光感知部は同じ開口率でありながら、実質的に光感知部の開口差を作り出すことができる。光感知部であるフォトダイオードの構造を変えるより、このように撮像素子表面のマイクロレンズの形状を変える方が製造工程上容易である。なぜなら、フォトダイオードの開口部を作る際には表面上の凹凸が大きいが、マイクロレンズを作製する段階では表面が平坦になっているため、その形状を制御しやすいからである。その他、直接光感知部の開口を大きくすると、スミア等の撮像特性に悪影響を及ぼす可能性も有り得る。
　以上のように、本実施形態５によると、撮像素子表面に配設されているマイクロレンズの形状を変えることにより、光感知部の開口率を変えることができ、製造工程上あるいは撮像素子の特性上有利であるという効果がある。
　なお、実施形態５では、実施形態１の中で開口率の高い光感知部の領域右端と開口率の低い光感知部の領域右端とが水平方向に関して一致した場合に適用したが、これに限るものではなく、実施形態２～４の場合でも、その他の場合でも光感知部の開口差を利用して高精細化を図る撮像素子には全て適用しても構わない。
　以上の実施形態１～実施形態５では、撮像素子の光感知部は水平及び垂直方向に配列した前提で本発明を適用したが、これに限るものではなく、水平に対して４５度及び１３５度傾いた配列等斜め配列構造の素子にも適用できる。また、撮像素子の光感知部について、開口率の異なる２種類を取り上げて説明したが、これに限るものではなく、開口率が３種類以上であっても、開口差を作り仮想画素の信号が得られるならば、画像の高精細化は可能である。
　（実施形態６）
　図１７は、本発明の実施形態６における２画像による画素ずらし型撮像装置の構成図である。
　本実施形態の画素ずらし型撮像装置は、第１の精細度で撮像を行う第１の撮像系と、第１の精細度よりも低い第２の精細度で撮像を行う第２の撮像系とを備えている。そして、第１の撮像系で得られた第１の画像と第２の撮像系で得られた第２の画像とを画素単位で対応付ける照合手段をと、光学的な結像に対して画素を相対的に移動させる画素ずらし手段とを更に備えている。
　以下、本実施形態の画素ずらし型撮像装置をより詳細に説明する。
　図１７の装置は、被写体からの光を２分割するビームスプリッター７と、分割された光を２つの固体撮像素子の撮像面に導くための反射鏡６、６１及び６２とを備えている。
　分割された２つの光路の各々を横切るように、光学特性が同一のレンズを２つ有する二眼レンズ５が配置されている。二眼レンズ５は、二眼レンズ５を水平方向に微動させる微動装置４に結合されている。
　撮像素子１１及び１２は、水平方向の画素数が異なる以外、垂直方向の画素数や受光エリア等全て撮像特性が同じである。この例では、撮像素子１１の水平方向の画素数は２Ｍ、垂直方向の画素数がＮである。一方、撮像素子１２の水平方向の画素数は３Ｍ、垂直方向の画素数がＮである（但し、Ｍ、Ｎは整数である）。
　本実施形態の撮像装置は、撮像素子１１及び撮像素子１２からの画像信号を受け、微動量を微動装置４に指示すると共に高精細な画像信号を生成する高精細信号発生装置３を備えている。
　図１８は撮像素子１１及び撮像素子１２における画素配列の１部を示した平面図である。図１８（Ａ）および（Ｂ）は、それぞれ、両撮像素子の水平方向における画素サイズを相対的に表している。図１８（Ａ）には、撮像素子１１の画素１１ａ、１１ｂが示されている。同図（Ｂ）には、撮像素子１２の画素１２ａ、１２ｂ、１２ｃが示されている。
　撮像素子１１の水平画素数は、撮像素子１２の水平画素数よりも少ない。しかし、撮像素子１１における各画素の水平方向の開口領域は広い。本実施形態では、撮像素子１１の水平画素数は２Ｍ（２００万）であるに対して、撮像素子１２の水平画素数は３Ｍ（３００万）であるある。一方、撮像素子１１における各画素１１ａ、１１ｂの開口率は撮像素子１２における各画素の開口率の１．５倍である。
　図１８（Ｃ）は、両撮像素子の画素の開口差を示している。領域１０１ａは画素１１ａと画素１２ａの開口差を示し、領域１０１ｂは画素１１ｂと画素１２ｃの開口差を示している。ここで、撮像素子１１と撮像素子１２が同じ被写体を同じ画角で撮像したとすると、画素１１ａの光電変換信号と画素１２ａの光電変換信号の差分信号は、領域１０１ａを仮想画素とした場合の光電変換信号と考えることができる。すなわち、領域１０１ａ、１０１ｂは仮想画素として機能する。
　次に本実施形態における２画像による画素ずらし型撮像装置の動作について説明する。
　図１７及び図１８の構成を有する撮像装置を用いて被写体を撮像すると、まず被写体からの光がビームスプリッター７で２分割される。一方の光は、反射鏡６１を介して、また他方の光は反射鏡６と６２を介して、二眼レンズ５に入射する。ここで、ビームスプリッター７から反射鏡６１を介して二眼レンズ５までの光路長とビームスプリッター７から反射鏡６、６２を介して二眼レンズ５までの光路長は同じになるよう各機器は配置設定されている。
　２つの被写体光はそれぞれ二眼レンズ５により撮像素子１１と撮像素子１２の受光面で結像し、両撮像素子によって光電変換される。
　なお、結像に対する両撮像素子の相対位置について、反射鏡６１あるいは６２の水平位置が微調整され、図１８で示すように撮像素子１１の２画素と撮像素子１２の３画素が水平位相差０になっている。
　撮像素子１１及び撮像素子１２からの画像信号は高精細信号発生装置１３に入力され、当該装置の中で撮像素子１１からの画像信号は画像メモリ１に、また撮像素子１２からの画像信号は画像メモリに蓄積される。
　高精細信号発生装置１３では、第１画像メモリの水平２画素信号の加算と、第２画像メモリの水平３画素信号の加算を行い、それら全てを用いて２つの画像の照合及びその他の信号処理を行う。その他の信号処理とは、微動装置４への微動指示処理、撮像素子１１、１２への撮像指示処理と高精細信号生成処理である。
　図１９（Ａ）は、第１画像メモリ３１における画素信号の配列状態を示している。一方、図１９（Ｂ）は、第２画像メモリ３２における画素信号の配列状態を示している。図２０は、２つの画像の照合処理及びその他の信号処理のフローチャートである。但し、画像メモリ１における水平２画素信号Ｇ１（２ｊ－１，ｉ）、Ｇ１（２ｊ，ｉ）の加算信号をＳＧ１（ｊ，ｉ）、画像メモリ２における水平３画素信号Ｇ２（３ｊ－２，ｉ）、Ｇ２（３ｊ－１，ｉ）、Ｇ２（３ｊ，ｉ）の加算信号をＳＧ２（ｊ，ｉ）とする。
　図２０に示すフローチャートにおいて、２つの画像の水平方向のずれ量をｄＸ、垂直方向のずれ量をｄＹとする。処理スタート時は、ｄＸ＝０、ｄＹ＝０として（Ｓ１）、ｉ＝ｉ＋ｄＹ、ｊ＝ｊ＋ｄＸとする（Ｓ２）。
　次に、加算信号ＳＧ１（ｊ，ｉ）、ＳＧ２（ｊ，ｉ）の差分をとり、その全データ分の加算結果を予め設定した値Ｚｔｈと比較判定する（Ｓ３）。比較判定結果が肯定（Ｙｅｓ）されたなら、仮想画素１０１ａの信号ＶＧ１（ｊ，ｉ）を式６、仮想画素１０１ｂの信号ＶＧ２（ｊ，ｉ）を式７により算出する。
　その後、以下の５つの水平画素ずらし処理を行いながら、次々と仮想画素の信号を作る（Ｓ４）。この作り出された仮想画素の信号は、水平方向の開口（δ）が狭く、その１／２ピッチと３／２ピッチで画素ずらしを行っているので、高精細信号となる（Ｓ５）。この動作を図２１に示す。この画素ずらしの状況は仮想画素が密に水平方向に配列され、さらに１／２ピッチで画素ずらしを行うことと等価である。
　　［式６］ＶＧ１（ｊ，ｉ）＝Ｇ１（２ｊ－１，ｉ）－Ｇ２（３ｊ－２，ｉ）
　　［式７］ＶＧ２（ｊ，ｉ）＝Ｇ１（２ｊ，ｉ）－Ｇ２（３ｊ，ｉ）
・水平画素ずらし処理１：［１］微動装置４に対して水平方向にδ／２移動指令
　　　　　　　　　　　　［２］撮像素子１１、１２から画像信号受信
　　　　　　　　　　　　［３］仮想画素１０２ａ、１０２ｂの信号作成
・水平画素ずらし処理２：［４］微動装置４に対して水平方向に３δ／２移動指令
　　　　　　　　　　　　［５］撮像素子１１、１２から画像信号受信
　　　　　　　　　　　　［６］仮想画素１０３ａ、１０３ｂの信号作成
・水平画素ずらし処理３：［７］微動装置４に対して水平方向にδ／２移動指令
　　　　　　　　　　　　［８］撮像素子１１、１２から画像信号受信
　　　　　　　　　　　　［９］仮想画素１０４ａ、１０４ｂの信号作成
・水平画素ずらし処理４：［１０］微動装置４に対して水平方向に３δ／２移動指令
　　　　　　　　　　　　［１１］撮像素子１１、１２から画像信号受信
　　　　　　　　　　　　［１２］仮想画素１０５ａ、１０５ｂの信号作成
・水平画素ずらし処理５：［１３］微動装置４に対して水平方向にδ／２移動指令
　　　　　　　　　　　　［１４］撮像素子１１、１２から画像信号受信
　　　　　　　　　　　　［１５］仮想画素１０６ａ、１０６ｂの信号作成
　もし比較判定結果が否定されたなら、このことは２つの画像配置が合っていないことを意味するので、画像メモリ１のデータに対して、ｄＸ、ｄＹを１増加あるいは１減少させて（Ｓ６）、上記処理を繰り返す。ここでは画像メモリ１を対象としたが、画像メモリ２を対象としても問題ない。
　本実施形態の場合、水平方向における撮像素子１１と撮像素子１２の画素数が２：３であるので、撮像素子１１と比較すると開口１／３の仮想画素が作られることになる。その仮想画素を水平方向に密に配列したとすると、撮像素子１１に対しては３倍、撮像素子１２に対しては２倍解像度が向上することになる。さらに１／２ピッチ画素ずらしを行うことと等価であるので、その２倍解像度が向上する。結局、撮像素子１１のみを利用した場合と比べて６倍、また撮像素子１２のみを利用した場合と比べて４倍解像度が向上することになる。
　以上のように本発明の実施形態６によると、撮像精細度が異なる少なくとも２種類の撮像系で撮像する装置であって、水平方向において２つの撮像系の精細度が２：３であれば、仮想画素の水平画素ピッチの１／２と３／２で画素ずらしを行うことにより４倍～６倍解像度が向上し、従来技術にない効果がある。すなわち、僅かな開口差から発生する仮想画素が大きな解像度向上を実現できる。
　なお、本実施形態では、条件を以下としたが、それらに限定されるものではない。
（１）撮像素子の水平解像度のみ異なる撮像系としたが、垂直解像度が異なるものでも構わない。
（２）撮像素子の水平解像度のみ異なる撮像系としたが、水平及び垂直解像度が異なるものでも、斜め方向に仮想画素の１／２、３／２ピッチで画素ずらしを行えば、開口差の効果はある。
（３）撮像素子の解像度が異なる撮像系としたが、光学系の分解能が異なるものでも構わない。
（４）２つの撮像系の精細度を２：３としたが、その他の整数比ｎ：ｍでも構わない。特にｎ、ｍの値が大きく、それらの差が小さければ、大きな解像度が得られる。
（５）撮像系を２つとしたが、精細度が異なれば３つ以上でも構わない。
　なお、立体画像の撮像を行うために、２つ以上の撮像系を備えるカメラの開発が行われている。このようなカメラを本発明に適用することは容易である。
　本発明にかかる固体撮像装置は、固体撮像素子を用いた民生用カメラ、所謂、デジタルカメラ、デジタルムービーや放送用の固体カメラ、夜間監視を含めた産業用の固体監視カメラ等、全てのカメラに有効である。
　１　　　単位画素領域
　１ａ　　開口部の広い光感知部（フォトダイオード）
　１ｂ　　開口部の狭い光感知部
　１ｃ　　光感知部
　１ｃ，１ｄ，１ｅ，１ｆ　　仮想の開口部
　２ａ　　集光率の高いマイクロレンズ
　２ｂ　　集光率の低いマイクロレンズ
　１１　　撮像素子
　１１ａ、１１ａ　画素
　１１ｂ　画素
　１２　　撮像素子
　１２ａ、１２ｂ、１２ｃ　画素

Claims (29)

  1. 　固体撮像素子と、
    　前記固体撮像素子の撮像面に像を形成する光学系と、
    　前記撮像面上における前記像の位置をシフトさせる画素ずらし部と、
    　前記固体撮像素子から出力される電気信号を処理する映像信号処理部と、
    を備える画素ずらし型撮像装置であって、
    　前記固体撮像素子は、
    　前記撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有しており、
    　前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、
    　前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、
    　前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆い、前記仮想的に移動した第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、
    　前記映像信号処理部は、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号を得る画素ずらし型撮像装置。
  2. 　前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向に距離δだけずれている、請求項１に記載の画素ずらし型撮像装置。
  3. 　前記第１の方向に平行な前記第２の光感知部の２つのエッジの一方は、前記第１の方向に平行な前記第１の光感知部の２つのエッジを前記第１の方向に延長した直線の一方に接している、請求項２に記載の画素ずらし型撮像装置。
  4. 　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記距離δの半分以上の距離だけシフトさせる、請求項２または３に記載の画素ずらし型撮像装置。
  5. 　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２画素ピッチの半分以下の距離だけシフトさせる、請求項４に記載の画素ずらし型撮像装置。
  6. 　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２光感知部の幅の半分以下の距離だけシフトさせる、請求項５に記載の画素ずらし型撮像装置。
  7. 　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチの半分シフトさせる、請求項１に記載の画素ずらし型撮像装置。
  8. 　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチだけシフトさせること、及び前記第１画素ピッチの半分だけシフトさせることを交互に実行する、請求項１から７のいずれかにに記載の画素ずらし型撮像装置。
  9. 　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの方向にシフトさせる、請求項１から７のいずれかに記載の画素ずらし型撮像装置。
  10. 　前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向にδＸだけずれ、かつ前記第１方向にδＹだけずれている、請求項１に記載の画素ずらし型撮像装置。
  11. 　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離δＹの半分以上かつ前記第１画素ピッチの半分以下の距離Ｙ１だけシフトさせ、かつ、前記第２方向に前記距離δＸの半分以上かつ前記第２画素ピッチの半分以下の距離Ｘ１だけシフトさせる請求項１０に記載の画素ずらし型撮像装置。
  12. 　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離Ｙ１プラス前記第１画素ピッチだけシフトさせ、かつ、前記第２方向に、前記距離Ｘ１プラス前記第２画素ピッチだけシフトさせる請求項１１に記載の画素ずらし型撮像装置。
  13. 　前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心が前記シフトした第１の光感知部の中心と一致するように前記第１の光感知部及び前記第２の光感知部が配置されており、
    　前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの第３方向にシフトさせ、
    　前記画素ずらし部による前記第３方向のシフトにより、前記第１の光感知部は前記第２の光感知部の全体を覆い、かつ、前記第１の光感知部のうちで前記第２の光感知部を覆わない部分が１つの領域だけ形成され、前記領域が仮想画素として機能し、
    　前記映像信号処理部は、前記画素ずらし部による前記シフトの前後に得られる前記前記第１の画素信号及び前記第２の画素信号の差分と、前記第２の画素信号とに基づいて高精細信号を生成する、請求項１に記載の画素ずらし型撮像装置。
  14. 　前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に移動させるとともに、前記第２方向にも（Ｗ１ａ－Ｗ１ｂ）／２によって規定される距離だけ移動させる、請求項１３に記載の画素ずらし型撮像装置。
  15. 　前記第１の光感知部の前記第１方向における長さをＴ１ａ、前記第２の光感知部の前記第１方向における長さをＴ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に、（Ｔ１ａ－Ｔ１ｂ）／２によって規定される距離だけ移動させるとともに、前記第１方向にも移動させる、請求項１３または１４に記載の画素ずらし型撮像装置。
  16. 　前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき（Ｗ１ａ＞Ｗ１ｂ）、
    　Ｗ１ｂがＷ１ａ／２に一致しない場合、前記画素ずらし部は、前記第３方向のシフトとは別に、前記撮像面上における前記像の位置を前記第２方向にＷ１ａ／２だけシフトさせる、請求項１０に記載の画素ずらし型撮像装置。
  17. 　前記画素ずらし部は、前記第３方向のシフトを周期的に繰り返す、請求項１０に記載の画素ずらし型撮像装置。
  18. 　前記固体撮像素子は、前記第１光感知部及び前記第２光感知部の開口率及び位置を調節するマイクロレンズのアレイを有している、請求項１から１７のいずれかに記載の画素ずらし型撮像装置。
  19. 　撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有する固体撮像素子であって、
    　前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、
    　前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、
    　前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆う、固体撮像素子。
  20. 　前記第１方向に前記第１画素ピッチだけ仮想的に移動した前記第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、
    　前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号が得られる、請求項１９に記載の固体撮像素子。
  21. 　前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とが一致しないように前記第１の光感知部及び第２の光感知部の位置が決められている、請求項１９に記載の固体撮像素子。
  22. 　前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心に対して前記第２方向に距離δだけずれている、請求項１９に記載の固体撮像素子。
  23. 　前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とを結ぶ直線は、前記第１方向に対して平行ではない、請求項２２に記載の固体撮像素子。
  24. 　被写体からの光を第１の光路及び第２の光路を含む少なくとも２つの光路に分岐するスプリッタと、
    　前記第１の光路を通る光により、第１の精細度で撮像を行う第１の固体撮像素子と、
    　前記第２の光路を通る光により、前記第１の精細度よりも高い第２の精細度で撮像を行う第２の固体撮像素子と、
    　前記第１の固体撮像素子で得られた第１の画像と前記第２の固体撮像素子で得られた第２の画像とを画素単位で対応付ける照合手段と、
    　前記各固体撮像素子の撮像面上における像の位置をシフトさせる画素ずらし部と、
    　前記照合手段によって対応付けられた画素間の開口差による画素領域を仮想画素とし、前記画素ずらし部による前記仮想画素の移動量が前記仮想画素の１／２ピッチあるいは３／２ピッチを含んでいる、画素ずらし型撮像装置。
  25. 　前記第１の撮像素子は、第１の密度で配列された画素を有し、
    　前記第２の撮像素子は、前記第１の密度よりも高い第２の密度で配列された画素を有する、請求項２４に記載の画素ずらし型撮像装置。
  26. 　第１の倍率を有する第１の光学系を前記第１の光路に有し、
    　前記第１の倍率よりも小さな倍率を有する第２の光学系を前記第２の光路に有する、請求項２４に記載の画素ずらし型撮像装置。
  27. 　前記第１の精細度：前記第２の精細度は、ｎ：ｍである（ｎ、ｍは、互いに異なる正の整数、ｎ＜ｍ）である請求項２４に記載の画素ずらし型撮像装置。
  28. 　前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍である請求項２４に記載の画素ずらし型撮像装置。
  29. 　前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍、または１／２倍及び３／２倍である請求項２４に記載の画素ずらし型撮像装置。
PCT/JP2009/004774 2008-10-02 2009-09-18 画素ずらし型撮像装置 WO2010038378A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/745,366 US8253818B2 (en) 2008-10-02 2009-09-18 Pixel shift type imaging device
CN2009801012287A CN101884215A (zh) 2008-10-02 2009-09-18 像素错开型摄像装置
JP2010501322A JPWO2010038378A1 (ja) 2008-10-02 2009-09-18 画素ずらし型撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008257092 2008-10-02
JP2008-257092 2008-10-02
JP2008-263864 2008-10-10
JP2008263864 2008-10-10

Publications (1)

Publication Number Publication Date
WO2010038378A1 true WO2010038378A1 (ja) 2010-04-08

Family

ID=42073162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004774 WO2010038378A1 (ja) 2008-10-02 2009-09-18 画素ずらし型撮像装置

Country Status (6)

Country Link
US (1) US8253818B2 (ja)
JP (1) JPWO2010038378A1 (ja)
KR (1) KR20110059686A (ja)
CN (1) CN101884215A (ja)
TW (1) TW201043017A (ja)
WO (1) WO2010038378A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011129249A1 (ja) * 2010-04-15 2011-10-20 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103098480B (zh) * 2011-08-25 2018-08-28 松下电器（美国）知识产权公司 图像处理装置及方法、三维摄像装置
JP5997541B2 (ja) * 2012-08-10 2016-09-28 キヤノン株式会社 画像信号処理装置およびその制御方法
CN105791706B (zh) * 2014-12-24 2018-12-11 昆达电脑科技(昆山)有限公司 摄影装置及其方法
JP6558088B2 (ja) * 2015-06-12 2019-08-14 リコーイメージング株式会社 撮影装置、撮影制御装置及び撮影制御方法
EP3264741A1 (en) 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling with improved resolution
US10964002B2 (en) * 2016-11-08 2021-03-30 Nec Corporation Image processing method, image processing apparatus and image processing program
CN108347554A (zh) * 2018-03-20 2018-07-31 浙江国自机器人技术有限公司 一种工业相机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09326961A (ja) * 1996-06-07 1997-12-16 Canon Inc 撮像装置
JP2002369104A (ja) * 2001-02-19 2002-12-20 Toshiba Corp 表示装置および画像処理方法
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58137247A (ja) 1982-02-10 1983-08-15 Hitachi Ltd 固体撮像装置
US4602289A (en) * 1982-05-31 1986-07-22 Tokyo Shibaura Denki Kabushiki Kaisha Solid state image pick-up device
JPS60187187A (ja) 1984-03-06 1985-09-24 Matsushita Electronics Corp 固体撮像装置およびその駆動方法
JPS63284979A (ja) 1987-05-15 1988-11-22 Fujitsu Ltd 固体撮像装置
JPS6469160A (en) 1987-09-10 1989-03-15 Canon Kk Picture input device
JPH04125927A (ja) 1990-09-18 1992-04-27 Fujitsu Ltd 基板洗浄方法
JP2868915B2 (ja) 1991-03-27 1999-03-10 株式会社東芝 固体撮像装置
JP4018820B2 (ja) * 1998-10-12 2007-12-05 富士フイルム株式会社 固体撮像装置および信号読出し方法
JP2002159014A (ja) * 2000-11-21 2002-05-31 Hitachi Ltd 画像生成装置および生成方法
US20020145668A1 (en) 2001-02-19 2002-10-10 Nozomu Harada Imaging apparatus for providing image in a resolution higher than is possible with a resolution provided numbers of physical pixels, and display apparatus for displaying image in a resolution same
JP4125927B2 (ja) 2002-08-16 2008-07-30 富士フイルム株式会社 固体撮像装置および固体撮像素子
JP4738907B2 (ja) 2004-11-19 2011-08-03 富士フイルム株式会社 固体撮像素子および固体撮像装置
JP4241840B2 (ja) * 2006-02-23 2009-03-18 富士フイルム株式会社 撮像装置
US7768569B2 (en) * 2006-08-17 2010-08-03 Altasens, Inc. High sensitivity color filter array
JP4448888B2 (ja) * 2008-04-01 2010-04-14 富士フイルム株式会社 撮像装置及び撮像装置の信号処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09326961A (ja) * 1996-06-07 1997-12-16 Canon Inc 撮像装置
JP2002369104A (ja) * 2001-02-19 2002-12-20 Toshiba Corp 表示装置および画像処理方法
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011129249A1 (ja) * 2010-04-15 2011-10-20 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2011227578A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置、撮像装置、プログラム及び画像処理方法
CN102870403A (zh) * 2010-04-15 2013-01-09 奥林巴斯株式会社 图像处理装置、摄像装置、程序以及图像处理方法
US9210341B2 (en) 2010-04-15 2015-12-08 Olympus Corporation Image processing device, imaging device, information storage medium, and image processing method
CN102870403B (zh) * 2010-04-15 2016-05-25 奥林巴斯株式会社 图像处理装置、摄像装置以及图像处理方法
EP2560375A4 (en) * 2010-04-15 2016-10-26 Olympus Corp IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, PROGRAM, AND IMAGE PROCESSING METHOD

Also Published As

Publication number Publication date
TW201043017A (en) 2010-12-01
KR20110059686A (ko) 2011-06-03
US8253818B2 (en) 2012-08-28
JPWO2010038378A1 (ja) 2012-02-23
CN101884215A (zh) 2010-11-10
US20100309329A1 (en) 2010-12-09

Similar Documents

Publication Publication Date Title
WO2010038378A1 (ja) 画素ずらし型撮像装置
US9843751B2 (en) Solid-state image sensor and camera system
JP6885344B2 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
JP6408372B2 (ja) 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP5119668B2 (ja) 固体撮像装置
US8466998B2 (en) Solid-state image sensor and imaging apparatus equipped with solid-state image sensor
WO2012026051A1 (ja) 固体撮像素子および撮像装置
JP6026102B2 (ja) 固体撮像素子および電子機器
JP5597777B2 (ja) カラー撮像素子及び撮像装置
JP2008099073A (ja) 固体撮像装置および撮像装置
JP2007279512A (ja) 立体カメラ及び立体撮像素子
WO2011043051A1 (ja) 撮像装置および固体撮像素子
JP2008011532A (ja) イメージ復元方法及び装置
JP2007155930A (ja) 固体撮像素子及びこれを用いた撮像装置
CN106506997B (zh) 包括相位差检测像素的图像传感器
US11431898B2 (en) Signal processing device and imaging device
JP7402021B2 (ja) 撮像素子および撮像装置
JP2013157531A (ja) 固体撮像素子および電子情報機器
JP6368125B2 (ja) 撮像装置
JP2012004437A (ja) 固体撮像装置
JP4711630B2 (ja) 固体撮像素子
JPS58182265A (ja) 固体撮像素子の撮像方法
JP6597757B2 (ja) 撮像装置
JP5926034B2 (ja) 撮像素子
JP4309862B2 (ja) 固体撮像素子

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980101228.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010501322

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20107009628

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09817421

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12745366

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09817421

Country of ref document: EP

Kind code of ref document: A1