WO2007135885A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2007135885A1
WO2007135885A1 PCT/JP2007/059851 JP2007059851W WO2007135885A1 WO 2007135885 A1 WO2007135885 A1 WO 2007135885A1 JP 2007059851 W JP2007059851 W JP 2007059851W WO 2007135885 A1 WO2007135885 A1 WO 2007135885A1
Authority
WO
WIPO (PCT)
Prior art keywords
mixing ratio
subject
signal
distance
wavelength
Prior art date
Application number
PCT/JP2007/059851
Other languages
English (en)
French (fr)
Inventor
Jun Takayama
Original Assignee
Konica Minolta Holdings, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings, Inc. filed Critical Konica Minolta Holdings, Inc.
Priority to US12/300,911 priority Critical patent/US8040396B2/en
Priority to JP2008516605A priority patent/JP5146682B2/ja
Publication of WO2007135885A1 publication Critical patent/WO2007135885A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to an imaging apparatus and an imaging method, and more particularly to an imaging apparatus and an imaging method for capturing a three-dimensional image using a plurality of imaging elements.
  • a subject is imaged by using a plurality of image sensors with different positional forces to obtain a correlation between captured images, and the subject is determined using parallax with respect to the same subject using parameters such as the position of the image sensor and the focal length.
  • three-dimensional imaging devices that measure the position (distance) of the camera (see Patent Document 1 to Patent Document 3).
  • the luminance signal Y obtained from each wavelength signal (RGB signal or the like) output from the imaging device is used to detect the distance of the subject.
  • the luminance signal Y is usually obtained by mixing each wavelength signal output from the image sensor force at a fixed ratio.
  • Patent Document 2 JP 2000-186929 A
  • Patent Document 3 Japanese Patent Laid-Open No. 2000-347133
  • the subject power that has passed through a pan focus (fixed focus) lens The reflected light has a different focus for each wavelength.
  • the image formation surface is light of each wavelength, that is, red (R), green (G ) And blue (B) light.
  • the focal lengths of the lenses 17a to 17c are constant, the optimum position (distance) of the subject in focus differs for each wavelength. That is, red light is focused on a subject at a far position compared to green light, and blue light is focused on a subject located near and far compared with green light.
  • the green signal when the subject is at a close distance of several tens of centimeters or less, the green signal is high! The power to obtain the MTF characteristic is large. As described above, the ratio of the green signal is large. It will become the image. In addition, when the subject is a distant view, the red signal has a high ratio of high V and MTF characteristics that can obtain MTF characteristics. As described above, when the luminance signal Y, in which each wavelength signal is mixed at a fixed ratio, is used, there is a problem that the distance measurement accuracy may not be obtained depending on the position of the subject.
  • An object of the present invention is to provide an image pickup apparatus and an image pickup method using a plurality of image pickup devices, and an image pickup apparatus capable of performing high-precision distance measurement regardless of the position of a subject. It is to provide an imaging method.
  • the invention described in claim 1 is an imaging apparatus, comprising: a plurality of imaging elements that convert incident light into electrical signals for each of a plurality of types of wavelengths; A luminance signal generation unit that is provided for each of the plurality of imaging elements and generates a luminance signal by mixing a plurality of wavelength signals output from the plurality of imaging elements at a predetermined mixing ratio; and the plurality of imaging elements and a subject A mixing ratio control unit that changes a mixing ratio of the plurality of wavelength signals for each of the plurality of image sensors in accordance with the positional relationship between the subject and the subject based on a correlation between luminance signals obtained for the plurality of image sensors. And a distance detection unit for detecting the distance to.
  • the mixing ratio of each wavelength signal is changed in accordance with the positional relationship between the image sensor and the subject, and the light having the optimum wavelength is used in a large amount. Compared to the case of using a luminance signal mixed with a fixed ratio of wavelength signals, Regardless, it is possible to perform highly accurate distance measurement.
  • the invention described in claim 2 is the imaging apparatus according to claim 1, wherein the relative positional relationship between the subject images formed on each of the plurality of imaging elements is detected.
  • a position detection unit is provided, and the mixing ratio control unit changes the mixing ratio according to a positional relationship between the plurality of imaging elements and the subject detected by the position detection unit.
  • the mixing ratio of each wavelength signal is set so that the light of the optimum wavelength increases. It becomes possible to change.
  • the invention according to claim 3 is the imaging apparatus according to claim 1 or claim 2, wherein the mixing ratio control unit calculates a coefficient to multiply each of the plurality of wavelength signals.
  • the mixing ratio is changed by changing.
  • the invention described in claim 4 is the imaging apparatus according to any one of claims 1 to 3, wherein the mixing ratio control unit includes the imaging element and a subject.
  • the mixing ratio is changed so that the ratio of the long wavelength signal is large when the distance between the imaging element and the subject is close, and the ratio of the short wavelength signal is increased when the distance between the imaging element and the subject is short.
  • the distance depends on the distance of the subject.
  • the invention according to claim 5 is the imaging apparatus according to any one of claims 1 to 3, wherein the mixture ratio control unit includes the plurality of imaging elements.
  • the ratio of the long wavelength signal is large when the distance between the subject images formed on the image is short, and the mixing ratio is changed so that the ratio of the short wavelength signal is large when the distance between the subject images is long.
  • the distance between the subject images formed on the plurality of image sensors becomes narrower as the subject distance increases, and becomes wider as the subject distance decreases. Therefore, it is possible to obtain a luminance signal with high MTF characteristics by increasing the proportion of wavelength signals that are focused according to the mutual distance of the subject images.
  • the invention according to claim 6 is the imaging apparatus according to any one of claims 1 to 5, wherein the mixture ratio control unit is connected to the same imaging device. The mixing ratio is changed for each of a plurality of formed subjects.
  • the invention according to claim 7 is an imaging apparatus, provided with a plurality of imaging elements for converting incident light into electrical signals for a plurality of types of wavelengths, and for each of the plurality of imaging elements.
  • a filter that separates each of the plurality of output wavelength signals into a high-frequency component and a low-frequency component; and a low-frequency component for each of the plurality of wavelength signals is mixed at a predetermined mixing ratio.
  • a high-frequency luminance signal is generated by mixing a high-frequency component for each of the plurality of wavelength signals at a predetermined mixing ratio.
  • a luminance signal generation unit that generates a luminance signal by adding the low-frequency luminance signal, a distance detection unit that detects a distance to the subject based on a correlation of the luminance signals obtained for each of the plurality of image sensors, It is characterized by providing.
  • the high-frequency component and the low-frequency component of each wavelength signal are separated, and the low-frequency component is mixed at a fixed mixing ratio regardless of the distance of the subject. Even when the signal is shared with the monitor signal, the color reproducibility of the monitor image can be ensured.
  • the invention according to claim 8 is the imaging apparatus according to claim 7, wherein the low-frequency luminance signal generation unit applies a coefficient to the low-frequency component for each of the plurality of wavelength signals.
  • the low frequency component is set to a predetermined mixing ratio by multiplying.
  • the invention according to claim 9 is the imaging apparatus according to claim 7 or 8, wherein the relative positional relationship between the subject images formed on each of the plurality of imaging elements And a mixing ratio control unit that changes a mixing ratio of the high-frequency components in accordance with a detection result of the position detecting unit.
  • high frequency components with higher MTF characteristics are obtained by separating high frequency components with a filter and changing the mixing ratio of the high frequency components according to the distance of the subject. It is possible to obtain a signal and perform highly accurate ranging.
  • the invention according to claim 10 is the imaging device according to claim 9, wherein the mixing ratio control unit changes a coefficient by which a high-frequency component for each of the plurality of wavelength signals is multiplied. Thus, the mixing ratio is changed.
  • the invention according to claim 11 is an imaging apparatus, provided with a plurality of imaging elements that convert incident light into electrical signals for each of a plurality of types of wavelengths, and for each of the plurality of imaging elements. Correspondence between a filter that separates high-frequency components from each of a plurality of output wavelength signals and a high-frequency luminance signal obtained by mixing the high-frequency components for each of the plurality of image sensors. And a distance detector that detects the distance to the subject based on the above.
  • the high-frequency component is filtered by the filter. It is possible to obtain a high-frequency luminance signal having a mixing ratio in which the ratio of the wavelength signal focused on the subject is large simply by separating. This makes it possible to perform highly accurate ranging using high-frequency luminance signals with high MTF characteristics.
  • the high-frequency component and low-frequency component of each wavelength signal are separated, and the low-frequency component is mixed at a fixed mixing ratio regardless of the distance of the subject. Therefore, the luminance signal for position detection is used as the monitor signal. Even when shared with the monitor, color reproducibility of the monitor image can be ensured.
  • the invention according to claim 12 is the imaging apparatus according to claim 11, wherein the relative positional relationship between the subject images formed on each of the plurality of imaging elements is detected.
  • the high frequency component having a higher MTF characteristic is obtained by separating the high frequency component by the filter and changing the mixing ratio of the high frequency component according to the distance of the subject. It is possible to obtain a signal and perform highly accurate ranging.
  • the invention according to claim 13 is the imaging device according to claim 9, 10, or claim 12, wherein the mixing ratio control unit is the imaging element.
  • the mixing ratio is adjusted so that the ratio of the high-frequency component of the short-wavelength signal is large. It is characterized by changing.
  • the long wavelength light is focused on the far subject and the short wavelength light is focused on the near subject, it depends on the distance of the subject.
  • the ratio of the high-frequency component of the focused wavelength signal By increasing the ratio of the high-frequency component of the focused wavelength signal, a high-frequency luminance signal with high MTF characteristics can be obtained.
  • the invention described in claim 14 is the image pickup device described in claim 9, 10, or 12, wherein the mixture ratio control unit includes the plurality of image pickup devices.
  • the ratio of the high-frequency component of the long-wavelength signal is large.
  • the ratio of the high-frequency component of the short-wavelength signal is It is characterized by changing the mixing ratio so as to increase.
  • the distance between the subject images formed on the plurality of image sensors becomes narrower as the subject distance increases, and becomes wider as the subject distance decreases. Therefore, it is possible to obtain a high-frequency luminance signal with high MTF characteristics by increasing the ratio of the high-frequency component of the wavelength signal that is focused according to the distance between the subject images.
  • the invention according to claim 15 is the imaging device according to any one of claims 9, 10, 12 to 14, wherein the mixture ratio is
  • the control unit is characterized in that the mixing ratio is changed for each of a plurality of subjects imaged on the same imaging element.
  • the invention according to claim 16 is the imaging apparatus according to any one of claims 1 to 15, wherein the plurality of wavelength signals are a red signal, a green signal, and a green signal. It is characterized by a green light.
  • the above-described operation can be obtained even when the plurality of wavelength signals are a red signal, a green signal and a blue signal.
  • the invention according to claim 17 is an imaging method, wherein a plurality of imaging devices that convert incident light into electrical signals for a plurality of types of wavelengths are used, and output from the plurality of imaging devices.
  • a plurality of wavelength signals mixed at a predetermined mixing ratio to generate a luminance signal for each of the plurality of image sensors, and the plurality of wavelength signals according to a positional relationship between the image sensor and the subject.
  • a mixing ratio control step of changing a mixing ratio of the plurality of wavelength signals for each image sensor; and a distance detection step of detecting a distance to a subject based on a correlation of luminance signals obtained for the plurality of image sensors. It is characterized by having.
  • the mixing ratio of each wavelength signal is changed according to the positional relationship between the image sensor and the subject, and the light having the optimum wavelength is used in a large amount. Compared to the case of using a luminance signal mixed with a fixed ratio of wavelength signals, it is possible to perform highly accurate distance measurement regardless of the position of the subject.
  • the invention according to claim 18 is the imaging method according to claim 17, wherein, in the mixing ratio control step, the relative image of the subject image formed on each of the plurality of imaging elements is compared. A position detection unit that detects a target positional relationship is used, and the mixing ratio is changed according to the positional relationship between the plurality of image sensors and the subject detected by the position detection unit. [0045] According to the invention of claim 18, by using the relative positional relationship of the subject image by the plurality of image sensors, the mixing ratio of each wavelength signal is set so that the light of the optimum wavelength increases. It becomes possible to change.
  • the invention according to claim 19 is the imaging method according to claim 17 or 18, wherein in the mixing ratio control step, each of the plurality of wavelength signals is multiplied.
  • the mixing ratio is changed by changing the coefficient.
  • the invention according to claim 20 is the imaging method according to any one of claims 17 to 19, wherein in the mixing ratio control step, the imaging element and When the distance to the subject is long, the ratio of the long wavelength signal is large.The distance between the imaging device and the subject is close! When the distance is short, the mixing ratio is changed so that the ratio of the short wavelength signal is large.
  • the long wavelength light is focused on the far subject and the short wavelength light is focused on the near subject, it depends on the distance of the subject.
  • the proportion of wavelength signals that are in focus it is possible to obtain luminance signals with high MTF characteristics.
  • the invention according to claim 21 is the imaging method according to any one of claims 17 to 19, wherein the plurality of imaging elements are included in the mixing ratio control step.
  • the ratio of the long wavelength signal is large.
  • the mixing ratio is changed so that the ratio of the short wavelength signal is large. It is characterized by doing.
  • the mutual distance between the subject images formed on the plurality of image sensors becomes narrower as the subject distance increases, and becomes wider as the subject distance decreases. Therefore, it is possible to obtain a luminance signal with high MTF characteristics by increasing the proportion of wavelength signals that are focused according to the mutual distance of the subject images.
  • the invention according to claim 22 is the imaging method according to any one of claims 17 to 21, wherein in the mixing ratio control step, the same imaging device is used. The mixing ratio is changed for each of a plurality of formed subjects.
  • the invention described in claim 23 is an imaging method, wherein a plurality of imaging devices that convert incident light into electrical signals for each of a plurality of types of wavelengths, and the force output of each of the plurality of imaging devices.
  • a filter that separates each of the plurality of wavelength signals into a high-frequency component and a low-frequency component is used, and the low-frequency component for each of the plurality of wavelength signals is mixed at a predetermined mixing ratio to generate a low-frequency luminance signal.
  • Generating a high-frequency luminance signal by mixing high-frequency components for each of the plurality of wavelength signals at a predetermined mixing ratio, and adding the high-frequency luminance signal and the low-frequency luminance signal.
  • a luminance signal generation step for generating a luminance signal, and a distance detection step for detecting a distance to the subject based on a correlation of the luminance signals obtained for each of the plurality of imaging elements.
  • the high-frequency component since only the light of the wavelength that is focused on the subject remains among the high-frequency components of each wavelength, the high-frequency component remains in the filter.
  • the high-frequency components By separating the high-frequency components, it is possible to obtain a high-frequency luminance signal with a mixing ratio in which the proportion of the wavelength signal focused on the subject is large. This makes it possible to perform highly accurate ranging using high-frequency luminance signals with high MTF characteristics.
  • the high-frequency component and the low-frequency component of each wavelength signal are separated, and the low-frequency component is mixed at a fixed mixing ratio regardless of the distance of the subject. Even when the signal is shared with the monitor signal, the color reproducibility of the monitor image can be ensured.
  • the invention according to claim 24 is the imaging method according to claim 23, wherein the low frequency component is obtained by multiplying the low frequency component for each of the plurality of wavelength signals by a coefficient. Is a predetermined mixing ratio.
  • the low frequency component can be set to a predetermined mixing ratio by multiplying the low frequency component for each of the plurality of wavelength signals by a coefficient.
  • the invention described in claim 25 is the imaging method according to claim 23 or 24, wherein the relative position of the subject image formed on each of the plurality of image sensors is defined. Relationship It has a mixing ratio control step of using a position detecting unit to detect and changing the mixing ratio of the high frequency component according to the detection result of the position detecting unit.
  • the high frequency component having a higher MTF characteristic is obtained by separating the high frequency component by the filter and changing the mixing ratio of the high frequency component according to the distance of the subject. It is possible to obtain a signal and perform highly accurate ranging.
  • the invention according to claim 26 is the imaging method according to claim 25, wherein the high-frequency component for each of the plurality of wavelength signals is multiplied in the mixing ratio control step.
  • the mixing ratio is changed by changing a coefficient.
  • the invention according to claim 27 is an imaging method, wherein a plurality of imaging elements that convert incident light into electrical signals for each of a plurality of types of wavelengths, and each of the plurality of imaging elements is a force output. And a filter that separates the high-frequency components of each of the plurality of wavelength signals, and based on the correlation of the high-frequency luminance signal obtained by mixing the high-frequency components for each of the plurality of imaging elements, It has the distance detection process which detects a distance, It is characterized by the above-mentioned.
  • the high-frequency component since only the light of the wavelength that is focused on the subject remains among the high-frequency components of each wavelength, the high-frequency component remains in the filter.
  • the high-frequency components By separating the high-frequency components, it is possible to obtain a high-frequency luminance signal with a mixing ratio in which the proportion of the wavelength signal focused on the subject is large. This makes it possible to perform highly accurate ranging using high-frequency luminance signals with high MTF characteristics.
  • the high-frequency component and the low-frequency component of each wavelength signal are separated, and the low-frequency component is mixed at a fixed mixing ratio regardless of the distance of the subject. Even when the signal is shared with the monitor signal, the color reproducibility of the monitor image can be ensured.
  • the invention according to claim 28 is the imaging method according to claim 27, A position ratio detection unit that detects a relative positional relationship of subject images formed on each of the plurality of image sensors, and a mixture ratio that changes the mixture ratio of the high-frequency components according to the detection result of the position detection unit. It has a control process.
  • the high-frequency component having higher MTF characteristics is obtained by separating the high-frequency component by the filter and changing the mixing ratio of the high-frequency component according to the distance of the subject. It is possible to obtain a signal and perform highly accurate ranging.
  • the invention according to claim 29 is the imaging method according to claim 25, claim 26 or claim 28, wherein in the mixing ratio control step, the image sensor and subject When the distance between and is long, the ratio of the high-frequency component of the long-wavelength signal is large. When the distance between the imaging device and the object is short, the mixing ratio is changed so that the ratio of the high-frequency component of the short-wavelength signal is large. It is characterized by that.
  • the distance depends on the distance of the subject.
  • the invention according to claim 30 is the imaging method according to claim 25, claim 26 or claim 28, wherein in the mixing ratio control step, the plurality of imaging elements When the distance between the subject images is short, the high-frequency component of the long-wavelength signal is large.When the distance between the subject images is far, the high-frequency component of the short-wavelength signal is large. The mixing ratio is changed.
  • the mutual distance between the subject images formed on the plurality of image sensors becomes narrower as the subject distance increases, and becomes wider as the subject distance decreases. Therefore, it is possible to obtain a high-frequency luminance signal with high MTF characteristics by increasing the ratio of the high-frequency component of the wavelength signal that is focused according to the distance between the subject images.
  • the invention according to claim 31 is the imaging method according to any one of claims 25, 26, 28 to 30, wherein the mixture ratio is In the control step, the mixing ratio is changed for each of a plurality of subjects imaged on the same image sensor. [0074] According to the invention described in claim 31, it is possible to optimize the mixing ratio of each wavelength signal for a plurality of objects existing in the same frame.
  • the invention described in claim 32 is the imaging method according to any one of claims 17 to 31, wherein the plurality of wavelength signals are a red signal, a green signal, and It is characterized by a green light.
  • the mixing ratio of each wavelength signal can be changed by changing a coefficient to be multiplied to each of the plurality of wavelength signals. It becomes possible.
  • a high-frequency luminance signal having a high ratio of high-frequency components suitable for a subject and having a high MTF characteristic is obtained to perform high-precision ranging. Can be done.
  • a high-frequency luminance signal having a high ratio of high-frequency components suitable for a subject and having a high MTF characteristic is obtained to perform high-precision ranging. Can be done.
  • the mixing ratio of each wavelength signal can be optimized for a plurality of subjects existing in the same frame. It becomes possible.
  • the high-frequency luminance signal having a high ratio of high-frequency components suitable for the subject and having a high MTF characteristic can be obtained to perform high-precision ranging. Can be done.
  • the low frequency component can be set to a predetermined mixing ratio.
  • the mixing ratio of the high frequency components can be changed.
  • a high-frequency luminance signal having a high ratio of high-frequency components suitable for a subject and having a high MTF characteristic is obtained to perform high-precision ranging. Can be done.
  • the luminance signal for position detection is shared with the monitor signal, the color reproducibility of the monitor image can be ensured.
  • the high-frequency luminance signal having a high ratio of high-frequency components suitable for the subject and having a high MTF characteristic can be obtained to perform high-precision ranging. Can be done.
  • a high-frequency luminance signal having a high ratio of high-frequency components suitable for a subject and having a high MTF characteristic can be obtained to perform high-precision ranging. Is possible.
  • FIG. 1 is a block diagram showing an overall configuration of an imaging apparatus according to a first embodiment.
  • FIG. 2 is a conceptual diagram showing the relationship between the image sensor according to the first embodiment and the distance of the subject.
  • FIG. 3 is a block diagram showing an overall configuration of an imaging apparatus according to a second embodiment.
  • FIG. 4 is a block diagram showing an overall configuration of an imaging apparatus according to a third embodiment.
  • FIG. 5 is a block diagram showing an overall configuration of an imaging apparatus according to a fourth embodiment.
  • FIG. 6 is a block diagram showing an overall configuration of an imaging apparatus according to a fifth embodiment.
  • FIG. 7 is a conceptual diagram showing the relationship between a fixed focus lens and light of each wavelength.
  • FIG. 8 is a conceptual diagram showing a relationship between a fixed focus lens and a subject distance.
  • the imaging device 1 includes two imaging elements 2a and 2b that constitute a 3D camera (stereo camera), and the imaging device 2a and 2b also captures different positional forces of the subject.
  • the correlation between the captured images is obtained, and the position (distance) of the subject is measured using parameters such as the position of the image sensor and the focal distance based on the parallax with respect to the same subject.
  • the imaging device 1 is not limited to two as long as it has a plurality of imaging elements.
  • the image sensors 2a and 2b convert incident light into electrical signals for each of a plurality of types of wavelengths.
  • the imaging devices 2a and 2b according to the present embodiment are configured by sequentially and sequentially arranging pixels each having a filter of each wavelength of R (red), G (green), and B (blue) in the horizontal direction. (Red), G (green), B (blue) signals are output repeatedly in sequence.
  • the light receiving surfaces of the image sensors 2a and 2b are distances between the image forming positions according to the image forming positions on the light receiving surfaces of the same subject.
  • the imaging plane differs depending on the light of each wavelength.
  • the imaging plane of B (blue) light becomes the closest in the order of G (green) light and R (red) light. Therefore, as shown in Fig. 8, when the image planes of the light of each wavelength are the same, the A light is focused on a subject at a far position and the B light is at a close position compared to the G light. Focus on the subject.
  • the distance between the positions where the transmitted light of the lens units 3a and 3b forms an image becomes narrower as the distance between the image sensors 2a and 2b and the subject increases.
  • the distance between the image sensors 2a and 2b is the minimum value of the distance between them. It corresponds to the distance of the image plane.
  • the light receiving surfaces of the image sensors 2a and 2b are divided into areas according to the mutual distances of the imaging positions. As described above, each area is changed according to the position of the subject.
  • the R light forms the sharpest image
  • the B light forms the sharpest image
  • the G light forms the sharpest image in the middle G area.
  • the B light is in focus in the B area
  • Fig. 2 (b) in the G area
  • Fig. 2 (c) in the R area !
  • the R light is in focus.
  • the imaging device 1 includes imaging elements 2a and 2b, and lens units 3a and 3b are provided in front of the imaging elements 2a and 2b, respectively.
  • the image pickup devices 2a and 2b are configured to photoelectrically convert incident light that has passed through the lens units 3a and 3b into electric signals.
  • the lens units 3a and 3b condense the light from the subject on the imaging surfaces of the image sensors 2a and 2b by the lens, and the amount of light condensed on the image formation surfaces of the image sensors 2a and 2b by the diaphragm. It is designed to adjust.
  • the imaging device 1 includes a system control unit 4.
  • the system control unit 4 includes a CPU (Central Processing Unit), a RAM (Random Access Memory) composed of rewritable semiconductor elements, and a ROM (Read Only Memory) composed of nonvolatile semiconductor memory. ing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • each component of the imaging device 1 is connected to the system control unit 4, and the system control unit 4 expands the processing program recorded in the ROM into the RAM and executes the processing program by the CPU. By doing so, these components are driven and controlled.
  • the system control unit 4 includes aperture control units 5a and 5b, timing generation units 6a and 6b, color separation interpolation units 7a and 7b, monitor signal generation units 8a and 8b, and a mixture ratio control unit.
  • 9a, 9b, luminance signal generators 10a, 10b, position detector 11 and distance detector 12 are electrically connected.
  • the aperture controllers 5a and 5b drive and control the aperture that adjusts the amount of light collected by the lenses of the lens units 3a and 3b. That is, the aperture control units 5a and 5b are configured to open the aperture unit immediately before the imaging operation of the image sensors 2a and 2b starts based on the control value input from the system control unit 4, and after the elapse of a predetermined exposure time, The incident light quantity is controlled by blocking the incident light to the image pickup devices 2a and 2b during non-imaging.
  • the timing generators 6a and 6b generate predetermined timing pulses and output them to the image sensors 2a and 2b, thereby performing imaging operations of the image sensors 2a and 2b (charge accumulation based on exposure, readout of accumulated charges, etc.) To control!
  • the color separation interpolators 7a and 7b are used for the R signal, G signal, and B signal from the sequential repetition of the R (red), G (green), and B (blue) signals output from the image sensors 2a and 2b. As well as separating each of the
  • color interpolation processing is performed on electrical signals of B, G, and R colors.
  • the monitor signal generators 8a and 8b perform black reference correction for correcting the black level that is the lowest luminance value to the reference value for each of the R, G, and B signals output from the color separation interpolation units 7a and 7b.
  • the monitor signal is generated by performing image processing such as AWB (automatic white balance) to adjust white, color correction to correct the color component value, and color space conversion to convert the color space from RGB to YUV. It has become.
  • the mixing ratio control units 9a and 9b change the mixing ratio of a plurality of wavelength signals for each of the image sensors 2a and 2b in accordance with the positional relationship between each of the image sensors 2a and 2b and the subject. .
  • the mixture ratio control units 9a and 9b of the present embodiment have a short distance between the image sensor 2a and 2b and the subject with a large proportion of long wavelength signals. Sometimes the mixing ratio is changed so that the proportion of short wavelength signals increases.
  • the mixing ratio control units 9a, 9b are luminance signals ,, Y in which the R signal, the G signal, and the B signal are set to a predetermined mixing ratio.
  • the ratio of R signal, G signal, and B signal in 2 1 2 may be 100%.
  • the mixing ratio control units 9a and 9b are configured such that when the subject images formed on the imaging devices 2a and 2b are close to each other, the subject images having a high ratio of long wavelength signals are far from each other. In some cases, the mixing ratio can be changed so that the proportion of the short wavelength signal increases.
  • the mixture ratio control units 9a and 9b depend on whether the light from the subject is imaged in the R area, the G area, or the B area among the imaging surfaces of the imaging devices 2a and 2b. It is also possible to change the mixing ratio of R signal, G signal, and B signal. Specifically, when the subject image is formed in the R area, the subject distance is relatively far, and when the subject image is formed in the B area where the ratio of the R signal is large, the subject distance is relatively If the image is focused on the G area with a large B signal ratio, the G signal ratio is increased in the middle.
  • the mixing ratio control units 9a and 9b provide a switching section near the boundary between the areas of the image sensors 2a and 2b. It is desirable to set the coefficient so that the coefficient gradually changes during this switching period. This suppresses errors in position detection based on the luminance signals Y and Y obtained near the boundary of each area.
  • the luminance signals, and Y depend on the distance between the imaging devices 2a and 2b and the subject.
  • the mixture ratio control units 9a and 9b are provided for each of a plurality of subjects imaged on the same image sensor. It is also possible to change the mixing ratio of the wavelength signals. This makes it possible to optimize the mixing ratio of each wavelength signal for a plurality of subjects existing in the same frame.
  • the luminance signal generation units 10a and 10b are configured to generate a luminance signal by mixing a plurality of wavelength signals output from each of the imaging devices 2a and 2b at a predetermined mixing ratio.
  • the luminance signal generation units 10a and 10b of the present embodiment mix the R signal, the G signal, and the B signal according to the mixing ratio changed by the mixing ratio control units 9a and 9b to generate the luminance signals ⁇ and Y. It has become.
  • the position detector 11 detects the relative positional relationship between the subject images formed on the image sensors 2a and 2b. That is, the position detection unit 11 changes the mixture ratio based on the detection result (first detection result) of the position detection unit 11 by the mixture ratio control unit 9, and the luminance signal generation unit 10a, Each wavelength signal is mixed in 10b. Then, by obtaining the correlation of the obtained luminance signals ⁇ ⁇ ⁇ and Y, the same subject of the image sensors 2a and 2b is obtained.
  • the relative positional relationship (the second detection result) is detected.
  • the distance detection unit 12 detects the distance to the object based on the correlation of the luminance signals obtained for the image sensors 2a and 2b. That is, the distance detection unit 12 uses the parameters such as the position of the image sensor and the focal length based on the relative positional relationship of the same subject imaged on the image sensors 2a and 2b detected by the position detection unit 11. (Distance) is detected.
  • the color separation interpolation units 7a and 7b separate the R signal, the G signal, and the B signal from the sequential repetition signals of the R, G, and B signals output from the imaging devices 2a and 2b, respectively. At the same time, color interpolation processing is performed for each wavelength signal.
  • monitor signal generators 8a and 8b output R, G output from the color separation interpolators 7a and 7b.
  • the B and B signals are subjected to image processing such as black reference correction, AWB (automatic white balance), color correction, and color space conversion to generate monitor signals.
  • image processing such as black reference correction, AWB (automatic white balance), color correction, and color space conversion to generate monitor signals.
  • the mixture ratio control units 9a and 9b are used as reference luminance signals ⁇ and Y according to the distance of the subject. Change the mixing ratio of R signal, G signal, and B signal.
  • the mixture ratio control units 9a and 9b are configured to output the R signal, the G signal, and the B signal depending on whether the subject image is formed in the R area, the G area, or the B area of the image sensors 2a and 2b. It is also possible to change the signal mixing ratio. As described above, each area changes according to the position of the subject. For example, if the subject moves to the left and right, the R area, the G area, and the B area also shift to the left and right, respectively.
  • the luminance signal generation units 10a and 10b generate the luminance signals ⁇ and Y by mixing the R signal, the G signal, and the B signal according to the mixing ratio changed by the mixing ratio control units 9a and 9b. To do.
  • the position detection unit 11 receives the luminance signals ⁇ , Y obtained from the luminance signal generation units 10a, 10b.
  • the distance detector 12 determines the position of the image sensor from the relative positional relationship (second detection result) of the same subject imaged on the image sensors 2a and 2b detected by the position detector 11.
  • the position (distance) of the subject is detected using parameters such as the focal length.
  • the present embodiment by changing the mixing ratio of each wavelength signal in accordance with the positional relationship between the imaging devices 2a and 2b and the subject, and using a lot of light of the optimum wavelength, Compared to the case of using a luminance signal mixed at a fixed ratio, it is possible to perform highly accurate ranging regardless of the position of the subject.
  • the mixing ratio of each wavelength signal can be changed so that the light of the optimum wavelength increases.
  • the long wavelength light is focused on the subject, the near !, the short wavelength light is focused on the subject. Since it is in focus, it is possible to obtain a luminance signal with high MTF characteristics by increasing the proportion of the wavelength signal that is in focus according to the distance of the subject.
  • the distance between the subject images formed on the image sensors 2a and 2b becomes narrower as the subject distance increases, and becomes wider as the subject distance decreases.
  • By increasing the proportion of wavelength signals that are focused according to the mutual distance it is possible to obtain a luminance signal with high MTF characteristics.
  • the above-described operation can also be obtained when a plurality of wavelength signals are an R signal, a G signal, and a B signal.
  • the imaging device 1 of the present embodiment includes high-pass filters 13a and 13b instead of the mixing ratio controllers 9a and 9b, and also includes low-frequency luminance signal generators 14a and 14b.
  • the high-pass filters 13a and 13b pass only the high-frequency components of the wavelength signals output from the color separation interpolation units 7a and 7b, thereby allowing the high-frequency components R, G, and B of the wavelength signals to pass.
  • the high frequency component is output to the luminance signal generation units 10a and 10b
  • the low frequency component is output to the low frequency luminance signal generation units 14a and 14b.
  • the low-frequency luminance signal generation units 14a and 14b are configured to generate low-frequency luminance signals Y and Y by mixing low frequency components for each of a plurality of wavelength signals at a predetermined mixing ratio.
  • the mixing ratio means a predetermined fixed mixing ratio.
  • Low frequency luminance signals Y, Y are obtained by multiplying the low frequency components of each wavelength by a predetermined coefficient and mixing them by a multiplier circuit (not shown).
  • luminance signal generators 10a and 10b are output to the luminance signal generators 10a and 10b.
  • the luminance signal generators 10a and 10b mix high frequency components for each wavelength signal to generate high frequency luminance signals Y 1 and Y
  • HI H2 is generated and high-frequency luminance signals Y and Y
  • Luminance signals ⁇ and ⁇ are generated by adding LI L2.
  • the luminance signal generation units 10a and 10b mix the high frequency components for each wavelength signal as they are (or mix them at a predetermined mixing ratio) to obtain the high frequency luminance signals Y and Y.
  • the high-frequency component and low-frequency component of each wavelength signal are separated, and the low-frequency component is mixed at a fixed mixing ratio regardless of the distance of the subject. Even when the signal is shared with the monitor signal, the color reproducibility of the monitor image can be ensured.
  • the high-pass filters 13a and 13b separate high-frequency components and low-frequency components of each wavelength signal by allowing only the high-frequency components of the wavelength signals output from the color separation interpolation units 7a and 7b to pass. Then, the high frequency component is output to the luminance signal generation units 10a and 10b, and the low frequency component is output to the low frequency luminance signal generation units 14a and 14b.
  • the low-frequency luminance signal generators 14a and 14b generate low-frequency luminance signals, and Y by mixing the low-frequency components of the respective wavelength signals at a predetermined mixing ratio to generate the luminance signal generators 10a and 10a, Go out to 10b
  • the luminance signal generators 10a and 10b generate high-frequency luminance signals Y and Y based on the high-frequency components of the respective wavelength signals separated by the high-pass filters 13a and 13b.
  • HI H2 is generated, and the high-frequency luminance signals Y 1 and Y and the low-frequency luminance signals Y 1 and Y are added to generate the luminance signals Y 1 and Y.
  • the luminance signal generators 10a and 10b mix the high frequency components of the respective wavelength signals as they are. A luminance signal is generated.
  • the high-frequency component and low-frequency component of each wavelength signal are separated, and the low-frequency component is mixed at a fixed mixing ratio regardless of the distance of the subject. Even when the signal is shared with the monitor signal, the color reproducibility of the monitor image can be ensured.
  • the low frequency component can be set to a predetermined mixing ratio.
  • the imaging device 1 of the present embodiment includes mixing ratio controllers 15a and 15b in addition to the high-pass filters 13a and 13b and the low-frequency luminance signal generators 14a and 14b.
  • the mixing ratio control units 15a and 15b change the mixing ratio of the high-frequency components of each wavelength signal in accordance with the distance of the subject. In this embodiment, when the distance between the image sensors 2a and 2b and the subject is long, the ratio of the high-frequency component of the long wavelength signal is large. When the distance between the image sensors 2a and 2b and the object is short, the short wavelength signal The mixing ratio is changed so that the proportion of high frequency components increases!
  • the mixture ratio control units 15a and 15b are based on the detection result of the position detection unit 11 based on the detection result of the position detection unit 11 with reference to the high frequency luminance signal in which the R signal, the G signal, and the B signal have a predetermined mixture ratio.
  • the ratio of the R signal is increased.
  • the ratio of the B signal is increased.
  • the ratio of the G signal is increased.
  • the mixing ratio control units 15a and 15b are configured to change the mixing ratio by changing the coefficient by which each wavelength signal of the high-frequency luminance signal is multiplied by a multiplication circuit (not shown). .
  • the mixing ratio control units 15a and 15b are configured so that when the subject images formed on the plurality of image pickup devices 2a and 2b are close to each other, subject images having a high ratio of high-frequency components of the long wavelength signal When the distance is long, it is also possible to change the mixing ratio so that the proportion of the high-frequency component of the short wavelength signal increases.
  • the mixture ratio control units 15a and 15b have the R signal, the G signal, and the B signal depending on whether the subject image is formed in the R area, the G area, or the B area of the image sensors 2a and 2b. It is also possible to change the signal mixing ratio.
  • the high-frequency luminance signals Y 1, Y having a large proportion of the wavelength signal focused on the subject simply by separating the high-frequency components with the high-pass filters 13a, 13b.
  • the luminance signal generation units 10a and 10b mix the high frequency components of the respective wavelength signals according to the mixing ratio changed by the mixing ratio control units 15a and 15b, so that the high frequency luminance signals Y and Y
  • HI H2 is generated, and the high-frequency luminance signal Y, Y and the low-frequency luminance signal Y, Y are added to obtain the luminance signal Y,
  • the mixing ratio control units 15a and 15b determine the high-frequency component of each wavelength signal according to the distance of the subject. Change the mixing ratio. That is, based on the detection result of the position detection unit 11, when the distance of the subject is relatively far, the ratio of the R signal is increased when the distance of the subject is relatively far, and when the distance of the subject is relatively close, the ratio of the B signal is increased. If this is the case, increase the G signal ratio.
  • the low-frequency luminance signal generators 14a and 14b generate low-frequency luminance signals, and Y by mixing the low-frequency components of the respective wavelength signals at a predetermined mixing ratio to generate the luminance signal generators 10a and 10a, To 10b
  • the luminance signal generation units 10a and 10b are changed by the mixture ratio control units 15a and 15b. According to the mixing ratio, the high-frequency luminance signal Y, ⁇ ⁇
  • HI H2 is generated, and the high-frequency luminance signal Y, Y and the low-frequency luminance signal Y, Y are added to obtain the luminance signal Y
  • the high-frequency components are separated by the high-pass filters 13a and 13b, and the mixing ratio of the high-frequency components is changed according to the distance of the subject, so that the MTF characteristics are further improved. It becomes possible to obtain a high high-frequency luminance signal and perform highly accurate distance measurement.
  • the mixing ratio of each wavelength signal can be changed so that the light of the optimum wavelength increases.
  • the distance between the subject images formed on the image sensors 2a and 2b becomes narrower as the subject distance increases, and becomes wider as the subject distance decreases. Accordingly, by increasing the proportion of the high-frequency component of the wavelength signal that is in focus, it is possible to obtain a high-frequency luminance signal with high MTF characteristics.
  • the imaging device 1 of the present embodiment has a power low-pass luminance signal generator 14a, which includes high-pass filters 13a, 13b instead of the mixing ratio controllers 9a, 9b, as in the second embodiment. 14b and luminance signal generators 10a and 10b are not provided.
  • the high-pass filters 13a and 13b separate only the high-frequency components from the wavelength signals output from the color separation interpolation units 7a and 7b and output them to the position detection unit 11.
  • the high-pass filters 13a and 13b can generate high-frequency components.
  • the position detection unit 11 compares the phase of the image pickup devices 2a and 2b with respect to the same subject based on the correlation of the high-frequency luminance signals, and Y obtained by mixing the high-frequency components for the image pickup devices 2a and 2b.
  • the position detection unit 11 obtains the high-frequency band obtained by mixing the high-frequency components of each wavelength signal for each of the image sensors 2a and 2b. By obtaining the correlation between the luminance signals ⁇ and Y, the same subject on the image sensors 2a and 2b
  • the relative positional relationship is detected.
  • the high-pass filters 13a and 13b Thus, only by separating high-frequency components, a high-frequency luminance signal with a high mixing ratio can be obtained with a high proportion of wavelength signals focused on the subject. This makes it possible to perform high-precision distance measurement using high-frequency luminance signals with high MTF characteristics.
  • the high-frequency component and low-frequency component of each wavelength signal are separated, and the low-frequency component is mixed at a fixed mixing ratio regardless of the distance of the subject. Therefore, the luminance signal for position detection is used as the monitor signal. Even when shared with the monitor, color reproducibility of the monitor image can be ensured.
  • the imaging device 1 of the present embodiment includes mixing ratio control units 15a and 15b.
  • the mixing ratio control units 15a and 15b change the high-frequency component mixing ratio of each wavelength signal according to the distance of the subject.
  • the ratio of the high frequency component of the long wavelength signal is
  • the mixing ratio is changed so that the ratio of the high-frequency component of the short wavelength signal is increased.
  • the mixing ratio control units 15a and 15b are configured so that when the subject images formed on the plurality of image pickup devices 2a and 2b are close to each other, subject images having a high proportion of high-frequency components of the long wavelength signal When the distance is long, it is also possible to change the mixing ratio so that the proportion of the high-frequency component of the short wavelength signal increases.
  • the high-frequency luminance signals Y, Y with a high proportion of the wavelength signal focused on the subject can be obtained simply by separating the high-frequency components with the high-pass filters 13a, 13b as described above.
  • the position detection unit 11 performs phase matching of high-frequency luminance signals ⁇ and Y obtained by mixing high-frequency components for each of the image pickup devices 2a and 2b according to the mixing ratio changed by the mixing ratio control units 15a and 15b.
  • the mixing ratio controllers 15a and 15b change the mixing ratio of the high-frequency components of each wavelength signal according to the distance of the subject.
  • the position detection unit 11 uses the same image sensor 2a, 2b based on the correlation of the high-frequency luminance signals ,, Y mixed according to the mixing ratio changed by the mixing ratio control unit 15a, 15b. Covered
  • the high-frequency components are separated by the high-pass filters 13a and 13b, and the mixing ratio of the high-frequency components is changed according to the distance of the subject, so that the MTF characteristics are further improved. It is possible to obtain a high-frequency luminance signal and perform highly accurate distance measurement.
  • the long wavelength light is focused on the far subject and the short wavelength light is focused on the near subject, the ratio of the high frequency component of the wavelength signal focused according to the distance of the subject By increasing the number, it is possible to obtain a high-frequency luminance signal with high MTF characteristics.
  • the distance between the subject images formed on the image pickup devices 2a and 2b is the same as the distance of the subject.
  • the narrower the distance and the wider the distance to the subject the wider the ratio of the high-frequency component of the wavelength signal that is focused according to the distance between the subject images. Can be obtained.
  • the imaging apparatus and imaging method of the present invention in the imaging apparatus and imaging method using a plurality of imaging elements, highly accurate distance measurement can be performed regardless of the position of the subject.

Abstract

　被写体の位置に関わらず高精度な測距を行うことを可能とする撮像装置及び撮像方法を提供することを目的とする。 そのために、撮像装置１に、入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子２ａ，２ｂと、撮像素子２ａ，２ｂの各々に設けられ、撮像素子２ａ，２ｂの各々から出力された複数の波長信号を所定の混合比で混合して輝度信号を生成する輝度信号生成部１０ａ，１０ｂと、撮像素子２ａ，２ｂのそれぞれと被写体との位置関係に応じて撮像素子２ａ，２ｂごとに複数の波長信号の混合比を変更する混合比制御部９ａ，９ｂと、撮像素子２ａ，２ｂごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出部１２とを設ける撮影装置及び撮影方法とする。

Description

撮像装置及び撮像方法
技術分野
[0001] 本発明は撮像装置及び撮像方法に係り、特に、複数の撮像素子を用いて 3次元画 像を撮影する撮像装置及び撮像方法に関する。
背景技術
[0002] 従来から、複数の撮像素子により被写体を異なる位置力ゝら撮像して撮影画像の相 関を求め、同一被写体に対する視差により、撮像素子の位置や焦点距離などのパラ メータを用いて被写体の位置 (距離)を測る 3次元撮像装置が知られて 、る (特許文 献 1〜特許文献 3参照)。
[0003] このような 3次元撮像装置では、被写体の距離の検出に、撮像素子から出力される 各波長信号 (RGB信号など）により求めた輝度信号 Yが用いられる。輝度信号 Yは、 通常、撮像素子力 出力される各波長信号を固定した比率で混合することにより求め ていた。例えば、輝度信号 Yは、 RGB信号を Y=0. 3R+0. 6G + 0. 3Βといった所 定の比率で混合することにより求めていた。
[0004] 上記の 3次元撮像装置では、固定焦点レンズを用いて被写体の距離を測る場合、 一般に数 10cmから無限遠まで焦点が合うように設定されている。被写体に焦点が合 つているか否かの判断は、輝度信号 Yの MTF (Modulation Transfer Function)など により評価しており、被写体の測距精度はこの MTFに依存している。上記の輝度信 号 Yは、 G信号の成分が多いことから、 G信号の MTF特性に近い特性を持っている 特許文献 1：特開平 7 - 244717号公報
特許文献 2 :特開 2000— 186929号公報
特許文献 3 :特開 2000— 347133号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、一般に、パンフォーカス（固定焦点）レンズを透過した被写体力もの 反射光は、波長ごとに焦点が相違する。例えば、図 7に示すように、同じ被写体から の光が固定焦点レンズ 16を透過して結像する場合、その結像面は、各波長の光、す なわち赤 (R)、緑 (G)、青（B)の光によって相違する。また、図 8に示すように、レンズ 17a〜17cの焦点距離を一定とした場合は、焦点が合う被写体の最適位置 (距離)は 波長ごとに相違する。すなわち、赤光は緑光と比較して遠い位置の被写体に焦点が 合 、、青光は緑光と比較して近 、位置の被写体に焦点が合う。
[0006] 従って、被写体が数 10cm以下の至近距離にある場合は、青信号では高!、MTF 特性が得られる力 上記のように緑信号の割合が多 ヽ輝度信号 Yでは MTF特性が 落ちてボケた画像になってしまう。また、被写体が遠景である場合は、赤信号では高 V、MTF特性が得られる力 緑信号の割合が多!ヽ輝度信号 Yではやはり MTF特性が 落ちてしまう。このように、各波長信号を固定した比率で混合した輝度信号 Yを用いる と、被写体の位置によって高 、測距精度が得られな 、場合があると 、う問題があった
[0007] 本発明の課題は、複数の撮像素子を用いた撮像装置及び撮像方法にお!ヽて、被 写体の位置に関わらず高精度な測距を行うことを可能とする撮像装置及び撮像方法 を提供することにある。
課題を解決するための手段
[0008] 上記課題を解決するために、請求の範囲第 1項記載の発明は、撮像装置であって 、入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、前記複 数の撮像素子ごとに設けられ、前記複数の撮像素子から出力された複数の波長信 号を所定の混合比で混合して輝度信号を生成する輝度信号生成部と、前記複数の 撮像素子と被写体との位置関係に応じて前記複数の撮像素子ごとに前記複数の波 長信号の混合比を変更する混合比制御部と、前記複数の撮像素子ごとに得られた 輝度信号の相関に基づいて被写体までの距離を検出する距離検出部と、を備えるこ とを特徴とする。
[0009] 請求の範囲第 1項記載の発明によれば、撮像素子と被写体との位置関係に応じて 各波長信号の混合比を変更し、最適な波長の光を多く利用することにより、各波長信 号を固定した比率で混合した輝度信号を用いる場合と比較して、被写体の位置に関 わらず高精度な測距を行うことが可能となる。
[0010] 請求の範囲第 2項記載の発明は、請求の範囲第 1項記載の撮像装置であって、前 記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置 検出部を備え、前記混合比制御部は前記位置検出部が検出した前記複数の撮像 素子と被写体との位置関係に応じて前記混合比を変更することを特徴とする。
[0011] 請求の範囲第 2項記載の発明によれば、複数の撮像素子による被写体像の相対 的位置関係を用いることにより、最適な波長の光が多くなるように各波長信号の混合 比を変更することが可能となる。
[0012] 請求の範囲第 3項記載の発明は、請求の範囲第 1項又は第 2項記載の撮像装置で あって、前記混合比制御部は前記複数の波長信号の各々に乗算する係数を変更す ることにより前記混合比を変更することを特徴とする。
[0013] 請求の範囲第 3項記載の発明によれば、複数の波長信号の各々に乗算する係数 を変更することにより、各波長信号の混合比を変更することが可能となる。
[0014] 請求の範囲第 4項記載の発明は、請求の範囲第 1項乃至第 3項のいずれか一項に 記載の撮像装置であって、前記混合比制御部は、前記撮像素子と被写体との距離 が遠いときは長波長信号の割合が多ぐ前記撮像素子と被写体との距離が近いとき は短波長信号の割合が多くなるように前記混合比を変更することを特徴とする。
[0015] 請求の範囲第 4項記載の発明によれば、遠い被写体には長波長の光の焦点が合 い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点 が合う波長信号の割合を多くすることにより、 MTF特性の高い輝度信号を得ることが 可能となる。
[0016] 請求の範囲第 5項記載の発明は、請求の範囲第 1項乃至第 3項のいずれか一項に 記載の撮像装置であって、前記混合比制御部は、前記複数の撮像素子に結像した 被写体像の相互の距離が近いときは長波長信号の割合が多ぐ前記被写体像の相 互の距離が遠いときは短波長信号の割合が多くなるように混合比を変更することを特 徴とする。
[0017] 請求の範囲第 5項記載の発明によれば、複数の撮像素子に結像した被写体像の 相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くな ることから、被写体像の相互の距離に応じて焦点が合う波長信号の割合を多くするこ とにより、 MTF特性の高い輝度信号を得ることが可能となる。
[0018] 請求の範囲第 6項記載の発明は、請求の範囲第 1項乃至第 5項のいずれか一項に 記載の撮像装置であって、前記混合比制御部は、同一の撮像素子に結像した複数 の被写体ごとに前記混合比を変更することを特徴とする。
[0019] 請求の範囲第 6項記載の発明によれば、同一フレーム内に存在する複数の被写体 につ 、て、各波長信号の混合比を最適化することが可能となる。
[0020] 請求の範囲第 7項記載の発明は、撮像装置であって、入射光を複数種類の波長ご とに電気信号に変換する複数の撮像素子と、前記複数の撮像素子ごとに設けられ、 前記複数の撮像素子の各々力 出力された複数の波長信号の各々を高周波成分と 低周波成分とに分離するフィルタと、前記複数の波長信号ごとの低周波成分を所定 の混合比で混合して低域輝度信号を生成する低域輝度信号生成部と、前記複数の 波長信号ごとの高周波成分を所定の混合比で混合して高域輝度信号を生成し、前 記高域輝度信号と前記低域輝度信号とを加算して輝度信号を生成する輝度信号生 成部と、前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体ま での距離を検出する距離検出部と、を備えることを特徴とする。
[0021] 請求の範囲第 7項記載の発明によれば、高周波成分については、各波長の高周波 成分のうち被写体に焦点が合う波長の光だけが残ることから、フィルタで高周波成分 を分離するのみで、被写体に焦点が合う波長信号の割合が多 、混合比の高域輝度 信号を得ることができる。これにより、 MTF特性の高い高域輝度信号を用いて、高精 度な測距を行うことが可能となる。
[0022] また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体 の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信 号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可 能となる。
[0023] 請求の範囲第 8項記載の発明は、請求の範囲第 7項記載の撮像装置であって、前 記低域輝度信号生成部は前記複数の波長信号ごとの前記低周波成分に係数を乗 算することにより前記低周波成分を所定の混合比とすることを特徴とする。 [0024] 請求の範囲第 8項記載の発明によれば、複数の波長信号ごとの低周波成分に係 数を乗算することにより、低周波成分を所定の混合比とすることが可能となる。
[0025] 請求の範囲第 9項記載の発明は、請求の範囲第 7項又は第 8項記載の撮像装置で あって、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出 する位置検出部と、前記位置検出部の検出結果に応じて前記高周波成分の混合比 を変更する混合比制御部とを備えることを特徴とする。
[0026] 請求の範囲第 9項記載の発明によれば、フィルタで高周波成分を分離すると共に、 被写体の距離に応じて高周波成分の混合比を変更することにより、より MTF特性の 高い高域輝度信号を得て高精度な測距を行うことが可能となる。
[0027] また、複数の撮像素子による被写体像の相対的位置関係を用いることにより、最適 な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
[0028] 請求の範囲第 10項記載の発明は、請求の範囲第 9項記載の撮像装置であって、 前記混合比制御部は前記複数の波長信号ごとの高周波成分に乗算する係数を変 更することにより前記混合比を変更することを特徴とする。
[0029] 請求の範囲第 10項記載の発明によれば、複数の波長信号ごとの高周波成分に乗 算する係数を変更することにより、輝度信号における高周波成分の混合比を変更す ることが可能となる。
[0030] 請求の範囲第 11項記載の発明は、撮像装置であって、入射光を複数種類の波長 ごとに電気信号に変換する複数の撮像素子と、前記複数の撮像素子ごとに設けられ 、前記複数の撮像素子の各々力 出力された複数の波長信号の各々から高周波成 分を分離するフィルタと、前記複数の撮像素子ごとに前記高周波成分を混合して得 られた高域輝度信号の相関に基づいて被写体までの距離を検出する距離検出部と 、を備えることを特徴とする。
[0031] 請求の範囲第 11項記載の発明によれば、高周波成分については、各波長の高周 波成分のうち被写体に焦点が合う波長の光だけが残ることから、フィルタで高周波成 分を分離するのみで被写体に焦点が合う波長信号の割合が多い混合比の高域輝度 信号を得ることができる。これにより、 MTF特性の高い高域輝度信号を用いて、高精 度な測距を行うことが可能となる。 また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の 距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号 をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能と なる。
[0032] 請求の範囲第 12項記載の発明は、請求の範囲第 11項記載の撮像装置であって、 前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位 置検出部と、前記複数の波長信号ごとの高周波成分を前記位置検出部の検出結果 に応じて前記高周波成分の混合比を変更する混合比制御部とを備えることを特徴と する。
[0033] 請求の範囲第 12項記載の発明によれば、フィルタで高周波成分を分離すると共に 、被写体の距離に応じて高周波成分の混合比を変更することにより、より MTF特性 の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
[0034] 請求の範囲第 13項記載の発明は、請求の範囲第 9項、第 10項又は請求の範囲第 12項に記載の撮像装置であって、前記混合比制御部は、前記撮像素子と被写体と の距離が遠いときは長波長信号の高周波成分の割合が多ぐ前記撮像素子と被写 体との距離が近いときは短波長信号の高周波成分の割合が多くなるように混合比を 変更することを特徴とする。
[0035] 請求の範囲第 13項記載の発明によれば、遠い被写体には長波長の光の焦点が合 い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点 が合う波長信号の高周波成分の割合を多くすることによって、 MTF特性の高い高域 輝度信号を得ることが可能となる。
[0036] 請求の範囲第 14項記載の発明は、請求の範囲第 9項、第 10項又は第 12項に記 載の撮像装置であって、前記混合比制御部は、前記複数の撮像素子に結像した被 写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多ぐ前記被 写体像の相互の距離が遠 、ときは短波長信号の高周波成分の割合が多くなるように 混合比を変更することを特徴とする。
[0037] 請求の範囲第 14項記載の発明によれば、複数の撮像素子に結像した被写体像の 相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くな ることから、被写体像の相互の距離に応じて焦点が合う波長信号の高周波成分の割 合を多くすることにより、 MTF特性の高い高域輝度信号を得ることが可能となる。
[0038] 請求の範囲第 15項記載の発明は、請求の範囲第 9項、第 10項、第 12項乃至第 1 4項のいずれか一項に記載の撮像装置であって、前記混合比制御部は、同一の撮 像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする。
[0039] 請求の範囲第 15項記載の発明によれば、同一フレーム内に存在する複数の被写 体にっ 、て、各波長信号の混合比を最適化することが可能となる。
[0040] 請求の範囲第 16項記載の発明は、請求の範囲第 1項乃至第 15項のいずれか一 項に記載の撮像装置であって、前記複数の波長信号は赤信号、緑信号及び青信号 であることを特徴とする。
[0041] 請求の範囲第 16項記載の発明によれば、複数の波長信号が赤信号、緑信号及び 青信号である場合にも、上記の作用を得ることができる。
[0042] 請求の範囲第 17項記載の発明は、撮像方法であって、入射光を複数種類の波長 ごとに電気信号に変換する複数の撮像素子を使用し、前記複数の撮像素子から出 力された複数の波長信号を所定の混合比で混合して前記複数の撮像素子ごとに輝 度信号を生成する輝度信号生成工程と、前記撮像素子と被写体との位置関係に応 じて前記複数の撮像素子ごとに前記複数の波長信号の混合比を変更する混合比制 御工程と、前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体 までの距離を検出する距離検出工程と、を有することを特徴とする。
[0043] 請求の範囲第 17項記載の発明によれば、撮像素子と被写体との位置関係に応じ て各波長信号の混合比を変更し、最適な波長の光を多く利用することにより、各波長 信号を固定した比率で混合した輝度信号を用いる場合と比較して、被写体の位置に 関わらず高精度な測距を行うことが可能となる。
[0044] 請求の範囲第 18項記載の発明は、請求の範囲第 17項記載の撮像方法であって、 前記混合比制御工程において、前記複数の撮像素子の各々に結像した被写体像の 相対的位置関係を検出する位置検出部を使用し、前記位置検出部が検出した前記 複数の撮像素子と被写体との位置関係に応じて前記混合比を変更することを特徴と する。 [0045] 請求の範囲第 18項記載の発明によれば、複数の撮像素子による被写体像の相対 的位置関係を用いることにより、最適な波長の光が多くなるように各波長信号の混合 比を変更することが可能となる。
[0046] 請求の範囲第 19項記載の発明は、請求の範囲第 17項又は第 18項記載の撮像方 法であって、前記混合比制御工程において、前記複数の波長信号の各々に乗算す る係数を変更することにより前記混合比を変更することを特徴とする。
[0047] 請求の範囲第 19項記載の発明によれば、複数の波長信号の各々に乗算する係数 を変更することにより、各波長信号の混合比を変更することが可能となる。
[0048] 請求の範囲第 20項記載の発明は、請求の範囲第 17項乃至第 19項のいずれか一 項に記載の撮像方法であって、前記混合比制御工程において、前記撮像素子と被 写体との距離が遠いときは長波長信号の割合が多ぐ前記撮像素子と被写体との距 離が近!、ときは短波長信号の割合が多くなるように混合比を変更することを特徴とす る。
[0049] 請求の範囲第 20項記載の発明によれば、遠い被写体には長波長の光の焦点が合 い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点 が合う波長信号の割合を多くすることにより、 MTF特性の高い輝度信号を得ることが 可能となる。
[0050] 請求の範囲第 21項記載の発明は、請求の範囲第 17項乃至第 19項のいずれか一 項に記載の撮像方法であって、前記混合比制御工程において、前記複数の撮像素 子に結像した被写体像の相互の距離が近いときは長波長信号の割合が多ぐ前記 被写体像の相互の距離が遠 、ときは短波長信号の割合が多くなるように混合比を変 更することを特徴とする。
[0051] 請求の範囲第 21項記載の発明によれば、複数の撮像素子に結像した被写体像の 相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くな ることから、被写体像の相互の距離に応じて焦点が合う波長信号の割合を多くするこ とにより、 MTF特性の高い輝度信号を得ることが可能となる。
[0052] 請求の範囲第 22項記載の発明は、請求の範囲第 17項乃至第 21項のいずれか一 項に記載の撮像方法であって、前記混合比制御工程において、同一の撮像素子に 結像した複数の被写体ごとに前記混合比を変更することを特徴とする。
[0053] 請求の範囲第 22項記載の発明によれば、同一フレーム内に存在する複数の被写 体にっ 、て、各波長信号の混合比を最適化することが可能となる。
[0054] 請求の範囲第 23項記載の発明は、撮像方法であって、入射光を複数種類の波長 ごとに電気信号に変換する複数の撮像素子と、前記複数の撮像素子の各々力 出 力された複数の波長信号の各々を高周波成分と低周波成分とに分離するフィルタと を使用し、前記複数の波長信号ごとの低周波成分を所定の混合比で混合して低域 輝度信号を生成する低域輝度信号生成工程と、前記複数の波長信号ごとの高周波 成分を所定の混合比で混合して高域輝度信号を生成し、前記高域輝度信号と前記 低域輝度信号とを加算して輝度信号を生成する輝度信号生成工程と、前記複数の 撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する 距離検出工程と、を有することを特徴とする。
[0055] 請求の範囲第 23項記載の発明によれば、高周波成分につ!、ては、各波長の高周 波成分のうち被写体に焦点が合う波長の光だけが残ることから、フィルタで高周波成 分を分離するのみで被写体に焦点が合う波長信号の割合が多い混合比の高域輝度 信号を得ることができる。これにより、 MTF特性の高い高域輝度信号を用いて、高精 度な測距を行うことが可能となる。
[0056] また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体 の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信 号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可 能となる。
[0057] 請求の範囲第 24項記載の発明は、請求の範囲第 23項記載の撮像方法であって、 前記複数の波長信号ごとの前記低周波成分に係数を乗算することにより前記低周波 成分を所定の混合比とすることを特徴とする。
[0058] 請求の範囲第 24項記載の発明によれば、複数の波長信号ごとの低周波成分に係 数を乗算することにより、低周波成分を所定の混合比とすることが可能となる。
[0059] 請求の範囲第 25項記載の発明は、請求の範囲第 23項又は第 24項記載の撮像方 法であって、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を 検出する位置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成 分の混合比を変更する混合比制御工程を有することを特徴とする。
[0060] 請求の範囲第 25項記載の発明によれば、フィルタで高周波成分を分離すると共に 、被写体の距離に応じて高周波成分の混合比を変更することにより、より MTF特性 の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
[0061] また、複数の撮像素子による被写体像の相対的位置関係を用いることにより、最適 な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
[0062] 請求の範囲第 26項記載の発明は、請求の範囲第 25項記載の撮像方法であって、 前記混合比制御工程にお!、て、前記複数の波長信号ごとの高周波成分に乗算する 係数を変更することにより前記混合比を変更することを特徴とする。
[0063] 請求の範囲第 26項記載の発明によれば、複数の波長信号ごとの高周波成分に乗 算する係数を変更することにより、輝度信号における高周波成分の混合比を変更す ることが可能となる。
[0064] 請求の範囲第 27項記載の発明は、撮像方法であって、入射光を複数種類の波長 ごとに電気信号に変換する複数の撮像素子と、前記複数の撮像素子の各々力 出 力された複数の波長信号の各々力 高周波成分を分離するフィルタとを使用し、前 記複数の撮像素子ごとに前記高周波成分を混合して得られた高域輝度信号の相関 に基づいて被写体までの距離を検出する距離検出工程を有することを特徴とする。
[0065] 請求の範囲第 27項記載の発明によれば、高周波成分につ!、ては、各波長の高周 波成分のうち被写体に焦点が合う波長の光だけが残ることから、フィルタで高周波成 分を分離するのみで被写体に焦点が合う波長信号の割合が多い混合比の高域輝度 信号を得ることができる。これにより、 MTF特性の高い高域輝度信号を用いて、高精 度な測距を行うことが可能となる。
[0066] また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体 の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信 号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可 能となる。
[0067] 請求の範囲第 28項記載の発明は、請求の範囲第 27項記載の撮像方法であって、 前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位 置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比 を変更する混合比制御工程を有することを特徴とする。
[0068] 請求の範囲第 28項記載の発明によれば、フィルタで高周波成分を分離すると共に 、被写体の距離に応じて高周波成分の混合比を変更することにより、より MTF特性 の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
[0069] 請求の範囲第 29項記載の発明は、請求の範囲第 25項、第 26項又は第 28項に記 載の撮像方法であって、前記混合比制御工程において、前記撮像素子と被写体と の距離が遠いときは長波長信号の高周波成分の割合が多ぐ前記撮像素子と被写 体との距離が近いときは短波長信号の高周波成分の割合が多くなるように混合比を 変更することを特徴とする。
[0070] 請求の範囲第 29項記載の発明によれば、遠い被写体には長波長の光の焦点が合 い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点 が合う波長信号の高周波成分の割合を多くすることによって、 MTF特性の高い高域 輝度信号を得ることが可能となる。
[0071] 請求の範囲第 30項記載の発明は、請求の範囲第 25項、第 26項又は第 28項に記 載の撮像方法であって、前記混合比制御工程において、前記複数の撮像素子に結 像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く 、前記被写体像の相互の距離が遠 、ときは短波長信号の高周波成分の割合が多く なるように混合比を変更することを特徴とする。
[0072] 請求の範囲第 30項記載の発明によれば、複数の撮像素子に結像した被写体像の 相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くな ることから、被写体像の相互の距離に応じて焦点が合う波長信号の高周波成分の割 合を多くすることにより、 MTF特性の高い高域輝度信号を得ることが可能となる。
[0073] 請求の範囲第 31項記載の発明は、請求の範囲第 25項、第 26項、第 28項乃至第 30項の 、ずれか一項に記載の撮像方法であって、前記混合比制御工程にお!、て、 同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴と する。 [0074] 請求の範囲第 31項記載の発明によれば、同一フレーム内に存在する複数の被写 体にっ 、て、各波長信号の混合比を最適化することが可能となる。
[0075] 請求の範囲第 32項記載の発明は、請求の範囲第 17項乃至第 31項のいずれか一 項に記載の撮像方法であって、前記複数の波長信号は赤信号、緑信号及び青信号 であることを特徴とする。
[0076] 請求の範囲第 32項記載の発明によれば、複数の波長信号が赤信号、緑信号及び 青信号である場合にも、上記と同様の作用を得ることができる。
発明の効果
[0077] 請求の範囲第 1項又は第 17項記載の発明によれば、被写体の位置に関わらず高 精度な測距を行うことが可能となる。
[0078] 請求の範囲第 2項又は請求の範囲第 18項記載の発明によれば、被写体に最適な 波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
[0079] 請求の範囲第 3項又は請求の範囲第 19項記載の発明によれば、複数の波長信号 の各々に乗算する係数を変更することにより、各波長信号の混合比を変更することが 可能となる。
[0080] 請求の範囲第 4項又は請求の範囲第 20項記載の発明によれば、被写体に適した 高周波成分の割合が多く MTF特性の高い高域輝度信号を得て高精度な測距を行 うことが可能となる。
[0081] 請求の範囲第 5項又は請求の範囲第 21項記載の発明によれば、被写体に適した 高周波成分の割合が多く MTF特性の高い高域輝度信号を得て高精度な測距を行 うことが可能となる。
[0082] 請求の範囲第 6項又は請求の範囲第 22項記載の発明によれば、同一フレーム内 に存在する複数の被写体につ!、て、各波長信号の混合比を最適化することが可能と なる。
[0083] 請求の範囲第 7項又は請求の範囲第 23項記載の発明によれば、被写体に適した 高周波成分の割合が多く MTF特性の高い高域輝度信号を得て高精度な測距を行 うことが可能となる。
[0084] また、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像 の色再現性を確保することが可能となる。
[0085] 請求の範囲第 8項又は請求の範囲第 24項記載の発明によれば、低周波成分を所 定の混合比とすることが可能となる。
[0086] 請求の範囲第 9項又は請求の範囲第 25項記載の発明によれば、より MTF特性の 高い高域輝度信号を得て高精度な測距を行うことが可能となる。また、被写体に最適 な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
[0087] 請求の範囲第 10項又は請求の範囲第 26項記載の発明によれば、高周波成分の 混合比を変更することが可能となる。
[0088] 請求の範囲第 11項又は請求の範囲第 27項記載の発明によれば、被写体に適し た高周波成分の割合が多く MTF特性の高い高域輝度信号を得て高精度な測距を 行うことが可能となる。
[0089] また、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像 の色再現性を確保することが可能となる。
[0090] 請求の範囲第 12項又は請求の範囲第 28項記載の発明によれば、より MTF特性 の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
[0091] 請求の範囲第 13項又は請求の範囲第 29項記載の発明によれば、被写体に適し た高周波成分の割合が多く MTF特性の高い高域輝度信号を得て高精度な測距を 行うことが可能となる。
請求の範囲第 14項又は請求の範囲第 30項記載の発明によれば、被写体に適した 高周波成分の割合が多く MTF特性の高い高域輝度信号を得て高精度な測距を行 うことが可能となる。
請求の範囲第 15項又は請求の範囲第 31項記載の発明によれば、同一フレーム内 に存在する複数の被写体につ!、て、各波長信号の混合比を最適化することが可能と なる。
[0092] 請求の範囲第 16項又は請求の範囲第 32項記載の発明によれば、複数の波長信 号が赤信号、緑信号及び青信号である場合にも、上記と同様の効果を得ることがで きる。
図面の簡単な説明 [0093] [図 1]第 1の実施形態に係る撮像装置の全体構成を示すブロック図である。
[図 2]第 1の実施形態に係る撮像素子と被写体の距離との関係を示す概念図である。
[図 3]第 2の実施形態に係る撮像装置の全体構成を示すブロック図である。
[図 4]第 3の実施形態に係る撮像装置の全体構成を示すブロック図である。
[図 5]第 4の実施形態に係る撮像装置の全体構成を示すブロック図である。
[図 6]第 5の実施形態に係る撮像装置の全体構成を示すブロック図である。
[図 7]固定焦点レンズと各波長の光との関係を示す概念図である。
[図 8]固定焦点レンズと被写体の距離との関係を示す概念図である。
符号の説明
[0094] 1 撮像装置
2a, 2b 撮像素子
3a, 3b レンズユニット
4 システム制御部
5a, 5b 絞り制御部
6a, 6b タイミング生成部
7a, 7b 色分離補間部
8a, 8b モニタ用信号生成部
9a, 9b 混合比制御部
10a, 10b 輝度信号生成部
11 位置検出部
12 距離検出部
13a, 13b 高域通過フィルタ
14a, 14b 低域輝度信号生成部
15a, 15b 混合比制御部
16 固定焦点レンズ
17a〜17c レンズ
発明を実施するための最良の形態
[0095] [第 1の実施形態] 本発明の第 1の実施形態について、図 1及び図 2を参照して説明する。
[0096] 図 1に示すように、撮像装置 1は 3Dカメラ (ステレオカメラ）を構成する 2つの撮像素 子 2a, 2bを備えており、複数の撮像素子 2a, 2bにより被写体を異なる位置力も撮像 して撮影画像の相関を求め、同一被写体に対する視差により、撮像素子の位置や焦 点距離などのパラメータを用いて、被写体の位置 (距離)を測るようになつている。な お、撮像装置 1が備える撮像素子は複数であればよぐ 2つに限られるものではない
[0097] また、撮像素子 2a, 2bの前には、被写体光像を撮像素子 2a, 2bの結像面に結像 させる複数のレンズ及びこれらのレンズにより集光される光の量を調整する絞り部か ら構成されるレンズユニット 3a, 3bが設けられて!/、る。
[0098] 撮像素子 2a, 2bは、入射光を複数種類の波長ごとに電気信号に変換するようにな つている。本実施形態の撮像素子 2a, 2bは、 R (赤）、 G (緑)、 B (青）の各波長のフィ ルタを備えた画素が水平方向に順次繰り返し配列されて構成されており、 R (赤）、 G (緑)、 B (青)信号の順次繰り返し信号を出力するようになって!/、る。
[0099] また、図 2 (a)〜（c)に示すように、撮像素子 2a, 2bの受光面は、同一被写体の受 光面上での結像位置に応じて、結像位置の距離が相互に近い方から、 Rエリア、 Gェ リア、 Bエリアに区分けされている。これらのエリアは、被写体の位置に応じて変動す るようになっている。例えば、被写体が左右に移動すれば、 Rエリア、 Gエリア、 Bエリ ァもそれぞれ左右にシフトするようになっている。
[0100] 図 7に示すように、被写体が同一位置にある場合は、各波長の光によって結像面が 異なる。すなわち、 B (青)光の結像面が最も近ぐ G (緑)光、 R (赤)光の順に結像面 が遠くなる。従って、図 8に示すように、各波長の光の結像面を同一とした場合は、 G 光と比較すると、 A光は遠い位置にある被写体に焦点が合い、 B光は近い位置にあ る被写体に焦点が合う。
[0101] また、 3Dカメラを構成する撮像素子 2a, 2bでは、撮像素子 2a, 2bと被写体との距 離が遠いほどレンズユニット 3a, 3bの透過光が結像する位置の間隔が狭くなり、撮像 素子 2a, 2bと被写体との距離が近いほど結像位置の間隔が広くなる。撮像素子 2a, 2bの間隔が相互の距離の最小値であり、被写体が無限遠の場合における両者の結 像面の距離に相当する。本実施形態では、この結像位置の相互距離に応じて撮像 素子 2a, 2bの受光面をエリア分けしている。また、上述のように、被写体の位置に応 じて各エリアを変動させるようになって 、る。
[0102] これにより、撮像素子 2a, 2bの受光面における結像位置の相互距離が最も近い R エリアでは R光が最もシャープに結像し、結像位置の相互距離が互いに最も遠い B エリアでは B光が最もシャープに結像し、その中間の Gエリアでは G光が最もシャープ に結像するようになっている。図 2 (a)では Bエリアにおいて B光の焦点が合い、図 2 ( b)では Gエリアにお!、て G光の焦点が合!、、図 2 (c)では Rエリアにお!、て R光の焦 点が合っている。
[0103] 次に、本実施形態に係る撮像装置 1の機能的構成について説明する。
図 1に示すように、撮像装置 1は、撮像素子 2a, 2bを備えており、撮像素子 2a, 2bの 前には、レンズユニット 3a, 3bがそれぞれ設けられている。
撮像素子 2a, 2bは、レンズユニット 3a, 3bを透過した入射光を電気信号に光電変換 して取り込むようになって!/、る。
レンズユニット 3a, 3bは、レンズにより被写体からの光を撮像素子 2a, 2bの結像面に 集光すると共に、絞り部によって撮像素子 2a, 2bの結像面に集光される光の量を調 整するようになっている。
[0104] また、撮像装置 1は、システム制御部 4を備えている。システム制御部 4は、 CPU (C entral Processing Unit)、書き換え可能な半導体素子で構成される RAM (Random A ccess Memory)及び不揮発性の半導体メモリで構成される ROM (Read Only Memor y)力 構成されている。
[0105] また、システム制御部 4には撮像装置 1の各構成部分が接続されており、システム 制御部 4は、 ROMに記録された処理プログラムを RAMに展開して CPUによりこの 処理プログラムを実行することにより、これらの各構成部分を駆動制御するようになつ ている。
図 1に示すように、システム制御部 4には、絞り制御部 5a, 5b、タイミング生成部 6a, 6 b、色分離補間部 7a, 7b、モニタ用信号生成部 8a, 8b、混合比制御部 9a, 9b、輝度 信号生成部 10a, 10b、位置検出部 11及び距離検出部 12が電気的に接続されてい る。
[0106] 絞り制御部 5a, 5bは、レンズユニット 3a, 3bのレンズによって集光される光の量を 調整する絞り部を駆動制御するようになっている。すなわち、絞り制御部 5a, 5bは、 システム制御部 4から入力される制御値に基づき、撮像素子 2a, 2bの撮像動作開始 直前に絞り部を開口させて力 所定の露光時間の経過後に絞り部を閉塞させ、また 、非撮像時は撮像素子 2a, 2bへの入射光を遮断することによって、入射光量を制御 するようになっている。
[0107] タイミング生成部 6a, 6bは、所定のタイミングパルスを生成して撮像素子 2a, 2bに 出力することにより撮像素子 2a, 2bの撮影動作 (露光に基づく電荷蓄積や蓄積電荷 の読出しなど）を制御するようになって!/、る。
[0108] 色分離補間部 7a, 7bは、撮像素子 2a, 2bから出力された R (赤）、 G (緑)、 B (青） 信号の順次繰り返し信号から、 R信号、 G信号、 B信号のそれぞれを分離すると共に
、各波長信号（
例えば、 B, G, R各色の電気信号）について色補間処理を行うようになっている。
[0109] モニタ用信号生成部 8a, 8bは、色分離補間部 7a, 7bから出力された R、 G、 Bの各 信号について、最低輝度値となる黒レベルを基準値に補正する黒基準補正、白色を 調整する AWB (自動ホワイトバランス）、色成分値を補正する色補正、色空間を RGB から YUVに変換する色空間変換などの画像処理を行うことにより、モニタ用信号を 生成するようになっている。
[0110] 混合比制御部 9a, 9bは、撮像素子 2a, 2bの各々と被写体との位置関係に応じ、 撮像素子 2a, 2bごとに複数の波長信号の混合比を変更するようになっている。本実 施形態の混合比制御部 9a, 9bは、撮像素子 2a, 2bと被写体との距離が遠いときは 長波長信号の割合が多ぐ撮像素子撮像素子 2a, 2bと被写体との距離が近いときは 短波長信号の割合が多くなるように混合比を変更するようになっている。
[0111] すなわち、混合比制御部 9a, 9bは、 R信号、 G信号、 B信号が所定の混合比とされ た輝度信号 Υ , Y
1 2を基準として、位置検出部 11の検出結果 (撮像素子と被写体との 位置関係）に基づき、被写体と撮像素子 2a, 2bとの距離が相対的に遠い場合は R信 号の割合を多ぐ相対的に近い場合は B信号の割合を多ぐその中間の場合は G信 号の割合を多くするようになって 、る。
[0112] この際、混合比制御部 9a, 9bは、複数の波長信号の各々に乗算する係数を変更 することによって、複数の波長信号の混合比を変更するようになっている。具体的に は、輝度信号 Υ , Y =0. 3R +0. 59G +0. 11Bを基準として、図示しない乗算 回路により各波長信号に変更した係数を乗算して輝度信号 Υ , Yの各項を R、 G、
1 2 2 2
Bとすることにより、混合比を変更するようになっている。なお、輝度信号 Υ , Yにお
2 1 2 ける R信号、 G信号、 B信号の割合は 100%となってもよい。
[0113] また、混合比制御部 9a, 9bは、撮像素子 2a, 2bに結像した被写体像の相互の距 離が近いときは長波長信号の割合が多ぐ被写体像の相互の距離が遠いときは短波 長信号の割合が多くなるように混合比を変更することも可能である。
[0114] すなわち、混合比制御部 9a, 9bは、撮像素子 2a, 2bの結像面のうち Rエリア、 Gェ リア、 Bエリアのいずれにおいて被写体からの光が結像したかに応じて、 R信号、 G信 号、 B信号の混合比を変更することも可能である。具体的には、被写体像が Rエリア に結像した場合は、被写体の距離が相対的に遠いものとして R信号の割合を多ぐ B エリアに結像した場合は、被写体の距離が相対的に近いものとして B信号の割合を 多ぐ Gエリアに結像した場合は、その中間として G信号の割合を多くする。
[0115] また、混合比制御部 9a, 9bは、 R信号、 G信号、 B信号それぞれの係数の差が大き い場合は、撮像素子 2a, 2bの各エリアの境界付近に切換区間を設け、この切換区 間においては係数が徐々に変化するように係数を設定することが望ましい。これによ り、各エリアの境界付近で得られた輝度信号 Y , Yに基づく位置検出に誤差を抑制
1 2
することが可能となる。
[0116] このように、撮像素子 2a, 2bと被写体との距離に応じ、輝度信号 Υ , Yにおいて被
1 2 写体に焦点が合う波長信号の割合が多くなるように各波長の光の混合比を変更する ことで、 MTF特性の高い輝度信号 Υ , Yを得ることが可能となる。すなわち、被写体
1 2
との距離が相対的に遠い場合は R信号の割合を多くし、被写体との距離が相対的に 近い場合は B信号の割合を多くし、その中間の場合は G信号の割合を多くすることに より、 MTF特性の高い輝度信号 Υ , Yを得ることが可能となる。
1 2
[0117] また、混合比制御部 9a, 9bは、同一の撮像素子に結像した複数の被写体ごとに各 波長信号の混合比を変更することも可能である。これにより、同一フレーム内に存在 する複数の被写体にっ 、て、各波長信号の混合比を最適化することが可能となる。
[0118] 輝度信号生成部 10a, 10bは、撮像素子 2a, 2bの各々から出力された複数の波長 信号を所定の混合比で混合して輝度信号を生成するようになって 、る。本実施形態 の輝度信号生成部 10a, 10bは、混合比制御部 9a, 9bにより変更された混合比に従 つて R信号、 G信号、 B信号を混合し、輝度信号 Υ , Yを生成するようになっている。
1 2
[0119] 位置検出部 11は、撮像素子 2a, 2bの各々に結像した被写体像の相対的位置関 係を検出するようになっている。すなわち、位置検出部 11は、混合比制御部 9で当該 位置検出部 11の検出結果（1回目の検出結果）に基づいて混合比を変更し、変更し た混合比により輝度信号生成部 10a, 10bで各波長信号を混合する。そして得られ た輝度信号 Υ , Yの相関を求めることにより、撮像素子 2a, 2bの同一被写体に対す
1 2
る相対的位置関係（2回目の検出結果)を検出するようになっている。
距離検出部 12は、撮像素子 2a, 2bごとに得られた輝度信号の相関に基づいて被写 体までの距離を検出するようになっている。すなわち、距離検出部 12は、位置検出 部 11で検出された撮像素子 2a, 2bに結像した同一被写体の相対的位置関係から、 撮像素子の位置や焦点距離などのパラメータを用いて被写体の位置 (距離)を検出 するようになっている。
[0120] 次に、本実施形態の撮像装置 1を使用した本発明の撮像方法について説明する。
[0121] 被写体からの光がレンズユニット 3a, 3bを透過して撮像素子 2a, 2bの結像面に入 射すると、撮像素子 2a, 2bはタイミングパルスに従って入射光を電気信号に光電変 換し、 R、 G、 B信号の順次繰り返し信号を出力する。
[0122] 次に、色分離補間部 7a, 7bは、撮像素子 2a, 2bから出力された R、 G、 B信号の順 次繰り返し信号から、 R信号、 G信号、 B信号のそれぞれを分離すると共に、各波長 信号にっ 、て色補間処理を行う。
[0123] 続いて、モニタ用信号生成部 8a, 8bは色分離補間部 7a, 7bから出力された R、 G
、 Bの各信号について黒基準補正、 AWB (自動ホワイトバランス）、色補正、色空間 変換などの画像処理を行い、モニタ用信号を生成する。
[0124] 一方、混合比制御部 9a, 9bは、被写体の距離に応じ、基準となる輝度信号 Υ , Y の R信号、 G信号、 B信号の混合比を変更する。
[0125] すなわち、混合比制御部 9a, 9bは、輝度信号 Υ , Y =0. 3R+0. 59G + 0. 11B
1 2
をそれぞれ基準として、位置検出部 11の（1回目の)検出結果 (撮像素子と被写体と の位置関係）に基づき、被写体と撮像素子 2a, 2bとの距離が相対的に遠い場合は R 信号の割合が多ぐ相対的に近い場合は B信号の割合が多ぐその中間の場合は G 信号の割合が多くなるように、各波長信号に乗算する係数を変更する。
[0126] また、混合比制御部 9a, 9bは、撮像素子 2a, 2bの Rエリア、 Gエリア、 Bエリアのい ずれにおいて被写体像が結像したかに応じて、 R信号、 G信号、 B信号の混合比を 変更することも可能である。なお、上述のように、各エリアは被写体の位置に応じて変 動し、例えば、被写体が左右に移動すれば、 Rエリア、 Gエリア、 Bエリアもそれぞれ 左右にシフトする。
[0127] 続いて、輝度信号生成部 10a, 10bは、混合比制御部 9a, 9bにより変更された混 合比に従って、 R信号、 G信号、 B信号を混合して輝度信号 Υ , Yを生成する。
1 2
[0128] 次に、位置検出部 11は、輝度信号生成部 10a, 10bから得られた輝度信号 Υ , Y
1 2 の相関を求めることにより、撮像素子 2a, 2bに結像した同一被写体の相対的位置関 係を検出する。
[0129] 続いて、距離検出部 12は、位置検出部 11で検出された撮像素子 2a, 2bに結像し た同一被写体の相対的位置関係 (2回目の検出結果)から、撮像素子の位置や焦点 距離などのパラメータを用いて被写体の位置 (距離)を検出する。
[0130] 以上より本実施形態によれば、撮像素子 2a, 2bと被写体との位置関係に応じて各 波長信号の混合比を変更し、最適な波長の光を多く利用することにより、各波長信号 を固定した比率で混合した輝度信号を用いる場合と比較して、被写体の位置に関わ らず高精度な測距を行うことが可能となる。
[0131] また、撮像素子 2a, 2bによる被写体像の相対的位置関係を用いることにより、最適 な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
[0132] また、複数の波長信号の各々に乗算する係数を変更することにより、各波長信号の 混合比を変更することが可能となる。
[0133] また、遠 、被写体には長波長の光の焦点が合!、、近!、被写体には短波長の光の 焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の割合を多くするこ とにより、 MTF特性の高い輝度信号を得ることが可能となる。
[0134] また、撮像素子 2a, 2bに結像した被写体像の相互の距離は、被写体の距離が遠 いほど狭くなり、被写体の距離が近いほど広くなることから、これをもとに被写体像の 相互の距離に応じて焦点が合う波長信号の割合を多くすることにより、 MTF特性の 高 、輝度信号を得ることが可能となる。
[0135] また、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を 最適化することが可能となる。
[0136] また、複数の波長信号が R信号、 G信号及び B信号である場合にも、上記の作用を 得ることができる。
[第 2の実施形態]
次に、本発明の第 2の実施形態について、図 3を参照して説明する。なお、第 1の 実施形態と同一部分には同一符号を付してその説明を省略し、第 1の実施形態と異 なる部分について説明する。
[0137] 本実施形態の撮像装置 1は、混合比制御部 9a, 9bに代わって高域通過フィルタ 1 3a, 13bを備えているほか、低域輝度信号生成部 14a, 14bを備えている。
高域通過フィルタ 13a, 13bは、色分離補間部 7a, 7bから出力された各波長信号の うち高周波成分のみを通過させることにより、各波長信号の高周波成分 R 、 G 、 B
H H H
と低周波成分 R 、 G 、 B
し し しとを分離するようになっている。このうち高周波成分は輝度 信号生成部 10a, 10bに出力され、低周波成分は低域輝度信号生成部 14a, 14bに 出力される。
低域輝度信号生成部 14a, 14bは、複数の波長信号ごとの低周波成分を所定の混 合比で混合して低域輝度信号 Y , Y を生成するようになっている。ここで、所定の
し 1 し 2
混合比とは、所定の固定された混合比を意味する。本実施形態では、上記基準とな る輝度信号 Υ , Y =0. 3R+0. 59G + 0. 11Bの混合比を所定の混合比として、図
1 2
示しない乗算回路で各波長の低周波成分に所定の係数を乗算して混合することによ り、低域輝度信号 Y , Y
し 1 し 2を生成するようになっている。この低域輝度信号 Y , Y
し 1 し 2 は、輝度信号生成部 10a, 10bに出力される。 [0138] また、輝度信号生成部 10a, 10bは、波長信号ごとの高周波成分を混合して高域 輝度信号 Y , Y
HI H2を生成し、高域輝度信号 Y , Y
HI H2と低域輝度信号 Y , Y
LI L2とを 加算して輝度信号 Υ , Υを生成するようになっている。
1 2
[0139] このように、輝度信号生成部 10a, 10bは、波長信号ごとの高周波成分はそのまま 混合 (あるいは所定の混合比で混合)して高域輝度信号 Y , Y
HI H2を生成するよう〖こ なっている。これにより、高周波成分については、各波長の高周波成分のうち被写体 に焦点が合う波長の光だけが残ることから、高域通過フィルタ 13a, 13bで高周波成 分を分離するのみで、被写体に焦点が合う波長信号の割合が多 、高域輝度信号 Y
H
, Y
1 H2を得ることができる。すなわち、被写体の距離が相対的に遠い場合は R信号の 割合が多ぐ被写体の距離が相対的に近い場合は B信号の割合が多ぐその中間で ある場合は G信号の割合が多くなる。これにより、 MTF特性の高い輝度信号 Υ , Y
1 2 を得ることが可能となる。
[0140] また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体 の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信 号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可 能となる。
[0141] 次に、本実施形態の撮像装置 1を使用した本発明の撮像方法について説明する。
[0142] 高域通過フィルタ 13a, 13bは、色分離補間部 7a, 7bから出力された各波長信号 のうち高周波成分のみを通過させることにより、各波長信号の高周波成分と低周波 成分とを分離し、高周波成分を輝度信号生成部 10a, 10bに出力すると共に、低周 波成分を低域輝度信号生成部 14a, 14bに出力する。
[0143] 次に、低域輝度信号生成部 14a, 14bは、各波長信号の低周波成分を所定の混合 比により混合して低域輝度信号 Υ , Y を生成して輝度信号生成部 10a, 10bに出
し 1 し 2
力する。
[0144] 次に、輝度信号生成部 10a, 10bは、高域通過フィルタ 13a, 13bにより分離された 各波長信号の高周波成分により高域輝度信号 Y , Y
HI H2を生成し、この高域輝度信 号 Y , Y と低域輝度信号 Y , Y とを加算して、輝度信号 Y , Yを生成する。こ
HI H2 LI L2 1 2
の際、輝度信号生成部 10a, 10bは、各波長信号の高周波成分をそのまま混合して 輝度信号を生成する。
[0145] 以上より本実施形態によれば、高周波成分につ!、ては、各波長の高周波成分のう ち被写体に焦点が合う波長の光だけが残ることから、高域通過フィルタ 13a, 13bで 高周波成分を分離するのみで、被写体に焦点が合う波長信号の割合が多 、混合比 の高域輝度信号 Υ , Y を得ることができる。これにより、 MTF特性の高い高域輝
HI H2
度信号 Y , Y を用いて、高精度な測距を行うことが可能となる。
HI H2
[0146] また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体 の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信 号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可 能となる。
[0147] また、複数の波長信号ごとの低周波成分に係数を乗算することにより、低周波成分 を所定の混合比とすることが可能となる。
[第 3の実施形態]
次に、本発明の第 3の実施形態について、図 4を参照して説明する。なお、第 2の 実施形態と同一部分には同一符号を付してその説明を省略し、第 2の実施形態と異 なる部分について説明する。
[0148] 本実施形態の撮像装置 1は、高域通過フィルタ 13a, 13b及び低域輝度信号生成 部 14a, 14bに加えて、混合比制御部 15a, 15bを備えている。
[0149] 混合比制御部 15a, 15bは、被写体の距離に応じ、各波長信号の高周波成分の混 合比を変更するようになっている。本実施形態では、撮像素子 2a, 2bと被写体との 距離が遠いときは長波長信号の高周波成分の割合が多ぐ撮像素子 2a, 2bと被写 体との距離が近いときは短波長信号の高周波成分の割合が多くなるように混合比を 変更するようになって!/、る。
[0150] すなわち、混合比制御部 15a, 15bは、 R信号、 G信号、 B信号が所定の混合比とさ れた高域輝度信号を基準として、位置検出部 11の検出結果に基づき、被写体の距 離が相対的に遠い場合は R信号の割合を多ぐ被写体の距離が相対的に近い場合 は B信号の割合を多ぐその中間の場合は G信号の割合を多くするようになって 、る [0151] 具体的には、混合比制御部 15a, 15bは、図示しない乗算回路により高域輝度信 号の各波長信号に乗算する係数を変更することにより混合比を変更するようになって いる。
[0152] また、混合比制御部 15a, 15bは、複数の撮像素子 2a, 2bに結像した被写体像の 相互の距離が近いときは長波長信号の高周波成分の割合が多ぐ被写体像の相互 の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更 することも可會である。
[0153] すなわち、混合比制御部 15a, 15bは、撮像素子 2a, 2bの Rエリア、 Gエリア、 Bエリ ァのいずれにおいて被写体像が結像したかに応じて、 R信号、 G信号、 B信号の混 合比を変更することも可能である。
[0154] これにより、上記のように高域通過フィルタ 13a, 13bで高周波成分を分離するのみ で、被写体に焦点が合う波長信号の割合が多い高域輝度信号 Y , Y
HI H2を得ること ができる力 更に、各波長の光の混合比を変更することにより、より高い MTF特性の 高域輝度信号 Y , Y
HI H2を得ることが可能となる。
[0155] また、輝度信号生成部 10a, 10bは、混合比制御部 15a, 15bにより変更された混 合比に従って、各波長信号の高周波成分を混合して高域輝度信号 Y , Y
HI H2を生成 し、この高域輝度信号 Y , Y と低域輝度信号 Y , Y とを加算して輝度信号 Y ,
HI H2 LI L2 1
Y
2を生成するようになっている。
[0156] 次に、本実施形態の撮像装置 1を使用した本発明の撮像方法について説明する。
[0157] 高域通過フィルタ 13a, 13bが各波長信号の高周波成分と低周波成分とを分離す ると、混合比制御部 15a, 15bは、被写体の距離に応じ、各波長信号の高周波成分 の混合比を変更する。すなわち、位置検出部 11の検出結果に基づき、被写体の距 離が相対的に遠い場合は R信号の割合を多ぐ被写体の距離が相対的に近い場合 は B信号の割合を多ぐその中間の場合は G信号の割合を多くする。
[0158] 一方、低域輝度信号生成部 14a, 14bは、各波長信号の低周波成分を所定の混 合比により混合して低域輝度信号 Υ , Y を生成して輝度信号生成部 10a, 10bに
し 1 し 2
出力する。
[0159] 続いて、輝度信号生成部 10a, 10bは、混合比制御部 15a, 15bにより変更された 混合比に従って、各波長信号の高周波成分を混合して高域輝度信号 Y , Υ
HI H2を生 成し、この高域輝度信号 Y , Y と低域輝度信号 Y , Y とを加算して輝度信号 Y
HI H2 LI L2 1
, Y
2を生成する。
[0160] 以上より本実施形態によれば、高域通過フィルタ 13a, 13bで高周波成分を分離す ると共に、被写体の距離に応じて高周波成分の混合比を変更することにより、より MT F特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
[0161] また、撮像素子 2a, 2bに結像した被写体像の相対的位置関係を用いることにより、 最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
[0162] また、複数の波長信号ごとの高周波成分に乗算する係数を変更することにより、高 域輝度信号における高周波成分の混合比を変更することが可能となる。
[0163] また、遠 、被写体には長波長の光の焦点が合!、、近!、被写体には短波長の光の 焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の高周波成分の割 合を多くすることにより、 MTF特性の高い高域輝度信号を得ることが可能となる。
[0164] また、撮像素子 2a, 2bに結像した被写体像の相互の距離は、被写体の距離が遠 いほど狭くなり、被写体の距離が近いほど広くなることから、被写体像の相互の距離 に応じて焦点が合う波長信号の高周波成分の割合を多くすることにより、 MTF特性 の高 、高域輝度信号を得ることが可能となる。
[第 4の実施形態]
次に、本発明の第 4の実施形態について、図 5を参照して説明する。なお、第 2の 実施形態と同一部分には同一符号を付してその説明を省略し、第 2の実施形態と異 なる部分について説明する。
[0165] 本実施形態の撮像装置 1は、第 2の実施形態と同様に混合比制御部 9a, 9bに代 わり高域通過フィルタ 13a, 13bを備えている力 低域輝度信号生成部 14a, 14b及 び輝度信号生成部 10a, 10bは備えていない。
高域通過フィルタ 13a, 13bは、色分離補間部 7a, 7bより出力された各波長信号から 高周波成分のみを分離して位置検出部 11に出力するようになって!/、る。
これにより、上記のように高周波成分については、各波長の高周波成分のうち被写体 に焦点が合う波長の光だけが残ることから、高域通過フィルタ 13a, 13bで高周波成 分を分離するのみで、被写体の距離に応じた混合比の高域輝度信号 Y , Y
HI H2を得 ることが可能となる。
[0166] また、位置検出部 11は、撮像素子 2a, 2bごとに高周波成分を混合して得られた高 域輝度信号 Υ , Y の相関に基づき、撮像素子 2a, 2bの同一被写体に対する相
HI H2
対的位置関係を検出するようになって!/、る。
[0167] 次に、本実施形態の撮像装置 1を使用した本発明の撮像方法について説明する。
[0168] 高域通過フィルタ 13a, 13bが各波長信号力も高周波成分のみを分離すると、位置 検出部 11は、撮像素子 2a, 2bごとに各波長信号の高周波成分を混合して得られた 高域輝度信号 Υ , Y の相関を求めることにより、撮像素子 2a, 2bの同一被写体に
HI H2
対する相対的位置関係を検出する。
[0169] 以上より本実施形態によれば、高周波成分につ!、ては、各波長の高周波成分のう ち被写体に焦点が合う波長の光だけが残ることから、高域通過フィルタ 13a, 13bで 高周波成分を分離するのみで、被写体に焦点が合う波長信号の割合が多 、混合比 の高域輝度信号を得ることができる。これにより、 MTF特性の高い高域輝度信号を 用いて、高精度な測距を行うことが可能となる。
また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の 距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号 をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能と なる。
[第 5の実施形態]
次に、本発明の第 5の実施形態について、図 6を参照して説明する。なお、第 4の 実施形態と同一部分には同一符号を付してその説明を省略し、第 4の実施形態と異 なる部分について説明する。
[0170] 本実施形態の撮像装置 1は、高域通過フィルタ 13a, 13bに加え、混合比制御部 1 5a, 15bを備えている。
[0171] 混合比制御部 15a, 15bは、上記第 3の実施形態と同様に、被写体の距離に応じ、 各波長信号の高周波成分の混合比を変更するようになって!/、る。本実施形態では、 撮像素子 2a, 2bと被写体との距離が遠いときは長波長信号の高周波成分の割合が 多ぐ撮像素子 2a, 2bと被写体との距離が近いときは短波長信号の高周波成分の割 合が多くなるように混合比を変更するようになって 、る。
[0172] また、混合比制御部 15a, 15bは、複数の撮像素子 2a, 2bに結像した被写体像の 相互の距離が近いときは長波長信号の高周波成分の割合が多ぐ被写体像の相互 の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更 することも可會である。
これにより、上記のように高域通過フィルタ 13a, 13bで高周波成分を分離するのみ で、被写体に焦点が合う波長信号の割合が多い高域輝度信号 Y , Y
HI H2を得ること ができる力 更に、各波長の光の混合比を変更することにより、より高い MTF特性の 高域輝度信号 Y , Y
HI H2を得ることが可能となる。
また、位置検出部 11は、混合比制御部 15a, 15bにより変更された混合比に従って、 撮像素子 2a, 2bごとに高周波成分を混合して得られた高域輝度信号 Υ , Y の相
HI H2 関に基づき、撮像素子 2a, 2bに結像した同一被写体に対する相対的位置関係を検 出するようになっている。
[0173] 次に、本実施形態の撮像装置 1を使用した本発明の撮像方法について説明する。
[0174] 高域通過フィルタ 13a, 13bが各波長信号力 高周波成分のみを分離すると、混合 比制御部 15a, 15bは、被写体の距離に応じ、各波長信号の高周波成分の混合比 を変更する。
[0175] 続いて、位置検出部 11は、混合比制御部 15a, 15bにより変更された混合比に従 つて混合された高域輝度信号 Υ , Y の相関に基づき、撮像素子 2a, 2bの同一被
HI H2
写体に対する相対的位置関係を検出する。
[0176] 以上より本実施形態によれば、高域通過フィルタ 13a, 13bで高周波成分を分離す ると共に、被写体の距離に応じて高周波成分の混合比を変更することにより、より MT F特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
[0177] また、遠い被写体には長波長の光の焦点が合い、近い被写体には短波長の光の 焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の高周波成分の割 合を多くすることにより、 MTF特性の高い高域輝度信号を得ることが可能となる。
[0178] また、撮像素子 2a, 2bに結像した被写体像の相互の距離は、被写体の距離が遠 いほど狭くなり、被写体の距離が近いほど広くなることから、被写体像の相互の距離 に応じて焦点が合う波長信号の高周波成分の割合を多くすることにより、 MTF特性 の高 、高域輝度信号を得ることが可能となる。
以上述べたように本発明の撮像装置及び撮像方法によれば、複数の撮像素子を 用いた撮像装置及び撮像方法において、被写体の位置に関わらず高精度な測距を 行うことが可能となる。

Claims

請求の範囲
[1] 入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子ごとに設けられ、前記複数の撮像素子から出力された複数の 波長信号を所定の混合比で混合して輝度信号を生成する輝度信号生成部と、 前記複数の撮像素子と被写体との位置関係に応じて前記複数の撮像素子ごとに 前記複数の波長信号の混合比を変更する混合比制御部と、
前記複数の撮像素子ごとに得られた輝度信号の相関に基づ!、て被写体までの距 離を検出する距離検出部と、
を備えることを特徴とする撮像装置。
[2] 前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位 置検出部を備え、前記混合比制御部は前記位置検出部が検出した前記複数の撮 像素子と被写体との位置関係に応じて前記混合比を変更することを特徴とする請求 の範囲第 1項記載の撮像装置。
[3] 前記混合比制御部は前記複数の波長信号の各々に乗算する係数を変更すること により前記混合比を変更することを特徴とする請求の範囲第 1項又は第 2項記載の撮 像装置。
[4] 前記混合比制御部は、前記撮像素子と被写体との距離が遠!ヽときは長波長信号 の割合が多ぐ前記撮像素子と被写体との距離が近いときは短波長信号の割合が多 くなるように前記混合比を変更することを特徴とする請求の範囲第 1項乃至第 3項の V、ずれか一項に記載の撮像装置。
[5] 前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が 近いときは長波長信号の割合が多ぐ前記被写体像の相互の距離が遠いときは短波 長信号の割合が多くなるように混合比を変更することを特徴とする請求の範囲第 1項 乃至第 3項の 、ずれか一項に記載の撮像装置。
[6] 前記混合比制御部は、同一の撮像素子に結像した複数の被写体ごとに前記混合 比を変更することを特徴とする請求の範囲第 1項乃至第 5項のいずれか一項に記載 の撮像装置。
[7] 入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、 前記複数の撮像素子ごとに設けられ、前記複数の撮像素子の各々から出力された 複数の波長信号の各々を高周波成分と低周波成分とに分離するフィルタと、 前記複数の波長信号ごとの低周波成分を所定の混合比で混合して低域輝度信号 を生成する低域輝度信号生成部と、
前記複数の波長信号ごとの高周波成分を所定の混合比で混合して高域輝度信号 を生成し、前記高域輝度信号と前記低域輝度信号とを加算して輝度信号を生成する 輝度信号生成部と、
前記複数の撮像素子ごとに得られた輝度信号の相関に基づ!、て被写体までの距 離を検出する距離検出部と、
を備えることを特徴とする撮像装置。
[8] 前記低域輝度信号生成部は前記複数の波長信号ごとの前記低周波成分に係数を 乗算することにより前記低周波成分を所定の混合比とすることを特徴とする請求の範 囲第 7項記載の撮像装置。
[9] 前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位 置検出部と、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更 する混合比制御部とを備えることを特徴とする請求の範囲第 7項又は第 8項記載の撮 像装置。
[10] 前記混合比制御部は前記複数の波長信号ごとの高周波成分に乗算する係数を変 更することにより前記混合比を変更することを特徴とする請求の範囲第 9項記載の撮 像装置。
[11] 入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子ごとに設けられ、前記複数の撮像素子の各々から出力された 複数の波長信号の各々力 高周波成分を分離するフィルタと、
前記複数の撮像素子ごとに前記高周波成分を混合して得られた高域輝度信号の相 関に基づいて被写体までの距離を検出する距離検出部と、
を備えることを特徴とする撮像装置。
[12] 前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位 置検出部と、前記複数の波長信号ごとの高周波成分を前記位置検出部の検出結果 に応じて前記高周波成分の混合比を変更する混合比制御部とを備えることを特徴と する請求の範囲第 11項記載の撮像装置。
[13] 前記混合比制御部は、前記撮像素子と被写体との距離が遠!、ときは長波長信号 の高周波成分の割合が多ぐ前記撮像素子と被写体との距離が近いときは短波長信 号の高周波成分の割合が多くなるように混合比を変更することを特徴とする請求の範 囲第 9項、第 10項又は第 12項に記載の撮像装置。
[14] 前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が 近いときは長波長信号の高周波成分の割合が多ぐ前記被写体像の相互の距離が 遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを 特徴とする請求の範囲第 9項、第 10項又は第 12項に記載の撮像装置。
[15] 前記混合比制御部は、同一の撮像素子に結像した複数の被写体ごとに前記混合 比を変更することを特徴とする請求の範囲第 9項、第 10項、第 12項乃至第 14項の
V、ずれか一項に記載の撮像装置。
[16] 前記複数の波長信号は赤信号、緑信号及び青信号であることを特徴とする請求の 範囲第 1項乃至第 15項のいずれか一項に記載の撮像装置。
[17] 入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子を使用し、 前記複数の撮像素子力 出力された複数の波長信号を所定の混合比で混合して 前記複数の撮像素子ごとに輝度信号を生成する輝度信号生成工程と、
前記撮像素子と被写体との位置関係に応じて前記複数の撮像素子ごとに前記複 数の波長信号の混合比を変更する混合比制御工程と、
前記複数の撮像素子ごとに得られた輝度信号の相関に基づ!、て被写体までの距 離を検出する距離検出工程と、
を有することを特徴とする撮像方法。
[18] 前記混合比制御工程にお!、て、前記複数の撮像素子の各々に結像した被写体像 の相対的位置関係を検出する位置検出部を使用し、前記位置検出部が検出した前 記複数の撮像素子と被写体との位置関係に応じて前記混合比を変更することを特徴 とする請求の範囲第 17項記載の撮像方法。
[19] 前記混合比制御工程にお!、て、前記複数の波長信号の各々に乗算する係数を変 更することにより前記混合比を変更することを特徴とする請求の範囲第 17項又は第 1 8項記載の撮像方法。
[20] 前記混合比制御工程にお!、て、前記撮像素子と被写体との距離が遠!、ときは長波 長信号の割合が多ぐ前記撮像素子と被写体との距離が近いときは短波長信号の割 合が多くなるように前記混合比を変更することを特徴とする請求の範囲第 17項乃至 第 19項のいずれか一項に記載の撮像方法。
[21] 前記混合比制御工程にお!ヽて、前記複数の撮像素子に結像した被写体像の相互 の距離が近いときは長波長信号の割合が多ぐ前記被写体像の相互の距離が遠い ときは短波長信号の割合が多くなるように混合比を変更することを特徴とする請求の 範囲第 17項乃至第 19項のいずれか一項に記載の撮像方法。
[22] 前記混合比制御工程において、同一の撮像素子に結像した複数の被写体ごとに 前記混合比を変更することを特徴とする請求の範囲第 17項乃至第 21項のいずれか 一項に記載の撮像方法。
[23] 入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子の各々力 出力された複数の波長信号の各々を高周波成分 と低周波成分とに分離するフィルタとを使用し、
前記複数の波長信号ごとの低周波成分を所定の混合比で混合して低域輝度信号 を生成する低域輝度信号生成工程と、
前記複数の波長信号ごとの高周波成分を所定の混合比で混合して高域輝度信号 を生成し、前記高域輝度信号と前記低域輝度信号とを加算して輝度信号を生成する 輝度信号生成工程と、
前記複数の撮像素子ごとに得られた輝度信号の相関に基づ!、て被写体までの距 離を検出する距離検出工程と、
を有することを特徴とする撮像方法。
[24] 前記複数の波長信号ごとの前記低周波成分に係数を乗算することにより前記低周 波成分を所定の混合比とすることを特徴とする請求の範囲第 23項記載の撮像方法。
[25] 前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位 置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比 を変更する混合比制御工程を有することを特徴とする請求の範囲第 23項又は第 24 項記載の撮像方法。
[26] 前記混合比制御工程にお!、て、前記複数の波長信号ごとの高周波成分に乗算す る係数を変更することにより前記混合比を変更することを特徴とする請求の範囲第 25 項記載の撮像方法。
[27] 入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子の各々力 出力された複数の波長信号の各々から高周波成 分を分離するフィルタとを使用し、
前記複数の撮像素子ごとに前記高周波成分を混合して得られた高域輝度信号の 相関に基づ!ヽて被写体までの距離を検出する距離検出工程を有することを特徴とす る撮像方法。
[28] 前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位 置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比 を変更する混合比制御工程を有することを特徴とする請求の範囲第 27項記載の撮 像方法。
[29] 前記混合比制御工程にお!、て、前記撮像素子と被写体との距離が遠!、ときは長波 長信号の高周波成分の割合が多ぐ前記撮像素子と被写体との距離が近いときは短 波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする 請求の範囲第 25項、第 26項又は第 28項に記載の撮像方法。
[30] 前記混合比制御工程にお!ヽて、前記複数の撮像素子に結像した被写体像の相互 の距離が近いときは長波長信号の高周波成分の割合が多ぐ前記被写体像の相互 の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更 することを特徴とする請求の範囲第 25項、第 26項又は第 28項に記載の撮像方法。
[31] 前記混合比制御工程において、同一の撮像素子に結像した複数の被写体ごとに 前記混合比を変更することを特徴とする請求の範囲第 25項、第 26項、第 28項乃至 第 30項の 、ずれか一項に記載の撮像方法。
[32] 前記複数の波長信号は赤信号、緑信号及び青信号であることを特徴とする請求の 範囲第 17項乃至第 31項のいずれか一項に記載の撮像方法。
PCT/JP2007/059851 2006-05-18 2007-05-14 撮像装置及び撮像方法 WO2007135885A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/300,911 US8040396B2 (en) 2006-05-18 2007-05-14 Image capturing apparatus and image capturing method
JP2008516605A JP5146682B2 (ja) 2006-05-18 2007-05-14 撮像装置及び撮像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-139172 2006-05-18
JP2006139172 2006-05-18

Publications (1)

Publication Number Publication Date
WO2007135885A1 true WO2007135885A1 (ja) 2007-11-29

Family

ID=38723198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/059851 WO2007135885A1 (ja) 2006-05-18 2007-05-14 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US8040396B2 (ja)
JP (1) JP5146682B2 (ja)
WO (1) WO2007135885A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105991910A (zh) * 2015-03-23 2016-10-05 佳能株式会社 摄像设备及其控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201026034A (en) * 2008-12-31 2010-07-01 Altek Corp Automatic focusing method in high-noise environment and the device thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0545574A (ja) * 1991-08-14 1993-02-23 Sony Corp ビデオカメラ
JPH06253199A (ja) * 1993-02-24 1994-09-09 Fuji Photo Film Co Ltd 自動焦点調節装置
JPH109827A (ja) * 1996-06-24 1998-01-16 Omron Corp 高さ判別装置および方法
JP2001083407A (ja) * 1999-09-13 2001-03-30 Canon Inc 撮像装置
JP2001141988A (ja) * 1999-08-31 2001-05-25 Canon Inc 焦点調節装置及びその制御方法及びその制御プログラムを供給する媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3060114B2 (ja) * 1990-09-29 2000-07-10 グローリー工業株式会社 対応点探索方法
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
JPH07244717A (ja) 1994-03-02 1995-09-19 Mitsubishi Electric Corp 車両用走行環境認識装置
JP2000186929A (ja) 1998-12-21 2000-07-04 Matsushita Electric Ind Co Ltd 車載及びｅｔｃ用ステレオカメラ装置
JP2000347133A (ja) 2000-01-01 2000-12-15 Hidetoshi Takamoto ステレオカメラ
JP4844052B2 (ja) * 2005-08-30 2011-12-21 ソニー株式会社 映像信号処理装置と撮像装置および映像信号処理方法とプログラム
JP4389865B2 (ja) * 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0545574A (ja) * 1991-08-14 1993-02-23 Sony Corp ビデオカメラ
JPH06253199A (ja) * 1993-02-24 1994-09-09 Fuji Photo Film Co Ltd 自動焦点調節装置
JPH109827A (ja) * 1996-06-24 1998-01-16 Omron Corp 高さ判別装置および方法
JP2001141988A (ja) * 1999-08-31 2001-05-25 Canon Inc 焦点調節装置及びその制御方法及びその制御プログラムを供給する媒体
JP2001083407A (ja) * 1999-09-13 2001-03-30 Canon Inc 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105991910A (zh) * 2015-03-23 2016-10-05 佳能株式会社 摄像设备及其控制方法
JP2016177242A (ja) * 2015-03-23 2016-10-06 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN105991910B (zh) * 2015-03-23 2020-07-24 佳能株式会社 摄像设备及其控制方法

Also Published As

Publication number Publication date
JPWO2007135885A1 (ja) 2009-10-01
US20090201385A1 (en) 2009-08-13
US8040396B2 (en) 2011-10-18
JP5146682B2 (ja) 2013-02-20

Similar Documents

Publication Publication Date Title
JP4939901B2 (ja) 距離画像生成方法及びその装置
CN103842877B (zh) 成像装置和合焦参数值计算方法
JP4452951B2 (ja) 距離画像生成方法及びその装置
JP5361535B2 (ja) 撮像装置
US7586588B2 (en) Correlation operation method, correlation operation device, focus detection device and imaging device
US20070177004A1 (en) Image creating method and imaging device
CN109104599B (zh) 距离信息生成装置及方法、摄像设备、移动单元和介质
KR101886059B1 (ko) 촬상장치 및 그 제어 방법
US8902349B2 (en) Image pickup apparatus
EP3182187B1 (en) Image capturing apparatus and method for calculating sensitivity ratio of phase difference pixel
KR101510107B1 (ko) 촬상 장치 및 촬상 방법
JP2016038414A (ja) 焦点検出装置およびその制御方法、並びに撮像装置
CN110326284B (zh) 摄像装置及摄像元件
JP2015007743A (ja) 撮像素子および撮像装置
JP2007310043A (ja) 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP2009271523A (ja) 焦点検出装置および撮像装置
WO2007135885A1 (ja) 撮像装置及び撮像方法
JP5486284B2 (ja) 撮像装置
JP5338112B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP5481914B2 (ja) 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP5332384B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP5338119B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP6610227B2 (ja) 撮像装置
JP5338118B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP2015087494A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07743286

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008516605

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12300911

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07743286

Country of ref document: EP

Kind code of ref document: A1