WO2005119175A1 - カメラモジュール - Google Patents

カメラモジュール Download PDF

Info

Publication number
WO2005119175A1
WO2005119175A1 PCT/JP2005/007039 JP2005007039W WO2005119175A1 WO 2005119175 A1 WO2005119175 A1 WO 2005119175A1 JP 2005007039 W JP2005007039 W JP 2005007039W WO 2005119175 A1 WO2005119175 A1 WO 2005119175A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
camera module
wavelength selection
image
imaging
Prior art date
Application number
PCT/JP2005/007039
Other languages
English (en)
French (fr)
Inventor
Satoshi Tamaki
Michiyoshi Nagashima
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US11/569,723 priority Critical patent/US7385680B2/en
Publication of WO2005119175A1 publication Critical patent/WO2005119175A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to a small and thin camera module capable of measuring a distance to a subject.
  • a stereo camera device that can be mounted on an automobile, in which a subject is imaged by a stereo camera having two cameras, and the distance to the subject is calculated by calculating the obtained image information!
  • the distance calculation in this stereo camera device is performed as follows. Using triangulation, one of the three-dimensional measurement techniques, search for and identify pixel blocks that have a correlation with a certain pixel block in the image obtained by one camera in the image obtained by the other camera . Then, the distance to the subject is calculated based on the parallax between the two pixel blocks, that is, the relative displacement between the two pixel blocks in the two images (stereo images).
  • Japanese Patent Laying-Open No. 2003-83742 discloses the following method for correcting a horizontal mounting error of a stereo camera.
  • a plurality of approximate straight lines that are spatially parallel to each other and extend in the distance direction are specified, and a first vanishing point is calculated from the intersection of the approximate straight lines.
  • a plurality of approximate straight lines extending in the distance direction and spatially parallel to each other are specified, and the intersection point force of the approximate straight lines also calculates a second vanishing point. Then, based on the amount of deviation between the first vanishing point and the second vanishing point, an error in the measurement distance due to a mounting error in the horizontal direction is corrected.
  • a method of calculating a vanishing point will be described with reference to FIG. For example, consider a case where the camera images a pair of broken white lines 901 and 902 drawn on a road as shown in FIG. In this case, two approximate straight lines 901a and 902a extending in the distance direction are specified using one edge of each of the white lines 901 and 902. Then, an intersection 903 between the two approximate straight lines 901a and 902a is determined as a vanishing point.
  • Japanese Patent Application Laid-Open No. H10-255019 discloses the following method.
  • Japanese Patent Laying-Open No. 2004-12863 discloses a camera device provided with a distance measuring optical system and an imaging optical system independently of each other.
  • This camera device includes a lens module in which two lenses constituting a distance measuring optical system and one lens constituting a photometric optical system are integrally arranged on the same plane. Further, this camera device is provided with an imaging lens constituting an imaging optical system separately from the lens module. Automatic focusing is achieved by calculating the amount of movement of the imaging lens using two lenses for distance measurement. In this camera device, the imaging of the subject is performed only by the imaging lens. Therefore, distance measurement and shooting An independent optical system is required for each image, and the number of parts and the number of assembling steps are increased, resulting in an increase in cost and an increase in the size of the apparatus.
  • a camera module includes a lens module having a plurality of lenses arranged on the same plane, and at least one optic that selectively transmits light of a specific wavelength band among light of subject power.
  • a plurality of wavelength selection regions each having a filter, and a plurality of imaging regions having a large number of pixels and outputting image information according to incident light are provided.
  • the plurality of lenses, the plurality of wavelength selection areas, and the plurality of imaging areas are arranged in a one-to-one correspondence with each other! Puru.
  • At least two of the plurality of wavelength selection regions are a first wavelength selection region transmitting at least one wavelength band of infrared light, red light, green light, and blue light. It is. At least two imaging regions respectively corresponding to the at least two first wavelength selection regions are first imaging regions having sensitivity to light in a wavelength band transmitted by the first wavelength selection region.
  • the camera module further includes a distance calculation circuit that calculates a distance to a subject based on at least two pieces of image information output from the at least two first imaging regions.
  • the camera module outputs an image signal based on image information output by at least one of the plurality of imaging regions.
  • a distance to a subject can be measured by a triangulation method, and a subject image can be captured. Therefore, it is possible to simultaneously recognize the shape of the subject and measure the distance to the subject.
  • a plurality of lenses are integrated as a lens module! /, A plurality of independent cameras are not required. Therefore, a compact and low-cost camera module can be realized with a simple configuration.
  • FIG. 1 is an exploded perspective view of a camera module according to Embodiment 1 of the present invention.
  • FIG. 2 is a cross-sectional view of the camera module according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram for explaining the principle of measuring the distance to a subject by the camera lens module according to Embodiment 1 of the present invention.
  • FIG. 4 is a conceptual diagram of an optical filter module used for a camera module according to Embodiment 2 of the present invention.
  • FIG. 5 is a schematic perspective view of an example of an optical filter module used for a camera module according to Embodiment 2 of the present invention.
  • FIG. 6 is a perspective view of an optical filter module used for a camera module according to Embodiment 3 of the present invention.
  • FIG. 7 is an enlarged front view of a part of a light incident surface of an image sensor used in the camera module according to the present invention.
  • FIG. 8 is a conceptual diagram illustrating a mechanism in which a pixel value of an image sensor is determined in a camera module according to the present invention.
  • FIG. 9 is a diagram showing a concept of a sub-pixel of an image sensor in a camera module according to Embodiment 4 of the present invention.
  • FIG. 10 is a diagram for explaining a method of obtaining the pixel value of one sub-pixel of an image sensor by interpolation in the camera module according to Embodiment 4 of the present invention.
  • FIG. 11 is a top view of a running automobile equipped with a camera module according to Embodiment 5 of the present invention.
  • FIG. 12 is a perspective view showing an appearance of a camera module according to Embodiment 6 of the present invention.
  • FIG. 13 is a diagram showing definitions of an X axis, a Y axis, and a Z axis in FIG.
  • FIG. 14 is another rotation drive mechanism of the camera module according to Embodiment 6 of the present invention.
  • FIG. 15 is a diagram illustrating a method of calculating vanishing points in a conventional stereo camera device.
  • the at least two first wavelength selection regions may selectively transmit infrared light.
  • the distance to the subject can be measured even in a dark environment such as at night.
  • distance can be measured with high accuracy even using a single lens.
  • the at least two first wavelength selection regions may selectively transmit light in any one wavelength band of red light, green light, and blue light.
  • the distance to the subject can be measured in a bright environment such as the daytime.
  • distance can be measured with high accuracy even with a single lens.
  • the plurality of wavelength selection regions may include at least two infrared light wavelength selection regions that selectively transmit infrared light, and one of the wavelengths of red light, green light, and blue light. At least two visible light wavelength selection regions for selectively transmitting light in a band may be included.
  • the distance calculation circuit calculates a distance to the subject based on at least two pieces of image information output from at least two infrared light imaging areas corresponding to the at least two infrared light wavelength selection areas.
  • the distance to the subject is calculated based on at least two pieces of image information output from at least two visible light imaging regions corresponding to the at least two visible light wavelength selection regions.
  • the at least two first wavelength selection regions may include wavelengths of red light, green light, and blue light. It is preferable that the red optical filter, the green optical filter, and the blue optical filter that transmit light in the respective bands are wavelength-selective regions arranged in a Bay arrangement according to the arrangement of the plurality of pixels. Thereby, the distance can be calculated based on the color image information. Since the color image information has a larger amount of information than the monochrome image information, the distance measurement accuracy is significantly improved.
  • At least one of the plurality of wavelength selection regions excluding the first wavelength selection region is red light.
  • Red light filter, green light filter, and blue light filter that transmit light in the wavelength bands of green light and blue light, respectively, even in a wavelength selection region in which the plurality of pixels are arranged in a Bayer arrangement.
  • it is preferable that at least one imaging region corresponding to the at least one wavelength selection region arranged in the Bayer array has sensitivity to visible light. This makes it possible to realize a camera module that can perform distance measurement even in a dark environment such as at night and can capture a color image.
  • the first wavelength selection region selectively transmits infrared light
  • at least one of the plurality of wavelength selection regions excluding the first wavelength selection region is a red light. It may be a second wavelength selection region that transmits light in any one of the wavelength bands of green light, blue light, and blue light.
  • the second imaging region corresponding to the second wavelength selection region has sensitivity to light in a wavelength band transmitted by the second wavelength selection region.
  • the camera module further includes an image synthesis circuit that calculates one synthesized image based on the image information output from the first imaging region and the image information output from the second imaging region. Is preferred. It is preferable that the camera module outputs a signal related to the composite image as the image signal.
  • the camera module at least two imaging regions respectively corresponding to at least two wavelength selection regions that transmit light in different wavelength bands are provided. It is preferable to further include an image synthesizing circuit that calculates one synthesized image based on at least two pieces of output image information. In this case, it is preferable that the camera module outputs a signal related to the composite image as the image signal. As a result, the amount of information of the output image signal increases, so that the accuracy of shape recognition and the like using the image signal is improved.
  • the distance calculation circuit interpolates between the plurality of pixels based on the image information output from the first imaging region, and uses the information obtained by the interpolation to determine a distance to a subject. Is preferably calculated. Accordingly, the distance measurement accuracy can be improved without increasing the distance between a plurality of lenses. Further, distance measurement can be performed with high accuracy not only at short distances but also at long distances.
  • the camera module of the present invention may be mounted on an automobile and used to obtain information on surrounding conditions. Thereby, the preventive safety of the vehicle is improved.
  • the driving mechanism that changes the direction of the camera module in accordance with the camera module force and the vehicle speed signal and the Z or steering angle signal of the vehicle.
  • a driving mechanism that changes the direction of the camera module in accordance with the camera module force and the vehicle speed signal and the Z or steering angle signal of the vehicle.
  • FIG. 1 is an exploded perspective view of the camera module according to the first embodiment.
  • the camera module of the present embodiment includes a lens module 1, an optical filter module 2, and a substrate 3 in this order from the subject side.
  • a signal processing unit 5 including image sensors 4a to 4d and a digital signal processor (DSP) is mounted on the substrate 3.
  • Arrow 10 indicates a ray from the subject.
  • FIG. 2 is a cross-sectional view of the camera module of the present embodiment along a direction parallel to the optical axis of the lens module 1.
  • reference numeral 6 denotes a fixing base for supporting and fixing the lens module 1 and the optical filter module 2 to the substrate 3.
  • the optical filter module 2 includes four wavelength selection regions 2a to 2d.
  • the wavelength selection areas 2a and 2d which are arranged diagonally to each other, receive light 10 from the subject.
  • an infrared optical filter that selectively transmits infrared light
  • the wavelength selection areas 2b and 2c which are arranged at diagonal positions, select green light from the light 10 of the object power. It consists of a green optical filter that transmits light.
  • the lenses la and Id corresponding to the wavelength selection regions 2a and 2d that transmit infrared light are designed to satisfy the required optical specifications such as MTF in the wavelength band of infrared light.
  • the imaging devices 4a and 4d corresponding to the wavelength selection regions 2a and 2d have sensitivity in the wavelength band of infrared light.
  • the lenses lb and lc corresponding to the wavelength selection regions 2b and 2c that transmit green light are designed to satisfy the required optical specifications such as MTF in the wavelength band of green light.
  • the imaging devices 4b and 4c corresponding to the selection regions 2b and 2c have sensitivity at least in the wavelength band of green light. In the present embodiment, the imaging devices 4b and 4c have sensitivity over the wavelength band of visible light including green light.
  • the lens module 1 including the four lenses la to ld is made of a material such as glass or plastic.
  • Four lenses la: Ld are integrally formed on the same plane.
  • Each lens la-: Ld passes light 10 from a subject through each wavelength selection area 2a-2d, and then forms an image on each image sensor 4a-4d.
  • imaging sensors such as CCDs can be used. After passing through the lenses 1a to 1d, the light in the wavelength band of infrared light or green light is selected and transmitted through each of the wavelength selection areas 2a to 2d, and the light passes through each of the imaging elements 4a to 4d. Form an image. That is, only the infrared light wavelength band out of the light 10 from the subject forms an image on the imaging devices 4a and 4d, and the green light out of the subject light 10 on the imaging devices 4b and 4c. Light in only the wavelength band of light forms an image. In this manner, the subject light 10 is separated into light in the wavelength band of infrared light and light in the wavelength band of green light, and forms images on separate image sensors.
  • Each of the imaging devices 4a to 4d includes a number of pixels that perform photoelectric conversion. Light of a specific wavelength band is incident on each pixel of each of the imaging elements 4a to 4d. Each of the image sensors 4a to 4d An electric signal corresponding to the light intensity is output as image information.
  • Video processing including various signal processing is performed on the image information.
  • the distance to the object is measured using the two image information output from the two imaging elements into which light in the same wavelength band enters.
  • a plurality of pieces of image information output from a plurality of image sensors may be combined.
  • These signal processes are performed by a signal processing unit 5 including a DSP.
  • the light beam 11 b from the subject 11 that the lens lb forms an image on the image sensor 4 b and the light beam 1 lc from the subject 11 that the lens lc forms an image on the image sensor 4 c are Since they are different from each other, the image forming position of the light beam 1 lb on the image sensor 4b is different from the image forming position of the light beam 1 lc on the image sensor 4c.
  • a virtual equivalent ray 11c ′ having a relation equivalent to the relation of the ray l ib to the lens lb.
  • the image forming position of the light beam 11c and the image forming position of the equivalent light beam 1lc ' are shifted by the shift amount Z based on the parallax.
  • An image obtained by one of the imaging devices 4b and 4c corresponding to green light is set as a reference image.
  • the light receiving area of the image sensor 4b is divided into a plurality of blocks (for example, one block is composed of a total of 64 pixels of 8 rows ⁇ 8 columns).
  • an image having a correlation with an image captured by a certain block of the image sensor 4b is searched for and specified in the image obtained by the other image sensor 4c.
  • the difference between the position of the certain block in one image sensor 4b and the position of the image correlated with this block in the other image sensor 4c is determined as the shift amount Z.
  • the shift amount Z is obtained using the pixel pitch of the imaging elements 4b and 4c as a unit.
  • the distance from the lens lb, lc to the subject 11 is D [mm]
  • the lenses lb, lc are the same lens
  • the focal length is f [mm]
  • the optical axis lb of the lens lb
  • the distance between the lens lc and the optical axis 1 c ′ is L [mm]
  • the pixel pitch of the imaging elements 4 b and 4 c is p [mm]
  • the relative displacement Z between the mutually correlated images is z [pixels].
  • the distance D to the subject can be obtained using the following equation (1).
  • the distance L 'and the optical axis lc' optical axis lb and is 3 [mm]
  • Gasopi Tutsi p is 2. 8 X 10- 3 in the camera module of the [mm] If the displacement Z is 3 [pixel pitch], the distance D to the subject is
  • the distance to the subject can be calculated as about 1 m by detecting the shift amount Z as the three pixel pitch.
  • the above calculation can be performed by the distance calculation circuit in the signal processing unit 5 including the DSP.
  • the lens lb and the lens lc are integrally formed as a lens module 1, so that the camera module can be used in a conventional distance measuring device assembled using two cameras.
  • the distance L between the optical axis lb 'and the optical axis lc' can be reduced, and the accuracy of the distance L and the relative inclination of the two optical axes lb ', lc' can be improved. Therefore, a small and low-cost camera module that can measure the distance to the subject with high accuracy can be realized.
  • the lenses la to Ld are designed to satisfy desired optical specifications for light in a specific wavelength band, a single lens can be used as the lenses la to Ld. As a result, the camera module can be further reduced in size and cost.
  • the distance to the subject is set to the wavelength selection regions 2b and 2c that transmit the green light, and the green light formed by the corresponding lenses lb and lc and the imaging devices 4b and 4c.
  • measurement was performed using a pair of corresponding optical systems, the present invention is not limited to this.
  • a pair of optical systems corresponding to infrared light including wavelength selection regions 2a and 2d that transmit infrared light, lenses la and 1d corresponding to the wavelength selection regions 2a and 2d, and image sensors 4a and 4d, are used.
  • the distance to the subject may be measured.
  • the distance to the subject can be measured even in a dark environment such as at night.
  • the lenses la and Id are integrally formed as the lens module 1, a small and low-cost camera module that can measure the distance to the subject with high accuracy can be realized.
  • the distance to the subject may be measured using both a pair of optical systems corresponding to green light and a pair of optical systems corresponding to infrared light. As a result, a compact and low-cost camera module that can measure the distance to the subject with high accuracy regardless of day or night can be realized.
  • the camera module of the present embodiment may output at least one of the image information output by each of the four imaging elements 4a to 4d as an image signal.
  • the image information used as the image signal may be image information used for distance measurement or other image information. For example, if image information output from the image sensor 4b (or 4c), into which monochromatic light in the visible light band is incident, is output as an image signal, a single-color image captured in an environment with daylight brightness! Obtainable.
  • image information output from the image sensor 4a (or 4d) on which infrared light is incident is output as an image signal
  • an image captured by infrared in a dark environment such as at night can be obtained.
  • the image information output from the image sensor 4b (or 4c) and the image information output from the image sensor 4a (or 4d) are combined and one image signal is output, the image information is sharp both day and night. Therefore, the sensitivity of the imaging device can be increased in terms of appearance.
  • the synthesis of a plurality of pieces of image information can be performed by an image synthesis circuit in the signal processing unit 5 including the DSP.
  • FIG. 4 is a conceptual diagram of the optical filter module 21 used for the camera module according to the second embodiment.
  • the wavelength selection areas 21a and 21d arranged diagonally to each other are composed of infrared optical filters that selectively transmit infrared light out of the light of the subject power, and are arranged diagonally to each other.
  • the wavelength selection regions 21b and 21c correspond to the wavelength selection regions 21b and 21c, respectively, where the red optical filter 21R, the green optical filter 21G, and the blue optical filter 21B that transmit red light, green light, and blue light respectively.
  • This is a wavelength selection region that is arranged in a Bayer arrangement according to the arrangement of the pixels of the imaging elements 4b and 4c.
  • the lenses la and Id corresponding to the wavelength selection regions 21a and 21d that transmit infrared light are designed so as to satisfy required optical specifications such as MTF in the wavelength band of infrared light.
  • the imaging devices 4a and 4d corresponding to the wavelength selection regions 21a and 21d have sensitivity in a wavelength band of infrared light.
  • the lenses lb and lc corresponding to the wavelength selection regions 21b and 21c in which the red optical filter 21R, the green optical filter 21G, and the blue optical filter 21B are arranged in a Bayer array have the required MTF in the visible light wavelength band.
  • the imaging devices 4b and 4c corresponding to the wavelength selection regions 21b and 21c have sensitivity in the wavelength band of visible light.
  • FIG. 4 shows whether the wavelength selection regions 21a and 21d and the wavelength selection regions 21b and 21c form a common optical filter module 21 in order to make the difference from the other embodiments easier to understand. It is drawn as follows. However, it is necessary to accurately align the red optical filter 21R, the green optical filter 21G, and the blue optical filter 21B arranged in the bay arrangement with the light receiving sections of the individual pixels of the imaging devices 4b and 4c. Therefore, in reality, it is necessary to directly form the red optical filter 21R, the green optical filter 21G, and the blue optical filter 21B on the pixels of the imaging devices 4b and 4c in a Bayer arrangement. Therefore, for example, as shown in FIG.
  • the wavelength selection regions 21b and 21c in which the red optical filter 21R, the green optical filter 21G, and the blue optical filter 21B are arranged in a Bayer array are wavelength selection regions that transmit infrared light. It is formed on the imaging elements 4b, 4c separately from the optical filter module 21 provided with 21a, 21d.
  • the second embodiment is different from the first embodiment in that, in the first embodiment, the imaging elements 4b and 4c emit light of one wavelength band of any one of red light, green light, and blue light. Only incident on the other hand, Embodiment 2 is characterized in that all the light in the visible light band enters the imaging devices 4b and 4c. That is, the imaging elements 4b and 4c output monochromatic image information in the first embodiment, whereas they output color image information in the second embodiment.
  • the distance to the subject can be measured in the same manner as in Embodiment 1 based on the two color image information obtained from imaging elements 4b and 4c. From the red, green, and blue wavelength components contained in the color image information, it is possible to extract three components of luminance, hue, and saturation. Since geometrically connected regions in the subject often have similar colors, a specific image having a correlation is searched for and extracted from two color images using color information, and the shift amount Z is determined. You can ask. Therefore, the accuracy of searching and extracting a specific image can be remarkably improved as compared with the case where the distance is measured using a monochromatic image. This significantly improves the accuracy of distance measurement.
  • the wavelength selection regions 21a and 21d that transmit infrared light and the corresponding lenses la and Id and the imaging devices 4a and 4d may be measured using a pair of corresponding optical systems. If infrared light is used, the distance to the subject can be measured even in a dark environment such as at night.
  • a pair of optical systems corresponding to visible light and a pair of optical systems corresponding to infrared light each of which includes wavelength selection regions 21b and 21c, lenses lb and lc corresponding thereto, and image pickup devices 4b and 4c.
  • the distance to the subject may be measured using both of them. This makes it possible to realize a small and low-cost camera module that can measure the distance to the object with high accuracy regardless of day or night.
  • the camera module of the present embodiment outputs at least one of the image information output by each of the four imaging elements 4 a to 4 d as an image signal. Is also good. As a result, a compact and low-cost camera module that outputs distance information to a subject and subject image information can be realized.
  • the image information used as the image signal may be image information used for distance measurement, or may be other image information. For example, if image information output from the image sensor 4b (or 4c) on which light in the visible light band enters is output as an image signal, a single image captured in a bright environment such as daytime can be obtained. .
  • the output image information is output as an image signal
  • an image captured by infrared rays in a dark environment such as at night can be obtained.
  • the image information output from the image sensor 4b (or 4c) and the image information output from the image sensor 4a (or 4d) are combined to output one image signal, the visible light power and infrared Utilizing light in the entire wavelength band up to light, clear images can be captured regardless of day or night, and the visibility of the image sensor can be increased and the sensitivity of the image sensor can be increased.
  • the synthesis of a plurality of pieces of image information can be performed by an image synthesis circuit in the signal processing unit 5 including the DSP.
  • the camera module power also includes the output image signal power color image information
  • the following effects can be obtained. From the red, green, and blue wavelength components contained in the color image information, it is possible to extract three components: brightness, hue, and saturation.
  • the characteristic information of the subject is obtained by using the color information. Extraction can be performed easily and with high accuracy. Therefore, the shape recognition accuracy can be significantly improved as compared with the case where shape recognition is performed using single-color image information.
  • the overall configuration of the camera module according to the third embodiment is almost the same as that of the camera module according to the first embodiment shown in FIGS. 1 and 2, and is implemented in each component of the camera module. Different from form 1.
  • the third embodiment will be described focusing on the differences from the first embodiment.
  • FIG. 6 is a perspective view of the optical filter module 31 used in the camera module according to the third embodiment.
  • wavelength selection areas 31b and 31c arranged diagonally to each other are composed of green optical filters that selectively transmit green light among the light of the object power, and the wavelength selection area 31a is
  • the wavelength selection area 31d is a blue optical filter that selectively transmits blue light of light from a subject.
  • the lenses lb, lc corresponding to the wavelength selection region 3 lb, 31c for transmitting the green light are designed to satisfy the required optical specifications such as MTF in the wavelength band of the green light! Puru .
  • the lens la corresponding to the wavelength selection region 3 la for transmitting red light is designed to satisfy the required optical specifications such as MTF in the wavelength band of red light.
  • the lens Id corresponding to the wavelength selection region 3 Id that transmits blue light is designed so as to satisfy required optical specifications such as MTF in a wavelength band of blue light.
  • the imaging devices 4a to 4d have at least sensitivity in the wavelength band of light transmitted by the corresponding wavelength selection regions 31a to 31d. In the present embodiment, each of the imaging elements 4a to 4d has sensitivity over the wavelength band of visible light.
  • each lens la to: Ld After the light from the subject passes through each lens la to: Ld, light of a specific wavelength band is selected and transmitted through each of the wavelength selection regions 31a to 31d, and each image sensor 4a Focus on ⁇ 4d.
  • Each of the imaging devices 4a to 4d outputs an electric signal corresponding to the intensity of the incident light as image information.
  • the wavelength selection region 3 lb, 31c for transmitting green light, and the corresponding green light composed of corresponding lenses lb, lc and image pickup devices 4b, 4c The distance to the subject is measured using the pair of optical systems.
  • the outline is as follows.
  • An image obtained by one of the imaging elements 4b and 4c corresponding to green light is set as a reference image.
  • the light receiving area of the image sensor 4b is divided into a plurality of blocks (for example, one block is composed of a total of 64 pixels of 8 rows ⁇ 8 columns).
  • an image having a correlation with an image captured by a certain block of the image sensor 4b is searched for and specified in the image obtained by the other image sensor 4c.
  • the difference between the position of the above-mentioned block in one image sensor 4b and the position of the image having a correlation with this block in the other image sensor 4c is obtained as a shift amount Z. Based on the displacement Z, the distance D to the subject is calculated in the same manner as described in the first embodiment.
  • an image sensor 4a corresponding to red light, an image sensor 4d (or 4b) corresponding to green light, and an image sensor 4d corresponding to blue light are respectively provided.
  • an image sensor 4d (or 4b) corresponding to green light, and an image sensor 4d corresponding to blue light are respectively provided.
  • Image information relating to three monochromatic lights is synthesized as follows. On the basis of the above-mentioned shift amount Z in which the image information output by the image sensors 4b and 4d corresponding to green light is also obtained, Image sensors 4a and 4d calculate the amount of shift between each of the red and blue images obtained by the image sensors 4a and 4d with respect to the green image (reference image) obtained by the image sensor 4b. Then, the shift amounts of the red and blue images are corrected, and the red and blue images are combined with the green reference image. Thereby, a color image without color shift can be obtained.
  • the synthesis of a plurality of pieces of image information as described above can be performed by the image synthesis circuit in the signal processing unit 5 including the DSP.
  • the camera module of the present embodiment includes at least one of the image information output by the four imaging elements 4a to 4d and Z or the above
  • the obtained color image information may be output as an image signal.
  • the output image signal is color image information
  • the following effects can be obtained. From the red, green, and blue wavelength components contained in the color image information, it is possible to extract three components of luminance, hue, and saturation.
  • the shape of a subject is recognized using this image information, the geometrically connected areas in the subject often have similar colors. Can be easily and accurately extracted. Therefore, the shape recognition accuracy can be significantly improved as compared with the case where shape recognition is performed using single-color image information.
  • Each pixel of an imaging sensor such as a CCD photoelectrically converts incident light and outputs an electric signal (hereinafter, referred to as "pixel value") according to the intensity of the incident light. Since the light receiving surface of each pixel has a predetermined area, the pixel value is an integrated value of the light intensity at each point in the light receiving surface of the pixel.
  • FIG. 7 is an enlarged front view of a part of the light incident surface of the image sensor.
  • Each area separated by solid lines 41H and 41V indicates one pixel 40.
  • FIG. 7 shows a total of 4 pixels in 2 rows ⁇ 2 columns. The shaded area indicates the light receiving surface of one pixel 40.
  • Dotted lines 42H and 42V are the center lines of the pixel rows and pixel columns, and both pass through the center of the light receiving surface of each pixel 40. During ⁇ The intervals between the core wires 42H and 42V are called pixel pitches P and P.
  • FIG. 8 consider a case where a subject 70 is incident on a light receiving surface of a certain pixel 40.
  • one side of the center line 75 of the subject 70 is a uniform black area 70a, and the other side is a uniform white area 70b.
  • the black area 70a and the white area 70b have the same area.
  • Points 71 and 72 in the black area 70a form images 41 and 42 in the light receiving surface of the pixel 40, and points 73 and 74 in the white area 70b form images 43 and 44 in the light receiving surface.
  • the dashed line 45 corresponds to the center line 75 of the subject 70, and the light intensity of the light receiving surface of the pixel 40 corresponding to the black region 70a with respect to the dashed line 45 is reduced to the white region 70a where the light intensity is weak.
  • the light intensity in the corresponding area 40b is strong.
  • the pixel value of the pixel 40 is equivalent to a case where light having an intermediate intensity between the light intensity in the region 40a and the light intensity in the region 40b is incident on the entire light receiving surface of the pixel 40.
  • the shift amount Z is calculated from the positions of the mutually correlated images existing in the two pieces of image information.
  • the image information used at this time is constituted by pixel values output from each pixel of the image sensor. As shown in FIG. 8, even when the intensity of light incident on the light receiving surface of the pixel 40 is not uniform, the light intensity distribution in this light receiving surface is averaged when the pixel value is output. I will. Therefore, the detection accuracy of the shift amount Z is determined by the pixel pitches P and P
  • the accuracy of detecting the displacement Z can be improved, and as a result, the accuracy of measuring the distance to the subject can be improved. I understand.
  • the detection accuracy of the shift amount Z is improved, so that it is possible to accurately measure the distance to a farther object.
  • the light intensity distribution in the light receiving surface of each pixel is obtained by interpolating between pixels based on image information composed of pixel values output from each pixel. To detect. That is, the pixel pitches P 1 and P 2 are reduced in a pseudo manner. This is explained below.
  • each pixel 40 is divided into a plurality of smaller areas (hereinafter referred to as “sub-pixels”) 46.
  • one pixel 40 is composed of a set of a total of 25 sub-pixels in 5 rows ⁇ 5 columns.
  • solid lines 41H and 41V indicate boundaries of the pixel 40
  • two-dot chain lines 46H and 46V indicate boundaries of the sub-pixel 46.
  • the distance to the subject is measured as follows. As described in the first embodiment, an image obtained by one of the imaging elements 4b and 4c corresponding to green light is used as a reference image. Then, an image having a correlation with an image captured by a certain block of the image sensor 4b is searched for and specified in the image obtained by the other image sensor 4c. At this time, in the first embodiment, a plurality of pixels constitute one block. In the present embodiment, a plurality of subpixels constitute one block. That is, in the present embodiment, the correlation between two images is investigated in subpixel units instead of pixel units. Thereby, the accuracy of measuring the distance to the subject can be improved. In addition, it is possible to accurately measure a distance from a near subject to a farther subject.
  • the shift amount Z is detected with the pixel pitch as a unit. For example, if the shift amount Z is 3 pixel pitches, it is calculated that the distance D to the subject is about lm.
  • the shift amount Z is set in units of 0.1 pixel pitch (that is, in units of 1 sub-pixel pitch). As).
  • the displacement amount Z is 0.3 pixel pitch (that is, 3 subpixel pitch)
  • the distance D to the subject can be calculated as about 10 m, and distance measurement can be performed with high accuracy even for a distant subject.
  • the displacement Z can be detected in units of 0.1 pixel pitch (that is, in units of 1 subpixel pitch) for a subject at a distance of about lm, measurement accuracy is improved by a factor of 10.
  • each sub-pixel (hereinafter referred to as "sub-pixel value”) can be determined by, for example, interpolating the pixel value output from one pixel of the image sensor by a linear interpolation method. This will be described with reference to FIG. 10 showing a case where each pixel 40 is divided into a total of four sub-pixels 46 of 2 rows ⁇ 2 columns.
  • the pixel value output from each pixel 40 is at the center of that pixel, and that the subpixel value output from each subpixel 46 is also at the center of that subpixel.
  • the pixel values of the pixels arranged in 2 rows and 2 columns are P (i, j), P (i, j + l), P (i + 1, j), and P (i + 1, j), respectively. + 1), and P is the subpixel value of the subpixel to be obtained.
  • the subpixel value P of this subpixel can be obtained by the following equation.
  • the presence or absence of the edge (contour) of the subject formed on the light receiving surface of a certain sub-pixel is determined by using the sub-pixel values of the surrounding sub-pixels. If the edge is detected and it is determined that an edge exists, the edge in the sub-pixel may be interpolated to obtain the edge. Further, the edge detection method may be combined with the linear interpolation method of the sub-pixel value of the sub-pixel 46 described above.
  • Fig. 11 is a view of the automobile 100 traveling on the road as viewed from above.
  • the automobile 100 is equipped with the camera modules 101 to 104 of the present invention.
  • 101a to 104a indicate the angles of view of the camera modules 101 to 104.
  • 105 is the preceding vehicle
  • 106 is the oncoming vehicle
  • 107 is the center line (white line) of the road
  • 108 is the pedestrian.
  • the camera modules 101 to 104 be thin and small.
  • the imaging element is Since the wavelength band of light formed on the element is limited, an image with less aberration can be obtained even if a single lens is used as the lens. Therefore, a very thin and small camera module can be realized.
  • the preventive safety of the vehicle 100 can be improved. it can.
  • the brightness of the on-coming vehicle such as headlights can be reduced. It is possible to recognize a subject such as a pedestrian and obtain a distance to the subject.
  • the camera module captures color image information
  • three components of luminance, hue, and saturation are extracted from each of the red, green, and blue wavelength components included in the color image information.
  • color information can be used to extract a characteristic portion of a subject, the shape recognition accuracy is significantly improved as compared with the case of using single-color image information.
  • the surrounding situation information acquired by the camera module may be the information in the rickshaw compartment, which indicates the case where the information is outside the compartment of the car 100 in Fig. 11.
  • an image signal from which the respective forces of the camera modules 101 to 104 are obtained by using a display device (not shown). This may be combined with the distance information to the subject obtained from the camera modules 101 to 104.
  • the obstacle can be displayed on the display device every moment along with the distance information up to that point.
  • the imaging range of the camera module depends on the orientation of the automobile. For example, if the camera module is fixed so as to capture situation information ahead of the vehicle in the traveling direction, and if the traveling direction of the vehicle changes, the vehicle module changes only when the traveling direction of the vehicle changes. Status information ahead Images can be taken.
  • camera module 103 of the present embodiment is mounted on a turntable 200 that can rotate about the Z axis, as shown in FIG. 12, in order to obtain situation information more quickly.
  • the X, Y, and Z axes in FIG. 12 are set as shown in FIG. That is, the positive direction of the X-axis is forward in the traveling direction of the vehicle, the Y-axis direction is both sides of the vehicle, and the Z-axis direction is the vertical direction.
  • the rotation angle and rotation speed (angular speed) of the turntable 200 around the Z axis are determined according to the change in the traveling direction of the vehicle estimated based on the vehicle speed signal and the Z or steering angle signal of the mounted vehicle. You. Due to the rotation of the turntable 200, the direction of the camera module 103 changes within the range of arrows 201a to 201b in a plane parallel to the XY plane with respect to the direction 201 parallel to the X axis.
  • the turntable 200 is used as a drive mechanism for changing the direction of the camera module 103, but the present invention is not limited to this.
  • the camera module 103 is supported by a torsion bar 300 extending parallel to the Z-axis, and a force F1 (or F2) substantially parallel to the X-axis is applied to a side end of the camera module 103. Accordingly, the camera module 103 may be rotated around the Z axis.
  • a drive mechanism for changing the direction of the camera module 103 can be appropriately selected in consideration of a space in which the camera module 103 is mounted.
  • the camera module according to the first to sixth embodiments includes four lenses.
  • the present invention is not limited to this. If at least two lenses are provided, the above-described highly accurate distance measurement can be performed.
  • the arrangement of the lenses used to measure the distance to the subject is not limited to the examples shown in Embodiments 1 to 6, and may be appropriately changed in consideration of parallax, measurement accuracy, and the like. This It comes out.
  • the optical path from the lens to the image sensor is linear, but the present invention is not limited to this.
  • the same effect as described above can be obtained with a reflection type in which the optical path is bent.
  • a plurality of imaging elements are used as the plurality of imaging regions.
  • the present invention is not limited to this.
  • a plurality of imaging regions may be obtained. This eliminates the need for alignment of a plurality of imaging devices, facilitates mounting, and reduces cost.
  • the lens module and the optical filter module are identical in the first to sixth embodiments.
  • a camera module in which an optical system including an imaging area and a signal processing unit including a distance calculation circuit and a Z or image synthesis circuit are integrated.
  • the camera module of the present invention is not limited to this.
  • the optical system and the signal processing unit may be connected only by a flexible cable or the like.
  • the signal processing unit mounted on the substrate common to the imaging area does not include the distance calculation circuit and the Z or image synthesis circuit, and the distance calculation circuit and the Z or image synthesis circuit are connected to this signal processing unit only by a flexible cable or the like. It may be continued. With such a configuration, the optical system and the signal processing unit (or the distance calculation circuit and the Z or image synthesis circuit) can be freely arranged at different positions.
  • the field of application of the camera module of the present invention is not particularly limited, but is useful for, for example, small-sized and thin cameras mounted on mobile phones, digital still cameras, surveillance cameras, vehicle-mounted cameras, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　レンズモジュール(1)の複数のレンズ(1a～1d)と、少なくとも１つの光学フィルターをそれぞれ有する複数の波長選択領域(2a～2d)と、複数の撮像領域(4a～4d)とが、互いに一対一に対応して配置されている。複数の波長選択領域のうちの少なくとも２つは、赤外光、赤色光、緑色光、及び青色光のうちの少なくとも１つの波長帯域の光を透過させる。この少なくとも２つの波長選択領域にそれぞれ対応する少なくとも２つの撮像領域がそれぞれ出力する少なくとも２つの画像情報に基づいて、被写体までの距離が演算される。更に、カメラモジュールは、複数の撮像領域のうちの少なくとも１つが出力する画像情報に基づく画像信号を出力する。これにより、被写体までの距離の測定と被写体の撮像とを行うことができる、小型且つ低コストのカメラモジュールを実現できる。

Description

明 細 書
カメラモジユーノレ
技術分野
[0001] 本発明は、小型、薄型で、被写体までの距離を測定することができるカメラモジユー ルに関する。
背景技術
[0002] 従来、 2台のカメラを備えたステレオカメラで被写体を撮像し、得られた画像情報を 演算して被写体までの距離を演算する、自動車に搭載可能なステレオカメラ装置が 知られて!/、る（特開平 5 - 265547号公報参照)。このステレオカメラ装置における距 離演算は以下のようにして行われる。三次元計測技術の一つである三角測量法を用 い、一方のカメラで得た画像内のある画素ブロックと相関を有する画素ブロックを、他 方のカメラで得た画像内で探索し特定する。そして、両画素ブロック間の視差、すな わち 2つの画像 (ステレオ画像）内における両画素ブロックの相対的なズレ量に基づ き被写体までの距離を算出する。
[0003] しかし、このステレオカメラ装置では、 2台のカメラの機械的な取付け誤差が存在す る。たとえば、カメラの姿勢力 水平方向、垂直方向、あるいは回転方向にずれる。と くに、水平方向のずれは、 2つの画像に基づいて得られる視差に誤差を生じさせ、そ の結果、視差に基づき算出される距離は、正確な距離からかけ離れた値となってしま う。そのため、信頼度の高い距離情報を得るためには、カメラの高精度な取付け精度 や、取付け誤差を補正するための複雑な画像処理が必要となる。
[0004] たとえば、特開 2003— 83742号公報には、ステレオカメラの水平方向の取付け誤 差を補正するために、以下のような方法が開示されている。一方のカメラで得た画像 において、距離方向に延在する空間的に互いに平行な複数の近似直線を特定し、こ の近似直線の交点から第 1の消失点を算出する。同様に他方のカメラで得た画像に おいて、距離方向に延在する空間的に互いに平行な複数の近似直線を特定し、この 近似直線の交点力も第 2の消失点を算出する。そして、第 1の消失点と第 2の消失点 とのズレ量に基づいて水平方向の取付け誤差に起因する測定距離の誤差を補正す る。
[0005] 消失点の算出方法を図 15を用いて説明する。例えば、カメラが、図 15のように、道 路上に描かれた、破線状の一対の白線 901, 902を撮像した場合を考える。この場 合、各白線 901, 902の一方の端縁を利用して、距離方向に延在する互いに平行な 2本の近似直線 901a, 902aを特定する。そして、この 2本の近似直線 901a, 902a の交点 903を消失点として求める。
[0006] 一方、夜間での認識率を上げるため、可視光力メラと赤外線カメラとを組み合わせ て、それぞれの撮像情報を画像処理することにより、夜間での認識率を向上させた画 像処理方法が提案されて!ヽる。
[0007] たとえば、特開平 10— 255019号公報には以下のような方法が開示されている。
可視光力メラで得た可視光画像を 2値ィ匕し、自動車のテールランプ等の高輝度部分 を認識する。赤外線カメラで得た赤外線画像から、この高輝度部分に対応する部分 の温度情報を求め、この温度情報に基づいて、赤外線画像の 2値化用閾値を決定 する。そして、この 2値ィ匕用閾値を用いて赤外線画像を 2値ィ匕し、 2値化された赤外線 画像に基づ ヽて車両を認識する。
[0008] 以上のように、ステレオカメラにより距離を算出する場合、 2台の可視光力メラが必 要であり、さらには、 2台のカメラの取付け精度を高精度化、もしくは、 2台のカメラの 取付け誤差を補正するための複雑な演算処理が必要であり、これらによって、装置の 大型化、レイアウト性の悪化、コストアップなどの問題を生じる。また、夜間の認識率を 向上させようとする場合にも、可視光力メラと赤外線カメラの 2台が必要であり、装置の 大型化、レイアウト性の悪化、コストアップなどの問題を生じる。
[0009] また、特開 2004— 12863号公報には、測距光学系と撮像光学系とを互いに独立 して備えたカメラ装置が開示されている。このカメラ装置は、測距光学系を構成する 2 個のレンズと測光光学系を構成する 1個のレンズとを、同一平面上に一体に配置した レンズモジュールを備えている。更に、このカメラ装置は、前記レンズモジュールとは 別に撮像光学系を構成する撮像レンズを備えている。撮像レンズの移動量を、測距 用の 2個のレンズを用いて算出することにより、自動焦点調節を実現している。この力 メラ装置では、被写体の撮像は撮像レンズのみで行われる。したがって、測距用と撮 像用とにそれぞれ独立した光学系が必要となり、部品点数や組み立て工数が増加し てコストアップを招き、また、装置が大型化するという問題がある。
発明の開示
発明が解決しょうとする課題
[0010] 以上のように、被写体までの距離の測定と被写体の撮像とを行うことができる、小型 且つ低コストのカメラ装置は実現されて 、な 、。
課題を解決するための手段
[0011] 本発明に係るカメラモジュールは、同一平面上に配置された複数のレンズを有する レンズモジュールと、被写体力 の光のうち特定の波長帯域の光を選択的に透過さ せる少なくとも 1つの光学フィルターをそれぞれ有する複数の波長選択領域と、多数 の画素を有し、入射した光に応じた画像情報を出力する複数の撮像領域とを備える 。前記複数のレンズと前記複数の波長選択領域と前記複数の撮像領域とが、互いに 一対一に対応して配置されて！ヽる。
[0012] 前記複数の波長選択領域のうちの少なくとも 2つは、赤外光、赤色光、緑色光、及 び青色光のうちの少なくとも 1つの波長帯域の光を透過させる第 1の波長選択領域で ある。前記少なくとも 2つの第 1の波長選択領域にそれぞれ対応する少なくとも 2つの 撮像領域は、前記第 1の波長選択領域が透過させる波長帯域の光に感度を有する 第 1の撮像領域である。
[0013] 前記カメラモジュールは、更に、前記少なくとも 2つの第 1の撮像領域がそれぞれ出 力する少なくとも 2つの画像情報に基づいて、被写体までの距離を演算する距離演 算回路を備える。
[0014] 前記カメラモジュールは、前記複数の撮像領域のうちの少なくとも 1つが出力する 画像情報に基づく画像信号を出力する。
発明の効果
[0015] 本発明のカメラモジュールによれば、三角測量方式により被写体までの距離を測定 することができ、且つ、被写体像を撮像することができる。従って、被写体の形状認識 とこの被写体までの距離測定とを同時に行うことができる。 [0016] また、複数のレンズがレンズモジュールとして一体化されて!/、るので、複数の独立し たカメラが不要である。よって、簡単な構成で、小型且つ低コストのカメラモジュール を実現できる。
図面の簡単な説明
[0017] [図 1]図 1は、本発明の実施の形態 1に係るカメラモジュールの分解斜視図である。
[図 2]図 2は、本発明の実施の形態 1に係るカメラモジュールの断面図である。
[図 3]図 3は、本発明の実施の形態 1に係るカメラレンズモジュールが被写体までの距 離を測定する原理を説明するための図である。
[図 4]図 4は、本発明の実施の形態 2に係るカメラモジュールに使用される光学フィル ターモジュールの概念図である。
[図 5]図 5は、本発明の実施の形態 2に係るカメラモジュールに使用される光学フィル ターモジュールの一例の概略斜視図である。
[図 6]図 6は、本発明の実施の形態 3に係るカメラモジュールに使用される光学フィル ターモジュールの斜視図である。
[図 7]図 7は、本発明に係るカメラモジュールに使用される撮像センサーの光入射面 の一部を拡大した正面図である。
[図 8]図 8は、本発明に係るカメラモジュールにおいて、撮像センサーの画素値が決 定されるしくみを説明する概念図である。
[図 9]図 9は、本発明の実施の形態 4に係るカメラモジュールにおいて、撮像センサー のサブピクセルの概念を示した図である。
[図 10]図 10は、本発明の実施の形態 4に係るカメラモジュールにおいて、撮像センサ 一のサブピクセルの画素値を内挿により求める方法を説明する図である。
[図 11]図 11は、本発明の実施の形態 5に係るカメラモジュールが搭載された、走行 中の自動車の上面図である。
[図 12]図 12は、本発明の実施の形態 6に係るカメラモジュールの外観を示した斜視 図である。
[図 13]図 13は、図 12の X軸、 Y軸、 Z軸の定義を示した図である。
[図 14]図 14は、本発明の実施の形態 6に係るカメラモジュールの別の回転駆動機構 を示した斜視図である。
[図 15]図 15は、従来のステレオカメラ装置における消失点の算出方法を説明する図 である。
発明を実施するための最良の形態
[0018] 上記の本発明のカメラモジュールにおいて、前記少なくとも 2つの第 1の波長選択 領域は、赤外光を選択的に透過させても良い。これにより、夜間のような暗い環境で あっても、被写体までの距離を測定することができる。また、赤外光を利用することに より、単レンズを用いても高精度に距離を測定することができる。また、単レンズを使 用することにより、カメラモジュールの更なる小型化及び低コストィ匕が可能になる。
[0019] あるいは、前記少なくとも 2つの第 1の波長選択領域は、赤色光、緑色光、及び青 色光のうちのいずれか 1つの波長帯域の光を選択的に透過させても良い。これにより 、昼間のような明るい環境下で被写体までの距離を測定することができる。また、可視 光帯域のうちの特定波長帯域の光を利用することにより、単レンズを用いても高精度 に距離を測定することができる。また、単レンズを使用することにより、カメラモジユー ルの更なる小型化及び低コストィ匕が可能になる。
[0020] あるいは、前記複数の波長選択領域が、赤外光を選択的に透過させる少なくとも 2 つの赤外光波長選択領域と、赤色光、緑色光、及び青色光のうちのいずれか 1つの 波長帯域の光を選択的に透過させる少なくとも 2つの可視光波長選択領域とを含ん でいても良い。この場合、前記距離演算回路は、前記少なくとも 2つの赤外光波長選 択領域に対応する少なくとも 2つの赤外光撮像領域がそれぞれ出力する少なくとも 2 つの画像情報に基づいて被写体までの距離を演算し、且つ、前記少なくとも 2つの 可視光波長選択領域に対応する少なくとも 2つの可視光撮像領域がそれぞれ出力 する少なくとも 2つの画像情報に基づいて被写体までの距離を演算することが好まし い。これにより、昼夜を問わず、被写体までの距離を高精度に測定できる。また、特 定波長帯域の光を利用することにより、単レンズを用いても高精度に距離を測定する ことができる。また、単レンズを使用することにより、カメラモジュールの更なる小型化 及び低コストィ匕が可能になる。
[0021] 前記少なくとも 2つの第 1の波長選択領域は、赤色光、緑色光、及び青色光の波長 帯域の光をそれぞれ透過させる赤色光学フィルター、緑色光学フィルター、及び青 色光学フィルターが前記多数の画素の配置に応じてべィヤー配列された波長選択 領域であることが好ましい。これにより、カラーの画像情報に基づいて距離を演算す ることができる。カラーの画像情報は、単色の画像情報に比べて情報量が多いから、 距離の測定精度が格段に向上する。
[0022] 前記第 1の波長選択領域が赤外光を選択的に透過させる場合において、前記複 数の波長選択領域のうち、前記第 1の波長選択領域を除いた少なくとも 1つは、赤色 光、緑色光、及び青色光の波長帯域の光をそれぞれ透過させる赤色光学フィルター 、緑色光学フィルター、及び青色光学フィルターが前記多数の画素の配置に応じて べィヤー配列された波長選択領域であっても良い。この場合、前記べィヤー配列さ れた前記少なくとも 1つの波長選択領域に対応する少なくとも 1つの撮像領域は、可 視光に感度を有することが好ましい。これにより、夜間のような暗い環境でも距離測定 が可能で、更に、カラー画像撮像を行うことができるカメラモジュールを実現できる。
[0023] 前記第 1の波長選択領域が赤外光を選択的に透過させる場合において、前記複 数の波長選択領域のうち、前記第 1の波長選択領域を除いた少なくとも 1つは、赤色 光、緑色光、及び青色光のうちのいずれか 1つの波長帯域の光を透過させる第 2の 波長選択領域であっても良い。この場合、前記第 2の波長選択領域に対応する第 2 の撮像領域は、前記第 2の波長選択領域が透過させる波長帯域の光に感度を有す ることが好ましい。そして、前記カメラモジュールは、前記第 1の撮像領域が出力する 画像情報と、前記第 2の撮像領域が出力する画像情報とに基づいて、 1つの合成画 像を演算する画像合成回路を更に備えることが好ましい。そして、前記カメラモジュ ールは、前記画像信号として前記合成画像に関する信号を出力することが好ましい 。これにより、夜間のような暗い環境でも距離測定が可能で、更に、昼夜を問わず画 像撮像を行うことができるカメラモジュールを実現できる。また、出力される画像信号 の情報量が多くなるので、例えばこの画像信号を用いた形状認識などの精度が向上 する。
[0024] 前記カメラモジュールは、互いに異なる波長帯域の光を透過させる少なくとも 2つの 前記波長選択領域にそれぞれ対応する少なくとも 2つの前記撮像領域がそれぞれ 出力する少なくとも 2つの画像情報に基づいて、 1つの合成画像を演算する画像合 成回路を更に備えることが好ましい。この場合、前記カメラモジュールは、前記画像 信号として前記合成画像に関する信号を出力することが好ましい。これにより、出力さ れる画像信号の情報量が多くなるので、例えばこの画像信号を用いた形状認識など の精度が向上する。
[0025] 前記距離演算回路は、前記第 1の撮像領域から出力された前記画像情報に基づ いて、前記多数の画素間を内挿し、前記内挿により得た情報を用いて被写体までの 距離を演算することが好ましい。これにより、複数のレンズ間距離を拡大することなぐ 距離の測定精度を向上させることができる。また、近距離のみならず、遠距離であつ ても精度良く距離測定をすることができる。
[0026] 本発明のカメラモジュールは自動車に搭載され、周囲の状況情報を得るために使 用されても良い。これにより、自動車の予防安全性が向上する。
[0027] この場合にお 、て、前記カメラモジュール力 前記自動車の車速信号及び Z又は 舵角信号に応じて前記カメラモジュールの向きを変える駆動機構を更に備えることが 好ましい。これにより、自動車の進行方向が実際に変化するよりも前に、進行予定方 向の状況情報を取得することができるので、安全性がより向上する。
[0028] (実施の形態 1)
以下、本発明の実施の形態 1について、図面を参照しながら説明する。
[0029] 図 1は、本実施の形態 1のカメラモジュールの分解斜視図である。
[0030] 本実施の形態のカメラモジュールは、被写体側から、レンズモジュール 1、光学フィ ルターモジュール 2、基板 3をこの順に備える。基板 3上には、撮像素子 4a〜4d及び デジタルシグナルプロセッサ (DSP)等からなる信号処理部 5が搭載されて 、る。矢印 10は被写体からの光線を意味して 、る。
[0031] 図 2は、レンズモジュール 1の光軸と平行な方向に沿った本実施の形態のカメラモ ジュールの断面図である。図 2において、 6は、レンズモジュール 1及び光学フィルタ 一モジュール 2を基板 3に対して支持し固定する固定台である。
[0032] 図 1にお!/、て、光学フィルターモジュール 2は、 4つの波長選択領域 2a〜2dを備え る。互いに対角位置に配置された波長選択領域 2a, 2dは、被写体からの光 10のう ち赤外光を選択的に透過させる赤外光学フィルタ一力 なり、互 、に対角位置に配 置された波長選択領域 2b, 2cは、被写体力ゝらの光 10のうち緑色光を選択的に透過 させる緑色光学フィルターからなる。
[0033] 4つの波長選択領域 2a〜2dにそれぞれ対応するように、レンズモジュール 1に 4つ のレンズ la〜： Ldが配置され、基板 3に 4つの撮像素子 4a〜4dが配置されている。即 ち、 4つのレンズ la〜： Ldの各光軸上に、 4つの波長選択領域 2a〜2d及び 4つの撮 像素子 4a〜4dがそれぞれ配置されて 、る。
[0034] 赤外光を透過させる波長選択領域 2a, 2dに対応するレンズ la, Idは赤外光の波 長帯域において、要求される MTF等の光学仕様を満足するように設計されており、 また、波長選択領域 2a, 2dに対応する撮像素子 4a, 4dは赤外光の波長帯域にお いて感度を有する。一方、緑色光を透過させる波長選択領域 2b, 2cに対応するレン ズ lb, lcは緑色光の波長帯域において、要求される MTF等の光学仕様を満足する ように設計されており、また、波長選択領域 2b, 2cに対応する撮像素子 4b, 4cは少 なくとも緑色光の波長帯域において感度を有する。本実施の形態では、撮像素子 4b , 4cは緑色光を含む可視光の波長帯域にぉ 、て感度を有する。
[0035] 4つのレンズ la〜ldを備えるレンズモジュール 1は、ガラスあるいはプラスチックな どの材料からなる。 4つのレンズ la〜： Ldは同一平面上に一体に形成されている。各 レンズ la〜： Ldは、被写体からの光 10を、各波長選択領域 2a〜2dを通過させたのち 、各撮像素子 4a〜4d上に結像させる。
[0036] 撮像素子 4a〜4dとして、 CCD等の撮像センサーを用いることができる。各レンズ 1 a〜 Idを通過した光は、各波長選択領域 2a〜2dにおいて、赤外光又は緑色光の波 長帯域の光が選択されてこれを透過し、各撮像素子 4a〜4d上に結像する。即ち、撮 像素子 4a, 4d上には、被写体からの光 10のうち赤外光の波長帯域のみの光が結像 し、撮像素子 4b, 4c上には、被写体からの光 10のうち緑色光の波長帯域のみの光 が結像する。このように、被写体力もの光 10は、赤外光の波長帯域の光と緑色光の 波長帯域の光とに分離されて、それぞれ別個の撮像素子上に結像する。
[0037] 各撮像素子 4a〜4dは光電変換を行う多数の画素を備えている。各撮像素子 4a〜 4dの各画素には特定波長帯域の光が入射する。各撮像素子 4a〜4dは、入射した 光の強度に応じた電気信号を画像情報として出力する。
[0038] 画像情報に対して、様々な信号処理からなる映像処理が行われる。たとえば、同一 波長帯域の光が入射する 2つの撮像素子力 出力された 2つの画像情報を用いて被 写体までの距離が測定される。あるいは、複数の撮像素子から出力された複数の画 像情報を合成しても良い。これらの信号処理は、 DSPを含む信号処理部 5で行われ る。
[0039] 本実施の形態のカメラモジュールの緑色光に対応した一対の光学系を用いて被写 体までの距離を測定する原理を図 3を用いて説明する。
[0040] 図 3に示すように、レンズ lbが撮像素子 4b上に結像させる被写体 11からの光線 11 bと、レンズ lcが撮像素子 4c上に結像させる被写体 11からの光線 1 lcとは互いに異 なるため、光線 1 lbの撮像素子 4b上での結像位置と光線 1 lcの撮像素子 4c上での 結像位置とは異なる。レンズ lcに対して、レンズ lbに対する光線 l ibの関係と等価 な関係を有する仮想の等価光線 11c'を考える。撮像素子 4c上において、光線 11c の結像位置と等価光線 1 lc 'の結像位置とは、視差に基づきズレ量 Zだけずれて 、る
[0041] 緑色光に対応する撮像素子 4b, 4cのうち、一方の撮像素子 4bによって得られる画 像を基準画像とする。撮像素子 4bの受光領域を複数のブロック (たとえば、 1つのブ ロックは 8行 X 8列の合計 64個の画素からなる）に分割する。そして、撮像素子 4bの あるブロックが撮像した画像と相関を有する画像を、他方の撮像素子 4cによって得ら れた画像内で探索し特定する。一方の撮像素子 4b内における上記のあるブロックの 位置と、他方の撮像素子 4c内においてこのブロックと相関を有する画像の位置との 差を、上記ズレ量 Zとして求める。このズレ量 Zは、撮像素子 4b, 4cの画素ピッチを単 位として求められる。
[0042] 具体例を挙げて説明する。
[0043] 図 3において、レンズ lb, lcから被写体 11までの距離を D[mm]、レンズ lb, lcは 同一レンズであり、その焦点距離を f [mm]、レンズ lbの光軸 lb，とレンズ lcの光軸 1 c 'との間隔を L [mm]、撮像素子 4b, 4cの画素ピッチを p [mm]、上記の互いに相関 を有する画像間の相対的なズレ量 Zを z [画素ピッチ] (即ち、ズレ量 Z = z X p)とする と、被写体までの距離 Dは次の式（1)を用いて求めることができる。
[0044] D=L X f/ (z X p) [mm] · · · (1)
たとえば、光軸 lb'と光軸 lc'との間隔 Lが 3 [mm]、焦点距離 fが 3 [mm]、画素ピ ツチ pが 2. 8 X 10— 3 [mm]のカメラモジュールにおいて、ズレ量 Zが 3 [画素ピッチ]で あると、被写体までの距離 Dは式（1)より、
D = 3 X 3/ (3 X 2. 8 X 10—3) [mm]
= 1071 [mm]
となる。このように、ズレ量 Zを 3画素ピッチと検出することで、被写体までの距離を約 1 mと算出することができる。以上の演算は、 DSPを含む信号処理部 5内の距離演算 回路で行うことができる。
[0045] 本実施の形態のカメラモジュールは、レンズ lbとレンズ lcとはレンズモジュール 1と して一体的に形成されているため、 2台のカメラを用いて組み立てられた従来の測距 装置に比べて、光軸 lb'と光軸 lc'との間隔 Lを小さくすることができ、且つ、間隔 L 及び両光軸 lb' , lc'の相対的傾き等に関する精度を向上させることができる。従つ て、被写体までの距離を高精度に測定できる、小型且つ低コストのカメラモジュール を実現できる。
[0046] また、レンズ la〜： Ldは特定の波長帯域の光に対して所望の光学仕様を満足するよ うに設計されていれば足りるので、レンズ la〜： Ldとして単レンズを使用することができ 、カメラモジュールを更に小型且つ低コストにすることができる。
[0047] 上記の実施の形態では、被写体までの距離を、緑色光を透過させる波長選択領域 2b, 2cと、これに対応するレンズ lb, lc及び撮像素子 4b, 4cからなる、緑色光に対 応した一対の光学系を用いて測定したが、本発明はこれに限定されない。
[0048] 例えば、赤外光を透過させる波長選択領域 2a, 2dと、これに対応するレンズ la, 1 d及び撮像素子 4a, 4dからなる、赤外光に対応した一対の光学系を用いて、被写体 までの距離を測定しても良い。赤外光を利用すれば、夜間のように暗い環境であって も、被写体までの距離を測定することができる。この場合も、レンズ la, Idはレンズモ ジュール 1として一体的に形成されているため、被写体までの距離を高精度に測定 できる、小型且つ低コストのカメラモジュールを実現できる。 [0049] 更に、緑色光に対応した一対の光学系と赤外光に対応した一対の光学系との両方 を用いて、被写体までの距離を測定しても良い。これにより、昼夜を問わず、被写体 までの距離を高精度に測定できる、小型且つ低コストのカメラモジュールを実現でき る。
[0050] 上記の実施の形態では、波長選択領域 2b, 2cとして、光の 3原色のうちの 1つであ る緑色光を透過させる光学フィルターを用いた例を説明したが、赤色光又は青色光 を選択的に透過させる光学フィルターを用いても良ぐこの場合も上記と同様の効果 を得ることができる。
[0051] 本実施の形態のカメラモジュールは、 4つの撮像素子 4a〜4dがそれぞれ出力する 画像情報のうちの少なくとも 1つを画像信号として出力しても良い。これにより、被写 体までの距離情報と被写体像情報とを出力する小型且つ低コストのカメラモジュール を実現できる。画像信号として用いられる画像情報は、距離測定のために用いられる 画像情報であっても良いし、これ以外の画像情報であっても良い。例えば、可視光帯 域の単色光が入射する撮像素子 4b (または 4c)から出力された画像情報を画像信号 として出力すれば、昼間のような明る!/、環境で撮像された単色の画像を得ることがで きる。また、赤外光が入射する撮像素子 4a (または 4d)から出力された画像情報を画 像信号として出力すれば、夜間のような暗い環境で赤外線撮像された画像を得ること ができる。更に、撮像素子 4b (または 4c)から出力された画像情報と、撮像素子 4a ( または 4d)から出力された画像情報とを合成して 1つの画像信号を出力すれば、昼 夜を問わず鮮明な画像を撮像することができ、見カゝけ上、撮像素子の感度を大きくす ることができる。複数の画像情報の合成は、 DSPを含む信号処理部 5内の画像合成 回路で行うことができる。
[0052] (実施の形態 2)
以下、本発明の実施の形態 2について、図面を参照しながら説明する。
[0053] 本実施の形態 2のカメラモジュールの全体構成は、図 1及び図 2に示した実施の形 態 1のカメラモジュールとほぼ同じであり、カメラモジュールの個々の構成要素にお ヽ て実施の形態 1と異なる。以下、実施の形態 1との相違点を中心にして本実施の形態 2を説明する。 [0054] 図 4は、本実施の形態 2に係るカメラモジュールに使用される光学フィルターモジュ ール 21の概念図である。図 4において、互いに対角位置に配置された波長選択領 域 21a, 21dは、被写体力もの光のうち赤外光を選択的に透過させる赤外光学フィル ターからなり、互いに対角位置に配置された波長選択領域 21b, 21cは、赤色光、緑 色光、及び青色光をそれぞれ透過させる赤色光学フィルター 21R、緑色光学フィル ター 21G、及び青色光学フィルター 21Bが、波長選択領域 21b, 21cに対応する撮 像素子 4b, 4cの画素の配置に応じてべィヤー配列された波長選択領域である。
[0055] 赤外光を透過させる波長選択領域 21a, 21dに対応するレンズ la, Idは赤外光の 波長帯域にぉ ヽて、要求される MTF等の光学仕様を満足するように設計されており 、また、波長選択領域 21a, 21dに対応する撮像素子 4a, 4dは赤外光の波長帯域に おいて感度を有する。一方、赤色光学フィルター 21R、緑色光学フィルター 21G、及 び青色光学フィルター 21Bがべィヤー配列された波長選択領域 21b, 21cに対応す るレンズ lb, lcは可視光の波長帯域において、要求される MTF等の光学仕様を満 足するように設計されており、また、波長選択領域 21b, 21cに対応する撮像素子 4b , 4cは可視光の波長帯域において感度を有する。
[0056] 図 4は、他の実施の形態との差異をわ力りやすくするため、波長選択領域 21a, 21 dと波長選択領域 21b, 21cとが共通の光学フィルターモジュール 21を構成するかの 如きに描かれている。ところが、べィヤー配列された赤色光学フィルター 21R、緑色 光学フィルター 21G、及び青色光学フィルター 21Bと、撮像素子 4b, 4cの個々の画 素の受光部とを正確に位置合わせする必要がある。従って、現実には、撮像素子 4b , 4cの画素上に、赤色光学フィルター 21R、緑色光学フィルター 21G、及び青色光 学フィルター 21Bをべィヤー配列にて直接形成する必要がある。従って、例えば図 5 に示すように、赤色光学フィルター 21R、緑色光学フィルター 21G、及び青色光学フ ィルター 21Bがべィヤー配列された波長選択領域 21b, 21cは、赤外光を透過させ る波長選択領域 21a, 21dが設けられた光学フィルターモジュール 21とは別に、撮 像素子 4b, 4c上に形成される。
[0057] 本実施の形態 2が実施の形態 1と異なるのは、実施の形態 1では、撮像素子 4b, 4c には赤色光、緑色光、青色光のうちのいずれ力 1つの波長帯域の光のみが入射する のに対して、本実施の形態 2では撮像素子 4b, 4cに可視光帯域の全ての光が入射 する点にある。即ち、撮像素子 4b, 4cは、実施の形態 1では単色の画像情報を出力 するのに対して、本実施の形態 2ではカラーの画像情報を出力する。
[0058] 撮像素子 4b, 4cから得た 2つのカラーの画像情報に基づいて実施の形態 1と同様 にして被写体までの距離を測定することができる。カラーの画像情報に含まれる赤、 緑、青の各波長成分より、輝度、色相、彩度の 3成分を抽出することが可能である。被 写体内の幾何的に連結した領域は色が似ていることが多いことから、色情報を利用 して 2つのカラー画像内で相関を有する特定画像を探索し抽出して、ズレ量 Zを求め ることができる。従って、単色画像を用いて距離を測定する場合に比べて、特定画像 の探索 '抽出の精度を格段に向上させることができる。これにより、距離の測定精度 が格段に向上する。
[0059] もちろん、実施の形態 1で説明したように、赤外光を透過させる波長選択領域 21a, 21dと、これに対応するレンズ la, Id及び撮像素子 4a, 4dからなる、赤外光に対応 した一対の光学系を用いて、被写体までの距離を測定しても良い。赤外光を利用す れば、夜間のように暗い環境であっても、被写体までの距離を測定することができる。
[0060] 更に、波長選択領域 21b, 21cと、これに対応するレンズ lb, lc及び撮像素子 4b, 4cからなる、可視光に対応した一対の光学系と赤外光に対応した一対の光学系との 両方を用いて、被写体までの距離を測定しても良い。これにより、昼夜を問わず、被 写体までの距離を高精度に測定できる、小型且つ低コストのカメラモジュールを実現 できる。
[0061] 実施の形態 1の場合と同様に、本実施の形態のカメラモジュールは、 4つの撮像素 子 4a〜4dがそれぞれ出力する画像情報のうちの少なくとも 1つを画像信号として出 力しても良い。これにより、被写体までの距離情報と被写体像情報とを出力する小型 且つ低コストのカメラモジュールを実現できる。画像信号として用いる画像情報は、距 離測定のために用いる画像情報であっても良 、し、これ以外の画像情報であっても 良い。例えば、可視光帯域の光が入射する撮像素子 4b (または 4c)から出力された 画像情報を画像信号として出力すれば、昼間のような明るい環境で撮像されたカラ 一の画像を得ることができる。また、赤外光が入射する撮像素子 4a (または 4d)から 出力された画像情報を画像信号として出力すれば、夜間のような暗い環境で赤外線 撮像された画像を得ることができる。更に、撮像素子 4b (または 4c)から出力された画 像情報と、撮像素子 4a (または 4d)から出力された画像情報とを合成して 1つの画像 信号を出力すれば、可視光力 赤外光に至る全波長帯域の光を利用して、昼夜を問 わず鮮明な画像を撮像することができ、見力 4ナ上、撮像素子の感度を大きくすること ができる。複数の画像情報の合成は、 DSPを含む信号処理部 5内の画像合成回路 で行うことができる。
[0062] カメラモジュール力も出力される画像信号力カラー画像情報を含む場合、以下のよ うな効果が得られる。カラーの画像情報に含まれる赤、緑、青の各波長成分より、輝 度、色相、彩度の 3成分を抽出することが可能である。例えば、この画像信号を用い て被写体の形状認識を行う場合、被写体内の幾何的に連結した領域は色が似てい ることが多いことから、色情報を利用することで被写体の特徴的部分の抽出を容易且 つ高精度に行うことができる。従って、単色の画像情報を用いて形状認識する場合 に比べて、形状認識精度を格段に向上させることができる。
[0063] (実施の形態 3)
以下、本発明の実施の形態 3について、図面を参照しながら説明する。
[0064] 本実施の形態 3のカメラモジュールの全体構成は、図 1及び図 2に示した実施の形 態 1のカメラモジュールとほぼ同じであり、カメラモジュールの個々の構成要素にお ヽ て実施の形態 1と異なる。以下、実施の形態 1との相違点を中心にして本実施の形態 3を説明する。
[0065] 図 6は、本実施の形態 3に係るカメラモジュールに使用される光学フィルターモジュ ール 31の斜視図である。図 6において、互いに対角位置に配置された波長選択領 域 31b, 31cは、被写体力 の光のうち緑色光を選択的に透過させる緑色光学フィル ターからなり、波長選択領域 31aは、被写体からの光のうち赤色光を選択的に透過さ せる赤色光学フィルターからなり、波長選択領域 31dは、被写体からの光のうち青色 光を選択的に透過させる青色光学フィルタ一力 なる。
[0066] 緑色光を透過させる波長選択領域 3 lb, 31cに対応するレンズ lb, lcは緑色光の 波長帯域にぉ ヽて、要求される MTF等の光学仕様を満足するように設計されて!ヽる 。赤色光を透過させる波長選択領域 3 laに対応するレンズ laは赤色光の波長帯域 において、要求される MTF等の光学仕様を満足するように設計されている。青色光 を透過させる波長選択領域 3 Idに対応するレンズ Idは青色光の波長帯域において 、要求される MTF等の光学仕様を満足するように設計されている。撮像素子 4a〜4d は、それぞれ対応する波長選択領域 31a〜31dが透過させる光の波長帯域におい て少なくとも感度を有する。本実施の形態では、撮像素子 4a〜4dは、いずれも可視 光の波長帯域にぉ ヽて感度を有する。
[0067] 被写体からの光は、各レンズ la〜： Ldを通過した後、各波長選択領域 31a〜31dに おいて、特定の波長帯域の光が選択されてこれを透過し、各撮像素子 4a〜4d上に 結像する。各撮像素子 4a〜4dは、入射した光の強度に応じた電気信号を画像情報 として出力する。
[0068] 実施の形態 1で説明したのと同様に、緑色光を透過させる波長選択領域 3 lb, 31c と、これに対応するレンズ lb, lc及び撮像素子 4b, 4cからなる、緑色光に対応した 一対の光学系を用いて、被写体までの距離を測定する。概略は以下の通りである。
[0069] 緑色光に対応する撮像素子 4b, 4cのうち、一方の撮像素子 4bによって得られる画 像を基準画像とする。撮像素子 4bの受光領域を複数のブロック (たとえば、 1つのブ ロックは 8行 X 8列の合計 64個の画素からなる）に分割する。そして、撮像素子 4bの あるブロックが撮像した画像と相関を有する画像を、他方の撮像素子 4cによって得ら れた画像内で探索し特定する。一方の撮像素子 4b内における上記のあるブロックの 位置と、他方の撮像素子 4c内においてこのブロックと相関を有する画像の位置との 差を、ズレ量 Zとして求める。このズレ量 Zに基づいて、実施の形態 1で説明のと同様 にして、被写体までの距離 Dを演算する。
[0070] 本実施の形態では、上記の距離測定に加えて、赤色光に対応した撮像素子 4a、 緑色光に対応した撮像素子 4d (または 4b)、及び青色光に対応した撮像素子 4dが それぞれ出力した 3つの単色光に関する画像情報を合成して、 1つのカラー画像情 報を得ることができる。
[0071] 3つの単色光に関する画像情報の合成は以下のようにして行う。緑色光に対応した 撮像素子 4b, 4dがそれぞれ出力した画像情報力も得た上記ズレ量 Zに基づ 、て、 撮像素子 4bによって得られる緑色の画像 (基準画像）に対する、撮像素子 4a, 4d〖こ よって得られる赤色及び青色の各画像のズレ量を演算する。そして、この赤色及び 青色の各画像のズレ量を補正して、赤色及び青色の各画像を上記の緑色の基準画 像に合成する。これにより、色ズレのないカラー画像をすることができる。以上のような 複数の画像情報の合成は、 DSPを含む信号処理部 5内の画像合成回路で行うこと ができる。
[0072] 実施の形態 1の場合と同様に、本実施の形態のカメラモジュールは、 4つの撮像素 子 4a〜4dがそれぞれ出力する画像情報のうちの少なくとも 1つ、及び Z又は、上記 の合成して得たカラー画像情報を画像信号として出力しても良い。これにより、被写 体までの距離情報と被写体像情報とを出力する小型且つ低コストのカメラモジュール を実現できる。
[0073] 出力される画像信号がカラー画像情報である場合には、以下のような効果が得られ る。カラーの画像情報に含まれる赤、緑、青の各波長成分より、輝度、色相、彩度の 3 成分を抽出することが可能である。例えば、この画像情報を用いて被写体の形状認 識を行う場合、被写体内の幾何的に連結した領域は色が似ていることが多いことから 、色情報を利用することで被写体の特徴的部分の抽出を容易且つ高精度に行うこと ができる。従って、単色の画像情報を用いて形状認識する場合に比べて、形状認識 精度を格段に向上させることができる。
[0074] (実施の形態 4)
以下、本発明の実施の形態 4について説明する。
[0075] CCD等の撮像センサーの各画素は、入射した光を光電変換して、入射した光の強 度に応じた電気信号 (以下、「画素値」という）を出力する。各画素の受光面は所定の 面積を有しているので、画素値は、その画素の受光面内の各点における光の強度の 積分値となる。
[0076] 図 7は、撮像センサーの光入射面の一部を拡大した正面図である。実線 41H, 41 Vで区切られた各領域が 1画素 40を示す。図 7では、 2行 X 2列の合計 4画素を図示 している。斜線を施した領域は 1画素 40の受光面を示している。点線 42H, 42Vは、 画素行及び画素列の中心線であり、いずれも各画素 40の受光面の中心を通る。中 心線 42H, 42Vの間隔を画素ピッチ P , Pという。
H V
[0077] 図 8に示すように、被写体 70がある画素 40の受光面に入射する場合を考える。ここ で、被写体 70の中心線 75に対して一方の側は一様な黒領域 70aであり、他方の側 は一様な白領域 70bとする。黒領域 70aと白領域 70bとは同面積である。黒領域 70a 内の点 71, 72はこの画素 40の受光面内の点 41, 42に、白領域 70b内の点 73, 74 は該受光面内の点 43, 44に、それぞれ結像する。一点鎖線 45は、被写体 70の中 心線 75に対応し、画素 40の受光面のうち、一点鎖線 45に対して黒領域 70aに対応 する側の領域 40aの光強度は弱ぐ白領域 70aに対応する側の領域 40bの光強度は 強い。このような場合、この画素 40の画素値は、領域 40aでの光強度と領域 40bでの 光強度の中間の強度の光が画素 40の受光面の全体に入射した場合と同等となる。
[0078] 実施の形態 1〜3で説明した、三角測量法を用いて被写体までの距離を測定する 方法では、 2つの画像情報内にそれぞれ存在する互いに相関を有する画像の位置 からズレ量 Zを求めた。このとき使用される画像情報は、撮像センサーの各画素から 出力される画素値によって構成されている。図 8に示したように、画素 40の受光面に 入射する光の強度が一様でない場合であっても、画素値が出力される際にこの受光 面内の光強度分布が平均化されてしまう。従って、ズレ量 Zの検出精度は画素ピッチ P , P
H Vに依存する。
[0079] 上記より明らかなように、画素 40の受光面内での光強度分布を検出できれば、ズレ 量 Zの検出精度が向上し、その結果、被写体までの距離の測定精度を向上できるこ とが分かる。
[0080] また、既に説明した図 3より明らかなように、レンズから被写体までの距離 Dが大きく なればなるほど、距離 Dの測定精度は低下する。ところが、受光面内での光強度分 布を検出できれば、ズレ量 Zの検出精度が向上するので、より遠くの被写体まで精度 良く距離測定をすることができる。
[0081] そこで、本実施の形態では、各画素から出力される画素値によって構成された画像 情報に基づいて、画素間を内挿することにより、各画素の受光面内での光強度分布 を検出する。即ち、擬似的に画素ピッチ P , Pを縮小化する。以下に、これを説明す
H V
る。 [0082] 図 9に示すように、各画素 40の受光面をこれより小さな複数の領域 (以下、これを「 サブピクセル」という） 46に分割する。図 9の例では、 1画素 40が 5行 X 5列の合計 25 個のサブピクセルの集合で構成される。図 9において、実線 41H, 41Vは画素 40の 境界を示し、二点鎖線 46H, 46Vはサブピクセル 46の境界を示す。
[0083] 被写体までの距離測定は以下のようにして行う。実施の形態 1での説明と同様に、 緑色光に対応する撮像素子 4b, 4cのうち、一方の撮像素子 4bによって得られる画 像を基準画像とする。そして、撮像素子 4bのあるブロックが撮像した画像と相関を有 する画像を、他方の撮像素子 4cによって得られた画像内で探索し特定する。このとき 、実施の形態 1では、複数の画素を 1ブロックとした力 本実施の形態では、複数のサ ブピクセルを 1ブロックとする。即ち、本実施の形態では、画素単位ではなぐサブピ クセル単位で、 2つの画像間の相関を調査する。これにより、被写体までの距離の測 定精度を向上させることができる。また、近くの被写体から、より遠くの被写体まで精 度良く距離測定をすることができる。
[0084] 実施の形態 1では、ズレ量 Zを画素ピッチを単位として検出し、例えば、ズレ量 Zが 3 画素ピッチであれば、被写体までの距離 Dは約 lmであると演算した。これに対して、 本実施の形態では、例えば、 1画素を 10行 X 10列のサブピクセルに分割した場合、 ズレ量 Zを 0. 1画素ピッチを単位として（即ち、 1サブピクセルピッチを単位として）で 検出できる。この場合、例えばズレ量 Zが 0. 3画素ピッチ (即ち、 3サブピクセルピッチ )であれば、被写体までの距離 Dは約 10mであると演算でき、遠い被写体でも精度良 く距離測定が可能になる。また、約 lmの距離にある被写体に対して、 0. 1画素ピッ チ単位 (即ち、 1サブピクセルピッチ単位)でズレ量 Zを検出できるので、測定精度が 1 0倍向上する。
[0085] 各サブピクセルの画素値 (以下、「サブピクセル値」と 、う）は、例えば、撮像素子の 1画素から出力される画素値を線形補間法により内挿して求めることができる。これを 、各画素 40を 2行 X 2列の合計 4個のサブピクセル 46に分割した場合を示した図 10 を用いて説明する。
[0086] 各画素 40より出力される画素値はその画素の中心にあるとし、各サブピクセル 46よ り出力されるサブピクセル値もそのサブピクセルの中心にあるとする。図 10に示した ように、 2行 X 2列に配置された各画素の画素値をそれぞれ、 P (i, j)、 P (i, j + l)、 P (i+ 1, j)、 P (i+ 1, j + 1)とし、求めたいサブピクセルのサブピクセル値を Pとする。 各画素の画素値からサブピクセルのサブピクセル値 Pまでの距離をそれぞれ al、 a2 、 bl、 b2とすると、このサブピクセルのサブピクセル値 Pは下式で求めることができる。
[0087] P= { 1Z (bl +b2) } X [{b2/ (al + a2) } x {a2 X P (iゝ j) +al X P (i+ 1、 j) }
+ {blZ (al + a2) } X {a2 X P (i+ l、 j + l) +al X P (i、 j + 1) }]
このようにして、各画素内の全サブピクセルのサブピクセル値を演算により求めるこ とがでさる。
[0088] 更に、サブピクセル 46のサブピクセル値を求める際に、あるサブピクセルの受光面 上に結像された被写体のエッジ (輪郭）の有無をこの周辺のサブピクセルのサブピク セル値を用いて検出し、エッジが存在すると判断された場合には、このサブピクセル 内のエッジを内挿して求めても良い。更に、このエッジの検出方法に上記のサブピク セル 46のサブピクセル値の線形補間法を組み合わせても良!、。
[0089] 上記では、 1画素を、 5行 X 5列の合計 25個のサブピクセルや、 2行 X 2列の合計 4 個のサブピクセルに分割した例を示した力 1画素の分割数は上記に限定されず、 要求される測定精度などにより適宜決定すればよい。
[0090] (実施の形態 5)
以下、本発明の実施の形態 5について、図面を参照しながら説明する。
[0091] 図 11は道路を走行中の自動車 100を上から見た図である。 自動車 100は本発明 のカメラモジュール 101〜104を搭載している。 101a〜104aはカメラモジュール 10 1〜104の画角を示す。 105は先行車両、 106は対向車両、 107は道路の中央線（ 白線）、 108は歩行者である。 自動車 100に複数のカメラモジュール 101〜104を、 それぞれの画角 101a〜104aができるだけ重なり合うように搭載することで、運転席 力もの死角を少なくし、カメラモジュール 101〜104から得られる撮像情報を用いて、 歩行者 108、白線 107、対向車両 106、先行車両 105等の周辺の状況情報を検出 することができる。
[0092] 車両のデザインや空力特性等を考慮すると、カメラモジュール 101〜104は薄く且 つ小さいことが望まれる。本発明のカメラモジュールは、波長選択領域により撮像素 子上に結像される光の波長帯域を限定しているので、レンズとして単レンズを使用し ても収差の少ない画像を得ることができる。従って、非常に薄型且つ小型のカメラモ ジュールを実現できる。
[0093] また、カメラモジュール 101〜104により得られた被写体までの距離情報と、自動車 100の車速信号及び Z又は舵角信号とを組み合わせることにより、自動車 100の予 防安全性を向上させることができる。
[0094] また、可視光帯域及び赤外光帯域を用いて被写体までの距離を測定することにより 、昼間の走行中はもちろん、夜間走行中においても、対向車両のヘッドライドなどの 明る ヽ被写体及び歩行者などの喑 ヽ被写体を認識し、且つこれらまでの距離を求め ることがでさる。
[0095] 更に、カメラモジュールがカラー画像情報を撮像する場合には、カラーの画像情報 に含まれる赤、緑、青の各波長成分から輝度、色相、彩度の 3成分を抽出するなどし て、被写体の特徴的部分の抽出に色情報を利用することができるので、単色の画像 情報を利用する場合に比べて形状認識精度が格段に向上する。
[0096] カメラモジュールが取得する周囲の状況情報として、図 11では自動車 100の車室 外の情報である場合を示している力 車室内の情報であっても良いことは言うまでも ない。
[0097] さらに、カメラモジュール 101〜104のそれぞれ力も得られる画像信号を表示装置（ 図示せず）を用いて表示させることも可能である。これに、カメラモジュール 101〜10 4より得られる被写体までの距離情報を組み合わせても良い。これにより、たとえば、 自動車 100を後退等させるときに、障害物を、それまでの距離情報とともに時々刻々 と表示装置に表示させることができる。
[0098] (実施の形態 6)
以下、本発明の実施の形態 6について、図面を参照しながら説明する。
[0099] カメラモジュールが自動車に固定されていると、カメラモジュールの撮像範囲は自 動車の向きに依存する。例えば、カメラモジュールが自動車の進行方向前方の状況 情報を撮像するように固定されて 、る場合にぉ 、て、自動車の進行方向が変化する 場合には、自動車の進行方向が変化して初めて新たな進行方向前方の状況情報を 撮像することができる。
[0100] ところが、自動車はある速度で移動しているため、進むべき方向の状況情報をより 早く（好ましくは進行方向が変化するよりも前に)正確に入手することが、安全上望ま しい。
[0101] そこで、本実施の形態のカメラモジュール 103は、より早く状況情報を得るために、 図 12に示すように、 Z軸を中心に回転可能な回転台 200に搭載されている。図 12の X軸、 Y軸、 Z軸は、図 13に示すように設定される。即ち、 X軸の正の向きは自動車の 進行方向前方、 Y軸方向は自動車の両側方向、 Z軸方向は鉛直方向である。回転台 200の Z軸回りの回転角度及び回転速度 (角速度）は、搭載される自動車の車速信 号及び Z又は舵角信号に基づいて推測される自動車の進行方向の変化に応じて決 定される。回転台 200の回転により、カメラモジュール 103の向きは、 X軸と平行な向 き 201を基準として、 XY面と平行な面内において、矢印 201a〜201bの範囲内で変 化する。
[0102] 自動車の進行方向の変化を予測してカメラモジュール 103を Z軸回りに回転させる ことにより、自動車の進行方向が実際に変化するよりも前に、進行予定方向の状況情 報を取得することができるので、安全性がより向上する。
[0103] 図 12では、カメラモジュール 103の向きを変えるための駆動機構として回転台 200 を用いたが、本発明はこれに限定されない。例えば、図 14に示すように、カメラモジュ ール 103を Z軸と平行に延びるトーシヨンバー 300で支持し、カメラモジュール 103の 側端に X軸に略平行な力 F1 (又は F2)をカ卩えることにより、カメラモジュール 103を Z 軸回りに回転させても良い。カメラモジュール 103の向きを変えるための駆動機構は 、カメラモジュール 103が搭載されるスペースなどを考慮して適宜選択することができ る。
[0104] 上記の実施の形態 1〜6のカメラモジュールは、 4つのレンズを備えていた力 本発 明はこれに限定されない。少なくとも 2つのレンズを備えていれば、上述した高精度 の距離測定を行うことができる。
[0105] また、被写体までの距離を測定するために用いられるレンズの配置は、上記の実施 の形態 1〜6に示した例に限定されず、視差、測定精度等を考慮して適宜変更するこ とがでさる。
[0106] また、上記の実施の形態 1〜6のカメラモジュールでは、レンズから撮像素子に至る 光路は直線状であるが、本発明はこれに限定されず、例えばプリズムやミラー等を用 V、て光路が曲げられた反射型でも上記と同様な効果が得られる。
[0107] また、上記の実施の形態 1〜6のカメラモジュールでは、複数の撮像領域として複 数の撮像素子を用いたが、本発明はこれに限定されず、例えば単一の撮像素子を 複数に分割することで、複数の撮像領域を得ても良い。これにより、複数の撮像素子 の位置合わせなどが不必要で、実装が容易になり、低コストィ匕できる。
[0108] また、上記の実施の形態 1〜6では、レンズモジュール、光学フィルターモジュール
、及び撮像領域からなる光学系と距離演算回路及び Z又は画像合成回路を含む信 号処理部とがー体ィ匕されたカメラモジュールを示した力 本発明のカメラモジュール はこれに限定されない。例えば、光学系と信号処理部とが単にフレキシブルケープ ルなどのみで接続されていても良い。あるいは、撮像領域と共通する基板に搭載され た信号処理部は距離演算回路及び Z又は画像合成回路を含まず、距離演算回路 及び Z又は画像合成回路はこの信号処理部とフレキシブルケーブルなどのみで接 続されていても良い。このような構成であれば、光学系と信号処理部（あるいは、距離 演算回路及び Z又は画像合成回路）とを別の位置に自由に配置することができる。
[0109] 本発明のカメラモジュールを組み立てる際に、レンズモジュール 1内の各レンズ la 〜 Idの光軸と、各撮像素子 4a〜4d上の基準位置とを合わせる必要がある。これを、 本発明では以下のようにして行うことができる。固定台 6及びレンズモジュール 1等の 各部品を必要な精度及び形状に仕上げ、これらの部品を機械的に組立てる。その後 、無限遠にある点光源を撮像し、この点光源の各撮像素子 4a〜4d上の結像点を各 撮像素子 4a〜4dの原点とする。これにより、組立て時の光学系の調整を大幅に簡略 ィ匕することがでさる。
[0110] 以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らか にする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるも のではなぐその発明の精神と請求の範囲に記載する範囲内でいろいろと変更して 実施することができ、本発明を広義に解釈すべきである。 産業上の利用可能性
本発明のカメラモジュールの利用分野は特に制限はないが、例えば、携帯電話に 搭載される小型'薄型カメラ、デジタルスチルカメラ、監視用カメラ、車載カメラなどに 有用である。

Claims

請求の範囲
[1] 同一平面上に配置された複数のレンズを有するレンズモジュールと、
被写体力 の光のうち特定の波長帯域の光を選択的に透過させる少なくとも 1つの 光学フィルターをそれぞれ有する複数の波長選択領域と、
多数の画素を有し、入射した光に応じた画像情報を出力する複数の撮像領域と を備え、
前記複数のレンズと前記複数の波長選択領域と前記複数の撮像領域とが、互いに 一対一に対応して配置されたカメラモジュールであって、
前記複数の波長選択領域のうちの少なくとも 2つは、赤外光、赤色光、緑色光、及 び青色光のうちの少なくとも 1つの波長帯域の光を透過させる第 1の波長選択領域で あり、
前記少なくとも 2つの第 1の波長選択領域にそれぞれ対応する少なくとも 2つの撮 像領域は、前記第 1の波長選択領域が透過させる波長帯域の光に感度を有する第 1 の撮像領域であり、
前記カメラモジュールは、更に、前記少なくとも 2つの第 1の撮像領域がそれぞれ出 力する少なくとも 2つの画像情報に基づいて、被写体までの距離を演算する距離演 算回路を備え、
前記カメラモジュールは、前記複数の撮像領域のうちの少なくとも 1つが出力する 画像情報に基づく画像信号を出力することを特徴とするカメラモジュール。
[2] 前記少なくとも 2つの第 1の波長選択領域は、赤外光を選択的に透過させる請求項 1に記載のカメラモジュール。
[3] 前記少なくとも 2つの第 1の波長選択領域は、赤色光、緑色光、及び青色光のうち のいずれか 1つの波長帯域の光を選択的に透過させる請求項 1に記載のカメラモジ ユーノレ o
[4] 前記複数の波長選択領域が、赤外光を選択的に透過させる少なくとも 2つの赤外 光波長選択領域と、赤色光、緑色光、及び青色光のうちのいずれか 1つの波長帯域 の光を選択的に透過させる少なくとも 2つの可視光波長選択領域とを含み、
前記距離演算回路は、前記少なくとも 2つの赤外光波長選択領域に対応する少な くとも 2つの赤外光撮像領域がそれぞれ出力する少なくとも 2つの画像情報に基づい て被写体までの距離を演算し、且つ、前記少なくとも 2つの可視光波長選択領域に 対応する少なくとも 2つの可視光撮像領域がそれぞれ出力する少なくとも 2つの画像 情報に基づ 、て被写体までの距離を演算する請求項 1に記載のカメラモジュール。
[5] 前記少なくとも 2つの第 1の波長選択領域は、赤色光、緑色光、及び青色光の波長 帯域の光をそれぞれ透過させる赤色光学フィルター、緑色光学フィルター、及び青 色光学フィルターが前記多数の画素の配置に応じてべィヤー配列された波長選択 領域である請求項 1に記載のカメラモジュール。
[6] 前記複数の波長選択領域のうち、前記第 1の波長選択領域を除いた少なくとも 1つ は、赤色光、緑色光、及び青色光の波長帯域の光をそれぞれ透過させる赤色光学フ ィルター、緑色光学フィルター、及び青色光学フィルターが前記多数の画素の配置 に応じてべィヤー配列された波長選択領域であり、
前記べィヤー配列された前記少なくとも 1つの波長選択領域に対応する少なくとも 1 つの撮像領域は、可視光に感度を有する請求項 2に記載のカメラモジュール。
[7] 前記複数の波長選択領域のうち、前記第 1の波長選択領域を除いた少なくとも 1つ は、赤色光、緑色光、及び青色光のうちのいずれか 1つの波長帯域の光を透過させ る第 2の波長選択領域であり、
前記第 2の波長選択領域に対応する第 2の撮像領域は、前記第 2の波長選択領域 が透過させる波長帯域の光に感度を有し、
前記カメラモジュールは、前記第 1の撮像領域が出力する画像情報と、前記第 2の 撮像領域が出力する画像情報とに基づいて、 1つの合成画像を演算する画像合成 回路を更に備え、
前記カメラモジュールは、前記画像信号として前記合成画像に関する信号を出力 する請求項 2に記載のカメラモジュール。
[8] 互いに異なる波長帯域の光を透過させる少なくとも 2つの前記波長選択領域にそ れぞれ対応する少なくとも 2つの前記撮像領域がそれぞれ出力する少なくとも 2つの 画像情報に基づいて、 1つの合成画像を演算する画像合成回路を更に備え、 前記カメラモジュールは、前記画像信号として前記合成画像に関する信号を出力 する請求項 1に記載のカメラモジュール。
[9] 前記距離演算回路は、前記第 1の撮像領域から出力された前記画像情報に基づ いて、前記多数の画素間を内挿し、前記内挿により得た情報を用いて被写体までの 距離を演算する請求項 1に記載のカメラモジュール。
[10] 自動車に搭載され、周囲の状況情報を得るために使用される請求項 1に記載の力 メラモジユーノレ。
[ill 前記自動車の車速信号及び Z又は舵角信号に応じて前記カメラモジュールの向き を変える駆動機構を更に備える請求項 10に記載のカメラモジュール。
PCT/JP2005/007039 2004-06-03 2005-04-11 カメラモジュール WO2005119175A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/569,723 US7385680B2 (en) 2004-06-03 2005-04-11 Camera module

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004165269A JP2007263563A (ja) 2004-06-03 2004-06-03 カメラモジュール
JP2004-165269 2004-06-03

Publications (1)

Publication Number Publication Date
WO2005119175A1 true WO2005119175A1 (ja) 2005-12-15

Family

ID=35463003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/007039 WO2005119175A1 (ja) 2004-06-03 2005-04-11 カメラモジュール

Country Status (3)

Country Link
US (1) US7385680B2 (ja)
JP (1) JP2007263563A (ja)
WO (1) WO2005119175A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129563A1 (ja) * 2006-05-09 2007-11-15 Panasonic Corporation 測距用画像選択機能を有する測距装置
WO2009001563A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 撮像装置及び半導体回路素子
JP2009040270A (ja) * 2007-08-09 2009-02-26 Hitachi Ltd 車載用カメラ
US8390703B2 (en) 2008-07-23 2013-03-05 Panasonic Corporation Image pickup apparatus and semiconductor circuit element
CN106488092A (zh) * 2015-09-01 2017-03-08 德尔福技术有限公司 集成的摄像机、环境光检测及雨传感器组件

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7560679B1 (en) * 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
JP2007139756A (ja) * 2005-10-17 2007-06-07 Ricoh Co Ltd 相対位置検出装置、回転体走行検出装置及び画像形成装置
US8199370B2 (en) * 2007-08-29 2012-06-12 Scientific Games International, Inc. Enhanced scanner design
US8395795B2 (en) * 2007-09-09 2013-03-12 Xpedite Systems, Llc Systems and methods for communicating documents
US8325245B2 (en) * 2007-09-25 2012-12-04 Rockwell Automation Technologies, Inc. Apparatus and methods for use of infra-red light in camera applications
US10003701B2 (en) * 2008-01-30 2018-06-19 Xpedite Systems, Llc Systems and methods for generating and communicating enhanced portable document format files
JP4510928B2 (ja) * 2008-02-05 2010-07-28 パナソニック株式会社 測距装置
CN102124392A (zh) 2008-08-19 2011-07-13 罗姆股份有限公司 照相机
US20100061593A1 (en) * 2008-09-05 2010-03-11 Macdonald Willard S Extrapolation system for solar access determination
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
WO2012170949A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
JP2013537661A (ja) 2010-06-30 2013-10-03 タタ コンサルタンシー サービシズ リミテッド ステレオビジョン技術を使用することによる移動物体の自動検出
US9007604B2 (en) 2010-06-30 2015-04-14 Xpedite Systems, Llc System, method, and apparatus for an interactive virtual fax machine
TWM397531U (en) * 2010-07-29 2011-02-01 Agait Technology Corp Detect apparatus and the of detect apparatus from removing apparatus the same
KR101208215B1 (ko) * 2011-01-14 2012-12-04 삼성전기주식회사 카메라 모듈 및 이의 제조방법
KR101808375B1 (ko) 2011-06-10 2017-12-12 플리어 시스템즈, 인크. 저전력 소형 폼 팩터 적외선 이미징
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US20130120621A1 (en) * 2011-11-10 2013-05-16 Research In Motion Limited Apparatus and associated method for forming color camera image
JP5681954B2 (ja) * 2011-11-30 2015-03-11 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像システム
DE102012014994B4 (de) * 2012-07-28 2024-02-22 Volkswagen Aktiengesellschaft Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung
US9511708B2 (en) 2012-08-16 2016-12-06 Gentex Corporation Method and system for imaging an external scene by employing a custom image sensor
WO2014100783A1 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Time spaced infrared image enhancement
JP6541119B2 (ja) * 2016-12-05 2019-07-10 パナソニックＩｐマネジメント株式会社 撮像装置
US11113791B2 (en) 2017-01-03 2021-09-07 Flir Systems, Inc. Image noise reduction using spectral transforms
EP3634807B1 (en) * 2017-06-26 2021-08-04 Gentex Corporation Dynamic calibration of optical properties of a dimming element

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159754A (ja) * 1994-12-09 1996-06-21 Fuji Electric Co Ltd 車間距離検出装置
JP2000171246A (ja) * 1998-09-28 2000-06-23 Asahi Optical Co Ltd 測距装置
JP2001016621A (ja) * 1999-07-02 2001-01-19 Minolta Co Ltd 多眼式データ入力装置
JP2001174223A (ja) * 1999-12-20 2001-06-29 Mitsubishi Electric Corp 熱物体の位置と形状の検出装置
JP2002366953A (ja) * 2001-06-11 2002-12-20 Central Res Inst Of Electric Power Ind 画像抽出方法および装置ならびに画像抽出プログラム、画像抽出方法を利用した配電柱の柱上機材の異常検出方法および装置ならびに異常検出プログラム
JP2003150936A (ja) * 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法
JP2004132836A (ja) * 2002-10-10 2004-04-30 Seiko Precision Inc 測光機能付き位相差検出装置、測光機能付き測距装置および測光機能付き撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH10255019A (ja) 1997-03-07 1998-09-25 Toyota Motor Corp 車両認識装置
US20030048493A1 (en) * 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
JP4803927B2 (ja) 2001-09-13 2011-10-26 富士重工業株式会社 監視システムの距離補正装置および距離補正方法
TW593978B (en) * 2002-02-25 2004-06-21 Mitsubishi Electric Corp Video picture processing method
JP2004012863A (ja) 2002-06-07 2004-01-15 Canon Inc 測距・測光装置およびカメラ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159754A (ja) * 1994-12-09 1996-06-21 Fuji Electric Co Ltd 車間距離検出装置
JP2000171246A (ja) * 1998-09-28 2000-06-23 Asahi Optical Co Ltd 測距装置
JP2001016621A (ja) * 1999-07-02 2001-01-19 Minolta Co Ltd 多眼式データ入力装置
JP2001174223A (ja) * 1999-12-20 2001-06-29 Mitsubishi Electric Corp 熱物体の位置と形状の検出装置
JP2002366953A (ja) * 2001-06-11 2002-12-20 Central Res Inst Of Electric Power Ind 画像抽出方法および装置ならびに画像抽出プログラム、画像抽出方法を利用した配電柱の柱上機材の異常検出方法および装置ならびに異常検出プログラム
JP2003150936A (ja) * 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法
JP2004132836A (ja) * 2002-10-10 2004-04-30 Seiko Precision Inc 測光機能付き位相差検出装置、測光機能付き測距装置および測光機能付き撮像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129563A1 (ja) * 2006-05-09 2007-11-15 Panasonic Corporation 測距用画像選択機能を有する測距装置
WO2009001563A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 撮像装置及び半導体回路素子
US8395693B2 (en) 2007-06-28 2013-03-12 Panasonic Corporation Image pickup apparatus and semiconductor circuit element
JP2009040270A (ja) * 2007-08-09 2009-02-26 Hitachi Ltd 車載用カメラ
JP4667430B2 (ja) * 2007-08-09 2011-04-13 日立オートモティブシステムズ株式会社 車載用カメラ
US8390703B2 (en) 2008-07-23 2013-03-05 Panasonic Corporation Image pickup apparatus and semiconductor circuit element
CN106488092A (zh) * 2015-09-01 2017-03-08 德尔福技术有限公司 集成的摄像机、环境光检测及雨传感器组件
CN106488092B (zh) * 2015-09-01 2021-01-29 安波福技术有限公司 集成的摄像机、环境光检测及雨传感器组件

Also Published As

Publication number Publication date
US7385680B2 (en) 2008-06-10
JP2007263563A (ja) 2007-10-11
US20070247611A1 (en) 2007-10-25

Similar Documents

Publication Publication Date Title
WO2005119175A1 (ja) カメラモジュール
US20190351842A1 (en) In-vehicle camera and vehicle control system
CN104512411B (zh) 车辆控制系统及图像传感器
JP6156724B2 (ja) ステレオカメラ
US7227515B2 (en) System and method for forming images for display in a vehicle
US20190072673A1 (en) Distance measurement system and solid-state imaging sensor used therefor
US7518099B2 (en) Multifunctional optical sensor comprising a photodetectors matrix coupled to a microlenses matrix
KR100804719B1 (ko) 촬상 모듈
JP5012495B2 (ja) 撮像素子、焦点検出装置、焦点調節装置および撮像装置
CN102211549B (zh) 用于车辆的摄像机
CN105723239A (zh) 测距摄像系统
CN103370224A (zh) 具有用于监控车辆周边环境的装置的车辆
WO2012137696A1 (ja) 車両用画像処理装置
CN102566212A (zh) 摄像机装置和用于运行机动车的摄像机装置的方法
JP2004258266A (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
JP2008157851A (ja) カメラモジュール
CN104136910A (zh) 成像单元及其安装方法
JP2007295113A (ja) 撮像装置
JP2009055553A (ja) 複数の撮像素子を搭載した撮像装置
JP2002237969A (ja) 車載カメラおよび画像処理システム
US20220368873A1 (en) Image sensor, imaging apparatus, and image processing method
JP6202364B2 (ja) ステレオカメラ及び移動体
Kidono et al. Visibility estimation under night-time conditions using a multiband camera
JP7207889B2 (ja) 測距装置および車載カメラシステム
JP4604816B2 (ja) 車載撮像モジュール

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 11569723

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWP Wipo information: published in national office

Ref document number: 11569723

Country of ref document: US