WO2014050288A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2014050288A1
WO2014050288A1 PCT/JP2013/070276 JP2013070276W WO2014050288A1 WO 2014050288 A1 WO2014050288 A1 WO 2014050288A1 JP 2013070276 W JP2013070276 W JP 2013070276W WO 2014050288 A1 WO2014050288 A1 WO 2014050288A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical element
imaging
light
imaging device
Prior art date
Application number
PCT/JP2013/070276
Other languages
English (en)
French (fr)
Inventor
青木　利幸
笹田　義幸
未来 樋口
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US14/422,239 priority Critical patent/US10627218B2/en
Publication of WO2014050288A1 publication Critical patent/WO2014050288A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to an imaging device that calculates a distance image from a plurality of captured images.
  • the image sensor on the template image (reference image) side has sensitivity to the long wavelength side as compared with the image sensor on the search image (comparative image) side in distance image calculation,
  • Three-dimensional information of the object is calculated using focal length information, aberration information, etc., and a function that defines the relationship between wavelength components, and third-order caused by fluctuations in focal length and aberration characteristics for each wavelength in a wide wavelength band The deterioration of the former measurement accuracy was prevented.
  • the imaging device has variations in sensitivity characteristics, noise, defective pixels, and the like for each individual.
  • the lens has variations in transmittance, distortion, and the like for each individual. For this reason, in Patent Document 1, the quality of the image used for the recognition process varies due to the variation in the performance of the imaging device and the lens, and the variation in the recognition performance occurs for each individual imaging device.
  • an object of the present invention to provide an imaging device that improves recognition performance and reduces variations in recognition performance among individuals.
  • the imaging device of the present invention receives the light which passed the 1st optical element and the 1st optical element, has a luminance value according to the intensity of light, and is a standard.
  • a first image pickup element that outputs an image to be processed as an image, a second optical element, and light having passed through the second optical element, and has a luminance value corresponding to the intensity of the light;
  • a second imaging element for outputting an image to be processed as a reference image, distance calculation means for calculating a distance image based on the reference image and the comparison image, and recognition means for recognizing an object based on the distance image
  • the first optical element and the second optical element, or the first imaging element and the second imaging element have a transmittance of the first optical element higher than that of the second optical element.
  • the sensitivity characteristic of the first image pickup device is the second image pickup device, in which the distortion of the optical device is smaller than that of the second optical device Passing through the first optical element, which is higher compared to the second imaging element, the noise of the first imaging element is smaller than that of the second imaging element, and the number of defective pixels of the first imaging element is smaller than that of the second imaging element.
  • the sensitivity characteristic of the first imaging element having received the first optical element is higher than that of the second imaging element having received the light having transmitted the second optical element;
  • the noise of the image pickup device is at least one smaller than the noise of the second image pickup device which has received the light transmitted through the second optical device.
  • a first optical element a first imaging element that receives light passing through the first optical element and outputs a first image having a luminance value according to the intensity of the light
  • a second imaging element that receives light passing through the second optical element and outputs a second image having a luminance value corresponding to the intensity of the light, a first image, and a first image.
  • Reference image selecting means for setting one of the two images as a reference image with one image satisfying a predetermined condition as a reference image
  • distance calculation means for calculating a distance image based on the reference image and the comparison image
  • a recognition unit that recognizes an object based on the distance image calculated by the distance calculation unit, and the predetermined condition of the reference image selection unit compares the transmittances of the first optical element and the second optical element.
  • the image of the larger image comparing the sensitivity characteristics of the first image sensor and the second image sensor, the image of the smaller image comparing the noise of the first image sensor and the second image sensor, the first image sensor and the second image sensor The second image which received the light which passed through the first image sensor and the second optical element which received the light which passed the first optical element and the image which is smaller by comparing the number of pixel defects of the image sensor.
  • the image is configured to be one of the smaller image in comparison.
  • a first optical element a first imaging element that receives light passing through the first optical element and outputs a first image having a luminance value according to the intensity of the light
  • a second An optical element a second imaging element that receives light passing through the second optical element and outputs a second image having a luminance value corresponding to the intensity of the light
  • a first optical unit Distortion of the second optical means, sensitivity characteristics of the first imaging means and the second imaging means, noise, the number of defective pixels, the first imaging means and the second imaging means having received the light passing through the first optical means
  • a second image pickup means having received the light passing through the second optical means, the predetermined characteristic information stored in the characteristic storage means in which at least one characteristic information of the sensitivity characteristic and noise of the second imaging means is stored, and the characteristic information stored in the characteristic storage means
  • Reference image selecting means for setting one image satisfying the conditions as a reference image and the other image as a comparison image; It has a distance calculation means for calculating a distance image based on the quasi image and the comparison
  • an imaging device that improves recognition performance and reduces variation in recognition performance among individuals.
  • FIG. 1 is a diagram showing a configuration of an embodiment of an imaging device according to the present invention. It is a figure which shows the operation example of the imaging device of FIG. It is a figure which shows the reference
  • FIG. 1 shows the configuration of an embodiment of the imaging apparatus of the present invention.
  • One embodiment of the present invention includes an imaging unit (first imaging unit) 100a, an imaging unit (second imaging unit) 100b, an arithmetic unit 110, a screen sound output unit 130, and a control unit 140.
  • An imaging unit 100a such as a camera includes an optical element (first optical element) 101a, a shutter means (first shutter means) 102a, an imaging element (first imaging element) 103a, and a characteristic storage means 104a. There is.
  • An optical element 101a such as a lens refracts light to form an image on an imaging element.
  • a shutter means 102a such as a shutter is installed at a position where the light passing through the optical element 101a passes, and opens the shutter mechanism so that the light passes only during the exposure time at the time of photographing, and intercepts the light at other times Close the shutter mechanism.
  • the imaging element 103a receives an image of light refracted by the optical element 101a, and generates an image according to the intensity of the light.
  • the characteristic storage unit 104a stores information such as transmittance and distortion of the optical element 101a, sensitivity characteristics of the image sensor 103a, information such as noise and the number of defective pixels, and information such as sensitivity characteristics of the imaging unit 100a and noise. There is.
  • distortion information of the optical element 101a there are a distortion coefficient of the lens in the radial direction and a distortion coefficient of the lens in the tangential direction.
  • the information of the sensitivity characteristic of the imaging element 103a includes a dynamic range, a uniform light, and a luminance value of an image when the object is photographed.
  • noise information of the image pickup device 103a As noise information of the image pickup device 103a, SN ratio, standard deviation (variation) of luminance value of image when uniform light or object is photographed, shot noise of light of predetermined intensity, dark current noise, readout noise, And fixed pattern noise of light of a predetermined intensity.
  • the dynamic range of the imaging device 103a that received the light passing through the optical device 101a as information on the sensitivity characteristics of the imaging unit 100a, and the light passing through the optical device 101a when shooting a uniform light or an object There are brightness values of the image of the imaging element 103a and the like.
  • the SN ratio of the imaging device 103a that received the light passing through the optical device 101a, the imaging device 103a that received the light passing through the optical device 101a when shooting a uniform light or an object The standard deviation (variance) of the luminance value of the image, the shot noise of the imaging element 103a that received the light that passed through the optical element 101a when the light of a predetermined intensity was incident, the imaging that received the light that passed through the optical element 101a
  • An imaging unit 100b such as a camera includes an optical element (second optical element) 101b, a shutter means (second shutter means) 102b, an imaging element (second imaging element) 103b, and a characteristic storage means 104b. There is.
  • the design values of the focal lengths of the imaging unit 100a and the imaging unit 100b are the same.
  • the directions of the optical axes of the imaging unit 100a and the imaging unit 100b are substantially the same.
  • An optical element 101b such as a lens refracts light to form an image on an imaging element.
  • the shutter means 102b such as a shutter is installed at a position where the light passing through the optical element 101b passes, and opens the shutter mechanism so that the light passes only during the exposure time at the time of photographing, and intercepts the light at other times Close the shutter mechanism.
  • An imaging element 103b such as an imaging element receives an image of light refracted by the optical element 101b, and generates an image according to the intensity of the light.
  • the characteristic storage unit 104b stores information such as transmittance and distortion of the optical element 101b, sensitivity characteristics of the image sensor 103b, information such as noise and the number of defective pixels, and information such as sensitivity characteristics of the imaging unit 100b and noise. There is.
  • distortion information of the optical element 101b there are a distortion coefficient of a lens in the radial direction and a distortion coefficient of a lens in the tangential direction.
  • Information on the sensitivity characteristic of the image sensor 103b includes a dynamic range, a uniform light, and a luminance value of an image when an object is photographed.
  • noise information of the image sensor 103b As noise information of the image sensor 103b, SN ratio, standard deviation (variation) of luminance value of image when uniform light or object is photographed, shot noise of light of predetermined intensity, dark current noise, readout noise, And fixed pattern noise of light of a predetermined intensity.
  • the dynamic range of the image sensor 103b receiving the light passing through the optical element 101b as information on the sensitivity characteristic of the imaging unit 100b, and the light passing through the optical element 101b when photographing a uniform light or an object There are brightness values of the image of the imaging element 103b and the like.
  • the SN ratio of the imaging device 103b that has received the light that has passed through the optical device 101b, the imaging device 103b that receives the light that has passed through the optical device 101b when shooting a uniform light or an object The standard deviation (variance) of the luminance value of the image, the shot noise of the image sensor 103b that received the light that passed through the optical element 101b when light of a predetermined intensity was incident, the image that received the light that passed through the optical element 101b
  • the imaging unit 100a and the imaging unit 100b are the optical element 101a and the optical element 101b that satisfy one of the following items 1-1 to 1-7 set in advance, or the imaging element 103a and the imaging element 103b. have.
  • it is configured to satisfy the item a which is a predetermined condition.
  • Item 1-1 The transmittance of the optical element 101a is higher than that of the optical element 101b.
  • Item 1-2 The distortion of the optical element 101a is smaller than that of the optical element 101b.
  • Item 1-3 The sensitivity characteristic of the imaging element 103a is larger than that of the imaging element 103b.
  • Item 1-4 The noise of the imaging element 103a is smaller than that of the imaging element 103b.
  • Item 1-5 The number of defective pixels of the image sensor 103a is smaller than that of the image sensor 103b.
  • Item 1-6 The sensitivity characteristic of the imaging unit 100a is larger than that of the imaging unit 100b.
  • Item 1-7 The noise of the imaging unit 100a is smaller than that of the imaging unit 100b.
  • An arithmetic unit 110 including a CPU (central processing unit) and a memory, etc. includes a reference image storage unit 111, a comparison image storage unit 112, a processed image storage unit 113, a luminance correction information storage unit 114, and a geometric correction.
  • the reference image storage unit 111 such as a memory or a hard disk stores the image captured by the imaging unit 100a. In the parallax calculation, since the template image is cut out from the image stored in the reference image storage unit 111, this image is a reference image.
  • the comparison image storage unit 112 such as a memory or a hard disk stores the image captured by the imaging unit 100 b. In the parallax calculation, the image stored in the comparison image storage unit 112 is searched with the template image, so this image is a comparison image.
  • a processed image storage unit 113 such as a memory or a hard disk stores the image processed and generated by the calculation unit 110.
  • a luminance correction information storage unit 114 such as a memory or a hard disk stores the correction coefficient of the luminance of each pixel in the images (reference image and comparison image) of the imaging unit 100a and the imaging unit 100b.
  • the correction coefficient is a value such that the brightness of the image when shooting a uniform light or an object is the same over the entire image.
  • a geometric correction information storage unit 115 such as a memory or a hard disk stores the geometric correction amount of each pixel in the images (reference image and comparison image) of the imaging unit 100a and the imaging unit 100b.
  • the correction amount is a value to be corrected to an image when the distortion of the optical element 101a and the optical element 101b, the error of the focal length of the imaging unit 100a and the imaging unit 100b, the error of the optical axis position on the image and the mounting error are zero. It is.
  • the synchronization signal transmitting means 116 generates and transmits a synchronization signal.
  • the reference image capture unit 117a sends a signal to open the shutter to the shutter unit 102a in accordance with the synchronization signal of the synchronization signal transmission unit 116, and acquires an image generated by the imaging element 103a.
  • the comparison image capturing means 117b sends a signal to open the shutter to the shutter means 102b in accordance with the synchronization signal of the synchronization signal transmitting means 116, and acquires an image generated by the imaging element 103b.
  • the luminance correction unit 118 reads the correction coefficient of the luminance of each pixel from the luminance correction information storage unit 114, and corrects the luminance of the reference image and the comparison image.
  • the geometric correction means 119 reads the geometric two-dimensional correction amount of each pixel from the geometric correction information storage means 115, geometrically corrects the reference image and the comparison image, and corrects the shape of the image to be photographed.
  • the disparity calculating unit 120 searches the area on the comparison image corresponding to the area (template image) of a predetermined size extracted from the reference image. The difference between the position of the area on the comparison image that matches the template image and the position of the template image on the reference image, that is, the parallax is calculated. The parallax image is calculated by calculating the parallax for each pixel.
  • the distance calculating unit 121 is based on the parallax calculated by the parallax calculating unit 120, the focal distance (baseline length) of the imaging unit 100a and the imaging unit 100b, and the optical axis direction of the imaging unit 100a and the imaging unit 100b. The distance from the imaging device to the object on the image is calculated. A distance image is calculated by calculating the distance for each pixel.
  • the recognition unit 122 uses the reference image and the distance image to recognize the position of the object appearing on the reference image and the object on the reference image, and the three-dimensional relative position and relative velocity of the object to the imaging device. calculate.
  • the three-dimensional relative position coordinate system with respect to the imaging device has an x coordinate in the right direction with respect to the imaging unit 100a and the imaging unit 100b, with the midpoint between focal points of the imaging unit 100a and the imaging unit 100b as an origin. Y coordinate, z coordinate in the optical axis direction.
  • the time before the collision is calculated to determine whether or not the collision occurs within a predetermined time.
  • the relative position between the imaging device and the object, the relative velocity, the collision determination result, and the collision time are sent to the screen sound output unit 130 and the control unit 140.
  • the characteristic input / output unit 123 is information such as transmittance and distortion of the optical element 101a and the optical element 101b stored in the characteristic storage unit 104a and the characteristic storage unit 104b, or the sensitivity characteristic of the imaging element 103a and the imaging element 103b. Information such as the number of noise and pixel defects, sensitivity characteristics of the imaging unit 100a and the imaging unit 100b, and information such as noise are acquired and output to the outside of the imaging apparatus.
  • the screen sound output unit 130 such as a monitor and a speaker displays a reference image, a parallax image, and a distance image on the screen. Also, a frame or marker is displayed at the position of the object. At this time, it is assumed that the color of the frame or marker of the object, which is the determination that the collision determination result from the recognition means 122 collides, is different from the object that does not collide. When there is an object that is a determination that the collision determination result from the recognition means 122 is a collision, a warning sound is output.
  • the control unit 140 such as a CPU generates a control signal based on the relative position between the imaging device and the object, the relative velocity, the collision time and the collision determination result, and outputs the control signal to the outside of the imaging device.
  • Step 201 The synchronization signal transmission unit 116 generates a synchronization signal and sends it to the reference image capture unit 117a and the comparison image capture unit 117b.
  • the reference image acquisition unit 117a Immediately after receiving the synchronization signal from the synchronization signal transmission unit 116, the reference image acquisition unit 117a sends information on the shutter open / close signal and the exposure time to the shutter unit 102a.
  • the shutter means 102a opens the shutter mechanism for the exposure time and then closes it.
  • the imaging element 103a receives an image of light refracted by the optical element 101a, generates an image according to the intensity of the light, and sends the image to the reference image capturing means 117a.
  • the reference image capture unit 117 a receives an image from the image sensor 103 a and stores the image in the reference image storage unit 111.
  • the comparison image taking means 117b Immediately after receiving the synchronization signal from the synchronization signal transmitting means 116, the comparison image taking means 117b sends information on the shutter open / close signal and the exposure time to the shutter means 102b. Immediately after receiving the shutter open / close signal and the information of the exposure time from the comparison image capturing means 117b, the shutter means 102b opens the shutter mechanism for the exposure time and then closes it.
  • the imaging element 103b receives an image of light refracted by the optical element 101b, generates an image according to the intensity of the light, and sends the image to the comparison image capturing means 117b.
  • the comparison image capture unit 117 b receives an image from the imaging element 103 b and stores the image in the comparison image storage unit 112.
  • Step 202 The luminance correction unit 118 reads the correction coefficient of each pixel in the image of the image pickup element 103a and the image pickup element 103b from the luminance correction information storage unit 114, and the reference image and reference image storage unit 112 and 112 respectively Load the comparison image.
  • the luminance value of the reference image is corrected by multiplying the luminance value of each pixel of the reference image by the correction coefficient of each pixel in the image of the imaging device on the reference image side.
  • the luminance value of the comparison image is corrected by multiplying the luminance value of each pixel of the comparison image by the correction coefficient of each pixel in the image of the imaging device on the comparison image side.
  • the corrected reference image and the comparison image are stored in the reference image storage unit 111 and the comparison image storage unit 112, respectively.
  • Step 203 The geometry correction means 119 reads the two-dimensional correction amount of the geometry of each pixel in the image of the imaging element 103a and the imaging element 103b from the geometry correction information storage means 115, and from the reference image storage means 111 and the comparison image storage means 112.
  • the reference image and the comparison image are read respectively.
  • the position on the reference image is calculated by changing the two-dimensional correction amount from each pixel of the reference image, and the luminance value of the position is calculated by interpolation calculation from the luminance values of the pixels around the position. This calculation is performed for all pixels on the reference image.
  • the position on the comparison image is calculated by changing the two-dimensional correction amount from each pixel of the comparison image, and the luminance value of the position is calculated by interpolation calculation from the luminance values of the pixels around the position. This calculation is performed for all pixels on the comparison image.
  • the corrected reference image and the comparison image are stored in the reference image storage unit 111 and the comparison image storage unit 112, respectively.
  • Step 204 The disparity calculating means 120 extracts an image 303 (template image) of a region of a predetermined size on the reference image 301, as shown in FIG.
  • region where the same target object as the template image 303 is reflected on the comparison image 302 is searched by the following template matching.
  • the absolute value of the difference between the luminance value of the template image 303 on the reference image 301 and the luminance value of the image 304 on the comparison image 302 of the predetermined size is extracted by extracting the image 304 on the comparison image 302 of the predetermined size.
  • Step 205 The distance calculation means 121 reads parallax images from the processed image storage means 113.
  • the value obtained by multiplying the distance between the focal points of the imaging unit 100a and the imaging unit 100b and the focal distance is divided by the parallax of each area calculated in step 4 and is reflected in the image 303 of each area on the reference image
  • the distance between the image and the imaging device in the optical axis direction is calculated. This process is performed on all the regions on the reference image to calculate the distance in the optical axis direction between each image in the entire reference image and the imaging device.
  • the distance image calculated in this manner is stored in the processed image storage unit 113.
  • Step 206 The recognition unit 122 reads a reference image from the reference image storage unit 111 and a distance image from the processed image storage unit 113. Therefore, calculation of the position of the vanishing point on the reference image, determination of an object such as a car or a pedestrian, calculation of the relative position and relative velocity of the object with respect to the imaging device, and collision determination between the object and the imaging device are performed.
  • the recognition unit 122 calculates the position of the vanishing point on the reference image in the following procedure.
  • White lines on both sides of the lane boundary on the reference image are detected to calculate the inclination of the white line on the reference image. Assuming that the white lines on both sides are straight lines, the position on the reference image of the point where the white lines on both sides intersect is calculated by the calculated inclination. This is the position of the vanishing point.
  • the recognition unit 122 detects an object such as a car or a pedestrian according to the following procedure.
  • the distance image an area where pixels having a distance within a predetermined range are connected is determined.
  • the predetermined range a plurality of ranges which are 5 to 10 m, 7.5 to 12.5 m, 10 to 15 m, etc. and which have a width of 5 m and which overlap every 2.5 m are set.
  • the length in the vertical and horizontal directions on the reference image of each area where pixels having a distance within a predetermined range are connected is determined.
  • the three-dimensional longitudinal length of each region is calculated by dividing the length in the vertical direction on the reference image of each region and the distance multiplied by the pixel pitch by the focal length.
  • the three-dimensional horizontal length of each area is calculated by dividing the horizontal length, the distance, and the pixel pitch on the reference image of each area by the focal length.
  • Vv is the height of the vanishing point
  • f is the focal length
  • Hi is the mounting height of the imaging device
  • Lr is the average distance of the area
  • c is the pixel pitch.
  • it is a calculation formula when the assumption that the optical axes of the imaging unit 100a and the imaging unit 100b are substantially horizontal is set.
  • Vg Vv-f x Hi / (Lr x c)
  • the three-dimensional longitudinal and lateral lengths of the region are within the predetermined range of the car, and the vertical position on the reference image of the lower limit of the region, and the ground image of the region calculated by equation 1 If the difference in the vertical position of is within the threshold, it is determined that the object of the area is a car. Similarly, the three-dimensional longitudinal and lateral lengths of the area are within the predetermined range of the pedestrian, and the vertical position of the lower limit of the area on the reference image and the ground of the area calculated by Equation 1 If the difference in the vertical position on the reference image is within the threshold, it is determined that the object in the area is a pedestrian. These processes are performed on all areas to determine whether they are a car or a pedestrian.
  • the relative position (Xo, Yo, Zo) of the object with respect to the imaging device is calculated using Equations 2 to 4 for the area determined to be a car or a pedestrian.
  • (Uo, Vo) is a position on the reference image with respect to the center of the area determined to be a car or a pedestrian.
  • the collision determination between the object and the imaging device is performed in the following procedure.
  • the relative velocity Vz of the object with respect to the imaging device is 0 or more, it is determined that the vehicle or the object in the area determined to be a pedestrian does not collide.
  • the relative position Zo of the object relative to the imaging device calculated in the present process is divided by the absolute value of the relative velocity Vz relative to the imaging device and the collision Calculate the time (collision time).
  • the relative position Xo of the object is added to a value obtained by multiplying the relative velocity Vx of the object relative to the imaging device by the collision time, and the relative position Xo of the object relative to the imaging device at the time of collision is calculated.
  • the recognition unit 122 detects the positions of the four corners on the reference image regarding the area determined to be a car or a pedestrian, the relative position and relative velocity of the object with respect to the imaging device, the collision determination result and the collision time, and the screen sound output unit 130 and the control unit Send to 140.
  • Step 207 The screen sound output unit 130 determines the positions of the four corners on the reference image regarding the area determined to be a car or a pedestrian by the recognition means 122, the relative position and relative velocity of the object to the imaging device, the collision determination result, and the collision time Receive
  • the reference image is read from the reference image storage unit 111.
  • a reference image is displayed on the screen, and an area determined to be a car or a pedestrian is displayed as a frame. Further, the color of the frame of the area, which is the determination result that the collision determination result is a collision, is changed to the color of the frame of the area of the target object of the determination result that it does not collide, and displayed on the screen.
  • a warning sound is output.
  • Step 208 The control unit 140 receives from the recognition means 122 the positions of the four corners on the reference image regarding the area determined to be a car or a pedestrian, the relative position and relative velocity of the object to the imaging device, the collision determination result and the collision time .
  • a control signal for avoiding the collision is generated and output to the outside of the imaging device.
  • the characteristic input / output unit 123 includes the transmittances and distortions of the optical element 101a and the optical element 101b (such as the distortion coefficient of the lens in the radial direction and the distortion coefficient of the lens in the tangential direction) from the characteristic storage unit 104a and the characteristic storage unit 104b, respectively.
  • sensitivity characteristics of the image sensor 103a and the image sensor 103b (uniform light, brightness value and dynamic range of image when shooting an object, etc.), noise (S / N ratio, uniform light, when shooting an object Information such as standard deviation (variation) of luminance value of image, shot noise of light of predetermined intensity, dark current noise, readout noise, fixed pattern noise of light of predetermined intensity, etc., number of defective pixels, etc., imaging Sensitivity characteristics of the unit 100a and the imaging unit 100b (the imaging device 1 receiving the light passing through the optical element 101a and the optical element 101b 3a and the dynamic range of the image sensor 103b, and the brightness value of the image of the image sensor 103a and the image sensor 103b which received the light passing through the optical element 101a and the optical element 101b when photographing a uniform light or object And noise (the SN ratio of the imaging element 103a and the imaging element 103b receiving the light passing through the optical element 101a and the optical element 101b, the light passing through the optical element 101a
  • the imaging units 100a and 100b on the reference image side have items 1-1 to.
  • the optical element 101a and the optical element 101b, or the imaging element 103a and the imaging element 103b which satisfy one item a of 1-7 are included.
  • the quality of the reference image is better than that of the comparison image, and the recognition process of the object is performed using the good quality reference image in step 206.
  • Recognition performance is improved.
  • the imaging device is manufactured without considering the item a, a case in which the item a is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item a, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item a. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to "collide" on the reference image of the screen, and outputs an alarm sound to make the item a Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, As compared with the case where the item a is not satisfied, the recognition performance of the object is improved, so control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • Item 1-1 The transmittance of the optical element 101a on the reference image side is higher than that of the optical element 101b on the comparison image side.
  • Item 1-2 The distortion of the optical element 101a on the reference image side is smaller than that of the optical element 101b on the comparison image side.
  • Item 1-3 The sensitivity characteristic of the image sensor 103a on the reference image side is larger than that of the image sensor 103b on the comparison image side.
  • Item 1-4 The noise of the image sensor 103a on the reference image side is smaller than that of the image sensor 103b on the comparison image side.
  • Item 1-5 The number of defective pixels of the image sensor 103a on the reference image side is smaller than that of the image sensor 103b on the comparison image side.
  • Item 1-6 The sensitivity characteristic of the imaging unit 100a on the reference image side is larger than that of the imaging unit 100b on the comparison image side.
  • Item 1-7 The noise of the imaging unit 100a on the reference image side is smaller than that of the imaging unit 100b on the comparison image side.
  • the characteristic input / output unit 123 compares the optical element 101a and the optical element 101b stored in the characteristic storage unit 104a and the characteristic storage unit 104b.
  • Information such as transmittance and distortion, sensitivity characteristics of the imaging device 103a and the imaging device 103b, information such as noise and the number of defective pixels, sensitivity characteristics of the imaging unit 100a and the imaging unit 100b, and information such as noise are read By outputting them to the outside, it is possible to check those values and check whether one of the above items 1-1 to 1-7 is satisfied.
  • the imaging device of the present invention is not limited to the embodiments described above, and can be variously modified and applied. Below, the modification of the imaging device of this invention is demonstrated.
  • (Modification 1-1) In the embodiment of the imaging apparatus according to the present invention shown in FIG. 1, the imaging unit 100a and the imaging unit 100b select one item b of the items 1-11 to 1-30 which are the following predetermined conditions set in advance. Even if the optical device 101a and the optical device 101b, or the imaging device 103a and the imaging device 103b are satisfied, the quality of the reference image is better than that of the comparison image as compared with the case where the item b is not satisfied. The recognition performance of the object is improved by performing the object recognition process using a high quality reference image.
  • the imaging apparatus is manufactured without considering the item b, a case in which the item b is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item b, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item b. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to be "collision" on the reference image of the screen, and outputs an alarm sound to make the item b Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, Since the recognition performance of the object is improved as compared with the case where the item b is not satisfied, control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • Item 1-11 The transmittance of the optical element 101a is higher than that of the optical element 101b.
  • Item 1-12 The distortion coefficient of the lens in the radial direction of the optical element 101a is smaller than that of the optical element 101b.
  • Item 1-13 The distortion coefficient of the lens in the tangential direction of the optical element 101a is smaller than that of the optical element 101b.
  • Item 1-14 The dynamic range of the imaging element 103a is larger than that of the imaging element 103b.
  • Item 1-15 The luminance value of the uniform light image of the imaging element 103a is larger than that of the imaging element 103b.
  • Item 1-16 The SN ratio of the imaging element 103a is smaller than that of the imaging element 103b.
  • Item 1-17 The standard deviation of the luminance value of the image of uniform light of the imaging element 103a is smaller than that of the imaging element 103b.
  • Item 1-18 Shot noise of light of a predetermined intensity of the imaging device 103a is smaller than that of the imaging device 103b.
  • Item 1-19 The dark current noise of the imaging element 103a is smaller than that of the imaging element 103b.
  • Item 1-20 The readout noise of the image sensor 103a is smaller than that of the image sensor 103b.
  • Item 1-21 The fixed pattern noise of the light of the predetermined intensity of the imaging device 103a is smaller than that of the imaging device 103b.
  • Item 1-22 The number of defective pixels of the image sensor 103a is smaller than that of the image sensor 103b.
  • Item 1-23 The dynamic range of the imaging element 103a receiving the light passing through the optical element 101a is larger than that of the imaging element 103b receiving the light passing through the optical element 101b.
  • Item 1-24 The brightness value of the image of uniform light of the imaging element 103a receiving the light passing through the optical element 101a is larger than that of the imaging element 103b receiving the light passing through the optical element 101b.
  • Item 1-25 The S / N ratio of the imaging element 103a receiving the light passing through the optical element 101a is smaller than that of the imaging element 103b receiving the light passing through the optical element 101b.
  • Item 1-26 The standard deviation of the luminance value of the uniform light image of the image sensor 103a receiving the light passing through the optical element 101a is smaller than that of the image sensor 103b receiving the light passing through the optical element 101b .
  • Item 1-27 The shot noise of the light of the predetermined intensity of the imaging element 103a receiving the light passing through the optical element 101a is smaller than the imaging element 103b receiving the light passing through the optical element 101b.
  • Item 1-28 The dark current noise of the imaging element 103a receiving the light passing through the optical element 101a is smaller than that of the imaging element 103b receiving the light passing through the optical element 101b.
  • Item 1-29 Compared to the imaging element 103b receiving the light passing through the optical element 101b, the readout noise of the imaging element 103a receiving the light passing through the optical element 101a is smaller.
  • Item 1-30 The fixed pattern noise of the light of the predetermined intensity of the imaging device 103a receiving the light passing through the optical device 101a is smaller than that of the imaging device 103b receiving the light passing through the optical device 101b.
  • the characteristic input / output means 123 are the transmittance of the optical element 101a and the optical element 101b in the radial direction respectively from the characteristic storage means 104a and the characteristic storage means 104b.
  • Image pickup device 103a receiving the light passing through the optical element 101a and the optical device 101b when photographing an object, brightness value of an image of the image pickup device 103b, and an image pickup device receiving the light passing through the optical element 101a and the optical device 101b
  • the parallax calculating means 120 calculates the value of SAD, searches for the area on the smallest comparison image, Instead of calculating Z, ZSAD (Zero-mean Sum of Absolute Differences) or SSD (Sum of Squared Differences), ZSSD (Zero-mean Sum of Squared Differences), NCC (Normalized Cross Correlation), ZNCC (Zero-mean
  • the parallax can also be determined by calculating the normalized cross correlation, searching the area on the smallest comparison image, and calculating the parallax.
  • Mode 1-3 In an embodiment of the imaging apparatus according to the present invention shown in FIG.
  • a memory for storing information such as sensitivity characteristics of the imaging element 103a and the imaging element 103b and the number of noise and defective pixels in the imaging element 103a and the imaging element 103b.
  • the characteristic input / output unit 123 is provided with the imaging device characteristic storage unit 105a such as the imaging device characteristic storage unit 105a and the imaging device characteristic storage unit 105b.
  • information such as the sensitivity characteristics of the image sensor 103a and the image sensor 103b, the number of noises and defective pixels, etc., from the image sensor characteristic storage means 105b, and outputting those information to the outside It can be confirmed whether one of 1-3 to 1-5 is satisfied.
  • the characteristic input / output unit 123 is the same as the dynamic range of the image pickup element 103a and the image pickup element 103b from the image pickup element characteristic storage 105a and Brightness value and SN ratio of images when shooting lights and objects, standard deviation (variation) of brightness values of images when shooting uniform lights and objects, shot noise of light of predetermined intensity, dark current Even if information such as noise, readout noise, fixed pattern noise of light of a predetermined intensity, and the number of defective pixels are read out and the information is output to the outside, the values thereof can be viewed to check items 1-14 to 1-. You can check if one of the 22 is satisfied.
  • the characteristic storage means 104a and the characteristic storage means 104b are provided in the calculation unit 110 instead of the imaging unit 100a and the imaging unit 100b, and the imaging according to the invention shown in FIG.
  • information such as transmittance and distortion of the optical element 101a and the optical element 101b stored in the characteristic storage means 104a and the characteristic storage means 104b by the characteristic input / output means 123, the imaging element 103a
  • information such as sensitivity characteristics of the imaging element 103b, noise and the number of defective pixels, sensitivity characteristics of the imaging unit 100a and the imaging unit 100b, and noise, etc.
  • the characteristic input / output means 123 are the transmittance of the optical element 101a and the optical element 101b in the radial direction from the characteristic storage means 104a and Distortion factor and distortion factor of lens in tangential direction, dynamic range of image sensor 103a and image sensor 103b, brightness value of image when shooting uniform light or object, SN ratio, uniform light or object photographed Standard deviation (variation) of luminance value of image, shot noise of light of predetermined intensity, dark current noise, readout noise, fixed pattern noise of light of predetermined intensity and number of defective pixels, optical element 101a and optical element Dynamic range of the image sensor 103a and the image sensor 103b which received the light passing through 101b, uniform light and pairs The brightness value of the image of the image pickup element 103a and the image pickup element 103b which received the light which passed through the optical element 101a and the optical element 101b when the object was photographed, and the image pickup element 103a which received the light which passed the optical
  • step 207 of the operation procedure (FIG. 2) of the embodiment of the imaging apparatus according to the present invention shown in FIG. 1 the screen audio output unit 130 displays a parallax image or a distance image instead of the reference image on the screen. Even when a frame of a predetermined color is displayed on the object determined to be “collision”, the user can be notified of the object in collision.
  • Mode 1-6 In one embodiment of the imaging apparatus of the present invention shown in FIG. 1, not only two imaging units but three or more are provided, and the operation procedure shown in FIG. 2 is a combination of two imaging units. carry out.
  • the imaging unit on the reference image side is preset in the two-by-two combination of the plurality of imaging units. It has an optical element or an imaging element which satisfies one of the items a) to 1) -1-7.
  • the quality of the reference image is better than that of the comparison image, and the recognition process of the object is performed using the good quality reference image in step 206. Recognition performance is improved.
  • the imaging device is manufactured without considering the item a, a case in which the item a is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item a, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item a. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to "collide" on the reference image of the screen, and outputs an alarm sound to make the item a Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, As compared with the case where the item a is not satisfied, the recognition performance of the object is improved, so control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • FIG. 4 shows the configuration of an embodiment of the imaging apparatus of the present invention.
  • One embodiment of the present invention includes an imaging unit 400a, an imaging unit 400b, an arithmetic unit 410, a screen sound output unit 130, and a control unit 140.
  • the screen sound output unit 130 and the control unit 140 are the same as those shown in FIG. 1, and the description thereof will be omitted.
  • An imaging unit 400a such as a camera includes an optical element 101a, a shutter means 102a, and an imaging element 103a.
  • the optical element 101a, the shutter means 102a, and the imaging element 103a are the same as those shown in FIG. 1, and the description thereof will be omitted.
  • An imaging unit 400b such as a camera includes an optical element 101b, a shutter means 102b, and an imaging element 103b.
  • the optical element 101b, the shutter means 102b, and the imaging element 103b are the same as those shown in FIG. 1, and the description thereof will be omitted.
  • An arithmetic unit 410 including a CPU (central processing unit), a memory, and the like includes a reference image storage unit 111, a comparison image storage unit 112, a processed image storage unit 113, a characteristic storage unit 404, and a luminance correction information storage.
  • the calculation means 121, the recognition means 122, and the characteristic input / output means 423 are provided.
  • the means 120, the distance calculation means 121, and the recognition means 122 are the same as those shown in FIG. 1, and the description thereof will be omitted.
  • a characteristic storage unit 404 such as a memory or a hard disk includes information such as transmittance and distortion of the optical element 101a and the optical element 101b, sensitivity characteristics of the imaging element 103a and the imaging element 103b, information such as the number of noise and defective pixels, Information such as sensitivity characteristics and noise of the imaging unit 400 a and the imaging unit 400 b is stored.
  • distortion information of the optical element 101a and the optical element 101b there are a distortion coefficient of a lens in the radial direction and a distortion coefficient of a lens in the tangential direction.
  • As information on sensitivity characteristics of the imaging element 103a and the imaging element 103b there are a dynamic range, a uniform light, a luminance value of an image when an object is photographed, and the like.
  • noise information of the imaging element 103a and the imaging element 103b As noise information of the imaging element 103a and the imaging element 103b, SN ratio, standard deviation (variation) of luminance value of an image when photographing a uniform light or an object, shot noise of light of predetermined intensity, dark current noise , Read out noise, fixed pattern noise of light of predetermined intensity, and the like.
  • the dynamic range of the imaging device 103a and the imaging device 103b which received the light passing through the optical element 101a and the optical device 101b, and the uniform light and the object were photographed. There are brightness values of the image of the imaging device 103a and the imaging device 103b that received the light that has passed through the optical device 101a and the optical device 101b.
  • the noise information of the imaging unit 400a and the imaging unit 400b the SN ratio of the imaging device 103a and the imaging device 103b receiving the light passing through the optical element 101a and the optical device 101b, the optical when uniform light and an object are photographed
  • the standard deviation (variance) of the luminance value of the image of the image pickup element 103a and the image pickup element 103b which has received the light passing through the element 101a and the optical element 101b, the light of a predetermined intensity is incident on the optical element 101a and the optical element 101b Shot noise of the imaging element 103a and the imaging element 103b that received the light that passed through, dark current noise of the imaging element 103a and the imaging element 103b that received the light that passed the optical element 101a and the optical element 101b, the optical element 101a and the optical element 101b Image sensor 103a and the image sensor 1 that have received the light that has passed through 3b readout noise, and, the like fixed pattern noise of the optical element 101a and the image pickup device 103a and the image pickup device
  • the image capturing means 417a sends a signal to open the shutter to the shutter means 102a in accordance with the synchronization signal of the synchronization signal transmitting means 116, and acquires an image generated by the imaging element 103a.
  • the image capturing unit 417b sends a signal to open the shutter to the shutter unit 102b in accordance with the synchronization signal of the synchronization signal transmitting unit 116, and acquires an image generated by the imaging element 103b.
  • the reference image selection unit 424 receives information such as transmittance and distortion of the optical element 101a and the optical element 101b from the characteristic storage unit 404, sensitivity characteristics of the imaging element 103a and the imaging element 103b, information such as the number of noise and defective pixels, Information such as sensitivity characteristics and noise of the unit 400a and the imaging unit 400b is read.
  • the image capture unit 417a and the image capture unit 417b receive the captured images. An image of an optical element or an imaging element satisfying one of the items c of items 2-1 to 2-7, which are the following predetermined conditions set in advance, is used as a reference image, and the other image is used as a comparison image. Do.
  • the reference image is stored in the reference image storage unit 111, and the comparison image is stored in the comparison image storage unit 112.
  • Item 2-1 The transmittance of the optical element is high.
  • Item 2-2 The distortion of the optical element is small.
  • Item 2-3 The sensitivity characteristic of the imaging device is large.
  • Item 2-4 The noise of the imaging device is small.
  • Item 2-5 The number of defective pixels of the imaging device is small.
  • Item 2-6 The sensitivity characteristic of the imaging unit is large.
  • Item 2-7 The noise of the imaging unit is small.
  • the characteristic input / output means 423 is information such as transmittance and distortion of the optical element 101a and the optical element 101b stored in the characteristic storage means 404, or sensitivity characteristics of the imaging element 103a and the imaging element 103b, noise and pixel defects. Information such as the number, sensitivity characteristics of the imaging unit 400a and the imaging unit 400b, and information such as noise are acquired and output to the outside of the imaging apparatus.
  • Step 501 The reference image selection means 424 receives information such as transmittance and distortion of the optical element 101a and the optical element 101b from the characteristic storage means 404, sensitivity characteristics of the image sensor 103a and the image sensor 103b, and the number of noise and defective pixels. Information, information such as sensitivity characteristics and noise of the imaging unit 400a and the imaging unit 400b are read. The image capture unit 417a and the image capture unit 417b receive the captured images.
  • Step 502 The synchronization signal transmitting unit 116 generates a synchronization signal and sends it to the image capturing unit 417a and the image capturing unit 417b.
  • the image acquiring unit 417a Immediately after receiving the synchronization signal from the synchronization signal transmitting unit 116, the image acquiring unit 417a sends information on the shutter open / close signal and the exposure time to the shutter unit 102a.
  • the shutter means 102a opens the shutter mechanism for the exposure time and then closes it.
  • the imaging element 103a receives an image of light refracted by the optical element 101a, generates an image according to the intensity of the light, and sends the image to the image capturing unit 417a.
  • the image capture unit 417 a receives an image from the imaging element 103 a and sends the image to the reference image selection unit 424.
  • the image acquisition unit 417b Immediately after receiving the synchronization signal from the synchronization signal transmission unit 116, the image acquisition unit 417b sends information on the shutter open / close signal and the exposure time to the shutter unit 102b. Immediately after receiving the shutter open / close signal and the information of the exposure time from the image capture means 417b, the shutter means 102b opens the shutter mechanism for the exposure time and then closes it.
  • the imaging element 103b receives an image of light refracted by the optical element 101b, generates an image according to the intensity of the light, and sends the image to the image capturing unit 417b.
  • the image capture unit 417 b receives an image from the image sensor 103 b and sends the image to the reference image selection unit 424.
  • Step 503 The reference image selection means 424 receives an image from the image reception means 417a and the image reception means 417b, respectively.
  • the image of the imaging unit on the reference image side determined in step 501 is used as a reference image, and the other image is used as a comparison image.
  • the reference image is stored in the reference image storage unit 111, and the comparison image is stored in the comparison image storage unit 112.
  • the characteristic input / output unit 423 includes information such as the transmittance and distortion of the optical element 101a and the optical element 101b (the distortion coefficient of the lens in the radial direction and the distortion coefficient of the lens in the tangential direction) from the characteristic storage unit 404; And sensitivity characteristics of the image sensor 103b (dynamic range and brightness values of uniform light and images when shooting an object, etc.), noise (S / N ratio, brightness of images when shooting a uniform light and an object) Information such as standard deviation (variation) of values, shot noise of light of predetermined intensity, dark current noise, readout noise, fixed pattern noise of light of predetermined intensity, number of defective pixels, etc., imaging unit 400a and imaging Sensitivity characteristics of the unit 400 b (the image sensor 103 a and the image sensor 103 b that have received the light that has passed through the optical element 101 a and the optical element 101 b Dynamic range, uniform brightness, brightness values of the image of the image sensor 103a and the image sensor 103b that received light passing through the optical element 101
  • Information such as an imaging element 103a and a fixed pattern noise of the imaging element 103b that has received the light that has passed through the optical element 101b is read, and the information is output to the outside of the imaging apparatus.
  • the reference image selection means 424 selects the previously mentioned items 2-1 to 2-7.
  • the optical element satisfying one of the items c or the imaging part on the imaging element side is determined as the imaging part on the reference image side, and in step 503, the reference image selecting unit 424 determines the reference image side determined in step 501.
  • the quality of the reference image is better than that of the comparison image compared with the case where the item c is not satisfied. Since the recognition process of the object is performed using the image, the recognition performance of the object is improved.
  • the imaging device is manufactured without considering the item c, a case in which the item c is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item c, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item c. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to be "collision" on the reference image of the screen, and outputs an alarm sound, whereby the item c is displayed. Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, Since the recognition performance of the object is improved as compared with the case where the item c is not satisfied, control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • Information such as the sensitivity characteristics of the imaging device 103a and the imaging device 103b, information such as noise and the number of defective pixels, sensitivity characteristics and noise of the imaging unit 400a and the imaging unit 400b, and outputting the information to the outside of the imaging device.
  • those values can be checked to see if at least one of the above items 2-1 to 2-7 is satisfied.
  • the imaging device of the present invention is not limited to the embodiments described above, and can be variously modified and applied. Below, the modification of the imaging device of this invention is demonstrated.
  • the reference image selecting means 424 is an item having the following predetermined conditions set in advance instead of the items 2-1 to 2-7 described above.
  • the recognition performance of the object is improved.
  • the imaging device is manufactured without considering the item d, a case where the item d is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item d, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item d. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to be "collision" on the reference image of the screen, and outputs an alarm sound to display item d. Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, As compared with the case where the item d is not satisfied, the recognition performance of the object is improved, so control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • Item 2-11 The transmittance of the optical element is high.
  • Item 2-12 The distortion coefficient of the lens in the radial direction of the optical element is small.
  • Item 2-13 The distortion coefficient of the lens in the tangential direction of the optical element is small.
  • Item 2-14 The dynamic range of the imaging device is large.
  • Item 2-15 The luminance value of the uniform light image of the imaging device is large.
  • Item 2-16 The SN ratio of the imaging device is small.
  • Item 2-17 The standard deviation of the luminance value of the uniform light image of the imaging device is small.
  • Item 2-18 Shot noise of light of predetermined intensity of the imaging device is small.
  • Item 2-19 The dark current noise of the imaging device is small.
  • Item 2-20 The readout noise of the imaging device is small.
  • Item 2-21 Fixed pattern noise of light of a predetermined intensity of the imaging device is small.
  • Item 2-22 The number of defective pixels in the imaging device is small.
  • Item 2-23 The dynamic range of the image pickup device that has received the light that has passed through the optical device is large.
  • Item 2-24 The luminance value of the uniform light image of the image pickup device which has received the light passed through the optical element is large.
  • Item 2-25 The S / N ratio of the image pickup device which has received the light passing through the optical device is small.
  • Item 2-26 The standard deviation of the luminance value of the uniform light image of the image pickup device which has received the light transmitted through the optical element is small.
  • Item 2-27 Shot noise of light of a predetermined intensity of the image pickup element which has received the light transmitted through the optical element is small.
  • Item 2-28 Dark current noise of the image pickup device which receives the light passing through the optical device is small.
  • Item 2-29 The readout noise of the image pickup device which has received the light passing through the optical device is small.
  • Item 2-30 The fixed pattern noise of the light of the predetermined intensity of the image pickup device which has received the light transmitted through the optical element is small.
  • the characteristic input / output means 423 comprises the characteristic storage means 404, the transmittance of the optical element 101a and the optical element 101b, the distortion coefficient of the lens in the radial direction and Distortion coefficient of the lens in the direction, the dynamic range of the image sensor 103a and the image sensor 103b, the brightness value of the image when shooting a uniform light or object, the SN ratio of the image when shooting a uniform light or object Standard deviation (variance) of luminance value, shot noise of light of predetermined intensity, dark current noise, readout noise, fixed pattern noise of light of predetermined intensity and number of defective pixels, passed through optical element 101a and optical element 101b Dynamic range of the image pickup element 103a and the image pickup element 103b which received the light, the optical element 1 when the uniform light and the object are photographed 1a and the brightness value of the image of the imaging device 103a and the imaging device 103b that received the light passing through the optical device 101b, the
  • the characteristic input / output means 423 includes the image pickup element 103a and the image pickup element 103b to the sensitivity characteristic of the image pickup element 103a and the image pickup element 103b. Even if the information is read and the information is output to the outside, those values can be checked to confirm whether one of the items 2-3 to 2-5 is satisfied.
  • the characteristic input / output means 423 captures the dynamic range of the imaging element 103a and the imaging element 103b from the imaging element 103a and the imaging element 103b and the uniform light or object.
  • the reference image selection unit 424 detects the sensitivity characteristics of the imaging device 103a and the imaging device 103b read from the imaging device 103a and the imaging device 103b. , And the image pickup unit on the image pickup device side satisfying the item c of one of the items 2-3 to 2-5 set in advance based on the information such as noise and the number of defective pixels, and the image pickup unit on the reference image side As compared with the case where item c is not satisfied, the quality of the reference image is better than the comparison image, and the recognition process of the object is performed using the good quality reference image in step 206, The recognition performance of the object is improved.
  • the imaging device is manufactured without considering the item c, a case in which the item c is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item c, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item c. Variations in object recognition performance can be reduced.
  • the reference image selection means 424 selects the dynamic range of the imaging element 103a and the imaging element 103b read from the imaging element 103a and the imaging element 103b.
  • the imaging unit 400a and the imaging unit 400b are respectively provided with the characteristic storage unit 104a and the characteristic storage unit 104b instead of the characteristic storage unit 404 of the arithmetic unit 410.
  • the characteristic input / output means 423 includes information such as the transmittance and distortion of the optical element 101a and the optical element 101b from the characteristic storage means 104a and 104b; And information such as sensitivity characteristics of the imaging element 103b, noise and the number of defective pixels, sensitivity characteristics of the imaging unit 400a and the imaging unit 400b, and noise, and the like, even if they are output to the outside of the imaging apparatus You can see and see if you meet one of the items 2-1 to 2-7.
  • the characteristic input / output means 423 transmits the transmittances of the optical element 101a and the optical element 101b from the characteristic storage means 104a and 104b, the distortion coefficient of the lens in the radial direction and Distortion factor of lens in tangential direction, dynamic range of image sensor 103a and image sensor 103b, image brightness value when shooting uniform light or object, SN ratio, image when shooting uniform light or object Standard deviation (variance) of luminance value, shot noise of light of predetermined intensity, dark current noise, readout noise, fixed pattern noise of light of predetermined intensity and number of defective pixels, passing through optical element 101a and optical element 101b Dynamic range of the image pickup device 103a and the image pickup device 103b which received the modulated light, and photographing of the uniform light and the object
  • the reference image selection unit 424 reads the optical element 101a and the optical element 101b read from the characteristic storage unit 104a and the characteristic storage unit 104b.
  • the image sensor 103a and the image sensor 103b information such as the number of noise and defective pixels, sensitivity information of the image sensor 400a and image sensor 400b, and information such as noise. Even if the image pickup unit on the image pickup device side satisfying the item c of one of the previously set items 2-1 to 2-7 is determined as the image pickup unit on the reference image side, the case is not compared with the case where the item c is not satisfied.
  • the object recognition performance To improve.
  • the imaging device is manufactured without considering the item c, a case in which the item c is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item c, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item c. Variations in object recognition performance can be reduced.
  • step 501 of the operation procedure (FIG. 5) of the imaging apparatus of the present invention shown in FIG. 4 the reference image selecting unit 424 transmits the transmittances of the optical element 101a and the optical element 101b read from the imaging element 103a and the imaging element 103b.
  • the brightness value of the image of the image pickup element 103a and the image pickup element 103b which received the light passing through the optical element 101a and the optical element 101b when photographing the uniform light and the object, the light which passed the optical element 101a and the optical element 101b Signal-to-noise ratio of the imaging element 103a and the imaging element 103b that received the light, brightness
  • the recognition performance of an object improves.
  • the imaging device is manufactured without considering the item d, a case where the item d is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item d, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item d. Variations in object recognition performance can be reduced.
  • the reference image selection unit 424 transmits a signal “acquire an image when the shutter unit is closed” to the image capture unit 417a and the image capture unit. It is sent to the loading means 417b.
  • the image capturing unit 417a receives an image of light refracted by the optical element 101a in a state where the shutter mechanism of the shutter unit 102a is closed, and the light To generate an image according to the strength of the image, and send the image to the image capturing means 417a.
  • the image capture unit 417 a receives an image from the imaging element 103 a and sends the image to the reference image selection unit 424.
  • the image capturing unit 417b receives an image of light refracted by the optical element 101b in a state where the shutter mechanism of the shutter unit 102b is closed, and the light To generate an image according to the strength of the image and send the image to the image capturing means 417b.
  • the image capture unit 417 b receives an image from the image sensor 103 b and sends the image to the reference image selection unit 424.
  • the reference image selection unit 424 receives an image from the image capture unit 417a and the image capture unit 417b.
  • the image pickup unit on the image side with a small number of defective pixels is the image pickup unit on the reference image side
  • the image pickup unit on the reference image side is determined based on the actual image even if the defective pixels increase due to aging of the image pickup element. Therefore, an image having a small number of defective pixels can be correctly set as a reference image, and a decrease in the performance of recognition using the reference image can be prevented.
  • the imaging device is manufactured without considering the item d that the number of defective pixels is small, a case where the item d is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item d, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item d. Variations in object recognition performance can be reduced. Also, in step 207, the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to be "collision" on the reference image of the screen, and outputs an alarm sound to display item d. Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, As compared with the case where the item d is not satisfied, the recognition performance of the object is improved, so control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • Module 2-5 In the operation procedure of one embodiment of the imaging apparatus of the present invention shown in FIG. 4, steps 601 and 602 are added as shown in FIG. Steps 601 and 602 are described below.
  • Step 601 If the imaging unit on the reference side image side is determined again in step 602, the process proceeds to step 503. If it is not determined again, step 602 follows.
  • Step 602 The reference image selection unit 424 receives an image from the image capture unit 417a and the image capture unit 417b. Each of those images is divided into a plurality of regions. The average of the luminance value of each area of each image is calculated, and when the area where the average of luminance is the largest and the area where the average of the luminance is the same in each image coincide with each other, the following determination is performed. In each image, it is determined that the larger the difference in average luminance between the area with the largest luminance average and the area with the smallest luminance, the larger the dynamic range of the image pickup device that has received the light passing through the optical element. An imaging unit of an image determined to have a large dynamic range of an imaging device that has received light passing through the optical element is determined as an imaging unit on the reference image side.
  • step 602 when the image pickup unit on the reference image side is determined, even if the dynamic range of the image pickup element that received the light passing through the optical element changes due to the aged deterioration of the image pickup element In order to determine the image pickup unit on the reference image side, an image having a large dynamic range of the image pickup device which receives the light passing through the optical element can be correctly set as the reference image, and the deterioration of the recognition performance using the reference image is prevented. it can.
  • the imaging device is manufactured without considering the item d that the dynamic range of the imaging device that receives the light passing through the optical element is large, the case where the item d is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item d, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item d. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to be "collision" on the reference image of the screen, and outputs an alarm sound to display item d. Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, As compared with the case where the item d is not satisfied, the recognition performance of the object is improved, so control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • Module 2-6 In the operation procedure of one embodiment of the imaging apparatus of the present invention shown in FIG. 4, steps 601 and 602 are added as shown in FIG. Steps 601 and 602 are described below.
  • Step 601 If the imaging unit on the reference side image side is determined again in step 602, the process proceeds to step 503. If it is not determined again, step 602 follows.
  • Step 602 The reference image selection unit 424 receives an image from the image capture unit 417a and the image capture unit 417b. Each of those images is divided into a plurality of regions. If the regions with the highest luminance in each image are identical in the two images, the average and standard deviation of the luminance values of these regions are calculated in each image, and if all these values are within the threshold, It is determined that uniform light is incident in the area of and the following processing is performed. It is determined that the larger the average of the luminance values in those regions is, the larger the luminance value of the image of uniform light of the image pickup element that has received the light that has passed through the optical element.
  • the imaging unit of the image determined to have a large luminance value of the uniform light image of the imaging device that has received the light that has passed through the optical element is determined to be the imaging unit on the reference image side.
  • step 602 when it is determined that the image pickup unit on the reference image side is used, even if the brightness value of the uniform light image of the image pickup element that received the light passing through the optical element changes due to aging of the image pickup element. Since the image pickup unit on the reference image side is determined based on the actual image, an image having a large brightness value of the uniform light image of the image pickup device which receives the light passing through the optical element can be correctly set as the reference image. It is possible to prevent the degradation of the performance of recognition using.
  • the imaging device when the imaging device is manufactured without considering the item d that the brightness value of the image of uniform light of the imaging device which receives the light passing through the optical element is large, the case where the item d is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item d, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item d. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to be "collision" on the reference image of the screen, and outputs an alarm sound to display item d. Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, As compared with the case where the item d is not satisfied, the recognition performance of the object is improved, so control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • Module 2--7 In the operation procedure of one embodiment of the imaging apparatus of the present invention shown in FIG. 4, steps 601 and 602 are added as shown in FIG. Steps 601 and 602 are described below.
  • Step 601 If the imaging unit on the reference side image side is determined again in step 602, the process proceeds to step 503. If it is not determined again, step 602 follows.
  • Step 602 The reference image selection unit 424 receives an image from the image capture unit 417a and the image capture unit 417b. Each of those images is divided into a plurality of regions. If the regions with the highest luminance in each image are identical in the two images, the average and standard deviation of the luminance values of these regions are calculated in each image, and if all these values are within the threshold, In the area of (1), it is determined that uniform light is incident, and the following determination is performed. It is determined that the smaller the standard deviation of the luminance value in those areas, the smaller the standard deviation of the luminance value of the image of uniform light of the image pickup element that has received the light that has passed through the optical element.
  • the imaging unit of the image determined to have a small standard deviation of the luminance value of the uniform light image of the imaging device having received the light passing through the optical element is determined as the imaging unit on the reference image side.
  • step 602 when the image pickup unit on the reference image side is determined, the standard deviation of the luminance value of the uniform light image of the image pickup device that received the light passing through the optical element changed due to the aging of the image pickup device.
  • the imaging unit on the reference image side In order to determine the imaging unit on the reference image side based on the actual image as well, an image having a small standard deviation of the luminance value of the uniform light image of the imaging device that has received the light passing through the optical element is correctly determined as the reference image It is possible to prevent the degradation of the performance of recognition using the reference image.
  • the imaging device when the imaging device is manufactured without considering the item d that the standard deviation of the luminance value of the image of the uniform light of the imaging device that receives the light passing through the optical element is small, the case where the item d is not satisfied occurs. . If the imaging device is manufactured so as to satisfy the item d, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item d. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to be "collision" on the reference image of the screen, and outputs an alarm sound to display item d. Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, As compared with the case where the item d is not satisfied, the recognition performance of the object is improved, so control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.
  • Module 2--7 In the embodiment of the imaging apparatus of the present invention shown in FIG. 1, not only two imaging units but three or more are provided, and the operation procedure shown in FIG. 5 or FIG. Implement for the combination of
  • the reference image selecting unit 424 An optical element satisfying the item c of one of the previously set items 2-1 to 2-7, or an imaging unit on the imaging device side is determined as an imaging unit on the reference image side, and step 503 Then, by using the image of the imaging unit on the reference image side determined in step 501 as the reference image and the other image as the comparison image, the reference image selecting unit 424 does not satisfy the item c as a reference. Since the quality of the image is better than that of the comparison image and the recognition process of the object is performed using the good quality reference image in step 206, the recognition performance of the object is improved.
  • the imaging device is manufactured without considering the item c, a case in which the item c is not satisfied occurs. If the imaging device is manufactured so as to satisfy the item c, the recognition performance of the object in this case is improved in this case as compared to the imaging device manufactured without considering the item c. Variations in object recognition performance can be reduced.
  • the screen sound output unit 130 displays a frame of a predetermined color on the target object determined to be "collision" on the reference image of the screen, and outputs an alarm sound, whereby the item c is displayed. Since the recognition performance of the object is improved as compared with the case where the object is not satisfied, it is possible to notify the user of the object which collides more reliably earlier.
  • step 208 when there is an object determined as “collision” on the reference image of the screen, the control unit generates a control signal for avoiding the collision and outputs the control signal to the outside of the imaging apparatus, Since the recognition performance of the object is improved as compared with the case where the item c is not satisfied, control is performed to more surely avoid the object at an earlier stage, and the collision probability can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　認識性能を向上させるとともに、個体ごとの認識性能のばらつきを低減する撮像装置を提供するために、第１の光学素子を通過した光を受光して、光の強度に応じた輝度値を有して、基準画像として処理される画像を出力する第１の撮像素子と、第２の光学素子を通過した光を受光して、光の強度に応じた輝度値を有して、基準画像として処理される画像を出力する第２の撮像素子と、基準画像と比較画像に基づいて距離画像を算出する距離算出手段と、距離算出手段で算出された距離画像に基づいて対象物を認識する認識手段と、を有し、光学素子又は撮像素子は、第１光学素子の透過率が第２の光学素子に比べて高い、第１の光学素子の歪が第２の光学素子に比べて小さい、第１の撮像素子の感度特性が第２の撮像素子に比べて高い、第１の撮像素子のノイズが第２の撮像素子に比べて小さい、の少なくとも１つを満足する撮像装置とする。

Description

撮像装置
　本発明は、複数の撮像画像から距離画像を算出する撮像装置に関する。
　従来、特許文献１のように、距離画像算出における被探索画像（比較画像）側の撮像素子に比べて、テンプレート画像（基準画像）側の撮像素子に長波長側の感度を有するものを備え、焦点距離情報や収差情報などと、波長成分の関係を規定する関数を用いて、対象物の三次元情報を算出し、広い波長帯域における波長ごとの焦点距離や収差特性などの変動に起因する三次元測定精度の悪化を防いでいた。
国際公開第２０１１／０８３６６９号公報
　撮像素子には、個体ごとに感度特性、ノイズや欠陥画素などにばらつきがある。また、レンズには、個体ごとに透過率や歪などにばらつきがある。このため、特許文献１では、撮像素子及びレンズの性能のばらつきにより、認識処理に用いる画像の品質がばらつき、撮像装置の個体ごとに認識性能にばらつきが発生する。
　以上から本発明は、認識性能を向上させるとともに、個体ごとの認識性能のばらつきを低減する撮像装置を提供することを目的とする。
　上記課題を解決するために、本発明の撮像装置は、第１の光学素子と、第１の光学素子を通過した光を受光して、光の強度に応じた輝度値を有して、基準画像として処理される画像を出力する第１の撮像素子と、第２の光学素子と、第２の光学素子を通過した光を受光して、光の強度に応じた輝度値を有して、基準画像として処理される画像を出力する第２の撮像素子と、基準画像と比較画像に基づいて距離画像を算出する距離算出手段と、距離画像に基づいて対象物を認識する認識手段と、を有し、第１の光学素子及び第２の光学素子、又は第１の撮像素子及び第２の撮像素子は、第１光学素子の透過率が第２の光学素子に比べて高い、第１の光学素子の歪が第２の光学素子に比べて小さい、第１の撮像素子の感度特性が第２の撮像素子に比べて高い、第１の撮像素子のノイズが第２の撮像素子に比べて小さい、第１の撮像素子の欠陥画素の数が第２の撮像素子に比べて少ない、第１の光学素子を通過した光を受けた第１の撮像素子の感度特性が第２の光学素子を通過した光を受けた第２の撮像素子に比べて高い、第１の光学素子を通過した光を受けた第１の撮像素子のノイズが第２の光学素子を通過した光を受けた第２の撮像素子に比べて小さい、の少なくとも１つを満足する構成とする。
　また、第１の光学素子と、第１の光学素子を通過した光を受光して、光の強度に応じた輝度値を有した第１の画像を出力する第１の撮像素子と、第２の光学素子と、第２の光学素子を通過した光を受光して、光の強度に応じた輝度値を有した第２の画像を出力する第２の撮像素子と、第１の画像と第２の画像に対して所定条件を満たす一方の画像を基準画像として、他方の画像を比較画像とする基準画像選定手段と、基準画像と比較画像に基づいて距離画像を算出する距離算出手段と、距離算出手段で算出された距離画像に基づいて対象物を認識する認識手段と、を有し、基準画像選定手段の所定条件は、第１の光学素子と第２の光学素子の透過率を比べて大きい方の画像、第１の光学素子と第２の光学素子の歪を比べて小さい方の画像、第１の撮像素子と第２の撮像素子の感度特性を比べて大きい方の画像、第１の撮像素子と第２の撮像素子のノイズを比べて小さい方の画像、第１の撮像素子と第２の撮像素子の画素欠陥の数を比べて少ない方の画像、第１の光学素子を通過した光を受けた第１の撮像素子と第２の光学素子を通過した光を受けた第２の撮像素子の感度特性を比べて高い方の画像、第１の光学素子を通過した光を受けた第１の撮像素子と第２の光学素子を通過した光を受けた第２の撮像素子のノイズを比べて小さい方の画像、のいずれかである構成とする。
　また、第１の光学素子と、第１の光学素子を通過した光を受光して、光の強度に応じた輝度値を有した第１の画像を出力する第１の撮像素子と、第２の光学素子と、第２の光学素子を通過した光を受光して、光の強度に応じた輝度値を有した第２の画像を出力する第２の撮像素子と、第１の光学手段及び第２の光学手段の歪、第１の撮像手段と第２の撮像手段の感度特性、ノイズ、欠陥画素の数、第１の光学手段を通過した光を受けた第１の撮像手段及び第２の光学手段を通過した光を受けた第２の撮像手段の感度特性、ノイズ、の少なくとも１つの特性情報が記憶された特性記憶手段と、特性記憶手段に記憶された特性情報に基づいて、所定条件を満たす一方の画像を基準画像として、他方の画像を比較画像とする基準画像選定手段と、基準画像と比較画像に基づいて距離画像を算出する距離算出手段と、距離算出手段で算出された距離画像に基づいて対象物を認識する認識手段と、を有し、基準画像選定手段の所定条件は、第１の光学素子と第２の光学素子の透過率を比べて大きい方の画像、第１の光学素子と第２の光学素子の歪を比べて小さい方の画像、第１の撮像素子と第２の撮像素子の感度特性を比べて大きい方の画像、第１の撮像素子と第２の撮像素子のノイズを比べて小さい方の画像、第１の撮像素子と第２の撮像素子の画素欠陥の数を比べて少ない方の画像、第１の光学素子を通過した光を受けた第１の撮像素子と第２の光学素子を通過した光を受けた第２の撮像素子の感度特性を比べて高い方の画像、第１の光学素子を通過した光を受けた第１の撮像素子と第２の光学素子を通過した光を受けた第２の撮像素子のノイズを比べて小さい方の画像、のいずれかである構成とする。
　本発明によれば、認識性能を向上させるとともに、個体ごとの認識性能のばらつきを低減する撮像装置を提供できる。
本発明に係る撮像装置の一実施の形態の構成を示す図である。 図１の撮像装置の動作例を示す図である。 本発明の撮像装置の基準画像及び比較画像を示す図である。 本発明に係る撮像装置の他の実施の形態の構成を示す図である。 図４の撮像装置の動作例を示す図である。 図４の撮像装置の他の動作例を示す図である。
　図１に本発明の撮像装置の一実施例の構成を示す。
　本発明の一実施例は、撮像部（第１の撮像部）１００ａ、撮像部（第２の撮像部）１００ｂ、演算部１１０、画面音声出力部１３０、制御部１４０と、を備えている。
　カメラなどの撮像部１００ａは、光学素子（第１の光学素子）１０１ａ、シャッタ手段（第１のシャッタ手段）１０２ａ、撮像素子（第１の撮像素子）１０３ａ、特性記憶手段１０４ａと、を備えている。
　レンズなどの光学素子１０１ａは、光を屈折させて、撮像素子に像を結ぶ。
　シャッタなどのシャッタ手段１０２ａは、光学素子１０１ａを通過した光が通る箇所に設置され、撮影時の露光時間中のみ、その光が通るようにシャッタの機構を開き、それ以外の時は光をさえぎるようにシャッタの機構を閉じる。
　撮像素子１０３ａは、光学素子１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。
　特性記憶手段１０４ａは、光学素子１０１ａの透過率及び歪などの情報、撮像素子１０３ａの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部１００ａの感度特性及びノイズなどの情報を記憶している。光学素子１０１ａの歪の情報として、半径方向のレンズの歪係数及び接線方向のレンズの歪係数などがある。撮像素子１０３ａの感度特性の情報として、ダイナミックレンジ、及び、均一のライトや対象物を撮影したときの画像の輝度値などがある。撮像素子１０３ａのノイズの情報として、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、及び、所定の強度の光の固定パターンノイズなどがある。撮像部１００ａの感度特性の情報として、光学素子１０１ａを通過した光を受光した撮像素子１０３ａのダイナミックレンジ、及び、均一のライトや対象物を撮影したときに光学素子１０１ａを通過した光を受光した撮像素子１０３ａの画像の輝度値などがある。撮像部１００ａのノイズの情報として、光学素子１０１ａを通過した光を受光した撮像素子１０３ａのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａを通過した光を受光した撮像素子１０３ａの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａを通過した光を受光した撮像素子１０３ａのショットノイズ、光学素子１０１ａを通過した光を受光した撮像素子１０３ａの暗電流ノイズ、光学素子１０１ａを通過した光を受光した撮像素子１０３ａの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａを通過した光を受光した撮像素子１０３ａの固定パターンノイズなどがある。
　カメラなどの撮像部１００ｂは、光学素子（第２の光学素子）１０１ｂ、シャッタ手段（第２のシャッタ手段）１０２ｂ、撮像素子（第２の撮像素子）１０３ｂ、特性記憶手段１０４ｂと、を備えている。また、撮像部１００ａと撮像部１００ｂの焦点距離の設計値は同じである。撮像部１００ａと撮像部１００ｂの光軸の方向は、おおむね同じである。
　レンズなどの光学素子１０１ｂは、光を屈折させて、撮像素子に像を結ぶ。
　シャッタなどのシャッタ手段１０２ｂは、光学素子１０１ｂを通過した光が通る箇所に設置され、撮影時の露光時間中のみ、その光が通るようにシャッタの機構を開き、それ以外の時は光をさえぎるようにシャッタの機構を閉じる。
　撮像素子などの撮像素子１０３ｂは、光学素子１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。
　特性記憶手段１０４ｂは、光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部１００ｂの感度特性及びノイズなどの情報を記憶している。光学素子１０１ｂの歪の情報として、半径方向のレンズの歪係数及び接線方向のレンズの歪係数などがある。撮像素子１０３ｂの感度特性の情報として、ダイナミックレンジ、及び、均一のライトや対象物を撮影したときの画像の輝度値などがある。撮像素子１０３ｂのノイズの情報として、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、及び、所定の強度の光の固定パターンノイズなどがある。撮像部１００ｂの感度特性の情報として、光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂのダイナミックレンジ、及び、均一のライトや対象物を撮影したときに光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂの画像の輝度値などがある。撮像部１００ｂのノイズの情報として、光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂのショットノイズ、光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂの固定パターンノイズなどがある。
　撮像部１００ａ及び撮像部１００ｂは、予め設定された下記の項目１－１～１－７のうちのひとつの項目ａを満足する光学素子１０１ａ及び光学素子１０１ｂ、あるいは、撮像素子１０３ａ及び撮像素子１０３ｂを有している。複数の撮像装置を製作する場合、所定条件である項目ａを満足するように構成する。
・項目１－１：光学素子１０１ｂに比べて、光学素子１０１ａの透過率は高い。
・項目１－２：光学素子１０１ｂに比べて、光学素子１０１ａの歪が小さい。
・項目１－３：撮像素子１０３ｂに比べて、撮像素子１０３ａの感度特性が大きい。
・項目１－４：撮像素子１０３ｂに比べて、撮像素子１０３ａのノイズが小さい。
・項目１－５：撮像素子１０３ｂに比べて、撮像素子１０３ａの欠陥画素の数が少ない。
・項目１－６：撮像部１００ｂに比べて、撮像部１００ａの感度特性が大きい。
・項目１－７：撮像部１００ｂに比べて、撮像部１００ａのノイズが小さい。
　ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ、中央演算処理装置）及びメモリなどから構成される演算部１１０は、基準画像記憶手段１１１、比較画像記憶手段１１２、処理画像記憶手段１１３、輝度補正情報記憶手段１１４、幾何補正情報記憶手段１１５、同期信号発信手段１１６、基準画像取込手段１１７ａ、比較画像取込手段１１７ｂ、輝度補正手段１１８、幾何補正手段１１９、視差算出手段１２０、距離算出手段１２１、認識手段１２２、特性入出力手段１２３と、を備えている。
　メモリやハードディスクなどの基準画像記憶手段１１１は、撮像部１００ａで撮影された画像を記憶する。視差算出において、基準画像記憶手段１１１に記憶されている画像からテンプレート画像を切り出されるため、この画像は基準画像である。
　メモリやハードディスクなどの比較画像記憶手段１１２は、撮像部１００ｂで撮影された画像を記憶する。視差算出において、比較画像記憶手段１１２に記憶されている画像をテンプレート画像で探索されるため、この画像は比較画像である。
　メモリやハードディスクなどの処理画像記憶手段１１３は、演算部１１０で処理され、生成された画像を記憶する。
　メモリやハードディスクなどの輝度補正情報記憶手段１１４は、撮像部１００ａ及び撮像部１００ｂの画像（基準画像及び比較画像）における各画素の輝度の補正係数を記憶する。この補正係数は、均一なライトや対象物を撮影したときの画像の輝度が画像全面で同じになる値である。
　メモリやハードディスクなどの幾何補正情報記憶手段１１５は、撮像部１００ａ及び撮像部１００ｂの画像（基準画像及び比較画像）における各画素の幾何の補正量を記憶する。この補正量は、光学素子１０１ａ及び光学素子１０１ｂの歪、撮像部１００ａ及び撮像部１００ｂの焦点距離の誤差、画像上の光軸位置の誤差及び取付誤差が０であるときの画像に補正する値である。
　同期信号発信手段１１６は、同期信号を生成し、発信する。
　基準画像取込手段１１７ａは、同期信号発信手段１１６の同期信号に合わせて、シャッタ手段１０２ａにシャッタを開けるという信号を送るとともに、撮像素子１０３ａが生成する画像を取得する。
　比較画像取込手段１１７ｂは、同期信号発信手段１１６の同期信号に合わせて、シャッタ手段１０２ｂにシャッタを開けるという信号を送るとともに、撮像素子１０３ｂが生成する画像を取得する。
　輝度補正手段１１８は、輝度補正情報記憶手段１１４から各画素の輝度の補正係数を読み込み、基準画像及び比較画像の輝度を補正する。
　幾何補正手段１１９は、幾何補正情報記憶手段１１５から各画素の幾何の２次元補正量を読み込み、基準画像及び比較画像に幾何学的に補正し、写る像の形状を補正する。
　視差算出手段１２０は、基準画像上から抽出した所定のサイズの領域（テンプレート画像）に対応する比較画像上の領域を探索する。テンプレート画像と一致する比較画像上の領域の位置と、基準画像上のテンプレート画像の位置の差すなわち視差を算出する。各画素について視差を算出することにより、視差画像を算出する。
　距離算出手段１２１は、視差算出手段１２０が算出した視差、撮像部１００ａと撮像部１００ｂの焦点の距離（基線長）及び焦点距離をもとに、撮像部１００ａ及び撮像部１００ｂの光軸方向に撮像装置から画像上の対象物までの距離を算出する。各画素について距離を算出することにより、距離画像を算出する。
　認識手段１２２は、基準画像及び距離画像を用いて、基準画像に写っている対象物及び基準画像上の対象物の位置を認識し、撮像装置に対する対象物の３次元の相対位置及び相対速度を算出する。ここで、撮像装置に対する３次元の相対位置座標系は、撮像部１００ａと撮像部１００ｂの焦点間の中点を原点として、撮像部１００ａ及び撮像部１００ｂに対して右方向にｘ座標、上方向にｙ座標、光軸方向にｚ座標をとる。また、撮像装置と対象物の相対位置及び相対速度をもとに衝突までに時間を算出して、所定の時間内に衝突するかどうかを判定する。撮像装置と対象物の相対位置、相対速度、衝突判定結果及び衝突時間を画面音声出力部１３０及び制御部１４０に送る。
　特性入出力手段１２３は、特性記憶手段１０４ａ及び特性記憶手段１０４ｂが記憶している光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、あるいは、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び画素欠陥の数などの情報、撮像部１００ａ及び撮像部１００ｂの感度特性及びノイズなどの情報を取得して、撮像装置の外部に出力する。
　モニタ及びスピーカなどの画面音声出力部１３０は、基準画像、あるいは、視差画像、距離画像を画面に表示する。また、対象物の位置に枠あるいはマーカを表示する。このとき、認識手段１２２からの衝突判定結果が衝突するという判定である対象物の枠あるいはマーカの色を、衝突しない対象物と異なるものとする。認識手段１２２からの衝突判定結果が衝突するという判定である対象物がある場合、警告音を出力する。
　ＣＰＵなどの制御部１４０は、撮像装置と対象物の相対位置、相対速度、衝突時間及び衝突判定結果をもとに制御信号を生成して、撮像装置の外部に出力する。
　図１に示す本発明の撮像装置の一実施例の動作手順を、図２を用いて説明する。
　ステップ２０１：同期信号発信手段１１６は、同期信号を生成して、基準画像取込手段１１７ａ及び比較画像取込手段１１７ｂに送る。基準画像取込手段１１７ａは、同期信号発信手段１１６からの同期信号を受け取った直後に、シャッタ手段１０２ａにシャッタ開閉信号及び露光時間の情報を送る。シャッタ手段１０２ａは、基準画像取込手段１１７ａからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。撮像素子１０３ａは、光学素子１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、基準画像取込手段１１７ａに画像を送る。基準画像取込手段１１７ａは、撮像素子１０３ａから画像を受け取り、基準画像記憶手段１１１に格納する。
　比較画像取込手段１１７ｂは、同期信号発信手段１１６からの同期信号を受け取った直後に、シャッタ手段１０２ｂにシャッタ開閉信号及び露光時間の情報を送る。シャッタ手段１０２ｂは、比較画像取込手段１１７ｂからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。撮像素子１０３ｂは、光学素子１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、比較画像取込手段１１７ｂに画像を送る。比較画像取込手段１１７ｂは、撮像素子１０３ｂから画像を受け取り、比較画像記憶手段１１２に格納する。
　ステップ２０２：輝度補正手段１１８は、輝度補正情報記憶手段１１４から撮像素子１０３ａ及び撮像素子１０３ｂの画像における各画素の補正係数を読み込み、基準画像記憶手段１１１及び比較画像記憶手段１１２からそれぞれ基準画像及び比較画像を読み込む。基準画像の各画素の輝度値に基準画像側の撮像素子の画像における各画素の補正係数を掛け合わせて、基準画像の輝度値を補正する。同様に、比較画像の各画素の輝度値に比較画像側の撮像素子の画像における各画素の補正係数を掛け合わせて、比較画像の輝度値を補正する。補正した基準画像及び比較画像をそれぞれ基準画像記憶手段１１１及び比較画像記憶手段１１２に格納する。
　ステップ２０３：幾何補正手段１１９は、幾何補正情報記憶手段１１５から撮像素子１０３ａ及び撮像素子１０３ｂの画像における各画素の幾何の２次元補正量を読み込み、基準画像記憶手段１１１及び比較画像記憶手段１１２からそれぞれ基準画像及び比較画像を読み込む。基準画像の各画素から２次元補正量を変化させた基準画像上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を基準画像上の全ての画素について実施する。同様に、比較画像の各画素から２次元補正量を変化させた比較画像上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を比較画像上の全ての画素について実施する。補正した基準画像及び比較画像をそれぞれ基準画像記憶手段１１１及び比較画像記憶手段１１２に格納する。
　ステップ２０４：視差算出手段１２０は、図３に示すように、基準画像３０１上の所定のサイズの領域の画像３０３（テンプレート画像）を抽出する。比較画像３０２上でテンプレート画像３０３と同じ対象物が写っている領域の画像を以下のテンプレートマッチングで探索する。比較画像３０２上の所定のサイズの領域の画像３０４を抽出して、基準画像３０１上のテンプレート画像３０３の輝度値と比較画像３０２上の所定のサイズの領域の画像３０４の輝度値の差の絶対値の和（ＳＡＤ、Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）を比較画像３０２上の各領域の画像３０４について算出して、最も小さい値の比較画像３０２上の領域の画像３０４とテンプレート画像３０３の領域の距離、すなわち、視差を算出する。この処理を基準画像３０１上の全ての領域について実施して、基準画像３０１の全体での視差を算出する。このようにして算出した視差画像を処理画像記憶手段１１３に格納する。
ステップ２０５：距離算出手段１２１は、処理画像記憶手段１１３から視差画像を読み込む。撮像部１００ａと撮像部１００ｂの焦点間の距離と焦点距離をかけて得られた値を、ステップ４で算出した各領域の視差で割て、基準画像上の各領域の画像３０３に写っている像と撮像装置との光軸方向の距離を算出する。この処理を基準画像上の全ての領域について実施して、基準画像の全体における各像と撮像装置との光軸方向の距離を算出する。このようにして算出した距離画像を処理画像記憶手段１１３に格納する。
　ステップ２０６：認識手段１２２は、基準画像記憶手段１１１から基準画像を、処理画像記憶手段１１３から距離画像を読み込む。そこで、基準画像上の消失点の位置の算出、自動車や歩行者などの対象物の判定、撮像装置に対する対象物の相対位置及び相対速度の算出、対象物と撮像装置との衝突判定を行う。
　先ず、認識手段１２２は、基準画像上の消失点の位置の算出を以下の手順で実施する。基準画像上の車線の境界にある両側の白線を検出して、基準画像上の白線の傾きを算出する。両側の白線が直線であるとして、算出した傾きにより、両側の白線が交わる点の基準画像上の位置を算出する。これが消失点の位置である。
　次に、認識手段１２２は、自動車や歩行者などの対象物の検出を以下の手順で実施する。距離画像において、距離が所定の範囲内にある画素が連結している領域を求める。所定の範囲の例として、５～１０ｍ、７．５～１２．５ｍ、１０～１５ｍなどと幅５ｍので２．５ｍごとに範囲が重複する複数の範囲を設定する。距離が所定の範囲内にある画素が連結している各領域の基準画像上の縦及び横方向の長さを求める。各領域の基準画像上の縦方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域の３次元の縦方向の長さを算出する。同様に、各領域の基準画像上の横方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域の３次元の横方向の長さを算出する。
　数１を用いて、各領域の地面に関する基準画像上の縦方向の位置Ｖｇを近似的に算出する。ここで、Ｖｖは消失点の高さ、ｆは焦点距離、Ｈｉは撮像装置の取付高さ、Ｌｒは領域の平均距離、ｃは画素ピッチである。また、撮像部１００ａ及び撮像部１００ｂの光軸はおおむね水平方向であるという仮定を設定したときの計算式である。
〔数１〕
　　Ｖｇ＝Ｖｖ－ｆ×Ｈｉ／（Ｌｒ×ｃ）
　領域の３次元の縦及び横方向の長さが自動車の所定の範囲内であり、かつ、領域の下限の基準画像上の縦方向の位置と、数１で算出した領域の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域の対象物は自動車であると判定する。同様に、領域の３次元の縦及び横方向の長さが歩行者の所定の範囲内であり、かつ、領域の下限の基準画像上の縦方向の位置と、数１で算出した領域の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域の対象物は歩行者であると判定する。これらの処理を全ての領域について実施して、自動車、歩行者であるかを判定する。
　次に、撮像装置に対する対象物の相対位置及び相対速度の算出を以下の手順で実施する。自動車あるいは歩行者と判定された領域について、数２～数４を用いて、撮像装置に対する対象物の相対位置（Ｘｏ、Ｙｏ、Ｚｏ）を算出する。ここで、（Ｕｏ、Ｖｏ）は自動車あるいは歩行者と判定された領域の中央に関する基準画像上の位置である。
〔数２〕
　　Ｘｏ＝Ｌｒ×ｃ×Ｕｏ／ｆ
〔数３〕
　　Ｙｏ＝Ｈ＋Ｌｒ×ｃ×（Ｖｏ－Ｖｖ）／ｆ
〔数４〕
　　Ｚｏ＝Ｌｒ
　ステップ２０１～２０８の処理は、所定の周期で繰り返し実施される。前回と今回の処理のステップ２０６で検出された領域の基準画像上の位置の差が閾値以内である場合、同じ対象物であると判定して、今回の処理で算出された撮像装置に対する対象物の相対位置から、前回の処理のステップ２０６で算出された相対位置を引きた値を、ステップ２０１～２０８の処理周期の時間間隔で割って、撮像装置に対する対象物の相対速度（Ｖｘ、Ｖｙ、Ｖｚ）を算出する。
　最後に、対象物と撮像装置との衝突判定を以下の手順で実施する。撮像装置に対する対象物の相対速度Ｖｚが０以上である場合、自動車あるいは歩行者と判定された領域の対象物に衝突しないと判定する。撮像装置に対する対象物の相対速度Ｖｚが負である場合、今回の処理で算出した撮像装置に対する対象物の相対位置Ｚｏを、撮像装置に対する対象物の相対速度Ｖｚの絶対値で割り、衝突までの時間（衝突時間）を算出する。また、撮像装置に対する対象物の相対速度Ｖｘに衝突時間をかけた値に対象物の相対位置Ｘｏを足して、衝突時における撮像装置に対する対象物の相対位置Ｘｏを算出する。そこで、撮像装置に対する対象物の相対速度Ｖｚが負であり、かつ、衝突時間が閾値以内であり、かつ、衝突時における撮像装置に対する対象物の相対位置Ｘｏの絶対値が閾値内である場合、自動車あるいは歩行者と判定された領域の対象物に衝突すると判定する。それ以外の場合、衝突しないと判定する。認識手段１２２は、自動車あるいは歩行者と判定された領域に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を画面音声出力部１３０及び制御部１４０に送る。
　ステップ２０７：画面音声出力部１３０は、認識手段１２２から自動車あるいは歩行者と判定された領域に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。基準画像記憶手段１１１から基準画像を読み込む。画面に基準画像を表示し、自動車あるいは歩行者と判定された領域を枠として表示する。また、衝突判定結果が衝突するという判定結果である領域の枠の色を衝突しないという判定結果の対象物の領域の枠の色と変えて、画面に表示する。領域の中に、衝突判定結果が衝突するという判定結果がある場合、警告音を出力する。
　ステップ２０８：制御部１４０は、認識手段１２２から自動車あるいは歩行者と判定された領域に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。自動車あるいは歩行者と判定された領域の中に、衝突判定結果が衝突するという判定結果がある場合、衝突を回避する制御信号を生成して、撮像装置の外部に出力する。
　図１に示す本発明の撮像装置の一実施例の動作手順を説明する。
　特性入出力手段１２３は、特性記憶手段１０４ａ及び特性記憶手段１０４ｂからそれぞれ光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪（半径方向のレンズの歪係数及び接線方向のレンズの歪係数など）などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性（均一のライトや対象物を撮影したときの画像の輝度値及びダイナミックレンジなど）、ノイズ（ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、及び、所定の強度の光の固定パターンノイズなど）及び欠陥画素の数などの情報、撮像部１００ａ及び撮像部１００ｂの感度特性（光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、及び、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値など）及びノイズ（光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのショットノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの固定パターンノイズなど）などの情報を読み込み、それらの情報を撮像装置の外部に出力する。
　図１に示す本発明の撮像装置の一実施例の動作手順（図２）によれば、基準画像側の撮像部１００ａ及び１００ｂは、予め設定された下記の所定条件である項目１－１～１－７のうちのひとつの項目ａを満足する光学素子１０１ａ及び光学素子１０１ｂ、あるいは、撮像素子１０３ａ及び撮像素子１０３ｂを有している。
　このため、項目ａを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されることにより、対象物の認識性能が向上する。また、項目ａを考慮せずに撮像装置を製造すると、項目ａを満足しないケースが発生する。項目ａを満足するように撮像装置を製造すると、項目ａを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ａを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ａを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
・項目１－１：比較画像側の光学素子１０１ｂに比べて、基準画像側の光学素子１０１ａの透過率は高い。
・項目１－２：比較画像側の光学素子１０１ｂに比べて、基準画像側の光学素子１０１ａの歪が小さい。
・項目１－３：比較画像側の撮像素子１０３ｂに比べて、基準画像側の撮像素子１０３ａの感度特性が大きい。
・項目１－４：比較画像側の撮像素子１０３ｂに比べて、基準画像側の撮像素子１０３ａのノイズが小さい。
・項目１－５：比較画像側の撮像素子１０３ｂに比べて、基準画像側の撮像素子１０３ａの欠陥画素の数が少ない。
・項目１－６：比較画像側の撮像部１００ｂに比べて、基準画像側の撮像部１００ａの感度特性が大きい。
・項目１－７：比較画像側の撮像部１００ｂに比べて、基準画像側の撮像部１００ａのノイズが小さい。
　図１に示す本発明の撮像装置の一実施例の動作手順によれば、特性入出力手段１２３により、特性記憶手段１０４ａ及び特性記憶手段１０４ｂにそれぞれ格納されている光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部１００ａ及び撮像部１００ｂの感度特性及びノイズなどの情報を読み込み、撮像装置の外部に出力することにより、それらの値を見て、上記の項目１－１～１－７のうちのひとつを満足するかどうかを確認できる。
　図１に示す本発明の撮像装置の一実施例の動作手順（図２）によれば、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示することにより、衝突する対象物をユーザに知らせることができる。
　なお、本発明の撮像装置は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明の撮像装置の変形例について説明する。
（変形例１－１）
　図１に示す本発明の撮像装置の一実施例において、撮像部１００ａ及び撮像部１００ｂは、予め設定された下記の所定条件である項目１－１１～１－３０のうちのひとつの項目ｂを満足する光学素子１０１ａ及び光学素子１０１ｂ、あるいは、撮像素子１０３ａ及び撮像素子１０３ｂを有しているとしても、項目ｂを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されることにより、対象物の認識性能が向上する。
　また、項目ｂを考慮せずに撮像装置を製造すると、項目ｂを満足しないケースが発生する。項目ｂを満足するように撮像装置を製造すると、項目ｂを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ｂを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ｂを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
・項目１－１１：光学素子１０１ｂに比べて、光学素子１０１ａの透過率は高い。
・項目１－１２：光学素子１０１ｂに比べて、光学素子１０１ａの半径方向のレンズの歪係数が小さい。
・項目１－１３：光学素子１０１ｂに比べて、光学素子１０１ａの接線方向のレンズの歪係数が小さい。
・項目１－１４：撮像素子１０３ｂに比べて、撮像素子１０３ａのダイナミックレンジが大きい。
・項目１－１５：撮像素子１０３ｂに比べて、撮像素子１０３ａの均一な光の画像の輝度値が大きい。
・項目１－１６：撮像素子１０３ｂに比べて、撮像素子１０３ａのＳＮ比が小さい。
・項目１－１７：撮像素子１０３ｂに比べて、撮像素子１０３ａの均一な光の画像の輝度値の標準偏差が小さい。
・項目１－１８：撮像素子１０３ｂに比べて、撮像素子１０３ａの所定の強度の光のショットノイズが小さい。
・項目１－１９：撮像素子１０３ｂに比べて、撮像素子１０３ａの暗電流ノイズが小さい。
・項目１－２０：撮像素子１０３ｂに比べて、撮像素子１０３ａの読み出しノイズが小さい。
・項目１－２１：撮像素子１０３ｂに比べて、撮像素子１０３ａの所定の強度の光の固定パターンノイズが小さい。
・項目１－２２：撮像素子１０３ｂに比べて、撮像素子１０３ａの欠陥画素の数が少ない。
・項目１－２３：光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂに比べて、光学素子１０１ａを通過した光を受光した撮像素子１０３ａのダイナミックレンジが大きい。
・項目１－２４：光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂに比べて、光学素子１０１ａを通過した光を受光した撮像素子１０３ａの均一な光の画像の輝度値が大きい。
・項目１－２５：光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂに比べて、光学素子１０１ａを通過した光を受光した撮像素子１０３ａのＳＮ比が小さい。
・項目１－２６：光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂに比べて、光学素子１０１ａを通過した光を受光した撮像素子１０３ａの均一な光の画像の輝度値の標準偏差が小さい。
・項目１－２７：光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂに比べて、光学素子１０１ａを通過した光を受光した撮像素子１０３ａの所定の強度の光のショットノイズが小さい。
・項目１－２８：光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂに比べて、光学素子１０１ａを通過した光を受光した撮像素子１０３ａの暗電流ノイズが小さい。
・項目１－２９：光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂに比べて、光学素子１０１ａを通過した光を受光した撮像素子１０３ａの読み出しノイズが小さい。
・項目１－３０：光学素子１０１ｂを通過した光を受光した撮像素子１０３ｂに比べて、光学素子１０１ａを通過した光を受光した撮像素子１０３ａの所定の強度の光の固定パターンノイズが小さい。
　図１に示す本発明の撮像装置の一実施例の動作手順において、特性入出力手段１２３が、特性記憶手段１０４ａ及び特性記憶手段１０４ｂからそれぞれ光学素子１０１ａ及び光学素子１０１ｂの透過率，半径方向のレンズの歪係数及び接線方向のレンズの歪係数、撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときの画像の輝度値、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、所定の強度の光の固定パターンノイズ及び欠陥画素の数、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのショットノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの固定パターンノイズなどの情報を読み込み、撮像装置の外部に出力すると、それらの値を見て、上記の項目１－１１～１－３０のうちのひとつを満足するかどうかを確認できる。
（変形例１－２）
　図１に示す本発明の撮像装置の一実施例の動作手順（図２）のステップ２０４において、視差算出手段１２０がＳＡＤの値を算出し、最も小さい比較画像上の領域を探索して、視差を算出する代わりに、ＺＳＡＤ（Ｚｅｒｏ－ｍｅａｎ　Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは、ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅｓ）、ＺＳＳＤ（Ｚｅｒｏ－ｍｅａｎ　Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅｓ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎ　Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）を算出し、最も小さい比較画像上の領域を探索して、視差を算出しても、視差を求めることができる。
（変形例１－３）
　図１に示す本発明の撮像装置の一実施例において、撮像素子１０３ａ及び撮像素子１０３ｂ内に、それぞれ撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報を記憶するメモリなどの撮像素子特性記憶手段１０５ａ及び撮像素子特性記憶手段１０５ｂを設けて、図１に示す本発明の撮像装置の一実施例の動作手順において、特性入出力手段１２３が、撮像素子特性記憶手段１０５ａ及び撮像素子特性記憶手段１０５ｂから撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報を読み込み、それらの情報を外部に出力しても、それらの値を見て、項目１－３～１－５のうちのひとつを満足するかどうかを確認できる。
　また、図１に示す本発明の撮像装置の動作手順において、特性入出力手段１２３が、撮像素子特性記憶手段１０５ａ及び撮像素子特性記憶手段１０５ｂから撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときの画像の輝度値、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、所定の強度の光の固定パターンノイズ及び欠陥画素の数などの情報を読み込み、それらの情報を外部に出力しても、それらの値を見て、項目１－１４～１－２２のうちのひとつを満足するかどうかを確認できる。
（変形例１－４）
　図１に示す本発明の撮像装置の一実施例において、撮像部１００ａ及び撮像部１００ｂの代わりに演算部１１０に特性記憶手段１０４ａ及び特性記憶手段１０４ｂを設けて、図１に示す本発明の撮像装置の一実施例の動作手順において、特性入出力手段１２３が、特性記憶手段１０４ａ及び特性記憶手段１０４ｂに記憶している光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部１００ａ及び撮像部１００ｂの感度特性及びノイズなどの情報を読み込み、撮像装置の外部に出力するにしても、それらの値を見て、項目１－１～１－７のひとつを満足するかどうかを確認できる。
　また、図１に示す本発明の撮像装置の動作手順において、特性入出力手段１２３が、特性記憶手段１０４ａ及び特性記憶手段１０４ｂからそれぞれ光学素子１０１ａ及び光学素子１０１ｂの透過率、半径方向のレンズの歪係数及び接線方向のレンズの歪係数、撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときの画像の輝度値、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、所定の強度の光の固定パターンノイズ及び欠陥画素の数、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのショットノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの固定パターンノイズなどの情報を読み込み、それらの情報を外部に出力しても、それらの値を見て、項目１－１１～１－３０のうちのひとつを満足するかどうかを確認できる。
（変形例１－５）
　図１に示す本発明の撮像装置の一実施例の動作手順（図２）のステップ２０７において、画面音声出力部１３０が、画面に基準画像の代わりに視差画像あるいは距離画像を表示して、「衝突する」と判定した対象物に所定の色の枠を表示しても、衝突する対象物をユーザに知らせることができる。
（変形例１－６）
　図１に示す本発明の撮像装置の一実施例において、撮像部を２つだけでなく、３つ以上を設けて、図２に示す動作手順を、複数の撮像部の２つずつの組合せについて実施する。これにより、複数の撮像部で撮影された対象物までの距離や対象物の認識が可能になるとともに、複数の撮像部の２つずつの組合せにおいて、基準画像側の撮像部は、予め設定された項目１－１～１－７のうちのひとつの項目ａを満足する光学素子、あるいは、撮像素子を有している。
　このため、項目ａを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されることにより、対象物の認識性能が向上する。
　また、項目ａを考慮せずに撮像装置を製造すると、項目ａを満足しないケースが発生する。項目ａを満足するように撮像装置を製造すると、項目ａを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ａを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ａを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
　図４に本発明の撮像装置の一実施例の構成を示す。
　本発明の一実施例は、撮像部４００ａ、撮像部４００ｂ、演算部４１０、画面音声出力部１３０、制御部１４０と、を備えている。画面音声出力部１３０、制御部１４０は、図１に示すものと同じであり、説明の記述を省略する。
　カメラなどの撮像部４００ａは、光学素子１０１ａ、シャッタ手段１０２ａ、撮像素子１０３ａと、を備えている。
　光学素子１０１ａ、シャッタ手段１０２ａ、撮像素子１０３ａは、図１に示すものと同じであり、説明の記述を省略する。
　カメラなどの撮像部４００ｂは、光学素子１０１ｂ、シャッタ手段１０２ｂ、撮像素子１０３ｂと、を備えている。
　光学素子１０１ｂ、シャッタ手段１０２ｂ、撮像素子１０３ｂは、図１に示すものと同じであり、説明の記述を省略する。
　ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ、中央演算処理装置）及びメモリなどから構成される演算部４１０は、基準画像記憶手段１１１、比較画像記憶手段１１２、処理画像記憶手段１１３、特性記憶手段４０４、輝度補正情報記憶手段１１４、幾何補正情報記憶手段１１５、同期信号発信手段１１６、画像取込手段４１７ａ、画像取込手段４１７ｂ、基準画像選定手段４２４、輝度補正手段１１８、幾何補正手段１１９、視差算出手段１２０、距離算出手段１２１、認識手段１２２、特性入出力手段４２３と、を備えている。
　基準画像記憶手段１１１、比較画像記憶手段１１２、処理画像記憶手段１１３、輝度補正情報記憶手段１１４、幾何補正情報記憶手段１１５、同期信号発信手段１１６、輝度補正手段１１８、幾何補正手段１１９、視差算出手段１２０、距離算出手段１２１、認識手段１２２は、図１に示すものと同じであり、説明の記述を省略する。
　メモリやハードディスクなどの特性記憶手段４０４は、光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部４００ａ及び撮像部４００ｂの感度特性及びノイズなどの情報を記憶している。光学素子１０１ａ及び光学素子１０１ｂの歪の情報として、半径方向のレンズの歪係数及び接線方向のレンズの歪係数などがある。撮像素子１０３ａ及び撮像素子１０３ｂの感度特性の情報として、ダイナミックレンジ、及び、均一のライトや対象物を撮影したときの画像の輝度値などがある。撮像素子１０３ａ及び撮像素子１０３ｂのノイズの情報として、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、及び、所定の強度の光の固定パターンノイズなどがある。撮像部４００ａ及び撮像部４００ｂの感度特性の情報として、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、及び、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値などがある。撮像部４００ａ及び撮像部４００ｂのノイズの情報として、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのショットノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの固定パターンノイズなどがある。
　画像取込手段４１７ａは、同期信号発信手段１１６の同期信号に合わせて、シャッタ手段１０２ａにシャッタを開けるという信号を送るとともに、撮像素子１０３ａが生成する画像を取得する。
　画像取込手段４１７ｂは、同期信号発信手段１１６の同期信号に合わせて、シャッタ手段１０２ｂにシャッタを開けるという信号を送るとともに、撮像素子１０３ｂが生成する画像を取得する。
　基準画像選定手段４２４は、特性記憶手段４０４から光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部４００ａ及び撮像部４００ｂの感度特性及びノイズなどの情報を読み込む。画像取込手段４１７ａ及び画像取込手段４１７ｂがそれぞれ取り込んだ画像を受け取る。予め設定された下記の所定条件である項目２－１～２－７のうちのひとつの項目ｃを満足する光学素子、あるいは、撮像素子の画像を基準画像とし、もう一方の画像を比較画像とする。基準画像を基準画像記憶手段１１１に、比較画像を比較画像記憶手段１１２に格納する。
・項目２－１：光学素子の透過率は高い。
・項目２－２：光学素子の歪が小さい。
・項目２－３：撮像素子の感度特性が大きい。
・項目２－４：撮像素子のノイズが小さい。
・項目２－５：撮像素子の欠陥画素の数が少ない。
・項目２－６：撮像部の感度特性が大きい。
・項目２－７：撮像部のノイズが小さい。
　特性入出力手段４２３は、特性記憶手段４０４が記憶している光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、あるいは、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び画素欠陥の数などの情報、撮像部４００ａ及び撮像部４００ｂの感度特性及びノイズなどの情報を取得して、撮像装置の外部に出力する。
　図４に示す本発明の撮像装置の一実施例の動作手順を、図５を用いて説明する。ここで、ステップ２０２～２０８の処理は、図２のステップ２０２～２０８と同じであるため、記述を省略する。
ステップ５０１：基準画像選定手段４２４は、特性記憶手段４０４から光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部４００ａ及び撮像部４００ｂの感度特性及びノイズなどの情報を読み込む。画像取込手段４１７ａ及び画像取込手段４１７ｂがそれぞれ取り込んだ画像を受け取る。予め設定された前述の項目２－１～２－７のひとつの項目ｃを満足する光学素子、あるいは、撮像素子側の撮像部を基準画像側の撮像部を決定する。
ステップ５０２：同期信号発信手段１１６は、同期信号を生成して、画像取込手段４１７ａ及び画像取込手段４１７ｂに送る。画像取込手段４１７ａは、同期信号発信手段１１６からの同期信号を受け取った直後に、シャッタ手段１０２ａにシャッタ開閉信号及び露光時間の情報を送る。シャッタ手段１０２ａは、画像取込手段４１７ａからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。撮像素子１０３ａは、光学素子１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、画像取込手段４１７ａに画像を送る。画像取込手段４１７ａは、撮像素子１０３ａから画像を受け取り、基準画像選定手段４２４に送る。
　画像取込手段４１７ｂは、同期信号発信手段１１６からの同期信号を受け取った直後に、シャッタ手段１０２ｂにシャッタ開閉信号及び露光時間の情報を送る。シャッタ手段１０２ｂは、画像取込手段４１７ｂからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。撮像素子１０３ｂは、光学素子１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、画像取込手段４１７ｂに画像を送る。画像取込手段４１７ｂは、撮像素子１０３ｂから画像を受け取り、基準画像選定手段４２４に送る。
ステップ５０３：基準画像選定手段４２４は、画像受取手段４１７ａ及び画像受取手段４１７ｂからそれぞれ画像を受け取る。ステップ５０１で決定した基準画像側の撮像部の画像を基準画像とし、もう一方の画像を比較画像とする。基準画像を基準画像記憶手段１１１に、比較画像を比較画像記憶手段１１２に格納する。
　図４に示す本発明の撮像装置の一実施例の動作手順を説明する。
　特性入出力手段４２３は、特性記憶手段４０４からそれぞれ光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪（半径方向のレンズの歪係数及び接線方向のレンズの歪係数など）などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性（ダイナミックレンジ、及び、均一のライトや対象物を撮影したときの画像の輝度値など）、ノイズ（ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、及び、所定の強度の光の固定パターンノイズ）及び欠陥画素の数などの情報、撮像部４００ａ及び撮像部４００ｂの感度特性（光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、及び、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値など）及びノイズ（光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのショットノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの固定パターンノイズなど）などの情報を読み込み、それらの情報を撮像装置の外部に出力する。
　図４に示す本発明の撮像装置の一実施例の動作手順（図５）によれば、ステップ５０１で、基準画像選定手段４２４が、予め設定された前述の項目２－１～２－７のうちのひとつの項目ｃを満足する光学素子、あるいは、撮像素子側の撮像部を基準画像側の撮像部を決定し、ステップ５０３で、基準画像選定手段４２４が、ステップ５０１で決定した基準画像側の撮像部の画像を基準画像とし、もう一方の画像を比較画像とすることにより、項目ｃを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されるため、対象物の認識性能が向上する。
　また、項目ｃを考慮せずに撮像装置を製造すると、項目ｃを満足しないケースが発生する。項目ｃを満足するように撮像装置を製造すると、項目ｃを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ｃを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ｃを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
　図４に示す本発明の撮像装置の一実施例の動作手順によれば、特性入出力手段４２３により、特性記憶手段４０４にそれぞれ格納されている光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部４００ａ及び撮像部４００ｂの感度特性及びノイズなどの情報を読み込み、撮像装置の外部に出力することにより、それらの値を見て、前述の項目２－１～２－７のうちの少なくともひとつを満足するかどうかを確認できる。
　なお、本発明の撮像装置は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明の撮像装置の変形例について説明する。
（変形例２－１）
　図４に示す本発明の撮像装置の一実施例のステップ５０１において、基準画像選定手段４２４は、前述の項目２－１～２－７の代わりに、予め設定された下記の所定条件である項目２－１１～２－３０のうちのひとつの項目ｄを満足する光学素子、あるいは、撮像素子側の撮像部を基準画像側の撮像部と決定しても、項目ｄを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されるため、対象物の認識性能が向上する。
　また、項目ｄを考慮せずに撮像装置を製造すると、項目ｄを満足しないケースが発生する。項目ｄを満足するように撮像装置を製造すると、項目ｄを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
・項目２－１１：光学素子の透過率は高い。
・項目２－１２：光学素子の半径方向のレンズの歪係数が小さい。
・項目２－１３：光学素子の接線方向のレンズの歪係数が小さい。
・項目２－１４：撮像素子のダイナミックレンジが大きい。
・項目２－１５：撮像素子の均一な光の画像の輝度値が大きい。
・項目２－１６：撮像素子のＳＮ比性が小さい。
・項目２－１７：撮像素子の均一な光の画像の輝度値の標準偏差が小さい。
・項目２－１８：撮像素子の所定の強度の光のショットノイズが小さい。
・項目２－１９：撮像素子の暗電流ノイズが小さい。
・項目２－２０：撮像素子の読み出しノイズが小さい。
・項目２－２１：撮像素子の所定の強度の光の固定パターンノイズが小さい。
・項目２－２２：撮像素子の欠陥画素の数が少ない。
・項目２－２３：光学素子を通過した光を受光した撮像素子のダイナミックレンジが大きい。
・項目２－２４：光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値が大きい。
・項目２－２５：光学素子を通過した光を受光した撮像素子のＳＮ比が小さい。
・項目２－２６：光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値の標準偏差が小さい。
・項目２－２７：光学素子を通過した光を受光した撮像素子の所定の強度の光のショットノイズが小さい。
・項目２－２８：光学素子を通過した光を受光した撮像素子の暗電流ノイズが小さい。
・項目２－２９：光学素子を通過した光を受光した撮像素子の読み出しノイズが小さい。
・項目２－３０：光学素子を通過した光を受光した撮像素子の所定の強度の光の固定パターンノイズが小さい。
　図４に示す本発明の撮像装置の一実施例の動作手順において、特性入出力手段４２３が、特性記憶手段４０４から光学素子１０１ａ及び光学素子１０１ｂの透過率，半径方向のレンズの歪係数及び接線方向のレンズの歪係数、撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときの画像の輝度値、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、所定の強度の光の固定パターンノイズ及び欠陥画素の数、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのショットノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの固定パターンノイズなどの情報を読み込み、撮像装置の外部に出力すると、それらの値を見て、上記の項目２－１１～２－３０のうちのひとつを満足するかどうかを確認できる。
（変形例２－２）
　図４に示す本発明の撮像装置の一実施例において、撮像素子１０３ａ及び撮像素子１０３ｂにそれぞれ撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報を記憶させ、図４に示す本発明の撮像装置の一実施例の動作手順において、特性入出力手段４２３が、撮像素子１０３ａ及び撮像素子１０３ｂから撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報を読み込み、それらの情報を外部に出力しても、それらの値を見て、項目２－３～２－５のうちのひとつを満足するかどうかを確認できる。
　また、図４に示す本発明の撮像装置の動作手順において、特性入出力手段４２３が、撮像素子１０３ａ及び撮像素子１０３ｂから撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときの画像の輝度値、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、及び、所定の強度の光の固定パターンノイズ及び欠陥画素の数などの情報を読み込み、それらの情報を外部に出力しても、それらの値を見て、項目２－１４～２－２２のうちのひとつを満足するかどうかを確認できる。
　また、図４に示す本発明の撮像装置の動作手順（図５）のステップ５０１において、基準画像選定手段４２４は、撮像素子１０３ａ及び撮像素子１０３ｂから読み込んだ撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報をもとに、予め設定された前述の項目２－３～２－５のひとつの項目ｃを満足する撮像素子側の撮像部を基準画像側の撮像部を決定しても、項目ｃを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されるため、対象物の認識性能が向上する。また、項目ｃを考慮せずに撮像装置を製造すると、項目ｃを満足しないケースが発生する。項目ｃを満足するように撮像装置を製造すると、項目ｃを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、図４に示す本発明の撮像装置の動作手順（図５）のステップ５０１において、基準画像選定手段４２４は、撮像素子１０３ａ及び撮像素子１０３ｂから読み込んだ撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときの画像の輝度値、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、所定の強度の光の固定パターンノイズ及び欠陥画素の数などの情報をもとに、予め設定された前述の項目２－１４～２－２２のひとつの項目ｄを満足する撮像素子側の撮像部を基準画像側の撮像部を決定しても、項目ｄを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されるため、対象物の認識性能が向上する。また、項目ｄを考慮せずに撮像装置を製造すると、項目ｄを満足しないケースが発生する。項目ｄを満足するように撮像装置を製造すると、項目ｄを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
（変形例２－３）
　図４に示す本発明の撮像装置の一実施例において、演算部４１０の特性記憶手段４０４の代わりに、撮像部４００ａ及び撮像部４００ｂにそれぞれ特性記憶手段１０４ａ及び特性記憶手段１０４ｂを設けて、図４に示す本発明の撮像装置の一実施例の動作手順において、特性入出力手段４２３が、特性記憶手段１０４ａ及び１０４ｂから光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部４００ａ及び撮像部４００ｂの感度特性及びノイズなどの情報を読み込み、撮像装置の外部に出力するとしても、それらの値を見て、項目２－１～２－７のひとつを満足するかどうかを確認できる。
　また、図４に示す本発明の撮像装置の動作手順において、特性入出力手段４２３が、特性記憶手段１０４ａ及び１０４ｂからそれぞれ光学素子１０１ａ及び光学素子１０１ｂの透過率、半径方向のレンズの歪係数及び接線方向のレンズの歪係数、撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときの画像の輝度値、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、所定の強度の光の固定パターンノイズ及び欠陥画素の数、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのショットノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの固定パターンノイズなどの情報を読み込み、それらの情報を外部に出力しても、それらの値を見て、項目２－１～２－３０のうちのひとつを満足するかどうかを確認できる。
　また、図４に示す本発明の撮像装置の動作手順（図５）のステップ５０１において、基準画像選定手段４２４は、特性記憶手段１０４ａ及び特性記憶手段１０４ｂからそれぞれ読み込んだ光学素子１０１ａ及び光学素子１０１ｂの透過率及び歪などの情報、撮像素子１０３ａ及び撮像素子１０３ｂの感度特性、ノイズ及び欠陥画素の数などの情報、撮像部４００ａ及び撮像部４００ｂの感度特性及びノイズなどの情報をもとに、予め設定された前述の項目２－１～２－７のひとつの項目ｃを満足する撮像素子側の撮像部を基準画像側の撮像部を決定しても、項目ｃを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されるため、対象物の認識性能が向上する。また、項目ｃを考慮せずに撮像装置を製造すると、項目ｃを満足しないケースが発生する。項目ｃを満足するように撮像装置を製造すると、項目ｃを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、図４に示す本発明の撮像装置の動作手順（図５）のステップ５０１において、基準画像選定手段４２４は、撮像素子１０３ａ及び撮像素子１０３ｂから読み込んだ光学素子１０１ａ及び光学素子１０１ｂの透過率、半径方向のレンズの歪係数及び接線方向のレンズの歪係数、撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときの画像の輝度値、ＳＮ比、均一のライトや対象物を撮影したときの画像の輝度値の標準偏差（ばらつき）、所定の強度の光のショットノイズ、暗電流ノイズ、読み出しノイズ、所定の強度の光の固定パターンノイズ及び欠陥画素の数、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのダイナミックレンジ、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのＳＮ比、均一のライトや対象物を撮影したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの画像の輝度値の標準偏差（ばらつき）、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂのショットノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの暗電流ノイズ、光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの読み出しノイズ、及び、所定の強度の光が入射したときに光学素子１０１ａ及び光学素子１０１ｂを通過した光を受光した撮像素子１０３ａ及び撮像素子１０３ｂの固定パターンノイズなどの情報をもとに、予め設定された前述の項目２－１１～２－３０のひとつの項目ｄを満足する撮像素子側の撮像部を基準画像側の撮像部を決定しても、項目ｄを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されるため、対象物の認識性能が向上する。また、項目ｄを考慮せずに撮像装置を製造すると、項目ｄを満足しないケースが発生する。項目ｄを満足するように撮像装置を製造すると、項目ｄを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
（変形例２－４）
　図４に示す本発明の撮像装置の一実施例のステップ５０１において、基準画像選定手段４２４は、「シャッタ手段が閉まっているときの画像を取得する」という信号を画像取込手段４１７ａ及び画像取込手段４１７ｂに送る。画像取込手段４１７ａは、同期信号発信手段１１６からの同期信号を受け取った直後に、シャッタ手段１０２ａのシャッタの機構が閉まった状態で、光学素子１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、画像取込手段４１７ａに画像を送る。画像取込手段４１７ａは、撮像素子１０３ａから画像を受け取り、基準画像選定手段４２４に送る。画像取込手段４１７ｂは、同期信号発信手段１１６からの同期信号を受け取った直後に、シャッタ手段１０２ｂのシャッタの機構が閉まった状態で、光学素子１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、画像取込手段４１７ｂに画像を送る。画像取込手段４１７ｂは、撮像素子１０３ｂから画像を受け取り、基準画像選定手段４２４に送る。基準画像選定手段４２４は、画像取込手段４１７ａ及び画像取込手段４１７ｂから画像を受け取る。各画像の各画素の輝度値が閾値以上である場合、欠陥画素であると判定して、それぞれの画像について欠陥画素の数を検出する。欠陥画素の数が少ない画像側の撮像部を基準画像側の撮像部とすると、撮像素子の経年劣化により、欠陥画素が増えたとしても、実画像をもとに基準画像側の撮像部を決定するため、欠陥画素の数が少ない画像を正しく基準画像に設定でき、基準画像を用いた認識の性能の低下を防ぐことができる。
　また、欠陥画素の数が少ないという項目ｄを考慮せずに撮像装置を製造すると、項目ｄを満足しないケースが発生する。項目ｄを満足するように撮像装置を製造すると、項目ｄを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
（変形例２－５）
　図４に示す本発明の撮像装置の一実施例の動作手順において、図６に示すように、ステップ６０１及びステップ６０２を追加する。以下にステップ６０１及びステップ６０２を記載する。
　ステップ６０１：ステップ６０２で基準側像側の撮像部を再決定した場合、ステップ５０３に進む。再決定していない場合、ステップ６０２に進む。
　ステップ６０２：基準画像選定手段４２４は、画像取込手段４１７ａ及び画像取込手段４１７ｂから画像を受け取る。それらの画像をそれぞれ複数の領域に分割する。各画像の各領域の輝度値の平均を算出して、各画像で輝度の平均が最も大きい領域と最も小さい領域が２つの画像で一致している場合、以下の判定を実施する。各画像において輝度の平均が最も大きい領域と最も小さい領域の輝度の平均の差が大きいほうが、光学素子を通過した光を受光した撮像素子のダイナミックレンジが大きいと判定する。光学素子を通過した光を受光した撮像素子のダイナミックレンジが大きいと判定された画像の撮像部を基準画像側の撮像部と決定する。
　ステップ６０２に示すように、基準画像側の撮像部と決定すると、撮像素子の経年劣化により、光学素子を通過した光を受光した撮像素子のダイナミックレンジが変化したとしても、実画像をもとに基準画像側の撮像部を決定するため、光学素子を通過した光を受光した撮像素子のダイナミックレンジが大きい画像を正しく基準画像に設定でき、基準画像を用いた認識の性能の低下を防ぐことができる。
　また、光学素子を通過した光を受光した撮像素子のダイナミックレンジが大きいという項目ｄを考慮せずに撮像装置を製造すると、項目ｄを満足しないケースが発生する。項目ｄを満足するように撮像装置を製造すると、項目ｄを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
（変形例２－６）
　図４に示す本発明の撮像装置の一実施例の動作手順において、図６に示すように、ステップ６０１及びステップ６０２を追加する。以下にステップ６０１及びステップ６０２を記載する。
　ステップ６０１：ステップ６０２で基準側像側の撮像部を再決定した場合、ステップ５０３に進む。再決定していない場合、ステップ６０２に進む。
　ステップ６０２：基準画像選定手段４２４は、画像取込手段４１７ａ及び画像取込手段４１７ｂから画像を受け取る。それらの画像をそれぞれ複数の領域に分割する。各画像で輝度が最も大きい領域が２つの画像で一致している場合、各画像でこれらの領域の輝度値の平均及び標準偏差を算出して、これらの値が全て閾値以内である場合、それらの領域では均一な光が入射していると判定して、以下の処理を実施する。それらの領域で輝度値の平均が大きいほうが、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値が大きいと判定する。光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値が大きいと判定された画像の撮像部を基準画像側の撮像部と決定する。
　ステップ６０２に示すように、基準画像側の撮像部と決定すると、撮像素子の経年劣化により、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値が変化したとしても、実画像をもとに基準画像側の撮像部を決定するため、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値が大きい画像を正しく基準画像に設定でき、基準画像を用いた認識の性能の低下を防ぐことができる。
　また、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値が大きいという項目ｄを考慮せずに撮像装置を製造すると、項目ｄを満足しないケースが発生する。項目ｄを満足するように撮像装置を製造すると、項目ｄを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
（変形例２－７）
　図４に示す本発明の撮像装置の一実施例の動作手順において、図６に示すように、ステップ６０１及びステップ６０２を追加する。以下にステップ６０１及びステップ６０２を記載する。
　ステップ６０１：ステップ６０２で基準側像側の撮像部を再決定した場合、ステップ５０３に進む。再決定していない場合、ステップ６０２に進む。
　ステップ６０２：基準画像選定手段４２４は、画像取込手段４１７ａ及び画像取込手段４１７ｂから画像を受け取る。それらの画像をそれぞれ複数の領域に分割する。各画像で輝度が最も大きい領域が２つの画像で一致している場合、各画像でこれらの領域の輝度値の平均及び標準偏差を算出して、これらの値が全て閾値以内である場合、それらの領域では均一な光が入射していると判定して、以下の判定を実施する。それらの領域で輝度値の標準偏差が小さいほうが、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値の標準偏差が小さいと判定する。光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値の標準偏差が小さいと判定された画像の撮像部を基準画像側の撮像部と決定する。
　ステップ６０２に示すように、基準画像側の撮像部と決定すると、撮像素子の経年劣化により、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値の標準偏差が変化したとしても、実画像をもとに基準画像側の撮像部を決定するため、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値の標準偏差が小さい画像を正しく基準画像に設定でき、基準画像を用いた認識の性能の低下を防ぐことができる。
　また、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値の標準偏差が小さいという項目ｄを考慮せずに撮像装置を製造すると、項目ｄを満足しないケースが発生する。項目ｄを満足するように撮像装置を製造すると、項目ｄを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ｄを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
（変形例２－７）
　図１に示す本発明の撮像装置の一実施例において、撮像部を２つだけでなく、３つ以上を設けて、図５あるいは図６に示す動作手順を、複数の撮像部の２つずつの組合せについて実施する。
　これにより、複数の撮像部で撮影された対象物までの距離や対象物の認識が可能になるとともに、複数の撮像部の２つずつの組合せにおいて、ステップ５０１で、基準画像選定手段４２４が、予め設定された前述の項目２－１～２－７のうちのひとつの項目ｃを満足する光学素子、あるいは、撮像素子側の側の撮像部を基準画像側の撮像部を決定し、ステップ５０３で、基準画像選定手段４２４が、ステップ５０１で決定した基準画像側の撮像部の画像を基準画像とし、もう一方の画像を比較画像とすることにより、項目ｃを満足しない場合に比べて、基準画像の品質が比較画像より良くなり、ステップ２０６で品質の良い基準画像を用いて、対象物の認識処理が実施されるため、対象物の認識性能が向上する。
　また、項目ｃを考慮せずに撮像装置を製造すると、項目ｃを満足しないケースが発生する。項目ｃを満足するように撮像装置を製造すると、項目ｃを考慮せずに製造された撮像装置に比べて、このケースで対象物の認識性能が向上することになり、撮像装置の個体ごとの対象物の認識性能のばらつきを低減できる。
　また、ステップ２０７で、画面音声出力部１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力することにより、項目ｃを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に衝突する対象物をユーザに知らせることができる。
　また、ステップ２０８で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御部が、衝突を回避する制御信号を生成して、撮像装置の外部に出力することにより、項目ｃを満足しない場合に比べて、対象物の認識性能が向上するため、より早い段階でより確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
　１００ａ…撮像部、１００ｂ…撮像部、１０１ａ…光学素子、１０１ｂ…光学素子、１０２ａ…シャッタ手段、１０２ｂ…シャッタ手段、１０３ａ…撮像素子、１０３ｂ…撮像素子、１０４ａ…特性記憶手段、１０４ｂ…特性記憶手段、１１０…演算部、１１１…基準画像記憶手段、１１２…比較画像記憶手段、１１３…処理画像記憶手段、１１４…輝度補正情報記憶手段、１１５…幾何補正情報記憶手段、１１６…同期信号発信手段、１１７ａ…基準画像取込手段、１１７ｂ…比較画像取込手段、１１８…輝度補正手段、１１９…幾何補正手段、１２０…視差算出手段、１２１…距離算出手段、１２２…認識手段、１３０…画面音声出力部、１４０…制御部、３０１…基準画像、３０２…比較画像、４００ａ…撮像部、４００ｂ…撮像部、４０４…特性記憶手段

Claims (14)

  1. 　第１の光学素子と、
    　前記第１の光学素子を通過した光を受光して、光の強度に応じた輝度値を有して、基準画像として処理される画像を出力する第１の撮像素子と、
    　第２の光学素子と、
    　前記第２の光学素子を通過した光を受光して、光の強度に応じた輝度値を有して、基準画像として処理される画像を出力する第２の撮像素子と、
    　前記基準画像と前記比較画像に基づいて距離画像を算出する距離算出手段と、
    　前記距離算出手段で算出された前記距離画像に基づいて対象物を認識する認識手段と、を有し、
    　前記第１の光学素子及び前記第２の光学素子、又は前記第１の撮像素子及び前記第２の撮像素子は、前記第１光学素子の透過率が前記第２の光学素子に比べて高い、前記第１の光学素子の歪が前記第２の光学素子に比べて小さい、前記第１の撮像素子の感度特性が前記第２の撮像素子に比べて高い、前記第１の撮像素子のノイズが前記第２の撮像素子に比べて小さい、前記第１の撮像素子の欠陥画素の数が前記第２の撮像素子に比べて少ない、前記第１の光学素子を通過した光を受けた前記第１の撮像素子の感度特性が前記第２の光学素子を通過した光を受けた前記第２の撮像素子に比べて高い、前記第１の光学素子を通過した光を受けた前記第１の撮像素子のノイズが前記第２の光学素子を通過した光を受けた前記第２の撮像素子に比べて小さい、の少なくとも１つを満足する撮像装置。
  2. 　請求項１記載の撮像装置において、
    　前記第１の光学素子及び前記第２の光学素子、又は前記第１の撮像素子及び前記第２の撮像素子は、前記第１の光学素子の透過率が前記第２の光学素子に比べて高い、前記第１の光学素子の半径方向のレンズの歪係数が前記第２の光学素子に比べて小さい、前記第１の光学素子の接線方向のレンズの歪係数が前記第２の光学素子に比べて小さい、前記第１の撮像素子のダイナミックレンジが前記第２の撮像素子に比べて大きい、前記第１の撮像素子の均一な光の画像の輝度値が前記第２の撮像素子に比べて大きい、前記第１の撮像素子のＳＮ比が前記第２の撮像素子に比べて小さい、前記第１の撮像素子の均一な光の画像の輝度値の標準偏差が前記第２の撮像素子に比べて小さい、前記第１の撮像素子の欠陥画素の数が前記第２の撮像素子に比べて少ない、前記第１の光学素子を通過した光を受けた前記第１の撮像素子のダイナミックレンジが前記第２の光学素子を通過した光を受けた前記第２の撮像素子に比べて大きい、前記第１の光学素子を通過した光を受けた前記第１の撮像素子の均一な光の画像の輝度値が前記第２の光学素子を通過した光を受けた前記第２の撮像素子に比べて大きい、前記第１の光学素子を通過した光を受けた前記第１の撮像素子のＳＮ比が前記第２の光学素子を通過した光を受けた前記第２の撮像素子に比べて小さい、前記第１の光学素子を通過した光を受けた前記第１の撮像素子の均一な光の画像の輝度値の標準偏差が前記第２の光学素子を通過した光を受けた前記第２の撮像素子に比べて小さい、の少なくとも１つを満足する撮像装置。
  3. 　請求項１記載の撮像装置において、
    　前記第１の光学素子及び前記第２の光学素子の透過率や歪、前記第１の撮像素子及び前記第２の撮像素子の感度特性やノイズや欠陥画素の数、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子の感度特性やノイズ、の少なくとも１つを記憶する特性記憶手段を有する撮像装置。
  4. 　請求項３記載の撮像装置において、
    　前記特性記憶手段は、前記第１の光学素子及び前記第２の光学素子の透過率、前記第１の光学素子及び前記第２の光学素子の半径方向のレンズの歪係数、前記第１の光学素子及び前記第２の光学素子の接線方向のレンズの歪係数、前記第１の撮像素子及び前記第２の撮像素子のダイナミックレンジ、前記第１の撮像素子及び前記第２の撮像素子の均一な光の画像の輝度値、前記第１の撮像素子及び前記第２の撮像素子のＳＮ比、前記第１の撮像素子及び前記第２の撮像素子の均一な光の画像の輝度値の標準偏差、前記第１の撮像素子及び前記第２の撮像素子の欠陥画素の数、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子のダイナミックレンジ、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子の均一な光の画像の輝度値、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子のＳＮ比、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子の均一な光の画像の輝度値の標準偏差、、の少なくとも１つが記憶された撮像装置。
  5. 　請求項１記載の撮像装置において、
    　前記第１の撮像素子は、前記第１の撮像素子の感度特性、前記第１の撮像素子のノイズ、前記第１の撮像素子の欠陥画素の数、の少なくとも１つが記憶され、
    　前記第２の撮像素子は、前記第２の撮像素子の感度特性、前記第２の撮像素子のノイズ、前記第２の撮像素子の欠陥画素の数、の少なくとも１つが記憶された撮像装置。
  6. 　請求項１記載の撮像装置において、
    　前記第１の撮像素子は、前記第１の撮像素子のダイナミックレンジ、前記第１の撮像素子の均一な光の画像の輝度値、前記第１の撮像素子のＳＮ比、前記第１の撮像素子の均一な光の画像の輝度値の標準偏差、前記第１の撮像素子の欠陥画素の数、の少なくとも１つが記憶され、
    　前記第２の撮像素子は、前記第２の撮像素子のダイナミックレンジ、前記第２の撮像素子の均一な光の画像の輝度値、前記第２の撮像素子のＳＮ比、前記第２の撮像素子の均一な光の画像の輝度値の標準偏差、前記第２の撮像素子の欠陥画素の数、の少なくとも１つが記憶された撮像装置。
  7. 　第１の光学素子と、
    　前記第１の光学素子を通過した光を受光して、光の強度に応じた輝度値を有した第１の画像を出力する第１の撮像素子と、
    　第２の光学素子と、
    　前記第２の光学素子を通過した光を受光して、光の強度に応じた輝度値を有した第２の画像を出力する第２の撮像素子と、
    　前記第１の画像と前記第２の画像に対して所定条件を満たす一方の画像を基準画像として、他方の画像を比較画像とする基準画像選定手段と、
    　前記基準画像と前記比較画像に基づいて距離画像を算出する距離算出手段と、
    　前記距離算出手段で算出された前記距離画像に基づいて対象物を認識する認識手段と、を有し、
    　前記基準画像選定手段の前記所定条件は、
    　　前記第１の光学素子と前記第２の光学素子の透過率を比べて大きい方の画像、前記第１の光学素子と前記第２の光学素子の歪を比べて小さい方の画像、前記第１の撮像素子と前記第２の撮像素子の感度特性を比べて大きい方の画像、前記第１の撮像素子と前記第２の撮像素子のノイズを比べて小さい方の画像、前記第１の撮像素子と前記第２の撮像素子の画素欠陥の数を比べて少ない方の画像、前記第１の光学素子を通過した光を受けた前記第１の撮像素子と前記第２の光学素子を通過した光を受けた前記第２の撮像素子の感度特性を比べて高い方の画像、前記第１の光学素子を通過した光を受けた前記第１の撮像素子と前記第２の光学素子を通過した光を受けた前記第２の撮像素子のノイズを比べて小さい方の画像、のいずれかである撮像装置。
  8. 　第１の光学素子と、
    　前記第１の光学素子を通過した光を受光して、光の強度に応じた輝度値を有した第１の画像を出力する第１の撮像素子と、
    　第２の光学素子と、
    　前記第２の光学素子を通過した光を受光して、光の強度に応じた輝度値を有した第２の画像を出力する第２の撮像素子と、
    　前記第１の光学手段及び前記第２の光学手段の歪、前記第１の撮像手段と前記第２の撮像手段の感度特性、ノイズ、欠陥画素の数、前記第１の光学手段を通過した光を受けた前記第１の撮像手段及び前記第２の光学手段を通過した光を受けた前記第２の撮像手段の感度特性、ノイズ、の少なくとも１つの特性情報が記憶された特性記憶手段と、
    　前記特性記憶手段に記憶された前記特性情報に基づいて、所定条件を満たす一方の画像を基準画像として、他方の画像を比較画像とする基準画像選定手段と、
    　前記基準画像と前記比較画像に基づいて距離画像を算出する距離算出手段と、
    　前記距離算出手段で算出された前記距離画像に基づいて対象物を認識する認識手段と、を有し、
    　前記基準画像選定手段の前記所定条件は、
    　前記第１の光学素子と前記第２の光学素子の透過率を比べて大きい方の画像、前記第１の光学素子と前記第２の光学素子の歪を比べて小さい方の画像、前記第１の撮像素子と前記第２の撮像素子の感度特性を比べて大きい方の画像、前記第１の撮像素子と前記第２の撮像素子のノイズを比べて小さい方の画像、前記第１の撮像素子と前記第２の撮像素子の画素欠陥の数を比べて少ない方の画像、前記第１の光学素子を通過した光を受けた前記第１の撮像素子と前記第２の光学素子を通過した光を受けた前記第２の撮像素子の感度特性を比べて高い方の画像、前記第１の光学素子を通過した光を受けた前記第１の撮像素子と前記第２の光学素子を通過した光を受けた前記第２の撮像素子のノイズを比べて小さい方の画像、のいずれかである撮像装置。
  9. 　請求項７又は請求項８記載の撮像装置において、
    　前記基準画像選定手段の前記所定条件は、前記第１の光学素子と前記第２の光学素子の透過率を比べて大きい方の画像、前記第１の光学素子と前記第２の光学素子の半径方向のレンズの歪係数を比べて小さい方の画像、前記第１の光学素子と前記第２の光学素子の接線方向のレンズの歪係数を比べて小さい方の画像、前記第１の撮像素子と前記第２の撮像素子のダイナミックレンジを比べて大きい方の画像、前記第１の撮像素子と前記第２の撮像素子の均一な光の画像の輝度値を比べて大きい方の画像、前記第１の撮像素子と前記第２の撮像素子のＳＮ比を比べて大きい方の画像、前記第１の撮像素子と前記第２の撮像素子の均一な光の画像の輝度値の標準偏差を比べて小さい方の画像、前記第１の撮像素子と前記第２の撮像素子の画素欠陥の数を比べて少ない方の画像、前記第１の光学素子を通過した光を受けた前記第１の撮像素子と前記第２の光学素子を通過した光を受けた前記第２の撮像素子のダイナミックレンジを比べて大きい方の画像、前記第１の光学素子を通過した光を受けた前記第１の撮像素子と前記第２の光学素子を通過した光を受けた前記第２の撮像素子の均一な光の画像の輝度値を比べて大きい方の画像、前記第１の光学素子を通過した光を受けた前記第１の撮像素子と前記第２の光学素子を通過した光を受けた前記第２の撮像素子のＳＮ比を比べて小さい方の画像、前記第１の光学素子を通過した光を受けた前記第１の撮像素子と前記第２の光学素子を通過した光を受けた前記第２の撮像素子の均一な光の画像の輝度値の標準偏を比べて小さい方の画像、のいずれかである撮像装置。
  10. 　請求項８記載の撮像装置において、
    　前記特性記憶手段は、前記第１の光学素子及び前記第２の光学素子の透過率、前記第１の光学素子及び前記第２の光学素子の半径方向のレンズの歪係数、前記第１の光学素子及び前記第２の光学素子の接線方向のレンズの歪係数、前記第１の撮像素子及び前記第２の撮像素子２のダイナミックレンジ、前記第１の撮像素子及び前記第２の撮像素子の均一な光の画像の輝度値、前記第１の撮像素子及び前記第２の撮像素子のＳＮ比、前記第１の撮像素子及び前記第２の撮像素子の均一な光の画像の輝度値の標準偏差、前記第１の撮像素子及び前記第２の撮像素子の欠陥画素の数、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子のダイナミックレンジ、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子の均一な光の画像の輝度値、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子のＳＮ比、前記第１の光学素子を通過した光を受けた前記第１の撮像素子及び前記第２の光学素子を通過した光を受けた前記第２の撮像素子の均一な光の画像の輝度値の標準偏、の少なくとも１つの前記特性情報が記憶された撮像装置。
  11. 　請求項７記載の撮像装置において、
    　前記第１の光学素子を通過した光を所定の露光時間だけ通過させる第１のシャッタ手段と、
    　前記第２の光学素子を通過した光を所定の露光時間だけ通過させる第２のシャッタ手段と、を有し、
    　前記基準画像選定手段は、前記第１のシャッタ手段及び前記第２のシャッタ手段を閉じたときの前記第１の画像及び前記第２の画像において、輝度値が閾値以上である画素を欠陥画素と判定し、前記第１の画像及び前記第２の画像のそれぞれで欠陥画素の数を算出し、欠陥画素の少ない方の画像を、基準画像とし、他方の画像を比較画像とする撮像装置。
  12. 　請求項７記載の撮像装置において、
    　前記基準画像選定手段は、前記第１の画像及び前記第２の画像のそれぞれを複数の領域に分割し、各領域の輝度値の平均を算出し、算出した前記輝度値の平均が最も大きい領域と最も小さい領域が、前記第１の画像と記第２の画像とで一致している場合、各画像において輝度値の平均が最も大きい領域と最も小さい領域の輝度値の平均の差が大きい方が、光学素子を通過した光を受光した撮像素子のダイナミックレンジが大きいと判定し、光学手段を通過した光を受光した撮像素子のダイナミックレンジが大きいと判定された画像を基準画像とし、他方の画像を比較画像とする撮像装置。
  13. 　請求項７記載の撮像装置において、
    　前記基準画像選定手段は、前記第１の画像及び前記第２の画像のそれぞれを複数の領域に分割し、各領域の輝度値の平均を算出し、算出した前記輝度値の平均が最も大きい領域と最も小さい領域が、前記第１の画像と記第２の画像とで一致している場合、輝度が最も大きい領域の輝度値の平均及び標準偏差を算出し、輝度が最も大きい領域の輝度値の平均及び標準偏差の値が、全て、予め定めた閾値以内である場合、輝度が最も大きい領域では均一な光が入射していると判定し、輝度が最も大きい領域で輝度値の平均が大きい方が、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値が大きいと判定し、光学素子を通過した光を受光した撮像手段の均一な光の画像の輝度値が大きいと判定された画像を基準画像として、他方の画像を比較画像とする撮像装置。
  14. 　請求項７記載の撮像装置において、
    　　前記基準画像選定手段は、前記第１の画像及び前記第２の画像のそれぞれを複数の領域に分割し、各領域の輝度値の平均を算出し、算出した前記輝度値の平均が最も大きい領域と最も小さい領域が、前記第１の画像と記第２の画像とで一致している場合、輝度が最も大きい領域の輝度値の平均及び標準偏差を算出し、輝度が最も大きい領域の輝度値の平均及び標準偏差の値が、全て、予め定めた閾値以内である場合、輝度が最も大きい領域では均一な光が入射していると判定し、輝度が最も大きい領域で輝度値の標準偏差が小さい方が、光学素子を通過した光を受光した撮像素子の均一な光の画像の標準偏差が小さいと判定し、光学素子を通過した光を受光した撮像素子の均一な光の画像の輝度値が大きいと判定された画像を基準画像として、他方の画像を比較画像とする請求項８の撮像装置。
PCT/JP2013/070276 2012-09-28 2013-07-26 撮像装置 WO2014050288A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/422,239 US10627218B2 (en) 2012-09-28 2013-07-26 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-215454 2012-09-28
JP2012215454A JP6082556B2 (ja) 2012-09-28 2012-09-28 撮像装置

Publications (1)

Publication Number Publication Date
WO2014050288A1 true WO2014050288A1 (ja) 2014-04-03

Family

ID=50387702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/070276 WO2014050288A1 (ja) 2012-09-28 2013-07-26 撮像装置

Country Status (3)

Country Link
US (1) US10627218B2 (ja)
JP (1) JP6082556B2 (ja)
WO (1) WO2014050288A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220262017A1 (en) * 2019-07-18 2022-08-18 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10666874B2 (en) * 2017-06-02 2020-05-26 Apple Inc. Reducing or eliminating artifacts in high dynamic range (HDR) imaging
JP6838225B2 (ja) 2017-09-20 2021-03-03 日立Astemo株式会社 ステレオカメラ
EP3564748A4 (en) * 2018-02-27 2020-04-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. CONTROL METHOD, CONTROL DEVICE, TERMINAL, COMPUTER DEVICE AND STORAGE MEDIUM
JP7278096B2 (ja) * 2019-02-20 2023-05-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206521A (ja) * 2009-03-03 2010-09-16 Fujifilm Corp 撮像装置、画像補正方法およびプログラム
JP2010213083A (ja) * 2009-03-11 2010-09-24 Fujifilm Corp 撮像装置および方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172554B2 (ja) * 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
JP2001167276A (ja) * 1999-12-13 2001-06-22 Mega Chips Corp 撮影装置
JP3965067B2 (ja) * 2002-04-10 2007-08-22 富士重工業株式会社 ステレオ式監視装置およびステレオ式監視方法
JP2006005608A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
JP4224449B2 (ja) * 2004-11-30 2009-02-12 本田技研工業株式会社 画像抽出装置
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP5172314B2 (ja) * 2007-12-14 2013-03-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP5273356B2 (ja) * 2008-06-18 2013-08-28 株式会社リコー 複眼画像入力装置及びそれを用いた距離測定装置
JP4626684B2 (ja) * 2008-07-31 2011-02-09 富士フイルム株式会社 複眼撮像装置及び像ブレ補正方法
US8786682B2 (en) * 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
JP5426262B2 (ja) * 2009-07-17 2014-02-26 富士フイルム株式会社 複眼撮像装置
JP5258722B2 (ja) * 2009-09-24 2013-08-07 富士フイルム株式会社 複眼カメラ及びその制御方法
US8654195B2 (en) * 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
JP5440615B2 (ja) * 2010-01-06 2014-03-12 コニカミノルタ株式会社 ステレオカメラ装置
KR20120010764A (ko) * 2010-07-27 2012-02-06 엘지전자 주식회사 이동 단말기 및 3차원 영상 제어 방법
US9200895B2 (en) * 2010-11-16 2015-12-01 Konica Minolta, Inc. Image input device and image processing device
JP5704975B2 (ja) * 2011-03-08 2015-04-22 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206521A (ja) * 2009-03-03 2010-09-16 Fujifilm Corp 撮像装置、画像補正方法およびプログラム
JP2010213083A (ja) * 2009-03-11 2010-09-24 Fujifilm Corp 撮像装置および方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220262017A1 (en) * 2019-07-18 2022-08-18 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera
US11836933B2 (en) * 2019-07-18 2023-12-05 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera

Also Published As

Publication number Publication date
JP6082556B2 (ja) 2017-02-15
JP2014072592A (ja) 2014-04-21
US10627218B2 (en) 2020-04-21
US20150226541A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
JP6545997B2 (ja) 画像処理装置
US20210110188A1 (en) Stereo imaging device
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
US9414045B2 (en) Stereo camera
WO2014050288A1 (ja) 撮像装置
US8639045B2 (en) Image processing device and image processing method
US10026158B2 (en) Imaging device
JP5440615B2 (ja) ステレオカメラ装置
JP2008039491A (ja) ステレオ画像処理装置
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
US9781344B2 (en) Processing device, image pickup device and processing method for obtaining distance information from a difference in blur degree
KR20140048539A (ko) 차량의 주변영상을 이용한 객체 인식장치 및 방법
CN112069862A (zh) 目标检测方法和装置
JP6907513B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
JP5737929B2 (ja) 画像処理装置及び画像処理方法
JP2021025868A (ja) ステレオカメラ
CN111105465B (zh) 一种摄像装置校准方法、装置、系统电子设备及存储介质
JP6970568B2 (ja) 車両の周辺監視装置と周辺監視方法
JP7278846B2 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP6983740B2 (ja) ステレオカメラシステム、及び測距方法
JP2015143657A (ja) 車両のステレオカメラシステム
CN111833370A (zh) 一种飞行像素滤除方法及系统
JP7492599B2 (ja) 車載カメラ装置
JP6626737B2 (ja) ステレオカメラ装置および車両
KR101583662B1 (ko) 광각 카메라 영상의 특징점 검출 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13842578

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14422239

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13842578

Country of ref document: EP

Kind code of ref document: A1