WO2013069453A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2013069453A1
WO2013069453A1 PCT/JP2012/077385 JP2012077385W WO2013069453A1 WO 2013069453 A1 WO2013069453 A1 WO 2013069453A1 JP 2012077385 W JP2012077385 W JP 2012077385W WO 2013069453 A1 WO2013069453 A1 WO 2013069453A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
background
area
vehicle
Prior art date
Application number
PCT/JP2012/077385
Other languages
English (en)
French (fr)
Inventor
晋司 掛川
寛人 三苫
大島　章
春樹 的野
健 志磨
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US14/357,070 priority Critical patent/US9041778B2/en
Priority to EP12847189.3A priority patent/EP2778603B1/en
Publication of WO2013069453A1 publication Critical patent/WO2013069453A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for performing image processing on images captured by a plurality of image sensors.
  • an obstacle detection device that detects an obstacle such as a pedestrian or a vehicle using a plurality of cameras such as a stereo camera device
  • the stereo camera device calculates the positional deviation (parallax) of the same object on a plurality of images taken at the same time, and based on the parallax, the position of the object in real space is calculated by a known conversion formula.
  • An image processing apparatus that calculates and recognizes an object.
  • the stereo camera device can be applied to a monitoring system that detects intrusion or abnormality of a suspicious person, an in-vehicle system that supports safe driving of a vehicle, and the like (see Patent Document 1).
  • the object on the captured image becomes smaller as the distance from the camera becomes longer, and the image becomes rougher. Therefore, the stereo camera device has a problem that as the distance from the object increases, it becomes difficult to distinguish the object from the surrounding background, and the error in parallax increases.
  • the present invention has been made in view of the above points.
  • the object of the present invention is to improve the distance accuracy when measuring the distance to the target object, and to accurately correct the object at a distance farther than before.
  • An object of the present invention is to provide an image processing apparatus and an image processing method capable of measuring a distance.
  • An image processing apparatus and an image processing method according to the present invention for solving the above-described problems include an image object region including an image of an object from one image of a pair of images captured in the same direction at the same time by a pair of imaging elements. Extract.
  • the degree of background which is the accuracy of the object image constituent part or the background image constituent part, is calculated for each of the plurality of image constituent parts constituting the image object region.
  • the other image object area having an image similar to the one image object area is extracted from the other image using the background level, and the parallax between the one image object area and the other image object area is calculated. To do.
  • the present invention when the other image object region similar to the one image object region is extracted from the other image, weighting is performed based on the background degree, so that the influence of the background can be further reduced. . Therefore, accurate parallax information of the object can be obtained, and the distance accuracy to the object can be improved. Therefore, it is possible to measure an accurate distance even with an object that is farther than before. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
  • the system schematic diagram in this Embodiment The flowchart explaining the processing content in a vehicle detection part.
  • the flowchart explaining the processing content of a parallax calculation part The figure explaining the content of the parallax calculation process of a left-right vehicle area
  • reference numeral 104 denotes a stereo camera device mounted on a vehicle 103.
  • Stereo camera device 104 detects the presence of preceding vehicle 102 traveling in front of vehicle (own vehicle) 103 by image processing, and calculates the relative distance and relative speed from vehicle 103 to preceding vehicle 102.
  • the stereo camera device 104 includes a left imaging unit (left camera) 105 and a right imaging unit (right camera) 106 as a pair of imaging means for imaging the front of the vehicle 103, and the video from the left imaging unit 105 is a left image.
  • the video is input to the input unit 107 and the video from the right imaging unit 106 is input to the right image input unit 108.
  • the left imaging unit 105 and the right imaging unit 106 each have an imaging device such as a CCD, and are installed in the vehicle 103 so as to capture the front of the vehicle from positions separated from each other in the vehicle width direction.
  • the vehicle detection unit 109 searches the left image 301 (see FIG. 3) input to the left image input unit 107, and determines the image area in which the preceding vehicle 102 is captured as the left image vehicle area (one image object area). ) 302 (one image object region extraction means).
  • the right image similar region extraction unit 110 searches the right image 501 (see FIG. 5) input to the right image input unit 108 and searches for an image region similar to the left image vehicle region 302 extracted by the vehicle detection unit 109. Extracted as a right image similar region (other image similar region) 503 (see FIG. 5) (other image similar region extraction means).
  • the background degree calculation unit 111 includes a vehicle image constituent part 304 and a preceding vehicle 102 that constitute an image of the preceding vehicle 102 for each pixel as a plurality of image constituent parts constituting the left image vehicle region 302, for example.
  • the degree of background which is the accuracy of which one of the background image constituting parts 303 constituting the background image other than that, is calculated.
  • the range in which the background level is calculated is not limited to pixel units.
  • the background level may be calculated with a plurality of pixels as one range.
  • the parallax calculation unit 112 searches the peripheral range of the right image similar region 503 in the right image 501 as shown in FIG. 5, and extracts the image region most similar to the left image vehicle region 302 as the right image vehicle region.
  • the parallax calculation unit 112 performs a search by weighting using the degree of background. Then, the parallax between the extracted right image vehicle region and left image vehicle region 302 is calculated.
  • the relative distance / relative speed calculation unit 113 calculates the relative distance and relative speed between the preceding vehicle 102 and the vehicle 103 from the parallax of the preceding vehicle 102 calculated by the parallax calculation unit 112.
  • the vehicle 103 controls the accelerator and the brake based on the relative distance / relative speed value with the preceding vehicle 102 calculated by the relative distance / relative speed calculating unit 113, for example, controls to follow the preceding vehicle 102, Travel control such as control for preventing rear-end collision with 102 is performed.
  • FIG. 2 is a flowchart for explaining the processing content performed by the vehicle detection unit 109
  • FIG. 3 is a diagram for explaining the output content of the left image vehicle region output processing 207.
  • the left imaging unit 105 acquires the left image 301 captured at the same time as the right imaging unit 106.
  • the left image 301 is input from the left imaging unit 105 to the left image input unit 107 of the stereo camera device 104.
  • the process area determination process 202 a process for determining a process area for performing a process of extracting a portion where the preceding vehicle 102 is imaged from the left image 301 is performed.
  • two lane boundary lines 115 on both sides of the lane (travel lane) of the road 101 on which the vehicle 103 travels are detected from the left image 301 captured by the left imaging unit 105.
  • a method of determining a region between the detected two lane boundary lines 115 as a processing region can be given as an example.
  • a pair of vertical edges in which edge components of image luminance exist in pairs in the vertical (v) direction of the image 301 in the processing area determined in the processing area determination process 202 is extracted. Processing is performed.
  • the image 301 is searched in the horizontal (u) direction, and a portion in which the gradient of the luminance value of the image 301 is continuously present in the vertical direction of the image 301 is detected. .
  • the similarity of the luminance pattern with the vehicle learning data 205 is calculated for the rectangular area surrounded by the two vertical edges extracted in the vertical edge pair extraction process 204, and is surrounded by the vertical edge pairs. It is determined whether the rectangular area to be captured is a portion obtained by imaging the preceding vehicle 102 from behind. A method such as a neural network or a support vector machine is used to determine the similarity.
  • the vehicle learning data 205 a number of positive data images obtained by imaging various vehicles from the rear and a number of negative data images obtained by imaging subjects that are not vehicles are prepared in advance.
  • an image area determined to be an image obtained by imaging the preceding vehicle 102 from the rear in the pattern matching process 204 is extracted as a left image vehicle area 302, and in the vehicle area output process 207 , Coordinate values P1 (u 1 , v 1 ), P2 (u 1 , v 2 ), P3 (u 2 , v 1 ), P4 (u 2 , v) of the four vertices P1 to P4 of the left image vehicle region 302 2 ) is output.
  • the extracted left image vehicle region 302 is an object image constituent part (image surrounded by the contour of the preceding vehicle 102 in FIG. 3) in the rectangular image region.
  • (Constituent part) 304 and a background image constituent part that is not the preceding vehicle 102 (a hatched part enclosed between the outer frame of the image area 302 and the contour of the preceding vehicle 102 in FIG. 3) 303 are included.
  • FIG. 4 is a flowchart for explaining the processing content performed by the right image similar region extraction unit 110
  • FIG. 5 is a diagram for explaining the content of the right image similar region extraction processing.
  • the left image vehicle region 302 extracted from the left image 301 by the vehicle detection unit 109, and the right image 501 captured at the same time as the left image 301 by the right imaging unit 106. And get. Then, in the right image similar region extraction processing 402, the image region in which the same preceding vehicle 102 as the preceding vehicle 102 imaged in the left image vehicle region 302 is captured in the right image 501 is similar to the left image vehicle region 302. The right image similar area 503 is extracted from the right image 501.
  • FIG. 5 shows a method of extracting the right image similar region 503 similar to the left image vehicle region 302 from the right image 501.
  • the left imaging unit 105 and the right imaging unit 106 of the stereo camera device 104 are parallelized by calibration at the time of shipment.
  • Parallelization means that the optical axes of the left and right imaging units 105 and 106 are parallel.
  • a rectangular search area 502 having the same size as the left image vehicle area 302 is used to search the right image 501, and the search area 502 most similar to the left image vehicle area 302 is set as the right image similarity area 503. Processing to extract is performed.
  • the coordinate values of the four vertices of the rectangle of the left image vehicle region 302 are P1 (u 1 , v 1 ), P2 (u 1 , v 2 ), P3 (u 2 , v 1 ), P4 (u 2 ). , v 2 ), (0, v 1 ), (0, v 2 ), (u 2 -u 1 , v 1 ), (u 2 -u 1 , v 2 ) in the right image 501 are changed to 4
  • the search area 502 as the apex is searched by moving one pixel or a plurality of pixels horizontally in the right image 501.
  • a difference value between the luminance value of each pixel in the left image vehicle region 302 and the luminance value of each pixel in the search region 502 is calculated. That is, a difference value of luminance at the same pixel position in the left image vehicle area 302 and the search area 502 is calculated for each pixel.
  • the search area 502 at the position where the total value in the area where the difference values are summed is the smallest is extracted as the right image similarity area 503 similar to the left image vehicle area 302.
  • the left imaging unit 105 and the right imaging unit 106 of the stereo camera device 104 have the same sensitivity characteristics by calibration at the time of shipment.
  • the coordinate values P11 (u 3 , v 1 ), P12 (u) of the four vertices P11 to P14 of the rectangle of the right image similar region 503 extracted by the right image similar region extraction processing 402 3 , v 2 ), P13 (u 4 , v 1 ), and P14 (u 4 , v 2 ) are output.
  • FIG. 6 is a processing flow performed by the background degree calculation unit 111.
  • the left image vehicle region 302 output from the vehicle detection unit 109 and the right image similar region 503 output from the right image similar region extraction unit 110 are acquired.
  • a process of calculating a background degree that is an accuracy of whether each pixel of the left image vehicle region 302 is the object image constituent part or the background image constituent part is performed.
  • the background degree the first background degree is calculated by the first background degree calculation process 602, the second background degree is calculated by the second background degree calculation process 603, and the first background degree is calculated by the final background degree calculation process 604.
  • the final background degree that combines the background degree and the second background degree is calculated.
  • the degree of background is calculated using vehicle knowledge that defines in advance the accuracy of whether each pixel in the left image vehicle region 302 is the object image constituent part or the background image constituent part.
  • the background level is a value representing the probability that a certain pixel is the background. For example, when the background level is 1, the pixel can be determined as a background image component, and when the background level is 0, the pixel is the object image component. It can be judged. When the background level is between 0 and 1, the accuracy is proportional to the value.
  • FIG. 7 shows an example of calculating the background degree using vehicle knowledge.
  • the center area 701 indicated by the rectangle is a vehicle area (background degree 0)
  • the outer frame edge of the left image vehicle area 302 is the background (background degree 1).
  • the background level of each pixel is calculated by complementing the background level.
  • the background level of each pixel is calculated from the magnitude of the error in the luminance value when the left image vehicle region 302 and the right image similar region 503 are superimposed.
  • FIG. 8 shows a method of calculating the background level of each pixel based on the overlay error.
  • the left image vehicle region 302 and the right image similar region 503 are overlaid so that the coordinate starting points coincide. Then, the luminance difference value at the same pixel position in the left image vehicle region 302 and the right image similar region 503, and the average D of the differences in the region and the standard deviation ⁇ are calculated.
  • the difference value is smaller than D ⁇ 1 ⁇
  • the background degree is 0, when the difference value is not less than D ⁇ 1 ⁇ and not more than D ⁇ 3 ⁇ , the background degree is 0.5, and when the difference value is larger than D ⁇ 3 ⁇ , the background degree is 1.0.
  • the background degree is calculated for each pixel.
  • the background degree output in the first background degree calculation process 602 and the background degree output in the second background degree calculation process 603 are multiplied for each pixel.
  • the final background level is calculated for each pixel.
  • the present invention is not limited to this configuration, and the first background degree and the second background degree are calculated. Any method may be used as long as at least one of the background degrees is used.
  • the background degree calculation method is also an example, and the background degree may be calculated by another method.
  • FIG. 9 is a flowchart for explaining the processing content performed by the parallax calculation unit 112.
  • a process of acquiring the left image vehicle region 302 output from the vehicle detection unit 109 and the right image similar region 503 output from the right image similar region extraction unit 110 is performed.
  • processing for extracting the right image vehicle region (the other image object region) most similar to the left image vehicle region 302 from the right image 501 using the background degree is performed.
  • a search is made within a peripheral range having a preset size around the right image similar region 503 in the right image 501.
  • a difference value between the luminance value of each pixel in the left image vehicle region 302 and the luminance value of each pixel in the search region 502 is calculated. That is, the difference value of the luminance value at the same pixel position between the left image vehicle region 302 and the search region 502 is calculated for each pixel. Thereby, when the left image vehicle region 302 is superimposed on the right image 501, the difference value of the luminance value of the pixels at the same position is calculated for each pixel.
  • the difference value of the luminance value of each pixel is weighted.
  • region 502 of the position where the sum total value becomes the smallest in searching the periphery range is extracted as a right image vehicle area
  • the parallax obtained as a result of the left and right vehicle region matching processing 902 using the background degree is output.
  • the upper left coordinate of the left image vehicle region 302 is (u 1 , v 1 )
  • the upper left coordinate of the right image vehicle region matched in the right image is (u ′ 1 , v 1 )
  • u 1 ⁇ u ′ 1 Represents the parallax and this value is output.
  • parallax calculation unit 112 when the right image vehicle region similar to the left image vehicle region 302 is extracted, weighting is performed based on the background degree, so that the influence of the background can be reduced. Therefore, the accurate parallax of the preceding vehicle 102 can be calculated.
  • the parallax calculation unit 112 searches for a peripheral range centering on the right image similar region 503 in the right image 501, and narrows down the search range. Search time can be shortened. In particular, since the calculation process of weighting according to the background degree is performed in the process of extracting the right image vehicle region, it is possible to reduce the load of the calculation process and improve the processing speed by narrowing down the search range.
  • the left imaging unit 105 is a camera having a focal length f and an optical axis 1008 composed of a lens 1002 and an imaging surface 1003, and the right imaging unit 106 is a focal length f and a light consisting of a lens 1004 and an imaging surface 1005.
  • 1001 points in front of the camera is captured (from the optical axis 1008 Distance d 2) a point 1006 of the imaging surface 1003 of the left image capturing unit 105 to the position of d 4 pixels from the left in the image 301 point 1006 (optical axis 1108 )
  • 1001 points in the camera front is imaged at point 1007 of the imaging surface 1005 of the right image capturing unit 106 (the distance from the optical axis 1009 d 3), d 5 from the right in the image 501 point 1007 (optical axis 1009 Pixel position).
  • the point 1001 of the same object is imaged at the position of d 4 pixels from the optical axis 1008 to the left in the left image 301, and at the position of d 5 from the optical axis 1009 to the right in the right image 501 and d 4 + d 5 Pixel parallax occurs. Therefore, if the distance between the optical axis 1008 of the left imaging unit 105 and the point 1001 is x, the distance D from the stereo camera device 104 to the point 1001 can be obtained by the following equation.
  • a is the size of the image sensor on the imaging surfaces 1003 and 1005.
  • the stereo camera device 104 described above recognizes the preceding vehicle 102, which is an object for obtaining parallax information from the left image 301, as an image processing device, and includes a left image vehicle region 302 that includes an image of the preceding vehicle 102 in the left image 301. And a background degree is calculated for each pixel constituting the left image object area, a right image vehicle area similar to the left image vehicle area 302 is extracted from the right image 501 using the background degree, and the left image vehicle The parallax between the area and the right image vehicle area is calculated.
  • the stereo camera device 104 when the right image vehicle region similar to the left image vehicle region 302 is extracted, weighting is performed based on the background degree, so that the influence of the background can be further reduced. Therefore, accurate parallax information of the preceding vehicle 102 can be obtained, and the distance accuracy to the preceding vehicle 102 can be improved. Therefore, an accurate distance can be measured even with a preceding vehicle 102 that is farther than before.
  • the stereo camera device 104 described above extracts the right image similar region 503 from the right image 501 in advance using the left image vehicle region 302, and extracts the right image vehicle region from the right image 501 using the background degree.
  • the right image vehicle region may be extracted by searching the peripheral range of the right image similar region 503.
  • the search time can be shortened as compared with the case where the right image 501 is searched widely, and in particular, the calculation process weighting according to the background degree is performed in the process of extracting the right image vehicle region. , It is possible to reduce the processing load and improve the processing speed.
  • the present invention is not limited to the contents of the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
  • the right image similar region extraction unit 110 extracts the right image similar region 503, and the parallax calculation unit 112 searches the peripheral range of the right image similar region 503 to obtain the right image vehicle region.
  • the present invention is not limited to this.
  • the search area 502 having 4 vertices 2 may be moved horizontally to search for a right image vehicle area similar to the left image vehicle area 302.
  • the present invention is not limited to the above-described embodiments, and various designs can be made without departing from the spirit of the present invention described in the claims. It can be changed.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　対象物体までの距離を測定する際に、距離精度を向上させ、従来より遠い距離の対象物でも正確な距離を測定することができる画像処理装置及び画像処理方法を得るために、一対の撮像素子で同時刻に同方向を撮像した一対の画像の一方の画像から対象物の画像を含む一方画像対象物領域（３０２）を抽出する。そして、一方画像対象物領域を構成する複数の画像構成部分についてそれぞれ対象物画像構成部分（３０４）と背景画像構成部分（３０３）のいずれであるかの確度である背景度を算出する。そして、背景度を用いて他方の画像（５０１）内から一方画像対象物領域と類似した画像を有する他方画像対象物領域（５０３）を抽出して、一方画像対象物領域と他方画像対象物領域との視差を算出する。

Description

画像処理装置及び画像処理方法
　本発明は、複数の撮像素子で撮像した画像を画像処理する画像処理装置及び画像処理方法に関する。
　近年、ステレオカメラ装置など複数のカメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。ステレオカメラ装置とは、同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を算出し、その視差をもとに対象物の実空間上の位置を周知の変換式により算出し、対象物の認識を行う画像処理装置である。ステレオカメラ装置は、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる（特許文献１参照）。
特開2008-114627号公報
　撮像画像上の対象物は、カメラとの距離が長くなるに応じてその大きさが小さくなり、画像が粗くなる。したがって、ステレオカメラ装置は、対象物との距離が長くなるに応じて、対象物とその周囲の背景との区別が困難になり、視差の誤差が多くなるという問題を有している。
　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、対象物体までの距離を測定する際に、距離精度を向上させ、従来より遠い距離の対象物でも正確な距離を測定することができる画像処理装置及び画像処理方法を提供することである。
　上記課題を解決する本発明の画像処理装置及び画像処理方法は、一対の撮像素子で同時刻に同方向を撮像した一対の画像の一方の画像から対象物の画像を含む一方画像対象物領域を抽出する。そして、一方画像対象物領域を構成する複数の画像構成部分についてそれぞれ対象物画像構成部分と背景画像構成部分のいずれであるかの確度である背景度を算出する。そして、背景度を用いて他方の画像内から一方画像対象物領域と類似した画像を有する他方画像対象物領域を抽出して、一方画像対象物領域と前記他方画像対象物領域との視差を算出する。
　本発明によれば、他方の画像内から一方画像対象物領域と類似した他方画像対象物領域を抽出する際に、背景度により重み付けをしているので、背景の影響をより少なくすることができる。したがって、対象物の正確な視差情報を得ることができ、対象物までの距離精度を向上させることができる。したがって、従来よりも遠い距離の対象物でも正確な距離を測定できる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本実施の形態におけるシステム概要図。 車両検出部における処理内容を説明するフローチャート。 車両領域出力処理の出力内容を説明する図。 右画像類似領域抽出部の処理内容を説明するフローチャート。 右画像類似領域抽出処理の内容を説明する図。 背景度算出部の処理内容を説明するフローチャート。 車両知識による背景度算出処理の内容を説明する図。 重ね合わせ誤差による背景度算出処理の内容を説明する図。 視差算出部の処理内容を説明するフローチャート。 左右車両領域の視差算出処理の内容を説明する図。
　次に、本実施の形態について以下に図面を用いて説明する。
　本実施の形態では、本発明を自車両に搭載されたステレオカメラ装置の映像を用いて先行車両を検出するシステムに適用した場合について説明する。
　まず、図1を用いて本システムの概要について説明する。図1において、104は車両103に搭載されたステレオカメラ装置である。ステレオカメラ装置104は、画像処理により車両（自車両）103の前方を走行する先行車両102の存在を検出し、車両103から先行車両102までの相対距離、相対速度を算出する。
　ステレオカメラ装置104は、車両103の前方を撮像する一対の撮像手段として左撮像部（左カメラ）105と右撮像部（右カメラ）106を備えており、左撮像部105からの映像が左画像入力部107に入力され、右撮像部106からの映像が右画像入力部108に入力される。左撮像部105と右撮像部106は、ＣＣＤなどの撮像素子をそれぞれ有しており、互いに車幅方向に離間した位置から車両前方を撮像するように車両103に設置されている。
　車両検出部109は、左画像入力部107に入力された左画像301（図3参照）内を探索して、先行車両102が撮像されている画像領域を左画像車両領域（一方画像対象物領域）302として抽出する（一方画像対象物領域抽出手段）。右画像類似領域抽出部110は、右画像入力部108に入力された右画像501（図5参照）内を探索して、車両検出部109で抽出した左画像車両領域302と類似した画像領域を右画像類似領域（他方画像類似領域）503（図5参照）として抽出する（他方画像類似領域抽出手段）。
　背景度算出部111は、図3に示すように左画像車両領域302を構成する複数の画像構成部分として例えば各画素について、それぞれ先行車両102の画像を構成する車両画像構成部分304と先行車両102以外の背景の画像を構成する背景画像構成部分303のいずれであるかの確度である背景度を算出する。なお、背景度を算出する範囲は画素単位に限定されるものではなく、例えば、複数の画素を一つの範囲として、その背景度を算出してもよい。
　視差算出部112は、図5に示すように右画像501内の右画像類似領域503の周辺範囲を探索して、左画像車両領域302に最も類似する画像領域を右画像車両領域として抽出する。視差算出部112は、背景度を用いた重み付けをして探索を行う。そして、抽出した右画像車両領域と左画像車両領域302との視差を算出する。
　相対距離・相対速度算出部113では、視差算出部112で算出した先行車両102の視差から、先行車両102と車両103との相対距離、相対速度を算出する。車両103は、相対距離・相対速度算出部113で算出した先行車両102との相対距離・相対速度の値に基づき、アクセルやブレーキを制御して、例えば先行車両102に追従する制御や、先行車両102への追突を防止する制御などの走行制御を行う。
　次に、図2と図3を用いて車両検出部109で行う処理について説明する。図2は、車両検出部109で行われる処理内容を説明するフローチャート、図3は、左画像車両領域出力処理207の出力内容を説明する図である。
　まず、左画像取得処理201では、左撮像部105で右撮像部106と同時刻に撮像された左画像301の取得が行われる。左画像301は、左撮像部105からステレオカメラ装置104の左画像入力部107に入力される。そして、処理領域決定処理202では、左画像301内から先行車両102が撮像されている部分を抽出する処理を行うための処理領域を決定する処理が行われる。
　処理領域を決定する方法の１つとして、左撮像部105で撮像された左画像301内から、車両103が走行する道路101の車線（走行レーン）の両側の2本の車線境界線115を検出し、その検出した2本の車線境界線115に挟まれる領域を、処理領域として決定する方法を例として挙げることができる。
　次に、縦エッジペア抽出処理203では、処理領域決定処理202で決定した処理領域内において画像301の縦(v)方向に画像輝度のエッジ成分がペアとなって存在する縦エッジのペアを抽出する処理が行われる。縦エッジを抽出するには、画像301を横(u)方向に探索し、画像301の輝度値の勾配が一定閾値以上の部分が、画像301の縦方向に連続して存在する部分を検出する。
　次に、パターンマッチ処理204において、縦エッジペア抽出処理204で抽出した２つの縦エッジで囲まれる矩形の領域に対して、車両学習データ205との輝度パターンの類似性を計算し、縦エッジペアで囲まれる矩形領域が、先行車両102を後方から撮像した部分であるか否かを判定する。類似性の判定には、ニューラルネットワークやサポートベクターマシンといった手法を使う。また、車両学習データ205は、予め様々な車両を後方から撮像した多数のポジティブデータ画像と、車両ではない被写体を撮像した多数のネガティブデータ画像を準備しておくものとする。
　次に、車両領域抽出処理206にて、パターンマッチ処理204で先行車両102を後方から撮像した画像であると判定された画像領域を左画像車両領域302として抽出し、車両領域出力処理207にて、左画像車両領域302の矩形の４頂点Ｐ１～Ｐ４の座標値Ｐ１(u1,v1)、Ｐ２(u1,v2)、Ｐ３(u2,v1)、Ｐ４(u2,v2)を出力する。
　ここで抽出した左画像車両領域302は、図3に示すように、矩形の画像領域内に、先行車両102を撮像した対象物画像構成部分（図3にて先行車両102の輪郭で囲まれる画像構成部分）304と、先行車両102ではない背景画像構成部分（図3にて画像領域302の外枠と先行車両102の輪郭との間で囲まれるハッチング部分）303の両方を含んでいる。
　次に、図4及び図5を用いてステレオカメラ装置104の右画像類似領域抽出部110の処理内容について詳細に説明する。図4は、右画像類似領域抽出部110で行われる処理内容を説明するフローチャート、図5は、右画像類似領域抽出処理の内容を説明する図である。
　まず、左画像・右画像取得処理401にて、車両検出部109で左画像301から抽出された左画像車両領域302と、右撮像部106で左画像301と同時刻に撮像された右画像501とを取得する。そして、右画像類似領域抽出処理402において、左画像車両領域302内に撮像されている先行車両102と同じ先行車両102が右画像501に撮像されている画像領域を、左画像車両領域302に類似する右画像類似領域503として右画像501から抽出する。
　図5に、左画像車両領域302に類似する右画像類似領域503を右画像501から抽出する方法を示す。ここで、ステレオカメラ装置104の左撮像部105と右撮像部106は出荷時のキャリブレーションによって平行化されていることを前提とする。平行化とは、左右撮像部105、106の光軸が平行であることを意味する。
　ここでは、左画像車両領域302と同じ大きさを有する矩形の探索領域502を用いて、右画像501内を探索し、左画像車両領域302と最も類似する探索領域502を右画像類似領域503として抽出する処理が行われる。
　具体的には、左画像車両領域302の矩形の４頂点の座標値がＰ１(u1,v1)、Ｐ２(u1,v2)、Ｐ３(u2,v1)、Ｐ４(u2,v2)であるとき、右画像501内の (0,v1)、(0,v2)、(u2-u1,v1)、(u2-u1,v2)を４頂点とする探索領域502を、右画像501において水平に１画素ずつ、あるいは複数画素ずつ移動させて探索する。そして、探索する際に、左画像車両領域302内の各画素の輝度値と、探索領域502内の各画素の輝度値との差分値をそれぞれ計算する。すなわち、左画像車両領域302と探索領域502の同じ画素位置における輝度の差分値を、各画素についてそれぞれ計算する。
　そして、各差分値を総和した領域内総和値が最も小さくなる位置の探索領域502を、左画像車両領域302に類似する右画像類似領域503として抽出する。ここで、ステレオカメラ装置104の左撮像部105と右撮像部106は出荷時のキャリブレーションによって、同じ感度特性を持つものとする。
　次に、右画像類似領域出力処理403において、右画像類似領域抽出処理402で抽出した右画像類似領域503の矩形の４頂点P11～P14の座標値P11(u3,v1)、P12(u3,v2)、P13(u4,v1)、P14(u4,v2)を出力する。
　次に、図6を用いてステレオカメラ装置104の背景度算出部111で行う処理について説明する。図6は、背景度算出部111で行われる処理フローである。
　まず、左右画像車両領域取得処理601では、車両検出部109から出力された左画像車両領域302と、右画像類似領域抽出部110から出力された右画像類似領域503を取得する。次に，左画像車両領域302の各画素が対象物画像構成部分と背景画像構成部分のいずれであるのかの確度である背景度を算出する処理が行われる。背景度は、第１の背景度算出処理602により第１の背景度が算出され、第２の背景度算出処理603により第２の背景度が算出され、最終背景度算出処理604により、第１の背景度と第２の背景度を総合した最終的な背景度が算出される。
　まず、第１の背景度算出処理602では、車両知識により背景度を算出する処理が行われる。ここでは、左画像車両領域302の各画素が対象物画像構成部分と背景画像構成部分のいずれであるのかの確度を事前に規定した車両知識を用いて背景度を算出する。背景度は、ある画素が背景となる確度を表した値であり、例えば背景度1のときはその画素は背景画像構成部分と判断でき、背景度0のときはその画素が対象物画像構成部分と判断できる。そして、背景度が0と1の中間のときはその値に比例した確度となる。図7に車両知識を用いた背景度の算出例を示す。ここでは，矩形で示した中心領域701内は車両の領域（背景度0）であり，左画像車両領域302の外枠端は背景である（背景度1）という車両知識を用いて、線形的に背景度を補完することにより各画素の背景度を算出する。
　次に、第２の背景度算出処理603では、重ね合わせ誤差により背景度を算出する処理が行われる。ここでは、左画像車両領域302と右画像類似領域503とを重ね合わせた際の輝度値の誤差の大小より各画素の背景度が算出される。図8に重ね合わせ誤差により各画素の背景度を算出する方法を示す。
　まず、左画像車両領域302と右画像類似領域503の座標起点が一致するように重ね合わせる。そして、左画像車両領域302と右画像類似領域503の同じ画素位置における輝度の差分値、および領域内の差分の平均Dと標準偏差σを計算する。そして、差分値がD±1σよりも小さいときは背景度0、差分値がD±1σ以上D±3σ以下のときは背景度0.5、差分値がD±3σよりも大きいときは背景度1.0として、各画素についてそれぞれ背景度を算出する。
　次に、最終背景度算出処理604では、第１の背景度算出処理602において出力される背景度と，第２の背景度算出処理603において出力される背景度を、各画素毎に掛け算を行い，各画素についてそれぞれ最終的な背景度を算出する。
　なお、上記では、第１の背景度と第２の背景度を用いて最終背景度を算出する場合について説明したが、この構成に限定されるものではなく、第１の背景度と第２の背景度の少なくとも一方を用いるものであればよく、また、背景度の算出方法も一例であり、他の方法によって背景度を算出してもよい。
　次に、図9を用いて視差算出部112の処理について説明する。図9は、視差算出部112で行われる処理内容を説明するフローチャートである。
　まず、左右画像車両領域取得処理901では、車両検出部109から出力される左画像車両領域302と、右画像類似領域抽出部110から出力される右画像類似領域503を取得する処理が行われる。
　次に、左右車両領域マッチング処理902では，背景度を用いて左画像車両領域302に最も類似する右画像車両領域（他方画像対象物領域）を右画像501から抽出する処理が行われる。ここでは、右画像501内で右画像類似領域503を中心として予め設定された大きさを有する周辺範囲内を探索する。
　そして、周辺範囲を探索する際に、左画像車両領域302内の各画素の輝度値と、探索領域502内の各画素の輝度値との差分値をそれぞれ計算する。すなわち、左画像車両領域302と探索領域502との同じ画素位置における輝度値の差分値を、各画素についてそれぞれ計算する。これにより、左画像車両領域302を右画像501に重ね合わせたときに互いに同じ位置となる画素の輝度値の差分値が各画素についてそれぞれ算出されたこととなる。
　そして、最終背景度算出処理604によって得られた各画素の背景度を用いて、各画素の輝度値の差分値に、重み付けを行う。ここでは、１から背景度を減算した値（１－背景度）に対して差分値を乗算した値（＝（１－背景度）×差分値）を、各画素について算出し、探索領域502内の総和値を算出する。そして、周辺範囲を探索した中で、総和値が一番小さくなる位置の探索領域502を、右画像車両領域として抽出する。
　次に、視差算出処理903では，背景度を用いた左右車両領域マッチング処理902の結果として得られる視差を出力する。ここで、左画像車両領域302の左上座標を(u1,v1)，右画像においてマッチングした右画像車両領域の左上座標を(u’1,v1)とすると，u1-u’1 が視差を表し，この値が出力される。
　視差算出部112では、左画像車両領域302に類似する右画像車両領域を抽出する際に、背景度により重み付けしているので、背景の影響をより少なくすることができる。したがって、先行車両102の正確な視差を算出することができる。
　また、視差算出部112では、右画像501内で右画像類似領域503を中心とした周辺範囲を探索して、その探索範囲を絞り込んでいるので、右画像501内を広く探索する場合と比較して、探索時間を短くすることができる。特に、右画像車両領域を抽出する処理において背景度により重み付けをする演算処理を行っているので、探索範囲を絞り込むことによって、演算処理の負荷を軽減し、処理速度の向上を図ることができる。
　次に、図10を用いて、相対距離・相対速度算出部113による相対距離の算出方法について説明する。まず、図10において、左画像301と右画像501の対応点1001（左右カメラの同一物体）のカメラからの距離を算出する方法を説明する。
　図10において、左の撮像部105は、レンズ1002と撮像面1003から成る焦点距離f、光軸1008のカメラであり、右撮像部106は、レンズ1004と撮像面1005から成る焦点距離f、光軸1009のカメラである。カメラ前方にある点1001は、左の撮像部105の撮像面1003の点1006（光軸1008からd2の距離）へ撮像され、左画像301では点1006（光軸1108からd4画素の位置）となる。同様に、カメラ前方にある点1001は、右の撮像部106の撮像面1005の点1007（光軸1009からd3の距離）に撮像され、右画像501では点1007（光軸1009からd5画素の位置）となる。
　このように同一の物体の点1001が、左画像301では光軸1008から左へd4画素の位置、右画像501では光軸1009から右へd5の位置に撮像され、d4+d5画素の視差が発生する。このため、左の撮像部105の光軸1008と点1001との距離をxとすると、以下の式により、ステレオカメラ装置104から点1001までの距離Dを求めることができる。
　　点1001と左の撮像部105との関係から　d2 : f = x : D
　　点1001と右の撮像部106との関係から　d3 : f = (d-x) : D
　従って、D = f × d / (d2 + d3) = f × d / { (d4 + d5 ) × a}　となる。ここで、aは撮像面1003、1005の撮像素子のサイズである。
　上記したステレオカメラ装置104は、画像処理装置として、左画像301から視差情報を取得する対象物である先行車両102を認識し、左画像301内に先行車両102の画像を含む左画像車両領域302を抽出し、左画像対象物領域を構成する各画素について背景度を算出し、背景度を用いて右画像501内から左画像車両領域302に類似した右画像車両領域を抽出し、左画像車両領域と右画像車両領域との視差を算出する。
　上記したステレオカメラ装置104によれば、左画像車両領域302に類似する右画像車両領域を抽出する際に、背景度により重み付けしているので、背景の影響をより少なくすることができる。したがって、先行車両102の正確な視差情報を得ることができ、先行車両102までの距離精度を向上させることができる。したがって、従来よりも遠い距離の先行車両102でも正確な距離を測定できる。
　そして、上記したステレオカメラ装置104は、左画像車両領域302を用いて右画像501から右画像類似領域503を予め抽出しておき、背景度を用いて右画像501内から右画像車両領域を抽出する際に、右画像類似領域503の周辺範囲を探索して右画像車両領域を抽出してもよい。これにより、右画像501内を広く探索する場合と比較して、探索時間を短くすることができ、特に、右画像車両領域を抽出する処理において背景度により重み付けをする演算処理を行っているので、その演算処理の負荷を軽減し、処理速度の向上を図ることができる。
　なお、本発明は、上述の実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の実施の形態では、右画像類似領域抽出部110で右画像類似領域503を抽出し、視差算出部112でその右画像類似領域503の周辺範囲内を探索して、右画像車両領域を抽出する場合を例に説明したが、これに限定されるものではない。例えば、右画像類似領域抽出処理402と同様に、右画像内において (0,v1)、(0,v2)、(u2-u1,v1)、(u2-u1,v2)を４頂点とする探索領域502を水平に移動させて、左画像車両領域302と類似する右画像車両領域を探索する構成としてもよい。
　なお、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
102　先行車両（対象物）
103　車両（自車両）
104　ステレオカメラ装置（画像処理装置）
105　左撮像部（左カメラ）
106　右撮像部（右カメラ）
107　左画像入力部
108　右画像入力部
109　車両検出部
110　右画像類似領域抽出部
111　背景度算出部
112　視差算出部
113　相対距離・相対速度算出部
302　左画像車両領域（一方画像対象物領域）
502　探索領域
503　右画像類似領域

Claims (5)

  1. 　一対の撮像素子で同時刻に同方向を撮像した一対の画像を画像処理する画像処理装置であって、
    　一方の画像から視差情報を取得する対象物を認識して、前記一方の画像内に該対象物の画像を含む撮像画像領域である一方画像対象物領域を抽出する一方画像対象物領域抽出手段と、
    　該一方画像対象物領域を構成する複数の画像構成部分について、それぞれ前記対象物の画像を構成する対象物画像構成部分と前記対象物以外の背景の画像を構成する背景画像構成部分のいずれであるかの確度である背景度を算出する背景度算出手段と、
    　前記背景度を用いて、前記他方の画像内から前記一方画像対象物領域と類似した画像を有する他方画像対象物領域を抽出し、該一方画像対象物領域と前記他方画像対象物領域との視差を算出する視差算出手段と、
    　を有することを特徴とする画像処理装置。
  2. 　前記一方画像対象物領域抽出手段により抽出された前記一方画像対象物領域を用いて前記他方の画像内を探索し、前記他方の画像内から前記一方画像車両領域と類似した画像を有する他方画像類似領域を抽出する他方画像類似領域抽出手段を備え、
    　前記視差算出手段は、他方画像内で他方画像類似領域を中心として予め設定された大きさを有する周辺範囲を探索して前記他方画像対象物領域を抽出することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記背景度算出手段は、
    　予め記憶された車両知識に基づいて前記背景度を算出する第１の背景度算出手段と、
    　前記一方画像対象物領域と前記他方画像対象物領域とを重ね合わせたときの互いに対応する画像構成部分の輝度差分に基づいて前記背景度を算出する第２の背景度算出手段の少なくとも一方を有することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記視差算出部は、前記一方画像対象物領域を前記他方画像に重ね合わせたときに互いに同じ位置となる画像構成部分の輝度値の差分値を各画像構成部分についてそれぞれ算出し、該各差分値に対して前記背景度を用いた重み付けを行い、該重み付けされた各差分値を用いて前記他方画像対象物領域を抽出することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
  5. 　一対の撮像素子で同時刻に同方向を撮像した一対の画像を画像処理する画像処理方法であって、
    　一方の画像から視差情報を取得する対象物を認識して、前記一方の画像内に該対象物の画像を含む撮像画像領域である一方画像対象物領域を抽出する工程と、
    　該一方画像対象物領域を構成する複数の画像構成部分について、それぞれ前記対象物の画像を構成する対象物画像構成部分と前記対象物以外の背景の画像を構成する背景画像構成部分のいずれであるかの確度である背景度を算出する工程と、
    　前記背景度を用いて、前記他方の画像内から前記一方画像対象物領域と類似した画像を有する他方画像対象物領域を抽出し、該一方画像対象物領域と前記他方画像対象物領域との視差を算出する工程と、
    　を含むことを特徴とする画像処理方法。
PCT/JP2012/077385 2011-11-11 2012-10-24 画像処理装置及び画像処理方法 WO2013069453A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/357,070 US9041778B2 (en) 2011-11-11 2012-10-24 Image processing device and method of processing image
EP12847189.3A EP2778603B1 (en) 2011-11-11 2012-10-24 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-247749 2011-11-11
JP2011247749A JP5587852B2 (ja) 2011-11-11 2011-11-11 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2013069453A1 true WO2013069453A1 (ja) 2013-05-16

Family

ID=48289836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077385 WO2013069453A1 (ja) 2011-11-11 2012-10-24 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US9041778B2 (ja)
EP (1) EP2778603B1 (ja)
JP (1) JP5587852B2 (ja)
WO (1) WO2013069453A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662441A (zh) * 2014-09-11 2017-05-10 日立汽车系统株式会社 图像处理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6970568B2 (ja) * 2017-09-22 2021-11-24 株式会社デンソー 車両の周辺監視装置と周辺監視方法
WO2019065218A1 (ja) * 2017-09-28 2019-04-04 株式会社小糸製作所 センサシステム
JP7204536B2 (ja) * 2019-03-05 2023-01-16 株式会社Soken 距離画像生成装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058885A (ja) * 2001-08-20 2003-02-28 Minolta Co Ltd 対応点探索方法および装置並びにコンピュータプログラム
JP2008114627A (ja) 2006-11-01 2008-05-22 Suzuki Motor Corp 車両の後側方監視装置
JP2009111921A (ja) * 2007-10-31 2009-05-21 Toshiba Corp 画像処理装置及び画像処理方法
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2881193B1 (ja) * 1998-03-02 1999-04-12 防衛庁技術研究本部長 ３次元物体認識装置および方法
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058885A (ja) * 2001-08-20 2003-02-28 Minolta Co Ltd 対応点探索方法および装置並びにコンピュータプログラム
JP2008114627A (ja) 2006-11-01 2008-05-22 Suzuki Motor Corp 車両の後側方監視装置
JP2009111921A (ja) * 2007-10-31 2009-05-21 Toshiba Corp 画像処理装置及び画像処理方法
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2778603A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662441A (zh) * 2014-09-11 2017-05-10 日立汽车系统株式会社 图像处理装置
CN106662441B (zh) * 2014-09-11 2019-06-18 日立汽车系统株式会社 图像处理装置

Also Published As

Publication number Publication date
EP2778603B1 (en) 2017-06-21
EP2778603A1 (en) 2014-09-17
US9041778B2 (en) 2015-05-26
US20140320612A1 (en) 2014-10-30
JP5587852B2 (ja) 2014-09-10
JP2013104740A (ja) 2013-05-30
EP2778603A4 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CN108692719B (zh) 物体检测装置
JP6014440B2 (ja) 移動物体認識装置
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
WO2014002692A1 (ja) ステレオカメラ
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP5587852B2 (ja) 画像処理装置及び画像処理方法
KR101818842B1 (ko) 운전지원장치, 거리감지방법 및 차로의 너비감지방법
WO2014065159A1 (ja) 距離測定装置及びそれを用いた車両
EP3428876A1 (en) Image processing device, apparatus control system, imaging device, image processing method, and program
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
KR20160063039A (ko) 3차원 데이터를 이용한 도로 인식 방법
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
WO2014050285A1 (ja) ステレオカメラ装置
JP7062904B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
JP2019164837A (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP6334773B2 (ja) ステレオカメラ
KR20220145080A (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
Lee et al. Study on Image Correction and Optimization of Mounting Positions of Dual Cameras for Vehicle Test. Energies 2021, 14, 4857

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12847189

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012847189

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012847189

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14357070

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE