WO2017188158A1 - 路面状態検出装置 - Google Patents

路面状態検出装置 Download PDF

Info

Publication number
WO2017188158A1
WO2017188158A1 PCT/JP2017/016088 JP2017016088W WO2017188158A1 WO 2017188158 A1 WO2017188158 A1 WO 2017188158A1 JP 2017016088 W JP2017016088 W JP 2017016088W WO 2017188158 A1 WO2017188158 A1 WO 2017188158A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
parallax
image
cameras
vertical direction
Prior art date
Application number
PCT/JP2017/016088
Other languages
English (en)
French (fr)
Inventor
敦俊 長谷部
Original Assignee
Ｋｙｂ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｋｙｂ株式会社 filed Critical Ｋｙｂ株式会社
Priority to EP17789441.7A priority Critical patent/EP3435327A1/en
Priority to US16/096,023 priority patent/US20190139177A1/en
Publication of WO2017188158A1 publication Critical patent/WO2017188158A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a road surface state detection device that detects a road surface state such as a road surface height using a stereo camera.
  • a control method of the active suspension system there is preview control that detects the road surface condition in front of the vehicle and appropriately controls various characteristics of the suspension.
  • a method for detecting the road surface condition in front of the vehicle a stereo method using parallax information of a road surface image in front of the vehicle captured by two cameras is known.
  • Patent Document 1 discloses that a first image and a second image obtained by photographing a road surface in stereo are projected on XY plane coordinates, and the plane coordinates are , A detection area centered on a specific coordinate (X, Y) is set, a parallax v1 when the image of the detection area is at the road surface position is calculated, and a coordinate (X ⁇ A technique is described in which a comparison area centered on v1, Y) is set, and the height of the detection area from the road surface is detected by comparing the image of the detection area with the image of the comparison area.
  • Patent Document 1 even when it is difficult to identify a road surface, it is possible to detect a difference in level of a step from the road surface.
  • the step of the road surface is often formed at a portion such as a seam caused by construction or repair of the road surface.
  • the step portions appear as horizontal edges, but hardly appear as the vertical edges.
  • the appearance of the coincidence peak with respect to the stereo image obtained by imaging the stepped portion of the road surface is dull, and thus the parallax is calculated with sufficient accuracy.
  • an object of the present invention is to be able to calculate parallax with high accuracy from a stereo image obtained by imaging a stepped portion of a road surface, and to detect a road surface state such as a road surface more accurately.
  • An object of the present invention is to provide a road surface state detecting device capable of performing
  • a road surface condition detection apparatus In order to achieve the above object, a road surface condition detection apparatus according to an aspect of the present invention is provided.
  • Stereo cameras each having a plurality of cameras arranged to capture parallax in the vertical direction by imaging the road surface in the moving direction of the object
  • the arithmetic processing circuit calculates the parallax by searching the corresponding points of the plurality of images taken by the plurality of cameras arranged so that the parallax is generated in the vertical direction in the vertical direction. Since the road surface state is detected based on the calculated parallax, the parallax can be calculated with high accuracy from a stereo image obtained by imaging the stepped portion of the road surface, and the height of the road surface and obstacles on the road surface can be calculated. Road surface conditions such as presence or absence can be detected with higher accuracy.
  • the arithmetic processing circuit extracts a component of an edge in the horizontal axis direction of the image based on the calculated parallax, and calculates a distance and a height between the plurality of edges adjacent to each other in the vertical axis direction of the image. It may be configured to discriminate the step and slope of the road surface from the relationship with the amount of displacement.
  • the present embodiment relates to a road surface state detection device that detects a road surface state such as the height of a road surface in front of a vehicle and the presence or absence of an obstacle using a plurality of images taken by a stereo camera.
  • the stereo camera has a plurality of, for example, two cameras.
  • Each of the plurality of cameras is arranged such that the front of the vehicle is an imaging range, is separated from each other so that parallax can occur in the vertical direction, and the optical axes thereof are parallel to each other.
  • the images captured by a plurality of cameras are processed by an arithmetic processing circuit.
  • the arithmetic processing circuit calculates disparity information between corresponding points of each image, calculates a distance from the stereo camera to the detection target point on the road surface based on the calculated disparity information and the stereo camera parameter information. Based on the measured distance, road surface conditions such as the height of the road surface and the presence or absence of obstacles on the road surface are detected.
  • FIG. 1 is a diagram for explaining a method of calculating a distance L from a stereo camera 10 arranged so that parallax can occur in the vertical direction to a detection target point K on the road surface.
  • the detection target point K is on the optical axis 11B of the lower camera 10B.
  • the distance D from the stereo camera 10 (the reference long line C) to the detection target point K is calculated by the following equation 1.
  • D (f ⁇ d) / (z1 ⁇ z2) (1)
  • d is the distance between the cameras
  • f the focal length of the lens.
  • z1-z2 is the vertical parallax between the two images taken by the upper and lower cameras 10A, 10B
  • z1 is the z-coordinate value of the point at which the detection target point K is imaged on the imaging surface of the upper camera 10A
  • Z2 is the value of the z coordinate of the point where the detection target point K is imaged on the imaging surface of the lower camera 10B.
  • L D cos ⁇ (3) Is calculated by
  • H is the height from the road surface of the optical axis 11A of the upper camera 10A.
  • the distance L and the height h from the stereo camera 10 to the detection target point K on the road surface can be calculated using the vertical parallax information calculated by the stereo method.
  • FIG. 3 is a block diagram showing the configuration of the road surface condition detection device 1 of the present embodiment.
  • the road surface state detection device 1 of this embodiment includes a stereo camera 10, an arithmetic processing circuit 20, and a memory 30. Note that the memory 30 may be provided in the arithmetic processing circuit 20.
  • the stereo camera 10 has two cameras 10A and 10B.
  • the two cameras 10A and 10B are arranged such that the front of the vehicle is an imaging range, are separated from each other so that parallax occurs in the vertical direction, and their optical axes are parallel to each other.
  • the cameras 10A and 10B are configured to include an image pickup device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Imaging signals obtained by the respective cameras 10A and 10B are supplied to the arithmetic processing circuit 20.
  • an image pickup device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Imaging signals obtained by the respective cameras 10A and 10B are supplied to the arithmetic processing circuit 20.
  • the arithmetic processing circuit 20 is a device that performs arithmetic processing for parallax calculation and road surface displacement detection using the memory 30, and is configured by, for example, an FPGA (Field-Programmable Gate Array).
  • FPGA Field-Programmable Gate Array
  • the present invention is not limited to this, and may be configured by other integrated circuits such as ASIC (Application Specific Specific Integrated Circuit).
  • the arithmetic processing circuit 20 functionally includes an image processing unit 21 and a road surface displacement calculating unit 22.
  • the image processing unit 21 digitizes the two video signals supplied from the stereo camera 10 to form an image, and performs preprocessing, such as filter processing such as distortion correction of each image and noise removal from each image. Further, the image processing unit 21 uses the one pre-processed image (the image of the camera 10A) as the standard image and the other image (the image of the camera 10B) as the reference image, and sets the correspondence between the images in the vertical direction. Search to generate vertical disparity information.
  • the road surface displacement calculation unit 22 calculates the coordinates of the two expected tire travel loci that are expected to be followed by the left and right tires of the vehicle in the image space of the stereo camera 10.
  • FIG. 4 is a diagram showing a predicted tire travel locus in the image space. These expected tire travel loci 61R and 61L may be obtained as approximate positions including a margin from the distance between the left and right tires of the vehicle, the position of the stereo camera 10, and the like. Further, the road surface displacement calculation unit 22 can also calculate the expected tire travel loci 61R and 61L based on the steering angle information of the vehicle detected by the steering angle sensor 50 provided in the vehicle.
  • the road surface displacement calculating unit 22 calculates the distance L from the stereo camera 10 and the road surface height h of one or more detection target points on the expected tire travel loci 61R and 61L in the vertical direction obtained by the image processing unit 21. Calculation is performed using parallax information. At this time, the road surface displacement calculating unit 22 detects the distance L from the stereo camera 10 and the road surface height h of the plurality of detection target points K based on the vertical parallax information of the image of one frame. Also good. Then, the road surface displacement calculation unit 22 generates road surface displacement information for preview control of the suspension system 60 from the calculated distance L and height h information, and supplies the road surface displacement information to the suspension system 60.
  • the imaging signals respectively captured by the two cameras 10A and 10B of the stereo camera 10 are supplied to the arithmetic processing circuit 20.
  • the arithmetic processing circuit 20 performs preprocessing such as distortion correction and noise removal on each imaging signal in the image processing unit 21, and stores the two images obtained as a result in the memory 30.
  • an image obtained by the camera 10A is a standard image
  • an image obtained by the camera 10B is a reference image.
  • the arithmetic processing circuit 20 searches the corresponding point between the standard image and the reference image in the vertical direction in the image processing unit 21, and generates vertical parallax information of both images.
  • FIG. 5 is a flowchart illustrating a procedure for generating disparity information in the vertical direction in the arithmetic processing circuit 20 of the road surface condition detection device 1 according to the present embodiment.
  • the image processing unit 21 reads a standard image and a reference image from the memory 30 (step S101).
  • the image processing unit 21 sets the size of the parallax search range and the size of the parallax search window used for searching for corresponding points between the base image and the reference image in the vertical direction (step S102).
  • the image processing unit 21 repeats the matching process while moving the parallax search window one pixel at a time within the parallax search range, so that for each pixel (target pixel) of the reference image, a corresponding reference image pixel.
  • a vertical search for searching in the vertical direction is performed as follows.
  • the image processing unit 21 first sets a pixel corresponding to the origin, such as the lower left corner, of the reference image as the first target pixel (step S103), and a parallax search window including the target pixel at a predetermined position. Stereo matching is performed between the image and the image of the parallax search window that includes the pixel corresponding to the origin of the reference image at a predetermined position, and the degree of coincidence is calculated (step S104).
  • the image processing unit 21 moves the position of the parallax search window of the reference image in the vertical direction by one pixel (step S105), and similarly calculates the degree of coincidence by stereo matching (step S104). This process is repeated within the set parallax search range (step S106).
  • the image processing unit 21 determines the vertical direction between the parallax search window and the first parallax search window when the maximum degree of coincidence is obtained from all the degrees of coincidence calculated by repeating stereo matching within the parallax search range. The distance is calculated as parallax (step S107).
  • the image processing unit 21 sets the target pixel of the reference image as the next pixel (step S108), and similarly performs a vertical search. In this way, the vertical search is repeated for all the pixels of the reference image (step S109).
  • FIG. 6 is a diagram illustrating an example of an image of a road surface having a step in front of the vehicle.
  • the road surface 80 has a step 81 along the direction orthogonal to the route direction, such as a seam formed by road surface construction or road surface repair.
  • the step 81 that can be formed on the road surface 80 due to an artificial work or the like appears mainly as an edge component in the horizontal direction in the image captured by the stereo camera 10.
  • FIG. 7A to 7D are diagrams illustrating an example of the vertical search performed when the parallax search range 91 includes the image 81I of the step 81 as described above.
  • the top is a standard image and the bottom is a reference image.
  • FIG. 7A shows a state of the first stereo matching in the parallax search range 91, and the parallax search range 91 of the base image and the reference image is at the same position in the coordinate space of the image.
  • FIG. 7B shows a state of stereo matching when the position of the parallax search window 92 with respect to the reference image is moved in the vertical direction by one pixel within the parallax search range 91, and FIG.
  • FIG. 7C shows the parallax search window for the reference image within the parallax search range 91.
  • FIG. 7D shows the position when the position of the parallax search window 92 relative to the reference image is moved in the vertical direction by three pixels in the parallax search range 91. It is a state of stereo matching.
  • the size of the parallax search window 92 is 4 ⁇ 4 pixels. Note that the size of the parallax search window 92 is not limited to 4 ⁇ 4 pixels, and may be changed to various sizes. It is good also as a parallax search window from which the number of vertical and horizontal pixels differs.
  • the vertical search can calculate the parallax with high accuracy from the stereo image obtained by imaging the stepped portion of the road surface, and is effective for improving the detection accuracy of the road surface height and road surface conditions such as unevenness. .
  • the vertical disparity information obtained as described above is stored in the memory 30. Thereafter, the road surface displacement calculation unit 22 calculates the distance L from the stereo camera 10 to the detection target point K and the road surface height h of the detection target point K based on the vertical parallax information stored in the memory 30. These are calculated and supplied to the suspension system 60 as road surface displacement information.
  • the road surface state detection device 1 can calculate the parallax information with higher accuracy in a scene in which a step image is included in the road surface image captured by the stereo camera 10. More highly accurate road surface displacement information can be generated.
  • the image processing unit 21 of the arithmetic processing circuit 20 extracts a horizontal edge component from the image captured by the stereo camera 10, and outputs position information of the edge component in the image coordinate space to the road surface displacement calculation unit 22.
  • the road surface displacement calculation unit 22 determines the level difference and the slope of the road surface from the relationship between the distance between a plurality of edges adjacent to each other in the vertical axis direction of the image coordinate space and the amount of displacement of the road surface height corresponding to the position of each edge. Is determined.
  • the road surface displacement calculation unit 22 determines that the road surface height continuously increases or decreases at intervals shorter than the slope determination threshold in the vertical axis direction of the image coordinate space as an inclination, A case where the height of the road surface suddenly increases or decreases at an interval determined based on a threshold for determining a step smaller than the threshold for determining a slope in the vertical direction of the coordinate space is determined as a step.
  • the present invention is not limited to the above embodiment, and various modifications are possible within the scope of the technical idea of the present invention.
  • the two cameras 10A and 10B of the stereo camera 10 may be arranged such that the optical axes 11A and 11B are spaced apart from each other in the vertical direction so that parallax can occur in the vertical direction.
  • the base long axis C of the two cameras 10A and 10B may be set to the vertical direction.
  • the two cameras 10A and 10B may be spaced apart from each other in the horizontal direction and the vertical direction so as to generate a left / right / up / down parallax.
  • the parallax can be calculated with high accuracy from the stereo image obtained by imaging the stepped portion of the road surface, and the road surface state such as the road surface height can be detected with higher accuracy. .
  • the present invention can be applied not only to a vehicle traveling on a road surface, but also to various transportation devices and robots that move on a traveling surface such as an indoor floor surface, Any moving object can be applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

この路面状態検出装置は、それぞれ車両の前方の路面を撮像し、垂直方向に視差が生じるように配置された複数のカメラを有するステレオカメラと、ステレオカメラの複数のカメラによって撮像された複数の画像の対応点を垂直方向に探索して視差を算出し、算出された視差をもとに路面の状態として路面の高さを算出する演算処理回路とを具備して構成される。

Description

路面状態検出装置
　本発明は、ステレオカメラを用いて路面の高さなどの路面状態を検出する路面状態検出装置に関する。
　アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、２台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。
　このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献１には、路面をステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ－ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。この特許文献１では、路面の識別が困難である場合でも、路面からの段差の高低差を検出することができる、としている。
特開２０１４－８９５４８号公報
　ステレオカメラにおいて水平方向のみの視差が生じるように２つのカメラが左右に水平方向に離間して配置されている場合、ステレオマッチングのための基準画像と参照画像との対応点探索は水平方向に行われる。
　これに対し、路面の段差は、路面の施工や補修などにより生じた継目などの部分にできることが多い。このように路面の継目などの部分にできる段差をステレオカメラで撮像した画像において、段差の部分は水平方向のエッジとして多く現れるものの、垂直方向のエッジとして現れにくい。このため、ステレオマッチングのための対応点探索を水平方向に行う方法では、路面の段差部分を撮像したステレオ画像に対して一致度のピークの現れ方が鈍り、このため十分な精度で視差を算出できず、路面の高さを高精度に検出することが難しいという問題があった。
　以上のような事情に鑑み、本発明の目的は、路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さなどの路面状態をより精度良く検出することのできる路面状態検出装置を提供することにある。
　上記目的を達成するため、本発明の一形態に係る路面状態検出装置は、
　それぞれ物体の移動方向の路面を撮像し、垂直方向に視差が生じるように配置された複数のカメラを有するステレオカメラと、
　前記ステレオカメラの前記複数のカメラによって撮像された複数の画像の対応点を垂直方向に探索して視差を算出し、前記算出された視差をもとに前記路面の状態を検出する演算処理回路とを具備して構成されるものである。
　本発明にかかる路面状態検出装置では、演算処理回路が、垂直方向に視差が生じるように配置された複数のカメラによって撮像された複数の画像の対応点を垂直方向に探索して視差を算出し、前記算出された視差をもとに前記路面の状態を検出するので、路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さや路面上の障害物の有無などの路面状態をより精度良く検出することができる。
　また、前記演算処理回路は、前記算出された視差をもとに前記画像の横軸方向のエッジの成分を抽出し、前記画像の縦軸方向において互いに隣り合う複数の前記エッジ間の距離および高さの変位量との関係から前記路面の段差および傾斜を判別するように構成されたものであってよい。
垂直方向に視差が生じ得るように配置されたステレオカメラから路面上の検出対象点までの距離を算出する方法を説明するための図である。 ステレオカメラと検出対象点を含む路面を側方から示す図である。 本発明に係る一実施形態の路面変位検出装置の構成を示すブロック図である。 画像空間におけるタイヤ予想走行軌跡を示す図である。 本実施形態の路面状態検出装置の演算処理回路における垂直方向の視差情報の生成手順を示すフローチャートである。 車両前方の段差を有する路面の画像の例を示す図である。 垂直探索の例において視差探索範囲内での最初のステレオマッチングの様子を示す図である。 垂直探索の例において視差探索範囲内で参照画像に対する視差探索窓の位置を１画素分垂直方向に移動させたときのステレオマッチングの様子を示す図である。 垂直探索の例において視差探索範囲内で参照画像に対する視差探索窓の位置を２画素分垂直方向に移動させたときのステレオマッチングの様子を示す図である。 垂直探索の例において視差探索範囲内で参照画像に対する視差探索窓の位置を３画素分垂直方向に移動させたときのステレオマッチングの様子を示す図である。 水平探索時のステレオマッチングの様子を示す図である。
　以下、図面を参照しながら、本発明の路面状態検出装置に係る一実施形態を説明する。
　［概要］
　本実施形態は、ステレオカメラによって撮影された複数の画像を用いて、車両前方の路面の高さや障害物有無などの路面状態を検出する路面状態検出装置に関するものである。
　ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両前方を撮像範囲とし、垂直方向に視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。
　複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像の対応点同士の視差情報を算出し、算出した視差情報とステレオカメラのパラメータ情報とをもとにステレオカメラから路面の検出対象点までの距離を算出し、算出された距離をもとに、路面の高さや路面上の障害物有無などの路面状態を検出する。
　図１は垂直方向に視差が生じ得るように配置されたステレオカメラ１０から路面上の検出対象点Ｋまでの距離Ｌを算出する方法を説明するための図である。説明の簡単のため、検出対象点Ｋは、下のカメラ１０Ｂの光軸１１Ｂ上に存在することとする。同図において、ステレオカメラ１０（の基準長線Ｃ）から検出対象点Ｋまでの距離Ｄは下記の式１により算出される。
　Ｄ＝（ｆ×ｄ）／（ｚ１－ｚ２）　　　・・・（１）
　ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｚ１－ｚ２は上下のカメラ１０Ａ、１０Ｂによって撮像された２つの画像の垂直方向の視差であり、ｚ１は上のカメラ１０Ａの撮像面において検出対象点Ｋが結像される点のｚ座標の値、ｚ２は下のカメラ１０Ｂの撮像面において検出対象点Ｋが結像される点のｚ座標の値である。
　図２は、上記のステレオカメラ１０を用いて路面上の検出対象点Ｋの高さｈを算出する方法を説明する図である。
　同図に示すように、検出対象点Ｋの高さｈは、上のカメラ１０Ａの光軸１１Ａから角度θだけ下方に傾いた方向に見えるので、
　ｈ＝Ｈ－Ｄｓｉｎθ　　　・・・（２）
により算出される。
　また、カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの水平方向（Ｙ軸方向）の距離Ｌは、
　Ｌ＝Ｄｃｏｓθ　　　・・・（３）
により算出される。
　ここで、Ｈは、上のカメラ１０Ａの光軸１１Ａの路面からの高さである。
　このように、ステレオ法により算出された垂直方向の視差情報を用いて、ステレオカメラ１０から路面上の検出対象点Ｋまでの距離Ｌと高さｈを算出することができる。
　［本実施形態の路面状態検出装置の構成］
　以下、本実施形態の路面状態検出装置の構成をより詳細に説明する。
　図３は本実施形態の路面状態検出装置１の構成を示すブロック図である。
　同図に示すように、本実施形態の路面状態検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリ３０とを備える。なお、メモリ３０は演算処理回路２０内に設けられていてもよい。
　ステレオカメラ１０は、２つのカメラ１０Ａ、１０Ｂを有する。２つのカメラ１０Ａ、１０Ｂは、車両前方を撮像範囲とし、垂直方向において視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。
　カメラ１０Ａ、１０Ｂは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ａ、１０Ｂにより各々得られた撮像信号は演算処理回路２０に供給される。
　演算処理回路２０は、メモリ３０を用いて視差算出および路面変位検出のための演算処理を行うデバイスであり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。
　演算処理回路２０は、機能的には、画像処理部２１と、路面変位算出部２２とを有する。
　画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像（カメラ１０Ａの画像）を基準画像、他方の画像（カメラ１０Ｂの画像）を参照画像として各々の画像の対応関係を垂直方向に探索して、垂直方向の視差情報を生成する。
　路面変位算出部２２は、ステレオカメラ１０の画像空間において車両の左右のタイヤがこれから辿ることが予測される２本のタイヤ予想走行軌跡の座標を算出する。図４は画像空間におけるタイヤ予想走行軌跡を示す図である。これらのタイヤ予想走行軌跡６１Ｒ、６１Ｌは、車両のタイヤの左右の間隔と、ステレオカメラ１０の位置などから、マージンを含めたおおよその位置として求められればよい。また、路面変位算出部２２は、車両に設けられた舵角センサー５０によって検出された車両の舵角情報をもとにタイヤ予想走行軌跡６１Ｒ、６１Ｌを算出することも可能である。
　路面変位算出部２２は、タイヤ予想走行軌跡６１Ｒ、６１Ｌ上の１以上の検出対象点の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを、画像処理部２１により求められた垂直方向の視差情報を用いて算出する。このとき路面変位算出部２２は、１つのフレームの画像の垂直方向の視差情報をもとに、複数の検出対象点Ｋの、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを検出してもよい。そして、路面変位算出部２２は、算出した距離Ｌおよび高さｈの情報からサスペンションシステム６０のプレビュー制御のための路面変位情報を生成して、サスペンションシステム６０に供給する。
　［路面状態検出装置１の動作］
　次に、本実施形態の路面状態検出装置１の動作を説明する。
　まず、ステレオカメラ１０の２つのカメラ１０Ａ、１０Ｂによって各々撮像された撮像信号は演算処理回路２０に供給される。演算処理回路２０は、画像処理部２１にて、各々の撮像信号に対して歪み補正、ノイズの除去などの前処理を行い、その結果得られた２つの画像をメモリ３０に保存する。ここで、カメラ１０Ａによって得られた画像を基準画像、カメラ１０Ｂによって得られた画像を参照画像とする。
　次に、演算処理回路２０は、画像処理部２１にて、基準画像と参照画像との対応点を垂直方向に探索し、両画像の垂直方向の視差情報を生成する。
　図５は、本実施形態の路面状態検出装置１の演算処理回路２０における垂直方向の視差情報の生成手順を示すフローチャートである。
　まず、演算処理回路２０において、画像処理部２１は、メモリ３０から基準画像と参照画像を読み込む（ステップＳ１０１）。
　画像処理部２１は、基準画像と参照画像との対応点を垂直方向に探索するために用いられる視差探索範囲のサイズと視差探索窓のサイズを設定する（ステップＳ１０２）。画像処理部２１は、視差探索窓を視差探索範囲内で１画素ずつ垂直方向に移動させながらマッチング処理を繰り返すことによって、基準画像の画素（注目画素）毎に、これに対応する参照画像の画素を垂直方向に探索する垂直探索を次のように行う。
　この垂直探索では、画像処理部２１は、まず、基準画像の例えば左下隅などの原点にあたる画素を最初の注目画素として設定し（ステップＳ１０３）、この注目画素を所定の位置に含む視差探索窓の画像と、同じく参照画像の原点にあたる画素を所定の位置に含む視差探索窓の画像とのステレオマッチングを行い、一致度を算出する（ステップＳ１０４）。
　次に、画像処理部２１は、参照画像の視差探索窓の位置を１画素分垂直方向に移動させ（ステップＳ１０５）、同様にステレオマッチングにより一致度を算出する（ステップＳ１０４）。この処理を設定された視差探索範囲内で繰り返す（ステップＳ１０６）。
　画像処理部２１は、視差探索範囲内でのステレオマッチングの繰り返しによって算出されたすべての一致度のなかから最大一致度が得られたときの視差探索窓と最初の視差探索窓との垂直方向の距離を視差として算出する（ステップＳ１０７）。
　次に、画像処理部２１は、基準画像の注目画素を次の画素にして（ステップＳ１０８）、同様に垂直探索を行う。このようにして基準画像のすべての画素に対して垂直探索を繰り返す（ステップＳ１０９）。
　次に、垂直探索の例を説明する。
　図６は、車両前方の段差を有する路面の画像の例を示す図である。
　同図に示すように、この例では、路面８０に、例えば、路面施工や路面補修などにより生じた継目など、路線方向に対して直交する方向に沿った段差８１が存在する。このように人為的な作業などに伴って路面８０に出来る段差８１は、ステレオカメラ１０により撮像された画像に主に水平方向のエッジ成分として現れる。
　図７Ａないし図７Ｄは、このような段差８１の像８１Ｉを視差探索範囲９１に含む場合に行われる垂直探索の例を示す図である。これらの同図において上は基準画像、下は参照画像である。図７Ａは視差探索範囲９１内での最初のステレオマッチングの様子であり、基準画像および参照画像の視差探索範囲９１は画像の座標空間において同一位置にある。図７Ｂは視差探索範囲９１内で参照画像に対する視差探索窓９２の位置を１画素分垂直方向に移動させたときのステレオマッチングの様子、図７Ｃは視差探索範囲９１内で参照画像に対する視差探索窓９２の位置を２画素分垂直方向に移動させたときのステレオマッチングの様子、図７Ｄは視差探索範囲９１内で参照画像に対する視差探索窓９２の位置を３画素分垂直方向に移動させたときのステレオマッチングの様子である。この例では、視差探索窓９２のサイズは、４×４画素とする。なお、視差探索窓９２のサイズは４×４画素に限定されず、その他、様々なサイズに変更してもよい。縦横の画素数が異なる視差探索窓としてもよい。
　この例では、図７Ｃのように、視差探索範囲９１内で参照画像に対する視差探索窓９２の位置を２画素分垂直方向に移動させたときの一致度に急峻なピークが現れ、高い精度で視差が得られることが分かる。これに対し、水平探索では、図８に示すように、水平方向に移動させた先々の視差探索窓９２内の画像に大きな変化が現れないため、視差を精度良く算出することが困難である。このように、垂直探索は、路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さや、凹凸などの路面状態の検出精度を向上させるために有効である。
　上記のようにして得られた垂直方向の視差情報はメモリ３０に保存される。この後、路面変位算出部２２は、メモリ３０に保存された垂直方向の視差情報をもとに、ステレオカメラ１０から検出対象点Ｋまでの距離Ｌおよび検出対象点Ｋの路面の高さｈを算出し、これらをサスペンションシステム６０に路面変位情報として供給する。
　このように、本実施形態の路面状態検出装置１は、ステレオカメラ１０により撮像された路面の画像において段差の像が含まれるような場面において、視差情報をより高精度に算出することができ、より高精度の路面変位情報を生成することができる。
　［段差および傾斜の判別］
　本実施形態の路面状態検出装置では、路面の段差を路面の傾斜と分けて判別することが可能である。
　演算処理回路２０の画像処理部２１は、ステレオカメラ１０により撮像された画像から水平方向のエッジ成分を抽出し、そのエッジ成分の、画像の座標空間における位置情報を路面変位算出部２２に出力する。路面変位算出部２２は、画像の座標空間の縦軸方向に互いに隣り合う複数のエッジ間の距離と、各エッジの位置に対応する路面の高さの変位量との関係から路面の段差および傾斜を判別する。例えば、路面変位算出部２２は、画像の座標空間の縦軸方向において、斜面判別用の閾値よりも短い間隔で路面の高さが連続的に高くまたは低くなる場合を傾斜と判別し、画像の座標空間の縦軸方向において斜面判別用の閾値より小さい段差判別用の閾値を基準に判定される間隔で路面の高さが急に高くまたは低くなる場合を段差と判別する。
　［補足等］
　本発明は上記の実施形態に限らず、本発明の技術思想の範囲で様々な変形が可能である。
　ステレオカメラ１０の２つのカメラ１０Ａ、１０Ｂは垂直方向に視差が生じ得るように、各々の光軸１１Ａ、１１Ｂが垂直方向に互いに離間して配置されればよい。その際、２つのカメラ１０Ａ、１０Ｂの基線長軸Ｃの方向を垂直方向にすればよい。あるいは、２つのカメラ１０Ａ、１０Ｂは互いに左右上下の視差が生じるように水平方向および垂直方向に離間して配置されてもかまわない。
　以上のように、本実施形態によれば、路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さなどの路面状態をより精度良く検出することができる。
　さらに、本発明は、路面を走行する車両に適用されるだけでなく、室内の床面などの走行面を移動する各種運搬用の機器やロボットなどにも適用することが可能であり、その他、移動する物体であれば適用され得るものである。
　　１…路面状態検出装置
　１０…ステレオカメラ
　１０Ａ…上のカメラ
　１０Ｂ…下のカメラ
　２０…演算処理回路
　２１…画像処理部
　２２…路面変位算出部
　３０…メモリ
　６０…サスペンションシステム

Claims (3)

  1. 　それぞれ物体の移動方向の路面を撮像し、垂直方向に視差が生じるように配置された複数のカメラを有するステレオカメラと、
    　前記ステレオカメラの前記複数のカメラによって撮像された複数の画像の対応点を垂直方向に探索して視差を算出し、前記算出された視差をもとに前記路面の状態を検出する演算処理回路とを具備する
    　路面状態検出装置。
  2. 　請求項１に記載の路面状態検出装置であって、
    　前記演算処理回路は、前記算出された視差をもとに前記路面の高さを算出するように構成された
    　路面状態検出装置。
  3. 　請求項２に記載の路面状態検出装置であって、
    　前記演算処理回路は、前記算出された視差をもとに前記画像の横軸方向のエッジの成分を抽出し、前記画像の縦軸方向において互いに隣り合う複数の前記エッジ間の距離および高さの変位量との関係から前記路面の段差および傾斜を判別するように構成された
    　路面状態検出装置。
PCT/JP2017/016088 2016-04-27 2017-04-21 路面状態検出装置 WO2017188158A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17789441.7A EP3435327A1 (en) 2016-04-27 2017-04-21 Device for detecting road surface state
US16/096,023 US20190139177A1 (en) 2016-04-27 2017-04-21 Device for detecting road surface state

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-088979 2016-04-27
JP2016088979A JP2017199178A (ja) 2016-04-27 2016-04-27 路面状態検出装置

Publications (1)

Publication Number Publication Date
WO2017188158A1 true WO2017188158A1 (ja) 2017-11-02

Family

ID=60160430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/016088 WO2017188158A1 (ja) 2016-04-27 2017-04-21 路面状態検出装置

Country Status (4)

Country Link
US (1) US20190139177A1 (ja)
EP (1) EP3435327A1 (ja)
JP (1) JP2017199178A (ja)
WO (1) WO2017188158A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6849569B2 (ja) * 2017-09-29 2021-03-24 トヨタ自動車株式会社 路面検出装置
JP7040912B2 (ja) * 2017-10-19 2022-03-23 株式会社三共 遊技機
US11373532B2 (en) 2019-02-01 2022-06-28 Hitachi Astemo, Ltd. Pothole detection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
JP2014089548A (ja) * 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
KR101362462B1 (ko) * 2012-07-16 2014-02-12 한양대학교 산학협력단 스테레오 카메라를 이용한 장애물 검출 장치 및 방법
JP6036840B2 (ja) * 2012-10-26 2016-11-30 株式会社ニコン 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム
JP6344638B2 (ja) * 2013-03-06 2018-06-20 株式会社リコー 物体検出装置、移動体機器制御システム及び物体検出用プログラム
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP6674959B2 (ja) * 2015-10-22 2020-04-01 京セラ株式会社 視差算出装置、ステレオカメラ装置、車両および視差算出方法
JP6662388B2 (ja) * 2015-11-27 2020-03-11 株式会社リコー 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
WO2017159056A1 (ja) * 2016-03-17 2017-09-21 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
JP2014089548A (ja) * 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MORITO SHIOHARA ET AL.: "Real-times Stereoscopic Rangefinding Between Vehicles", IEICE TECHNICAL REPORT IE 96-47 TO 56 GAZO KOGAKU, vol. 96, no. 280, 27 September 1996 (1996-09-27), pages 13 - 18 *

Also Published As

Publication number Publication date
US20190139177A1 (en) 2019-05-09
EP3435327A1 (en) 2019-01-30
JP2017199178A (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
JP6577661B2 (ja) 路面変位検出装置およびサスペンション制御方法
JP4676373B2 (ja) 周辺認識装置、周辺認識方法、プログラム
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
JP4958279B2 (ja) 物体検出装置
JP6209648B1 (ja) ステレオカメラの設置パラメータ校正方法
WO2017188158A1 (ja) 路面状態検出装置
JP2008092459A (ja) 周辺監視装置
JP2008158640A (ja) 移動物体検出装置
JP6895371B2 (ja) 情報処理装置及びサスペンション制御方法
WO2019031137A1 (ja) 路側物検出装置、路側物検出方法及び路側物検出システム
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP2018013985A (ja) 物体検知装置
JP2008309519A (ja) 画像処理を用いた物体検出装置
JP3868915B2 (ja) 前方監視装置及びその方法
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP2005170290A (ja) 障害物検出装置
JP2007199932A (ja) 画像処理装置及びその方法
JP6841553B2 (ja) 撮像装置
JP4106163B2 (ja) 障害物検出装置及びその方法
US7899212B2 (en) Image processing apparatus and image processing method
JP5432545B2 (ja) 対象物検出装置
JP7134780B2 (ja) ステレオカメラ装置
JP6072508B2 (ja) 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
JP2005267331A (ja) 車両周囲監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017789441

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017789441

Country of ref document: EP

Effective date: 20181025

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17789441

Country of ref document: EP

Kind code of ref document: A1