JP6577661B2 - 路面変位検出装置およびサスペンション制御方法 - Google Patents
路面変位検出装置およびサスペンション制御方法 Download PDFInfo
- Publication number
- JP6577661B2 JP6577661B2 JP2018508607A JP2018508607A JP6577661B2 JP 6577661 B2 JP6577661 B2 JP 6577661B2 JP 2018508607 A JP2018508607 A JP 2018508607A JP 2018508607 A JP2018508607 A JP 2018508607A JP 6577661 B2 JP6577661 B2 JP 6577661B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- stereo camera
- detection target
- height
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 213
- 238000006073 displacement reaction Methods 0.000 title claims description 129
- 238000000034 method Methods 0.000 title claims description 29
- 239000000725 suspension Substances 0.000 title claims description 24
- 238000012545 processing Methods 0.000 claims description 64
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 description 37
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0608—Height gauges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Vehicle Body Suspensions (AREA)
- Image Analysis (AREA)
Description
本発明は、ステレオカメラを用いて路面の高さを検出する路面変位検出装置および車両のサスペンション制御方法に関する。
アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、２台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。
このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献１には、路面をステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。
しかしながら、車両が走行するなか、上記のステレオ法を用いて路面の高さを検出するとなると、演算処理回路の速度の限界などから１フレームの像から算出可能な検出対象点の数にも自ずと限界が生じてくる。１フレームの像から算出可能な検出対象点の数が少ないと、路面の変位の真値に対して粗い近似値しか得られないため、それだけサスペンションシステムのプレビュー制御の精度が期待できなくなる。
高速な演算処理回路を用いることによって、１フレームの像から算出可能な検出対象点の数を可及的に増やすことは可能であるが、それだけ製品コストが増大する。また、走行速度が高くなるにつれて、１フレームの像から算出可能な検出対象点の数は、やはり演算処理回路の速度の限界によって低減する可能性があるため、高速域での高精度のプレビュー制御が困難であるという問題があった。
以上のような事情に鑑み、本発明の目的は、演算処理回路の速度に依存することなく、ステレオカメラからの距離分解能において高密で、かつ高精度な路面変位情報を生成することのできる路面変位検出装置およびサスペンション制御方法を提供することにある。
上記目的を達成するため、本発明の一形態に係る路面変位検出装置は、
物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備して構成されるものである。
物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備して構成されるものである。
本発明にかかる路面変位検出装置では、演算処理回路が、フレーム毎に、ステレオカメラからの距離が異なる複数の検出対象点それぞれの路面の高さを検出し、複数のフレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の物体の移動距離を考慮して重ね合わせるので、演算処理回路の速度に依存することなく、ステレオカメラからの距離分解能において高密で、かつ高精度な路面変位情報を生成することができる。
また、演算処理回路は、前記物体の予想移動軌跡上の複数の検出対象点それぞれの前記路面からの高さを検出するように構成されたものであってよい。
物体の予想移動軌跡に絞り込んで路面の高さ検出を行うことによって、演算処理回路の負荷を軽減することができる。
物体の予想移動軌跡に絞り込んで路面の高さ検出を行うことによって、演算処理回路の負荷を軽減することができる。
また、演算処理回路は、複数のフレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の物体の移動距離を考慮して重ね合わせるとき、最新のフレームから検出された高さの情報を優先するように構成されたものであってよい。
ステレオ法を用いた路面の高さ検出では、ステレオカメラから検出対象点までの距離が短いほど高精度な検出が可能である。したがって、最新のフレームから高さが検出された検出対象点が、他の１以上のフレームから高さが検出された検出対象点とが路面上の同一位置である場合には、最新のフレームから検出された高さの情報を優先して採用することによって、より精度の高い路面変位情報を得ることができる。
ステレオ法を用いた路面の高さ検出では、ステレオカメラから検出対象点までの距離が短いほど高精度な検出が可能である。したがって、最新のフレームから高さが検出された検出対象点が、他の１以上のフレームから高さが検出された検出対象点とが路面上の同一位置である場合には、最新のフレームから検出された高さの情報を優先して採用することによって、より精度の高い路面変位情報を得ることができる。
また、演算処理回路は、前記物体の移動速度をもとに、前記フレームの周期を可変するように構成されたものであってよい。
あるいは、演算処理回路は、前記物体の移動速度をもとに、前記フレーム毎の前記検出対象点の数を可変するように構成されたものであってよい。
あるいは、演算処理回路は、前記物体の移動速度をもとに、前記フレーム毎の前記検出対象点の数を可変するように構成されたものであってよい。
また、前記演算処理回路は、
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記距離Ｄと前記角度θを用いて、前記二次元空間での、前記取り付け角度θｃを考慮した前記ステレオカメラと前記検出対象点との距離Ｄ１を算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成されてもよい。
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記距離Ｄと前記角度θを用いて、前記二次元空間での、前記取り付け角度θｃを考慮した前記ステレオカメラと前記検出対象点との距離Ｄ１を算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成されてもよい。
さらに、前記演算処理回路は、
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記画像上の前記検出対象点の三次元空間内の位置を考慮した前記ステレオカメラと検出対象点との距離Ｄ１を算出し、
前記算出された距離Ｄおよび距離Ｄ１から、前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成されてもよい。
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記画像上の前記検出対象点の三次元空間内の位置を考慮した前記ステレオカメラと検出対象点との距離Ｄ１を算出し、
前記算出された距離Ｄおよび距離Ｄ１から、前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成されてもよい。
また、本発明の他の形態に係るサスペンション制御方法は、車両の前方の路面を撮像するステレオカメラによって互いに同期して得られた複数の画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせ、重ね合わせた高さの情報に基づいて前記車両のサスペンションを制御する、というものである。
本発明によれば、演算処理回路の速度に依存することなく、ステレオカメラからの距離分解能において高密で、かつ高精度な路面変位情報を生成することができる。
以下、図面を参照しながら、本発明に係る一実施形態である路面変位検出装置および路面変位検出方法を説明する。
［概要］
本実施形態の路面変位検出装置は、車両が走行する路面の凹凸をステレオカメラによって撮影された複数の画像を用いてステレオ法により検出する装置である。
ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両の前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。
［概要］
本実施形態の路面変位検出装置は、車両が走行する路面の凹凸をステレオカメラによって撮影された複数の画像を用いてステレオ法により検出する装置である。
ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両の前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。
複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像と、各カメラのパラメータ情報、さらには各画像から得られる視差情報をもとに、ステレオカメラから路面の検出対象点までの距離を算出し、算出された距離から路面上の検出対象点の高さ（路面変位量）を算出する。
図１および図２はステレオカメラから路面上の検出対象点までの距離および高さの算出方法の説明図である。図１は各カメラと検出対象点を含む路面を上から示す図であり、図２は各カメラと検出対象点を含む路面を側方から示す図である。
図１において路面の検出対象点Ｋは、図２に示すようにカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌから角度θだけ下方に傾いた方向に見える。カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの距離Ｄは下記の式１により算出される。
Ｄ＝（ｄ・ｆ）／（ｘ１−ｘ２） ・・・（１）
ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｘ１−ｘ２は視差であり、ｘ１は一方のカメラ１０Ｒの画像における検出対象点Ｋの像のｘ座標の値、ｘ２は他方のカメラ１０Ｌの画像における検出対象点Ｋの像のｘ座標の値である。
Ｄ＝（ｄ・ｆ）／（ｘ１−ｘ２） ・・・（１）
ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｘ１−ｘ２は視差であり、ｘ１は一方のカメラ１０Ｒの画像における検出対象点Ｋの像のｘ座標の値、ｘ２は他方のカメラ１０Ｌの画像における検出対象点Ｋの像のｘ座標の値である。
カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平である場合、カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの水平方向（Ｙ軸方向）の距離Ｌは、
Ｌ＝Ｄｃｏｓθ ・・・（２）
により算出される。
また、検出対象点Ｋの高さｈは、
ｈ＝Ｈ−Ｄｓｉｎθ ・・・（３）
により算出される。
ここで、Ｈは、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの路面からの高さである。
Ｌ＝Ｄｃｏｓθ ・・・（２）
により算出される。
また、検出対象点Ｋの高さｈは、
ｈ＝Ｈ−Ｄｓｉｎθ ・・・（３）
により算出される。
ここで、Ｈは、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの路面からの高さである。
このように、ステレオ法によって、ステレオカメラから路面上の検出対象点Ｋまでの距離Ｌと高さｈを路面変位情報として算出することができる。
上記の路面変位検出方法により算出された路面変位情報を、例えば車両のアクティブサスペンションのプレビュー制御などに用いる場合、演算処理回路の速度の限界などから、１つのフレームから算出可能な路面変位情報の距離分解能にも限界が生じる。
このような課題を解決するために、本発明にかかる最良の形態である路面変位検出装置１は、
車両の前方の路面を撮像するステレオカメラ１０と、
ステレオカメラ１０によって得られた複数の画像をもとに、フレーム毎に、ステレオカメラ１０からの距離が異なる複数の検出対象点それぞれの路面の高さを検出し、複数の前記フレームから各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の車両の移動距離を考慮して重ね合わせる演算処理回路２０とを具備して構成されるものである。
以下、本発明にかかる最良の形態である路面変位検出装置の構成をより詳細に説明する。
車両の前方の路面を撮像するステレオカメラ１０と、
ステレオカメラ１０によって得られた複数の画像をもとに、フレーム毎に、ステレオカメラ１０からの距離が異なる複数の検出対象点それぞれの路面の高さを検出し、複数の前記フレームから各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の車両の移動距離を考慮して重ね合わせる演算処理回路２０とを具備して構成されるものである。
以下、本発明にかかる最良の形態である路面変位検出装置の構成をより詳細に説明する。
［本実施形態の路面変位検出装置の構成］
図３は本実施形態の路面変位検出装置１の構成を示すブロック図である。
同図に示すように、本実施形態の路面変位検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリ３０とを備える。なお、メモリ３０は演算処理回路２０内に設けられていてもよい。
図３は本実施形態の路面変位検出装置１の構成を示すブロック図である。
同図に示すように、本実施形態の路面変位検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリ３０とを備える。なお、メモリ３０は演算処理回路２０内に設けられていてもよい。
ステレオカメラ１０は、２つのカメラ１０Ｒ、１０Ｌを有する。２つのカメラ１０Ｒ、１０Ｌは、車両の前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。カメラ１０Ｒ、１０Ｌは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ｒ、１０Ｌにより各々得られた撮像信号は演算処理回路２０に供給される。
演算処理回路２０は、メモリ３０を用いて路面変位検出のための演算処理を行うデバイスである。演算処理回路２０は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。
演算処理回路２０は、機能的に画像処理部２１と路面変位算出部２２を有する。
画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像を基準画像、他方の画像を比較画像として各々の画像の対応関係を探索し、２つの画像の視差情報を生成する。
画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像を基準画像、他方の画像を比較画像として各々の画像の対応関係を探索し、２つの画像の視差情報を生成する。
路面変位算出部２２は、ステレオカメラ１０の画像空間において車両の左右のタイヤがこれから辿ることが予測される２本のタイヤ予想走行軌跡の座標を算出する。図４は画像空間におけるタイヤ予想走行軌跡を示す図である。これらのタイヤ予想走行軌跡６１Ｒ、６１Ｌは、車両のタイヤの左右の間隔と、ステレオカメラ１０の位置などから、マージンを含めたおおよその位置として求められればよい。また、路面変位算出部２２は、車両に設けられた舵角センサー５０によって検出された車両の舵角情報をもとにタイヤ予想走行軌跡６１Ｒ、６１Ｌを算出することも可能である。
路面変位算出部２２は、算出されたタイヤ予想走行軌跡において、ステレオカメラ１０からの距離Ｌが異なる複数の検出対象点の路面の高さを視差情報を用いて算出する。図５は、画像の座標空間における複数の検出対象点を示す図である。複数の検出対象点Ｋ１−Ｋ１０は、例えば、路面変位量が零である場合を仮定したとき路面が略均等な距離に区分されるような間隔で設定されてよい。あるいは、図６に示すように、ステレオ法の性質上、ステレオカメラ１０に近い検出対象点ほど精度が高くなることから、ステレオカメラ１０からの距離Ｌが近いほど間隔が小さくなるように複数の検出対象点Ｋ１−Ｋ１０が設定されてもよい。
路面変位算出部２２は、フレーム毎に、ステレオカメラ１０からの距離Ｌが異なる複数の検出対象点Ｋ１−Ｋ１０それぞれの路面の高さｈを検出し、複数のフレームから各々検出された複数の検出対象点Ｋ１−Ｋ１０の高さｈの情報を当該複数のフレーム間の車両の移動距離を考慮して重ね合わせ、重ね合わせた結果からサスペンションシステム６０のプレビュー制御のための路面変位情報を生成する。
［路面変位検出装置１の動作］
次に、本実施形態の路面変位検出装置１による路面変位検出の動作を説明する。
図７は、本実施形態の路面変位検出装置１による路面変位検出の手順を示すフローチャートである。
次に、本実施形態の路面変位検出装置１による路面変位検出の動作を説明する。
図７は、本実施形態の路面変位検出装置１による路面変位検出の手順を示すフローチャートである。
まず、ステレオカメラ１０の２つのカメラ１０Ｒ、１０Ｌによって各々撮像された撮像信号は演算処理回路２０に供給される。演算処理回路２０は、画像処理部２１にて、前処理として、各々の撮像信号に対して歪み補正、ノイズの除去などのフィルタ処理を行った後、２つの画像の対応関係を探索することによって、２つの画像の視差情報を生成し、１番目のフレームの視差情報としてメモリ３０に保存する（ステップＳ１０１）。
ここで、１番目のフレームとは、路面変位情報をフレーム間の車両の移動距離を考慮して重ね合わせる複数のフレームのうちの先頭のフレームを意味する。以下、先頭のフレームの次のフレームを「２番目のフレーム」、さらに次のフレームを「３番目のフレーム」と呼ぶ。なお、本発明は、３つのフレームを、路面変位情報の重ね合わせの対象とするものに限定されるものではない。路面変位情報の重ね合わせの対象となるフレームの数は２以上であればよい。
次に、路面変位算出部２２は、画像の座標空間におけるタイヤ予想走行軌跡の座標を算出し、このタイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点の座標を算出する（ステップＳ１０２）。
今回が１番目のフレームからの路面変位の検出である場合（ステップＳ１０３のＹＥＳ）、路面変位算出部２２は、タイヤ予想走行軌跡上の各々の検出対象点の座標に対応する視差情報をメモリ３０から読み出し、この視差情報をもとに、各々の検出対象点の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを算出し（ステップＳ１０４）、これらを１番目のフレームに対する路面変位情報としてメモリ３０に保存する（ステップＳ１０５）。
図８（Ａ）はステレオカメラ１０より前方の約５ｍから約１０ｍまでの路面領域において、１番目のフレームから算出された複数の検出対象点Ｋ１−Ｋ１０の路面変位情報を、横軸にステレオカメラ１０からの距離Ｌを割り当て、縦軸に路面の高さｈを割り当てた空間にプロットして、路面変位量の真値Ｒとともに示す路面変位プロファイルである。
この路面変位プロファイルの複数の検出対象点Ｋ１−Ｋ１０の路面変位情報と図中実線で示される真値Ｒとを比較すると分かるように、演算処理回路２０の速度の限界から路面変位情報の距離Ｌ方向での分解能が制約を受けることから、その結果として、路面上の突出物による路面変位の検出漏れＥが発生している。
２番目のフレームに対する路面変位検出のサイクルでは、路面変位算出部２２は、タイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点の座標を算出した後（ステップＳ１０２）、車速センサー４０より車速情報を取得するとともに、ステレオカメラ１０のフレームレートを取得し（ステップＳ１０６）、車速情報とフレームレートからフレーム間に車両が進んだ距離を算出する（ステップＳ１０７）。なお、フレームレートは例えば３０ｆｐｓ、６０ｆｐｓなどである。
次に、路面変位算出部２２は、１番目のフレームから算出された路面変位情報と２番目のフレームから算出される複数の検出対象点Ｋ１'−Ｋ１０'の路面変位情報とをフレーム間の車両の移動距離を考慮して重ね合わせるために、メモリ３０に保存されている複数の検出対象点Ｋ１−Ｋ１０の路面変位情報をフレーム間に車両が進んだ距離だけオフセットする（ステップＳ１０８）。例えば、フレーム間に車両が０．５ｍ進んだ場合、メモリ３０に保存されている複数の検出対象点Ｋ１−Ｋ１０の路面変位情報を０．５ｍオフセットする。つまり、メモリ３０に保存された路面変位情報のすべての検出対象点Ｋ１−Ｋ１０の距離Ｌは０．５ｍだけ減算した値に更新される。このときメモリ３０に保存されている路面変位情報に含まれる検出対象点の情報のうち、ステレオカメラ１０からの距離が５ｍから５．５ｍまでの範囲の検出対象点（Ｋ１、Ｋ２）の情報は不要となるためメモリ３０から削除される。
なお、この路面変位情報の更新に伴う不要な路面変位情報の削除は、必ずしも行う必要はない。路面変位情報の用途によっては、生成された路面変位情報をすべて保存してもよい。
なお、この路面変位情報の更新に伴う不要な路面変位情報の削除は、必ずしも行う必要はない。路面変位情報の用途によっては、生成された路面変位情報をすべて保存してもよい。
次に、路面変位算出部２２は、２番目のフレームについて、タイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点Ｋ１'−Ｋ１０'の座標に対応する視差情報をメモリ３０から読み出し、この視差情報をもとに、各々の検出対象点Ｋ１'−Ｋ１０'の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを算出する（ステップＳ１０９）。
次に、路面変位算出部２２は、メモリ３０に保存された路面変位情報つまり１番目のフレームから算出された複数の検出対象点Ｋ３−Ｋ１０の路面変位情報に２番目のフレームから算出された複数の検出対象点Ｋ１'−Ｋ１０'の路面変位情報を、フレーム間の車両の移動距離を考慮して重ね合わせる。
図８Ｂは、１番目のフレームから算出された複数の検出対象点Ｋ３−Ｋ１０の路面変位情報に２番目のフレームから算出された複数の検出対象点Ｋ１'−Ｋ１０'の路面変位情報を、フレーム間の車両の移動距離を考慮して重ね合わせた結果を示す図である。
この際、路面変位算出部２２は、２番目のフレームから算出された各々の検出対象点Ｋ１'−Ｋ１０'の路面変位情報について以下の処理を行う。路面変位算出部２２は、各々の検出対象点Ｋ１'−Ｋ１０'について、ステレオカメラ１０からの距離Ｌが、メモリ３０に保存された路面変位情報のいずれかの検出対象点Ｋ３−Ｋ１０の距離Ｌと一致するかどうかを各々判定する（ステップＳ１１０）。なお、１番目のフレームから算出された検出対象点の距離Ｌと２番目のフレームから算出された検出対象点の距離Ｌとが同一であるということは、各々の検出対象点の路面上の位置が同一であることを意味する。
この結果、２番目のフレームから算出された検出対象点Ｋ１'−Ｋ１０'の距離Ｌがメモリ３０に保存された路面変位情報に含まれるどの検出対象点Ｋ３−Ｋ１０の距離Ｌとも一致しない場合、路面変位算出部２２は、２番目のフレームから算出された各々の検出対象点Ｋ１'−Ｋ１０'の路面変位情報を、メモリ３０に保存された路面変位情報つまり１番目のフレームから算出された複数の検出対象点Ｋ３−Ｋ１０の路面変位情報に重ね合わせるために追加する（ステップＳ１１１）。
また、２番目のフレームから算出された各々の検出対象点Ｋ１'−Ｋ１０'の路面変位情報において、メモリ３０に保存された路面変位情報の検出対象点Ｋ３−Ｋ１０の距離Ｌと一致するものがあれば、路面変位算出部２２は、２番目のフレームから算出された該当する検出対象点の路面の高さｈが"0"であるかどうかを判定する（ステップＳ１１２）。当該検出対象点の路面の高さｈが"0"でなければ、路面変位算出部２２は、当該検出対象点の路面の高さｈの情報で、メモリ３０に保存された同一距離Ｌの検出対象点の路面の高さｈの情報を上書きする（ステップＳ１１３）。
例えば、図８Ｂの例では、１番目のフレームから算出された検出対象点Ｋ４の距離Ｌと２番目のフレームから算出された検出対象点Ｋ２'の距離Ｌが一致したので、検出対象点Ｋ２'の路面の高さｈの情報で検出対象点Ｋ４の路面の高さｈの情報が更新される。同様に、１番目のフレームから算出された検出対象点Ｋ８の距離Ｌと２番目のフレームから算出された検出対象点Ｋ７'の距離Ｌが一致し、検出対象点Ｋ７'の路面の高さｈの情報で検出対象点Ｋ８の路面の高さｈの情報が上書きされる。
ステレオ法を用いた路面の高さ検出では、ステレオカメラ１０から検出対象点までの距離が短いほど高精度な検出が可能である。したがって、最新フレームの検出対象点の距離Ｌと以前のフレームの検出対象点との距離Ｌが同一である場合、最新フレームの検出対象点の高さｈの情報を優先して採用することによって、精度の向上を図ることができる。
なお、検出対象点の距離Ｌの一致判定には、所定のマージンが考慮されることは言うまでもない。また、ステレオ法を用いた路面の高さ検出では、ステレオカメラ１０から検出対象点までの距離Ｌが短いほど高精度な検出が可能であるため、ステレオカメラ１０からの距離Ｌが近い検出対象点ほど路面の高さｈの情報の上書きが発生しやすくなるようにしてもよい。この制御は、例えば、検出対象点の距離Ｌの一致判定のためのマージンの大きさを距離Ｌに応じて可変することによって実現可能である。
また、この路面変位検出装置１では、測定エラーによって路面の高さｈが過大な値となった場合にその過大な値を"0"に修正するようになっているので、例えば図８Ｂに示すように、２番目のフレームから算出された検出対象点Ｋ７'の距離Ｌが、１番目のフレームから算出された検出対象点Ｋ８の距離Ｌと同じであっても、２番目のフレームから算出された検出対象点Ｋ７'の路面の高さｈが"0"である場合には、高さｈの情報の上書きは行われないようになっている。
路面変位算出部２２は、２番目のフレームから算出されたすべての検出対象点Ｋ１'−Ｋ１０'について上記の処理を繰り返し、すべての検出対象点Ｋ１'−Ｋ１０'についての処理が終了すると、２番目のフレームに対する処理が終了となる。
この後、さらに次の３番目のフレームに対する処理が同様に行われる。
すなわち、路面変位算出部２２は、メモリ３０に保存された路面変位情報と３番目のフレームから算出される複数の検出対象点Ｋ１"−Ｋ１０"の路面変位情報とをフレーム間（２番目のフレームと３番目のフレームとの間）の車両の移動距離を考慮して重ね合わせるために、メモリ３０に既に保存されている複数の検出対象点Ｋ１'、Ｋ３、Ｋ２'、・・・、Ｋ１０'の路面変位情報をフレーム間に車両が進んだ距離だけオフセットする（ステップＳ１０８）。
すなわち、路面変位算出部２２は、メモリ３０に保存された路面変位情報と３番目のフレームから算出される複数の検出対象点Ｋ１"−Ｋ１０"の路面変位情報とをフレーム間（２番目のフレームと３番目のフレームとの間）の車両の移動距離を考慮して重ね合わせるために、メモリ３０に既に保存されている複数の検出対象点Ｋ１'、Ｋ３、Ｋ２'、・・・、Ｋ１０'の路面変位情報をフレーム間に車両が進んだ距離だけオフセットする（ステップＳ１０８）。
次に、路面変位算出部２２は、３番目のフレームについて、タイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点Ｋ１"−Ｋ１０"の座標に対応する視差情報をメモリ３０から読み出し、この視差情報をもとに、各々の検出対象点Ｋ１"−Ｋ１０"の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを算出する（ステップＳ１０９）。
次に、路面変位算出部２２は、メモリ３０に保存された路面変位情報に３番目のフレームから算出された複数の検出対象点Ｋ１"−Ｋ１０"の路面変位情報をフレーム間（２番目のフレームと３番目のフレームとの間）の車両の移動距離を考慮して重ね合わせる。
図８Ｃは、メモリ３０に保存された路面変位情報に３番目のフレームから算出された複数の検出対象点Ｋ１"−Ｋ１０"の路面変位情報をフレーム間（２番目のフレームと３番目のフレームとの間）の車両の移動距離を考慮して重ね合わせた結果を示す図である。
このように、路面変位情報を重ね合わせるフレームの数が増えるほどに、メモリ３０に保存される検出対象点の路面変位情報の数が多くなり、ステレオカメラ１０からの距離分解能において高密な路面変位情報が得られる。
以上の処理がフレーム周期で繰り返されることによって、車両の前方の路面の高密な路面変位情報が連続して得られる。これにより、路面の高さｈの検出漏れが発生する確率を低減することができるなど、高精度の路面変位情報を得ることができる。
路面変位算出部２２によって得られた路面変位情報は、車両のサスペンションシステム６０に供給され、アクティブサスペンションのプレビュー制御に供される。
［補足等］
（フレーム周期について）
上記の実施形態では、連続する全てのフレームから路面変位情報を生成することとしたが、１／Ｎのフレーム周期で路面変位情報を生成してもよい。ここで、Ｎは固定値であってもよいが、車速に応じて可変させてもよい。この場合、車速に反比例してＮの値を小さくする。車速が極端に低速であるときは路面変位情報の生成を停止させてもよい。
（フレーム周期について）
上記の実施形態では、連続する全てのフレームから路面変位情報を生成することとしたが、１／Ｎのフレーム周期で路面変位情報を生成してもよい。ここで、Ｎは固定値であってもよいが、車速に応じて可変させてもよい。この場合、車速に反比例してＮの値を小さくする。車速が極端に低速であるときは路面変位情報の生成を停止させてもよい。
［検出対象点の数について］
上記の実施形態では、フレーム毎に所定の数の検出対象点を設定することとしたが、フレーム毎の検出対象点の数は車速に応じて可変させてもよい。この場合、車速に反比例して検出対象点の数の値を小さくすればよい。
上記の実施形態では、フレーム毎に所定の数の検出対象点を設定することとしたが、フレーム毎の検出対象点の数は車速に応じて可変させてもよい。この場合、車速に反比例して検出対象点の数の値を小さくすればよい。
［フルアクティブサスペンションおよびセミアクティブサスペンションへの適用について］
演算処理回路２０は、サスペンションシステム６０がフルアクティブサスペンションである場合には、路面変位算出部２２によって、複数のフレームについて各々検出された複数の検出対象点の高さｈの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせた結果をサスペンションシステム６０に出力する。
演算処理回路２０は、サスペンションシステム６０がフルアクティブサスペンションである場合には、路面変位算出部２２によって、複数のフレームについて各々検出された複数の検出対象点の高さｈの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせた結果をサスペンションシステム６０に出力する。
サスペンションシステム６０がセミアクティブサスペンションである場合には、演算処理回路２０は、路面変位算出部２２によって、複数のフレームについて各々検出された複数の検出対象点の高さｈの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせた結果において、図９に示すように、路面の高さｈを複数例えば５段階に評価し、その路面の高さｈの評価結果を距離Ｌの情報とともにサスペンションシステム６０に出力する。
［検出対象点の高さ算出方法の変形例１］
次に、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平に対して角度を持っている場合の路面上の検出対象点の高さ算出方法を説明する。
次に、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平に対して角度を持っている場合の路面上の検出対象点の高さ算出方法を説明する。
図１０はこの検出対象点の高さ算出方法の変形例１の説明図である。図１１はこの高さ算出方法の変形例１のフローチャートである。
ここで、θｃはステレオカメラの水平からの取り付け角度、θは路面の検出対象点Ｋが見える方向のカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの方向に対する角度である。Ｄは取り付け角度θｃを考慮しないときのステレオカメラと検出対象点Ｋとの距離である。Ｄ１は取り付け角度θｃを考慮したときのステレオカメラと検出対象点Ｋとの距離である。Ｈはカメラ１０Ｒ、１０Ｌの路面からの高さである。
ここで、θｃはステレオカメラの水平からの取り付け角度、θは路面の検出対象点Ｋが見える方向のカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの方向に対する角度である。Ｄは取り付け角度θｃを考慮しないときのステレオカメラと検出対象点Ｋとの距離である。Ｄ１は取り付け角度θｃを考慮したときのステレオカメラと検出対象点Ｋとの距離である。Ｈはカメラ１０Ｒ、１０Ｌの路面からの高さである。
まず、演算処理回路２０は、ステレオカメラによって撮像された画像をもとに上記式（１）を用いてＤを算出する（ステップＳ２０１）。
続いて、演算処理回路２０は、画像から路面の検出対象点ＫのＹ軸方向における位置をもとにθを算出し（ステップＳ２０２）、θを用いて次式（４）によりＤ１を算出する（ステップＳ２０３）。
Ｄ１＝Ｄ／ｃｏｓθ ・・・（４）
続いて、演算処理回路２０は、画像から路面の検出対象点ＫのＹ軸方向における位置をもとにθを算出し（ステップＳ２０２）、θを用いて次式（４）によりＤ１を算出する（ステップＳ２０３）。
Ｄ１＝Ｄ／ｃｏｓθ ・・・（４）
θはステレオカメラにより撮像された画像から算出される。例えば、図１２に示すように、画像において、検出対象点ＫがＹ軸方向の中間位置（Ｙ＝０）から下方に＋ｙラインだけ離れた位置にあるとき、θは次式（５）により近似的に求められる。
θ＝ｙ×Δθ ・・・（５）
ここで、Δθは画像の１ライン分の角度である。
θ＝ｙ×Δθ ・・・（５）
ここで、Δθは画像の１ライン分の角度である。
そして演算処理回路２０は、次式（６）により、路面上の検出対象点Ｋの高さｈを算出する（ステップＳ２０４）。
ｈ＝Ｈ−Ｄ１・ｓｉｎ（θ＋θｃ） ・・・（６）
ｈ＝Ｈ−Ｄ１・ｓｉｎ（θ＋θｃ） ・・・（６）
［検出対象点の高さ算出方法の変形例２］
上述したθの計算方法は単純な演算であるため演算処理回路２０に大きな負荷を与えないというメリットがあるものの、画像上の路面と実空間における路面との幾何学的な違いを考慮したものではないため、その分誤差が生じるというデメリットもある。特に、ステレオカメラから検出対象点Ｋまでの距離が長くなるほど、誤差が増大してしまう。そこで、上記の変形例１に比べ演算負荷は大きくなるが、実空間での路面平面を考慮したθを得ることで、精度の高い路面変位プロファイルを得ることのできる検出対象点の高さ算出方法の変形例２について図１０、図１３、図１４及び図１５を用いて説明する。
上述したθの計算方法は単純な演算であるため演算処理回路２０に大きな負荷を与えないというメリットがあるものの、画像上の路面と実空間における路面との幾何学的な違いを考慮したものではないため、その分誤差が生じるというデメリットもある。特に、ステレオカメラから検出対象点Ｋまでの距離が長くなるほど、誤差が増大してしまう。そこで、上記の変形例１に比べ演算負荷は大きくなるが、実空間での路面平面を考慮したθを得ることで、精度の高い路面変位プロファイルを得ることのできる検出対象点の高さ算出方法の変形例２について図１０、図１３、図１４及び図１５を用いて説明する。
図１３はこの高さ算出方法の変形例２のフローチャートである。
まず、演算処理回路２０は、ステレオカメラによって撮像された画像をもとに上記式（１）を用いてＤを算出する（ステップＳ３０１）。
まず、演算処理回路２０は、ステレオカメラによって撮像された画像をもとに上記式（１）を用いてＤを算出する（ステップＳ３０１）。
続いて、演算処理回路２０は、画像上の検出対象点Ｋの三次元空間内の位置を考慮したステレオカメラと検出対象点Ｋとの距離Ｄ１を算出する（ステップＳ３０２）。
より具体的には、図１４に示すように、演算処理回路２０は、画像のエッジ成分から実際には平行な複数の直線３１、３２を検出し、より多くの直線３１、３２が一点に交わる消失点Ｓを検出する。この消失点Ｓを頂点とする四角円錐状の空間３３内の検出対象点Ｋの座標は直交座標系の三次元空間３４の座標（ｘ，ｙ，ｚ）に変換することが可能である。
そこで、演算処理回路２０は、ステレオカメラにより撮像された基準画像における検出対象点Ｋの座標を三次元空間の座標に変換する。ここで、検出対象点Ｋの三次元空間の座標を（ｘ，ｙ，ｚ）とすると、次式（７）により、三次元空間を考慮した視差Ｄｓを算出可能である。
Ｄｓ＝（ｘ２＋ｙ２＋ｚ２）１／２ ・・・（７）
この後、演算処理回路２０は、この視差Ｄｓの値を用いて距離Ｄ１を算出する。この距離Ｄ１の算出は、上記式（１）の視差（ｘ１−ｘ２）に視差Ｄｓの値を代入することによって行われる。
Ｄｓ＝（ｘ２＋ｙ２＋ｚ２）１／２ ・・・（７）
この後、演算処理回路２０は、この視差Ｄｓの値を用いて距離Ｄ１を算出する。この距離Ｄ１の算出は、上記式（１）の視差（ｘ１−ｘ２）に視差Ｄｓの値を代入することによって行われる。
次に、演算処理回路２０はθを算出する（ステップＳ３０３）。θは以下の式（８）によって算出される。
θ＝ｃｏｓ−１（Ｄ／Ｄ１） ・・・（８）
この後、演算処理回路２０は、上記式（６）により、路面上の検出対象点Ｋの高さｈを算出する（ステップＳ３０４）。
θ＝ｃｏｓ−１（Ｄ／Ｄ１） ・・・（８）
この後、演算処理回路２０は、上記式（６）により、路面上の検出対象点Ｋの高さｈを算出する（ステップＳ３０４）。
この計算方法によると、前者の計算方法に比べ演算負荷は大きくなるが、実空間での路面平面を考慮したθを得ることができ、精度の高い路面変位プロファイルが得られる。
［その他］
本発明は上記の実施形態に限らず、本発明の技術思想の範囲で様々な変形が可能である。
上記の実施形態では、車両のタイヤ予想走行軌跡上に絞って検出対象点を設定することとしたが、本発明は、必ずしもこのような構成との組み合わせに限定されるものではない。すなわち、車両のタイヤ予想走行軌跡上に絞って検出対象点を設定しなくてもよい。
本発明は上記の実施形態に限らず、本発明の技術思想の範囲で様々な変形が可能である。
上記の実施形態では、車両のタイヤ予想走行軌跡上に絞って検出対象点を設定することとしたが、本発明は、必ずしもこのような構成との組み合わせに限定されるものではない。すなわち、車両のタイヤ予想走行軌跡上に絞って検出対象点を設定しなくてもよい。
車両の後進が発生した場合には、メモリ３０に保存された路面変位情報の各検出対象点の距離情報を後進した距離だけオフセットさせてもよい。あるいは、メモリ３０に保存された路面変位情報を消去して、最初のフレームからの路面変位情報の生成を行うようにしてもよい。
さらに、本発明の路面変位検出装置および路面変位検出方法は、路面を走行する車両に適用されるだけでなく、室内の床面などの走行面を移動する各種運搬用の機器やロボットなどにも適用することが可能であり、その他、移動する物体であれば適用され得るものである。
１…路面変位検出装置
１０…ステレオカメラ
２０…演算処理回路
２１…画像処理部
２２…路面変位算出部
３０…メモリ
４０…車速センサー
５０…舵角センサー
６０…サスペンションシステム
１０…ステレオカメラ
２０…演算処理回路
２１…画像処理部
２２…路面変位算出部
３０…メモリ
４０…車速センサー
５０…舵角センサー
６０…サスペンションシステム
Claims (6)
- 物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、前記物体の予想移動軌跡上の複数の検出対象点の前記路面からの高さを検出するように構成された
路面変位検出装置。 - 物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、前記物体の移動速度をもとに、前記フレームの周期を可変するように構成された
路面変位検出装置。 - 物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、前記物体の移動速度をもとに、前記フレーム毎の前記検出対象点の数を可変するように構成された
路面変位検出装置。 - 物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記距離Ｄと前記角度θを用いて、前記二次元空間での、前記取り付け角度θｃを考慮した前記ステレオカメラと前記検出対象点との距離Ｄ１を算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成された
路面変位検出装置。 - 物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記画像上の前記検出対象点の三次元空間内の位置を考慮した前記ステレオカメラと検出対象点との距離Ｄ１を算出し、
前記算出された距離Ｄおよび距離Ｄ１から、前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成された
路面変位検出装置。 - 車両の前方の路面を撮像するステレオカメラによって互いに同期して得られた複数の画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの、前記車両の予想移動軌跡上の前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせ、重ね合わせた高さの情報に基づいて前記車両のサスペンションを制御するサスペンション制御方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016066505 | 2016-03-29 | ||
| JP2016066505 | 2016-03-29 | ||
| PCT/JP2017/006867 WO2017169365A1 (ja) | 2016-03-29 | 2017-02-23 | 路面変位検出装置およびサスペンション制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017169365A1 JPWO2017169365A1 (ja) | 2019-02-07 |
| JP6577661B2 true JP6577661B2 (ja) | 2019-09-18 |
Family
ID=59963141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018508607A Expired - Fee Related JP6577661B2 (ja) | 2016-03-29 | 2017-02-23 | 路面変位検出装置およびサスペンション制御方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20190078876A1 (ja) |
| EP (1) | EP3438603A1 (ja) |
| JP (1) | JP6577661B2 (ja) |
| WO (1) | WO2017169365A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6565769B2 (ja) * | 2016-04-03 | 2019-08-28 | 株式会社デンソー | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム |
| JP6895371B2 (ja) * | 2017-11-29 | 2021-06-30 | Ｋｙｂ株式会社 | 情報処理装置及びサスペンション制御方法 |
| WO2020113452A1 (zh) * | 2018-12-05 | 2020-06-11 | 珊口（深圳）智能科技有限公司 | 移动目标的监控方法、装置、监控系统及移动机器人 |
| JP7200780B2 (ja) * | 2019-03-20 | 2023-01-10 | 株式会社リコー | 情報処理装置、情報処理方法、及び情報処理システム |
| JP2020163924A (ja) * | 2019-03-28 | 2020-10-08 | 本田技研工業株式会社 | 車両制御装置、端末装置、サーバ装置、車両、車両制御システム及び車両制御方法 |
| JP7489671B2 (ja) * | 2019-10-17 | 2024-05-24 | パナソニックＩｐマネジメント株式会社 | 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 |
| CN113551636B (zh) * | 2021-07-02 | 2023-06-06 | 武汉光谷卓越科技股份有限公司 | 基于异常数据矫正的平整度检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4171282B2 (ja) * | 2002-10-25 | 2008-10-22 | 富士重工業株式会社 | 地形認識装置および地形認識方法 |
| JP5441549B2 (ja) * | 2009-07-29 | 2014-03-12 | 日立オートモティブシステムズ株式会社 | 道路形状認識装置 |
| US9586455B2 (en) * | 2012-03-29 | 2017-03-07 | Toyota Jidosha Kabushiki Kaisha | Road surface condition estimating apparatus |
| WO2015159835A1 (ja) * | 2014-04-17 | 2015-10-22 | シャープ株式会社 | 画像処理装置、画像処理方法、プログラム |
| RU2667026C1 (ru) * | 2015-08-04 | 2018-09-13 | Ниссан Мотор Ко., Лтд. | Устройство обнаружения уступов и способ обнаружения уступов |
-
2017
- 2017-02-23 US US16/082,174 patent/US20190078876A1/en not_active Abandoned
- 2017-02-23 EP EP17773910.9A patent/EP3438603A1/en not_active Withdrawn
- 2017-02-23 JP JP2018508607A patent/JP6577661B2/ja not_active Expired - Fee Related
- 2017-02-23 WO PCT/JP2017/006867 patent/WO2017169365A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017169365A1 (ja) | 2017-10-05 |
| US20190078876A1 (en) | 2019-03-14 |
| JPWO2017169365A1 (ja) | 2019-02-07 |
| EP3438603A1 (en) | 2019-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6577661B2 (ja) | 路面変位検出装置およびサスペンション制御方法 | |
| JP6209648B1 (ja) | ステレオカメラの設置パラメータ校正方法 | |
| JP2017226270A (ja) | 車両制御装置 | |
| JP6565188B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
| WO2017188158A1 (ja) | 路面状態検出装置 | |
| US10984258B2 (en) | Vehicle traveling environment detecting apparatus and vehicle traveling controlling system | |
| JP2007334859A (ja) | 物体検出装置 | |
| JP3765862B2 (ja) | 車両用環境認識装置 | |
| JP6895371B2 (ja) | 情報処理装置及びサスペンション制御方法 | |
| JP2005214914A (ja) | 移動速度検出装置および移動速度検出方法 | |
| JP3440956B2 (ja) | 車両用走行路検出装置 | |
| JP6044084B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
| JP2018136739A (ja) | キャリブレーション装置 | |
| JP7303064B2 (ja) | 画像処理装置、および、画像処理方法 | |
| JP6489645B2 (ja) | 画像処理装置 | |
| JP7232005B2 (ja) | 車両の走行環境検出装置及び走行制御システム | |
| JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
| JP2005170290A (ja) | 障害物検出装置 | |
| JP6619589B2 (ja) | 画像処理装置 | |
| JP6865660B2 (ja) | 距離算出装置および距離算出パラメータの設定方法 | |
| JP5973843B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
| CN112601064A (zh) | 图像处理装置 | |
| JP2020126394A (ja) | 物体運動推定方法及び物体運動推定装置 | |
| JP2019151307A (ja) | 駐車エリア検知装置および駐車エリア検知方法 | |
| JP6515547B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190822 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6577661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |