JP4676373B2 - Peripheral recognition device, peripheral recognition method, and program - Google Patents

Peripheral recognition device, peripheral recognition method, and program Download PDF

Info

Publication number
JP4676373B2
JP4676373B2 JP2006124117A JP2006124117A JP4676373B2 JP 4676373 B2 JP4676373 B2 JP 4676373B2 JP 2006124117 A JP2006124117 A JP 2006124117A JP 2006124117 A JP2006124117 A JP 2006124117A JP 4676373 B2 JP4676373 B2 JP 4676373B2
Authority
JP
Japan
Prior art keywords
imaging
behavior
parameter
road
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006124117A
Other languages
English (en)
Other versions
JP2007300181A5 (ja
JP2007300181A (ja
Inventor
隆則 深尾
貴洋 石川
Original Assignee
株式会社デンソー
隆則 深尾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー, 隆則 深尾 filed Critical 株式会社デンソー
Priority to JP2006124117A priority Critical patent/JP4676373B2/ja
Publication of JP2007300181A publication Critical patent/JP2007300181A/ja
Publication of JP2007300181A5 publication Critical patent/JP2007300181A5/ja
Application granted granted Critical
Publication of JP4676373B2 publication Critical patent/JP4676373B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00791Recognising scenes perceived from the perspective of a land vehicle, e.g. recognising lanes, obstacles or traffic signs on road scenes
    • G06K9/00805Detecting potential obstacles
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Description

本発明は、移動体に設置された2台の撮像装置から得られる撮像画像を用いて障害物の位置,形状を示す三次元情報を生成する周辺認識装置及び方法、並びにプログラムに関する。   The present invention relates to a peripheral recognition apparatus and method, and a program for generating three-dimensional information indicating the position and shape of an obstacle using captured images obtained from two imaging apparatuses installed on a moving body.

従来より、1台のカメラが移動しながら撮影した画像を用いて、カメラ自体またはカメラを搭載した移動体の挙動(以下単に「カメラ挙動」という)を検出すると共に、そのカメラ挙動と画像内の物体候補の動きから、物体の位置,形状を表す三次元情報を検出する装置が知られている(例えば、特許文献1参照)。   Conventionally, using an image taken while one camera is moving, the behavior of the camera itself or a moving object equipped with the camera (hereinafter simply referred to as “camera behavior”) is detected. An apparatus for detecting three-dimensional information representing the position and shape of an object from the motion of the object candidate is known (see, for example, Patent Document 1).

なお、カメラ挙動や物体の検出には、一般的に、連続する複数の画像列中における同一特徴点の動きをベクトルで表したオプティカルフローが用いられている。
このオプティカルフローは、特徴点が静止している場合は、カメラ挙動に対応したものとなり、また、特徴点が移動している場合は、カメラ挙動に特徴点自体の動きが重畳されたものとなる。
特開2001−266160号公報
In general, an optical flow in which the motion of the same feature point in a plurality of continuous image sequences is represented by a vector is used for detection of a camera behavior or an object.
This optical flow corresponds to the camera behavior when the feature point is stationary, and when the feature point is moving, the motion of the feature point itself is superimposed on the camera behavior. .
JP 2001-266160 A

ところで、移動体が車両である場合、車両に搭載される障害物検出用のカメラは、可能な限り広い範囲に渡って撮影が可能なように、カメラの光軸がほぼ水平となるような姿勢で、車両の前方を撮像するように取り付けられる。   By the way, when the moving body is a vehicle, the obstacle detection camera mounted on the vehicle is positioned so that the optical axis of the camera is substantially horizontal so that photographing is possible over the widest possible range. Then, it is attached so as to image the front of the vehicle.

また、カメラ挙動の検出には、撮像画像中で最も面積が大きい静止物体である道路面上の特徴点を、画像列上で追跡することで得られるオプティカルフローが用いられる。
しかし、上述のように光軸がほぼ水平となるような姿勢で設置されたカメラでは、鉛直下向きに対して大きなピッチ角α(ここではα≒90°)を有するため、道路面上の特徴点に基づくオプティカルフローの検出誤差が大きくなり、カメラ挙動を精度良く検出することができないという問題があった。
For detecting the camera behavior, an optical flow obtained by tracking a feature point on the road surface, which is a stationary object having the largest area in the captured image, on the image sequence is used.
However, as described above, the camera installed in such a posture that the optical axis is almost horizontal has a large pitch angle α (here, α≈90 °) with respect to the vertical downward direction. The detection error of the optical flow based on this becomes large, and there is a problem that the camera behavior cannot be detected accurately.

即ち、カメラの光軸が鉛直下向きに対するピッチ角αを有している場合、図12に示すように、撮像画面Gには、その中心より上側にはより遠くの道路面が投影され、中心より下側にはより近くの道路面が投影されることになり、道路面上の特徴点(物体)が同じ距離だけ移動しても、撮像画面G上に投影された特徴点の動きは、より遠くに位置するものほど小さく、より近くに位置するものほど大きくなる。   That is, when the optical axis of the camera has a pitch angle α with respect to the vertically downward direction, as shown in FIG. 12, a far road surface is projected above the center on the imaging screen G, and from the center. A closer road surface is projected on the lower side, and even if a feature point (object) on the road surface moves by the same distance, the movement of the feature point projected on the imaging screen G is more The farther away, the smaller, and the closer, the larger.

このように、撮像画面G上の位置によって特徴点の動き方は異なっているため、その特徴点に基づいて検出されるオプティカルフローは、特徴点の動き方の違いに基づく誤差を含んだものとなってしまうのである。しかも、この誤差は、ピッチ角αが大きいほど、また、撮像画像の中心から外れるほど大きなものとなる。   As described above, since the feature point moves differently depending on the position on the imaging screen G, the optical flow detected based on the feature point includes an error based on the difference in the feature point motion. It will end up. Moreover, this error becomes larger as the pitch angle α is larger and further away from the center of the captured image.

実際に、車両に搭載されたピッチ角αを有する撮像装置により撮像された道路面の画像に基づいて、自車両の左右方向の並進運動量、前後方向の並進運動量、ヨー方向の回転運動量をシミュレーションにより求めた結果(真値に対する平均絶対値誤差)を表1に示す。   Actually, based on the image of the road surface imaged by the imaging device having a pitch angle α mounted on the vehicle, the translational momentum in the left-right direction, the translational momentum in the front-rear direction, and the rotational momentum in the yaw direction of the host vehicle are simulated. Table 1 shows the obtained results (average absolute value error with respect to the true value).

但し、カメラから路面までの高さを1.5m(1BOX車両のマップランプ脇に前方カメラを設置したことに相当する)、カメラの設置角度をロール傾きなし、ヨー傾きなしとして、鉛直下向きに対するピッチ角αを、0.1、0.2、0.3、0.4、0.5[rad]の5段階で変化させた。   However, the height from the camera to the road surface is 1.5 m (equivalent to installing a front camera beside the map lamp of a 1BOX vehicle), the camera installation angle is no roll inclination, no yaw inclination, and the pitch with respect to the vertical downward direction The angle α was changed in five steps of 0.1, 0.2, 0.3, 0.4, and 0.5 [rad].

また、カメラ解像度は、横320画素、縦240画素、フレームレートは、0.2ms/フレームとした。
そして、道路面は一様に平らで、横2m縦5mの長方形ペイントが塗ってある平面とし、車両は、時速22Kmで10秒かけて直角コーナーを左折する運動(ゆっくりと交差点を左折する運動に相当する)をするものとして、後述する実施形態で説明する挙動検出部11aでの処理を実行した。
The camera resolution was 320 pixels horizontally and 240 pixels vertically, and the frame rate was 0.2 ms / frame.
The road surface is flat and flat with 2m wide and 5m long rectangular paint, and the vehicle turns left at a right-angle corner for 10 seconds at a speed of 22km per hour (slowly turns left at an intersection). The processing in the behavior detection unit 11a described in an embodiment to be described later was executed.

但し、長方形ペイントの4頂点を特徴点とし、また、自車両の左右方向(図3(b)のx軸方向)の並進運動成分、自車両の前後方向(同y軸方向)の並進運動成分、自車両のヨー方向(同z軸回り)の回転成分)だけが変化し、上下方向(同z軸方向)の並進運動、ピッチ方向(同x軸回り)の回転成分、ロール方向(同y軸回り)の回転成分は変化せず、常にゼロであるものとした。   However, the four vertexes of the rectangular paint are feature points, and the translational motion component in the left-right direction of the host vehicle (x-axis direction in FIG. 3B) and the translational motion component in the front-rear direction of the host vehicle (same y-axis direction) Only the yaw direction (same z-axis rotation component) of the host vehicle changes, translational movement in the vertical direction (z-axis direction), pitch direction (same x-axis rotation component), roll direction (same y The rotation component around the axis was not changed and was always zero.

表1に示す結果から明らかなように、カメラのピッチ角αが大きくなるほど、特にヨー方向の回転運動量の誤差が大きくなり、車両の挙動を精度よく検出することができなくなることがわかる。   As is apparent from the results shown in Table 1, it can be seen that the greater the camera pitch angle α, the greater the error in rotational momentum, particularly in the yaw direction, making it impossible to accurately detect the behavior of the vehicle.

これに対して、カメラ挙動の検出精度を向上させるために、ピッチ角αを小さくする(カメラの光軸を鉛直下向きに近づける)と、カメラの撮像範囲が狭くなり、障害物の検出能力を低下させてしまう。つまり、物体の検出精度と、カメラ挙動の検出精度とはトレードオフの関係にあり、上述した従来装置では、両者を同時に向上させることができず、物体の三次元情報を精度良く求めることが困難であるという問題があった。   On the other hand, in order to improve the accuracy of camera behavior detection, if the pitch angle α is decreased (the optical axis of the camera is moved vertically downward), the imaging range of the camera becomes narrow and the obstacle detection capability decreases. I will let you. In other words, the detection accuracy of the object and the detection accuracy of the camera behavior are in a trade-off relationship, and the above-described conventional device cannot improve both at the same time, and it is difficult to accurately obtain the three-dimensional information of the object. There was a problem of being.

また、車両が前進している場合、三次元空間中で観測される静止物を示す特徴点は、車両に対して遠い方から近い方に移動し、車両の前方を撮像するように取り付けられたカメラの撮像画像から検出される特徴点のオプティカルフローは、画面上側から画面下側に流れる。つまり、図13に示すように、道路面上の特徴点を追跡してオプティカルフローを求める際に、画像情報量が少ない側から多い側に向かって特徴点を追跡することになる。   In addition, when the vehicle is moving forward, the feature point indicating the stationary object observed in the three-dimensional space is attached so as to move from the far side to the near side and image the front of the vehicle. The optical flow of the feature points detected from the captured image of the camera flows from the upper side of the screen to the lower side of the screen. That is, as shown in FIG. 13, when the feature point on the road surface is tracked to obtain the optical flow, the feature point is traced from the side with the smaller amount of image information to the side with the larger amount of image information.

従って、道路面上の情報が多く得られる画面下側では、画面上側より多くの特徴点が検出される可能性が高いが、その特徴点は直ぐに画面上から消えてしまうため、これを追跡することができず、これら特徴点の情報をオプティカルフローの検出に有効に役立てることができないという問題があった。   Therefore, on the lower side of the screen where a lot of information on the road surface can be obtained, there is a high possibility that more feature points will be detected than on the upper side of the screen, but these feature points will immediately disappear from the screen, so this is tracked There is a problem that the information of these feature points cannot be effectively used for optical flow detection.

本発明は、上記問題点を解決するために、カメラ挙動の検出および物体の検出の双方に対して信頼できる高精度のオプティカルフローを求めることができ、物体の三次元情報の検出精度を向上させることが可能な周辺認識装置及び方法、並びにプログラムを提供することを目的とする。   In order to solve the above problems, the present invention can obtain a highly accurate optical flow that is reliable for both detection of camera behavior and detection of an object, and improves detection accuracy of three-dimensional information of the object. An object of the present invention is to provide a peripheral recognition apparatus and method, and a program capable of performing the above.

上記目的を達成するためになされた発明である請求項1に記載の周辺認識装置は、移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、第一撮像装置より光軸が下向きとなるように移動体に設置され、移動体が走行する道路面を撮像する第二撮像装置とを備えている。 The periphery recognition device according to claim 1, which is an invention made to achieve the above object, is a first imaging device that is installed on a moving body and captures an image around the moving body, and an optical axis from the first imaging device. And a second imaging device that images the road surface on which the moving body travels.

そして、撮像画像中で必ず道路が撮像される領域を道路領域、該道路領域が平面であると仮定した下での該道路領域の位置・形状を特定するパラメータを領域パラメータ、移動体の挙動を表すパラメータを挙動パラメータ、単一平面上のオプティカルフローと前記領域パラメータや挙動パラメータとの間に成立する関係式をモデル関係式として、挙動検出手段が、第二撮像装置の撮像画像から道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、該算出されたオプティカルフローや予め記憶されている領域パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、前記挙動パラメータを検出する。
また、分割手段が、第一撮像装置の撮像画像を領域分割し、領域パラメータ算出手段が、分割手段にて分割された領域である分割領域のそれぞれを対象領域として、その対象領域から複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、その算出されたオプティカルフローや挙動検出手段により検出された挙動パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する。
すると、マッピング手段が、領域パラメータ算出手段にて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、分割領域を三次元座標上にマッピングし、障害物検出手段が、マッピング手段により三次元座標上にマッピングされた分割領域をグループ化し、そのグループ化した物体を障害物として検出し、この検出された障害物の位置,形状を示す三次元情報を算出する。
Then, in the captured image, a region where a road is necessarily imaged is a road region, a parameter specifying the position / shape of the road region under the assumption that the road region is a plane, The behavior detection means converts the captured image of the second imaging device from the captured image to the road region , using the relational expression established between the optical flow on a single plane and the region parameter or behavior parameter as a model relational expression. Simultaneous equations obtained by extracting a plurality of existing feature points, calculating an optical flow at each feature point, and substituting the calculated optical flow and previously stored region parameters into the model relational expression by solving, detect the behavior parameters.
Further, the dividing unit divides the captured image of the first imaging device into regions, and the region parameter calculating unit sets each of the divided regions that are the regions divided by the dividing unit as a target region, and a plurality of features from the target region. Solving simultaneous equations obtained by extracting points and calculating the optical flow at each feature point and substituting the calculated optical flow and behavior parameters detected by the behavior detection means into the model relational expression Thus, the region parameter that defines the position and orientation of the target region in the three-dimensional space is calculated.
Then, the mapping unit maps the divided region on the three-dimensional coordinates based on the region parameter calculated by the region parameter calculating unit and the position of the target region in the captured image of the first imaging device, and the obstacle The detection means groups the divided areas mapped on the three-dimensional coordinates by the mapping means , detects the grouped object as an obstacle, and calculates three-dimensional information indicating the position and shape of the detected obstacle. To do.

つまり、第一撮像装置より光軸が下向きとなるように設置された第二撮像装置の撮像画像では、第一撮像装置の撮像画像と比較して、撮像画像内での位置によって特徴点の動き方が異なる度合いが小さいため、この第二撮像装置の撮像画像に基づいて道路面上の特徴点に基づくオプティカルフローを精度よく求めることができる。   That is, in the captured image of the second imaging device installed so that the optical axis is directed downward from the first imaging device, the movement of the feature point depends on the position in the captured image compared to the captured image of the first imaging device. Since the degree of difference is small, the optical flow based on the feature points on the road surface can be accurately obtained based on the captured image of the second imaging device.

また、第一撮像装置の撮像画像は、第二撮像装置の撮像画像と比較して、広い範囲を渡って撮像したものとなるため、この第一撮像装置の撮像画像に基づいて道路上及び道路周辺の多くの障害物(特徴点)を探索することができる。   In addition, since the captured image of the first imaging device is captured over a wide range compared to the captured image of the second imaging device, on the road and on the road based on the captured image of the first imaging device. Many obstacles (feature points) in the vicinity can be searched.

従って、本発明の周辺認識装置によれば、第二撮像装置の撮像画像に基づいて挙動パラメータを精度良く求めることができ、その精度のよい挙動パラメータと、広い範囲を撮像した第一撮像装置の撮像画像とに基づいて、広い範囲に渡って物体の三次元情報を精度よく求めることができる。   Therefore, according to the periphery recognition device of the present invention, the behavior parameter can be accurately obtained based on the captured image of the second imaging device, and the behavior parameter with high accuracy and the first imaging device that captures a wide range can be obtained. Based on the captured image, the three-dimensional information of the object can be accurately obtained over a wide range.

次に、請求項2に記載の周辺認識装置は、移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、第一撮像装置より光軸が下向きとなるように移動体に設置され、移動体が走行する道路面を撮像する第二撮像装置とを備えている。  Next, the periphery recognition device according to claim 2 is installed on the moving body, and the moving body is configured such that the first imaging device that captures an image around the moving body and the optical axis of the first imaging device are downward. And a second imaging device that images a road surface on which the moving body travels.

そして、撮像画像中で必ず道路が撮像される領域を道路領域、該道路領域が平面であると仮定した下での該道路領域の三次元空間内での位置・形状を特定するパラメータを領域パラメータ、移動体の挙動を表すパラメータを挙動パラメータ、単一平面上のオプティカルフローと前記領域パラメータや前記挙動パラメータとの間に成立する関係式をモデル関係式として、挙動検出手段が、第二撮像装置の撮像画像から道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、該算出されたオプティカルフローや予め記憶されている領域パラメータを、モデル関係式に代入することで得られる連立方程式を解くことにより、挙動パラメータを検出する。  A region parameter is a parameter for specifying the position / shape of the road region in the three-dimensional space under the assumption that the region in which the road is necessarily imaged in the captured image is a road region and the road region is a plane. The behavior detection means is a second imaging device, wherein a parameter representing the behavior of the moving object is a behavior parameter, and a relational expression established between the optical flow on a single plane and the region parameter or the behavior parameter is a model relational expression. A plurality of feature points existing in the road region are extracted from the captured image of the image, optical flows at the respective feature points are calculated, and the calculated optical flow and prestored region parameters are substituted into the model relational expression. The behavior parameters are detected by solving the simultaneous equations.
また、挙動補正手段が、挙動検出手段にて検出された挙動パラメータを補正し、分割手段が、第一撮像装置の撮像画像を領域分割し、領域パラメータ算出手段が、分割手段にて分割された領域である分割領域のそれぞれを対象領域として、その対象領域から複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、その算出されたオプティカルフローや挙動補正手段により補正された挙動パラメータを、モデル関係式に代入することで得られる連立方程式を解くことにより、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出する。  In addition, the behavior correcting unit corrects the behavior parameter detected by the behavior detecting unit, the dividing unit divides the captured image of the first imaging device into regions, and the region parameter calculating unit is divided by the dividing unit. Using each of the divided areas as the target area, a plurality of feature points are extracted from the target area, the optical flow at each feature point is calculated, and the behavior corrected by the calculated optical flow and behavior correcting means By solving the simultaneous equations obtained by substituting the parameters into the model relational expression, region parameters that define the position and orientation of the target region in the three-dimensional space are calculated.
すると、マッピング手段が、領域パラメータ算出手段にて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、分割領域を三次元座標上にマッピングし、障害物検出手段が、マッピング手段により三次元座標上にマッピングされた分割領域をグループ化し、そのグループ化した物体を障害物として検出し、検出した障害物の位置,形状を示す三次元情報を算出する。  Then, the mapping unit maps the divided region on the three-dimensional coordinates based on the region parameter calculated by the region parameter calculating unit and the position of the target region in the captured image of the first imaging device, and the obstacle The detection unit groups the divided areas mapped on the three-dimensional coordinates by the mapping unit, detects the grouped object as an obstacle, and calculates three-dimensional information indicating the position and shape of the detected obstacle.

なお、挙動補正手段では、オプティカルフロー算出手段が、第一撮像装置の撮像画像から道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、パラメータ算出手段が、挙動検出手段にて検出された挙動パラメータを仮挙動パラメータとし、オプティカルフロー算出手段にて算出されたオプティカルフローや仮挙動パラメータを、モデル関係式に代入することで得られる連立方程式を解くことにより領域パラメータを算出すると共に、その算出された道路領域パラメータおよびオプティカルフロー算出手段にて算出されたオプティカルフローを、モデル関係式に代入することで得られる連立方程式を解くことにより挙動パラメータを算出する。
そして、補正制御手段が、パラメータ算出手段にて算出された挙動パラメータを算出挙動パラメータとして、その算出挙動パラメータと仮挙動パラメータとの距離が予め設定された閾値以上であれば、算出挙動パラメータを仮の挙動パラメータとして、パラメータ算出手段を繰り返し実行させ、距離が閾値より小さければ、算出挙動パラメータを、補正された挙動パラメータとして領域パラメータ算出手段に供給する。
つまり、挙動パラメータは、請求項1に記載のように、そのまま移動体の挙動(又は第一撮像装置の挙動)として使用しても良いし、請求項2に記載のように、第一撮像装置から得られる情報に基づいて、より第一撮像装置の挙動を正確に表すように補正した上で使用してもよい。
In the behavior correction means, the optical flow calculation means extracts a plurality of feature points existing in the road area from the captured image of the first imaging device, calculates an optical flow at each feature point, and the parameter calculation means By using the behavior parameters detected by the behavior detection means as temporary behavior parameters and solving the simultaneous equations obtained by substituting the optical flow and temporary behavior parameters calculated by the optical flow calculation means into the model relational expression, the region In addition to calculating the parameters, the behavior parameters are calculated by solving the simultaneous equations obtained by substituting the calculated road region parameters and the optical flow calculated by the optical flow calculation means into the model relational expression.
Then, the correction control means uses the behavior parameter calculated by the parameter calculation means as the calculated behavior parameter, and if the distance between the calculated behavior parameter and the temporary behavior parameter is equal to or greater than a preset threshold, As the behavior parameter, the parameter calculation means is repeatedly executed, and if the distance is smaller than the threshold value, the calculated behavior parameter is supplied to the region parameter calculation means as the corrected behavior parameter.
That is, the behavior parameter may be used as it is as the behavior of the moving body (or the behavior of the first imaging device) as described in claim 1 , or the first imaging device as described in claim 2. Based on the information obtained from the above, it may be used after correcting so as to more accurately represent the behavior of the first imaging device.

ところで、第一撮像装置は、請求項3に記載のように、水平方向又は水平方向より下向きに、且つ移動体の前方に光軸を向けて配置されていることが望ましい。
つまり、第一撮像装置は、その光軸が水平方向に近いほど、より遠方の物体(特徴点)の撮像が可能となるため、道路上及び道路周辺に存在する障害物の検出性能を向上させることができる。
By the way, as described in claim 3 , it is desirable that the first imaging device is arranged in the horizontal direction or downward from the horizontal direction and with the optical axis directed in front of the moving body.
In other words, the closer the optical axis of the first imaging device is to the horizontal direction, the more distant objects (feature points) can be imaged, thereby improving the detection performance of obstacles existing on and around the road. be able to.

また、この場合、第一撮像装置の撮像画像は、請求項4に記載のように、横長であることが望ましい。この場合、第一撮像装置は、より側方の物体(特徴点)の撮像が可能となるため、移動体近傍(特に側方)に存在する障害物の検出性能を向上させることができる。 In this case, it is desirable that the captured image of the first imaging device is horizontally long as described in claim 4 . In this case, since the first imaging device can image a more lateral object (feature point), it is possible to improve the detection performance of an obstacle existing in the vicinity of the moving body (particularly the side).

一方、第二撮像装置は、請求項5に記載のように、鉛直下方に光軸を向けて配置されているか、或いは、請求項6に記載のように、鉛直下方から移動体の後方に傾斜した方向に光軸を向けて配置されていることが望ましい。 On the other hand, as described in claim 5 , the second imaging device is arranged with the optical axis directed vertically downward, or inclined downward from the vertically movable body as described in claim 6. It is desirable that the optical axis be oriented in the direction.

つまり、前者(請求項5)の場合、道路面上の特徴点に基づくオプティカルフローの検出精度を最大限に向上させることができ、また、後者(請求項6)の場合、移動体の進行方向に沿った撮像範囲が広がるため、同一特徴点を長時間追跡することが可能となり、特徴点の追跡精度、ひいては特徴点に基づいて算出されるオプティカルフローや挙動パラメータの信頼度を向上させることができる。 That is, in the former case ( claim 5 ), the optical flow detection accuracy based on the feature points on the road surface can be improved to the maximum, and in the latter case ( claim 6 ), the traveling direction of the moving body Because the imaging range along the line is expanded, it is possible to track the same feature point for a long time, improving the tracking accuracy of the feature point, and thus the reliability of the optical flow and behavior parameters calculated based on the feature point. it can.

また、第二撮像装置は、必ずしも一定の姿勢に固定されている必要はなく、例えば、請求項7に記載のように、姿勢制御手段が、第二撮像装置から取得される連続した二つの撮像画像中に、同一特徴点が存在するように、移動体の速度が大きいほど、移動体の進行方向とは反対側への光軸の傾斜角度が大きくなるように第二撮像装置の姿勢を変化させるように構成されていてもよい。 In addition, the second imaging device does not necessarily have to be fixed in a fixed posture. For example, as described in claim 7 , the posture control unit is configured to capture two consecutive images acquired from the second imaging device. Change the attitude of the second imaging device so that the higher the speed of the moving body, the greater the tilt angle of the optical axis to the opposite side of the moving body, so that the same feature point exists in the image You may be comprised so that it may make.

この場合、同一特徴点の追跡を確実に行うことができ、しかも、第二撮像装置の姿勢が必要以上に傾斜することがないため、第二撮像装置の姿勢に基づくオプティカルフローの検出精度の低下を必要最小限に抑えることができる。   In this case, the same feature point can be reliably tracked, and the attitude of the second imaging device does not tilt more than necessary, so that the optical flow detection accuracy based on the attitude of the second imaging device is reduced. Can be minimized.

そして、第二撮像装置の撮像画像は、請求項8に記載のように、縦長であることが望ましい。この場合、第二撮像装置の撮像領域を、移動体の進行方向に沿った撮像領域を、第二撮像装置の姿勢を傾斜させることなく広げることができる。 And as for the picked-up image of a 2nd imaging device, as described in Claim 8 , it is desirable that it is vertically long. In this case, the imaging region of the second imaging device can be expanded without increasing the orientation of the second imaging device in the imaging region along the traveling direction of the moving body.

なお、第二撮像装置は、請求項9に記載のように、車線の左端を示す路面表示、又は左側通行の道路であれば道路端に設けられた路側物,右側通行の道路であれば道路中央の分離帯の撮像が少なくとも可能となる姿勢及び位置に配置されているか、又は、請求項10に記載のように、車線の右端を示す路面表示、又は左側通行の道路であれば道路中央の分離帯,右側通行の道路であれば道路端に設けられた路側物の撮像が少なくとも可能となる姿勢及び位置に配置されていることが望ましい。 Incidentally, the second imaging device, as claimed in claim 9, pavement markings indicating the leftmost lane, or if the road on the left traffic roadside object provided in roadside, if road right-hand traffic road It is arranged in a posture and position where at least imaging of the central separation band is possible, or as shown in claim 10 , a road surface indicating the right end of the lane, or a road in the middle of the road if it is a left-handed road In the case of a separation zone or a right-handed road, it is desirable that the roadside object provided at the end of the road be disposed in a posture and position that enables at least imaging of a roadside object.

前者(請求項9)の場合、具体的には、第二撮像装置の姿勢を、光軸が移動体の左側方を向くようにしたり、第二撮像装置を、移動体自身が撮像の邪魔になることがないように、移動体の左側面に配置すればよい。また、後者(請求項10)の場合、第二撮像装置の姿勢を、光軸が移動体の右側方を向くようにしたり、第二撮像装置を、移動体自身が撮像の邪魔になることがないように、移動体の左側面に配置すればよい。 In the case of the former ( claim 9 ), specifically, the posture of the second image pickup device is set such that the optical axis faces the left side of the moving body, or the second image pickup device is used as an obstacle to the image pickup by the moving body itself. What is necessary is just to arrange | position on the left side surface of a moving body so that it may not become. In the case of the latter ( claim 10 ), the posture of the second imaging device may be such that the optical axis faces the right side of the moving body, or the moving body itself may interfere with the imaging. It may be arranged on the left side of the moving body so that there is no such thing.

なお、第二撮像装置は、車線の左右両端を示す路面表示、及び道路端の路側物や道路中央の分離帯を同時に撮像可能な姿勢及び位置に配置されていてもよい。
そして、第二撮像装置は、例えば、請求項11に記載のように、移動体の後方に配置され、運転者から死角となる領域を撮像するバックモニタ用カメラを兼用していてもよい。
Note that the second imaging device may be arranged in a posture and a position where a road surface display indicating the left and right ends of the lane, and a roadside object at the road edge and a separation zone at the center of the road can be simultaneously imaged.
Then, the second imaging device, for example, as described in claim 11, disposed behind the movable body, may be shared with the back monitor camera for imaging a region to be a blind spot of the driver.

また、第二撮像装置は、例えば、請求項12に記載のように、移動体の底面に配置されていてもよい。
この場合、第二撮像装置の撮像領域の全体が、当該装置を搭載する移動体の影の部分に含まれ、撮像画像に移動体の影の境界部分が映り込む可能性が低いため、影の境界を特徴点として誤認して、無駄な処理が実行されたり、誤った三次元情報が算出されることを防止できる。
Moreover, the 2nd imaging device may be arrange | positioned at the bottom face of the mobile body, for example, as described in claim 12 .
In this case, since the entire imaging area of the second imaging device is included in the shadow portion of the moving object on which the device is mounted, and the possibility that the boundary portion of the shadow of the moving object is reflected in the captured image is low, It is possible to prevent a boundary from being misidentified as a feature point and executing unnecessary processing or calculating incorrect three-dimensional information.

なお、このように第二撮像装置が移動体の底面に配置されている場合、第二撮像装置は、請求項13に記載のように、移動体の中心より前方に配置されていることがより望ましい。 In addition, when the 2nd imaging device is arrange | positioned at the bottom face of a moving body in this way, as for the 2nd imaging device, it is more preferable to be arrange | positioned ahead from the center of a moving body, as described in Claim 13. desirable.

つまり、第二撮像装置の撮像範囲を広げるために、光軸が移動体の後方に向けて傾斜するように第二撮像装置の姿勢を設定したとしても、その撮像範囲内に自身を搭載する移動体の影の境界部分が写り込む可能性をより確実に低下させることができる。   That is, even if the orientation of the second imaging device is set so that the optical axis is inclined toward the rear of the moving body in order to widen the imaging range of the second imaging device, the movement of mounting itself within the imaging range The possibility that the boundary part of the shadow of the body is reflected can be reduced more reliably.

また、第二撮像装置は、必ずしも移動体上の一定の位置に固定されている必要はなく、請求項14に記載のように、移動手段が、第二撮像装置の撮像画像中に、自移動体又は自移動体と併走する他移動体、或いは路側物の影が写り込むことがないように第二撮像装置の姿勢及び位置を変化させるように構成されていてもよい。 Further, the second imaging device does not necessarily have to be fixed at a fixed position on the moving body, and the moving means moves by itself in the captured image of the second imaging device as described in claim 14. You may be comprised so that the attitude | position and position of a 2nd imaging device may be changed so that the shadow of the other moving body which runs along with a body or a self-moving body, or a roadside object may not be reflected.

この場合、影の境界を特徴点と誤認することによる影響を、より確実に除去することができる。
また、特徴点の検出を容易にするため、例えば、請求項15に記載のように、第二撮像装置の撮像範囲を照射範囲とする照明手段を備えていてもよい。
In this case, it is possible to more reliably remove the influence caused by misidentifying the shadow boundary as a feature point.
In order to facilitate the detection of feature points, for example, as described in claim 15 , illumination means having an imaging range of the second imaging device as an irradiation range may be provided.

ところで、第一撮像装置及び第二撮像装置としては、撮像を行う環境や撮像対象などに応じて、様々な種類の撮像画像を生成するものを用いることができる。
具体的には、例えば、請求項16に記載のように、輝度強度を表す画素値を有した撮像画像を生成するもの(モノクロカメラ等)であってもよいし、請求項17に記載のように、色彩を表す画素値を有した撮像画像を生成するもの(カラーカメラ等)であってもよし、請求項18に記載のように、赤外線強度を表す画素値を有した撮像画像を生成するもの(赤外線カメラ等)であってもよいし、請求項19に記載のように、エッジが強調された撮像画像を生成するもの(模様検出用ビジョンチップ等)であってもよい。
By the way, as a 1st imaging device and a 2nd imaging device, what produces | generates various types of captured images can be used according to the environment, imaging object, etc. which image.
Specifically, for example, as described in claim 16 , it may be one that generates a captured image having a pixel value representing luminance intensity (monochrome camera or the like), or as claimed in claim 17. Furthermore, it is possible to generate a captured image having a pixel value representing a color (color camera or the like), and to generate a captured image having a pixel value representing an infrared intensity as described in claim 18. It may be a thing (infrared camera or the like), or it may be a thing (a vision chip for pattern detection or the like) that generates a picked-up image with an edge enhanced as described in claim 19 .

次に、請求項20に記載の周辺認識方法は、請求項1に記載の周辺認識装置を構成する各手段にそれぞれ対応するステップを備えている。 Next, a periphery recognition method according to a twentieth aspect includes steps corresponding to the respective units constituting the periphery recognition apparatus according to the first aspect.

つまり、本発明の周辺認識方法では、第二撮像装置の撮像画像は、専ら移動体の挙動(ひいては第一撮像装置の挙動)を表す挙動パラメータを精度良く求めるために使用し、その挙動パラメータを利用して、第一撮像装置の撮像画像からその撮像画像中に存在する障害物の三次元情報を精度よく求めている。   That is, in the periphery recognition method of the present invention, the captured image of the second imaging device is used to accurately obtain a behavior parameter that represents the behavior of the moving body (and hence the behavior of the first imaging device), and the behavior parameter is used. The three-dimensional information of the obstacle existing in the captured image is accurately obtained from the captured image of the first imaging device.

このため、同じ撮像装置から得られた撮像画像を用いて移動体の挙動の検出と障害物の検出とをいずれも行う従来装置とは異なり、撮像装置の姿勢(光軸の向き)に関わるトレードオフの関係に捕らわれることなく、移動体の挙動の検出精度を向上させ、且つ障害物の検出領域を十分に確保することができる。   For this reason, unlike conventional devices that perform both the detection of the behavior of a moving object and the detection of an obstacle using captured images obtained from the same imaging device, trades relating to the orientation of the imaging device (the direction of the optical axis) Without being trapped by the off relationship, it is possible to improve the detection accuracy of the behavior of the moving body and to sufficiently secure the obstacle detection area.

次に、請求項21に記載の周辺認識方法は、請求項2に記載の周辺認識装置を構成する各手段にそれぞれ対応するステップを備えている。  Next, a periphery recognition method according to a twenty-first aspect includes steps corresponding to the respective units constituting the periphery recognition device according to the second aspect.

つまり、請求項20に記載の周辺認識方法の場合、挙動パラメータをそのまま利用することにより、少ない処理量で、障害物の三次元情報を求めることができ、一方、請求項21に記載の周辺認識方法の場合、挙動パラメータを、第一撮像装置の撮像画像から得られる情報を用いて補正することにより、第一撮像装置の挙動をより正確に表した挙動パラメータが得られるため、障害物の三次元情報の検出精度をより一層向上させることができる。 That is, in the periphery recognition method according to claim 20, by using the behavior parameters as they are, the three-dimensional information of the obstacle can be obtained with a small amount of processing, while the periphery recognition according to claim 21 is performed. In the case of the method , the behavior parameter is corrected using information obtained from the captured image of the first imaging device, so that a behavior parameter that more accurately represents the behavior of the first imaging device can be obtained. The detection accuracy of the original information can be further improved.

ところで、上記周辺認識方法は、請求項22に記載のように、この方法を構成する各ステップをコンピュータに実行させるためのプログラムとして実現してもよい。
この場合、プログラムは、コンピュータが読み取り可能な記録媒体に記憶され、その記録媒体から必要に応じてコンピュータシステムにロードされるものであってもよいし、ネットワークを介してコンピュータシステムにロードされるものであってもよい。また、記録媒体は、持ち運び可能なものであってもよいし、コンピュータシステムに組み込まれたものであってもよい。
By the way, as described in claim 22 , the peripheral recognition method may be realized as a program for causing a computer to execute each step constituting the method.
In this case, the program may be stored in a computer-readable recording medium and loaded from the recording medium into the computer system as necessary, or loaded into the computer system via a network. It may be. The recording medium may be portable or may be incorporated in a computer system.

以下に本発明の実施形態を図面と共に説明する。
[第1実施形態]
図1(a)は、本発明が適用された車載周辺認識装置1の全体構成を示すブロック図である。
Embodiments of the present invention will be described below with reference to the drawings.
[First Embodiment]
FIG. 1A is a block diagram showing an overall configuration of an in-vehicle periphery recognition device 1 to which the present invention is applied.

図1(a)に示すように、車載周辺認識装置1は、車両前方の道路上及び道路周辺の状況を撮影する第一撮像装置2と、車両後方の道路面を中心に撮影する第二撮像装置3と、当該装置1を搭載する車両の車速を検出する車速センサ5と、車速センサ5にて検出される車速に応じて、第二撮像装置3の姿勢を制御する姿勢制御部4と、各種情報を視覚的,聴覚的に報知するためのディスプレイ6及びスピーカ7と、車両制御(エンジン,ブレーキ,変速機,ステアリング等の制御)を実行する際に駆動される各種アクチュエータ8と、第一撮像装置2及び第二撮像装置3から取得する撮像画像、及び姿勢制御部4から取得する姿勢情報に基づいて、道路上及び道路周辺の障害物(車両,路側物など)の位置や形状を示す三次元情報を生成する周辺認識部11と、周辺認識部11にて生成された三次元情報に基づいて、危険(道路領域以外への逸脱,障害物の存在等)の有無などを判断し、ディスプレイ6及びスピーカ7を介して警報,報知を行ったり、アクチュエータ8を制御することにより危険回避動作等を実行する危険判定部13とを備えている。   As shown in FIG. 1 (a), the in-vehicle periphery recognition device 1 includes a first imaging device 2 that captures the situation on and around the road ahead of the vehicle, and a second imaging that captures mainly the road surface behind the vehicle. A device 3, a vehicle speed sensor 5 that detects the vehicle speed of the vehicle on which the device 1 is mounted, a posture control unit 4 that controls the posture of the second imaging device 3 according to the vehicle speed detected by the vehicle speed sensor 5, A display 6 and a speaker 7 for informing various information visually and audibly, various actuators 8 driven when executing vehicle control (control of engine, brake, transmission, steering, etc.), first Based on the captured images acquired from the imaging device 2 and the second imaging device 3 and the posture information acquired from the posture control unit 4, the position and shape of obstacles (vehicles, roadside objects, etc.) on and around the road are shown. Generate 3D information Based on the three-dimensional information generated by the edge recognition unit 11 and the periphery recognition unit 11, the presence or absence of danger (departure other than the road area, presence of obstacles, etc.) is determined, and the display 6 and the speaker 7 are connected. And a risk determination unit 13 that performs a risk avoidance operation by controlling the actuator 8.

なお、周辺認識部11及び危険判定部13は、CPU,ROM,RAMを中心に構成された周知のマイクロコンピュータからなる。また、第一撮像装置2及び第二撮像装置3は、輝度強度を画素値とする濃淡(モノクロ)画像を生成するCCDカメラ(画角45°)からなる。但し、第一撮像装置2及び第二撮像装置3は、縦方向と横方向とで画素数が異なった長方形の撮像画像を出力する。   Note that the periphery recognition unit 11 and the risk determination unit 13 include a well-known microcomputer mainly composed of a CPU, a ROM, and a RAM. The first imaging device 2 and the second imaging device 3 are composed of a CCD camera (angle of view: 45 °) that generates a grayscale (monochrome) image having luminance intensity as a pixel value. However, the first imaging device 2 and the second imaging device 3 output rectangular captured images having different numbers of pixels in the vertical direction and the horizontal direction.

ここで、図2は、第一撮像装置2及び第二撮像装置3の取付状態、及び姿勢制御部4による制御内容を示す説明図である。
図2に示すように、第一撮像装置2は、車両Mのフロントガラスのマップランプ周辺に取り付けられ、その光軸が車両の正面方向(前進方向)且つ水平方向(鉛直下方からのピッチ角α=90°)を向き、しかも、撮像画像が横長となる(撮像画像の短手方向が車両の進行方向と一致する)ように設定されている。
Here, FIG. 2 is an explanatory diagram showing the attachment state of the first imaging device 2 and the second imaging device 3 and the control content by the attitude control unit 4.
As shown in FIG. 2, the first imaging device 2 is mounted around the map lamp of the windshield of the vehicle M, and its optical axis is the front direction (forward direction) of the vehicle and the horizontal direction (pitch angle α from below vertically). = 90 °) and the captured image is set to be horizontally long (the short direction of the captured image matches the traveling direction of the vehicle).

一方、第二撮像装置3は、車両Mの後方左端に高さ0.5mの位置に取り付けられ、その光軸が鉛直下向き(ピッチ角α=0°)から(図2(b)参照)から、車両Mの後方に向けて所定角度(本実施形態ではピッチ角α=30°)傾斜した向き(図2(c)参照)の間を向くよう姿勢を変化させることが可能なように構成され、しかも、撮像画像が縦長となる(撮像画像の長手方向が車両の進行方向と一致する)ように設定されている。   On the other hand, the second imaging device 3 is attached to a position at a height of 0.5 m at the rear left end of the vehicle M, and its optical axis is from vertically downward (pitch angle α = 0 °) (see FIG. 2B). The posture of the vehicle M can be changed so as to face between the directions (see FIG. 2C) inclined by a predetermined angle (pitch angle α = 30 ° in the present embodiment) toward the rear of the vehicle M. In addition, the captured image is set to be vertically long (the longitudinal direction of the captured image matches the traveling direction of the vehicle).

そして、姿勢制御部4は、連続して取得される撮像画像(以下「フレーム」ともいう)中に、道路面上の同一特徴点が必ず存在するように、車速に応じてピッチ角αを変化させるように構成されている。   Then, the posture control unit 4 changes the pitch angle α according to the vehicle speed so that the same feature point on the road surface is always present in continuously acquired captured images (hereinafter also referred to as “frames”). It is configured to let you.

なお、第二撮像装置3の取付高さと姿勢(光軸の傾斜角度)の可動範囲は、第二撮像装置3のフレームレートを考慮して設定され、本実施形態では、車速40km/h未満では、α=0°、車速40km/h以上でα=30°となるようにされている。   Note that the movable range of the mounting height and posture (inclination angle of the optical axis) of the second imaging device 3 is set in consideration of the frame rate of the second imaging device 3, and in this embodiment, at a vehicle speed of less than 40 km / h. , Α = 0 °, and α = 30 ° at a vehicle speed of 40 km / h or higher.

次に、周辺認識部11は、図1(b)に示すように、第二撮像装置3にて撮像された画像(以下「第二カメラ画像」という)、及び姿勢制御部4からの姿勢情報に基づいて、車両の挙動を表す挙動パラメータを生成する挙動検出部11aと、挙動検出部11aにて生成された挙動パラメータ、及び第一撮像装置2にて撮像された画像(以下「第一カメラ画像」という)に基づいて、挙動パラメータを第一撮像装置2の挙動を表したものに補正する挙動補正部11bと、挙動補正部11bにて補正された挙動パラメータ、及び第一カメラ画像に基づいて、第一カメラ画像に写されている障害物の三次元情報を求める三次元情報算出部11cとからなる。なお、これら各部11a〜11cは、周辺認識部11を構成するCPUが実行する処理として実現される。   Next, the periphery recognition unit 11, as shown in FIG. 1B, an image captured by the second imaging device 3 (hereinafter referred to as “second camera image”) and posture information from the posture control unit 4. Based on the behavior detection unit 11a that generates a behavior parameter representing the behavior of the vehicle, the behavior parameter generated by the behavior detection unit 11a, and an image captured by the first imaging device 2 (hereinafter referred to as “first camera”). Based on the behavior parameters corrected by the behavior correction unit 11b, the behavior parameters corrected by the behavior correction unit 11b, and the first camera image. And a three-dimensional information calculation unit 11c for obtaining three-dimensional information of the obstacle imaged in the first camera image. Each of these units 11a to 11c is realized as a process executed by the CPU constituting the periphery recognition unit 11.

以下、周辺認識部11の各部11a〜11cに対応した処理について詳述する。
但し、以下の説明において、第一撮像装置2の設置位置を基準とする第一カメラ座標系、及び第二撮像装置3の設置位置を基準とする第二カメラ座標系では、図3(a)に示すように、カメラ画像の左右方向をx軸、カメラ画像の上下方向をy軸、カメラの光軸方向をz軸とする。また、車両中心を原点とする車両座標系では、図3(b)に示すように、車両の幅方向をx軸、車両の進行方向をy軸、上下方向をz軸とする。
Hereinafter, the processing corresponding to each part 11a-11c of the periphery recognition part 11 is explained in full detail.
However, in the following description, in the first camera coordinate system based on the installation position of the first imaging device 2 and the second camera coordinate system based on the installation position of the second imaging device 3, FIG. As shown in FIG. 4, the left-right direction of the camera image is the x-axis, the up-down direction of the camera image is the y-axis, and the optical axis direction of the camera is the z-axis. In the vehicle coordinate system with the vehicle center as the origin, as shown in FIG. 3B, the vehicle width direction is the x axis, the vehicle traveling direction is the y axis, and the vertical direction is the z axis.

そして、x軸方向の速度を左右速度tx、y軸方向の速度を前後速度ty、z軸方向の速度を上下速度tz、x軸を中心とする回転の角速度をピッチレートωx、y軸を中心とする回転の角速度をロールレートωy、z軸を中心とする回転の角速度をヨーレートωzとして、これらを要素とするベクトルを、挙動パラメータK=(tx,ty,tz,ωx,ωy,ωz)と呼ぶものとする。   The speed in the x-axis direction is the left-right speed tx, the speed in the y-axis direction is the longitudinal speed ty, the speed in the z-axis direction is the vertical speed tz, the angular speed of rotation about the x-axis is the pitch rate ωx, and the y-axis is centered The rotation angular velocity is assumed to be the roll rate ωy, the rotation angular velocity around the z-axis is the yaw rate ωz, and a vector having these elements as behavior parameters K = (tx, ty, tz, ωx, ωy, ωz) Shall be called.

また、周辺認識部11を構成するROMには、第一カメラ画像中で必ず道路が撮影される領域を道路領域A1、第二カメラ画像中で必ず道路が撮影される領域を道路領域A2として、その道路領域A1の第一カメラ画像内での位置、及び道路領域A2の第二カメラ画像内での位置を示す道路領域位置情報JA1,JA2及び道路領域A2が平面であると仮定した元での第二カメラ座標系における道路領域A2(道路平面)の位置,形状を特定する領域パラメータRA2=(a,b,c)が記憶されている。 Further, in the ROM constituting the periphery recognition unit 11, a region where a road is always photographed in the first camera image is a road region A1, and a region where a road is necessarily photographed in the second camera image is a road region A2. It is assumed that the road area position information J A1 and J A2 indicating the position of the road area A1 in the first camera image and the position of the road area A2 in the second camera image and the road area A2 are planes. The area parameter R A2 = (a, b, c) for specifying the position and shape of the road area A2 (road plane) in the second camera coordinate system is stored.

なお、領域パラメータRは、次の(1)(2)式で定義されるパラメータである。   The region parameter R is a parameter defined by the following equations (1) and (2).

即ち、(1)式は、カメラ画像中の点(x,y)が、カメラ座標系で表された三次元空間内のある平面領域上に存在する場合、点(x,y)の奥行き(光軸方向の距離)Zとの関係を示す式であり、(2)式は、(1)式を満たす場合に、カメラの焦点距離をfとして、点(x,y)とこれに対応するカメラ座標系内での三次元位置(X,Y,Z)との関係を示す式である。なお、平面領域の領域パラメータ(a,b,c)と、その平面領域の法線ベクトル(A,B,C)とは、(3)式に示す関係を有する。   That is, the expression (1) indicates that the point (x, y) in the camera image exists on a certain plane area in the three-dimensional space represented by the camera coordinate system, and the depth ( (Distance in the optical axis direction) Z is an expression showing the relationship with Z. When the expression (1) is satisfied, the focal length of the camera is f and the point (x, y) corresponds to this. It is a formula showing the relationship with the three-dimensional position (X, Y, Z) in the camera coordinate system. The area parameter (a, b, c) of the plane area and the normal vector (A, B, C) of the plane area have the relationship shown in the equation (3).

また、第二撮像装置3の姿勢は車速に応じて変化するため、道路領域A2の道路領域位置情報JA2、及び領域パラメータRA2は、姿勢制御部4から取得される姿勢情報をインデックスとしたテーブル形式で記憶されている。 Further, since the attitude of the second imaging device 3 changes according to the vehicle speed, the road area position information J A2 and the area parameter R A2 of the road area A2 are indexed by the attitude information acquired from the attitude control unit 4. Stored in table format.

ここで、図4は挙動検出部11aでの処理内容、図5は挙動補正部11bでの処理内容、図6は三次元情報算出部11cでの処理内容を示すフローチャートである。
まず、挙動検出部11aでは、図4に示すように、第二撮像装置3から第二カメラ画像が取得されるまで待機し(S100)、第二カメラ画像が取得されると、姿勢制御部4からの姿勢情報に基づいて道路領域位置情報JA2を取得し、その道路領域位置情報JA2により特定される第二カメラ画像中の道路領域A2から、NA2個(少なくとも3個)の特徴点PA2=(x,y)を抽出する(S110)。なお、ここでは、特徴点PA2として、各種路面表示(道路標示や区画線)の縁や、キャッツアイ、路側物(縁石,防音壁,街路樹等)と路面との境界など、画素値が大きく変化する地点を抽出する。
4 is a flowchart showing the processing contents in the behavior detecting unit 11a, FIG. 5 is the processing contents in the behavior correcting unit 11b, and FIG. 6 is a flowchart showing the processing contents in the three-dimensional information calculating unit 11c.
First, as shown in FIG. 4, the behavior detection unit 11a waits until the second camera image is acquired from the second imaging device 3 (S100), and when the second camera image is acquired, the attitude control unit 4 The road area position information J A2 is acquired based on the posture information from the road area, and N A2 (at least three) feature points are obtained from the road area A2 in the second camera image specified by the road area position information J A2. P A2 = (x, y) is extracted (S110). Here, as the feature point P A2, edges of various road markings (road markings and lane lines), cat's eye, a roadside object (curb, soundproof walls, trees, etc.) and the like boundary between the road surface, the pixel value Extract points that change significantly.

そして、S110で抽出された特徴点PA2と過去の検出結果とに基づいて、各特徴点PA2のそれぞれについてオプティカルフローFA2=(u,v)を算出する(S120)。
次に、姿勢情報に基づいて道路領域A2の領域パラメータRA2=(a,b,c)を取得し(S130)、その取得した領域パラメータRA2とS120にて算出したオプティカルフローFA2に基づいて、第二カメラ座標系における第二撮像装置3の挙動を表す挙動パラメータKB を算出する(S140)
具体的には、オプティカルフロー(u,v)は、特徴点(x,y)、領域パラメータ(a,b,c)、挙動パラメータ(tx,ty,tz,ωx,ωy,ωz)、カメラの焦点距離fを用いて(4)(5)式で表される。
Based on the feature point P A2 extracted in S110 and the past detection result, an optical flow F A2 = (u, v) is calculated for each feature point P A2 (S120).
Next, the area parameter R A2 = (a, b, c) of the road area A2 is acquired based on the posture information (S130), and based on the acquired area parameter R A2 and the optical flow F A2 calculated in S120. Te to calculate the behavior parameter K B representative of the behavior of the second image pickup apparatus 3 according to the second camera coordinate system (S140)
Specifically, the optical flow (u, v) includes a feature point (x, y), a region parameter (a, b, c), a behavior parameter (tx, ty, tz, ωx, ωy, ωz), a camera It is expressed by equations (4) and (5) using the focal length f.

このため、特徴点(x,y)及びオプティカルフロー(u,v)が3個以上あれば、これを(4)(5)式に代入することで、挙動パラメータ(tx,ty,tz,ωx,ωy,ωz)の各要素を未知数とした6個以上の式からなる連立方程式が得られるため、この連立方程式をシンプレックス法などの周知の最適化手法を用いて解くことにより、挙動パラメータの各要素を求めることができる。   Therefore, if there are three or more feature points (x, y) and optical flows (u, v), the behavior parameters (tx, ty, tz, ωx are obtained by substituting these into the equations (4) and (5). , Ωy, ωz) are obtained as simultaneous equations consisting of six or more equations with unknown elements. By solving these simultaneous equations using a known optimization method such as the simplex method, each of the behavior parameters is obtained. The element can be determined.

なお、ここで説明したオプティカルフローモデルについては、例えば、G. Stein, O. Mano and A. Shashua. A robust method for. computing vehicle ego-motion,In IEEE Intelligent Vehicles Symposium (IV2000), Oct. 2000, Dearborn, MIに詳述されている。   As for the optical flow model described here, for example, G. Stein, O. Mano and A. Shashua. A robust method for. Computing vehicle ego-motion, In IEEE Intelligent Vehicles Symposium (IV2000), Oct. 2000, Detailed description in Dearborn, MI.

このようにして得られた挙動パラメータKB は、第二カメラ座標系で表されたものであるため、この挙動パラメータKB を座標変換することにより、車両座標系で表された挙動パラメータKC を求めて(S150)、S100に戻る。 The behavior parameter K B obtained in this way is expressed in the second camera coordinate system. Therefore, the behavior parameter K C expressed in the vehicle coordinate system is obtained by performing coordinate transformation on the behavior parameter K B. (S150), and the process returns to S100.

つまり、挙動検出部11aでは、車両Mに固定されている第二撮像装置3の挙動と、車両M自体の挙動とは等しいとみなして、第二カメラ画像から近似的に車両挙動を表す挙動パラメータKC を求めている。 That is, the behavior detection unit 11a regards the behavior of the second imaging device 3 fixed to the vehicle M as the behavior of the vehicle M itself, and the behavior parameter that approximately represents the vehicle behavior from the second camera image. seeking K C.

次に、挙動補正部11bでは、図5に示すように、第一撮像装置2から第一カメラ画像が取得されるまで待機し(S200)、第一カメラ画像が取得されると、挙動検出部11aで求めら、車両座標系で表された挙動パラメータKC を座標変換することにより、第一カメラ座標系で表された仮の挙動パラメータKD を求める(S210)。 Next, the behavior correction unit 11b waits until the first camera image is acquired from the first imaging device 2 as shown in FIG. 5 (S200), and when the first camera image is acquired, the behavior detection unit The temporary behavior parameter K D represented in the first camera coordinate system is obtained by coordinate transformation of the behavior parameter K C represented in the vehicle coordinate system obtained in 11a (S210).

そして、第一カメラ画像に関する道路領域位置情報JA1により特定される第一カメラ画像中の道路領域A1から、NA1個(少なくとも3個)の特徴点PA1=(x,y)を抽出する(S220)。 Then, N A1 (at least three) feature points P A1 = (x, y) are extracted from the road area A1 in the first camera image specified by the road area position information J A1 related to the first camera image. (S220).

次に、S220で抽出された特徴点PA1と過去の検出結果とに基づいて、各特徴点PA1のそれぞれについてオプティカルフローFA1=(u,v)を算出する(S230)。
そして、先に求めた仮の挙動パラメータKD 、及びS220で抽出した特徴点PA1、S230にて求めたオプティカルフローFA1に基づいて、道路領域A1の領域パラメータRA1=(a,b,c)を算出する(S240)。
Next, based on the feature point P A1 extracted in S220 and the past detection result, the optical flow F A1 = (u, v) is calculated for each feature point P A1 (S230).
Then, based on the temporary behavior parameter K D obtained previously and the feature point P A1 extracted in S220 and the optical flow F A1 obtained in S230, the region parameter R A1 = (a, b, c) is calculated (S240).

また、その領域パラメータRA1とS230にて求めたオプティカルフローFA1とに基づいて、第一カメラ座標系における第一撮像装置2の挙動を表す挙動パラメータKA を算出する(S250)。 Further, based on the region parameter R A1 and the optical flow F A1 obtained in S230, a behavior parameter K A representing the behavior of the first imaging device 2 in the first camera coordinate system is calculated (S250).

なお、S240,S250では、S140での処理と同様に、(4)(5)式から得られる連立方程式をシンプレックス法などの周知の最適化手法を用いて解くことで、領域パラメータRA1や挙動パラメータKA を算出する。 In S240 and S250, similarly to the processing in S140, the region parameters R A1 and the behavior are obtained by solving the simultaneous equations obtained from the equations (4) and (5) using a known optimization method such as the simplex method. calculating a parameter K a.

そして、S210で求められた仮の挙動パラメータKD と、S250で求められた挙動パラメータKA との距離Dを算出し(S260)、その距離Dが予め設定された閾値εより小さいか否かを判断する(S270)。 Then, the behavior parameters K D provisional obtained in S210, and calculates the distance D between the behavior parameter K A obtained in S250 (S260), whether the distance or D is smaller than a preset threshold value ε Is determined (S270).

距離Dが閾値ε以上であれば、仮の挙動パラメータKD の値を、S250で求めた挙動パラメータKA で更新した上で(S280)、上述のS240〜S270の処理を繰り返し、一方、距離Dが閾値εより小さければ、挙動パラメータKA を三次元情報算出部11cに出力して(S290)、S200に戻る。 If the distance D is the threshold ε than the value of the temporary behavior parameters K D, the behavior parameter K with updated by A (S280) obtained in S250, it repeats the processing of the above S240~S270, whereas the distance smaller than D the threshold epsilon, and outputs a behavior parameter K a to the three-dimensional information computing section 11c (S290), the flow returns to S200.

つまり、挙動補正部11bでは、第二カメラ画像の情報に基づく仮の挙動パラメータKD と第一カメラ画像の情報を反映させた挙動パラメータKA とが一致するまで反復処理を行うことにより、第一カメラ座標系における第一撮像装置2の挙動をより正確に反映した挙動パラメータKA が得られるようにしている。 In other words, the behavior correcting unit 11b, by performing an iterative process until the second behavior tentative based on information of the camera image parameter K D and behavior parameters K A that reflects the information of the first camera image matches, the A behavior parameter KA that more accurately reflects the behavior of the first imaging device 2 in one camera coordinate system is obtained.

次に、三次元情報算出部11cでは、図6に示すように、第一撮像装置2から第一カメラ画像が取得されるまで待機し(S300)、第一カメラ画像が取得されると、第一カメラ画像を、各領域が単一平面からなるように領域分割する(S310)。   Next, as shown in FIG. 6, the three-dimensional information calculation unit 11c waits until the first camera image is acquired from the first imaging device 2 (S300), and when the first camera image is acquired, One camera image is divided into regions such that each region consists of a single plane (S310).

そして、分割された領域の一つを対象領域ADVとして選択し(S320)、その対象領域から、NDV個(少なくとも3個)の特徴点PDV=(x,y)を抽出する(S330)と共に、その抽出した特徴点PDVと過去の検出結果とに基づいて、特徴点PDVのそれぞれについてオプティカルフローFDV=(u,v)を算出する(S340)。 Then, you select one of the divided regions as a target region A DV (S320), from the target area, N DV-number (at least three) feature point P DV = (x, y) of extracting a (S330 ) And the optical flow F DV = (u, v) is calculated for each of the feature points P DV based on the extracted feature points P DV and the past detection results (S340).

そして、挙動補正部11bにて求められた挙動パラメータKA 、及びS330で抽出した特徴点PDV、S340にて求めたオプティカルフローFDVに基づいて、対象領域ADVの領域パラメータRDV=(a,b,c)を算出し(S350)、その領域パラメータRDVを用いて、第一カメラ座標で表された三次元空間に対象領域ADVをマッピングする(S360)。 Then, based on the optical flow F DV determined by the behavior corrector behavior obtained at 11b parameter K A, and feature points extracted in S330 P DV, S340, the target region A DV area parameter R DV = ( a, b, c) are calculated (S350), and the region of interest A DV is mapped to the three-dimensional space represented by the first camera coordinates using the region parameter R DV (S360).

その後、先のS310にて分割された全ての分割領域ADVについて、上述のS320〜S360の処理を実行したか否かを判断し(S370)、未処理の分割領域ADVが存在すれば、S320に戻って、その未処理の分割領域ADVに対してS320〜S360の処理を繰り返し、一方、全ての分割領域ADVについて処理が終了していれば、三次元空間にマッピングされた分割領域ADVをグループ化し、そのグループ化した物体を障害物として検出し、その障害物の三次元情報(位置,形状)を求めて(S380)、S300に戻る。 Thereafter, it is determined whether or not the above-described processes of S320 to S360 have been executed for all the divided areas A DV divided in the previous S310 (S370), and if there is an unprocessed divided area A DV , returning to S320, the unprocessed divided area a DV repeats the processing of S320~S360 respect, whereas, if the processing for all the divided areas a DV finished, divided mapped to three-dimensional space region A DV is grouped, the grouped object is detected as an obstacle, three-dimensional information (position, shape) of the obstacle is obtained (S380), and the process returns to S300.

以上説明したように、周辺認識装置1では、第一撮像装置2は、その光軸が水平方向を向き且つ第一カメラ画像が横長(車両の幅方向の撮像範囲が広い)となるように設置されると共に、第二撮像装置3は、その光軸が第一撮像装置2より下向き(ピッチ角αが小)となり、且つ第二カメラ画像が縦長(車両の進行方向の撮像範囲が広い)となるように設置され、しかも、連続するフレームに同一特徴点PA2が必ず存在するように、即ち、特徴点PA2の追跡が容易となるように、車両の進行方向に対する光軸の傾斜角度が車速に応じて変化するようにされている。 As described above, in the periphery recognition device 1, the first imaging device 2 is installed so that the optical axis thereof is oriented in the horizontal direction and the first camera image is horizontally long (the imaging range in the vehicle width direction is wide). At the same time, the second imaging device 3 has an optical axis that faces downward (the pitch angle α is small) from the first imaging device 2 and the second camera image is vertically long (the imaging range in the vehicle traveling direction is wide). In addition, the inclination angle of the optical axis with respect to the traveling direction of the vehicle is set so that the same feature point P A2 always exists in successive frames, that is, the feature point P A2 can be easily tracked. It is designed to change according to the vehicle speed.

従って、周辺認識装置1によれば、第二カメラ画像に基づいて、道路領域A2の道路面上の特徴点PA2に基づくオプティカルフローFA2、ひいては車両挙動やカメラ挙動を表す挙動パラメータKB ,KC ,KA を精度良く求めることができ、更に、その精度良く第一撮像装置2の挙動を表す挙動パラメータKA と第一カメラ画像とに基づいて、広い範囲に渡って、障害物の三次元情報を精度良くの検出することができる。 Therefore, according to the periphery recognition apparatus 1, based on the second camera image, the optical flow F A2 based on the feature point P A2 on the road surface of the road region A2 , and eventually the behavior parameters K B , representing vehicle behavior and camera behavior, K C and K A can be obtained with high accuracy. Further, based on the behavior parameter K A representing the behavior of the first imaging device 2 with high accuracy and the first camera image, the obstacles can be detected over a wide range. Three-dimensional information can be detected with high accuracy.

また、周辺認識装置1によれば、第二撮像装置3が車両の後方を撮像するように設置され、車両が前進している時には、第二カメラ画像中のオプティカルフローFA2が、画像情報量が大きい側(多くの特徴点を抽出可能な側)から画像情報の小さい側に流れるようにされているため、第二カメラ画像中の情報を無駄なく利用することができる。
[第2実施形態]
次に、本発明の第2実施形態について説明する。
Moreover, according to the periphery recognition apparatus 1, when the 2nd imaging device 3 is installed so that the back of a vehicle may be imaged and the vehicle is moving forward, optical flow F A2 in a 2nd camera image is image information amount. Since the image data flows from the side with the larger image (the side where many feature points can be extracted) to the side with the smaller image information, the information in the second camera image can be used without waste.
[Second Embodiment]
Next, a second embodiment of the present invention will be described.

本実施形態では、第1実施形態のものとは、周辺認識部11の構成が異なるだけであるため、この相違する部分を中心に説明する。
図7は、本実施形態における周辺認識部11の構成を示すブロック図である。
In the present embodiment, since only the configuration of the periphery recognition unit 11 is different from that of the first embodiment, this difference will be mainly described.
FIG. 7 is a block diagram showing a configuration of the periphery recognition unit 11 in the present embodiment.

図7に示すように、周辺認識部11は、第1実施形態のものと比較して挙動補正部11bが省略された構成、即ち、挙動検出部11aと三次元情報算出部11cとからなる。
そして、挙動検出部11aは、S150(図4参照)において、第二カメラ座標系で表された挙動パラメータKBを、第一カメラ座標系で表された挙動パラメータKAに座標変換し、また、三次元情報算出部11cは、挙動検出部11aで算出された挙動パラメータKAに基づいて処理を実行する以外は、第1実施形態と全く同様に構成されている。
As shown in FIG. 7, the periphery recognizing unit 11 includes a configuration in which the behavior correcting unit 11b is omitted as compared with the first embodiment, that is, a behavior detecting unit 11a and a three-dimensional information calculating unit 11c.
Then, in S150 (see FIG. 4), the behavior detection unit 11a performs coordinate conversion of the behavior parameter KB expressed in the second camera coordinate system into the behavior parameter KA expressed in the first camera coordinate system. The original information calculation unit 11c is configured in exactly the same way as in the first embodiment, except that the process is executed based on the behavior parameter KA calculated by the behavior detection unit 11a.

このように構成された本実施形態の周辺認識装置1によれば、挙動補正部11bが省略されている分だけ、処理負荷を軽減することができる。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
According to the periphery recognition device 1 of the present embodiment configured as described above, the processing load can be reduced by the amount that the behavior correction unit 11b is omitted.
[Other Embodiments]
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, In the range which does not deviate from the summary of this invention, it is possible to implement in various aspects.

例えば、上記実施形態では、第二撮像装置3を、車両の後方左端に、且つ光軸が車両の鉛直下方又は車両の後方に傾斜した向きとなるように設置されているが、図8(a)に示すように、光軸が、車両の真後ろに向くのではなく、車両の進行方向を見て左側に傾斜した向きとなるように設置してもよい。   For example, in the above embodiment, the second image pickup device 3 is installed at the rear left end of the vehicle so that the optical axis is inclined vertically downward of the vehicle or rearward of the vehicle. ), The optical axis may be installed so as to be inclined to the left side as viewed in the traveling direction of the vehicle, instead of directly behind the vehicle.

この場合、第二カメラ画像中の特徴点PA2として、車線の左端を示す道路区分標示や、左側通行の道路であれば道路左端に存在する縁石等の路側物を、右側通行の道路であれば道路中央に位置する中央分離帯等を、好適に抽出することができる。 In this case, the feature point PA2 in the second camera image may be a road marking indicating the left end of the lane or a roadside object such as a curb at the left end of a left-handed road if it is a right-handed road. For example, a median strip located at the center of the road can be suitably extracted.

また、第二撮像装置3は、車両の後端に限らず、図8(b)に示すように、車両の前端や、図8(c)に示すように、車両の中央付近に設置してもよい。
また、第二撮像装置3は、車両の進行方向を見た時の車両の左側に限らず、図9(a)(b)に示すように、車両の右側に設置してもよい。
The second imaging device 3 is not limited to the rear end of the vehicle, and is installed near the front end of the vehicle as shown in FIG. 8B or near the center of the vehicle as shown in FIG. 8C. Also good.
The second imaging device 3 is not limited to the left side of the vehicle when the traveling direction of the vehicle is viewed, but may be installed on the right side of the vehicle as shown in FIGS.

この場合、第二カメラ画像中の特徴点PA2として、車線の右端を示す道路区分表示や、左側通行の道路であれば道路中央に位置する中央分離帯等を、右側通行の道路であれば道路右端に存在する縁石等の路側物を、好適に抽出することができる。 In this case, as the feature point P A2 in the second camera image, a road segment display indicating the right end of the lane, a central separator located at the center of the road if it is a left-handed road, etc. Roadside objects such as curbs present at the right end of the road can be suitably extracted.

また、第二撮像装置3は、図9(c)に示すように、車両の後面に設置してもよい。
更に、図10(a)(b)に示すように、車両の周囲(図では車両左右側面及び後面)に沿ってレール20を設け、このレール20に沿った第二撮像装置3の移動を可能とすると共に、第二撮像装置3の姿勢(光軸の向き)の変更を可能とするように構成してもよい。
Moreover, you may install the 2nd imaging device 3 in the rear surface of a vehicle, as shown in FIG.9 (c).
Further, as shown in FIGS. 10A and 10B, a rail 20 is provided along the periphery of the vehicle (the left and right side surfaces and the rear surface in the figure), and the second imaging device 3 can be moved along the rail 20. In addition, the posture of the second imaging device 3 (the direction of the optical axis) may be changed.

この場合、自車両又は併走する他車両の影の境界が、第二カメラ画像に映り込むことがないように第二撮像装置3の位置や姿勢を制御することにより、影の境界を特徴点と誤認する等の日射による影響を除去することができ、装置の信頼性をより向上させることができる。   In this case, by controlling the position and orientation of the second imaging device 3 so that the shadow boundary of the host vehicle or another vehicle running side by side does not appear in the second camera image, the shadow boundary is defined as a feature point. The influence of solar radiation such as misidentification can be removed, and the reliability of the apparatus can be further improved.

また、図11に示すように、第二撮像装置3は、車両の底面に設置されていてもよい。
この場合、自車両の影が第二カメラ画像に映り込むことがないよう、図11(a)に示すように、車両の中央付近、又は、図11(b)(c)に示すように、車速に応じて光軸が後方を向くことを考慮して、車両の中央より前方に設置することが望ましい。
Moreover, as shown in FIG. 11, the 2nd imaging device 3 may be installed in the bottom face of the vehicle.
In this case, in order to prevent the shadow of the host vehicle from appearing in the second camera image, as shown in FIG. 11 (a), as shown in FIG. In consideration of the fact that the optical axis faces rearward according to the vehicle speed, it is desirable to install the vehicle forward from the center of the vehicle.

また、上記実施形態では、車速に応じて第二撮像装置3の光軸を車両の後方に傾斜させる場合について説明したが、車両が後退する場合に、第二撮像装置3の光軸を車両の前方に傾斜させるように構成してもよい。   Moreover, although the said embodiment demonstrated the case where the optical axis of the 2nd imaging device 3 was inclined in the back of a vehicle according to a vehicle speed, when a vehicle reverse | retreats, the optical axis of the 2nd imaging device 3 is made into the vehicle. You may comprise so that it may incline ahead.

また、第二撮像装置3は、車両Mの後方の運転者から死角となる領域を撮像するバックモニタ用カメラを兼用していてもよい。
また、周辺認識装置1は、第二カメラ画像における日射の影響を除去するために、第二撮像装置3の撮像範囲を照射する照明装置を備えていてもよい。
Further, the second imaging device 3 may also serve as a back monitor camera that captures an area that becomes a blind spot from the driver behind the vehicle M.
Moreover, the periphery recognition apparatus 1 may be provided with the illuminating device which irradiates the imaging range of the 2nd imaging device 3, in order to remove the influence of the solar radiation in a 2nd camera image.

上記実施形態では、第一撮像装置2及び第二撮像装置3として画素値が輝度強度を表すモノクロ画像を生成するCCDカメラを用いたが、画素値が色彩を表すカラー画像を生成するカメラや、画素値が赤外線強度を表す赤外線カメラ、画像処理を行ってエッジが強調された撮像画像を出力するビジョンチップなどを用いてもよい。   In the above embodiment, as the first imaging device 2 and the second imaging device 3, a CCD camera that generates a monochrome image whose pixel value indicates luminance intensity is used, but a camera that generates a color image whose pixel value indicates color, An infrared camera whose pixel value represents the infrared intensity, a vision chip that performs image processing and outputs a captured image with an edge enhanced, or the like may be used.

上記第一実施形態では、第二カメラ座標系の挙動パラメータKB を、車両座標系の挙動パラメータKC に変換した後、更に、第一カメラ座標系の挙動パラメータKA に変換しているが、挙動パラメータKC を経由することなく、挙動パラメータKB から挙動パラメータKA に直接変換してもよい。 In the first embodiment, the behavior parameter K B of the second camera coordinate system is converted into the behavior parameter K C of the vehicle coordinate system, and then converted into the behavior parameter K A of the first camera coordinate system. The behavior parameter K B may be directly converted to the behavior parameter K A without going through the behavior parameter K C.

周辺認識装置の全体構成を示すブロック図。The block diagram which shows the whole structure of a periphery recognition apparatus. 撮像装置の設置位置及び状態を示す説明図。Explanatory drawing which shows the installation position and state of an imaging device. 座標系の定義等を示す説明図。Explanatory drawing which shows the definition of a coordinate system, etc. 挙動検出部での処理内容を示すフローチャート。The flowchart which shows the processing content in a behavior detection part. 挙動補正部での処理内容を示すフローチャート。The flowchart which shows the processing content in a behavior correction | amendment part. 三次元情報算出部での処理内容を示すフローチャート。The flowchart which shows the processing content in a three-dimensional information calculation part. 周辺認識部の他の構成例(第2実施形態)を示すブロック図。The block diagram which shows the other structural example (2nd Embodiment) of a periphery recognition part. 第二撮像装置の他の設置例を示す説明図。Explanatory drawing which shows the other example of installation of a 2nd imaging device. 第二撮像装置の他の設置例を示す説明図。Explanatory drawing which shows the other example of installation of a 2nd imaging device. 第二撮像装置の他の設置例を示す説明図。Explanatory drawing which shows the other example of installation of a 2nd imaging device. 第二撮像装置の他の設置例を示す説明図。Explanatory drawing which shows the other example of installation of a 2nd imaging device. 撮像装置の光軸が鉛直下方に対して傾斜している場合の問題点を示す説明図。Explanatory drawing which shows a problem in case the optical axis of an imaging device inclines with respect to the perpendicular downward direction. 前方に向けて取り付けられた撮像装置の問題点を示す説明図。Explanatory drawing which shows the problem of the imaging device attached toward the front.

符号の説明Explanation of symbols

1…車載周辺認識装置、2…第一撮像装置、3…第二撮像装置、4…姿勢制御部、5…車速センサ、6…ディスプレイ、7…スピーカ、8…アクチュエータ、11…周辺認識部、11a…挙動検出部、11b…挙動補正部、11c…三次元情報算出部、13…危険判定部、20…レール、G…撮像画面、M…車両。   DESCRIPTION OF SYMBOLS 1 ... Car-mounted periphery recognition apparatus, 2 ... 1st imaging device, 3 ... 2nd imaging device, 4 ... Attitude control part, 5 ... Vehicle speed sensor, 6 ... Display, 7 ... Speaker, 8 ... Actuator, 11 ... Surrounding recognition part, DESCRIPTION OF SYMBOLS 11a ... Behavior detection part, 11b ... Behavior correction | amendment part, 11c ... Three-dimensional information calculation part, 13 ... Risk determination part, 20 ... Rail, G ... Imaging screen, M ... Vehicle.

Claims (22)

  1. 移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、
    前記第一撮像装置より光軸が下向きとなるように前記移動体に設置され、前記移動体が走行する道路面を撮像する第二撮像装置と、
    撮像画像中で必ず道路が撮像される領域を道路領域、該道路領域が平面であると仮定した下での該道路領域の位置・形状を特定するパラメータを領域パラメータ、前記移動体の挙動を表すパラメータを挙動パラメータ、単一平面上のオプティカルフローと前記領域パラメータや前記挙動パラメータとの間に成立する関係式をモデル関係式として、前記第二撮像装置の撮像画像から前記道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、該算出されたオプティカルフローや予め記憶されている領域パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、前記挙動パラメータを検出する挙動検出手段と、
    前記第一撮像装置の撮像画像を領域分割する分割手段と、
    前記分割手段にて分割された領域である分割領域のそれぞれを対象領域として、該対象領域から複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し該算出されたオプティカルフローや前記挙動検出手段により検出された挙動パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出手段と、
    前記領域パラメータ算出手段にて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記分割領域を三次元座標上にマッピングするマッピング手段と、
    前記マッピング手段により三次元座標上にマッピングされた分割領域をグループ化し、該グループ化した物体を障害物として検出し、該障害物の位置,形状を示す三次元情報を算出する障害物検出手段と、
    を備えることを特徴とする周辺認識装置。
    A first imaging device that is installed on the moving body and captures an image around the moving body;
    A second imaging device that is installed on the moving body such that the optical axis is directed downward from the first imaging device, and images a road surface on which the moving body travels;
    An area in which a road is necessarily imaged in a captured image is a road area, a parameter that specifies the position and shape of the road area under the assumption that the road area is a plane, and an area parameter, and represents the behavior of the moving object parameters behavior parameters, as a model relational expression relational expression holds between the optical flow on a single plane and said region parameters and the behavior parameter, a plurality of existing in the road area from the captured image of the second imaging device The feature point is extracted, the optical flow at each feature point is calculated, and the simultaneous equations obtained by substituting the calculated optical flow and the previously stored region parameters into the model relational expression are solved. By means of behavior detection means for detecting the behavior parameters,
    Dividing means for dividing an image captured by the first imaging device;
    Using each of the divided areas divided by the dividing means as target areas , a plurality of feature points are extracted from the target area to calculate an optical flow at each feature point, and the calculated optical flow or A region parameter that defines the position and orientation of the target region in a three-dimensional space is calculated by solving simultaneous equations obtained by substituting the behavior parameter detected by the behavior detection unit into the model relational expression. Region parameter calculation means to perform,
    Mapping means for mapping the divided areas onto three-dimensional coordinates based on the area parameters calculated by the area parameter calculating means and the position of the target area in the captured image of the first imaging device;
    Obstacle detection means for grouping divided areas mapped on three-dimensional coordinates by the mapping means, detecting the grouped objects as obstacles, and calculating three-dimensional information indicating the position and shape of the obstacles; ,
    Peripheral recognition device you comprising: a.
  2. 移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、
    前記第一撮像装置より光軸が下向きとなるように前記移動体に設置され、前記移動体が走行する道路面を撮像する第二撮像装置と、
    撮像画像中で必ず道路が撮像される領域を道路領域、該道路領域が平面であると仮定した下での該道路領域の三次元空間内での位置・形状を特定するパラメータを領域パラメータ、前記移動体の挙動を表すパラメータを挙動パラメータ、単一平面上のオプティカルフローと前記領域パラメータや前記挙動パラメータとの間に成立する関係式をモデル関係式として、前記第二撮像装置の撮像画像から前記道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、該算出されたオプティカルフローや予め記憶されている領域パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、前記挙動パラメータを検出する挙動検出手段と、
    前記挙動検出手段にて検出された挙動パラメータを補正する挙動補正手段と、
    前記第一撮像装置の撮像画像を領域分割する分割手段と、
    前記分割手段にて分割された領域である分割領域のそれぞれを対象領域として、該対象領域から複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し該算出されたオプティカルフローや前記挙動補正手段により補正された挙動パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出手段と、
    前記領域パラメータ算出手段にて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記分割領域を三次元座標上にマッピングするマッピング手段と、
    前記マッピング手段により三次元座標上にマッピングされた分割領域をグループ化し、該グループ化した物体を障害物として検出し、該障害物の位置,形状を示す三次元情報を算出する障害物検出手段と、
    を備え、
    前記挙動補正手段は、
    前記第一撮像装置の撮像画像から前記道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出するオプティカルフロー算出手段と、
    前記挙動検出手段にて検出された挙動パラメータを仮挙動パラメータとし、前記オプティカルフロー算出手段にて算出されたオプティカルフローや前記仮挙動パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより領域パラメータを算出すると共に、該算出された道路領域パラメータおよび前記オプティカルフロー算出手段にて算出されたオプティカルフローを、前記モデル関係式に代入することで得られる連立方程式を解くことにより挙動パラメータを算出するパラメータ算出手段と、
    前記パラメータ算出手段にて算出された挙動パラメータを算出挙動パラメータとして、該算出挙動パラメータと前記仮挙動パラメータとの距離が予め設定された閾値以上であれば、前記算出挙動パラメータを仮の挙動パラメータとして、前記パラメータ算出手段を繰り返し実行させ、前記距離が前記閾値より小さければ、前記算出挙動パラメータを、補正された挙動パラメータとして前記領域パラメータ算出手段に供給する補正制御手段と、
    からなることを特徴とする周辺認識装置。
    A first imaging device that is installed on the moving body and captures an image around the moving body;
    A second imaging device that is installed on the moving body such that the optical axis is directed downward from the first imaging device, and images a road surface on which the moving body travels;
    A region in which a road is necessarily imaged in a captured image is a road region, and a parameter for specifying a position / shape of the road region in a three-dimensional space under the assumption that the road region is a plane is a region parameter, parameters behavior parameters representing the behavior of the mobile object as a model relational expression relational expression holds between the optical flow on a single plane and said region parameters and the behavior parameter from said captured image of the second imaging device It is obtained by extracting a plurality of feature points existing in the road region , calculating an optical flow at each feature point, and substituting the calculated optical flow and previously stored region parameters into the model relational expression. Behavior detecting means for detecting the behavior parameters by solving the simultaneous equations
    Behavior correcting means for correcting the behavior parameter detected by the behavior detecting means;
    Dividing means for dividing the captured image of the first imaging device;
    Using each of the divided areas divided by the dividing means as target areas , a plurality of feature points are extracted from the target area to calculate an optical flow at each feature point, and the calculated optical flow or A region parameter that defines the position and orientation of the target region in a three-dimensional space is calculated by solving simultaneous equations obtained by substituting the behavior parameter corrected by the behavior correcting unit into the model relational expression. Region parameter calculation means to perform,
    Mapping means for mapping the divided areas onto three-dimensional coordinates based on the area parameters calculated by the area parameter calculating means and the position of the target area in the captured image of the first imaging device;
    Obstacle detection means for grouping divided areas mapped on three-dimensional coordinates by the mapping means, detecting the grouped objects as obstacles, and calculating three-dimensional information indicating the position and shape of the obstacles; ,
    With
    The behavior correcting means is
    An optical flow calculation means for extracting a plurality of feature points existing in the road region from the captured image of the first imaging device and calculating an optical flow at each feature point;
    A simultaneous equation obtained by substituting the optical flow calculated by the optical flow calculating unit and the temporary behavior parameter into the model relational expression is set as the behavioral parameter detected by the behavior detecting unit. By calculating the region parameter by solving, the behavior is obtained by solving the simultaneous equation obtained by substituting the calculated road region parameter and the optical flow calculated by the optical flow calculating means into the model relational expression. Parameter calculating means for calculating the parameters;
    If the behavior parameter calculated by the parameter calculation means is a calculated behavior parameter, and the distance between the calculated behavior parameter and the temporary behavior parameter is equal to or greater than a preset threshold, the calculated behavior parameter is used as a temporary behavior parameter. A correction control unit that repeatedly executes the parameter calculation unit, and supplies the calculated behavior parameter to the region parameter calculation unit as a corrected behavior parameter if the distance is smaller than the threshold value;
    It characterized in that it consists of peripheral recognition device.
  3. 前記第一撮像装置は、水平方向又は水平方向より下向きに、且つ移動体の前方に光軸を向けて配置されていることを特徴とする請求項1または請求項2に記載の周辺認識装置。 Wherein the first imaging device, downward from the horizontal direction or the horizontal direction, and the peripheral recognition apparatus according to being disposed toward the optical axis in front of the moving body to claim 1 or claim 2, characterized in.
  4. 前記第一撮像装置の撮像画像は横長であることを特徴とする請求項3に記載の周辺認識装置。 The periphery recognition device according to claim 3 , wherein the captured image of the first imaging device is horizontally long.
  5. 前記第二撮像装置は、鉛直下方に光軸を向けて配置されていることを特徴とする請求項1乃至請求項4のいずれかに記載の周辺認識装置。 The periphery recognition device according to any one of claims 1 to 4 , wherein the second imaging device is arranged with an optical axis directed vertically downward.
  6. 前記第二撮像装置は、鉛直下方から移動体の後方に傾斜した方向に光軸を向けて配置されていることを特徴とする請求項1乃至請求項4のいずれかに記載の周辺認識装置。 The second imaging device, peripheral recognition apparatus according to any one of claims 1 to 4, characterized in that it is arranged toward an optical axis in a direction inclined to the rear of the moving body from the vertically downward.
  7. 前記第二撮像装置から取得される連続した二つの撮像画像中に、同一特徴点が存在するように、移動体の速度が大きいほど、移動体の進行方向とは反対側への光軸の傾斜角度が大きくなるように前記第二撮像装置の姿勢を変化させる姿勢制御手段を備えることを特徴とする請求項1乃至請求項4のいずれかに記載の周辺認識装置。 The larger the velocity of the moving body, the more the optical axis tilts in the direction opposite to the traveling direction of the moving body so that the same feature point exists in two consecutive captured images acquired from the second imaging device. peripheral recognition apparatus according to any one of claims 1 to 4, characterized in that it comprises an attitude control means for changing a posture of the second imaging device such that the angle increases.
  8. 前記第二撮像装置の撮像画像は縦長であることを特徴とする請求項5乃至請求項7のいずれかに記載の周辺認識装置。 The periphery recognition device according to claim 5, wherein a captured image of the second imaging device is vertically long.
  9. 前記第二撮像装置は、車線の左端を示す路面表示、又は左側通行の道路であれば道路端に設けられた路側物,右側通行の道路であれば道路中央の分離帯の撮像が少なくとも可能となる姿勢及び位置に配置されていることを特徴とする請求項1乃至請求項8のいずれかに記載の周辺認識装置。 The second imaging device is capable of at least imaging a road surface indicating the left end of the lane, or a roadside object provided at the end of the road if it is a left-handed road, and a separation zone at the center of the road if it is a right-handed road. composed attitude and peripheral recognition apparatus according to any one of claims 1 to 8, characterized in that it is disposed at a position.
  10. 前記第二撮像装置は、車線の右端を示す路面表示、又は左側通行の道路であれば道路中央の分離帯,右側通行の道路であれば道路端に設けられた路側物の撮像が少なくとも可能となる姿勢及び位置に配置されていることを特徴とする請求項1乃至請求項9のいずれかに記載の周辺認識装置。 The second imaging device can at least image a road surface indicating the right end of the lane, or if it is a left-handed road, a road separation at the center of the road, and if it is a right-handed road, it can image a roadside object provided at the road edge. composed attitude and peripheral recognition apparatus according to any one of claims 1 to 9, characterized in that it is disposed at a position.
  11. 前記第二撮像装置は、前記移動体の後方に配置され、運転者から死角となる領域を撮像するバックモニタ用カメラを兼用することを特徴とする請求項1乃至請求項10のいずれかに記載の周辺認識装置。 The second imaging device is disposed to the rear of the movable body, according to any one of claims 1 to 10, characterized in that also serves as a back monitor camera for imaging a region to be a blind spot of the driver Peripheral recognition device.
  12. 前記第二撮像装置は、前記移動体の底面に配置されていることを特徴とする請求項1乃至請求項10のいずれかに記載の周辺認識装置。 The second imaging device, peripheral recognition apparatus according to any one of claims 1 to 10, characterized in that it is disposed on the bottom surface of the movable body.
  13. 前記第二撮像装置は、前記移動体の中心より前方に配置されていることを特徴とする請求項12に記載の周辺認識装置。 The periphery recognition device according to claim 12 , wherein the second imaging device is disposed in front of the center of the moving body.
  14. 前記第二撮像装置の撮像画像中に、自移動体又は自移動体と併走する他移動体又は路側物の影が写り込むことがないように前記第二撮像装置の姿勢及び位置を変化させる移動手段を備えることを特徴とする請求項1乃至請求項8のいずれかに記載の周辺認識装置。 Movement that changes the posture and position of the second image pickup device so that the image of the second image pickup device does not include the shadow of the self-moving object or other moving objects or roadside objects that run along with the self-moving object. peripheral recognition apparatus according to any one of claims 1 to 8, characterized in that it comprises means.
  15. 前記第二撮像装置の撮像範囲を照射範囲とする照明手段を備えることを特徴とする請求項1乃至請求項14のいずれかに記載の周辺認識装置。 Peripheral recognition apparatus according to any one of claims 1 to 14, characterized in that it comprises an illumination means for the illumination range imaging range of the second imaging device.
  16. 前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、輝度強度を表す画素値を有した撮像画像を生成することを特徴とする請求項1乃至請求項15のいずれかに記載の周辺認識装置。 Wherein at least one of the first imaging device and the second imaging device, peripheral according to any one of claims 1 to 15 and generating a captured image having a pixel value that represents the luminance intensity Recognition device.
  17. 前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、色彩を表す画素値を有した撮像画像を生成することを特徴とする請求項1乃至請求項15のいずれかに記載の周辺認識装置。 Wherein at least one of the first imaging device and the second imaging device, peripheral recognition according to any one of claims 1 to 15 and generating a captured image having a pixel value that represents the color apparatus.
  18. 前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、赤外線強度を表す画素値を有した撮像画像を生成することを特徴とする請求項1乃至請求項15のいずれかに記載の周辺認識装置。 Wherein at least one of the first imaging device and the second imaging device, peripheral according to any one of claims 1 to 15 and generating a captured image having a pixel value that represents the infrared intensity Recognition device.
  19. 前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、エッジが強調された撮像画像を生成することを特徴とする請求項1乃至請求項15のいずれかに記載の周辺認識装置。 Wherein at least one of the first imaging device and the second imaging device, peripheral recognition apparatus according to any one of claims 1 to 15 and generating a captured image edges are emphasized.
  20. 移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、前記第一撮像装置より光軸が下向きとなるように前記移動体に設置され、前記移動体が走行する道路面を撮像する第二撮像装置とから得られる撮像画像に基づいて、移動体周辺に存在する障害物の三次元的な位置,形状を認識する周辺認識方法であって、
    撮像画像中で必ず道路が撮像される領域を道路領域、該道路領域が平面であると仮定した下での該道路領域の位置・形状を特定するパラメータを領域パラメータ、前記移動体の挙動を表すパラメータを挙動パラメータ、単一平面上のオプティカルフローと前記領域パラメータや前記挙動パラメータとの間に成立する関係式をモデル関係式として、前記第二撮像装置の撮像画像から前記道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、該算出されたオプティカルフローや予め記憶されている領域パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、前記挙動パラメータを検出する挙動検出ステップと、
    前記第一撮像装置の撮像画像を領域分割する分割ステップと、
    前記分割ステップにて分割された領域である分割領域のそれぞれを対象領域として、該対象領域から複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し該算出されたオプティカルフローや前記挙動検出ステップにより検出された挙動パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、
    前記領域パラメータ算出ステップにて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記分割領域を三次元座標上にマッピングするマッピングステップと、
    前記マッピングステップにより三次元座標上にマッピングされた分割領域をグループ化し、該グループ化した物体を障害物として検出し、該障害物の位置,形状を示す三次元情報を算出する障害物検出ステップと、
    からなることを特徴とする周辺認識方法。
    A first imaging device that is installed on the moving body and captures an image around the moving body, and a road surface on which the moving body travels is installed on the moving body so that the optical axis is downward from the first imaging device. A peripheral recognition method for recognizing a three-dimensional position and shape of an obstacle present around a moving body based on a captured image obtained from a second imaging device for imaging,
    An area in which a road is necessarily imaged in a captured image is a road area, a parameter that specifies the position and shape of the road area under the assumption that the road area is a plane, and an area parameter, and represents the behavior of the moving object parameters behavior parameters, as a model relational expression relational expression holds between the optical flow on a single plane and said region parameters and the behavior parameter, a plurality of existing in the road area from the captured image of the second imaging device The feature point is extracted, the optical flow at each feature point is calculated, and the simultaneous equations obtained by substituting the calculated optical flow and the previously stored region parameters into the model relational expression are solved. Accordingly, a behavior detection step of detecting the behavior parameter,
    A division step of dividing a captured image of the first imaging device;
    Each of the divided regions that are divided in the dividing step is set as a target region , a plurality of feature points are extracted from the target region , an optical flow at each feature point is calculated , and the calculated optical flow or A region parameter that defines the position and orientation of the target region in a three-dimensional space is calculated by solving simultaneous equations obtained by substituting the behavior parameter detected in the behavior detection step into the model relational expression. Region parameter calculation step to perform,
    A mapping step of mapping the divided regions on three-dimensional coordinates based on the region parameters calculated in the region parameter calculating step and the position of the target region in the captured image of the first imaging device;
    An obstacle detection step of grouping the divided regions mapped on the three-dimensional coordinates by the mapping step, detecting the grouped object as an obstacle, and calculating three-dimensional information indicating the position and shape of the obstacle; ,
    Peripheral recognition how to characterized in that it consists of.
  21. 移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、前記第一撮像装置より光軸が下向きとなるように前記移動体に設置され、前記移動体が走行する道路面を撮像する第二撮像装置とから得られる撮像画像に基づいて、移動体周辺に存在する障害物の三次元的な位置,形状を認識する周辺認識方法であって、
    撮像画像中で必ず道路が撮像される領域を道路領域、該道路領域が平面であると仮定した下での該道路領域の三次元空間内での位置・形状を特定するパラメータを領域パラメータ、前記移動体の挙動を表すパラメータを挙動パラメータ、単一平面上のオプティカルフローと前記領域パラメータや前記挙動パラメータとの間に成立する関係式をモデル関係式として、前記第二撮像装置の撮像画像から前記道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し、該算出されたオプティカルフローや予め記憶されている領域パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、前記挙動パラメータを検出する挙動検出ステップと、
    前記挙動検出ステップにて検出された挙動パラメータを補正する挙動補正ステップと、
    前記第一撮像装置の撮像画像を領域分割する分割ステップと、
    前記分割ステップにて分割された領域である分割領域のそれぞれを対象領域として、該対象領域から複数の特徴点を抽出して各特徴点でのオプティカルフローを算出し該算出されたオプティカルフローや前記挙動補正手段により補正された挙動パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、
    前記領域パラメータ算出ステップにて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記分割領域を三次元座標上にマッピングするマッピングステップと、
    前記マッピングステップにより三次元座標上にマッピングされた分割領域をグループ化し、該グループ化した物体を障害物として検出し、該障害物の位置,形状を示す三次元情報を算出する障害物検出ステップと、
    を備え、
    前記挙動補正ステップは、
    前記第一撮像装置の撮像画像から前記道路領域に存在する複数の特徴点を抽出して各特徴点でのオプティカルフローを算出するオプティカルフロー算出ステップと、
    前記挙動検出ステップにて検出された挙動パラメータを仮挙動パラメータとし、前記オプティカルフロー算出ステップにて算出されたオプティカルフローや前記仮挙動パラメータを、前記モデル関係式に代入することで得られる連立方程式を解くことにより領域パラメータを算出すると共に、該算出された道路領域パラメータおよび前記オプティカルフロー算出ステップにて算出されたオプティカルフローを、前記モデル関係式に代入することで得られる連立方程式を解くことにより挙動パラメータを算出するパラメータ算出ステップと、
    前記パラメータ算出ステップにて算出された挙動パラメータを算出挙動パラメータとして、該算出挙動パラメータと前記仮挙動パラメータとの距離が予め設定された閾値以上であれば、前記算出挙動パラメータを仮の挙動パラメータとして、前記パラメータ算出ステップを繰り返し実行させ、前記距離が前記閾値より小さければ、前記算出挙動パラメータを、補正された挙動パラメータとして前記領域パラメータ算出ステップに供給する補正制御ステップと、
    からなることを特徴とする周辺認識方法。
    A first imaging device that is installed on the moving body and captures an image around the moving body, and a road surface on which the moving body travels is installed on the moving body so that the optical axis is downward from the first imaging device. A peripheral recognition method for recognizing a three-dimensional position and shape of an obstacle present around a moving body based on a captured image obtained from a second imaging device for imaging,
    A region in which a road is necessarily imaged in a captured image is a road region, and a parameter for specifying a position / shape of the road region in a three-dimensional space under the assumption that the road region is a plane is a region parameter, parameters behavior parameters representing the behavior of the mobile object as a model relational expression relational expression holds between the optical flow on a single plane and said region parameters and the behavior parameter from said captured image of the second imaging device It is obtained by extracting a plurality of feature points existing in the road region , calculating an optical flow at each feature point, and substituting the calculated optical flow and previously stored region parameters into the model relational expression. A behavior detection step of detecting the behavior parameters by solving the simultaneous equations
    A behavior correction step for correcting the behavior parameter detected in the behavior detection step;
    A division step of dividing a captured image of the first imaging device;
    Each of the divided regions that are divided in the dividing step is set as a target region , a plurality of feature points are extracted from the target region , an optical flow at each feature point is calculated , and the calculated optical flow or By calculating a behavioral equation obtained by substituting the behavior parameter corrected by the behavior correction means into the model relational expression, a region parameter defining the position and orientation of the target region in a three-dimensional space is calculated. Region parameter calculation step to perform,
    A mapping step of mapping the divided regions on three-dimensional coordinates based on the region parameters calculated in the region parameter calculating step and the position of the target region in the captured image of the first imaging device;
    An obstacle detection step of grouping the divided regions mapped on the three-dimensional coordinates by the mapping step, detecting the grouped object as an obstacle, and calculating three-dimensional information indicating the position and shape of the obstacle; ,
    With
    The behavior correction step includes
    An optical flow calculation step of extracting a plurality of feature points existing in the road region from a captured image of the first imaging device and calculating an optical flow at each feature point;
    A simultaneous equation obtained by substituting the behavioral parameter detected in the behavior detection step as a temporary behavior parameter and substituting the optical flow calculated in the optical flow calculation step or the temporary behavior parameter into the model relational expression By calculating the region parameter by solving, the behavior is obtained by solving the simultaneous equation obtained by substituting the calculated road region parameter and the optical flow calculated in the optical flow calculating step into the model relational expression. A parameter calculating step for calculating a parameter;
    If the behavior parameter calculated in the parameter calculation step is the calculated behavior parameter, and the distance between the calculated behavior parameter and the temporary behavior parameter is equal to or greater than a preset threshold, the calculated behavior parameter is used as the temporary behavior parameter. The parameter calculation step is repeatedly executed, and if the distance is smaller than the threshold, the correction control step of supplying the calculated behavior parameter as the corrected behavior parameter to the region parameter calculation step;
    Peripheral recognition how to characterized in that it consists of.
  22. 請求項20または請求項21に記載の周辺認識方法を構成する各ステップを、コンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step constituting the periphery recognition method according to claim 20 or 21 .
JP2006124117A 2006-04-27 2006-04-27 Peripheral recognition device, peripheral recognition method, and program Expired - Fee Related JP4676373B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006124117A JP4676373B2 (ja) 2006-04-27 2006-04-27 Peripheral recognition device, peripheral recognition method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006124117A JP4676373B2 (ja) 2006-04-27 2006-04-27 Peripheral recognition device, peripheral recognition method, and program
US11/786,152 US8036424B2 (en) 2006-04-27 2007-04-11 Field recognition apparatus, method for field recognition and program for the same

Publications (3)

Publication Number Publication Date
JP2007300181A JP2007300181A (ja) 2007-11-15
JP2007300181A5 JP2007300181A5 (ja) 2008-08-14
JP4676373B2 true JP4676373B2 (ja) 2011-04-27

Family

ID=38769337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006124117A Expired - Fee Related JP4676373B2 (ja) 2006-04-27 2006-04-27 Peripheral recognition device, peripheral recognition method, and program

Country Status (2)

Country Link
US (1) US8036424B2 (ja)
JP (1) JP4676373B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422741B2 (en) * 2007-08-22 2013-04-16 Honda Research Institute Europe Gmbh Estimating objects proper motion using optical flow, kinematics and depth information
JP5272818B2 (ja) * 2009-03-13 2013-08-28 オムロン株式会社 画像処理装置および方法、並びに、プログラム
DE102009016562A1 (de) 2009-04-06 2009-11-19 Daimler Ag Verfahren und Vorrichtung zur Objekterkennung
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
US8340400B2 (en) * 2009-05-06 2012-12-25 Honeywell International Inc. Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
DE102009003061A1 (de) * 2009-05-13 2010-11-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bahnregelung, insbesondere von mobilen Fahrzeugen
JP5324310B2 (ja) * 2009-05-14 2013-10-23 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
DE102010013093A1 (de) * 2010-03-29 2011-09-29 Volkswagen Ag Method and system for creating a model of an environment of a vehicle
US8199977B2 (en) 2010-05-07 2012-06-12 Honeywell International Inc. System and method for extraction of features from a 3-D point cloud
WO2012021898A2 (en) 2010-08-13 2012-02-16 Certusview Technologies, Llc Methods, apparatus and systems for surface type detection in connection with locate and marking operations
AU2011301822A1 (en) * 2010-09-17 2013-04-04 Curtis Chambers Methods and apparatus for tracking motion and/or orientation of a marking device
US8521418B2 (en) 2011-09-26 2013-08-27 Honeywell International Inc. Generic surface feature extraction from a set of range data
MX341376B (es) * 2012-03-02 2016-08-18 Nissan Motor DEVICE FOR DETECTION OF THREE-DIMENSIONAL OBJECTS.
JP6044084B2 (ja) * 2012-03-08 2016-12-14 日産自動車株式会社 移動物体位置姿勢推定装置及び方法
JP5817927B2 (ja) 2012-05-18 2015-11-18 日産自動車株式会社 車両用表示装置、車両用表示方法及び車両用表示プログラム
JP5888414B2 (ja) * 2012-05-25 2016-03-22 トヨタ自動車株式会社 接近車両検出装置及び運転支援システム
JP5944781B2 (ja) 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US9153067B2 (en) 2013-01-21 2015-10-06 Honeywell International Inc. Systems and methods for 3D data based navigation using descriptor vectors
WO2014156220A1 (ja) * 2013-03-28 2014-10-02 アイシン精機株式会社 周辺監視装置、及びプログラム
CN103871079B (zh) * 2014-03-18 2016-11-09 南京金智视讯技术有限公司 基于机器学习和光流的车辆跟踪方法
US9558268B2 (en) * 2014-08-20 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. Method for semantically labeling an image of a scene using recursive context propagation
EP3007099A1 (en) * 2014-10-10 2016-04-13 Application Solutions (Electronics and Vision) Ltd. Image recognition system for a vehicle and corresponding method
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Method for detecting an object along a road of a motor vehicle, computing device, driver assistance system and motor vehicle
WO2017203646A1 (ja) * 2016-05-26 2017-11-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム
US10471904B2 (en) * 2016-08-08 2019-11-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adjusting the position of sensors of an automated vehicle
KR101966655B1 (ko) * 2016-09-30 2019-04-09 주식회사 피엘케이 테크놀로지 광학 흐름 분석을 이용한 차량 충돌 경보 금지 방법

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08201530A (ja) * 1995-01-31 1996-08-09 Mitsubishi Motors Corp 障害物検知装置
JPH11151975A (ja) * 1997-11-25 1999-06-08 Nissan Motor Co Ltd 死角範囲表示装置
JPH11215487A (ja) * 1998-01-21 1999-08-06 Nissan Motor Co Ltd 歩行者検出警報装置
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2001266160A (ja) * 2000-03-22 2001-09-28 Toyota Motor Corp 周辺認識方法および周辺認識装置
JP2002027441A (ja) * 2000-07-12 2002-01-25 Oki Electric Ind Co Ltd 移動型監視カメラ装置およびそれによる監視方法
JP2002150483A (ja) * 2000-11-14 2002-05-24 Toyo Commun Equip Co Ltd 交通状況画像提供システム
JP2003009141A (ja) * 2001-06-27 2003-01-10 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003191810A (ja) * 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置
JP2003196645A (ja) * 2001-12-28 2003-07-11 Equos Research Co Ltd 車両の画像処理装置
JP2004032528A (ja) * 2002-06-27 2004-01-29 Nissan Motor Co Ltd 画像認識装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2004291663A (ja) * 2003-03-25 2004-10-21 Denso Corp 車両周辺監視システム及び車両周辺監視方法
JP2004306778A (ja) * 2003-04-07 2004-11-04 Denso Corp 撮像制御装置
JP2005276057A (ja) * 2004-03-26 2005-10-06 Mitsubishi Motors Corp ノーズビューモニタ装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835641A (en) * 1992-10-14 1998-11-10 Mitsubishi Denki Kabushiki Kaisha Image pick-up apparatus for detecting and enlarging registered objects
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 Object edge position measuring device and moving object traffic judging device
WO2001028250A1 (fr) * 1999-10-12 2001-04-19 Matsushita Electric Industrial Co., Ltd. Camera jumelees
DE50302813D1 (de) * 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7266220B2 (en) 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP3846494B2 (ja) * 2004-07-13 2006-11-15 日産自動車株式会社 移動障害物検出装置
EP1681849B1 (en) * 2005-01-18 2011-10-19 LG Electronics, Inc. Apparatus for removing noise from a video signal

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08201530A (ja) * 1995-01-31 1996-08-09 Mitsubishi Motors Corp 障害物検知装置
JPH11151975A (ja) * 1997-11-25 1999-06-08 Nissan Motor Co Ltd 死角範囲表示装置
JPH11215487A (ja) * 1998-01-21 1999-08-06 Nissan Motor Co Ltd 歩行者検出警報装置
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2001266160A (ja) * 2000-03-22 2001-09-28 Toyota Motor Corp 周辺認識方法および周辺認識装置
JP2002027441A (ja) * 2000-07-12 2002-01-25 Oki Electric Ind Co Ltd 移動型監視カメラ装置およびそれによる監視方法
JP2002150483A (ja) * 2000-11-14 2002-05-24 Toyo Commun Equip Co Ltd 交通状況画像提供システム
JP2003009141A (ja) * 2001-06-27 2003-01-10 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003191810A (ja) * 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置
JP2003196645A (ja) * 2001-12-28 2003-07-11 Equos Research Co Ltd 車両の画像処理装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2004032528A (ja) * 2002-06-27 2004-01-29 Nissan Motor Co Ltd 画像認識装置
JP2004291663A (ja) * 2003-03-25 2004-10-21 Denso Corp 車両周辺監視システム及び車両周辺監視方法
JP2004306778A (ja) * 2003-04-07 2004-11-04 Denso Corp 撮像制御装置
JP2005276057A (ja) * 2004-03-26 2005-10-06 Mitsubishi Motors Corp ノーズビューモニタ装置

Also Published As

Publication number Publication date
US20070285217A1 (en) 2007-12-13
US8036424B2 (en) 2011-10-11
JP2007300181A (ja) 2007-11-15

Similar Documents

Publication Publication Date Title
US10690770B2 (en) Navigation based on radar-cued visual imaging
USRE48106E1 (en) Detection of obstacles at night by analysis of shadows
US10513269B2 (en) Road profile along a predicted path
US20190073783A1 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
US9330320B2 (en) Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus
JP6202367B2 (ja) 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
JP5829980B2 (ja) Roadside detection device
CN101894271B (zh) 汽车偏离车道线角度和距离的视觉计算及预警方法
EP2282295B1 (en) Object recognizing device and object recognizing method
JP5441549B2 (ja) 道路形状認識装置
JP3169483B2 (ja) 道路環境認識装置
KR20190028386A (ko) Control of the host vehicle based on the characteristics of the detected parking vehicle
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
JP5372680B2 (ja) 障害物検知装置
JP4697480B2 (ja) 車線認識装置、車線認識方法および車線認識プログラム
US8605947B2 (en) Method for detecting a clear path of travel for a vehicle enhanced by object detection
US7266454B2 (en) Obstacle detection apparatus and method for automotive vehicle
JP6344638B2 (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP3776094B2 (ja) 監視装置、監視方法および監視用プログラム
JP3977802B2 (ja) 障害物検出装置、障害物検出方法および障害物検出プログラム
JP3619628B2 (ja) 走行環境認識装置
JP6429217B2 (ja) 経路生成装置、経路生成方法、および経路生成プログラム
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
JP6471528B2 (ja) 物体認識装置、物体認識方法
US7542835B2 (en) Vehicle image processing device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140204

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4676373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees