JP4341564B2 - 対象物判定装置 - Google Patents

対象物判定装置 Download PDF

Info

Publication number
JP4341564B2
JP4341564B2 JP2005051353A JP2005051353A JP4341564B2 JP 4341564 B2 JP4341564 B2 JP 4341564B2 JP 2005051353 A JP2005051353 A JP 2005051353A JP 2005051353 A JP2005051353 A JP 2005051353A JP 4341564 B2 JP4341564 B2 JP 4341564B2
Authority
JP
Japan
Prior art keywords
parallax
block
deviation
attribute
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005051353A
Other languages
English (en)
Other versions
JP2006236104A (ja
Inventor
好克 木村
芳樹 二宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2005051353A priority Critical patent/JP4341564B2/ja
Priority to US11/356,976 priority patent/US7583817B2/en
Publication of JP2006236104A publication Critical patent/JP2006236104A/ja
Application granted granted Critical
Publication of JP4341564B2 publication Critical patent/JP4341564B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Description

本発明は、対象物判定装置に係り、特に、車両前方の対象物が立体物であるか路面であるかを判定する車両用の対象物判定装置に関する。
従来より、道路表面からの高さに基づいて、道路と立体物とを区別する車両用車外監視装置が知られている(特許文献1)。この車両用車外監視装置で道路を検出する場合には、道路面に近い(高さの低い)距離データを選択し、道路モデルを用いて道路形状を検出している。一方、立体物を検出するには、予め求められた視差点のうち道路面からの高さが10cm以下の視差点を削除する。そして、視差と画像横幅が一定(視差解像度1、画像は横幅4画素)の格子毎に視差点数のヒストグラムを求め、その最大値を立体物のデータとして選択している。
また、道路や床等のパターンの特徴が少ない地面を大局的に平面近似することにより、地面を平面として認識する平面推定方法が提案されている(特許文献2)。この平面推定方法では、m画素×n画素のブロックについて対応を取り、距離(視差点)を求め、画像の縦位置(iY)が共通する領域内に存在するブロックを取り出し、対応の取れたブロックを用いて直線近似を行なう。この直線近似を行なうことにより、対応の取れていないブロックに対して距離が補間される。そして、画像の縦位置(iY)を変化させて各々で直線近似を行い、全ての画像の縦位置(iY)で直線近似が終了した後、画像全体で平面の推定を行なうことで路面を検出している。
特開平5−265547号公報 特開平9−81755号公報
しかしながら、従来の特許文献1の技術では、路面に近い距離データを検出することで路面モデルを作成しているので、路面に白線等が存在していない場合には、路面に近い距離データを検出することができず、路面モデルを作成することができない場合が発生する。また、特許文献2の技術では、道路パターンが少ない場合にも適用することができるが、地面を大局的に近似しているため、道路上に歩行者が立っている場合も平面として見なしてしまう場合がある、という問題がある。
また、従来の技術では、一定の視差間隔と画像横位置間隔とで定まるブロックを用いているため、マップの1つの要素の横幅の大きさは、実空間の3次元空間座標での距離と大きさが不均一になるため、視差の最大値やマップへの視差点の投票数で対象物を判断しており、正確に対象物を判断することが困難になる、という問題があった。
本発明は、上記問題を解決すべく成されたもので、道路モデルや大局的な近似によらず、局所的な情報で路面と立体物とを区別して正確に判定することができる対象物判定装置を提供することを目的とする。
上記目的を達成するために本発明は、異なる視点の各々から対象物を撮影することにより、視差を有する複数の画像を表す画像データを取得する撮影手段と、前記複数の画像を表す画像データに基づいて、複数の画像の各々において対応した点における視差を演算する演算手段と、一方の辺が視差、他方の辺が画像の横方向の位置に各々対応し、かつ視差が大きくなるに従って前記視差に対応する辺及び前記横方向の位置に対応する辺が長くなるように定められたブロックを複数配列した視差マップの各々のブロックに、視差が演算された視差点に関する情報を例えば投票すること等によって対応させ、対応された視差点の視差方向への分布が小さくかつ画像の縦方向への分布が大きい第1ブロック、及び対応された視差点の視差方向への分布が大きくかつ画像の縦方向への分布が小さい第2ブロックを判定するブロック判定手段と、前記第1ブロックに立体の属性を与え、前記第2ブロックに路面の属性を与える属性付与手段と、を含んで構成したものである。
本発明では、一方の辺が視差、他方の辺が画像の横方向の位置に各々対応し、かつ視差が大きくなるに従って前記視差に対応する辺及び前記横方向の位置に対応する辺が長くなるように定められたブロックを複数配列した視差マップを用い、視差マップの各々のブロックに、視差が演算された視差点に関する情報を対応させ、対応された視差点の視差方向への分布が小さくかつ画像の縦方向への分布が大きい第1ブロックに立体の属性を与えている。また、対応された視差点の視差方向への分布が大きくかつ画像の縦方向への分布が小さい第2ブロックに路面の属性を与えている。
本発明は、立体物の視差点は、実空間座標において距離方向の広がりが小さくかつ高さ方向に大きく広がって分布し、すなわち視差点は画像上で視差方向の分布が小さくかつ縦方向に大きく分布し、一方、路面の視差点は、実空間座標において高さ方向の広がりが小さくかつ距離方向に大きく広がって分布する、という特性に着目してなされたものであり、上記のように第1ブロック及び第2ブロックを判定することにより、局所的な各ブロックに立体または路面の属性を与えることができ、この与えられた属性から対象物が立体なのか路面なのかを判断することができる。
本発明で第1ブロック及び第2ブロックを判定する場合には、前記視差点に関する情報が対応されたブロックの各々について、視差の偏差及び画像の縦方向位置の偏差を演算し、対応された視差点の個数が第1の閾値以上、前記縦方向位置の偏差が第2の閾値以上、かつ視差の偏差に対する前記縦方向位置の偏差の比が第3の閾値以上のブロックを第1ブロックと判定し、対応された視差点の個数が前記第1の閾値以上、前記縦方向位置の偏差が前記第2の閾値より小さい第4の閾値未満、かつ視差の偏差に対する前記縦方向位置の偏差の比が前記第3の閾値より小さい第5の閾値未満のブロックを第2ブロックと判定することができる。
上記では、視差マップのブロックを視差と画像の横方向位置とによって定めたが、視差は実空間における視点からの距離に対応し、画像の縦方向の位置は実空間における高さ方向の位置に対応し、画像の横方向の位置は実空間における横方向の位置に対応するので、一方の辺が前記距離、他方の辺が前記実空間における横方向の位置に各々対応し、かつ大きさが同一になるように定められたブロックを複数配列して視差マップを定めるようにしてもよい。
この場合には、視差マップの各々のブロックに演算された視差点に関する情報を例えば投票する等によって対応させ、対応された視差点の前記距離方向への分布が小さくかつ前記高さ方向への分布が大きい第1ブロックに立体の属性を与え、対応された視差点の前記距離方向への分布が大きくかつ高さ方向への分布が小さい第2ブロックに路面の属性を与えればよい。
また、実空間の情報を用いて第1ブロック及び第2ブロックを判定する場合には、前記視差点に関する情報が対応されたブロックの各々について、前記距離の偏差及び前記高さ方向の位置の偏差を演算し、対応された視差点の個数が第1の所定値以上、前記高さ方向の位置の偏差が第2の所定値以上、かつ前記距離の偏差に対する前記高さ方向の位置の偏差の比が第3の所定値以上のブロックを第1ブロックと判定し、対応された視差点の個数が前記第1の所定値以上、前記高さ方向の位置の偏差が前記第2の所定値より小さい第4の所定値未満、かつ前記距離の偏差に対する前記高さ方向の位置の偏差の比が前記第3の所定値より小さい第5の所定値未満のブロックを第2ブロックと判定することができる。
路面は、画像上の縦方向、すなわち実空間で距離方向に分布するので、第2ブロックの近傍に路面の属性が与えられたブロックが存在する場合に、第2ブロックに与えられた路面の属性を確定するのが効果的である。
また、ブロック判定手段の判定結果に拘わらず、所定のピッチ角度以上の領域に存在する視差点を所定値以上含むブロックに立体の属性を付与するようにしてもよい。
以上説明したように本発明によれば、一方の辺が視差、他方の辺が画像の横方向の位置に各々対応し、かつ視差が大きくなるに従って視差に対応する辺及び横方向の位置に対応する辺が長くなるように定められたブロックを複数配列した視差マップ、または一方の辺が実空間の距離、他方の辺が実空間の横方向の位置に各々対応し、かつ大きさが同一になるように定められたブロックを複数配列した視差マップを用い、視差マップのブロックに対応する視差点の情報に基づいて立体か路面かを判断しているので、局所的部位であるブロックに対応する情報を用いて路面と立体物とを区別して正確に判定することができる、という効果が得られる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。図1に示すように、第1の実施の形態には、異なる視点から車両の前方を撮影するように車両のフロントウインドウ上部等に所定間隔隔て取り付けられた右側カメラ10R、及び左側カメラ10Lが設けられている。この右側カメラ10R、及び左側カメラ10Lは、小型のCCDカメラまたはCMOSカメラで構成され、自車両の前方の道路状況を含む領域を撮影し、撮影により得られた画像データを出力する。
右側カメラ、及び左側カメラは、所定間隔隔てて取り付けられているため、図2に示すように対象物を撮影すると視差を有する複数の画像である左画像及び右画像が得られる。得られた2つの画像は視差を有しているので、2つの画像間で対応点や対応領域等の対応部位を対応させることにより三角測量の原理に基づいて物体までの距離を演算するステレオ画像処理によって、視差(距離データ)を求めることができる。
なお、上記では、右側カメラ及び左側カメラの2台のカメラを備えた撮影装置を用いて異なる視点から対象物を撮影することにより視差画像を取得する例について説明したが、1台のカメラを左右方向に往復移動させて異なる視点から対象物を撮影することにより視差画像を取得するようにしてもよい。
右側カメラ10R、及び左側カメラ10Lは、撮影により得られた画像データをデジタル信号に変換するA/D変換器を備えた画像入力手段12に接続されている。画像入力手段12は、左右画像間の類似度を検出することにより距離の照合を行ない、左右画像間で対応する点の視差を検出する照合手段14に接続されている。照合手段14では、図2に示すように左画像及び右画像にM×Nの大きさの相関の領域内に視差算出点を設定し、差分絶対和(SAD)を用いて視差を算出する。すなわち、以下の式に従って相関指標S(iX,iY,d)を演算し、この相関指標S(iX,iY,d)の値を最小にするdの値(0≦d≦視差検出幅)を視差算出点(iX,iY)における視差iDとして求め、視差算出点における座標(iX,iY)及び視差iDを出力する。
なお、右画像及び左画像のサイズは、各々V×Hであり、0≦iX≦V、0≦iY≦Hである。
Figure 0004341564
ただし、Irは、右側カメラで撮影された画像の各比較点における比較量(明度等)、Ilは、左側カメラで撮影された画像の各比較点における比較量、Mは画像の縦方向の相関領域サイズ、Nは画像の横方向の相関領域サイズである。
なお、照合手段14では、差分絶対値和に代えて、差分の自乗和や正規化関数を用いて視差を演算するようにしてもよい。
照合手段14は、立体・路面判定手段16に接続されている。この立体・路面判定手段16では、以下で説明する視差投票マップを用いて視差マップのブロックに視差算出点における情報を投票し、対象となる局所領域が立体に属しているか、路面に属しているかの判定を行なう。
上記照合手段14及び立体・路面判定手段16は、1つのMPU(マイクロプロセッシングユニット)で構成することができるが、別々のMPUで構成してもよい。
次に、本実施の形態の立体・路面の判定処理を図3を参照して説明する。立体・路面判定手段16には、図4に示す視差投票マップが用意されている。この視差投票マップは、横方向の辺を画面の横方向(iX軸方向)の位置に対応させ、かつ縦方向の辺が視差iDの大きさに対応するように定められた複数の矩形状のブロックを配列させて構成されている。各ブロックは、視差が大きくなるに従って画像の横方向の長さを長くすると共に、視差が大きくなるに従って視差の解像度を大きくする、すなわち視差に対応する辺の長さを長くすることにより、視差が大きくなるに従って領域が大きくなるように定められている。
本実施の形態では、視差投票マップは平面1〜平面5の複数の領域に分割されており、複数の領域の各々は、所定の視差幅に対応するように定められている。本実施の形態では、視差を8ビットで表した場合、平面1が視差0〜15、平面2が視差16〜31、平面3が視差32〜63、平面4が視差64〜127、平面5が視差128〜255に対応するように定められている。
また、平面1の各ブロックの大きさは横方向をN画素、縦方向(視差方向)を1画素の大きさ、平面2の各ブロックの大きさは横方向を2N画素、縦方向(視差方向)を2画素の大きさ、平面3の各ブロックの大きさは横方向を4N画素、縦方向(視差方向)を4画素の大きさ、平面4の各ブロックの大きさは横方向を8N画素、縦方向(視差方向)を8画素の大きさ、平面5の各ブロックの大きさは横方向を16画素、縦方向(視差方向)を16画素の大きさになるように定めら、各平面のブロックは格子状に配列されている。なお、Nは、例えば4とすることができる。
本実施の形態のように、視差投票マップを構成する要素であるブロックの大きさを視差が大きくなるに従って領域が画面上で大きくなるように定めることにより、視差投票マップを構成する1つの要素が3次元実空間では略同じ大きさになる。また、このように視差投票マップを構成することで、視差が大きな領域のブロック数が少なくなるので、視差投票マップ及びマップの各ブロックに対応する情報を記憶するメモリの容量を低減することができる。
立体・路面判定手段16では、照合手段14で算出された視差iD、及び座標(iX,iY)を含む視差に関する情報が入力されると、視差に関する情報を視差投票マップの視差iD及び座標iXに対応するブロックに投票することにより、視差投票マップのブロックと視差算出点に関する情報とを対応させる。そして、照合手段で照合が取れた視差算出点、すなわち視差が算出された視差算出点の全ての投票が終了した後、各ブロックの各々について視差算出点の投票数、視差iDの平均、視差iDの偏差、画像の縦方向の座標iYの平均、縦方向の座標iYの偏差が演算され、各ブロックに対応させてメモリに記憶される。
図3のステップ100では、各ブロックに対応させて記憶した投票数、座標iYの偏差、及び視差iDの偏差を1つのブロックについて読み込み、ステップ102において投票数が平面毎に設定された閾値1以上か否かを各ブロック毎に判断する。距離が近い程、左右画像の対応を取ることができ、視差算出点の個数が多くなるので、閾値1は平面1から平面5に向かって徐々に大きくなるように設定することができる。
投票数が閾値1未満の場合には、左右画像間で対応が取れた視差算出点の個数が少ないことから立体か路面かの判定が困難なため、ステップ104においてそのブロックに対してはノイズとして判定対象外であることを示す属性を設定する。
ステップ102で、投票数が閾値1以上と判断されたときは、ステップ106において座標iYの偏差が閾値2以上で、かつ視差iDの偏差に対する座標iYの偏差の比(座標iYの偏差/視差iDの偏差)が閾値3以上かを判断する。座標iYの偏差が閾値2以上の場合は、視差算出点が縦方向に大きく分布していることを表し、比が閾値3以上の場合は、視差算出点の視差方向への分布が小さいことを表しているので、立体と判断し、ステップ108においてそのブロックに立体の属性を設定する。
一方、ステップ106で否定判断された場合は、ステップ110において、座標iYの偏差が閾値4(<閾値2)未満で、かつ比(座標iYの偏差/視差iDの偏差)が閾値5(<閾値3)未満か否かを判断する。座標iYの偏差が閾値4未満で、かつ比が閾値5未満の場合は、視差算出点の縦方向の分布が小さく、かつ視差方向の分布が大きいので、路面と判断し、ステップ112においてそのブロックに路面の属性を設定する。
一方、ステップ110において否定判断された場合、すなわち、閾値4≦iYの偏差<閾値2で、かつ閾値5≦座標iYの偏差/視差iDの偏差<閾値3のブロックは、路面とも立体とも判断ができないのでステップ118において不定の属性を設定する。
次のステップ120では、上記のように判定したブロックが最後のブロックか否かを判断し、最後のブロックで無い場合は、ステップ122で次のブロックの視差算出点に関する情報を読み込み、上記と同様の処理を行なって、全てのブロックについて属性の判断が終了するまで上記の処理を繰り返す。
全てのブロックについて判断が終了した後、ステップ114で最初のブロックの属性データを読み込み、ステップ116において路面の属性か否かを判断する。路面の属性でない場合はこのルーチンを終了し、路面の属性の場合にはステップ124において、図5に示すように、路面の属性を設定したブロック(注目ブロック)の近傍のブロックに路面の属性が設定されたブロックが存在するか否かを判断し、近傍に路面の属性が設定されたブロックが存在しない場合には、ステップ126において路面の属性を設定したブロックの属性を対象外の属性に設定を変更する。
近傍に路面の属性が存在する場合には、ステップ128で最後のブロックか否かを判断し、最後のブロックでない場合にはステップ129で次のブロックの属性データを読み込んだ後ステップ116に戻って上記の処理を繰返し、全てのブロックについて近傍に路面の属性が設定されたブロックが存在するか否かを判断する。
一般的に、路面は画面の縦方向に連続しているので、近傍のブロックに路面の属性が設定されたブロックが存在しない場合に、上記のように設定された路面の属性を対象外の属性に変更することにより、路面の判定精度を向上させることができる。
以上の処理を行なうことにより、ブロック毎、すなわち局所領域毎に路面と立体との判定を行なうことができ、この局所領域毎の判定を用いることにより対象物が立体であるか路面であるかを判定することができる。
上記では一方の辺が視差、他方の辺が画像の横方向の位置に各々対応し、かつ視差が大きくなるに従って視差に対応する辺及び横方向の位置に対応する辺が長くなるように定められたブロックを複数配列した視差マップを用いる例について説明したが、視差は3次元実空間におけるカメラから対象物までの距離Zに対応し、画像の横方向の位置は3次元実空間における横方向の位置(X軸方向)に対応し、画像の縦方向の位置は3次元実空間における高さ方向の位置に対応するので、一方の辺が距離Z、他方の辺が3次元実空間における横方向の位置に各々対応し、かつ大きさが同一になるように定めたブロックを複数配列したを用いるようにしてもよい。この場合には、視差投票マップは、各辺の大きさが等しい複数のブロック、例えば50cm×50cmの同じ大きさの複数のブロックを格子状に配列して構成することができる。
この大きさが同じ複数のブロックを配列した視差投票マップを用いた場合には、視差算出点の個数が所定値1以上、空間座標での高さ方向(Y軸方向)の偏差が所定値2以上で、かつ比(高さ方向の偏差/距離方向(Z軸方向)の偏差)が所定値3以上のブロックを立体と判断して立体の属性を与え、視差算出点の個数が所定値1以上、高さ方向の偏差が所定値4(<所定値2)未満で、かつ比が所定値5(<所定値3)未満のブロックを路面と判断して路面の属性を与え、所定値4≦高さ方向の偏差<所定値2で、かつ所定値5≦高さ方向の偏差/距離方向<所定値3のブロックは、路面とも立体とも判断ができないので不定の属性を設定する。
次に、第2の実施の形態について説明する。本実施の形態は、図7に示すように、第1の実施の形態の照合手段14と立体・路面判定手段16との間に、確定立体視差を判定する視差判定手段18を接続したものである。視差判定手段18では、照合によって対応が取れた視差算出点に対し、所定ピッチ角α(例えば、2度程度)よりも上方に位置する視差算出点を判断し、所定ピッチ角αよりも上方に位置する視差を確定立体視差と定義する。車両の通常走行状態では、車両のピッチ角は多く見積もっても2度程度であるため、このピッチ角を越える視差は、縦方向位置の分布すなわち高さ方向位置の分布が大きいので、確実に立体物に属する視差であると判断する。
本実施の形態では、所定ピッチ角αよりも上方に位置する視差算出点を確定立体視差算出点と定義してマップに投票し、図3のステップ102において、確定立体視差算出点の個数が所定値以上、例えばブロック内の視差算出点の50%以上か否かを判断し、確定立体視差算出点の個数が所定値以上の場合は、ステップ106及びステップ110の判断を行なうことなく確定立体の属性を設定する。この確定立体の属性は、車両の運転状態によって立体でないと判断された場合であっても属性を変更しないようにする。これにより、車両の上部や壁の上部等を路面と誤判断することがなくなる。
本発明の第1の実施の形態のブロック図である。 左右ステレオ画像について視差を演算する原理を説明するための図である。 第1の実施の形態の対象物判定ルーチンを示す流れ図である。 視差投票マップを示す図である。 路面の属性を設定した注目ブロックとその近傍のブロックとを示す図である。。 本発明の第2の実施の形態を示すブロック図である。 確定立体視差点を示す図である。 確定立体の属性を示す図である。
符号の説明
10R 右側カメラ
10L 左側カメラ
12 画像入力手段
14 照合手段
14 上記照合手段
16 立体・路面判定手段
18 視差判定手段

Claims (7)

  1. 異なる視点の各々から対象物を撮影することにより、視差を有する複数の画像を表す画像データを取得する撮影手段と、
    前記複数の画像を表す画像データに基づいて、複数の画像の各々において対応した点における視差を演算する演算手段と、
    一方の辺が視差、他方の辺が画像の横方向の位置に各々対応し、かつ視差が大きくなるに従って前記視差に対応する辺及び前記横方向の位置に対応する辺が長くなるように定められたブロックを複数配列した視差マップの各々のブロックに、視差が演算された視差点に関する情報を対応させ、対応された視差点の視差方向への分布が小さくかつ画像の縦方向への分布が大きい第1ブロック、及び対応された視差点の視差方向への分布が大きくかつ画像の縦方向への分布が小さい第2ブロックを判定するブロック判定手段と、
    前記第1ブロックに立体の属性を与え、前記第2ブロックに路面の属性を与える属性付与手段と、
    を含む対象物判定装置。
  2. 前記ブロック判定手段は、前記視差点に関する情報が対応されたブロックの各々について、視差の偏差及び画像の縦方向位置の偏差を演算し、対応された視差点の個数が第1の閾値以上、前記縦方向位置の偏差が第2の閾値以上、かつ視差の偏差に対する前記縦方向位置の偏差の比が第3の閾値以上のブロックを第1ブロックと判定し、対応された視差点の個数が前記第1の閾値以上、前記縦方向位置の偏差が前記第2の閾値より小さい第4の閾値未満、かつ視差の偏差に対する前記縦方向位置の偏差の比が前記第3の閾値より小さい第5の閾値未満のブロックを第2ブロックと判定する請求項1記載の対象物判定装置。
  3. 異なる視点の各々から対象物を撮影することにより、視差を有する複数の画像を表す画像データを取得する撮影手段と、
    前記複数の画像を表す画像データに基づいて、複数の画像の各々において対応した点における視差を演算すると共に、前記演算された視差及び視差が演算された視差点の画像上の位置に基づいて、該視差点の実空間における横方向の位置、高さ方向の位置、及び前記視点からの距離を演算する演算手段と、
    一方の辺が前記距離、他方の辺が前記横方向の位置に各々対応し、かつ大きさが同一になるように定められたブロックを複数配列した視差マップの各々のブロックに、視差が演算された視差点に関する情報を対応させ、対応された視差点の前記距離方向への分布が小さくかつ前記高さ方向への分布が大きい第1ブロック、及び対応された視差点の前記距離方向への分布が大きくかつ高さ方向への分布が小さい第2ブロックを判定するブロック判定手段と、
    前記第1ブロックに立体の属性を与え、前記第2ブロックに路面の属性を与える属性付与手段と、
    を含む対象物判定装置。
  4. 前記ブロック判定手段は、前記視差点に関する情報が対応されたブロックの各々について、前記距離の偏差及び前記高さ方向の位置の偏差を演算し、対応された視差点の個数が第1の所定値以上、前記高さ方向の位置の偏差が第2の所定値以上、かつ前記距離の偏差に対する前記高さ方向の位置の偏差の比が第3の所定値以上のブロックを第1ブロックと判定し、対応された視差点の個数が前記第1の所定値以上、前記高さ方向の位置の偏差が前記第2の所定値より小さい第4の所定値未満、かつ前記距離の偏差に対する前記高さ方向の位置の偏差の比が前記第3の所定値より小さい第5の所定値未満のブロックを第2ブロックと判定する請求項3記載の対象物判定装置。
  5. 前記属性付与手段は、前記第2ブロックの近傍に路面の属性が与えられたブロックが存在する場合に、前記第2ブロックの属性を確定する請求項1〜請求項4のいずれか1項記載の対象物判定装置。
  6. 前記演算手段は、複数の画像の各々において対応する領域内の相関に基づいて前記視差を演算する請求項1〜請求項5のいずれか1項記載の対象物判定装置。
  7. 前記属性付与手段は、前記ブロック判定手段の判定結果に拘わらず、所定のピッチ角度以上の領域に存在する視差点を所定値以上含むブロックに立体の属性を付与する請求項1〜請求項6のいずれか1項記載の対象物判定装置。
JP2005051353A 2005-02-25 2005-02-25 対象物判定装置 Expired - Fee Related JP4341564B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005051353A JP4341564B2 (ja) 2005-02-25 2005-02-25 対象物判定装置
US11/356,976 US7583817B2 (en) 2005-02-25 2006-02-21 Object determining apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005051353A JP4341564B2 (ja) 2005-02-25 2005-02-25 対象物判定装置

Publications (2)

Publication Number Publication Date
JP2006236104A JP2006236104A (ja) 2006-09-07
JP4341564B2 true JP4341564B2 (ja) 2009-10-07

Family

ID=36931974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005051353A Expired - Fee Related JP4341564B2 (ja) 2005-02-25 2005-02-25 対象物判定装置

Country Status (2)

Country Link
US (1) US7583817B2 (ja)
JP (1) JP4341564B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006058308A1 (de) * 2006-12-11 2008-06-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erfassen eines Hindernisses in einem Umgebungsbereich eines Kraftfahrzeugs und Kraftfahrzeug
JP4462333B2 (ja) * 2007-11-13 2010-05-12 株式会社デンソー 走行支援装置
US7932838B2 (en) * 2008-11-17 2011-04-26 Honeywell International, Inc. Aircraft collision avoidance system
US8260539B2 (en) 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
CN103493093B (zh) * 2011-11-17 2017-07-18 松下知识产权经营株式会社 图像处理装置、摄像装置及图像处理方法
WO2014165744A1 (en) * 2013-04-05 2014-10-09 Koninklijke Philips N.V. Re-targeting a three-dimensional image signal
US8825260B1 (en) * 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
JP6396729B2 (ja) * 2014-09-18 2018-09-26 トヨタ自動車株式会社 立体物検出装置
JP6358160B2 (ja) 2015-04-17 2018-07-18 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
JP6753134B2 (ja) * 2015-07-07 2020-09-09 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
EP3115933B1 (en) * 2015-07-07 2021-03-17 Ricoh Company, Ltd. Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
EP3413267B1 (en) 2016-02-05 2023-06-28 Ricoh Company, Ltd. Object detection device, device control system, objection detection method, and program
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
US11202055B2 (en) * 2018-02-28 2021-12-14 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images
EP3923241B1 (en) * 2020-06-09 2022-04-06 Axis AB Aligning digital images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3340599B2 (ja) 1995-09-12 2002-11-05 松下電器産業株式会社 平面推定方法
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
US20020134151A1 (en) * 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems

Also Published As

Publication number Publication date
US20060193511A1 (en) 2006-08-31
US7583817B2 (en) 2009-09-01
JP2006236104A (ja) 2006-09-07

Similar Documents

Publication Publication Date Title
JP4341564B2 (ja) 対象物判定装置
JP4876080B2 (ja) 環境認識装置
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
JP4956452B2 (ja) 車両用環境認識装置
US7899211B2 (en) Object detecting system and object detecting method
JP5870273B2 (ja) 物体検出装置、物体検出方法及びプログラム
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
JP4943034B2 (ja) ステレオ画像処理装置
JP5752618B2 (ja) ステレオ視差算出装置
EP3070430B1 (en) Moving body position estimation device and moving body position estimation method
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
CN105335955A (zh) 对象检测方法和对象检测装置
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP5834933B2 (ja) 車両位置算出装置
CN111243003B (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
JP4586571B2 (ja) 対象物判定装置
JP4956099B2 (ja) 壁検出装置
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
JP4882577B2 (ja) 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体
JP5981284B2 (ja) 対象物検出装置、及び対象物検出方法
JP4696925B2 (ja) 画像処理装置
CN116778094A (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
JP2021051347A (ja) 距離画像生成装置及び距離画像生成方法
JP6198104B2 (ja) 3次元物体認識装置及び3次元物体認識方法
JP5903901B2 (ja) 車両位置算出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4341564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140717

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees