JPH11351862A - 前方車両検出方法及び装置 - Google Patents
前方車両検出方法及び装置Info
- Publication number
- JPH11351862A JPH11351862A JP10160953A JP16095398A JPH11351862A JP H11351862 A JPH11351862 A JP H11351862A JP 10160953 A JP10160953 A JP 10160953A JP 16095398 A JP16095398 A JP 16095398A JP H11351862 A JPH11351862 A JP H11351862A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- vehicle
- value
- parallax image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 自車両前方の車両を検出して前方車両との車
間距離を算出するに当たって、画像認識の計算量を少な
くした前方車両検出方法及び装置を提供する。 【解決手段】 左カメラ１０ａの左原画像と右カメラ１
０ｂの右原画像とを用いてステレオ式の画像処理を行い
前方車両を検出する。画像処理部３０は、一方のカメラ
の原画像から作成したエッジ画像中のエッジ点の対応点
を他方のカメラの原画像から探索して視差値を輝度値と
して表した視差画像を作成する。視差画像から路面と同
じ高さにある物体を除去した後、その縦軸方向に視差値
の頻度を求め、縦軸を視差値として求めた頻度を輝度値
で表した第１の投影視差画像を、視差画像から路面より
上にある物体を除去した後、その縦軸方向に視差値の頻
度を求め、縦軸を視差値として求めた頻度を輝度値で表
した第２の投影視差画像を作成する。第１の投影視差画
像中から横軸に平行な線分を抽出して検出した車両が、
第２の投影視差画像中から検出した白線に基づいて決定
した自車線領域内に存在するとき、検出車両までの距離
を測定する。
間距離を算出するに当たって、画像認識の計算量を少な
くした前方車両検出方法及び装置を提供する。 【解決手段】 左カメラ１０ａの左原画像と右カメラ１
０ｂの右原画像とを用いてステレオ式の画像処理を行い
前方車両を検出する。画像処理部３０は、一方のカメラ
の原画像から作成したエッジ画像中のエッジ点の対応点
を他方のカメラの原画像から探索して視差値を輝度値と
して表した視差画像を作成する。視差画像から路面と同
じ高さにある物体を除去した後、その縦軸方向に視差値
の頻度を求め、縦軸を視差値として求めた頻度を輝度値
で表した第１の投影視差画像を、視差画像から路面より
上にある物体を除去した後、その縦軸方向に視差値の頻
度を求め、縦軸を視差値として求めた頻度を輝度値で表
した第２の投影視差画像を作成する。第１の投影視差画
像中から横軸に平行な線分を抽出して検出した車両が、
第２の投影視差画像中から検出した白線に基づいて決定
した自車線領域内に存在するとき、検出車両までの距離
を測定する。
Description
【０００１】
【発明の属する技術分野】本発明は前方車両検出方法及
び装置に係り、特に、左カメラを用いて収集した左画像
と右カメラを用いて収集した右画像とを用いてステレオ
式の画像処理を行い、前方を走行している車両を検出し
て自車両との距離を測定し、例えば危険な場合に警報を
発生するなどのために適用される前方車両検出方法及び
装置に関するものである。
び装置に係り、特に、左カメラを用いて収集した左画像
と右カメラを用いて収集した右画像とを用いてステレオ
式の画像処理を行い、前方を走行している車両を検出し
て自車両との距離を測定し、例えば危険な場合に警報を
発生するなどのために適用される前方車両検出方法及び
装置に関するものである。
【０００２】
【従来の技術】従来、自車両前方の視界の画像をＣＣＤ
撮像素子により取得し、その前方視界の画像から自車線
内前方を走行する車両を検出して前方車両との車両距離
を算出する方法として、水平方向に並べた２つのカメラ
（ステレオカメラ）によって得た左右２枚の画像から物
体の視差を求めて３次元位置を算出し、自車両の走行車
線と検出物体との位置関係から自車線内の車両を検出し
て自車両との車間距離を求める方法がある。
撮像素子により取得し、その前方視界の画像から自車線
内前方を走行する車両を検出して前方車両との車両距離
を算出する方法として、水平方向に並べた２つのカメラ
（ステレオカメラ）によって得た左右２枚の画像から物
体の視差を求めて３次元位置を算出し、自車両の走行車
線と検出物体との位置関係から自車線内の車両を検出し
て自車両との車間距離を求める方法がある。
【０００３】具体的には、図４の処理フローに示すよう
に、先ず右カメラの画像及び左カメラの画像を同期して
取り込み、右カメラの画像については所定のオペレータ
を用いて微分画像を求め（Ｓ１０１）、所定のしきい値
で２値化してエッジ抽出を行い、エッジ画像を作成する
（Ｓ１０２）。次に、作成したエッジ画像のエッジ点を
Hough変換することにより左右車線候補を抽出し、これ
らの左右車線候補の組み合わせから所定の条件に最も近
いものを左右車線として決定する（Ｓ１０３）。左右車
線の判定条件としては、右車線と左車線の間隔（道路
幅）や、右車線と左車線の交差する角度などが挙げられ
る。次に、上述のようにして求めたエッジ画像に対し上
述のようにして求めた左右車線の各々を中心とした特定
領域を定め（図５の車線部分）、特定領域内のエッジ点
と特定領域外のエッジ点とに分ける（Ｓ１０４）。
に、先ず右カメラの画像及び左カメラの画像を同期して
取り込み、右カメラの画像については所定のオペレータ
を用いて微分画像を求め（Ｓ１０１）、所定のしきい値
で２値化してエッジ抽出を行い、エッジ画像を作成する
（Ｓ１０２）。次に、作成したエッジ画像のエッジ点を
Hough変換することにより左右車線候補を抽出し、これ
らの左右車線候補の組み合わせから所定の条件に最も近
いものを左右車線として決定する（Ｓ１０３）。左右車
線の判定条件としては、右車線と左車線の間隔（道路
幅）や、右車線と左車線の交差する角度などが挙げられ
る。次に、上述のようにして求めたエッジ画像に対し上
述のようにして求めた左右車線の各々を中心とした特定
領域を定め（図５の車線部分）、特定領域内のエッジ点
と特定領域外のエッジ点とに分ける（Ｓ１０４）。
【０００４】特定領域内の各エッジ点について右カメラ
の画像の対応点探索を行い視差を求め、カメラの設置パ
ラメータなどから決まる所定の計算式及び求めた視差か
ら左右車線の３次元位置を算出する（Ｓ１０５）。一
方、特定領域外の各エッジ点について右カメラの画像の
対応点探索を行い視差を求め、カメラ設置パラメータな
どから決まる所定の計算式及び求めた視差から車線以外
の物体の３次元位置を算出する（ステップＳ１０６）。
以上により求めた左右車線の３次元位置と物体の３次元
位置から、自車線内の物体（前方車両）の存在や、物体
（前方車両）までの車間距離を検出する（Ｓ１０７）。
の画像の対応点探索を行い視差を求め、カメラの設置パ
ラメータなどから決まる所定の計算式及び求めた視差か
ら左右車線の３次元位置を算出する（Ｓ１０５）。一
方、特定領域外の各エッジ点について右カメラの画像の
対応点探索を行い視差を求め、カメラ設置パラメータな
どから決まる所定の計算式及び求めた視差から車線以外
の物体の３次元位置を算出する（ステップＳ１０６）。
以上により求めた左右車線の３次元位置と物体の３次元
位置から、自車線内の物体（前方車両）の存在や、物体
（前方車両）までの車間距離を検出する（Ｓ１０７）。
【０００５】
【発明が解決しようとする課題】以上説明した従来技術
においては、初めに車線及び物体の３次元位置を求め、
自車線内にある物体を検出して車間距離を求めるもので
ある。すなわち、ステップＳ１０５びＳ１０６におい
て、全エッジ点について３次元位置の計算を行っている
ので、非常に計算量が多く、処理時間の低下やコストア
ップにつながるという問題があった。
においては、初めに車線及び物体の３次元位置を求め、
自車線内にある物体を検出して車間距離を求めるもので
ある。すなわち、ステップＳ１０５びＳ１０６におい
て、全エッジ点について３次元位置の計算を行っている
ので、非常に計算量が多く、処理時間の低下やコストア
ップにつながるという問題があった。
【０００６】よって、本発明は、上述した従来技術の問
題点を解消し、自車両前方の車両の検出或いは検出した
前方車両との車間距離の算出に当たって、画像認識の計
算量を少なくした前方車両検出方法及び装置を提供する
ことを課題としている。
題点を解消し、自車両前方の車両の検出或いは検出した
前方車両との車間距離の算出に当たって、画像認識の計
算量を少なくした前方車両検出方法及び装置を提供する
ことを課題としている。
【０００７】
【課題を解決するための手段】上記課題を解決するため
なされた請求項１記載の発明は、左カメラを用いて収集
した左原画像と右カメラを用いて収集した右原画像とを
用いてステレオ式の画像処理を行い前方を走行している
車両を検出し、該検出した車両までの距離を測定する前
方車両検出方法において、前記左右カメラの一方により
収集した原画像を処理してエッジ画像を作成し、該エッ
ジ画像中のエッジ点の対応点を前記他方のカメラにより
収集した原画像から探索して視差値を輝度値として表し
た視差画像を作成し、該視差画像から路面と同じ高さに
ある物体を除去した後、前記視差画像の縦軸方向に視差
値の頻度を求め、縦軸を視差値として前記求めた頻度を
輝度値で表した第１の投影視差画像を作成し、該第１の
投影視差画像中から横軸に平行な線分を抽出して車両を
検出し、前記視差画像から路面より上にある物体を除去
した後、前記視差画像の縦軸方向に視差値の頻度を求
め、縦軸を視差値として前記求めた頻度を輝度値で表し
た第２の投影視差画像を作成し、該第２の投影視差画像
中から検出した白線に基づいて自車線領域を決定し、該
自車線領域内に前記検出した車両が存在するとき、該検
出した車両までの距離を測定することを特徴とする前方
車両検出方法に存する。
なされた請求項１記載の発明は、左カメラを用いて収集
した左原画像と右カメラを用いて収集した右原画像とを
用いてステレオ式の画像処理を行い前方を走行している
車両を検出し、該検出した車両までの距離を測定する前
方車両検出方法において、前記左右カメラの一方により
収集した原画像を処理してエッジ画像を作成し、該エッ
ジ画像中のエッジ点の対応点を前記他方のカメラにより
収集した原画像から探索して視差値を輝度値として表し
た視差画像を作成し、該視差画像から路面と同じ高さに
ある物体を除去した後、前記視差画像の縦軸方向に視差
値の頻度を求め、縦軸を視差値として前記求めた頻度を
輝度値で表した第１の投影視差画像を作成し、該第１の
投影視差画像中から横軸に平行な線分を抽出して車両を
検出し、前記視差画像から路面より上にある物体を除去
した後、前記視差画像の縦軸方向に視差値の頻度を求
め、縦軸を視差値として前記求めた頻度を輝度値で表し
た第２の投影視差画像を作成し、該第２の投影視差画像
中から検出した白線に基づいて自車線領域を決定し、該
自車線領域内に前記検出した車両が存在するとき、該検
出した車両までの距離を測定することを特徴とする前方
車両検出方法に存する。
【０００８】請求項１記載の手順によれば、前方を走行
している車両を検出して車両までの距離を測定するに当
たって、一方のカメラにより収集した原画像を処理して
作成したエッジ画像中のエッジ点の対応点を他方のカメ
ラにより収集した原画像から探索して視差値を輝度値と
して表した視差画像を作成し、この作成した視差画像か
ら路面と同じ高さにある物体を除去した後、視差画像の
縦軸方向に視差値の頻度を求め、縦軸を視差値として求
めた頻度を輝度値で表した第１の投影視差画像を作成
し、この第１の投影視差画像中から横軸に平行な線分を
抽出して車両を検出し、視差画像から路面より上にある
物体を除去した後、視差画像の縦軸方向に視差値の頻度
を求め、縦軸を視差値として前記求めた頻度を輝度値で
表した第２の投影視差画像を作成し、第２の投影視差画
像中から検出した白線に基づいて自車線領域を決定し、
この自車線領域内に検出した車両が存在するとき、この
検出した車両までの距離を測定しているので、車両まで
の距離を測定するとき以外、一切、物体の３次元位置を
求める画像処理が不要となっている。
している車両を検出して車両までの距離を測定するに当
たって、一方のカメラにより収集した原画像を処理して
作成したエッジ画像中のエッジ点の対応点を他方のカメ
ラにより収集した原画像から探索して視差値を輝度値と
して表した視差画像を作成し、この作成した視差画像か
ら路面と同じ高さにある物体を除去した後、視差画像の
縦軸方向に視差値の頻度を求め、縦軸を視差値として求
めた頻度を輝度値で表した第１の投影視差画像を作成
し、この第１の投影視差画像中から横軸に平行な線分を
抽出して車両を検出し、視差画像から路面より上にある
物体を除去した後、視差画像の縦軸方向に視差値の頻度
を求め、縦軸を視差値として前記求めた頻度を輝度値で
表した第２の投影視差画像を作成し、第２の投影視差画
像中から検出した白線に基づいて自車線領域を決定し、
この自車線領域内に検出した車両が存在するとき、この
検出した車両までの距離を測定しているので、車両まで
の距離を測定するとき以外、一切、物体の３次元位置を
求める画像処理が不要となっている。
【０００９】請求項２記載の発明は、請求項１記載の前
方車両検出方法において、路面と同じ高さにある物体を
除去した後の前記視差画像中に左右に同じ輝度値を有す
る画素があるとき、当該左右画素間の画素に前記輝度値
を代入して補間視差画像を作成し、該補間視差画像に基
づいて前記第１の投影視差画像を作成することを特徴と
する前方車両検出方法に存する。
方車両検出方法において、路面と同じ高さにある物体を
除去した後の前記視差画像中に左右に同じ輝度値を有す
る画素があるとき、当該左右画素間の画素に前記輝度値
を代入して補間視差画像を作成し、該補間視差画像に基
づいて前記第１の投影視差画像を作成することを特徴と
する前方車両検出方法に存する。
【００１０】請求項２記載の手順によれば、視差画像中
に左右に同じ輝度値を有する画素があるとき、当該左右
画素間の画素に輝度値を代入して補間視差画像を作成
し、この補間視差画像に基づいて第１の投影視差画像を
作成しているので、前方車両が背面構造のほとんどない
車両であって車両の両側にしかエッジが検出されないも
のであっても、補間視差画像を使用して投影視差画像を
作成することによって、投影視差画像中から横軸に平行
な線分を抽出して車両を検出することができる。
に左右に同じ輝度値を有する画素があるとき、当該左右
画素間の画素に輝度値を代入して補間視差画像を作成
し、この補間視差画像に基づいて第１の投影視差画像を
作成しているので、前方車両が背面構造のほとんどない
車両であって車両の両側にしかエッジが検出されないも
のであっても、補間視差画像を使用して投影視差画像を
作成することによって、投影視差画像中から横軸に平行
な線分を抽出して車両を検出することができる。
【００１１】請求項３記載の発明は、請求項１又は２記
載の前方車両検出方法において、前記路面を距離に応じ
た複数のゾーンに分割し、該分割したゾーン毎に前記第
２の投影視差画像中から前記白線の検出を行うことを特
徴とする前方車両検出方法に存する。
載の前方車両検出方法において、前記路面を距離に応じ
た複数のゾーンに分割し、該分割したゾーン毎に前記第
２の投影視差画像中から前記白線の検出を行うことを特
徴とする前方車両検出方法に存する。
【００１２】請求項３記載の手順によれば、路面を距離
に応じた複数のゾーンに分割し、この分割したゾーン毎
に第２の投影視差画像中から白線の検出を行うので、検
出した車両位置に応じた白線を認識すればよく、またカ
ーブしている白線でもゾーン毎に直線近似することがで
きる。
に応じた複数のゾーンに分割し、この分割したゾーン毎
に第２の投影視差画像中から白線の検出を行うので、検
出した車両位置に応じた白線を認識すればよく、またカ
ーブしている白線でもゾーン毎に直線近似することがで
きる。
【００１３】請求項４記載の発明は、左カメラを用いて
収集した左原画像と右カメラを用いて収集した右原画像
とを用いてステレオ式の画像処理を行い前方を走行して
いる車両を検出する前方車両検出装置において、前記左
右カメラの一方により収集した原画像を処理してエッジ
画像を作成し、該エッジ画像中のエッジ点の対応点を前
記他方のカメラにより収集した原画像から探索して視差
値を輝度値として表した視差画像を作成し、該視差画像
から路面と同じ高さにある物体を除去した後、前記視差
画像の縦軸方向に視差値の頻度を求め、縦軸を視差値と
して前記求めた頻度を輝度値で表した第１の投影視差画
像を作成し、前記視差画像から路面より上にある物体を
除去した後、前記視差画像の縦軸方向に視差値の頻度を
求め、縦軸を視差値として前記求めた頻度を輝度値で表
した第２の投影視差画像を作成し、前記第１の投影視差
画像中から横軸に平行な線分を抽出して車両を検出し、
前記第２の投影視差画像中から検出した白線に基づいて
自車線領域を決定する画像処理手段を備え、該自車線領
域内に前記検出した車両が存在するとき、該検出した車
両までの距離を測定することを特徴とする前方車両検出
装置に存する。
収集した左原画像と右カメラを用いて収集した右原画像
とを用いてステレオ式の画像処理を行い前方を走行して
いる車両を検出する前方車両検出装置において、前記左
右カメラの一方により収集した原画像を処理してエッジ
画像を作成し、該エッジ画像中のエッジ点の対応点を前
記他方のカメラにより収集した原画像から探索して視差
値を輝度値として表した視差画像を作成し、該視差画像
から路面と同じ高さにある物体を除去した後、前記視差
画像の縦軸方向に視差値の頻度を求め、縦軸を視差値と
して前記求めた頻度を輝度値で表した第１の投影視差画
像を作成し、前記視差画像から路面より上にある物体を
除去した後、前記視差画像の縦軸方向に視差値の頻度を
求め、縦軸を視差値として前記求めた頻度を輝度値で表
した第２の投影視差画像を作成し、前記第１の投影視差
画像中から横軸に平行な線分を抽出して車両を検出し、
前記第２の投影視差画像中から検出した白線に基づいて
自車線領域を決定する画像処理手段を備え、該自車線領
域内に前記検出した車両が存在するとき、該検出した車
両までの距離を測定することを特徴とする前方車両検出
装置に存する。
【００１４】請求項４記載の構成によれば、前方を走行
している車両を検出するに当たって、画像処理手段は、
一方のカメラにより収集した原画像を処理して作成した
エッジ画像中のエッジ点の対応点を他方のカメラにより
収集した原画像から探索して視差値を輝度値として表し
た視差画像を作成し、この作成した視差画像から路面と
同じ高さにある物体を除去した後、視差画像の縦軸方向
に視差値の頻度を求め、縦軸を視差値として求めた頻度
を輝度値で表した第１の投影視差画像を作成し、この第
１の投影視差画像中から横軸に平行な線分を抽出して車
両を検出し、視差画像から路面より上にある物体を除去
した後、視差画像の縦軸方向に視差値の頻度を求め、縦
軸を視差値として前記求めた頻度を輝度値で表した第２
の投影視差画像を作成し、第２の投影視差画像中から検
出した白線に基づいて自車線領域を決定し、この自車線
領域内に検出した車両が存在するとき、この検出した車
両までの距離を測定しているので、画像処理手段は車両
までの距離を測定するとき以外、一切、物体の３次元位
置を求める画像処理が不要となっている。
している車両を検出するに当たって、画像処理手段は、
一方のカメラにより収集した原画像を処理して作成した
エッジ画像中のエッジ点の対応点を他方のカメラにより
収集した原画像から探索して視差値を輝度値として表し
た視差画像を作成し、この作成した視差画像から路面と
同じ高さにある物体を除去した後、視差画像の縦軸方向
に視差値の頻度を求め、縦軸を視差値として求めた頻度
を輝度値で表した第１の投影視差画像を作成し、この第
１の投影視差画像中から横軸に平行な線分を抽出して車
両を検出し、視差画像から路面より上にある物体を除去
した後、視差画像の縦軸方向に視差値の頻度を求め、縦
軸を視差値として前記求めた頻度を輝度値で表した第２
の投影視差画像を作成し、第２の投影視差画像中から検
出した白線に基づいて自車線領域を決定し、この自車線
領域内に検出した車両が存在するとき、この検出した車
両までの距離を測定しているので、画像処理手段は車両
までの距離を測定するとき以外、一切、物体の３次元位
置を求める画像処理が不要となっている。
【００１５】請求項５記載の発明は、左カメラを用いて
収集した左原画像と右カメラを用いて収集した右原画像
とを用いてステレオ式の画像処理を行い前方を走行して
いる車両を検出する前方車両検出装置において、前記左
右カメラの一方により収集した原画像を処理してエッジ
画像を作成し、該作成したエッジ画像中のエッジ点の対
応点を前記他方のカメラにより収集した原画像から探索
して視差値を輝度値として表した視差画像を作成し、該
作成した視差画像において縦軸方向に視差値の頻度を求
め、縦軸を視差値として前記求めた頻度を輝度値で表し
た投影視差画像を作成する画像処理手段を備え、該画像
処理手段が作成した投影視差画像中から横軸に平行な線
分を抽出して車両を検出することを特徴とする前方車両
検出装置に存する。
収集した左原画像と右カメラを用いて収集した右原画像
とを用いてステレオ式の画像処理を行い前方を走行して
いる車両を検出する前方車両検出装置において、前記左
右カメラの一方により収集した原画像を処理してエッジ
画像を作成し、該作成したエッジ画像中のエッジ点の対
応点を前記他方のカメラにより収集した原画像から探索
して視差値を輝度値として表した視差画像を作成し、該
作成した視差画像において縦軸方向に視差値の頻度を求
め、縦軸を視差値として前記求めた頻度を輝度値で表し
た投影視差画像を作成する画像処理手段を備え、該画像
処理手段が作成した投影視差画像中から横軸に平行な線
分を抽出して車両を検出することを特徴とする前方車両
検出装置に存する。
【００１６】請求項５記載の構成によれば、前方を走行
している車両を検出するに当たって、画像処理手段が、
一方のカメラにより収集した原画像を処理して作成した
エッジ画像中のエッジ点の対応点を他方のカメラにより
収集した原画像から探索して視差値を輝度値として表し
た視差画像を作成し、この作成した視差画像において縦
軸方向に視差値の頻度を求め、縦軸を視差値として前記
求めた頻度を輝度値で表した投影視差画像を作成してい
て、この作成した投影視差画像中から横軸に平行な線分
を抽出しているだけであるので、画像処理手段は物体の
３次元位置を求める画像処理を行うことが不要となって
いる。
している車両を検出するに当たって、画像処理手段が、
一方のカメラにより収集した原画像を処理して作成した
エッジ画像中のエッジ点の対応点を他方のカメラにより
収集した原画像から探索して視差値を輝度値として表し
た視差画像を作成し、この作成した視差画像において縦
軸方向に視差値の頻度を求め、縦軸を視差値として前記
求めた頻度を輝度値で表した投影視差画像を作成してい
て、この作成した投影視差画像中から横軸に平行な線分
を抽出しているだけであるので、画像処理手段は物体の
３次元位置を求める画像処理を行うことが不要となって
いる。
【００１７】
【発明の実施の形態】以下、本発明の一実施の形態を図
面に基づいて説明する。図１は本発明に係る前方車両検
出方法及び装置を適用した前方車両監視装置の実施の形
態を示し、同図において、１０は各々が電荷結合素子を
用いて構成されたＣＣＤカメラ、左カメラ１０ａ及び右
カメラ１０ｂを有し車両前方の設定範囲内を対象として
撮像するステレオ光学系であり、これらは例えば車室内
の天井前方に一定の間隔をもって取り付けられる。２０
ａ及び２０ｂはステレオ光学系１０の左カメラ１０ａ及
び右カメラ１０ｂでそれぞれ撮像して得た左原画像及び
右原画像をそれぞれ一時的に記憶する画像メモリ、３０
は前方車両を検出して前方車両との車間距離を算出する
ため画像メモリ２０ａ及び２０ｂに記憶した原画像を処
理する画像処理部、４０は画像処理部３０での処理の結
果により危険ありと判断したとき警報を発する警報部で
ある。
面に基づいて説明する。図１は本発明に係る前方車両検
出方法及び装置を適用した前方車両監視装置の実施の形
態を示し、同図において、１０は各々が電荷結合素子を
用いて構成されたＣＣＤカメラ、左カメラ１０ａ及び右
カメラ１０ｂを有し車両前方の設定範囲内を対象として
撮像するステレオ光学系であり、これらは例えば車室内
の天井前方に一定の間隔をもって取り付けられる。２０
ａ及び２０ｂはステレオ光学系１０の左カメラ１０ａ及
び右カメラ１０ｂでそれぞれ撮像して得た左原画像及び
右原画像をそれぞれ一時的に記憶する画像メモリ、３０
は前方車両を検出して前方車両との車間距離を算出する
ため画像メモリ２０ａ及び２０ｂに記憶した原画像を処
理する画像処理部、４０は画像処理部３０での処理の結
果により危険ありと判断したとき警報を発する警報部で
ある。
【００１８】上記画像処理部３０が前方車両を検出して
前方車両との車間距離、すなわち検出した車両からの距
離を算出するため行う処理を、図２の処理フローを参照
して以下詳細に説明する。画像処理部３０はまず、同期
して取り込まれ画像メモリ２０ａ及び２０ｂに記憶され
た左カメラの左原画像及び右カメラの右原画像のうちの
一方、例えば右カメラの原画像に基づいて、所定のオペ
レータを用いて微分画像を求め（ステップ２０１）、エ
ッジ点を抽出する。例えば、下式（１）に示すような１
次元オペレータを用いて１ライン上の画素を順次処理し
てエッジを検出する。 Ｆ＝［−１，−１，−１，０，１，１，１］ …（１）
前方車両との車間距離、すなわち検出した車両からの距
離を算出するため行う処理を、図２の処理フローを参照
して以下詳細に説明する。画像処理部３０はまず、同期
して取り込まれ画像メモリ２０ａ及び２０ｂに記憶され
た左カメラの左原画像及び右カメラの右原画像のうちの
一方、例えば右カメラの原画像に基づいて、所定のオペ
レータを用いて微分画像を求め（ステップ２０１）、エ
ッジ点を抽出する。例えば、下式（１）に示すような１
次元オペレータを用いて１ライン上の画素を順次処理し
てエッジを検出する。 Ｆ＝［−１，−１，−１，０，１，１，１］ …（１）
【００１９】また、上記オペレータを用い画像（Imag
e）中の各画素について、下式（２）によりエッジ度
（Ｅ）を計算する。
e）中の各画素について、下式（２）によりエッジ度
（Ｅ）を計算する。
【００２０】なお、式（１）及び式（２）の関係を若干
説明すると、式（２）の右辺中Ｆ（ｉ＋３）は、式
（１）の右辺中の配列の左から（ｉ＋３）番目の数値を
示したもので、例えば、ｉ＝−３のときにはＦ（ｉ＋
３）はＦ（０）となり、式（１）の配列の左から０番
目、すなわち−１を示している。このときＦ（ｉ＋３）
＝−１となる。また、ｉ＝２のときはＦ（ｉ＋３）はＦ
（５）で、式（１）の配列の左から５番目、すなわち１
を意味する。このときＦ（ｉ＋３）＝１となる。従っ
て、式（２）は展開すると、以下のようになる。 Ｅ＝｜−Image（ｘ−３，ｙ）−Image（ｘ−２，ｙ）−
Image（ｘ−１，ｙ）＋Image（ｘ＋１，ｙ）＋Image
（ｘ＋２，ｙ）＋Image（ｘ＋３，ｙ）｜
説明すると、式（２）の右辺中Ｆ（ｉ＋３）は、式
（１）の右辺中の配列の左から（ｉ＋３）番目の数値を
示したもので、例えば、ｉ＝−３のときにはＦ（ｉ＋
３）はＦ（０）となり、式（１）の配列の左から０番
目、すなわち−１を示している。このときＦ（ｉ＋３）
＝−１となる。また、ｉ＝２のときはＦ（ｉ＋３）はＦ
（５）で、式（１）の配列の左から５番目、すなわち１
を意味する。このときＦ（ｉ＋３）＝１となる。従っ
て、式（２）は展開すると、以下のようになる。 Ｅ＝｜−Image（ｘ−３，ｙ）−Image（ｘ−２，ｙ）−
Image（ｘ−１，ｙ）＋Image（ｘ＋１，ｙ）＋Image
（ｘ＋２，ｙ）＋Image（ｘ＋３，ｙ）｜
【００２１】上式（２）では、参照画素の両側の輝度差
が大きいほどＥの値が大きくなる。そして、このように
して求めたエッジ度に関して、ｘ軸方向に関する最大値
処理及びしきい値処理によりエッジを決定する。右カメ
ラ原画像中の全画素について同様の処理を行うことによ
り例えば図３（ａ）に示すようなエッジ画像を作成する
（Ｓ２０２）。
が大きいほどＥの値が大きくなる。そして、このように
して求めたエッジ度に関して、ｘ軸方向に関する最大値
処理及びしきい値処理によりエッジを決定する。右カメ
ラ原画像中の全画素について同様の処理を行うことによ
り例えば図３（ａ）に示すようなエッジ画像を作成する
（Ｓ２０２）。
【００２２】次に、作成したエッジ画像の対応点を探索
する（Ｓ２０３）。対応点探索には、例えばＳＳＤ（Su
m of Squared Difference）法が適用できる。エッジ間
の類似度Ｒをエッジと同一位置の原画像周辺の輝度の２
乗誤差により求める。
する（Ｓ２０３）。対応点探索には、例えばＳＳＤ（Su
m of Squared Difference）法が適用できる。エッジ間
の類似度Ｒをエッジと同一位置の原画像周辺の輝度の２
乗誤差により求める。
【００２３】なお、上式（３）中のＷは参照領域の大き
さ、Imagerは右原画像、Imagel は左原画像、ｄr は右
原画像中の各画素の左原画像に対する移動量を表す。Ｒ
（ｄ r）が最も小さくなるｄr を視差とする。すなわ
ち、視差ｄ＝min［ Ｒ（ｄr）］となる。この操作を右
原画像中の全てのエッジ点に対して行い、例えば図３
（ｂ）に示すような視差画像を作成する（Ｓ２０４）。
視差画像とは、ｘ−ｙ座標系で表現されているエッジ画
像において視差値を輝度値として表したもので、図には
現れていないが、一般に、手前の物体に相当する下部が
明るく、後方の物体に相当する上部が暗くなる。
さ、Imagerは右原画像、Imagel は左原画像、ｄr は右
原画像中の各画素の左原画像に対する移動量を表す。Ｒ
（ｄ r）が最も小さくなるｄr を視差とする。すなわ
ち、視差ｄ＝min［ Ｒ（ｄr）］となる。この操作を右
原画像中の全てのエッジ点に対して行い、例えば図３
（ｂ）に示すような視差画像を作成する（Ｓ２０４）。
視差画像とは、ｘ−ｙ座標系で表現されているエッジ画
像において視差値を輝度値として表したもので、図には
現れていないが、一般に、手前の物体に相当する下部が
明るく、後方の物体に相当する上部が暗くなる。
【００２４】作成した視差画像には白線などの前方車両
ではない情報が多く含まれており、そのような余分な情
報を視差画像から除去する（Ｓ２０５）。原画像中に撮
像されている路面までの距離（視差）は下式（４）で表
される。 ｄ＝Ａ・ｙ＋Ｂ・ｘ＋Ｃ …（４） 上式（４）の路面パラメータＡ，Ｂ，Ｃは、路面に対す
るカメラの設置パラメータから定まるものである。この
路面パラメータを基に視差画像から路面と同じ高さにあ
る物体を除去する。このことによって、例えば図３
（ｃ）に示すような視差画像が得られる。
ではない情報が多く含まれており、そのような余分な情
報を視差画像から除去する（Ｓ２０５）。原画像中に撮
像されている路面までの距離（視差）は下式（４）で表
される。 ｄ＝Ａ・ｙ＋Ｂ・ｘ＋Ｃ …（４） 上式（４）の路面パラメータＡ，Ｂ，Ｃは、路面に対す
るカメラの設置パラメータから定まるものである。この
路面パラメータを基に視差画像から路面と同じ高さにあ
る物体を除去する。このことによって、例えば図３
（ｃ）に示すような視差画像が得られる。
【００２５】次に、作成した視差画像を用い、補間視差
画像を作成する（Ｓ２０６）。車両によっては、検出さ
れるエッジが非常に少ない場合がある。特に、背面構造
のほとんどない車両からは車両の両側にしかエッジが検
出されない。そこで、作成した視差画像中の車両領域を
補間する。まず、視差画像中の値を持っていない画素、
すなわち、図３（ｃ）の視差画像の輪郭線内側の画素に
ついて、左右に同じ値を持っている画素を探索する。探
索した結果、左右に同じ値を持っている画素が検出され
た場合、参照画素に検出した画素の視差値を代入する。
左右に異なった値を持つ画素が検出された場合は値を代
入しない。これは、車両が視差画像中では同じ値を持つ
物体点の集合であると考えられるからである。この処理
を視差画像中の値を持っていない画素全てに行う。この
ようにして作成した画像を補間視差画像（図示せず）と
呼ぶことにする。
画像を作成する（Ｓ２０６）。車両によっては、検出さ
れるエッジが非常に少ない場合がある。特に、背面構造
のほとんどない車両からは車両の両側にしかエッジが検
出されない。そこで、作成した視差画像中の車両領域を
補間する。まず、視差画像中の値を持っていない画素、
すなわち、図３（ｃ）の視差画像の輪郭線内側の画素に
ついて、左右に同じ値を持っている画素を探索する。探
索した結果、左右に同じ値を持っている画素が検出され
た場合、参照画素に検出した画素の視差値を代入する。
左右に異なった値を持つ画素が検出された場合は値を代
入しない。これは、車両が視差画像中では同じ値を持つ
物体点の集合であると考えられるからである。この処理
を視差画像中の値を持っていない画素全てに行う。この
ようにして作成した画像を補間視差画像（図示せず）と
呼ぶことにする。
【００２６】次に、補間視差画像から投影視差画像を作
成する（Ｓ２０７）。これは、ｘ−ｙ座標系で表現され
ている補間視差画像をｙ軸に関して投影し、ｘ−ｄ座標
系に変換することで行う。具体的には、まず、各ｘにつ
いてｙ軸方向に視差値ｄの頻度を求める。例えば、座標
（ｘ1 ，ｙ1 ）、（ｘ1 ，ｙ1＋１）、（ｘ1 ，ｙ1＋
２）…（ｘ1 ，ｙ1＋ｎ）の各々の視差値の頻度を求め
る。次に、横軸をｘ座標、縦軸を視差値ｄとして、求め
た視差値の頻度を輝度値で表した投影視差画像を作成す
る。なお、この時のｄ軸は視差の大きさを表す軸であ
る。このように画像を変換することにより、ステレオ画
像処理によって得られた３次元空間を上部から投影する
ことができる。このようにして変換した画像を以降、投
影視差画像と呼ぶ。
成する（Ｓ２０７）。これは、ｘ−ｙ座標系で表現され
ている補間視差画像をｙ軸に関して投影し、ｘ−ｄ座標
系に変換することで行う。具体的には、まず、各ｘにつ
いてｙ軸方向に視差値ｄの頻度を求める。例えば、座標
（ｘ1 ，ｙ1 ）、（ｘ1 ，ｙ1＋１）、（ｘ1 ，ｙ1＋
２）…（ｘ1 ，ｙ1＋ｎ）の各々の視差値の頻度を求め
る。次に、横軸をｘ座標、縦軸を視差値ｄとして、求め
た視差値の頻度を輝度値で表した投影視差画像を作成す
る。なお、この時のｄ軸は視差の大きさを表す軸であ
る。このように画像を変換することにより、ステレオ画
像処理によって得られた３次元空間を上部から投影する
ことができる。このようにして変換した画像を以降、投
影視差画像と呼ぶ。
【００２７】この処理を画像中に車両が撮像されている
画像に適用した場合、図３（ｄ）のように変換される。
車両の距離（視差）は画像中では同じ値を持つので、こ
の変換により車両から発生した視差はｘ軸に平行な線分
上に変換される。また、白線や路側の壁などからのエッ
ジの視差は、ある傾きを持った直線（曲線）に変換され
る。したがって、ｘ軸に平行な線分を抽出することによ
り車両を検出することができる。また、抽出した線分の
ｄ座標により、車両までの距離を測定することができ
る。
画像に適用した場合、図３（ｄ）のように変換される。
車両の距離（視差）は画像中では同じ値を持つので、こ
の変換により車両から発生した視差はｘ軸に平行な線分
上に変換される。また、白線や路側の壁などからのエッ
ジの視差は、ある傾きを持った直線（曲線）に変換され
る。したがって、ｘ軸に平行な線分を抽出することによ
り車両を検出することができる。また、抽出した線分の
ｄ座標により、車両までの距離を測定することができ
る。
【００２８】次に、自車線領域を決定する（Ｓ２０
８）。距離測定を行わなければならないのは自車線前方
の車両のみであり、自車両に対して近距離に前方車両が
ある場合、遠方まで車線認識を行う必要はない。逆に、
遠方に前方車両がある場合、遠方までの車線認識を行う
必要がある。本手法では、車線を求める際に、路面を距
離に応じたゾーンに分けて処理を行う。そこで、路面を
距離に応じた分割ゾーンを形成し、各ゾーンで直線近似
することにより白線を検出する。
８）。距離測定を行わなければならないのは自車線前方
の車両のみであり、自車両に対して近距離に前方車両が
ある場合、遠方まで車線認識を行う必要はない。逆に、
遠方に前方車両がある場合、遠方までの車線認識を行う
必要がある。本手法では、車線を求める際に、路面を距
離に応じたゾーンに分けて処理を行う。そこで、路面を
距離に応じた分割ゾーンを形成し、各ゾーンで直線近似
することにより白線を検出する。
【００２９】まず、カメラの設置パラメータなどから求
まる路面パラメータを用いた上式（３）を用い、図３
（ｂ）の視差画像から路面より上にあるエッジを消去す
ることにより、図３（ｅ）に示すような路面表示による
エッジのみを取得する。次に、Hough変換により直線近
似を行う。しかし、路面には白線以外にも影や汚れ、ま
た行き先表示等がある。そこで、Hough変換による直線
検出法を用いる場合、そのような構造物から発生するエ
ッジからも直線を抽出してしまう。そこで、Hough変換
により１本の直線を抽出するのではなく、図５について
上述した従来例と同様に、左右の白線についてそれぞれ
複数の直線を白線の候補として抽出しておく。
まる路面パラメータを用いた上式（３）を用い、図３
（ｂ）の視差画像から路面より上にあるエッジを消去す
ることにより、図３（ｅ）に示すような路面表示による
エッジのみを取得する。次に、Hough変換により直線近
似を行う。しかし、路面には白線以外にも影や汚れ、ま
た行き先表示等がある。そこで、Hough変換による直線
検出法を用いる場合、そのような構造物から発生するエ
ッジからも直線を抽出してしまう。そこで、Hough変換
により１本の直線を抽出するのではなく、図５について
上述した従来例と同様に、左右の白線についてそれぞれ
複数の直線を白線の候補として抽出しておく。
【００３０】次に、抽出した左右白線の候補から最適な
組み合わせを探す。組み合わせの決定には、例えば白線
間隔を用いる。画面上に投影されている白線間の幅は路
面までの距離と路面パラメータから求めることができ
る。白線の組み合わせのうち、最適値に最も近い幅をも
つ直線の組み合わせを白線として決定する。
組み合わせを探す。組み合わせの決定には、例えば白線
間隔を用いる。画面上に投影されている白線間の幅は路
面までの距離と路面パラメータから求めることができ
る。白線の組み合わせのうち、最適値に最も近い幅をも
つ直線の組み合わせを白線として決定する。
【００３１】なお、車線前方がカーブしている場合、白
線を１本の直線として近似することはできないが、曲線
を短い直線集合と考えれば、短い区間ではカーブしてい
る白線も直線として近似できる。
線を１本の直線として近似することはできないが、曲線
を短い直線集合と考えれば、短い区間ではカーブしてい
る白線も直線として近似できる。
【００３２】ゾーン内で白線認識を行った後、ｘ−ｙ座
標系で表現されている白線をｘ−ｄ座標系に変換する。
次に、上記変換の結果得られる図３（ｆ）のような投影
視差画像上での自車線領域を白線を基に決定し、その領
域内で車両の検出処理を行う。すなわち、図３（ｇ）に
示すように投影視差画像上に投影した左右白線内側に、
車両と思われるｘ軸、すなわち横軸に平行な線分が存在
するか否かを判定する。そして、そのゾーン内で車両が
発見されない場合は次のゾーンの白線認識を行い、その
ゾーン内で車両検出処理を行う（Ｓ２０９）。この処理
を車両が発見されるか、もしくは最長探索距離になるま
で繰り返す（Ｓ２１０）。
標系で表現されている白線をｘ−ｄ座標系に変換する。
次に、上記変換の結果得られる図３（ｆ）のような投影
視差画像上での自車線領域を白線を基に決定し、その領
域内で車両の検出処理を行う。すなわち、図３（ｇ）に
示すように投影視差画像上に投影した左右白線内側に、
車両と思われるｘ軸、すなわち横軸に平行な線分が存在
するか否かを判定する。そして、そのゾーン内で車両が
発見されない場合は次のゾーンの白線認識を行い、その
ゾーン内で車両検出処理を行う（Ｓ２０９）。この処理
を車両が発見されるか、もしくは最長探索距離になるま
で繰り返す（Ｓ２１０）。
【００３３】本発明では、投影視差画像を作成すること
により、３次元計算を行わずに自車線内の物体を検出
し、その物体についてのみ３次元計算を行って自車線内
前方車両との車間距離を求めるので、計算量が非常に少
なくてすむので、処理の高速化やコストダウンにつなが
る。
により、３次元計算を行わずに自車線内の物体を検出
し、その物体についてのみ３次元計算を行って自車線内
前方車両との車間距離を求めるので、計算量が非常に少
なくてすむので、処理の高速化やコストダウンにつなが
る。
【００３４】なお、上述の実施の形態では、補間視差画
像を作成してから投影視差画像を作成するようにしてい
るが、十分に太いエッジによって形成されたエッジ画像
が作成されるようになっていれば、この補間視差画像を
作成せず、視差画像から直接投影視差画像を作成するよ
うにすることもできる。
像を作成してから投影視差画像を作成するようにしてい
るが、十分に太いエッジによって形成されたエッジ画像
が作成されるようになっていれば、この補間視差画像を
作成せず、視差画像から直接投影視差画像を作成するよ
うにすることもできる。
【００３５】
【発明の効果】以上説明したように請求項１記載の発明
によれば、前方を走行している車両を検出して車両まで
の距離を測定するに当たって、車両までの距離を測定す
るとき以外、一切、物体の３次元位置を求める画像処理
が不要となっているので、画像認識の計算量を少なくて
済み、処理の高速化やコストダウンできる前方車両検出
方法を得ることができる。
によれば、前方を走行している車両を検出して車両まで
の距離を測定するに当たって、車両までの距離を測定す
るとき以外、一切、物体の３次元位置を求める画像処理
が不要となっているので、画像認識の計算量を少なくて
済み、処理の高速化やコストダウンできる前方車両検出
方法を得ることができる。
【００３６】また、請求項２記載の発明によれば、前方
車両が背面構造のほとんどない車両であって車両の両側
にしかエッジが検出されないものであっても、補間視差
画像を使用して第１の投影視差画像を作成することによ
って、第１の投影視差画像中から横軸に平行な線分を抽
出して車両を検出することができるようになるので、処
理の高速化やコストダウンできる前方車両検出方法を得
ることができる。
車両が背面構造のほとんどない車両であって車両の両側
にしかエッジが検出されないものであっても、補間視差
画像を使用して第１の投影視差画像を作成することによ
って、第１の投影視差画像中から横軸に平行な線分を抽
出して車両を検出することができるようになるので、処
理の高速化やコストダウンできる前方車両検出方法を得
ることができる。
【００３７】また、請求項３記載の発明によれば、路面
を距離に応じた複数のゾーンに分割し、この分割したゾ
ーン毎に白線の検出を行うので、検出した車両位置に応
じた白線を認識すればよく、またカーブしている白線で
もゾーン毎に直線近似することができる前方車両検出方
法を得ることができる。
を距離に応じた複数のゾーンに分割し、この分割したゾ
ーン毎に白線の検出を行うので、検出した車両位置に応
じた白線を認識すればよく、またカーブしている白線で
もゾーン毎に直線近似することができる前方車両検出方
法を得ることができる。
【００３８】また、請求項４記載の発明によれば、前方
を走行している車両を検出して車両までの距離を測定す
るに当たって、車両までの距離を測定するとき以外、一
切、物体の３次元位置を求める画像処理が不要となって
いるので、画像認識の計算量を少なくて済み、処理の高
速化やコストダウンできる前方車両検出装置を得ること
ができる。
を走行している車両を検出して車両までの距離を測定す
るに当たって、車両までの距離を測定するとき以外、一
切、物体の３次元位置を求める画像処理が不要となって
いるので、画像認識の計算量を少なくて済み、処理の高
速化やコストダウンできる前方車両検出装置を得ること
ができる。
【００３９】更に、請求項５記載の発明によれば、前方
を走行している車両を検出するに当たって、物体の３次
元位置を求める画像処理が不要となっているので、画像
認識の計算量を少なくて済み、処理の高速化やコストダ
ウンできる前方車両検出装置を得ることができる。
を走行している車両を検出するに当たって、物体の３次
元位置を求める画像処理が不要となっているので、画像
認識の計算量を少なくて済み、処理の高速化やコストダ
ウンできる前方車両検出装置を得ることができる。
【図１】本発明に係る前方車両検出方法及び装置を適用
した前方車両監視装置の一実施の形態を示す図である。
した前方車両監視装置の一実施の形態を示す図である。
【図２】図１中の画像処理部が行う処理を示す処理フロ
ーを示す図である。
ーを示す図である。
【図３】図１中の画像処理部による処理によって作成さ
れる各種の画像を示す図である。
れる各種の画像を示す図である。
【図４】従来の画像処理フローを示す図である。
【図５】従来の車線の求め方を説明するための説明図で
ある。
ある。
１０ａ 左カメラ １０ｂ 右カメラ ３０ 画像処理手段（画像処理部）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０８Ｇ 1/16 Ｇ０６Ｆ 15/70 ３５０Ｊ
Claims (5)
- 【請求項１】 左カメラを用いて収集した左原画像と右
カメラを用いて収集した右原画像とを用いてステレオ式
の画像処理を行い前方を走行している車両を検出し、該
検出した車両までの距離を測定する前方車両検出方法に
おいて、 前記左右カメラの一方により収集した原画像を処理して
エッジ画像を作成し、 該エッジ画像中のエッジ点の対応点を前記他方のカメラ
により収集した原画像から探索して視差値を輝度値とし
て表した視差画像を作成し、 該視差画像から路面と同じ高さにある物体を除去した
後、前記視差画像の縦軸方向に視差値の頻度を求め、縦
軸を視差値として前記求めた頻度を輝度値で表した第１
の投影視差画像を作成し、 該第１の投影視差画像中から横軸に平行な線分を抽出し
て車両を検出し、 前記視差画像から路面より上にある物体を除去した後、
前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を
視差値として前記求めた頻度を輝度値で表した第２の投
影視差画像を作成し、 該第２の投影視差画像中から検出した白線に基づいて自
車線領域を決定し、 該自車線領域内に前記検出した車両が存在するとき、該
検出した車両までの距離を測定することを特徴とする前
方車両検出方法。 - 【請求項２】 路面と同じ高さにある物体を除去した後
の前記視差画像中に左右に同じ輝度値を有する画素があ
るとき、当該左右画素間の画素に前記輝度値を代入して
補間視差画像を作成し、 該補間視差画像に基づいて前記第１の投影視差画像を作
成することを特徴とする請求項１記載の前方車両検出方
法。 - 【請求項３】 前記路面を距離に応じた複数のゾーンに
分割し、該分割したゾーン毎に前記第２の投影視差画像
中から前記白線の検出を行うことを特徴とする請求項１
又は２項記載の前方車両検出方法。 - 【請求項４】 左カメラを用いて収集した左原画像と右
カメラを用いて収集した右原画像とを用いてステレオ式
の画像処理を行い前方を走行している車両を検出する前
方車両検出装置において、 前記左右カメラの一方により収集した原画像を処理して
エッジ画像を作成し、該エッジ画像中のエッジ点の対応
点を前記他方のカメラにより収集した原画像から探索し
て視差値を輝度値として表した視差画像を作成し、該視
差画像から路面と同じ高さにある物体を除去した後、前
記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視
差値として前記求めた頻度を輝度値で表した第１の投影
視差画像を作成し、前記視差画像から路面より上にある
物体を除去した後、前記視差画像の縦軸方向に視差値の
頻度を求め、縦軸を視差値として前記求めた頻度を輝度
値で表した第２の投影視差画像を作成し、前記第１の投
影視差画像中から横軸に平行な線分を抽出して車両を検
出し、前記第２の投影視差画像中から検出した白線に基
づいて自車線領域を決定する画像処理手段を備え、該自
車線領域内に前記検出した車両が存在するとき、該検出
した車両までの距離を測定することを特徴とする前方車
両検出装置。 - 【請求項５】 左カメラを用いて収集した左原画像と右
カメラを用いて収集した右原画像とを用いてステレオ式
の画像処理を行い前方を走行している車両を検出する前
方車両検出装置において、 前記左右カメラの一方により収集した原画像を処理して
エッジ画像を作成し、該作成したエッジ画像中のエッジ
点の対応点を前記他方のカメラにより収集した原画像か
ら探索して視差値を輝度値として表した視差画像を作成
し、該作成した視差画像において縦軸方向に視差値の頻
度を求め、縦軸を視差値として前記求めた頻度を輝度値
で表した投影視差画像を作成する画像処理手段を備え、 該画像処理手段が作成した投影視差画像中から横軸に平
行な線分を抽出して車両を検出することを特徴とする前
方車両検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16095398A JP3562751B2 (ja) | 1998-06-09 | 1998-06-09 | 前方車両検出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16095398A JP3562751B2 (ja) | 1998-06-09 | 1998-06-09 | 前方車両検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11351862A true JPH11351862A (ja) | 1999-12-24 |
| JP3562751B2 JP3562751B2 (ja) | 2004-09-08 |
Family
ID=15725777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16095398A Expired - Fee Related JP3562751B2 (ja) | 1998-06-09 | 1998-06-09 | 前方車両検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3562751B2 (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003281552A (ja) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | 画像処理装置及びその方法 |
| JP2004302905A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動体の検出装置 |
| WO2005115820A1 (de) * | 2004-05-25 | 2005-12-08 | Siemens Aktiengesellschaft | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
| WO2006016661A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 移動体周辺監視装置 |
| JP2006322795A (ja) * | 2005-05-18 | 2006-11-30 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2009186228A (ja) * | 2008-02-04 | 2009-08-20 | Konica Minolta Holdings Inc | ３次元計測装置 |
| US20110135158A1 (en) * | 2009-12-08 | 2011-06-09 | Nishino Katsuaki | Image processing device, image processing method and program |
| US8180100B2 (en) | 2004-08-11 | 2012-05-15 | Honda Motor Co., Ltd. | Plane detector and detecting method |
| WO2012101967A1 (ja) * | 2011-01-25 | 2012-08-02 | パナソニック株式会社 | 測位情報形成装置、検出装置、及び測位情報形成方法 |
| US8331653B2 (en) | 2004-08-11 | 2012-12-11 | Tokyo Institute Of Technology | Object detector |
| CN103029621A (zh) * | 2011-09-30 | 2013-04-10 | 株式会社理光 | 检测前方车辆的方法及设备 |
| CN103241174A (zh) * | 2012-02-04 | 2013-08-14 | 奥迪股份公司 | 用于使机动车环境可视化的方法 |
| JP2013178664A (ja) * | 2012-02-28 | 2013-09-09 | Fuji Heavy Ind Ltd | 車外環境認識装置 |
| JP2014071895A (ja) * | 2012-09-28 | 2014-04-21 | Ricoh Co Ltd | 物体分割装置及び方法 |
| WO2014065159A1 (ja) * | 2012-10-22 | 2014-05-01 | ヤマハ発動機株式会社 | 距離測定装置及びそれを用いた車両 |
| JP2014081827A (ja) * | 2012-10-17 | 2014-05-08 | Ricoh Co Ltd | 移動面状況認識装置、移動体、及びプログラム |
| JP2015514448A (ja) * | 2012-03-06 | 2015-05-21 | コーニンクレッカ フィリップス エヌ ヴェ | ステレオｘ線管に基づく体外高コントラスト物体の抑圧 |
| JP2015179301A (ja) * | 2014-03-18 | 2015-10-08 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム |
| JP2015179302A (ja) * | 2014-03-18 | 2015-10-08 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
| JP2015207281A (ja) * | 2014-04-10 | 2015-11-19 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
| US10520309B2 (en) | 2015-07-02 | 2019-12-31 | Ricoh Company, Ltd. | Object recognition device, object recognition method, equipment control system, and distance image generation device |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH08278126A (ja) * | 1995-04-10 | 1996-10-22 | Fujitsu Ltd | 距離計測装置 |
| JPH09106500A (ja) * | 1995-10-12 | 1997-04-22 | Fuji Heavy Ind Ltd | 車輌の運転支援装置 |
| JPH1068621A (ja) * | 1996-08-29 | 1998-03-10 | Fuji Electric Co Ltd | 距離検出装置 |
| JPH1073432A (ja) * | 1996-08-29 | 1998-03-17 | Fuji Electric Co Ltd | 映像による対象の存在範囲の検出方法 |
| JPH1096607A (ja) * | 1996-09-25 | 1998-04-14 | Matsushita Electric Ind Co Ltd | 物体検出装置および平面推定方法 |
| JPH11144198A (ja) * | 1997-11-14 | 1999-05-28 | Mazda Motor Corp | 車両の物体識別装置 |
-
1998
- 1998-06-09 JP JP16095398A patent/JP3562751B2/ja not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH08278126A (ja) * | 1995-04-10 | 1996-10-22 | Fujitsu Ltd | 距離計測装置 |
| JPH09106500A (ja) * | 1995-10-12 | 1997-04-22 | Fuji Heavy Ind Ltd | 車輌の運転支援装置 |
| JPH1068621A (ja) * | 1996-08-29 | 1998-03-10 | Fuji Electric Co Ltd | 距離検出装置 |
| JPH1073432A (ja) * | 1996-08-29 | 1998-03-17 | Fuji Electric Co Ltd | 映像による対象の存在範囲の検出方法 |
| JPH1096607A (ja) * | 1996-09-25 | 1998-04-14 | Matsushita Electric Ind Co Ltd | 物体検出装置および平面推定方法 |
| JPH11144198A (ja) * | 1997-11-14 | 1999-05-28 | Mazda Motor Corp | 車両の物体識別装置 |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003281552A (ja) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | 画像処理装置及びその方法 |
| JP2004302905A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動体の検出装置 |
| US10055654B2 (en) | 2004-05-25 | 2018-08-21 | Continental Automotive Gmbh | Monitoring unit for a motor vehicle, having partial color encoding |
| US9704048B2 (en) | 2004-05-25 | 2017-07-11 | Continental Automotive Gmbh | Imaging system for a motor vehicle, having partial color encoding |
| US9524439B2 (en) | 2004-05-25 | 2016-12-20 | Continental Automotive Gmbh | Monitoring unit and assistance system for motor vehicles |
| US10387735B2 (en) | 2004-05-25 | 2019-08-20 | Continental Automotive Gmbh | Monitoring unit for a motor vehicle, having partial color encoding |
| WO2005115820A1 (de) * | 2004-05-25 | 2005-12-08 | Siemens Aktiengesellschaft | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
| WO2006016661A1 (ja) * | 2004-08-11 | 2006-02-16 | Tokyo Institute Of Technology | 移動体周辺監視装置 |
| US8154594B2 (en) | 2004-08-11 | 2012-04-10 | Tokyo Institute Of Technology | Mobile peripheral monitor |
| US8180100B2 (en) | 2004-08-11 | 2012-05-15 | Honda Motor Co., Ltd. | Plane detector and detecting method |
| US8331653B2 (en) | 2004-08-11 | 2012-12-11 | Tokyo Institute Of Technology | Object detector |
| JP2006322795A (ja) * | 2005-05-18 | 2006-11-30 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2009186228A (ja) * | 2008-02-04 | 2009-08-20 | Konica Minolta Holdings Inc | ３次元計測装置 |
| US8630453B2 (en) * | 2009-12-08 | 2014-01-14 | Sony Corporation | Image processing device, image processing method and program |
| US20110135158A1 (en) * | 2009-12-08 | 2011-06-09 | Nishino Katsuaki | Image processing device, image processing method and program |
| JP2012154731A (ja) * | 2011-01-25 | 2012-08-16 | Panasonic Corp | 測位情報形成装置、検出装置、及び測位情報形成方法 |
| WO2012101967A1 (ja) * | 2011-01-25 | 2012-08-02 | パナソニック株式会社 | 測位情報形成装置、検出装置、及び測位情報形成方法 |
| US8983130B2 (en) | 2011-01-25 | 2015-03-17 | Panasonic Intellectual Property Management Co., Ltd. | Positioning information forming device, detection device, and positioning information forming method |
| CN103029621A (zh) * | 2011-09-30 | 2013-04-10 | 株式会社理光 | 检测前方车辆的方法及设备 |
| CN103241174A (zh) * | 2012-02-04 | 2013-08-14 | 奥迪股份公司 | 用于使机动车环境可视化的方法 |
| JP2013178664A (ja) * | 2012-02-28 | 2013-09-09 | Fuji Heavy Ind Ltd | 車外環境認識装置 |
| JP2015514448A (ja) * | 2012-03-06 | 2015-05-21 | コーニンクレッカ フィリップス エヌ ヴェ | ステレオｘ線管に基づく体外高コントラスト物体の抑圧 |
| US9867586B2 (en) | 2012-03-06 | 2018-01-16 | Koninklijke Philips N.V. | Stereo X-ray tube based suppression of outside body high contrast objects |
| JP2014071895A (ja) * | 2012-09-28 | 2014-04-21 | Ricoh Co Ltd | 物体分割装置及び方法 |
| JP2014081827A (ja) * | 2012-10-17 | 2014-05-08 | Ricoh Co Ltd | 移動面状況認識装置、移動体、及びプログラム |
| JP5955404B2 (ja) * | 2012-10-22 | 2016-07-20 | ヤマハ発動機株式会社 | 距離測定装置及びそれを用いた車両 |
| KR20150067262A (ko) * | 2012-10-22 | 2015-06-17 | 야마하하쓰도키 가부시키가이샤 | 거리 측정 장치 및 그것을 사용한 차량 |
| US9955136B2 (en) | 2012-10-22 | 2018-04-24 | Yamaha Hatsudoki Kabushiki Kaisha | Distance measuring device and vehicle provided therewith |
| WO2014065159A1 (ja) * | 2012-10-22 | 2014-05-01 | ヤマハ発動機株式会社 | 距離測定装置及びそれを用いた車両 |
| JP2015179302A (ja) * | 2014-03-18 | 2015-10-08 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
| JP2015179301A (ja) * | 2014-03-18 | 2015-10-08 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム |
| JP2015207281A (ja) * | 2014-04-10 | 2015-11-19 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
| US9330320B2 (en) | 2014-04-10 | 2016-05-03 | Ricoh Company, Ltd. | Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus |
| US10520309B2 (en) | 2015-07-02 | 2019-12-31 | Ricoh Company, Ltd. | Object recognition device, object recognition method, equipment control system, and distance image generation device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3562751B2 (ja) | 2004-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3562751B2 (ja) | 前方車両検出方法及び装置 | |
| JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
| JP4811201B2 (ja) | 走路境界線検出装置、および走路境界線検出方法 | |
| JP2006268097A (ja) | 車載物体検出装置、および物体検出方法 | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
| WO2014002692A1 (ja) | ステレオカメラ | |
| CN110088801B (zh) | 可行驶区域检测装置以及行驶辅助系统 | |
| JP6592991B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| CN109522779B (zh) | 图像处理装置 | |
| JPH11175880A (ja) | 車輌高さ計測装置およびこの装置を用いた車輌監視システム | |
| JP4123138B2 (ja) | 車両検知方法及び車両検知装置 | |
| JP3540005B2 (ja) | 障害物検出装置 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP3757500B2 (ja) | 先行車追従装置 | |
| JP5832850B2 (ja) | 車線監視システム及び車線監視方法 | |
| JPH07244717A (ja) | 車両用走行環境認識装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP2007286724A (ja) | 車載情報処理方法、車載情報処理プログラム、車載情報処理装置および車載情報処理システム | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP7134780B2 (ja) | ステレオカメラ装置 | |
| KR20160063039A (ko) | 3차원 데이터를 이용한 도로 인식 방법 | |
| JP2000259997A (ja) | 先行車の高さおよび車間距離計測装置 | |
| KR20130059190A (ko) | 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040525 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040528 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040528 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040528 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |