JPH07280517A - 自動車用移動体認識装置 - Google Patents
自動車用移動体認識装置Info
- Publication number
- JPH07280517A JPH07280517A JP6074811A JP7481194A JPH07280517A JP H07280517 A JPH07280517 A JP H07280517A JP 6074811 A JP6074811 A JP 6074811A JP 7481194 A JP7481194 A JP 7481194A JP H07280517 A JPH07280517 A JP H07280517A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- obstacle candidate
- obstacle
- vehicle
- histogram data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【目的】 小形で簡単な構成によりコストダウンを実現
するとともに画像データの高速処理を可能にした自動車
用移動体認識装置を得る。 【構成】 車両周辺の環境を撮影するカメラ１と、カメ
ラから得られる画像信号Ｇに基づいて水平エッジＥｈを
検出する水平エッジ検出手段１３と、水平エッジの画素
データを水平方向に加算して、画像内の垂直位置に対す
るヒストグラムデータＥａを求める水平エッジ加算手段
１４と、ヒストグラムデータに基づいて障害物候補の垂
直位置を検出する障害物候補検出手段５Ａと、所定時間
前から今回までの障害物候補の垂直位置に基づいて障害
物候補が移動体であることを認識する移動体認識手段５
Ａとを設け、画像相関演算を実行することなく簡単なハ
ードウェア構成でヒストグラムデータを算出可能にし
た。
するとともに画像データの高速処理を可能にした自動車
用移動体認識装置を得る。 【構成】 車両周辺の環境を撮影するカメラ１と、カメ
ラから得られる画像信号Ｇに基づいて水平エッジＥｈを
検出する水平エッジ検出手段１３と、水平エッジの画素
データを水平方向に加算して、画像内の垂直位置に対す
るヒストグラムデータＥａを求める水平エッジ加算手段
１４と、ヒストグラムデータに基づいて障害物候補の垂
直位置を検出する障害物候補検出手段５Ａと、所定時間
前から今回までの障害物候補の垂直位置に基づいて障害
物候補が移動体であることを認識する移動体認識手段５
Ａとを設け、画像相関演算を実行することなく簡単なハ
ードウェア構成でヒストグラムデータを算出可能にし
た。
Description
【０００１】
【産業上の利用分野】この発明は、画像処理を用いて自
車両周辺の移動体を認識する自動車用移動体認識装置に
関し、特に簡単な構成によりコストダウンを実現すると
ともに画像データの高速処理を可能にした自動車用移動
体認識装置に関するものである。
車両周辺の移動体を認識する自動車用移動体認識装置に
関し、特に簡単な構成によりコストダウンを実現すると
ともに画像データの高速処理を可能にした自動車用移動
体認識装置に関するものである。
【０００２】
【従来の技術】従来より、自動車には、自車両に対して
危険度の高い前方接近車両等を検出するため、ビデオカ
メラを含む移動体認識装置が搭載されている。このよう
な自動車用移動体認識装置に用いられる画像処理手法と
しては、たとえば、「トヨタ・テクニカル・レビュー
（ＴＯＹＯＴＡ ＴｅｃｈｎｉｃａｌＲｅｖｉｅｗ）１
９９３年、第４３巻」に参照されるオプティカルフロー
がよく知られている。これは、画像を複数の小領域に分
割して、一定時間後の画像の中から各小領域と最も相関
性が高い小領域を探索することにより、画像上での移動
量を算出するものである。
危険度の高い前方接近車両等を検出するため、ビデオカ
メラを含む移動体認識装置が搭載されている。このよう
な自動車用移動体認識装置に用いられる画像処理手法と
しては、たとえば、「トヨタ・テクニカル・レビュー
（ＴＯＹＯＴＡ ＴｅｃｈｎｉｃａｌＲｅｖｉｅｗ）１
９９３年、第４３巻」に参照されるオプティカルフロー
がよく知られている。これは、画像を複数の小領域に分
割して、一定時間後の画像の中から各小領域と最も相関
性が高い小領域を探索することにより、画像上での移動
量を算出するものである。
【０００３】図６は上記オプティカルフローを用いた従
来の自動車用移動体認識装置を概略的に示すブロック図
である。図において、１は自車両の周辺（たとえば、前
方）を撮影するカメラ、２はカメラ１により撮影された
画像信号Ｇをデジタル信号の画像データＤに変換するＡ
Ｄ変換器、３ａおよび３ｂは画像データＤの今回データ
および所定時間前のデータを交互に更新しながら格納す
るメモリである。
来の自動車用移動体認識装置を概略的に示すブロック図
である。図において、１は自車両の周辺（たとえば、前
方）を撮影するカメラ、２はカメラ１により撮影された
画像信号Ｇをデジタル信号の画像データＤに変換するＡ
Ｄ変換器、３ａおよび３ｂは画像データＤの今回データ
および所定時間前のデータを交互に更新しながら格納す
るメモリである。
【０００４】４は各メモリ３ａおよび３ｂ内の画像デー
タＤを比較して相関性を演算する相関演算器、５は相関
演算器４からの相関演算結果を処理するＣＰＵ、６は画
像信号Ｇおよび相関データの重畳処理を行うスーパーイ
ンポーザ、７はスーパーインポーザ６を介した画像信号
Ｇおよび相関データ等を表示するＣＲＴである。なお、
相関演算器４およびスーパーインポーザ６は、ＣＰＵ５
の制御下で動作するようになっている。
タＤを比較して相関性を演算する相関演算器、５は相関
演算器４からの相関演算結果を処理するＣＰＵ、６は画
像信号Ｇおよび相関データの重畳処理を行うスーパーイ
ンポーザ、７はスーパーインポーザ６を介した画像信号
Ｇおよび相関データ等を表示するＣＲＴである。なお、
相関演算器４およびスーパーインポーザ６は、ＣＰＵ５
の制御下で動作するようになっている。
【０００５】図７は複数対のメモリおよび相関演算器を
有する他の従来例を示すブロック図であり、３１ａ〜３
３ａ、３１ｂ〜３３ｂおよび４１〜４３は、それぞれメ
モリ３ａ、３ｂおよび相関演算器４に対応しており、
１、２および５〜７は前述と同様のものである。
有する他の従来例を示すブロック図であり、３１ａ〜３
３ａ、３１ｂ〜３３ｂおよび４１〜４３は、それぞれメ
モリ３ａ、３ｂおよび相関演算器４に対応しており、
１、２および５〜７は前述と同様のものである。
【０００６】図８はＣＲＴ７に表示される画面の一例を
示す説明図であり、７０は走行中の自車両からカメラ１
により撮影された前方車両である。図８において、
（ａ）は所定時間だけ前（時刻ｔｋ-1）の画面、（ｂ）
は今回（時刻ｔｋ）の画面であり、ここでは、時間経過
とともに前方車両７０が自車両に接近している状態を示
す。
示す説明図であり、７０は走行中の自車両からカメラ１
により撮影された前方車両である。図８において、
（ａ）は所定時間だけ前（時刻ｔｋ-1）の画面、（ｂ）
は今回（時刻ｔｋ）の画面であり、ここでは、時間経過
とともに前方車両７０が自車両に接近している状態を示
す。
【０００７】図９および図１０はオプティカルフロー演
算処理を示す説明図であり、図９において、（ａ）は図
８（ａ）に対応する入力画像を分割する複数の小領域の
うちの或る小領域Ａｉｊ、（ｂ）は図８（ｂ）に対応す
る入力画像を分割する小領域Ｂｉｊ（小領域Ａｉｊおよ
びその周辺を含む）をそれぞれ示す。また、図１０はオ
プティカルフロー演算処理により移動が判定された小領
域Ｂｍｎからなる画像を斜線部で示す。
算処理を示す説明図であり、図９において、（ａ）は図
８（ａ）に対応する入力画像を分割する複数の小領域の
うちの或る小領域Ａｉｊ、（ｂ）は図８（ｂ）に対応す
る入力画像を分割する小領域Ｂｉｊ（小領域Ａｉｊおよ
びその周辺を含む）をそれぞれ示す。また、図１０はオ
プティカルフロー演算処理により移動が判定された小領
域Ｂｍｎからなる画像を斜線部で示す。
【０００８】次に、図８〜図１０を参照しながら、図６
に示した従来の自動車用移動体認識装置の動作について
説明する。まず、カメラ１で撮影された画像信号Ｇは、
ＡＤ変換器２を介してデジタル信号の画像データＤとな
り、一対のメモリ３ａおよび３ｂに格納される。たとえ
ば、最初の画像データＤが一方のメモリ３ａに格納され
た場合、所定時間経過後の画像データＤは他方のメモリ
３ｂに格納される。
に示した従来の自動車用移動体認識装置の動作について
説明する。まず、カメラ１で撮影された画像信号Ｇは、
ＡＤ変換器２を介してデジタル信号の画像データＤとな
り、一対のメモリ３ａおよび３ｂに格納される。たとえ
ば、最初の画像データＤが一方のメモリ３ａに格納され
た場合、所定時間経過後の画像データＤは他方のメモリ
３ｂに格納される。
【０００９】続いて、ＣＰＵ５は、各メモリ３ａおよび
３ｂ内の画像データＤを相関演算器４内に入力させ、相
関演算器４に対して相関演算の制御指令を出力する。こ
れにより、相関演算器４は、注目される各小領域Ａｉｊ
（図９（ａ）参照）毎に、その近傍の小領域Ｂｉｊ（図
９（ｂ）参照）に対して画像相関演算を行い、小領域Ｂ
ｉｊ内で最も相関の高い１つの小領域Ｂｍｎ（図１０参
照）を探索する。
３ｂ内の画像データＤを相関演算器４内に入力させ、相
関演算器４に対して相関演算の制御指令を出力する。こ
れにより、相関演算器４は、注目される各小領域Ａｉｊ
（図９（ａ）参照）毎に、その近傍の小領域Ｂｉｊ（図
９（ｂ）参照）に対して画像相関演算を行い、小領域Ｂ
ｉｊ内で最も相関の高い１つの小領域Ｂｍｎ（図１０参
照）を探索する。
【００１０】小領域Ｂｉｊは、注目領域としての小領域
Ａｉｊが移動したか否かを判定するために相関演算が行
われる領域であり、相関演算の結果、最も相関の高い小
領域（すなわち、図８（ｂ）の画像中で小領域Ａｉｊと
最もよく似た画像）Ｂｍｎが求められる。
Ａｉｊが移動したか否かを判定するために相関演算が行
われる領域であり、相関演算の結果、最も相関の高い小
領域（すなわち、図８（ｂ）の画像中で小領域Ａｉｊと
最もよく似た画像）Ｂｍｎが求められる。
【００１１】ここで、今回画像の小領域Ｂｍｎが前回画
像の小領域Ａｉｊと一致しない（ｉ≠ｍ、または、ｊ≠
ｎ）場合、時刻ｔｋ-1からｔｋまでの間に、小領域Ａｉ
ｊ内の物体が小領域Ｂｍｎ内に移動したことになる。
像の小領域Ａｉｊと一致しない（ｉ≠ｍ、または、ｊ≠
ｎ）場合、時刻ｔｋ-1からｔｋまでの間に、小領域Ａｉ
ｊ内の物体が小領域Ｂｍｎ内に移動したことになる。
【００１２】以下、相関演算器４は、所定時間前の画像
内の各小領域に対応する今回画像内の小領域において同
様の相関演算を行い、たとえばメモリ３ａ内の画像の小
領域と最も相関の高いメモリ３ｂ内の小領域を順次求め
る。こうして、前回画像内の全ての小領域（Ａｉｊ）に
相関する今回画像内の小領域（Ｂｍｎ）を求め、移動が
判定された全ての小領域Ｂｍｎを斜線部で示すと、図１
０のようになる。
内の各小領域に対応する今回画像内の小領域において同
様の相関演算を行い、たとえばメモリ３ａ内の画像の小
領域と最も相関の高いメモリ３ｂ内の小領域を順次求め
る。こうして、前回画像内の全ての小領域（Ａｉｊ）に
相関する今回画像内の小領域（Ｂｍｎ）を求め、移動が
判定された全ての小領域Ｂｍｎを斜線部で示すと、図１
０のようになる。
【００１３】このとき、ＣＰＵ５は、あらかじめ定めた
ルールにしたがって、小領域Ａｉｊが移動したか否かを
判定する。所定ルールとしては、たとえば、移動方向ｔ
ａｎθや移動量ｐに基づく判定基準で、移動量ｐが所定
値以上である場合があげられる。このときの移動方向ｔ
ａｎθおよび移動量ｐは、それぞれ、以下の（１）式お
よび（２）式により表わされる。
ルールにしたがって、小領域Ａｉｊが移動したか否かを
判定する。所定ルールとしては、たとえば、移動方向ｔ
ａｎθや移動量ｐに基づく判定基準で、移動量ｐが所定
値以上である場合があげられる。このときの移動方向ｔ
ａｎθおよび移動量ｐは、それぞれ、以下の（１）式お
よび（２）式により表わされる。
【００１４】 ｔａｎθ＝（ｎ−ｊ）／（ｍ−ｉ） …（１） ｐ＝√｛（ｍ−ｉ）2＋（ｎ−ｊ）2｝ …（２）
【００１５】ＣＰＵ５は、上記処理手順を全ての小領域
に対して実行し、移動が判定された小領域Ｂｍｎ（図１
０内の斜線部）を相関データとし、この相関データを、
スーパーインポーザ６を介して画像信号Ｇに重畳してＣ
ＲＴ７に表示させる。しかしながら、上記のようなオプ
ティカルフロー演算による手法によれば、各小領域毎に
相関演算が行われるため、計算量が膨大になり処理時間
がかかりすぎてしまう。
に対して実行し、移動が判定された小領域Ｂｍｎ（図１
０内の斜線部）を相関データとし、この相関データを、
スーパーインポーザ６を介して画像信号Ｇに重畳してＣ
ＲＴ７に表示させる。しかしながら、上記のようなオプ
ティカルフロー演算による手法によれば、各小領域毎に
相関演算が行われるため、計算量が膨大になり処理時間
がかかりすぎてしまう。
【００１６】そこで、図７のように、メモリ３１ａ〜３
３ａおよび３１ｂ〜３３ｂ、ならびに、相関演算器４１
〜４３をそれぞれ並列に設置して、時系列的に画像デー
タＤを格納し、これらをたとえば並列に演算させる構成
とすることも考えられる。しかし、図７の構成により演
算の高速化が実現する反面、回路規模が膨大になり、コ
ストアップを招くことになる。
３ａおよび３１ｂ〜３３ｂ、ならびに、相関演算器４１
〜４３をそれぞれ並列に設置して、時系列的に画像デー
タＤを格納し、これらをたとえば並列に演算させる構成
とすることも考えられる。しかし、図７の構成により演
算の高速化が実現する反面、回路規模が膨大になり、コ
ストアップを招くことになる。
【００１７】さらに、たとえば、特開昭５６−２７５８
６号公報や特開平４−８５１４８号公報等に参照される
ように、画像データを一次元に圧縮する手法や、画像デ
ータの差分からエッジを求める手法等が提案されている
が、演算処理が複雑であるため、やはりコストアップに
つながってしまう。
６号公報や特開平４−８５１４８号公報等に参照される
ように、画像データを一次元に圧縮する手法や、画像デ
ータの差分からエッジを求める手法等が提案されている
が、演算処理が複雑であるため、やはりコストアップに
つながってしまう。
【００１８】
【発明が解決しようとする課題】従来の自動車用移動体
認識装置は以上のように、相関演算器４におけるオプテ
ィカルフロー手法により移動体を認識しているので、演
算処理に時間がかかり、また、高速化を実現しようとす
ると、回路構成や演算処理等がさらに複雑になるためコ
ストアップを招くという問題点があった。
認識装置は以上のように、相関演算器４におけるオプテ
ィカルフロー手法により移動体を認識しているので、演
算処理に時間がかかり、また、高速化を実現しようとす
ると、回路構成や演算処理等がさらに複雑になるためコ
ストアップを招くという問題点があった。
【００１９】この発明は上記のような問題点を解決する
ためになされたもので、簡単な構成によりコストダウン
を実現するとともに画像データの高速処理を可能にした
自動車用移動体認識装置を得ることを目的とする。
ためになされたもので、簡単な構成によりコストダウン
を実現するとともに画像データの高速処理を可能にした
自動車用移動体認識装置を得ることを目的とする。
【００２０】
【課題を解決するための手段】この発明の請求項１に係
る自動車用移動体認識装置は、車両周辺の環境を撮影す
るカメラと、カメラから得られる画像信号に基づいて水
平エッジを検出する水平エッジ検出手段と、水平エッジ
の画素データを水平方向に加算して、画像内の垂直位置
に対するヒストグラムデータを求める水平エッジ加算手
段と、ヒストグラムデータに基づいて障害物候補の垂直
位置を検出する障害物候補検出手段と、所定時間前から
今回までの障害物候補の垂直位置に基づいて障害物候補
が移動体であることを認識する移動体認識手段とを備え
たものである。
る自動車用移動体認識装置は、車両周辺の環境を撮影す
るカメラと、カメラから得られる画像信号に基づいて水
平エッジを検出する水平エッジ検出手段と、水平エッジ
の画素データを水平方向に加算して、画像内の垂直位置
に対するヒストグラムデータを求める水平エッジ加算手
段と、ヒストグラムデータに基づいて障害物候補の垂直
位置を検出する障害物候補検出手段と、所定時間前から
今回までの障害物候補の垂直位置に基づいて障害物候補
が移動体であることを認識する移動体認識手段とを備え
たものである。
【００２１】また、この発明の請求項２に係る自動車用
移動体認識装置は、請求項１において、障害物候補検出
手段は、ヒストグラムデータが所定値以上の場合に、ヒ
ストグラムデータの垂直位置に障害物候補が存在するこ
とを判定するものである。
移動体認識装置は、請求項１において、障害物候補検出
手段は、ヒストグラムデータが所定値以上の場合に、ヒ
ストグラムデータの垂直位置に障害物候補が存在するこ
とを判定するものである。
【００２２】また、この発明の請求項３に係る自動車用
移動体認識装置は、請求項１または請求項２において、
移動体認識手段は、所定時間前から今回までの障害物候
補の垂直位置の移動量が所定値以上の場合に障害物候補
が移動体であることを認識するものである。
移動体認識装置は、請求項１または請求項２において、
移動体認識手段は、所定時間前から今回までの障害物候
補の垂直位置の移動量が所定値以上の場合に障害物候補
が移動体であることを認識するものである。
【００２３】また、この発明の請求項４に係る自動車用
移動体認識装置は、請求項１において、障害物候補検出
手段は、複数のヒストグラムデータに基づいて障害物候
補の垂直位置を検出し、移動体認識手段は、複数のヒス
トグラムデータの所定時間前から今回までの自己相関に
基づいて移動量を求めるものである。
移動体認識装置は、請求項１において、障害物候補検出
手段は、複数のヒストグラムデータに基づいて障害物候
補の垂直位置を検出し、移動体認識手段は、複数のヒス
トグラムデータの所定時間前から今回までの自己相関に
基づいて移動量を求めるものである。
【００２４】また、この発明の請求項５に係る自動車用
移動体認識装置は、請求項１から請求項４までのいずれ
かにおいて、移動体認識手段は、所定時間前から今回ま
での障害物候補の垂直位置の移動方向に基づいて移動体
が接近中であることを認識するものである。
移動体認識装置は、請求項１から請求項４までのいずれ
かにおいて、移動体認識手段は、所定時間前から今回ま
での障害物候補の垂直位置の移動方向に基づいて移動体
が接近中であることを認識するものである。
【００２５】また、この発明の請求項６に係る自動車用
移動体認識装置は、請求項２において、障害物候補検出
手段は、所定値以上のヒストグラムデータが所定回数だ
け継続して検出された場合にヒストグラムデータの垂直
位置に障害物候補が存在することを判定するものであ
る。
移動体認識装置は、請求項２において、障害物候補検出
手段は、所定値以上のヒストグラムデータが所定回数だ
け継続して検出された場合にヒストグラムデータの垂直
位置に障害物候補が存在することを判定するものであ
る。
【００２６】また、この発明の請求項７に係る自動車用
移動体認識装置は、請求項３において、移動体認識手段
は、所定値以上の移動量が所定回数だけ継続して検出さ
れた場合に障害物候補が移動体であることを認識するも
のである。
移動体認識装置は、請求項３において、移動体認識手段
は、所定値以上の移動量が所定回数だけ継続して検出さ
れた場合に障害物候補が移動体であることを認識するも
のである。
【００２７】また、この発明の請求項８に係る自動車用
移動体認識装置は、請求項５において、移動体認識手段
は、所定時間前から今回までの障害物候補の垂直位置の
接近中を示す移動方向が所定回数だけ継続して検出され
た場合に障害物候補が接近中であることを認識するもの
である。
移動体認識装置は、請求項５において、移動体認識手段
は、所定時間前から今回までの障害物候補の垂直位置の
接近中を示す移動方向が所定回数だけ継続して検出され
た場合に障害物候補が接近中であることを認識するもの
である。
【００２８】
【作用】この発明の請求項１においては、カメラで撮影
された画像から水平エッジを検出し、そのヒストグラム
データから障害物候補位置を検出し、所定時間の間の変
化量から移動体を認識する。
された画像から水平エッジを検出し、そのヒストグラム
データから障害物候補位置を検出し、所定時間の間の変
化量から移動体を認識する。
【００２９】また、この発明の請求項２においては、ヒ
ストグラムデータが所定値以上の場合に、そのヒストグ
ラムデータの垂直位置に障害物候補が存在することを判
定する。
ストグラムデータが所定値以上の場合に、そのヒストグ
ラムデータの垂直位置に障害物候補が存在することを判
定する。
【００３０】また、この発明の請求項３においては、所
定時間前から今回までの障害物候補の垂直位置の移動量
が所定値以上の場合に障害物候補が移動体であることを
認識する。
定時間前から今回までの障害物候補の垂直位置の移動量
が所定値以上の場合に障害物候補が移動体であることを
認識する。
【００３１】また、この発明の請求項４においては、複
数のヒストグラムデータに基づいて障害物候補の垂直位
置を検出し、複数のヒストグラムデータの所定時間前か
ら今回までの自己相関に基づいて障害物候補位置の移動
量を求める。
数のヒストグラムデータに基づいて障害物候補の垂直位
置を検出し、複数のヒストグラムデータの所定時間前か
ら今回までの自己相関に基づいて障害物候補位置の移動
量を求める。
【００３２】また、この発明の請求項５においては、所
定時間前から今回までの障害物候補の垂直位置の移動方
向に基づいて移動体が接近中であることを認識する。
定時間前から今回までの障害物候補の垂直位置の移動方
向に基づいて移動体が接近中であることを認識する。
【００３３】また、この発明の請求項６においては、所
定値以上のヒストグラムデータが所定回数だけ継続して
検出された場合にヒストグラムデータの垂直位置に障害
物候補が存在することを判定する。
定値以上のヒストグラムデータが所定回数だけ継続して
検出された場合にヒストグラムデータの垂直位置に障害
物候補が存在することを判定する。
【００３４】また、この発明の請求項７においては、所
定値以上の移動量が所定回数だけ継続して検出された場
合に障害物候補が移動体であることを認識する。
定値以上の移動量が所定回数だけ継続して検出された場
合に障害物候補が移動体であることを認識する。
【００３５】また、この発明の請求項８においては、所
定時間前から今回までの障害物候補の垂直位置の接近中
を示す移動方向が所定回数だけ継続して検出された場合
に障害物候補が接近中であることを認識する。
定時間前から今回までの障害物候補の垂直位置の接近中
を示す移動方向が所定回数だけ継続して検出された場合
に障害物候補が接近中であることを認識する。
【００３６】
実施例１．（請求項１〜請求項３に対応） 以下、この発明の実施例１を図について説明する。図１
はこの発明の実施例１を示すブロック図であり、５Ａは
ＣＰＵ５に対応しており、１、２、６および７は前述と
同様のものである。１３は画像データＤから水平エッジ
Ｅｈを検出する水平エッジ検出部、１４は水平エッジＥ
ｈを加算する水平エッジ加算部であり、水平エッジ加算
結果ＥａはヒストグラムデータとしてＣＰＵ５Ａに入力
される。
はこの発明の実施例１を示すブロック図であり、５Ａは
ＣＰＵ５に対応しており、１、２、６および７は前述と
同様のものである。１３は画像データＤから水平エッジ
Ｅｈを検出する水平エッジ検出部、１４は水平エッジＥ
ｈを加算する水平エッジ加算部であり、水平エッジ加算
結果ＥａはヒストグラムデータとしてＣＰＵ５Ａに入力
される。
【００３７】この場合、ＣＰＵ５Ａは、加算結果すなわ
ちヒストグラムデータに基づいて障害物候補の垂直位置
を検出する障害物候補検出手段と、所定時間前から今回
までの障害物候補の垂直位置に基づいて障害物候補が移
動体であることを認識する移動体認識手段とを含み、ス
ーパーインポーザ６および水平エッジ検出部１３を制御
するようになっている。
ちヒストグラムデータに基づいて障害物候補の垂直位置
を検出する障害物候補検出手段と、所定時間前から今回
までの障害物候補の垂直位置に基づいて障害物候補が移
動体であることを認識する移動体認識手段とを含み、ス
ーパーインポーザ６および水平エッジ検出部１３を制御
するようになっている。
【００３８】次に、図２のフローチャートならびに図３
および図４の説明図を参照しながら、図１に示したこの
発明の実施例１の動作について説明する。なお、図３は
所定時間前の画像データに基づく画面に関する説明図、
図４は今回の画像データに基づく画面に関する説明図で
ある。
および図４の説明図を参照しながら、図１に示したこの
発明の実施例１の動作について説明する。なお、図３は
所定時間前の画像データに基づく画面に関する説明図、
図４は今回の画像データに基づく画面に関する説明図で
ある。
【００３９】図３および図４において、（ａ）はそれぞ
れＣＲＴ７上の表示画面例であり、７０は前述と同様の
ものである。また、図３（ａ）および図４（ａ）は前述
の図８（ａ）および（ｂ）にそれぞれ対応している。さ
らに、各図において、（ｂ）は画像内の各ライン（垂直
位置）毎の画素データ度数を示すヒストグラムデータで
あり、ｃは度数の閾値、ｑ１およびｑ２は閾値ｃを越え
るヒストグラムデータ（度数）を示す垂直位置である。
れＣＲＴ７上の表示画面例であり、７０は前述と同様の
ものである。また、図３（ａ）および図４（ａ）は前述
の図８（ａ）および（ｂ）にそれぞれ対応している。さ
らに、各図において、（ｂ）は画像内の各ライン（垂直
位置）毎の画素データ度数を示すヒストグラムデータで
あり、ｃは度数の閾値、ｑ１およびｑ２は閾値ｃを越え
るヒストグラムデータ（度数）を示す垂直位置である。
【００４０】図１において、前述と同様に、カメラ１に
より撮影された画像信号Ｇは、ＡＤ変換器２によりデジ
タル信号の画像データＤに変換される。水平エッジ検出
部１３は、ＣＰＵ５Ａの制御下で、画像データＤ中の注
目画素と注目画素から所定画素だけ離れて下にある画素
との差分をとることにより、水平エッジＥｈを検出す
る。なお、ＣＰＵ５Ａは、後述するように、差分演算に
用いる垂直方向の所定画素を必要に応じて変更すること
もできる。
より撮影された画像信号Ｇは、ＡＤ変換器２によりデジ
タル信号の画像データＤに変換される。水平エッジ検出
部１３は、ＣＰＵ５Ａの制御下で、画像データＤ中の注
目画素と注目画素から所定画素だけ離れて下にある画素
との差分をとることにより、水平エッジＥｈを検出す
る。なお、ＣＰＵ５Ａは、後述するように、差分演算に
用いる垂直方向の所定画素を必要に応じて変更すること
もできる。
【００４１】続いて、水平エッジ加算部１４は、検出さ
れた水平エッジＥｈを２値化した後で加算し、ヒストグ
ラムの度数となるデータを求める。この加算結果から得
られるデータは、ＣＰＵ５Ａおよびスーパーインポーザ
６に入力される。スーパーインポーザ６は、カメラ１か
ら得られる画像信号Ｇと、ＣＰＵ５Ａにおける演算によ
って得られる移動体データとを重畳し、ＣＲＴ７に表示
する。
れた水平エッジＥｈを２値化した後で加算し、ヒストグ
ラムの度数となるデータを求める。この加算結果から得
られるデータは、ＣＰＵ５Ａおよびスーパーインポーザ
６に入力される。スーパーインポーザ６は、カメラ１か
ら得られる画像信号Ｇと、ＣＰＵ５Ａにおける演算によ
って得られる移動体データとを重畳し、ＣＲＴ７に表示
する。
【００４２】このとき、水平エッジＥｈのヒストグラム
を求める演算は、ＣＰＵ５Ａ内のソフトウェアを用いず
に、水平エッジ検出部１３および水平エッジ加算部１４
からなるハードウェアを用いて実行されるため、高速処
理が可能となる。次に、ＣＰＵ５Ａにおける移動体認識
動作について説明する。図２はＣＰＵ５Ａにおいて実行
される移動体認識アルゴリズムの一例であり、まず、ス
テップＳ１において、障害物候補の垂直位置ｑを１つ選
択し、障害物候補位置として検出する。
を求める演算は、ＣＰＵ５Ａ内のソフトウェアを用いず
に、水平エッジ検出部１３および水平エッジ加算部１４
からなるハードウェアを用いて実行されるため、高速処
理が可能となる。次に、ＣＰＵ５Ａにおける移動体認識
動作について説明する。図２はＣＰＵ５Ａにおいて実行
される移動体認識アルゴリズムの一例であり、まず、ス
テップＳ１において、障害物候補の垂直位置ｑを１つ選
択し、障害物候補位置として検出する。
【００４３】すなわち、図４（ｂ）において、水平エッ
ジ加算部１４から入力された水平エッジＥｈのヒストグ
ラムデータ（度数）から、閾値ｃ以上の垂直位置ｑ１お
よびｑ２を求め、そのうちで最も画面の下方に位置する
垂直位置ｑ２を、今回の障害物候補位置ｑ（ｔｎ）とす
る。
ジ加算部１４から入力された水平エッジＥｈのヒストグ
ラムデータ（度数）から、閾値ｃ以上の垂直位置ｑ１お
よびｑ２を求め、そのうちで最も画面の下方に位置する
垂直位置ｑ２を、今回の障害物候補位置ｑ（ｔｎ）とす
る。
【００４４】なぜなら、通常の車両形状から明らかなよ
うに、車体底辺の水平エッジＥｈがヒストグラムデータ
の最大値となり、先行車両７０の有無の検出に役立つか
らである。また、最大値か否かにかかわらず、最も自車
両に接近した位置（下方）に水平エッジＥｈのヒストグ
ラムデータが閾値ｃ以上のものが確かに存在することか
ら、障害物候補位置ｑ（ｔｎ）として選択する。
うに、車体底辺の水平エッジＥｈがヒストグラムデータ
の最大値となり、先行車両７０の有無の検出に役立つか
らである。また、最大値か否かにかかわらず、最も自車
両に接近した位置（下方）に水平エッジＥｈのヒストグ
ラムデータが閾値ｃ以上のものが確かに存在することか
ら、障害物候補位置ｑ（ｔｎ）として選択する。
【００４５】続いて、ステップＳ２においては、ステッ
プＳ１で検出された障害物が移動したか否かをチェック
し、もし移動した場合には障害物が移動体であることを
認識する。すなわち、図３（ｂ）内の垂直位置ｑ２で参
照される所定時間前に検出された障害物候補位置ｑ（ｔ
ｎ-1）と、図３（ｂ）内の垂直位置ｑ２で参照される今
回検出された障害物候補位置ｑ（ｔｎ）との各垂直位置
の移動量を求める。
プＳ１で検出された障害物が移動したか否かをチェック
し、もし移動した場合には障害物が移動体であることを
認識する。すなわち、図３（ｂ）内の垂直位置ｑ２で参
照される所定時間前に検出された障害物候補位置ｑ（ｔ
ｎ-1）と、図３（ｂ）内の垂直位置ｑ２で参照される今
回検出された障害物候補位置ｑ（ｔｎ）との各垂直位置
の移動量を求める。
【００４６】もし、図３から図４までの所定時間の間
に、垂直位置ｑに関して所定値以上の移動量が算出され
れば、その垂直位置ｑ２に移動体が存在すると判定され
る。図２のアルゴリズムは、自車両周辺にある障害物
（たとえば、先行車両７０）と道路面の水平方向の境界
線とを水平エッジＥｈとして検出するという簡単な手順
からなるため、処理時間が短く、たとえば、６０Ｈｚの
ビデオレートで移動体を認識処理することができる。
に、垂直位置ｑに関して所定値以上の移動量が算出され
れば、その垂直位置ｑ２に移動体が存在すると判定され
る。図２のアルゴリズムは、自車両周辺にある障害物
（たとえば、先行車両７０）と道路面の水平方向の境界
線とを水平エッジＥｈとして検出するという簡単な手順
からなるため、処理時間が短く、たとえば、６０Ｈｚの
ビデオレートで移動体を認識処理することができる。
【００４７】また、図１の構成から明らかなように、ハ
ードウェアにおいても、画像データＤを記憶するメモリ
が不要であるため、回路構成が縮小され、大幅なコスト
ダウンを実現することができる。また、水平エッジＥｈ
の検出において、注目画素に対して固定の所定画素だけ
下にある画素との差分を求めることにより、さらに簡易
な構成とすることができる。
ードウェアにおいても、画像データＤを記憶するメモリ
が不要であるため、回路構成が縮小され、大幅なコスト
ダウンを実現することができる。また、水平エッジＥｈ
の検出において、注目画素に対して固定の所定画素だけ
下にある画素との差分を求めることにより、さらに簡易
な構成とすることができる。
【００４８】実施例２．（請求項４に対応） なお、上記実施例１では、水平エッジＥｈのヒストグラ
ムデータ（度数）のみから障害物候補位置を検出して移
動体を認識するようにしたが、閾値ｃ以上のヒストグラ
ムデータを有する障害物候補位置の近傍のヒストグラム
データを総合的に比較し、移動体を認識するようにして
もよい。
ムデータ（度数）のみから障害物候補位置を検出して移
動体を認識するようにしたが、閾値ｃ以上のヒストグラ
ムデータを有する障害物候補位置の近傍のヒストグラム
データを総合的に比較し、移動体を認識するようにして
もよい。
【００４９】次に、図５の説明図を参照しながら、障害
物候補位置近傍のヒストグラムデータを比較して移動体
認識精度をさらに向上させるようにしたこの発明の実施
例２によるＣＰＵ５Ａの処理アルゴリズムの例について
説明する。なお、図５は図３（ｂ）または図４（ｂ）内
のピーク値近傍のヒストグラムデータを抽出して示した
ものである。
物候補位置近傍のヒストグラムデータを比較して移動体
認識精度をさらに向上させるようにしたこの発明の実施
例２によるＣＰＵ５Ａの処理アルゴリズムの例について
説明する。なお、図５は図３（ｂ）または図４（ｂ）内
のピーク値近傍のヒストグラムデータを抽出して示した
ものである。
【００５０】まず、図２内のステップＳ１で検出された
障害物候補位置に関し、水平エッジＥｈのヒストグラム
データをＣＰＵ５Ａ内のメモリに格納しておく。続い
て、ステップＳ２で認識された所定時間前の障害物候補
位置ｑ（ｔｎ-1）とそのヒストグラムデータについて、
図５のように、障害物候補位置近傍のヒストグラムデー
タＨＤ１を抽出する。
障害物候補位置に関し、水平エッジＥｈのヒストグラム
データをＣＰＵ５Ａ内のメモリに格納しておく。続い
て、ステップＳ２で認識された所定時間前の障害物候補
位置ｑ（ｔｎ-1）とそのヒストグラムデータについて、
図５のように、障害物候補位置近傍のヒストグラムデー
タＨＤ１を抽出する。
【００５１】そして、ステップＳ１で求めた水平エッジ
Ｅｈのヒストグラムデータの中から、最も良く一致する
箇所ＨＤ２を求め、そのピーク位置を障害物候補の現在
位置ｑ（ｔｎ）として選択する。
Ｅｈのヒストグラムデータの中から、最も良く一致する
箇所ＨＤ２を求め、そのピーク位置を障害物候補の現在
位置ｑ（ｔｎ）として選択する。
【００５２】この発明の実施例２によれば、上記実施例
１では単に水平エッジＥｈのヒストグラムデータのピー
ク値の位置の動きをチェックしているのみであるのに対
し、ヒストグラムデータの自己相関を求めることができ
る。したがって、移動体の移動量｛ｑ（ｔｎ）−ｑ（ｔ
ｎ-1）｝を正確に算出することができ、さらに正確な移
動体認識が可能となる。
１では単に水平エッジＥｈのヒストグラムデータのピー
ク値の位置の動きをチェックしているのみであるのに対
し、ヒストグラムデータの自己相関を求めることができ
る。したがって、移動体の移動量｛ｑ（ｔｎ）−ｑ（ｔ
ｎ-1）｝を正確に算出することができ、さらに正確な移
動体認識が可能となる。
【００５３】実施例３． また、上記実施例１において、水平エッジ検出部１３
は、注目画素と所定画素（固定値）だけ離れて下にある
画素との差分から水平エッジＥｈを求めたが、一般に、
障害物が接近するにつれて、画像上の水平エッジＥｈに
相当する境界線の幅は太くなり、且つ、濃度勾配は緩や
かになる。
は、注目画素と所定画素（固定値）だけ離れて下にある
画素との差分から水平エッジＥｈを求めたが、一般に、
障害物が接近するにつれて、画像上の水平エッジＥｈに
相当する境界線の幅は太くなり、且つ、濃度勾配は緩や
かになる。
【００５４】したがって、水平エッジ検出部１３での差
分演算に用いられる所定画素を固定すると、至近距離に
ある障害物の検出が困難になるおそれがある。なお、こ
のときの障害物検出に対する影響度は、水平エッジ加算
部１４での２値化の閾値ｃの決定状況や使用状況等によ
っては、少なくなる場合もあり得る。このような影響を
防止するため、水平エッジ検出部１３において、障害物
までの距離すなわち障害物候補位置の垂直位置に応じ
て、どのくらい下にある画素との差分を算出するかを調
整するようにしてもよい。
分演算に用いられる所定画素を固定すると、至近距離に
ある障害物の検出が困難になるおそれがある。なお、こ
のときの障害物検出に対する影響度は、水平エッジ加算
部１４での２値化の閾値ｃの決定状況や使用状況等によ
っては、少なくなる場合もあり得る。このような影響を
防止するため、水平エッジ検出部１３において、障害物
までの距離すなわち障害物候補位置の垂直位置に応じ
て、どのくらい下にある画素との差分を算出するかを調
整するようにしてもよい。
【００５５】そこで、この発明の実施例３においては、
ＣＰＵ５Ａは、ステップＳ１において前回検出した障害
物候補位置ｑ（ｔｎ-1）の垂直位置に応じた所定画素を
選択できるようにマップを備えている。したがって、水
平エッジ検出部１３は、マップ値により決定された所定
画素だけ下にある画素との差分から水平エッジＥｈを求
める。
ＣＰＵ５Ａは、ステップＳ１において前回検出した障害
物候補位置ｑ（ｔｎ-1）の垂直位置に応じた所定画素を
選択できるようにマップを備えている。したがって、水
平エッジ検出部１３は、マップ値により決定された所定
画素だけ下にある画素との差分から水平エッジＥｈを求
める。
【００５６】これにより、水平エッジ加算部１４は、画
像上の先行車両７０と道路面との境界線において、水平
エッジＥｈのヒストグラムデータのピーク値を上記実施
例１よりもさらに鮮明に得ることができる。したがっ
て、ステップＳ２において、自車両に接近した先行車両
７０に対して、障害物候補位置ｑ（ｔｎ）を確実に検出
することができる。
像上の先行車両７０と道路面との境界線において、水平
エッジＥｈのヒストグラムデータのピーク値を上記実施
例１よりもさらに鮮明に得ることができる。したがっ
て、ステップＳ２において、自車両に接近した先行車両
７０に対して、障害物候補位置ｑ（ｔｎ）を確実に検出
することができる。
【００５７】実施例４．（請求項５に対応） また、上記実施例１では、障害物たとえば先行車両７０
の移動方向（自車両に接近しているか否か）を考慮しな
かったが、障害物候補の移動方向を考慮して、さらに具
体的な状況を把握可能にしてもよい。たとえば、前回検
出した障害物候補の垂直位置ｑ（ｔｎ-1）の時間的な移
動量および移動方向に基づいて、接近中の障害物を検出
可能にすることができる。
の移動方向（自車両に接近しているか否か）を考慮しな
かったが、障害物候補の移動方向を考慮して、さらに具
体的な状況を把握可能にしてもよい。たとえば、前回検
出した障害物候補の垂直位置ｑ（ｔｎ-1）の時間的な移
動量および移動方向に基づいて、接近中の障害物を検出
可能にすることができる。
【００５８】すなわち、この発明の実施例４において、
ＣＰＵ５Ａは、ステップＳ２において、移動体認識手段
によって検出された障害物候補の垂直位置ｑ（ｔｎ−
１）の動きをチェックし、時間経過とともに障害物候補
が自車両に接近しているか否かを判断することができ
る。
ＣＰＵ５Ａは、ステップＳ２において、移動体認識手段
によって検出された障害物候補の垂直位置ｑ（ｔｎ−
１）の動きをチェックし、時間経過とともに障害物候補
が自車両に接近しているか否かを判断することができ
る。
【００５９】たとえば、障害物候補位置が下方に移動し
ていれば、障害物候補が接近していることになる。この
場合、障害物候補の移動量の変化量に基づいて、急接近
や緩やかな接近等の状況を判断することもでき、また、
障害物候補の移動方向の変化乱れに基づいて、運転者自
身の運転乱れや障害物候補自体の動き乱れ等の異常事態
の発生を判断することもできる。これにより、さらに高
度な判断機能を実現することができる。
ていれば、障害物候補が接近していることになる。この
場合、障害物候補の移動量の変化量に基づいて、急接近
や緩やかな接近等の状況を判断することもでき、また、
障害物候補の移動方向の変化乱れに基づいて、運転者自
身の運転乱れや障害物候補自体の動き乱れ等の異常事態
の発生を判断することもできる。これにより、さらに高
度な判断機能を実現することができる。
【００６０】実施例５． なお、上記各実施例では、水平エッジＥｈを２値化して
ヒストグラムデータを求めているが、ヒストグラムデー
タの処理時間および精度の要求に応じて、多値画像に対
してヒストグラムデータを求めてもよい。この場合、処
理時間は増大するが、精度は向上する。
ヒストグラムデータを求めているが、ヒストグラムデー
タの処理時間および精度の要求に応じて、多値画像に対
してヒストグラムデータを求めてもよい。この場合、処
理時間は増大するが、精度は向上する。
【００６１】実施例６． また、上記実施例１では、水平エッジＥｈのヒストグラ
ムデータの中から、閾値ｃ以上を示し、且つ最も画面下
方に位置する垂直位置ｑ２を今回の障害物候補位置ｑ
（ｔｎ）として選択したが、前回検出した障害物候補位
置ｑ（ｔｎ-1）に最も近い位置にあるヒストグラムデー
タを今回の障害物候補位置ｑ（ｔｎ）としてもよい。
ムデータの中から、閾値ｃ以上を示し、且つ最も画面下
方に位置する垂直位置ｑ２を今回の障害物候補位置ｑ
（ｔｎ）として選択したが、前回検出した障害物候補位
置ｑ（ｔｎ-1）に最も近い位置にあるヒストグラムデー
タを今回の障害物候補位置ｑ（ｔｎ）としてもよい。
【００６２】また、最も大きい値のヒストグラムデータ
の位置を障害物候補位置ｑ（ｔｎ）としてもよい。ま
た、複数の障害物候補位置を選択して各位置の時間的動
きを計測し、その中から移動体を認識するようにしても
よい。さらに、図２に示したアルゴリズム以外のアルゴ
リズムにしたがって、障害物候補の検出および移動体の
認識を行ってもよい。
の位置を障害物候補位置ｑ（ｔｎ）としてもよい。ま
た、複数の障害物候補位置を選択して各位置の時間的動
きを計測し、その中から移動体を認識するようにしても
よい。さらに、図２に示したアルゴリズム以外のアルゴ
リズムにしたがって、障害物候補の検出および移動体の
認識を行ってもよい。
【００６３】実施例７．（請求項６に対応） また、上記実施例１では、ヒストグラムデータが所定値
以上を示す場合に、直ちに障害物候補位置を検出した
が、冗長性を付加して、所定値以上のヒストグラムデー
タが所定回数だけ継続して検出された場合に障害物候補
位置として検出するようにしてもよい。これにより、ノ
イズ等による障害物候補位置の誤検出を防止することが
でき、検出信頼性が向上する。
以上を示す場合に、直ちに障害物候補位置を検出した
が、冗長性を付加して、所定値以上のヒストグラムデー
タが所定回数だけ継続して検出された場合に障害物候補
位置として検出するようにしてもよい。これにより、ノ
イズ等による障害物候補位置の誤検出を防止することが
でき、検出信頼性が向上する。
【００６４】実施例８．（請求項７に対応） また、上記実施例１では、障害物候補位置の移動値が所
定量以上の場合に、直ちに移動体であることを認識する
ようにしたが、実施例７と同様に冗長性を付加して、所
定値以上の移動量が所定回数だけ継続して検出された場
合に移動体であることを認識するようにしてもよい。
定量以上の場合に、直ちに移動体であることを認識する
ようにしたが、実施例７と同様に冗長性を付加して、所
定値以上の移動量が所定回数だけ継続して検出された場
合に移動体であることを認識するようにしてもよい。
【００６５】実施例９．（請求項８に対応） さらに、検出された障害物が自車両に対して接近方向に
移動中であることを所定回数だけ継続して検出された場
合に、最終的に接近中の障害物であることを認識するよ
うにしてもよい。
移動中であることを所定回数だけ継続して検出された場
合に、最終的に接近中の障害物であることを認識するよ
うにしてもよい。
【００６６】なお、上記各実施例における所定値、所定
時間および所定回数等は、運転者の要求、ならびに、車
両の仕様および走行中の車速等の運転条件に応じて可変
設定され得るものである。
時間および所定回数等は、運転者の要求、ならびに、車
両の仕様および走行中の車速等の運転条件に応じて可変
設定され得るものである。
【００６７】
【発明の効果】以上のようにこの発明の請求項１によれ
ば、車両周辺の環境を撮影するカメラと、カメラから得
られる画像信号に基づいて水平エッジを検出する水平エ
ッジ検出手段と、水平エッジの画素データを水平方向に
加算して、画像内の垂直位置に対するヒストグラムデー
タを求める水平エッジ加算手段と、ヒストグラムデータ
に基づいて障害物候補の垂直位置を検出する障害物候補
検出手段と、所定時間前から今回までの障害物候補の垂
直位置に基づいて障害物候補が移動体であることを認識
する移動体認識手段とを設け、画像相関演算を実行する
ことなく簡単なハードウェア構成でヒストグラムデータ
を算出可能にしたので、小形で簡単な構成によりコスト
ダウンを実現するとともに画像データの高速処理を可能
にした自動車用移動体認識装置が得られる効果がある。
ば、車両周辺の環境を撮影するカメラと、カメラから得
られる画像信号に基づいて水平エッジを検出する水平エ
ッジ検出手段と、水平エッジの画素データを水平方向に
加算して、画像内の垂直位置に対するヒストグラムデー
タを求める水平エッジ加算手段と、ヒストグラムデータ
に基づいて障害物候補の垂直位置を検出する障害物候補
検出手段と、所定時間前から今回までの障害物候補の垂
直位置に基づいて障害物候補が移動体であることを認識
する移動体認識手段とを設け、画像相関演算を実行する
ことなく簡単なハードウェア構成でヒストグラムデータ
を算出可能にしたので、小形で簡単な構成によりコスト
ダウンを実現するとともに画像データの高速処理を可能
にした自動車用移動体認識装置が得られる効果がある。
【００６８】また、この発明の請求項２によれば、請求
項１において、障害物候補検出手段は、ヒストグラムデ
ータが所定値以上の場合に、ヒストグラムデータの垂直
位置に障害物候補が存在することを判定するようにした
ので、先行車両等の障害物候補位置を確実に抽出するこ
とのできる自動車用移動体認識装置が得られる効果があ
る。
項１において、障害物候補検出手段は、ヒストグラムデ
ータが所定値以上の場合に、ヒストグラムデータの垂直
位置に障害物候補が存在することを判定するようにした
ので、先行車両等の障害物候補位置を確実に抽出するこ
とのできる自動車用移動体認識装置が得られる効果があ
る。
【００６９】また、この発明の請求項３によれば、請求
項１または請求項２において、移動体認識手段は、所定
時間前から今回までの障害物候補の垂直位置の移動量が
所定値以上の場合に障害物候補が移動体であることを認
識するようにしたので、移動体を確実に認識することの
できる自動車用移動体認識装置が得られる効果がある。
項１または請求項２において、移動体認識手段は、所定
時間前から今回までの障害物候補の垂直位置の移動量が
所定値以上の場合に障害物候補が移動体であることを認
識するようにしたので、移動体を確実に認識することの
できる自動車用移動体認識装置が得られる効果がある。
【００７０】また、この発明の請求項４によれば、請求
項１において、障害物候補検出手段は、複数のヒストグ
ラムデータに基づいて障害物候補の垂直位置を検出し、
移動体認識手段は、複数のヒストグラムデータの所定時
間前から今回までの自己相関に基づいて移動量を求める
ようにしたので、移動体をさらに確実に認識することの
できる自動車用移動体認識装置が得られる効果がある。
項１において、障害物候補検出手段は、複数のヒストグ
ラムデータに基づいて障害物候補の垂直位置を検出し、
移動体認識手段は、複数のヒストグラムデータの所定時
間前から今回までの自己相関に基づいて移動量を求める
ようにしたので、移動体をさらに確実に認識することの
できる自動車用移動体認識装置が得られる効果がある。
【００７１】また、この発明の請求項５によれば、請求
項１から請求項４までのいずれかにおいて、移動体認識
手段は、所定時間前から今回までの障害物候補の垂直位
置の移動方向に基づいて移動体が接近中であることを認
識するようにしたので、自車両に対して危険度の高い接
近中の移動体を確実に認識することのできる自動車用移
動体認識装置が得られる効果がある。
項１から請求項４までのいずれかにおいて、移動体認識
手段は、所定時間前から今回までの障害物候補の垂直位
置の移動方向に基づいて移動体が接近中であることを認
識するようにしたので、自車両に対して危険度の高い接
近中の移動体を確実に認識することのできる自動車用移
動体認識装置が得られる効果がある。
【００７２】また、この発明の請求項６によれば、請求
項２において、障害物候補検出手段は、所定値以上のヒ
ストグラムデータが所定回数だけ継続して検出された場
合にヒストグラムデータの垂直位置に障害物候補が存在
することを判定するようにしたので、先行車両等の障害
物候補位置を誤検出することなくさらに確実に抽出する
ことのできる自動車用移動体認識装置が得られる効果が
ある。
項２において、障害物候補検出手段は、所定値以上のヒ
ストグラムデータが所定回数だけ継続して検出された場
合にヒストグラムデータの垂直位置に障害物候補が存在
することを判定するようにしたので、先行車両等の障害
物候補位置を誤検出することなくさらに確実に抽出する
ことのできる自動車用移動体認識装置が得られる効果が
ある。
【００７３】また、この発明の請求項７によれば、請求
項３において、移動体認識手段は、所定値以上の移動量
が所定回数だけ継続して検出された場合に障害物候補が
移動体であることを認識するようにしたので、移動体を
誤認識することなくさらに確実に認識することのできる
自動車用移動体認識装置が得られる効果がある。
項３において、移動体認識手段は、所定値以上の移動量
が所定回数だけ継続して検出された場合に障害物候補が
移動体であることを認識するようにしたので、移動体を
誤認識することなくさらに確実に認識することのできる
自動車用移動体認識装置が得られる効果がある。
【００７４】また、この発明の請求項８によれば、請求
項５において、移動体認識手段は、所定時間前から今回
までの障害物候補の垂直位置の接近中を示す移動方向が
所定回数だけ継続して検出された場合に障害物候補が接
近中であることを認識するようにしたので、自車両に対
して危険度の高い接近中の移動体を誤認識することなく
さらに確実に認識することのできる自動車用移動体認識
装置が得られる効果がある。
項５において、移動体認識手段は、所定時間前から今回
までの障害物候補の垂直位置の接近中を示す移動方向が
所定回数だけ継続して検出された場合に障害物候補が接
近中であることを認識するようにしたので、自車両に対
して危険度の高い接近中の移動体を誤認識することなく
さらに確実に認識することのできる自動車用移動体認識
装置が得られる効果がある。
【図１】 この発明の実施例１（請求項１〜請求項３に
対応）の概略構成を示すブロック図である。
対応）の概略構成を示すブロック図である。
【図２】 この発明の実施例１による移動体認識アルゴ
リズムを示すフローチャートである。
リズムを示すフローチャートである。
【図３】 この発明の実施例１による表示画像例および
そのヒストグラムデータを示す説明図である。
そのヒストグラムデータを示す説明図である。
【図４】 図３の画像から所定時間経過後の表示画像例
およびそのヒストグラムデータを示す説明図である。
およびそのヒストグラムデータを示す説明図である。
【図５】 この発明の実施例２（請求項４に対応）にお
ける複数のヒストグラムデータを示す説明図である。
ける複数のヒストグラムデータを示す説明図である。
【図６】 一般的な従来の自動車用移動体認識装置の概
略構成を示すブロック図である。
略構成を示すブロック図である。
【図７】 高速化を目的とした従来の自動車用移動体認
識装置の概略構成を示すブロック図である。
識装置の概略構成を示すブロック図である。
【図８】 従来の自動車用移動体認識装置による前回お
よび今回の表示画像例を示す説明図である。
よび今回の表示画像例を示す説明図である。
【図９】 従来の自動車用移動体認識装置におけるオプ
ティカルフロー演算の対象となる前回および今回の画像
内の小領域を示す説明図である。
ティカルフロー演算の対象となる前回および今回の画像
内の小領域を示す説明図である。
【図１０】 従来の自動車用移動体認識装置におけるオ
プティカルフロー演算後に移動が認識された今回の画像
内の小領域を示す説明図である。
プティカルフロー演算後に移動が認識された今回の画像
内の小領域を示す説明図である。
１ カメラ、５Ａ ＣＰＵ、７ ＣＲＴ、１３ 水平エ
ッジ検出部、１４ 水平エッジ加算手段、ｃ ヒストグ
ラムデータの閾値、Ｅａ ヒストグラムデータ、Ｅｈ
水平エッジ、Ｇ 画像信号、ＨＤ１ 前回の複数のヒス
トグラムデータ、ＨＤ２ 今回の複数のヒストグラムデ
ータ、ｑ、ｑ１、ｑ２ 垂直位置、ｑ（ｔｎ） 今回の
障害物候補位置、ｑ（ｔｎ-1） 前回の障害物候補位
置、Ｓ１ 障害物候補を検出するステップ、Ｓ２ 障害
物候補が移動体であることを認識するステップ。
ッジ検出部、１４ 水平エッジ加算手段、ｃ ヒストグ
ラムデータの閾値、Ｅａ ヒストグラムデータ、Ｅｈ
水平エッジ、Ｇ 画像信号、ＨＤ１ 前回の複数のヒス
トグラムデータ、ＨＤ２ 今回の複数のヒストグラムデ
ータ、ｑ、ｑ１、ｑ２ 垂直位置、ｑ（ｔｎ） 今回の
障害物候補位置、ｑ（ｔｎ-1） 前回の障害物候補位
置、Ｓ１ 障害物候補を検出するステップ、Ｓ２ 障害
物候補が移動体であることを認識するステップ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/20 Ｇ０８Ｇ 1/16 Ｃ Ｈ０４Ｎ 7/18 Ｊ
Claims (8)
- 【請求項１】 車両周辺の環境を撮影するカメラと、 前記カメラから得られる画像信号に基づいて水平エッジ
を検出する水平エッジ検出手段と、 前記水平エッジの画素データを水平方向に加算して、画
像内の垂直位置に対するヒストグラムデータを求める水
平エッジ加算手段と、 前記ヒストグラムデータに基づいて障害物候補の垂直位
置を検出する障害物候補検出手段と、 所定時間前から今回までの前記障害物候補の垂直位置に
基づいて前記障害物候補が移動体であることを認識する
移動体認識手段とを備えた自動車用移動体認識装置。 - 【請求項２】 前記障害物候補検出手段は、前記ヒスト
グラムデータが所定値以上の場合に、前記ヒストグラム
データの垂直位置に前記障害物候補が存在することを判
定することを特徴とする請求項１の自動車用移動体認識
装置。 - 【請求項３】 前記移動体認識手段は、所定時間前から
今回までの前記障害物候補の垂直位置の移動量が所定値
以上の場合に前記障害物候補が移動体であることを認識
することを特徴とする請求項１または請求項２の自動車
用移動体認識装置。 - 【請求項４】 前記障害物候補検出手段は、複数のヒス
トグラムデータに基づいて前記障害物候補の垂直位置を
検出し、 前記移動体認識手段は、前記複数のヒストグラムデータ
の所定時間前から今回までの自己相関に基づいて前記移
動量を求めることを特徴とする請求項１の自動車用移動
体認識装置。 - 【請求項５】 前記移動体認識手段は、所定時間前から
今回までの前記障害物候補の垂直位置の移動方向に基づ
いて前記移動体が接近中であることを認識することを特
徴とする請求項１から請求項４までのいずれかの自動車
用移動体認識装置。 - 【請求項６】 前記障害物候補検出手段は、前記所定値
以上のヒストグラムデータが所定回数だけ継続して検出
された場合に前記ヒストグラムデータの垂直位置に前記
障害物候補が存在することを判定することを特徴とする
請求項２の自動車用移動体認識装置。 - 【請求項７】 前記移動体認識手段は、前記所定値以上
の移動量が所定回数だけ継続して検出された場合に前記
障害物候補が移動体であることを認識することを特徴と
する請求項３の自動車用移動体認識装置。 - 【請求項８】 前記移動体認識手段は、所定時間前から
今回までの前記障害物候補の垂直位置の接近中を示す移
動方向が所定回数だけ継続して検出された場合に前記障
害物候補が接近中であることを認識することを特徴とす
る請求項５の自動車用移動体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07481194A JP3226415B2 (ja) | 1994-04-13 | 1994-04-13 | 自動車用移動体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07481194A JP3226415B2 (ja) | 1994-04-13 | 1994-04-13 | 自動車用移動体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07280517A true JPH07280517A (ja) | 1995-10-27 |
| JP3226415B2 JP3226415B2 (ja) | 2001-11-05 |
Family
ID=13558073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07481194A Expired - Fee Related JP3226415B2 (ja) | 1994-04-13 | 1994-04-13 | 自動車用移動体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3226415B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006226682A (ja) * | 2005-02-15 | 2006-08-31 | Daihatsu Motor Co Ltd | 車両の赤外線撮影表示装置及び赤外線撮影表示方法 |
| US7612800B2 (en) | 2002-06-27 | 2009-11-03 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
| CN103718214A (zh) * | 2011-08-02 | 2014-04-09 | 日产自动车株式会社 | 移动体检测装置和移动体检测方法 |
| KR20150048062A (ko) * | 2013-10-25 | 2015-05-06 | 인피니언 테크놀로지스 아게 | 트레이스 정보를 센서 데이터와 링크하기 위한 방법 및 시스템 |
| US9881233B2 (en) | 2014-09-30 | 2018-01-30 | Denso Corporation | Image recognition apparatus |
| US10397544B2 (en) | 2010-08-19 | 2019-08-27 | Nissan Motor Co., Ltd. | Three-dimensional object detection device and three-dimensional object detection method |
-
1994
- 1994-04-13 JP JP07481194A patent/JP3226415B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7612800B2 (en) | 2002-06-27 | 2009-11-03 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
| JP2006226682A (ja) * | 2005-02-15 | 2006-08-31 | Daihatsu Motor Co Ltd | 車両の赤外線撮影表示装置及び赤外線撮影表示方法 |
| US10397544B2 (en) | 2010-08-19 | 2019-08-27 | Nissan Motor Co., Ltd. | Three-dimensional object detection device and three-dimensional object detection method |
| CN103718214A (zh) * | 2011-08-02 | 2014-04-09 | 日产自动车株式会社 | 移动体检测装置和移动体检测方法 |
| JP5664787B2 (ja) * | 2011-08-02 | 2015-02-04 | 日産自動車株式会社 | 移動体検出装置及び移動体検出方法 |
| US9665781B2 (en) | 2011-08-02 | 2017-05-30 | Nissan Motor Co., Ltd. | Moving body detection device and moving body detection method |
| KR20150048062A (ko) * | 2013-10-25 | 2015-05-06 | 인피니언 테크놀로지스 아게 | 트레이스 정보를 센서 데이터와 링크하기 위한 방법 및 시스템 |
| JP2015121531A (ja) * | 2013-10-25 | 2015-07-02 | インフィネオン テクノロジーズ アーゲーＩｎｆｉｎｅｏｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ａｇ | トレース情報とセンサ・データをリンク付けするためのシステムおよび方法 |
| US9881233B2 (en) | 2014-09-30 | 2018-01-30 | Denso Corporation | Image recognition apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3226415B2 (ja) | 2001-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| US5554983A (en) | Object recognition system and abnormality detection system using image processing | |
| US5521633A (en) | Motor vehicle obstacle monitoring system using optical flow processing | |
| JP3880759B2 (ja) | 移動物体検出方法 | |
| US7729512B2 (en) | Stereo image processing to detect moving objects | |
| JP3350296B2 (ja) | 顔画像処理装置 | |
| KR101609303B1 (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
| JP2003098424A (ja) | 画像処理測距装置 | |
| KR101326943B1 (ko) | 추월차량 경고 시스템 및 추월차량 경고 방법 | |
| US9349207B2 (en) | Apparatus and method for parsing human body image | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| EP3584763A1 (en) | Vehicle-mounted environment recognition device | |
| JPH11351862A (ja) | 前方車両検出方法及び装置 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| KR101236223B1 (ko) | 차선 검출 방법 | |
| JP3226415B2 (ja) | 自動車用移動体認識装置 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
| JPH07249128A (ja) | 車両用画像処理装置 | |
| JPH10320559A (ja) | 車両用走行路検出装置 | |
| JP3760426B2 (ja) | 走行車線検出方法及びその装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| WO2017077261A1 (en) | A monocular camera cognitive imaging system for a vehicle | |
| JP4151631B2 (ja) | 物体検出装置 | |
| JP2000125288A (ja) | 物体追跡方法及び物体追跡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070831 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080831 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080831 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090831 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090831 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |