JP4039423B2 - エッジ位置算出装置、障害物検出システム - Google Patents

Description

本発明は、画像のエッジ位置を算出する装置、および、そのエッジ位置算出装置を用いて構成される車両用の障害物検出システムに関する。

カメラによる撮像画像などの被検出画像から、障害物の検出などのためにエッジ位置を求める際に、画素サイズよりも小さい精度（サブピクセル精度）で求める方法が知られている。たとえば特許文献１には、所定のテンプレート画像との相関値が最大となる画素を計測点とし、その計測点の周囲の８近傍点における相関値を計測して、これらの近傍点の座標と相関値から求められる多変数多項式回帰曲面のピーク点をエッジのサブピクセル位置とする方法が開示されている。

特開平５−１２０４３６号公報

特許文献１に開示される方法では、被検出画像とテンプレート画像との相関値を求めることで計測点のサブピクセル位置を算出している。この方法では、相関値を精度良く算出するために一定の大きさ以上の画像をテンプレート画像とする必要がある。したがって、遠方の撮像画像を被検出画像としたときなど、画像上において物体間の間隔が狭くてエッジが近接しているような場合には、相関値を精度良く算出できないため、エッジの正確なサブピクセル位置を算出できないという問題がある。

本発明によるエッジ位置算出装置は、時間的に連続する画像を取得する画像取得手段と、画像取得手段により取得された画像より１または２以上のエッジを抽出するエッジ抽出手段と、画像取得手段により取得された画像でエッジ抽出手段により抽出されたエッジが通過する範囲内にあるいずれかの画素をサンプル点として特定し、そのサンプル点における輝度の時間変化を計測する輝度変化計測手段と、輝度変化計測手段により計測されたサンプル点における輝度の時間変化に基づいて、エッジ抽出手段により抽出されたエッジが存在する画素を対象点として、その対象点の輝度をサブピクセル位置に変換するための変換テーブルを作成する変換テーブル作成手段と、対象点における輝度を計測する輝度計測手段と、変換テーブル作成手段により作成された変換テーブルに基づいて、輝度計測手段により計測された対象点における輝度をサブピクセル位置に変換することにより、対象点内におけるエッジの位置を示すサブピクセル位置を算出するサブピクセル位置算出手段とを備えるものである。

本発明によれば、サンプル点における輝度の時間変化を計測し、それに基づいて、エッジが存在する対象点の輝度をサブピクセル位置に変換するための変換テーブルを作成し、作成された変換テーブルに基づいて、対象点における輝度をサブピクセル位置に変換することにより、対象点内におけるエッジ位置を示すサブピクセル位置を算出することとした。このようにしたので、エッジが近接している場合にも、サブピクセル位置を正確に算出することができる。

本発明の一実施形態による車両用障害物検出システムの構成を図１に示す。本システムは、車両に搭載されて使用され、その自車両の周囲の撮像画像をカメラにより取得して、自車両周囲に存在する他車両などの障害物を検出し、ユーザに障害物の存在を知らせるものである。図１に示すとおり、本システムはカメラ１、画像メモリ２、マイコン３、モニタ４およびカメラ制御装置５を備えている。

カメラ１は、自車両においてその周囲を適切に撮像できるような位置、たとえばルームミラーの背面等に設置されている。カメラ１によって撮像された画像は、所定のフレームレートで画像メモリ２へ出力される。なお、カメラ１はいわゆる高速度カメラであり、通常のカメラのフレームレート（たとえば３３ｍｓ）よりも短いフレームレート（たとえば２ｍｓ）で画像を撮像することができる。カメラ１のフレームレートは可変であり、後述するようにカメラ制御装置５によって制御される。カメラ１には、たとえばＣＣＤやＣＭＯＳカメラ等が用いられる。

画像メモリ２は、カメラ１からの撮像画像データを記憶保持するためのフレームメモリである。画像メモリ２に記憶された撮像画像データは、マイコン３の制御により、画像フレーム単位でマイコン３に出力される。

マイコン３は、画像メモリ２から出力される撮像画像データに基づいて、撮像画像からエッジを抽出し、そのエッジのサブピクセル位置を算出する。ここでいうエッジとは、検出対象とする物体が撮像画像中に占めている領域の境界線に当たる部分である。また、サブピクセル位置とは、撮像画像の画素ピッチよりも細かくエッジの位置を示したものである。すなわちサブピクセル位置は、撮像画像においてエッジが存在する画素（以下、対象点という）内におけるエッジ位置を示している。マイコン３はさらに、算出されたサブピクセル位置に基づいて、エッジ速度を算出することにより、自車両周囲の障害物を検出する。なお、このときの具体的な処理内容については、後で説明する。

モニタ４は、インストルメントパネル上部など、車室内においてユーザから見やすい位置に設置されている。上記のマイコン３の処理によって検出された障害物の存在は、モニタ４に表示される。この表示をユーザが視認することで、ユーザは障害物を認識することができる。なお、障害物の表示を行う際に警告音などを発するようにして、ユーザに注意を喚起するようにしてもよい。

カメラ制御装置５は、マイコン３からの指令に基づいて、カメラ２の撮像フレームレートを制御する。この具体的な動作内容については、後で説明する。

障害物を検出する際にマイコン３において実行される処理のフローチャートを図２に示す。ステップＳ１００では、画像メモリ２からの撮像画像データに基づいて、対象点の輝度をサブピクセル位置に変換するための変換テーブルを作成する。この変換テーブル作成処理の具体的な内容については、後で図３のフローチャートを用いて詳しく説明する。

ステップＳ２００では、エッジ位置・速度算出処理を実行する。この処理では、撮像画像からエッジを抽出して、そのエッジのサブピクセル位置と画像上の移動速度を算出する。なお、後で説明するようにエッジの画像上の移動速度には、サブピクセル位置の時間変化に基づいて算出されるもの（以下、サブピクセル速度という）と、対象点の位置の時間変化、すなわちオプティカルフローに基づいて算出されるもの（以下、オプティカルフロー速度という）との２種類がある。このエッジ位置・速度算出処理の具体的な内容については、後で図４のフローチャートを用いて詳しく説明する。

ステップＳ３００では、ステップＳ２００において算出されたエッジ速度に基づいて、自車両周囲に存在する障害物の検出を行う。たとえば、エッジ速度が所定値以上である場合には障害物として検出する。ステップＳ４００では、ステップＳ３００において障害物が検出されたか否かを判定する。障害物が検出された場合はステップＳ５００へ進み、ステップＳ５００において検出された障害物をモニタ４に表示してから、ステップＳ６００に進む。障害物が検出されなかった場合は、ステップＳ４００からステップＳ５００を実行せずにステップＳ６００へと進む。

ステップＳ６００では、ステップＳ２００において算出された２種類のエッジ速度、すなわち、サブピクセル速度とオプティカルフロー速度との差が、あらかじめ定められた所定値以上であるか否かを判定する。これらの差が所定値以上であった場合はステップＳ１００へ戻り、ステップＳ１００の変換テーブル作成処理を再び実行する。これにより変換テーブルを新たに作成し、それまでの変換テーブルを更新する。変換テーブルの更新後には、ステップＳ２００以降の処理を実行する。一方、サブピクセル速度とオプティカルフロー速度との差が所定値よりも小さかった場合は、ステップＳ２００へ戻ってそれ以降の処理を実行する。この場合には、変換テーブルの更新は行われない。マイコン３では、以上説明したような処理が繰り返し実行される。

次に、ステップＳ１００の変換テーブル作成処理の内容について、図３のフローチャートにより説明する。ステップＳ１０１では、画像メモリ２から撮像画像データを入力することにより、以降の処理対象とする画像を入力する。なお、ここではカメラ１によって取得された時間的に連続する画像のうち、１フレーム分の画像データのみを入力する。ステップＳ１０２では、ステップＳ１０１で入力した画像よりエッジを抽出する。このエッジ抽出には、ソベルフィルタと呼ばれる周知の画像フィルタを用いた画像処理手法などを用いることができる。これにより、１つまたは２つ以上のエッジが抽出される。なお、エッジが１つも抽出されなかった場合には、再度ステップＳ１０１を実行して違うフレームの画像を入力することにより、エッジが抽出されるまでステップＳ１０２を実行する。

ステップＳ１０３では、ステップＳ１０２で抽出されたエッジの全てについて、その近傍に他のエッジがあるか否かを判定する。たとえば、そのエッジから４ピクセル以内の範囲に他のエッジがある場合には、近傍に他のエッジがあるものと判定する。こうして全てのエッジの近傍に他のエッジが存在すると判定された場合は、ステップＳ１０１へ戻って違うフレームの画像を入力し、その後ステップＳ１０２において再度エッジ抽出を行う。一方、いずれかのエッジについてその近傍に他のエッジが存在しないと判定された場合は、次のステップＳ１０４において、そのエッジのうちのいずれかを選択する。なお、ステップＳ１０４では、近傍に他のエッジが存在しなければどのエッジを選択してもよい。

ステップＳ１０５では、ステップＳ１０４で選択したエッジが存在する位置、すなわち前述した対象点の位置に基づいて、その画像上の動きにより、そのエッジについてのオプティカルフローを算出する。ステップＳ１０６では、ステップＳ１０５で算出したオプティカルフローに基づいて、入力画像内の特定の画素を、後のステップＳ１０８において輝度を計測する画素（以下、サンプル点という）として設定する。具体的には、エッジがこれから通過する画像範囲をオプティカルフローの向きから判断して、その画像範囲内にある画素のいずれかをサンプル点として特定する。

ステップＳ１０７では、次のステップＳ１０８においてサンプル点の輝度を計測するときのサンプリングレートを設定する。このとき、ステップＳ１０５において算出したオプティカルフローに基づいてサンプリングレートが設定される。オプティカルフローが大きい場合、すなわちエッジの画像上の移動速度が速い場合には、ステップＳ１０７においてより大きなサンプリングレートを設定し、これによってサンプル点の輝度をより高速に計測できるようにする。逆にオプティカルフローが小さい場合、すなわちエッジの画像上の移動速度が遅い場合には、ステップＳ１０７においてより小さなサンプリングレートを設定する。これにより、エッジがサンプル点を通過している間に、その輝度を一定の回数以上で計測できるようにする。

ステップＳ１０８では、サンプル点の輝度を計測する。次のステップＳ１０９では、ステップＳ１０８の実行回数が予め定められた計測回数に到達したか否かを判定することにより、計測を終了するか否かを判断する。計測回数にまだ達していない場合は、ステップＳ１１１へ進んで新たな画像入力を行った後に、ステップＳ１０８へ戻ってサンプル点輝度の計測を繰り返す。このように、ステップＳ１０７で設定されたサンプリングレートの周期に従って、画像入力と輝度計測が繰り返し行われる。なお、ＣＭＯＳカメラであれば指定した画素ごとに画像データを入力できるため、カメラ１にＣＭＯＳカメラを使用している場合には、ステップＳ１１１の画像入力をサンプル点のみについて行ってもよい。こうした処理を繰り返すことで所定の計測回数に達したら、ステップＳ１０９において計測を終了すると判断して、ステップＳ１１０へ進む。

ステップＳ１１０では、それまでに取得されたサンプル点における輝度の時間変化に基づいて、変換テーブルを作成する。具体的には、ステップＳ１０８において計測した輝度データを計測時間順に並べることにより、サンプル点における輝度の時間変化を求める。そして、サンプル点をエッジが通過する際の計測時間をサブピクセル位置に置き換えることにより、サブピクセル位置に応じて輝度がどのように変化するかを調べ、その結果をテーブル化する。このようにして、対象点の輝度をサブピクセル位置に変換するための変換テーブルが作成される。ステップＳ１１０を実行したら、図３の変換テーブル作成処理を終了する。

なお、上記の変換テーブル作成処理において、前述したようにカメラ１にＣＭＯＳカメラを使用しており、ステップＳ１１１においてサンプル点のみについて画像入力をすることができる場合には、カメラ１から画像メモリ２へ撮像画像を出力するときのフレームレートよりも、ステップＳ１０７で設定されるサンプリングレートの方を大きくすることが好ましい。このようにすれば、サンプル点における輝度の時間変化を撮像画像のフレームレートよりも短い周期間隔で計測することができるため、精度の高い変換テーブルを作成することができる。

次に、図２のステップＳ２００において実行されるエッジ位置・速度算出処理の内容について、図４のフローチャートにより説明する。ステップＳ２０１とＳ２０２では、図３のステップＳ１０１およびＳ１０２と同様に画像入力とエッジ抽出を行う。ステップＳ２０３では、ステップＳ２０２で抽出したエッジの画像上の動きにより、そのエッジについてのオプティカルフローを算出する。なお、このステップＳ２０３以降の処理は、ステップＳ２０１においてエッジが複数抽出された場合には、その各エッジについてそれぞれに実行される。

ステップＳ２０４では、対象点すなわちステップＳ２０２で抽出したエッジが存在する画素を特定する。次のステップＳ２０５では、物体輝度と背景輝度を算出する。物体輝度は、そのエッジを有する物体の輝度を表しており、背景輝度は、その物体の背景部分の輝度を表している。これらの輝度は、エッジの動きすなわちステップＳ２０３で算出したオプティカルフローに基づいて、ステップＳ２０４で特定した対象点の周囲にある画素の中から物体領域内と背景領域内にそれぞれ位置する画素を選び、その画素の輝度を測定することによって求めることができる。

ステップＳ２０６では、ステップＳ２０４で特定された対象点の輝度を計測する。ステップＳ２０７では、図３の変換テーブル作成処理によって作成された変換テーブルを用いて、ステップＳ２０６で計測した対象点の輝度をサブピクセル位置に変換する。これにより、変換テーブルに基づいてエッジのサブピクセル位置が算出される。ステップＳ２０８では、ステップＳ２０７で算出されたサブピクセル位置の時間変化量を求めることにより、そのエッジのサブピクセル速度を算出する。

なお、ステップＳ２０７で変換テーブルを用いて対象点の輝度をサブピクセル位置に変換する際には、ステップＳ２０５で算出した物体輝度と背景輝度により、その時点の物体と背景の明るさに合わせて変換テーブルの値を正規化する。たとえば、変換テーブルにおいてエッジ通過前（または通過後）の輝度を１００％、通過後（または通過前）の輝度を０％として、エッジ通過中の輝度が何％のときにサブピクセル位置がいくつであるかを求めることにより、変換テーブルを輝度の百分率によって表す。そして、背景輝度を０％、物体輝度を１００％としたときに対象点の輝度が何％であるかを算出し、上記の輝度の百分率によって表した変換テーブルを用いて、その算出値をサブピクセル位置に変換する。このようにすることで、変換テーブルの値を正規化して、対象点の輝度をサブピクセル位置に変換する。

ステップＳ２０９では、ステップＳ２０７でサブピクセル位置を求めたエッジの近傍に他のエッジが存在するか否かを判定する。近傍に他のエッジが存在する場合はステップＳ２１０へ進み、そのエッジの速度を表すものとして、ステップＳ２０８で算出されたサブピクセル速度を採用する。一方、近傍に他のエッジが存在しない場合はステップＳ２１１へ進み、そのエッジの速度を表すものとして、ステップＳ２０３で算出されたオプティカルフローを採用する。このようにして、近傍に他のエッジが存在すると判定されたエッジについては、サブピクセル位置に基づいて算出されたサブピクセル速度により、図２のステップＳ３００において障害物を検出する。一方、近傍に他のエッジが存在しないと判定されたエッジについては、対象点の位置に基づいて算出されたオプティカルフロー速度により、図２のステップＳ３００において障害物を検出する。ステップＳ２１０または２１１のいずれかを実行したら、図４のエッジ位置・速度算出処理を終了する。

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）サンプル点における輝度の時間変化を計測し、それに基づいて、エッジが存在する対象点内におけるエッジ位置を示すサブピクセル位置を算出することとした。具体的には、サンプル点における輝度の時間変化に基づいて変換テーブルを作成し（ステップＳ１１０）、その変換テーブルに基づいて対象点における輝度をサブピクセル位置に変換することにより（ステップＳ２０７）、サブピクセル位置を算出することとした。このようにしたので、エッジが近接している場合にも、サブピクセル位置を正確に算出することができる。

（２）サブピクセル位置の時間変化に基づいて算出されたサブピクセル速度と、対象点の位置の時間変化に基づいて算出されたオプティカルフロー速度との差が所定値以上であるか否かを判定し（ステップＳ６００）、所定値以上であると判定された場合は、変換テーブルを新たに作成してそれまでの変換テーブルを更新する（ステップＳ１００）こととした。このようにしたので、変換テーブルの更新が必要な場合には自動的に更新を行って、常に精度良くサブピクセル位置を算出することができる。

（３）サンプル点における輝度の時間変化を画像のフレームレートよりも短い周期間隔で計測し（ステップＳ１０８〜Ｓ１１１）、その計測結果を用いて変換テーブルを作成する（ステップＳ１１０）こととすれば、精度の高い変換テーブルを作成することができる。

（４）エッジの近傍に他のエッジが存在するか否かを判定し（ステップＳ２０９）、近傍に他のエッジが存在すると判定されたエッジについては、サブピクセル位置に基づいて算出されるサブピクセル速度を採用して（ステップＳ２１０）、そのサブピクセル速度に基づいて障害物を検出する（ステップＳ３００）。また、近傍に他のエッジが存在しないと判定されたエッジについては、対象点の位置に基づいて算出されるオプティカルフローを採用して（ステップＳ２１１）、そのオプティカルフローに基づいて障害物を検出する（ステップＳ３００）。このようにしたので、エッジ同士の接近状態に応じて最適な方法で障害物を検出することができる。

なお、上記の実施形態では、マイコン３においてエッジのサブピクセル位置を算出し、そのサブピクセル位置に基づいてエッジ速度を求めることにより、車両周囲の障害物を検出する例を説明した。しかし、エッジのサブピクセル位置を算出するエッジ位置算出装置と、そのサブピクセル位置に基づいて車両周囲の障害物を検出する障害物検出装置とを有する車両用の障害物検出システムにおいて、本発明を適用するようにしてもよい。

上記の実施形態では、画像取得手段をカメラ１により実現し、その他の各手段をマイコン３の処理によって実現しているが、これはあくまで一例であって、本発明の特徴が損なわれない限り、各構成要素は上記実施の形態に限定されない。

本発明の一実施形態による車両用障害物検出システムの構成を示す図である。 障害物を検出する際に実行される処理のフローチャートである。 変換テーブル作成処理の内容を示すフローチャートである。 エッジ位置・速度算出処理の内容を示すフローチャートである。

符号の説明

１：カメラ
２：メモリ
３：マイコン
４：モニタ
５：カメラ制御装置

Claims (5)

1. 時間的に連続する画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像より１または２以上のエッジを抽出するエッジ抽出手段と、
   前記画像取得手段により取得された画像で前記エッジ抽出手段により抽出されたエッジが通過する範囲内にあるいずれかの画素をサンプル点として特定し、そのサンプル点における輝度の時間変化を計測する輝度変化計測手段と、
   前記輝度変化計測手段により計測された前記サンプル点における輝度の時間変化に基づいて、前記エッジ抽出手段により抽出されたエッジが存在する画素を対象点として、その対象点の輝度をサブピクセル位置に変換するための変換テーブルを作成する変換テーブル作成手段と、
   前記対象点における輝度を計測する輝度計測手段と、
   前記変換テーブル作成手段により作成された変換テーブルに基づいて、前記輝度計測手段により計測された前記対象点における輝度を前記サブピクセル位置に変換することにより、前記対象点内における前記エッジの位置を示すサブピクセル位置を算出するサブピクセル位置算出手段とを備えることを特徴とするエッジ位置算出装置。
2. 請求項１のエッジ位置算出装置において、
   前記サブピクセル位置の時間変化に基づいて前記エッジの画像上の移動速度をサブピクセル速度として算出する第１の速度算出手段と、
   前記対象点の位置の時間変化に基づいて前記エッジの画像上の移動速度をオプティカルフロー速度として算出する第２の速度算出手段と、
   前記サブピクセル速度と前記オプティカルフロー速度との差が所定値以上であるか否かを判定する速度差判定手段とをさらに備え、
   前記変換テーブル作成手段は、前記速度差判定手段により前記サブピクセル速度と前記オプティカルフロー速度との差が所定値以上であると判定された場合、前記変換テーブルを新たに作成してそれまでの変換テーブルを更新することを特徴とするエッジ位置算出装置。
3. 請求項１または２のエッジ位置算出装置において、
   前記輝度変化計測手段は、前記サンプル点における輝度の時間変化を前記画像のフレームレートよりも短い周期間隔で計測することを特徴とするエッジ位置算出装置。
4. 前記画像取得手段により時間的に連続する車両周囲の撮像画像を取得して、前記サブピクセル位置算出手段により前記サブピクセル位置を算出する、請求項１〜３のいずれかに記載したエッジ位置算出装置と、
   そのサブピクセル位置に基づいて、車両周囲の障害物を検出する障害物検出装置とを備えた車両用の障害物検出システム。
5. 請求項４の障害物検出システムにおいて、
   前記エッジ抽出手段により抽出されたエッジの各々について、そのエッジの近傍に他のエッジが存在するか否かを判定する近傍エッジ判定手段をさらに備え、
   前記障害物検出装置は、前記近傍エッジ判定手段により近傍に他のエッジが存在すると判定されたエッジについては、前記サブピクセル位置に基づいて前記障害物を検出し、
   前記近傍エッジ判定手段により近傍に他のエッジが存在しないと判定されたエッジについては、前記対象点の位置に基づいて前記障害物を検出することを特徴とする障害物検出システム。

Images