JP4557712B2

JP4557712B2 - 運転支援システム

Info

Publication number: JP4557712B2
Application number: JP2004380183A
Authority: JP
Inventors: 仁志本郷; 長輝楊
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-12-28
Filing date: 2004-12-28
Publication date: 2010-10-06
Anticipated expiration: 2024-12-28
Also published as: JP2006186840A

Description

この発明は、運転支援システムに関する。

自動車などの運転者にとって、路地やガレージなどから道路に出る際は、周りの塀や建物により死角が生じるため、周囲の確認が難しくなる。また、後進するときも、車体により死角が生じるため、周囲の確認が難しくなる。そこで、運転者の死角となる車体の近傍周囲を車載のカメラによって撮像し、得られた画像をカーナビゲーションシステムなどの表示器に表示するようにした運転支援システムが開発されている。

運転支援システムとして、車体の前側に前斜め左方向を撮像するカメラと前斜め右方向を撮像するカメラとを設置し、それらのカメラの撮像画像をそれぞれ２つの画面として表示させるシステムがある。このようなシテスムでは、２つのカメラの撮像画像が別々の画面に表示されるため、空間を認知しにくい。そこで、これらの２台のカメラの撮像画像を合成してパノラマ画像を生成し、得られたパノラマ画像を１つの画面に表示するようにしたシステムも開発されている。このようなシステムでは、人や物体の位置関係が分かりやすくなる。

ところで、パノラマ画像を１つの画面に表示する運転支援システムにおいては、車両の進行方向がパノラマ画像の左右方向中央と合致している場合には、パノラマ画像上で車両の進行方向を把握することが容易である。しかしながら、左折、右折のように車両の進行方向が変化する場合には、車両の向きとタイヤの向きとにずれが生じるため、パノラマ画像の左右方向中央がタイヤの向きで決まる車両の進行方向と一致しなくなる。このため、パノラマ画像上で車両の進行方向を把握することが難しくなる。
特許第３２９８８５１号特許第３２９７０４０号特許第３４３５０８４号

この発明は、撮像画像または複数の撮像画像の合成画像を表示する運転支援システムにおいて、表示画像上で車両の進行方向を認識しやすくなる運転支援システムを提供することを目的とする。

請求項１に記載の発明は、車両に搭載された表示器、車両に搭載された撮像装置、上記撮像装置によって撮像された撮像画像を所与のタイミングで取り込む画像取込み手段、上記画像取込み手段によって取り込まれた撮像画像に基づいて、上記撮像画像内の各部の動きを検出する動き検出手段、上記動き検出手段によって検出された撮像画像内の各部の動きに基づいて、撮像画像上での車両の進行方向を推定する移動方向推定手段、ならびに上記移動方向推定手段によって推定された車両の進行方向に基づいて、車両の進行方向を示す指標を撮像画像に合成し、得られた合成画像を上記表示器に表示させる手段を備えていることを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、上記動き検出手段によって検出された撮像画像内の各部の動きに基づいて、車両が所定量以上移動したか否かを判別する判別手段、および上記判別手段によって車両が所定量以上移動したと判別されたときに、今回取り込まれた撮像画像を動き検出のための基準画像として記憶させる基準画像記憶手段を備えており、上記動き検出手段は、上記画像取込み手段によって今回取り込まれた撮像画像と、上記基準画像記憶手段によって最新に記憶された基準画像とに基づいて、撮像画像内の各部の動きを検出するものであり、上記移動方向推定手段は、上記判別手段によって車両が所定量以上移動したと判別された場合に、上記動き検出手段によって検出された撮像画像内の各部の動きに基づいて、撮像画像上での車両の進行方向を推定するものであることを特徴とする。

請求項３に記載の発明は、車両に搭載された表示器、車両に搭載された複数の撮像装置、上記複数の撮像装置によって撮像された撮像画像を所与のタイミングで取り込む画像取込み手段、上記画像取込み手段によって取り込まれた複数の撮像画像を合成してパノラマ画像を生成するパノラマ画像生成手段、上記パノラマ画像生成手段によって生成されたパノラマ画像に基づいて、上記パノラマ画像内の各部の動きを検出する動き検出手段、上記動き検出手段によって検出されたパノラマ画像内の各部の動きに基づいて、パノラマ画像上での車両の進行方向を推定する移動方向推定手段、ならびに上記移動方向推定手段によって推定された車両の進行方向に基づいて、車両の進行方向を示す指標をパノラマ画像に合成し、得られた合成画像を上記表示器に表示させる手段を備えていることを特徴とする。

請求項４に記載の発明は、請求項３に記載の発明において、上記動き検出手段によって検出されたパノラマ画像内の各部の動きに基づいて、車両が所定量以上移動したか否かを判別する判別手段、および上記判別手段によって車両が所定量以上移動したと判別されたときに、今回生成されたパノラマ画像を動き検出のための基準画像として記憶させる基準画像記憶手段を備えており、上記動き検出手段は、上記パノラマ画像生成手段によって今回生成されたパノラマ画像と、上記基準画像記憶手段によって最新に記憶された基準画像とに基づいて、撮像画像内の各部の動きを検出するものであり、上記移動方向推定手段は、上記判別手段によって車両が所定量以上移動したと判別された場合に、上記動き検出手段によって検出されたパノラマ画像内の各部の動きに基づいて、パノラマ画像上での車両の進行方向を推定するものであることを特徴とする。

この発明によれば、撮像画像または複数の撮像画像の合成画像を表示する運転支援システムにおいて、表示画像上で車両の進行方向を認識しやすくなる。

以下、図面を参照して、この発明を車両の前方側を撮像して表示する運転支援システムに適用した場合の実施例について説明する。

図１は、自動車に搭載された２台のカメラを示している。

自動車の車体１０の前側に、前斜め左方向を撮像するカメラ１と前斜め右方向を撮像するカメラ２とが設置されている。各カメラ１、２の視野角θ１、θ２はそれぞれ約９０度程度であり、各カメラ１、２の撮像範囲の一部が重なるように、各カメラ１、２は配置されている。

図２は、運転支援システムの構成を示している。

運転支援システムは、２台のカメラ１、２、各カメラ１、２の撮像画像をフレーム毎に記憶するフレームメモリ３、４、フレームメモリ３、４に記憶された撮像画像に基づいて、パノラマ画像を生成するとともにパノラマ画像上での車両の進行方向を推定し、パノラマ画像と車両の進行方向を示す指標（マーカ画像）とを合成して提示画像を生成する提示画像生成装置５、提示画像生成装置５によって生成された提示画像を記憶するフレームメモリ６およびフレームメモリ６に記憶されている提示画像を表示するモニタ７を備えている。提示画像生成装置５は、例えば、マイクロコンピュータから構成されている。

図３は、提示画像生成装置５による処理手順を示している。

カメラ１によって撮像された画像を第１画像といい、カメラ２によって撮像された画像を第２画像ということにする。

まず、カメラ１、２によって撮像された画像をフレームメモリ３、４から取り込む（ステップＳ１）。そして、得られた第１画像および第２画像を合成して視野角がほぼ１８０度のパノラマ画像を生成する（ステップＳ２）。この画像合成は、よく知られているように、一方の画像上の点に対応する他方の画像上の位置を求めるための射影変換行列を予め求めておき、この射影変換行列を用いて一方の画像上の各点の座標を他方の画像上の座標に変換することにより行われる。

ステップＳ２で生成されたパノラマ画像が、提示画像生成装置５による今回の処理が開始されてから最初に生成されたパノラマ画像であるか否かを判別する（ステップＳ３）。ステップＳ２で生成されたパノラマ画像が、提示画像生成装置５による今回の処理が開始されてから最初に生成されたパノラマ画像である場合には、今回生成されたパノラマ画像を、オプティカルフロー算出のための基準画像として記録した後（ステップＳ４）、ステップＳ１に戻る。

上記ステップＳ３において、ステップＳ２で生成されたパノラマ画像が、提示画像生成装置５による今回の処理が開始されてから最初に生成されたパノラマ画像ではないと判別された場合には、オプティカルフロー算出のための基準画像として最新に記録されたパノラマ画像（上記ステップＳ４または後述するステップＳ７で記録された基準画像であって、最新に記録されたもの）と、今回生成されたパノラマ画像とに基づいて、オプティカルフローを算出する（ステップＳ５）。オプティカルフローとは、画像上の各点の速度場のことをいい、移動量を表す。オプティカルフローの算出方法としては、例えば、特許第３４３５０８４号に記載された方法が用いられる。

次に、算出されたオプティカルフローに基づいて、基準画像が生成された時点からの車両の移動量が所定値以上であるか否かを判別する（ステップＳ６）。具体的には、今回算出された各オプティカルフローの水平方向成分（左方向成分または右方向成分）を抽出する。各オプティカルフローの水平方向成分の絶対値の累積値を算出する。そして、各オプティカルフローの水平方向成分の絶対値の累積値が予め定められた閾値以上である場合に、車両の移動量が所定値以上であると判別する。

車両の移動量が所定値未満である場合には、ステップＳ１に戻る。車両の移動量が所定値以上である場合には、今回生成されたパノラマ画像を、オプティカルフロー算出のための基準画像として記録する（ステップＳ７）。

次に、今回生成されたパノラマ画像上での車両の進行方法を推定するための処理を行う（ステップＳ８）。

パノラマ画像においては、車両の進行方向（タイヤの向きによって定まる車両の進行方向）の近辺では画像の変化は少なく、速度場（オプティカルフロー）が小さくなる。一方、車両の進行方向に直交する方向、つまり車両の進行方向の左側および右側では、速度場（オプティカルフロー）は大きくなる。そこで、速度場（オプティカルフロー）が最も小さい方位を車両の推定方向として推定する。

具体的には、上記ステップＳ５で算出された各オプティカルフローの水平方向成分（左方向成分または右方向成分）を抽出する。パノラマ画像の各方位（最も左側の方位から最も右側の方位までの間の各方位）毎に、オプティカルフローの左方向成分の累積値（以下、左方向成分累積値という）を算出する。また、パノラマ画像の各方位毎に、オプティカルフローの右方向成分の累積値（以下、右方向成分累積値という）を算出する。また、パノラマ画像の各方位毎に、左方向成分累積値（絶対値）と右方向成分累積値（絶対値）とを加算した値（水平方向成分累積値）を算出する。そして、パノラマ画像の各方位毎の水平方向成分累積値が最も小さい方位を、車両の進行方向であると決定する。

図４は、パノラマ画像の各方位毎に算出された左方向成分累積値（曲線Ｌ）と、パノラマ画像の各方位毎に算出された右方向成分累積値（曲線Ｒ）とを示している。曲線Ｌと曲線Ｒとの交点に対応する方位が、車両の進行方向として決定される。

このようにして、車両の進行方向が決定されると、上記ステップＳ７で記録したパノラマ画像に、車両の進行方向を示すマーカ画像を合成し、得られた合成画像をフレームメモリ６に記憶させる（ステップＳ９）。フレームメモリ６に記憶された画像はモニタ４に表示される。そして、ステップＳ１に戻る。図５に、パノラマ画像Ｇ中に表示されたマーカ画像Ｍの例を示す。なお、モニタ４上に表示された合成画像は、この後ステップＳ６でＹＥＳとなり、ステップＳ９で新たに合成画像が生成されてレームメモリ６に記憶されるまで、継続して表示される。

上記実施例では、２台のカメラによって撮像された画像を合成することによってパノラマ画像を生成しているが、３台以上のカメラによって撮像された画像を合成することによってパノラマ画像を生成しもよい。また、広角レンズを用いることにより、１台のカメラによって広角画像を撮像するようにしてもよい。この場合には、１台のカメラから取り込んだ画像がパノラマ画像に相当するので、図３のステップＳ２は省略される。

また、この発明は、車両の後方側を撮像して表示する運転支援システムにも適用することができる。

自動車に搭載された２台のカメラを示す模式図である。運転支援システムの構成を示すブロック図である。提示画像生成装置３による処理手順を示すフローチャートである。パノラマ画像の各方位毎に算出された左方向成分累積値（曲線Ｌ）と、パノラマ画像の各方位毎に算出された右方向成分累積値（曲線Ｒ）との一例を示すグラフである。パノラマ画像Ｇ中に表示されたマーカ画像Ｍの例を示す模式図である。

符号の説明

１，２カメラ
３，４フレームメモリ
５提示画像生成装置
６フレームメモリ
７モニタ

Claims

車両に搭載された表示器、
車両に搭載された撮像装置、
上記撮像装置によって撮像された撮像画像を所与のタイミングで取り込む画像取込み手段、
上記画像取込み手段によって取り込まれた撮像画像に基づいて、上記撮像画像内の各部の動きを検出する動き検出手段、
上記動き検出手段によって検出された撮像画像内の各部の動きに基づいて、撮像画像上での車両の進行方向を推定する移動方向推定手段、
上記移動方向推定手段によって推定された車両の進行方向に基づいて、車両の進行方向を示す指標を撮像画像に合成し、得られた合成画像を上記表示器に表示させる手段、
上記動き検出手段によって検出された撮像画像内の各部の動きに基づいて、車両が所定量以上移動したか否かを判別する判別手段、
および、上記判別手段によって車両が所定量以上移動したと判別されたときに、今回取り込まれた撮像画像を動き検出のための基準画像として記憶させる基準画像記憶手段を備え、
上記動き検出手段は、上記画像取込み手段によって今回取り込まれた撮像画像と、上記基準画像記憶手段によって最新に記憶された基準画像とに基づいて、撮像画像内の各部の動きを検出するものであり、上記移動方向推定手段は、上記判別手段によって車両が所定量以上移動したと判別された場合に、上記動き検出手段によって検出された撮像画像内の各部の動きに基づいて、撮像画像上での車両の進行方向を推定するものであることを特徴とする運転支援システム。
車両に搭載された表示器、
車両に搭載された複数の撮像装置、
上記複数の撮像装置によって撮像された撮像画像を所与のタイミングで取り込む画像取込み手段、
上記画像取込み手段によって取り込まれた複数の撮像画像を合成してパノラマ画像を生成するパノラマ画像生成手段、
上記パノラマ画像生成手段によって生成されたパノラマ画像に基づいて、上記パノラマ画像内の各部の動きを検出する動き検出手段、
上記動き検出手段によって検出されたパノラマ画像内の各部の動きに基づいて、パノラマ画像上での車両の進行方向を推定する移動方向推定手段、
上記移動方向推定手段によって推定された車両の進行方向に基づいて、車両の進行方向を示す指標をパノラマ画像に合成し、得られた合成画像を上記表示器に表示させる手段、
上記動き検出手段によって検出されたパノラマ画像内の各部の動きに基づいて、車両が所定量以上移動したか否かを判別する判別手段、
および、上記判別手段によって車両が所定量以上移動したと判別されたときに、今回生成されたパノラマ画像を動き検出のための基準画像として記憶させる基準画像記憶手段を備え、
上記動き検出手段は、上記パノラマ画像生成手段によって今回生成されたパノラマ画像と、上記基準画像記憶手段によって最新に記憶された基準画像とに基づいて、撮像画像内の各部の動きを検出するものであり、上記移動方向推定手段は、上記判別手段によって車両が所定量以上移動したと判別された場合に、上記動き検出手段によって検出されたパノラマ画像内の各部の動きに基づいて、パノラマ画像上での車両の進行方向を推定するものであることを特徴とする運転支援システム。