JP4980852B2 - 車両周囲画像提供装置 - Google Patents

Description

本発明は、車両周囲画像提供装置に関し、特に自車両の上方の仮想視点から見た俯瞰画像を生成して表示する車両周囲画像提供装置に関する。

近年、自車両のドアミラーやナンバープレート近傍にカメラを設置し、これら複数台のカメラにより自車両周囲の画像を撮影し、この画像を車室内に設置したディスプレイ等の表示装置に表示する技術が実用化されている。かかる技術は特に駐車する際に利用されており、その際、運転者は、表示装置に表示された画像を確認しながら、障害物等の存在を把握することで、衝突等の事故を防ぐことが可能になる。特に、ミラーだけでは死角になる位置の画像も表示することができるので、安全な駐車に寄与することができる。

また、自車両に複数台のカメラを設置し、これらのカメラにより撮像された画像をもとに、自車両の上方の仮想視点から見た俯瞰画像を生成し、この画像をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が実用化されている。

これに関連する技術として、特許文献１には、自車両と障害物との間の距離に応じて、視点変換する映像領域を拡大し、俯瞰画像の死角領域を解消する手法が記載されている。
特開２００６−２８７７９２号公報

上記したように、俯瞰画像によって、自車両の周囲を死角領域をなくして表示することができ、バック走行等の際に俯瞰画像を確認しながら運転することにより、危険を回避することが可能となる。

一方、俯瞰画像表示は予め決められた縮尺で画像表示されるため、自車両と障害物とが接近した場合でも、自車両の周囲全体が表示され、特に注視したい領域以外も表示される。

これに対し、自車両と障害物とが所定の距離以下になったとき、自車両と障害物にかかる部分を拡大して表示させる技術が提案されている。これにより、注視したい部分が拡大表示されるため、自車両と障害物との距離を認識することができ、より安全に走行（駐車）することが可能となっている。

しかし、上記の障害物が車輪止めや電柱等の静止物の場合、このような静止物に自車両が接近し、自車両と静止物にかかる画像を拡大して表示したときに、当該静止物よりも距離的に遠い位置にある他車両や動物等の移動体が表示されない場合が起こり得る。そのため、他車両等が接近していてもそのことを把握できない等、安全駐車に支障をきたすおそれがある。

また、静止物と自車両にかかる部分が拡大表示された後、拡大表示の範囲外の領域に存在していた移動体が自車両に接近することにより俯瞰画像に入り込むと、接近速度が速い移動体に対する運転者の対応が遅れ、危険回避の判断を誤るおそれがある。

本発明は、かかる従来技術の課題に鑑みなされたものであり、車両周囲の複数の障害物のうち最も危険性の高い障害物と自車両にかかる部分の画像を拡大表示することができる車両周囲画像提供装置を提供することを目的とする。

上述した従来技術の課題を解決するため、本発明の一形態によれば、画面を通して情報を提供する表示手段と、自車両の周囲の画像を取得する撮像手段と、前記自車両の画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを格納する記憶手段と、前記自車両の周囲の画像及び自車両の画像から前記自車両を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、自車両の周囲の障害物を検出し、障害物情報として障害物の前記自車両からの距離及び相対速度を算出する障害物検出手段と、前記障害物情報に基づいて前記障害物が移動体であると判定したとき、当該障害物が前記俯瞰画像の端に表示されるように縮尺を変更して前記表示手段の画面に表示させる制御手段とを備えることを特徴とする車両周囲画像提供装置が提供される。

この形態に係る車両周囲画像提供装置において、前記制御手段は、前記障害物検出手段によって検出される移動体が複数存在すると判定したとき、自車両に最も近い移動体が前記俯瞰画像の端に表示されるように縮尺を変更して前記表示手段の画面に表示させるようにしてもよい。

また、この形態に係る車両周囲画像提供装置において、前記制御手段は、前記障害物検出手段によって検出される移動体が前記自車両に最も近く、かつ前記自車両から離れる方向に移動していると判定したとき、当該移動体を除き自車両に最も近い障害物が前記俯瞰画像の端に表示されるように縮尺を変更して前記表示手段の画面に表示させるようにしてもよい。

本発明では、画像撮影部により撮影された画像から生成される合成画像のうち、自車両から自車両周辺の障害物までの距離及び障害物が静止物か移動体かを示す障害物情報に応じて決まる所要の範囲が俯瞰画像として表示されるようにしている。

特に、自車両の周囲に静止物と移動体が存在する場合、自車両と静止物との距離が自車両と移動体との距離よりも近い場合であっても、移動体を俯瞰画像に表示するようにしている。これにより、静止物よりも危険性の高い移動体が俯瞰画像として表示されるので、自車両に接近する移動体との距離が分かりやすくなり、移動体の接近する状況を余裕を持って確認することができ、危険回避を適切に行うことが可能となる。

また、移動体と自車両との距離よりも短い距離に静止物が存在する場合にも、その静止物は俯瞰画像に表示されるため、静止物との間の距離確認ももちろん可能である。

以下、本発明の実施形態について、添付の図面を参照しながら説明する。

図１は、本発明の一実施形態に係る車両周囲画像提供装置１０の構成を概略的に示したものである。本実施形態では、本発明に係る車両周囲画像提供装置１０を車載用ナビゲーション装置の一部として組み込んだ場合の構成例を示している。

本実施形態に係る車両周囲画像提供装置１０は、図１に示すように、基本的に、４台の車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと、画像処理部１２と、マッピングテーブル１３と、制御部１４と、操作部１５と、ディスプレイ装置１６と、自立航法センサ２０と、障害物検出部２１と、記憶部２２とを備えている。

各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を継続的に取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）に設置されている。

また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周囲（車両周囲）を撮影できるように配置されている。

各車載カメラ１１ａ〜１１ｄは、例えば、ＣＣＤ(Charge Coupled Device)センサを内蔵している。特に図示はしないが、このＣＣＤセンサは、受光部として機能するフォトダイオード（光電変換素子）と、その光電変換された信号（電荷）を転送するためのＣＣＤを有しており、フォトダイオードは２次元に配列され、各フォトダイオード上にマイクロレンズが設けられている。

画像処理部１２は、撮影画像メモリ１７、画像変換部１８、及び表示画像メモリ１９を備えている。

撮影画像メモリ１７は、その記憶媒体として、例えばＨＤＤを使用している。撮影画像メモリ１７（ＨＤＤ内の一部の記憶領域）には、制御部１４からの制御に基づき、各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄで継続的に撮影して得られた画像（自車両の前方、後方、左方及び右方の周囲の画像と、自車両の一部の画像）のデータが一画面分（１フレーム）毎に逐次格納されるようになっている。その際、車載用のＨＤＤの記憶容量には限りがあり、今までに取得した撮影画像データをすべて保存しておくことはできないため、ＨＤＤを効率的に運用する観点から、ＨＤＤ内の該当する記憶領域に撮影画像データを順次上書きしながら格納する。

画像変換部１８は、車載カメラによって撮影された画像を入力し、マッピングテーブル１３に記憶されている変換情報に従って自車両の周囲を上方から見たときの画像を生成する。変換された画像データは、表示画像メモリ１９に格納される。この画像データは車両周囲の画像のみであり、自車両の画像データは含まれていない。この自車両の上方からの視点に変換した後の車両周囲の画像と、予め記憶部２２に記憶させておいた自車画像とを合成して、俯瞰画像を生成する。

なお、車両周囲の画像には障害物も含まれているが、あくまでも画像の一部として表示されており、障害物とは認識されない。この画像から障害物を特定するために、後述の障害物検出部２１で生成される障害物情報を使用する。

マッピングテーブル１３は、撮影画像の画素データと表示画像の画素データとの対応関係が記述されたテーブルであり、１フレームメモリの各画素毎に、マッピングデータとして、座標の変換規則が記述されている。

表示画像メモリ１９も撮影画像メモリ１７と同様に、記憶媒体として例えばＨＤＤを使用し、撮影画像メモリ１７と異なる記憶領域が割り当てられている。

ディスプレイ装置１６は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置の表示画面には、本発明に関連する情報として、自車両及び自車両周囲の俯瞰画像が表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路、自車の現在位置を示すマーク等）も表示される。

障害物検出部２１は、例えばスキャン式信号送信機と反射信号受信機から構成される。スキャン式信号送信機は、制御部１４からの制御に基づいて全方向に向けて信号ビーム（発信信号）を走査発信する。スキャン式信号送信機から所定の方向に向けて発信された信号は、当該方向に何らかの物体（障害物）があれば当該物体で反射され、反射信号として戻ってくる。また、スキャン式信号送信機では、ビーム発信する各方向毎に当該方向を指示する角度情報が生成され、制御部１４と反射信号受信機にそれぞれ供給されている。反射信号受信機では、この角度情報に基づき、スキャン式信号送信機から走査発信された信号に同期して各方向毎に当該物体からの反射信号を受信する。さらに反射信号受信機は、その反射信号から当該物体までの距離（反射距離信号）と、当該物体に対する自車両の相対速度（相対速度信号）を検出するセンサとして機能する。反射信号受信機によって検出された自車両から障害物までの距離、及び障害物の方向は障害物情報として記憶部２２に格納される。

スキャン式信号送信機の形態としては、ミリ波レーダ、赤外線レーダ、超音波レーダなどを使用することができる。これらのレーダは、自車両の上部の中央に設置してもよいし、複数個所に設置するようにしてもよい。また、障害物検出部２１としては、レーザ、超音波発信器、赤外線送信機などを使用してもよい。

自立航法センサ２０は、自車両の進行方位や車速を検出するためのものであり、３Ｄ（三次元）ジャイロ等の角度センサ、回転数に基づいた一定の走行距離毎にパルスを発生する距離センサなどから構成されている。

制御部１４は、例えば、マイクロコンピュータ等により構成され、車載カメラによる画像の取得及びそれに基づいて変換された画像の表示に係る処理を制御する機能を有している。また、制御部１４は、自車両の周囲の障害物の検出及び障害物の種類に基づいて俯瞰画像の縮尺の変換に係る処理を制御する機能を有している。さらに制御部１４は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自立航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で出発地（自車の現在位置）から目的地までの誘導経路を探索するなど）を制御する機能も有している。

操作部１５は、ユーザが指示した情報を入力するためのものであり、本発明に関連する入力指示として「車両周囲画像表示」の指示を与えるものである。この操作部１５は、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどが適宜設けられている。

このように構成された車両周囲画像提供装置１０において、運転者が操作部１５を操作して「車両周囲画像表示」を選択すると、前方、後方、左方及び右方カメラで撮像された広角画像信号は１フレーム毎に撮影画像メモリ１７に記憶される。画像変換部１８は、撮影画像メモリ１７に記憶された撮像画像を読み出し、マッピングテーブル１３を参照しながら画像変換部１８で俯瞰画像に変換し、表示画像メモリ１９へ格納する。表示画像メモリ１９に格納された画像データに従って、ディスプレイ装置１６に出力され、俯瞰画像が表示される。

特に、自車両の周囲に他車両等の移動体が存在する場合には、俯瞰画像の縮尺を一定のタイミングで変更し、自車両と移動体との位置関係が明確になるように拡大表示される。

この一連の処理が制御部１４によって制御される。なお、運転者が「車両周囲画像表示」を選択しない場合であっても、例えば、シフトレバーがバックの位置になったことを検出したときに自動的に、俯瞰画像が表示されるようにしてもよい。

以下、本実施形態に係る車両周囲画像提供装置１０において行う俯瞰画像の縮尺変更に係る処理について、図３及び図４を参照しながら説明する。図３は、俯瞰画像縮尺変更処理の一例を示すフローチャートである。また、図４（ａ）〜（ｄ）は、自車両の周囲に静止物と移動体がそれぞれ一つ検出された場合の俯瞰画像の縮尺変更を説明する図である。

本実施形態では、自車両に設置されている車載カメラ１１は、常に自車両の周囲を撮影しているものとする。また、障害物検出部２１としてスキャン式信号送信機及び反射信号受信機が設置されているものとする。このスキャン式信号送信機からは全方向に向けて信号ビーム（発信信号）を走査発信しており、反射信号受信機では、その走査発信された信号に同期して障害物から反射信号を受信し、その反射信号ＲＳから当該障害物までの距離（反射距離信号）と、当該障害物に対する自車両の相対速度（相対速度信号）を検出しているものとする。

このような状態で、まず、最初のステップＳ１１では、車載カメラ１１で撮影した画像を基に、俯瞰画像を生成し表示画面に表示する。この俯瞰画像は予め決められた縮尺の範囲が表示される。

次のステップＳ１２において、自車の周囲に障害物が存在するか否かを検出する。障害物が検出されたときはステップＳ１３に移行し、障害物が検出されなかったときは、継続して所要の範囲を俯瞰画像表示する。

障害物の検出は次のようにして行う。スキャン式信号送信機（障害物検出部２１）から発信された信号に対して発信方向に何らかの物体が有ればその物体で反射され、反射信号として戻ってくる。この反射信号を反射信号受信機が受信すれば、その方向に物体（障害物）があると判定する。

次のステップＳ１３では、障害物が複数存在するか否かを判定する。障害物が複数存在する場合はステップＳ１４に移行し、障害物が１つのときは、ステップＳ１８に移行する。障害物が複数存在するか否かは、スキャン式信号送信機から発信された信号に対して複数の方向から反射信号として戻ってきたことが検出されれば、障害物が複数存在すると判定する。

次のステップＳ１４では、ステップＳ１３で検出された障害物中に動いている物体（移動体）が存在するか否かを判定する。移動体が存在すると判定されたときは、ステップＳ１５に移行し、移動体が存在しないと判定されたときは、ステップＳ１９に移行する。

障害物が移動体であるか否かは次のようにして判定する。反射信号受信機から出力された相対速度信号から算出した自車両の相対速度（ΔＶ）の絶対値と、自立航法センサから出力された信号から算出した自車両の走行速度（Ｖａ）の絶対値とを比較し、｜ΔＶ｜≒｜Ｖａ｜である場合、その障害物は動いていない、つまり静止物であると判定する。また、｜ΔＶ｜＞｜Ｖａ｜である場合、その障害物は自車両と反対方向に移動していると判定する。さらに、｜ΔＶ｜＜｜Ｖａ｜である場合、その障害物は自車両と同じ方向に移動していると判定する。

次のステップＳ１５では、ステップＳ１４において自車両の周囲に移動体が存在することが検出されたことを受けて、自車両との距離が最も近い移動体と自車両との位置関係が明確に分かるように俯瞰画像表示を変更する。すなわち、移動体が俯瞰画像の端になるように俯瞰画像の縮尺を変更して表示する。

縮尺の変更は次のようにして行う。自車両と移動体との間の距離を記憶部２２に格納された障害物情報から抽出する。この距離に応じて俯瞰画像の表示の縮尺を変更する。

図４（ａ）は、俯瞰画像の縮尺が変更される前の予め決められた縮尺で俯瞰画像画面４０に表示された画像の一例を示している。図４（ａ）では、自車両４１が俯瞰画像の中心に表示され、静止物４３ａ及び移動体である他車両４２ａが俯瞰画像画面４０内に表示されている。自車両４１から俯瞰画像の下辺の端までの実際の距離がｒ[ｍ]のときに、自車両４１の画像から俯瞰画像の下辺の端までの画面上の距離をｗ[ｍ]とすると、図４（ａ）ではｗ／ｒに縮尺して表示されている。

例えば、図４（ａ）に示すように、移動体４２ａと自車両４１との距離がｄ１[ｍ]であったとする。また、自車両４１と静止物４３ａとの距離は、自車両４１と移動体４２ａとの距離よりも近いものとする。この場合、自車両４１から俯瞰画像の下辺の端までの距離がｄ１＋α[ｍ]を表すように、縮尺をｗ／ｒからｗ／（ｄ１＋α）に変更する。ただし、「α」は障害物（図４（ｂ）の場合は移動体）のうちの俯瞰画像画面に表示させる部分に対応する長さを示している。

次のステップＳ１６では、ステップＳ１５において変更された縮尺に従って俯瞰画像を表示する。すなわち、自車両４１と移動体４２ａとにかかる部分を拡大して俯瞰画像画面４０に表示する。図４（ａ）の破線領域４４内の画素データを、俯瞰画像の全体表示領域に割り当てることによって、図４（ｂ）に示すように縮尺変更された拡大画像が表示される。図４（ｂ）では、自車両４１と俯瞰画像の下辺の端までの実際の距離がｄ１＋α[ｍ]となっており、静止物４３ｂおよび移動体４２ｂは縮尺変更前の画像（図４（ａ））に比べて拡大されて表示されている。

図４（ｃ）は、図４（ａ）の場合と比べて自車両４１と他車両４２ｃとが接近し、その距離がｄ２[ｍ]のときの縮尺変換前の俯瞰画像を示している。この図４（ｃ）に対して、他車両４２ｃが俯瞰画像の端に位置するように縮尺を変える。図４（ｄ）は、ｗ／（ｄ２＋α）に縮尺して表示された俯瞰画像を示している。

このように、自車両４１と静止物４３ａとの距離よりも自車両４１と移動体４２ａとの距離のほうが長い場合であっても、移動体４２ａが俯瞰画像の端に位置するように俯瞰画像の縮尺を変え、自車両と移動体とを重点的に表示するようにしている。これにより、自車両に接近する移動体までの距離が分かりやすくなり、効果的に危険回避を図ることが可能となる。

一方、ステップＳ１８では、ステップＳ１３において障害物が一つと判定された場合の縮尺変更を行う。すなわち、検出された障害物が静止物か移動体かにかかわらず、その障害物が俯瞰画像の端になるように縮尺を変更する。例えば、図４（ａ）において、静止物４３または移動体４２のいずれか一方が存在しない場合に相当する。移動体４２のみが存在する場合は、図４（ｂ）に示したように縮尺変更を行う。

また、ステップＳ１９では、ステップＳ１４において移動体が存在しない（障害物がすべて静止物）と判定された場合の縮尺変更を行う。すなわち、検出された静止物のうち、自車両との距離が最も近い静止物が俯瞰画像の端に位置するように縮尺変更を行う。

ステップＳ１８またはステップＳ１９において決定された縮尺に基づいて、ステップＳ１６において俯瞰画像の表示を行う。

次のステップＳ１７では、俯瞰画像の表示解除の指示があったか否かを判定する。表示解除の指示があれば俯瞰画像表示は終了し、表示解除の指示がなければ、ステップＳ１２に戻り、本俯瞰画像表示縮尺変更処理を継続して実施する。

以上説明したように、本実施形態の車両周囲画像取得装置では、俯瞰画像の表示において、自車両と周囲の障害物とが接近したとき、自車両を中心として障害物が俯瞰画像の端になるように縮尺を変更して俯瞰画像を拡大して表示するようにしている。特に、自車両の周囲に静止物と移動体が存在する場合、自車両と静止物との距離が自車両と移動体との距離よりも近い場合であっても、移動体が俯瞰画像の端に表示されるようにしている。これにより、静止物よりも危険性の高い移動体を俯瞰画像内に表示されるので、自車両に接近する移動体との距離が分かりやすくなり、自車両周辺の状況を正確に把握でき、安全性を向上することができる。また、移動体と自車両との距離よりも短い距離に静止物が存在する場合にも、その静止物は俯瞰画像に表示されるため、静止物との間の距離確認が可能なことは勿論である。

なお、図４では自車両は俯瞰画像の変更によらず常に俯瞰画像の中心に同じサイズで表示しているが、縮尺の変更に従って自車両のサイズも変更するようにしてもよい。

また、上記説明では、自車両の周囲に移動体を検出したとき、その移動体を俯瞰画像の端に位置するように縮尺変更をしたが、移動体が自車両から離れる方向に移動していると判定されたときには、自車両に２番目に近い障害物が俯瞰画像の端に表示されるように縮尺を変更するようにしてもよい。移動体が自車両から離れる方向に移動しているか否かの判定は、例えば、異なる時間ｔ１、ｔ２（ｔ１＞ｔ２）における移動体と自車両との距離を検出し、ｔ１における距離がｔ２における距離よりも離れている移動体を自車両から離れる方向に移動していると判定する。この移動体が自車両に最も近いとき、次に近い移動体を検出する。この２番目に近い移動体が存在すれば、その移動体を俯瞰画像の端に表示されるように縮尺を変更する。また、２番目に近い移動体も自車両と反対側に移動していると判定されたときは、さらに次に近い移動体を俯瞰画像の端に表示されるように縮尺を変更するようにしてもよい。

本発明の一実施形態に係る車両周囲画像提供装置の構成を概略的に示すブロック図である。 図１の装置における各車載カメラの設置例を模式的に示す図である。 俯瞰画像の縮尺変更処理の一例を示すフローチャートである。 俯瞰画像の縮尺変更を説明する図（その１）である。

符号の説明

１０…車両周囲画像提供装置、
１１ａ、１１ｂ、１１ｃ、１１ｄ…車載カメラ（撮像手段）、
１２…画像処理部、
１３…マッピングテーブル、
１４…制御部（制御手段）、
１５…操作部、
１６…ディスプレイ装置（表示手段）、
１７…撮影画像メモリ（記憶手段）、
１８…画像変換部（画像変換手段）、
１９…表示画像メモリ、
２０…自立航法センサ、
２１…障害物検出部（障害物検出手段）、
２２…記憶部（記憶手段）。

Claims (4)

1. 画面を通して情報を提供する表示手段と、
   自車両の周囲の画像を取得する撮像手段と、
   前記自車両の画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを格納する記憶手段と、
   前記自車両の周囲の画像及び自車両の画像から前記自車両を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、
   自車両の周囲の障害物を検出し、障害物情報として障害物の前記自車両からの距離及び相対速度を算出する障害物検出手段と、
   前記障害物情報に基づいて前記障害物が移動体であると判定したとき、当該障害物が前記俯瞰画像の端に表示されるように縮尺を変更して前記表示手段の画面に表示させる制御手段とを備えることを特徴とする車両周囲画像提供装置。
2. 前記制御手段は、前記障害物検出手段によって検出される移動体が複数存在すると判定したとき、自車両に最も近い移動体が前記俯瞰画像の端に表示されるように縮尺を変更して前記表示手段の画面に表示させることを特徴とする請求項１に記載の車両周囲画像提供装置。
3. 前記制御手段は、前記障害物検出手段によって検出される移動体が前記自車両に最も近く、かつ前記自車両から離れる方向に移動していると判定したとき、当該移動体を除き自車両に最も近い障害物が前記俯瞰画像の端に表示されるように縮尺を変更して前記表示手段の画面に表示させることを特徴とする請求項１に記載の車両周囲画像提供装置。
4. 前記制御手段は、前記障害物情報に基づいて前記障害物が複数存在し、かつすべて静止物であると判定したとき、前記自車両に最も近い前記静止物が前記俯瞰画像の端に表示されるように縮尺を変更して前記表示手段の画面に表示させることを特徴とする請求項１に記載の車両周囲画像提供装置。

Images