JP5503660B2 - 運転支援表示装置 - Google Patents

Description

本発明は、車両の周囲を撮影する複数のカメラを用いた運転支援表示装置に関するものであり、特に、複数のカメラの撮影画像から車両周囲の俯瞰画像を合成する運転支援表示装置に関する。

近年、車両の上方の仮想視点から車両の周囲を見下ろした俯瞰画像をモニタに表示する運転支援表示装置の普及が進んでいる。多くの運転支援表示装置は、広い範囲を監視範囲としてカバーするために、複数のカメラを利用して俯瞰画像を生成する。

図１は、運転支援表示装置におけるカメラ配置および各カメラの撮影画像から得られる俯瞰画像を示す図である。

図１に示すように、車両１には第１〜第４のカメラ１１〜１４が取り付けられる。第１〜第４のカメラ１１〜１４は、車両１の前方、後方、左側方、および右側方の路面を、斜めに見下ろす向きでそれぞれ撮影する。第１〜第４のカメラ１１〜１４の撮影画像からは、車両の上方の仮想視点から見下ろしたときの画像に近似した第１〜第４のカメラ俯瞰画像ａ〜ｄを得ることができる。

表示される俯瞰画像は、できるだけ広い範囲で連続した画像であることが望ましい。そこで、複数のカメラの撮影画像から１つの俯瞰画像を合成するようにしている。以下、複数のカメラの撮影画像から合成された俯瞰画像を、「合成俯瞰画像」という。

ここで、隣り合う２つのカメラにおいて両方のカメラで撮影可能な領域を重複エリア１５と呼ぶ。重複エリア１５の路面標示や木陰などの路面上の高さのない模様の画像の位置は、第２のカメラ１２と第３のカメラ１３における重複領域１５において一致する。ところが、重複エリアに位置する障害物の位置は、高さのある関係で、第２のカメラ１２、第３のカメラ１３の俯瞰画像ごとに異なる。

この点について、図２を用いて説明する。図２は、境界線で障害物が消失することを説明する図である。第２のカメラ１２から見たときの障害物の射影方向１８が、第３のカメラ１３から見たときの障害物の射影方向１９と異なるためである。

このように、重複エリア１５の障害物の倒れ込みの方向（射影方向）は、各カメラの俯瞰画像ごとに異なる。重複エリア１５において図２のように境界線でカメラの映像を区切ると、俯瞰画像領域ｂは第２のカメラ１２の画像を使って俯瞰画像を生成する。同様に俯瞰画像領域ｃは第３のカメラ１３の画像を使って俯瞰画像を生成する。このため、境界線付近に存在する障害物１６は、第２のカメラ１２の俯瞰画像内にも、第３のカメラ１３の俯瞰画像内にも表示されない。

このため、境界と障害物が重なる場合には、障害物が消失してしまい、ユーザーにとって障害物を視認することができない、という課題があった。

この課題を解決する運転支援表示装置として、特許文献１などが知られている。図３は、特許文献１を説明するための図である。特許文献１では、図３（ａ）のように、合成される画像の境界１７に障害物１６の表示が重なる場合には、障害物１６の表示が境界１７に重ならないように境界を変更し、図３（ｂ）のように、境界１８となる画像を表示する。

特開２００７−１０４３７３号公報

しかしながら、特許文献１では、接近する障害物がある場合には、優先的に接近してくる障害物に境界線がかからないように処理しても良いとの開示があるが、具体的な処理内容が開示されていないため、必ずしも移動する障害物にかからないように境界線を設定できないことがある。

このことについて、以下に説明する。

図３（ｂ）に示すように、障害物１６を検出した検出位置１９で移動方向が分かっても、数フレームの情報を使って平均化しないと、移動している方向、速さが正しく検出できない。

例えば、移動する障害物１６が急に向きを変えたり、速度を変える場合がある。図３では、ある一定の速度で移動する障害物１６をあるタイミングで検出する。この検出タイミングで検出された検出位置１９の以前に検出された障害物の位置は、障害物位置２３とする。障害物位置２３から検出位置１９への移動方向、及び、移動速度で動いている場合には、境界線を更新するタイミングで障害物１６は、位置２０に存在すると予想できる。移動速度をＶｏ、移動物を検出する時間ｔｏ、境界線の更新時間ｔｎと置くと、移動半径ｒは、以下のように定義できる。

ｒ＝Ｖｏ×（ｔｏ＋ｔｎ）

しかしながら、障害物の移動方向や移動速度は必ずしも一定ではなく、あるときには、障害物の位置２１に存在する可能性がある。すなわち、障害物の移動する範囲としては、移動する速度を元に、次の境界線を更新するフレームにおいて、移動半径ｒだけ離れた位置に移動することがある。このような場合に、移動する障害物を単に検出しただけでは、かえって境界線が障害物にかかってしまう恐れがある。すなわち、変更後の境界線１８に障害物の位置２１が重なる可能性がある。

このため、単に移動する障害物を検出するだけでは、必ずしも移動する障害物を避けて境界線を設定できないことがある。よって、特許文献１に開示されている発明では、移動する障害物を避けて、境界線を変更することはできないという問題がある。

本発明の目的は、複数のカメラの撮影画像を合成して表示する運転支援表示装置において、部分画像同士の境界近傍でも、障害物が消失せず、ユーザーに対して正確で、かつ、わかりやすい画像を提供することである。

本発明の運転支援表示装置は、複数カメラの画像の境界を障害物に重なることがないように設定する障害物移動方向予測部を備え、画像合成部は前記障害物移動方向予測部からの情報を基に、障害物と前記複数カメラの画像の境界が重ならない俯瞰画像を作成する。

本発明は、画像合成部が障害物移動方向予測部からの情報を基に、障害物と複数カメラの画像の境界が重ならない俯瞰画像を作成することにより、移動している障害物であっても表示が複数カメラ画像の境界に重なることはない。したがって、車の周囲の情報を正確に運転者へ伝え、より安全な運転を支援することができる。

従来の運転支援表示装置におけるカメラ配置および各カメラの撮影画像から得られる俯瞰画像を示す図 従来の運転支援表示装置における部分画像の境界線で障害物が消失することを説明する図 従来の運転支援表示装置における部分画像の境界線の設定例を示す図 本発明の実施の形態１における運転支援表示装置のブロック図 同装置の動作説明のためのフロー図 同装置の障害物の検出方法を説明する図 同装置の障害物の移動方向、及び、移動速度の算出方法を説明する図 同装置のアクティブセンサによる障害物の移動方向、及び、移動速度の算出方法を説明する図 同装置の部分画像の境界の変更方法を説明する図 同装置の障害物の俯瞰画像上の倒れこみを説明する図 同装置の部分画像の境界の変更方法を説明する図 同装置の部分画像の境界の設定例を示す図 本発明の実施の形態２における運転支援表示装置のブロック図 同装置の動作説明のためのフロー図 同装置の部分画像の境界の変更方法を説明する図

以下、本発明の実施の形態の運転支援表示装置について、図面を用いて説明する。

（実施の形態１）
図４は、本発明の実施の形態１に係る運転支援表示装置の構成を示すブロック図である。

図４の運転支援表示装置において、撮像部３０は複数のカメラ３１と、カメラ３１が撮像した画像をフレーム毎に記憶するフレームメモリ３２から構成されている。撮像部３０は、典型的にはＣＣＤ，ＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロのデジタルカメラ３１を有する。

画像処理部４０は、画像合成部４１が複数のカメラ３１を有する撮像部３０から出力された複数のカメラ画像を入力し、これら撮影画像を加工する。ここでの加工は、画像切り出し変形処理、変形された部分画像の合成処理（境界処理を含む）である。画素合成部４１は、マッピングテーブル参照部４５がマップ選択３４を行い、設定されたマッピングテーブルＭＰＴに従って、撮像部３０から出力された複数のカメラ画像を用いて、合成画像を生成し、表示装置５０へ出力する。マッピングテーブルＭＰＴとは、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテーブルのことをいい、合成画像の生成処理を高速に行うために用いられる。このようなマッピングテーブルを、後述する幾何変換などを用いた計算や手作業などによって予め作成しておくことによって、所望の合成画像を高速に生成することができる。

障害物検出部４２は、撮像部３０から入力されてくる複数のカメラ画像を入力として、カメラ画像を用いて地面／非地面の判定を行い、地面上に立っている障害物を検出し、障害物の位置を出力する。このカメラ画像を使った障害物検出方法は、後に詳細に説明する。障害物の検出には超音波やミリ波などのセンシングデバイス３３の出力結果を用いることもある。障害物移動方向予測部４３は、障害物検出部４２で検出した障害物の位置から過去の位置を用いて移動方向を予測し、部分画像の境界を設定し、画像合成部４１へ出力する。タイミング生成部４４は、合成画像の動画系列を生成するためのタイミング信号を生成し、マッピングテーブル参照部４５へ出力する。

以上のように構成された運転支援表示装置について、図面を用いて動作を説明する。図５は、運転支援表示装置の動作を示すフロー図である。

ステップＳ００１では、撮像部３０における複数のカメラ３１からそれぞれのカメラ画像を獲得する。

ステップＳ００２では、マッピングテーブル参照部４５にて各カメラから得た映像を使用し、俯瞰画像を合成する。

ステップＳ００３では、ステップＳ００２で生成した俯瞰画像の範囲に存在する障害物を障害物検出部４２で検出する。障害物の検出方法は、カメラで撮像した画像を使った画像処理による方法、各種センサを用いた方法がある。画像処理による方法として、パターンマッチング、ステレオ処理による方法がある。ステレオ処理については、２眼カメラによるステレオ処理と単眼カメラによる処理がある。ここでは、単眼ステレオ処理を例に説明する。

図６は、単眼ステレオの原理を説明する図である。単眼の場合はある時間ｔ１において、１つの画像しか得られないため、次の時間ｔ２の画像の２つの画像を使って、同じパターンの特徴点の移動量を求め、車両の移動量との比計算から、障害物までの距離を算出する。例えば、ある時間ｔ１における特徴点Ａと時間ｔ２における同じ特徴点ＡがＡ’の位置にある場合、それらの画素間距離［ｐｉｘｅｌ］とカメラパラメータとから画素間距離ｄ［ｍｍ］を算出する。このカメラパラメータとは、カメラのレンズ設計時に設定されるパラメータである。また、特徴点の検出方法であるが、物体の特徴となるようなエッジ点やコーナーなどであり、例えば、一般的に知られているコーナー検出フィルタ処理やエッジ検出フィルタ等により特徴点を検出する。以上の情報より、求めたい障害物までの距離Ｄは、カメラの焦点距離ｆ、画素間距離ｄ、車両の移動距離ｘとから、以下のように算出できる。

Ｄ＝ｆ×ｘ／ｄ

ステップＳ００４では、障害物検出の結果、俯瞰画像内（２つのカメラ画像が重なるエリア）に障害物が存在するかどうかを判別する。障害物検出部４２は、このエリアに障害物があると判別された場合は次のステップへ進む。障害物がないと判別された場合は処理を終了する。

ステップＳ００５では、障害物検出部４２で得られる各障害物のカメラ画像上での位置情報を取得する。ここでは、ステップＳ００３にて検出された障害物の特徴点から画像座標を取得する。

ステップＳ００６では、障害物移動方向予測部４３は、ステップＳ００３にて算出された特徴点を用いて、障害物の移動方向、及び、移動速度を算出する。図７に示すように、時系列の特徴点、ある時刻ｔの特徴点Ａ（ｘａ，ｙａ）と次の時刻ｔ＋１の特徴点Ａ’（ｘｂ，ｙｂ）とから、特徴点の移動方向Ｍベクトル（ｘｂ−ｘａ，ｙｂ−ｙａ）を検出する。さらに、検出された特徴点の移動ベクトルＭから移動速度ＶＭを算出する。算出方法は、俯瞰画像内に検出された時刻ｔにおける特徴点の座標Ａと時刻ｔ＋１における特徴点Ａ’のユークリッド距離と俯瞰画像に変換する際のパラメータとして１ピクセル当りの距離から、移動距離、及び、移動時間を算出して、移動速度を以下のように計算する。

ＶＭ＝（ｘｂ−ｘａ）^２＋（ｙｂ−ｙａ）^２

また、次に各種センサを用いた障害物の検出方法を説明する。センシングデバイス３３の各種センサとは、例えば、超音波センサやミリ波レーダといったアクティブセンサを指す。図８は、アクティブセンサを使った障害物の移動方向の予測方法について説明する図である。図８のように時系列でアクティブセンサから得られる検出結果の時刻と座標をテーブルメモリに格納しておき、ある時刻ｔにおいて検出された座標（ｘｔ，ｙｔ）と、以前の時刻で検出された座標、例えば、時刻ｔ−１での座標（ｘｔ１，ｙｔ１）とを使って、障害物の移動方向Ｍと移動速度ＶＭを以下のように算出する。

Ｍ＝（ｘｔ１−ｘｔ，ｙｔ１−ｙｔ）

ＶＭ＝（ｘｔ１−ｘｔ）^２＋（ｙｔ１−ｙｔ）^２

上記では、境界を変更する時刻ｔにおいて、１つ前の検出時刻ｔ−１の検出結果を使って障害物の移動方向と移動速度を算出したが、より精度を高めるために過去に検出した複数のデータを平均して移動方向と移動速度を算出しても良い。また、移動する障害物の移動方向、移動速度を考慮して、更新するフレームでどの位置に障害物が到達するかを予測しておき、この予測結果と現在フレームから検出された移動する障害物の位置に差がなければ、このままの移動方向、及び、移動速度で移動しているとみなすことができ、移動する障害物にかからないように境界線を変更できる。仮に、この予測結果と現在フレームから検出された移動する障害物の位置に差がある場合には、前述の通り、図３に説明する障害物の移動可能位置、すなわち、障害物の移動可能位置である移動半径ｒにかからないように境界線を変更する。このようにして、より正確に移動する障害物の移動方向、及び、速度を考慮した境界線の移動を行うことができる。

ステップＳ００７では、障害物移動方向予測部４３は、ステップＳ００６で算出した障害物の移動方向と移動速度から、障害物に重ならないように境界を変更する。具体的には、図９のように障害物の移動方向６３と逆方向で、かつ、次の画像フレーム更新タイミングでも障害物６４と境界６５が重ならないような位置に変更する。上記で算出された障害物の移動速度ＶＭと画面更新時間をｔとすると、移動距離Ｄは以下のように算出できる。

Ｄ＝ＶＭ×ｔ

すなわち、検出された該当の障害物と変更した後の境界が重ならないように、かつ、障害物の移動方向ベクトルＶＭ６３と逆方向で移動距離Ｄよりも大きく境界を変更すれば良い。なお、変更する境界を移動する障害物と逆方向の位置で説明したが、移動する障害物の移動方向と同じ方向で、かつ、次の画像フレーム更新タイミングにおいて障害物の移動距離Ｄよりも大きい距離に境界を変更しても良い。

この境界の変更方法は、障害物と障害物を撮影するカメラとの距離により決定する。図１０は、障害物とカメラ位置との関係を説明する図である。図１０のように障害物の高さが同じである場合、カメラからの距離が近ければ近いほど俯瞰画像中の障害物の倒れこみは小さくなる。これは、俯瞰画像中に障害物が表示される様子を示すもので、障害物とカメラとの距離が近い方が俯瞰画像中で倒れこみが小さくなるため、ユーザーにとっては、見やすい画像となる。以上より、境界の変更方法として、例えば、障害物とその障害物を撮影できるカメラ１、及び、カメラ２との距離を算出し、距離の短いカメラで障害物を撮影した画像を用いるように境界を変更することが望ましい。図１１の例では、カメラ１の座標（ｘｃ１，ｙｃ１）、カメラ２の座標（ｘｃ２，ｙｃ２）、障害物の座標（ｘｏ，ｙｏ）とすると、各距離は以下のように算出できる。

Ｄ１＝（ｘｃ１−ｘｏ）^２＋（ｙｃ１−ｙｏ）^２

Ｄ２＝（ｘｃ２−ｘｏ）^２＋（ｙｃ２−ｙｏ）^２

上式の計算結果からＤ１とＤ２のうち距離の近い方のカメラ画像を使用するように境界を変更する。上記のように障害物とカメラの位置関係を考慮して境界の変更を行う場合には、図１１（ａ）の方がユーザーにとって障害物の視認性が良くなる。

ステップＳ００７では、画像合成部４１にて障害物の位置を合成画像上の座標に変換する。この処理は、合成画面上の座標と各カメラ画像上の座標との関係が記されているマッピングテーブルを参照することで実行される。

また、障害物の移動方向を予測して境界を変更するため、障害物が移動していても障害物と境界が重なることなく、かつ、境界の変更が素早く更新することができる。この点について、以下に説明する。境界を更新するには、少なくとも、画面を更新する時間Ｔに拘束される。障害物の検出処理時間をＴＯとし、画面の更新処理時間をＴＮ、境界を変更する処理時間をＴＭとすると、境界が変更されるまでの合計処理時間Ｔは以下のように算出できる。

Ｔ＝ＴＯ＋ＴＮ＋ＴＭ

障害物が移動している場合には、上記の処理時間Ｔの間にも移動をしており、上記処理時間Ｔで変更した境界の位置に障害物が移動していることも考えられる。この障害物の検出処理時間ＴＯは、画像処理による認識処理時間Ｔｒと過去フレームの認識結果とを合わせて障害物の移動方向と移動速度を算出するため、過去フレームの使用数をｎフレームとし、ＮＴＳＣ信号の場合は、１フレームの時間は１／３０秒であることから、少なくとも（Ｔｒ＋ｎ／３０）時間が必要となり、境界変更までに障害物が移動して変更した境界１８に移動した障害物２１に重なることは充分に考えられる（図３参照）。

しかしながら、本実施の形態では、図１１のように、障害物移動方向予測部４３は、障害物の移動方向、移動速度を予測して境界を変更するため、障害物が移動していても変更した境界に重なることはない。具体的には、時間Ｔの間に障害物６１が移動する位置を、先に算出した障害物の移動方向と移動速度６３とから移動後の障害物６４の座標を算出する。この算出した座標と重ならないように境界６２を境界６５に変更すれば良い。このようにすれば、移動する障害物と重ならないように境界を変更することができ、かつ、境界の変更時間Ｔを考慮した境界の変更となるため、移動する障害物に追従して境界を変更するのではなく、移動する障害物に先んじて境界を変更することができる。また、図１１（ｂ）に示すように、障害物６２の移動方向と同じ方向でも、次の画面更新時間を考慮した合計処理時間Ｔにおける障害物の移動位置６４と重ならないような境界６６に変更しても良い。また、移動する障害物が予想に反する動きをする場合を想定して、移動領域６７にかからないように境界線を変更しても良い。

図１２は、境界の設定方法の一例を説明する図である。上記で説明した境界の設定は、図１２のような境界データを予めマッピングテーブル参照部４５に格納しておく。画素合成部４１では、障害物移動方向予測部４３で決定した境界を元に境界データをマッピングテーブル参照部４５から読み出して合成する。なお、俯瞰画像の自車両の端から直線状にひいた境界の例を示したが、この例のみならず、どのような境界線の形状でも構わない。

以上のように、複数のカメラ画像の境界領域で、障害物が境界と重なることで、不連続に表示されてしまうことがなくなり、ユーザーにとって障害物をより正確に見やすく表示することができる。

（実施の形態２）
図１３は本発明の実施形態に係る運転支援表示装置の構成を示すブロック図である。図４と構成が異なる部分のみ、説明する。

障害物移動方向予測部４３は、障害物検出部４２で検出された障害物の移動方向と、自車両動き情報取得部４６で取得される自車両の動き情報である車両情報３５（シフト情報及び舵角情報）から、自車両の進行方向路内に、障害物の移動方向と移動速度から障害物が入ってくるかどうかを判定し、入ってくると予測された場合には、障害物と境界が重ならないように境界を変更する。

次に、障害物の移動方向、移動速度、及び、自車両の移動方向とから境界を変更する動作を説明する。

図１４は、運転支援表示装置の動作を示すフロー図である。図５と動作が異なる部分のみ、説明する。ステップＳ００７では、自車両動き情報取得部４６は、自車両の車両情報３５を取得する。具体的には、シフトポジションやハンドル舵角情報を取得することで、自車両の予測進行方向を算出する。

ステップＳ００８では、ステップＳ００６、ステップＳ００７にて算出された障害物の移動方向と移動速度と、自車両の予測進行方向から、障害物移動方向予測部４３は、障害物に重ならないように境界を変更する。具体的には、図１５のように、自車両の移動方向７３の進行路周辺に障害物７１が存在している場合には、障害物７１の移動方向と逆方向で、かつ、次の画像フレーム更新タイミングでも障害物７１と境界が重ならないような位置に変更する。具体的には、上記で算出された障害物の移動速度ＶＭと画面更新時間をｔとすると、移動距離Ｄは以下のように算出する。

Ｄ＝ＶＭ×ｔ

すなわち、検出された該当の障害物７１が次画面更新時の障害物予測位置７５と変更した後の境界が重ならないように、かつ、障害物の移動方向と逆方向になるような境界７４に変更すれば良い。なお、変更する境界を移動する障害物と逆方向の位置で説明したが、移動する障害物の移動方向と同じ方向で、かつ、次の画像フレーム更新タイミングにおいて予想される障害物の予測位置７５に重ならないように境界を変更しても良い。

この境界の変更方法は、障害物と障害物を撮影するカメラとの距離により決定するのは、上述の通りである。

また、先に説明の通り、移動する障害物が予想に反する動きをする場合を想定して、移動領域にかからないように境界線を変更しても良い。

このような上記動作により、本発明の運転支援表示装置は、複数のカメラにより俯瞰画像合成処理を行う際に、部分画像の境界と障害物を重ならないようにすることができ、車の周囲の情報を正確に運転者へ伝え、より安全な運転を支援することができる。

なお、上記説明では障害物が検出された場合に、全ての境界と重なる障害物がないように境界を変更する例、及び、自車両の移動方向を考慮して、自車両が移動する方向に存在する障害物に対して境界を変更する例で説明したが、これらの方法に限定されるものではなく、境界と重なる障害物を、自車両に最も近い距離に存在する障害物を対象として、境界に重ならないように境界を変更しても良い。また、これらを組み合わせ、自車両の予測進行方向で、かつ、自車両に最も近い距離に存在する障害物に対して重ならないように境界を変更しても良い。

２００９年９月２４日出願の特願２００９−２１８４４５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

以上のように、本発明は、部分画像同士の境界近傍に存在する障害物が、合成される境界と重ならないように境界が変更されるため、障害物が消失せず、ユーザーに対して正確で、かつ、わかりやすい画像を提供することができ、車両の周囲を撮影する複数のカメラを用いた運転支援表示装置として有用である。

３０ 撮像部
３１ カメラ
４１ 画像合成部
４２ 障害物検出部
４３ 障害物移動方向予測部
４６ 自車両動き情報取得部

Claims (6)

1. 自車両周辺の障害物の位置を検出する検出部と、
   前記障害物の位置から前記障害物の移動方向および移動速度を予測する予測部と、
   前記予測部からの情報を基に、複数カメラの映像を合成して俯瞰画像を生成する合成部と、
   前記自車両のシフト情報および舵角情報の少なくとも一つを含む車両情報を取得する取得部と、を備え、
   前記予測部は、前記移動方向および前記移動速度と、前記車両情報とから、前記複数カメラの画像の境界を前記障害物に重なることがないように設定する、
   運転支援表示装置。
2. 前記予測部は、前記障害物の移動可能な領域に入らないように、前記境界を設定する、
   請求項１に記載の運転支援表示装置。
3. 前記予測部は、前記障害物の移動可能位置である移動半径内に入らないように、前記境界を設定する、
   請求項２に記載の運転支援表示装置。
4. 前記合成部は、前記予測部からの情報を基に、前記障害物と前記境界とが重ならない前記俯瞰画像を生成する、
   請求項１に記載の運転支援表示装置。
5. 前記予測部は、前記障害物の移動可能な領域に入らないように、前記境界を設定する、
   請求項１に記載の運転支援表示装置。
6. 前記予測部は、前記障害物の移動可能位置である移動半径内に入らないように、前記境界を設定する、
   請求項５に記載の運転支援表示装置。