JP4945315B2 - 運転支援システム及び車両 - Google Patents

Description

本発明は、運転支援システムに関する。特に、移動体に取り付けられたカメラの撮影画像から鳥瞰図画像又は拡張鳥瞰図画像を生成する技術に関する。また本発明は、その運転支援システムを利用した車両に関する。

車両後部に設置されたカメラの映像を真上から見た鳥瞰図画像や斜め上方から見た斜視図画像に変換して表示し、駐車などを支援する手法が提案されている（例えば、下記特許文献１参照）。真上から見た鳥瞰図画像を運転者に提示すれば車両近傍の距離感はつかみやすくなるが、鳥瞰図画像は、その特性上、車両の遠方領域の描画を不得手とする。従って、鳥瞰図画像が表示される場合、車両から比較的遠方の物体（歩行者など）を表示装置上で観測することができない。

高速走行している場合など、運転状況によっては車両から比較的離れた物体も確認されるべきであるため、常に鳥瞰図画像を表示することが最適であるとは言えない。また、斜視図画像を表示すれば、比較的遠方の領域も確認できるようになるが、車両近傍の距離感をつかみにくいという欠点がある。

尚、下記特許文献２には、車載カメラの傾き角度と画像上における車両からの距離に基づいて撮影画像を座標変換することにより、車両から比較的離れた領域をも描画可能な拡張鳥瞰図画像を生成及び表示する技術が開示されている。

特許第３２８６３０６号公報 特開２００６−２８７８９２号公報

そこで本発明は、状況に応じた適切な画像の生成に寄与する運転支援システムを提供することを目的とする。また、本発明は、それを利用した車両を提供することを目的とする。

本発明に係る第１の運転支援システムは、移動体に取り付けられて前記移動体の周辺を撮影し、撮影結果を表す信号を出力するカメラと、前記カメラの出力信号に基づく前記カメラからの入力画像を座標変換することにより出力画像を生成する画像処理装置と、を備えた運転支援システムにおいて、前記画像処理装置は、予め設定された水平面に対する前記カメラの傾き角度に基づいて前記入力画像の座標を鳥瞰図座標に変換することにより、前記入力画像を鳥瞰図画像に変換する鳥瞰変換手段と、前記入力画像を前記移動体からの距離が比較的近い領域内の第１領域画像と前記距離が比較的遠い領域内の第２領域画像に分類し、前記傾き角度に基づいて前記第１領域画像の座標を前記鳥瞰図座標に変換する一方で前記傾き角度と前記距離に基づいて前記第２領域画像の座標を前記鳥瞰図座標に変換することにより、前記入力画像を拡張鳥瞰図画像に変換する拡張鳥瞰変換手段と、を備え、前記移動体の移動速度に応じて前記鳥瞰変換手段と前記拡張鳥瞰変換手段を切り換えて用いることにより、前記鳥瞰図画像及び前記拡張鳥瞰図画像の何れか一方から前記出力画像を生成することを特徴とする。

これにより、例えば、移動速度が比較的小さい時には移動体近傍の描画に適した鳥瞰図画像を生成し、移動速度が比較的大きい時には移動体遠方の描画にも適した拡張鳥瞰図画像を生成するといったことが可能となり、状況に応じた適切な画像を生成することが可能となる。

また例えば、前記拡張鳥瞰変換手段は、前記傾き角度及び前記距離だけでなく前記移動体の移動速度にも基づいて、前記入力画像から前記拡張鳥瞰図画像への変換を行う。

本発明に係る第２の運転支援システムは、移動体に取り付けられて前記移動体の周辺を撮影し、撮影結果を表す信号を出力するカメラと、前記カメラの出力信号に基づく前記カメラからの入力画像を座標変換することにより出力画像を生成する画像処理装置と、を備えた運転支援システムにおいて、前記画像処理装置は、前記入力画像を前記移動体からの距離が比較的近い領域内の第１領域画像と前記距離が比較的遠い領域内の第２領域画像に分類し、予め設定された水平面に対する前記カメラの傾き角度に基づいて前記第１領域画像の座標を前記鳥瞰図座標に変換する一方で前記傾き角度と前記距離に基づいて前記第２領域画像の座標を前記鳥瞰図座標に変換することにより、前記入力画像を拡張鳥瞰図画像に変換する拡張鳥瞰変換手段を備え、前記拡張鳥瞰変換手段は、前記傾き角度及び前記距離だけでなく前記移動体の移動速度にも基づいて、前記入力画像から前記拡張鳥瞰図画像への変換を行うことを特徴とする。

これにより、移動速度に応じた適切な拡張鳥瞰図画像を生成することが可能となる。

具体的には例えば、前記拡張鳥瞰変換手段は、前記入力画像を前記第１及び第２領域画像に分類する境界を、前記移動速度に応じて変更する。

そして例えば、前記拡張鳥瞰変換手段は、前記移動速度が増加するに従って前記境界が前記移動体側に近づくように、前記境界を設定する。

また例えば、前記画像処理装置は、座標変換用の回転角を設定する回転角設定手段を更に備え、前記拡張鳥瞰変換手段は、設定された前記回転角に従って透視投影変換に基づく座標変換を行うことにより前記入力画像を前記拡張鳥瞰図画像に変換し、前記回転角設定手段は、前記傾き角度を前記第１領域画像に対する前記回転角として設定する一方、前記傾き角度と前記距離とに基づいて前記第２領域画像に対する前記回転角を設定し、前記第２領域画像に対する前記回転角を前記距離が大きいほど小さくなるように設定する。

そして例えば、前記回転角設定手段は、前記第２領域画像に対する前記回転角が前記距離の増大に対して減少する比率を、前記移動速度の増加に従って増加させる。

本発明に係る第３の運転支援システムは、移動体に取り付けられて前記移動体の周辺を撮影し、撮影結果を表す信号を出力するカメラと、前記カメラの出力信号に基づく前記カメラからの入力画像を座標変換規則に従って座標変換することにより出力画像を生成する画像処理装置と、を備えた運転支援システムにおいて、前記画像処理装置は、前記移動体の移動速度に応じて、前記座標変換規則を変更する。

これにより、移動速度に応じて、適切な出力画像を生成することが可能となる。

また具体的には例えば、前記移動体は車両であり、且つ、前記移動速度は前記車両の後退速度である。

また、本発明に係る車両には、上記の何れかに記載の運転支援システムが設置されている。

本発明によれば、状況に応じた適切な画像の生成に寄与する運転支援システムを提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１に、本発明の実施形態に係る視界支援システムの構成ブロック図を示す。カメラ１は、撮影を行い、撮影によって得られた画像（以下、撮影画像とも言う）を表す信号を画像処理装置２に出力する。画像処理装置２は、撮影画像を座標変換することによって鳥瞰図画像又は拡張鳥瞰図画像を出力画像として生成する。但し、鳥瞰図画像又は拡張鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正を施し、そのレンズ歪み補正後の撮影画像を鳥瞰図画像又は拡張鳥瞰図画像に変換するものとする。画像処理装置２は、生成した鳥瞰図画像又は拡張鳥瞰図画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って鳥瞰図画像又は拡張鳥瞰図画像を映像として表示する。尚、視界支援システムを、車両１００の運転を支援する運転支援システムとも呼ぶこともできる。

以下、レンズ歪み補正後の撮影画像を「入力画像」と呼ぶ。但し、レンズ歪み補正が不要な場合もあり、その場合、撮影画像と入力画像は一致する。また、入力画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼び、入力画像から拡張鳥瞰図画像を生成するための座標変換を「拡張鳥瞰変換」と呼ぶ。鳥瞰変換の手法及び拡張鳥瞰変換の手法については後述する。

図２は、図１の視界支援システムが適用される車両１００の外観側面図である。図２に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置される。車両１００は、例えばトラックである。水平面とカメラ１の光軸とのなす角は、図２にθ_Oで表される角度と、θ₂で表される角度との２種類がある。角度θ₂は、一般的には、見下ろし角または俯角と呼ばれている。今、角度θ_Oを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ_O＜１８０°且つθ_O＋θ₂＝１８０°、が成立する。

カメラ１は、車両１００の周辺を撮影する。特に、車両１００の後方側に視野を有するようにカメラ１は車両１００に設置される。カメラ１の視野には、車両１００の後方側に位置する路面が含まれる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。また、本実施形態において、地面と路面は同義である。

カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。

図１の視界支援システムは、車両１００が後退する時に特徴的な視界支援を実現する。この視界支援の動作手順を、図３を参照して説明する。図３は、この視界支援の動作手順を表すフローチャートである。図３のステップＳ１〜Ｓ５の各処理は、カメラ１と協働しつつ画像処理装置２によって実施され、ステップＳ６及びＳ７の各処理は、表示装置３によって実施される。

運転者が車両１００に備えられたシフトレバー又はセレクトレバー（不図示）を操作することにより、車両１００が後退可能な状態になったことを検知して、図３の各処理が実施される。或る状態から車両１００が後退可能な状態に遷移したとき、車両１００からバックギヤ信号が出力され、このバックギヤ信号を視界支援システムが検出することによって、図３のステップＳ１に移行する。

画像処理装置２は、ステップＳ１において、カメラ１の撮影画像を読み込み、続くステップＳ２において、その撮影画像にレンズ歪み補正を施して入力画像を生成する。

その後、ステップＳ３において、車両１００のバック速度を所定の速度閾値Ｖ_THと比較する。車両１００のバック速度をＶ_Bで表す。バック速度Ｖ_Bは、車両１００の後退方向の走行速度（即ち、後退速度）である。車両１００の走行速度を特定可能な車速パルスなどの車両移動情報が車両１００側から供給され、その車両移動情報に基づいて画像処理装置２はバック速度Ｖ_Bを認知する。また、異なる時間の撮影に基づく入力画像間の差分に基づいて、車両１００の走行速度を検出することも可能である。

ステップＳ３において、バック速度Ｖ_Bが速度閾値Ｖ_TH以下である場合、ステップＳ４に移行する一方、バック速度Ｖ_Bが速度閾値Ｖ_THよりも大きい場合、ステップＳ５に移行する。

ステップＳ４において、画像処理処理２は、ステップＳ２にて得られた入力画像を鳥瞰変換することにより鳥瞰図画像を生成する。その後、生成された鳥瞰図画像を表す映像信号が表示装置３に送られ、ステップＳ６において、表示装置３が鳥瞰図画像を映像として表示する。

一方、ステップＳ５において、画像処理処理２は、ステップＳ２にて得られた入力画像を拡張鳥瞰変換することにより拡張鳥瞰図画像を生成する。その後、生成された拡張鳥瞰図画像を表す映像信号が表示装置３に送られ、ステップＳ７において、表示装置３が拡張鳥瞰図画像を映像として表示する。

ステップＳ６又はＳ７の処理の後、ステップＳ１に戻り、ステップＳ１〜Ｓ７の各処理が繰り返し実行される。ステップＳ１〜Ｓ７の各処理の実行周期は、ステップＳ１における撮影画像の読み込み周期と同じであり、ステップＳ１にて撮影画像が読み込まれる度にステップＳ６又はＳ７の処理によって表示装置３の表示内容が更新される。

［鳥瞰図画像の生成方法］
まず、ステップＳ４の処理内容について説明する。即ち、入力画像から鳥瞰図画像を生成する方法について説明する。以下に示す、鳥瞰図画像の生成するための座標変換は、一般に透視投影変換と呼ばれる。

図４は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系Ｘ_buＹ_buと、２次元地面座標系Ｘ_w Ｚ_w を含む世界座標系Ｘ_w Ｙ_w Ｚ_w との関係を示している。カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。撮像面Ｓの座標系Ｘ_buＹ_buは、Ｘ_bu軸及びＹ_bu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘ_w Ｚ_wは、Ｘ_w軸及びＺ_w軸を座標軸とする二次元の座標系である。世界座標系Ｘ_w Ｙ_wＺ_wは、Ｘ_w軸、Ｙ_w軸及びＺ_w軸を座標軸とする三次元の座標系である。

以下、カメラ座標系ＸＹＺ、撮像面Ｓの座標系Ｘ_buＹ_bu、２次元地面座標系Ｘ_w Ｚ_w 及び世界座標系Ｘ_w Ｙ_w Ｚ_w を、夫々、単にカメラ座標系、撮像面Ｓの座標系、２次元地面座標系及び世界座標系と略記することがある。

カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸がとられ、Ｚ軸に直交しかつ地面に平行な方向にＸ軸がとられ、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系Ｘ_buＹ_buでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸ_bu軸がとられ、撮像面Ｓの縦方向にＹ_bu軸がとられている。

世界座標系Ｘ_w Ｙ_w Ｚ_w では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏ_w とし、地面と垂直な方向にＹ_w 軸がとられ、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸ_w 軸がとられ、Ｘ_w 軸およびＹ_w 軸に直交する方向にＺ_w 軸がとられている。

Ｘ_w 軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。ｈの値は予め設定され、画像処理装置２に与えられる。そして、Ｚ_w 軸とＺ軸との成す鈍角の角度をθにて表す。実際のカメラ１に関する角度θはカメラ１の傾き角度θ_Oと一致するのであるが、便宜上、θ_Oと異なる記号「θ」を導入する。θは、入力画像から鳥瞰図画像（又は拡張鳥瞰図画像）を生成する際の座標変換に用いられる回転角に相当する。

カメラ座標系ＸＹＺにおける座標を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
世界座標系系Ｘ_w Ｙ_w Ｚ_wにおける座標を（ｘ_w ，ｙ_w ，ｚ_w ）と表記する。ｘ_w 、ｙ_w 及びｚ_wは、夫々、世界座標系系Ｘ_w Ｙ_w Ｚ_wにおける、Ｘ_w軸成分、Ｙ_w軸成分及びＺ_w軸成分である。
二次元地面座標系Ｘ_w Ｚ_w における座標を（ｘ_w ，ｚ_w ）と表記する。ｘ_w及びｚ_wは、夫々、二次元地面座標系Ｘ_w Ｚ_wにおける、Ｘ_W軸成分及びＺ_W軸成分であり、それらは世界座標系系Ｘ_w Ｙ_w Ｚ_wにおけるＸ_W軸成分及びＺ_W軸成分と一致する。
撮像面Ｓの座標系Ｘ_buＹ_buにおける座標を（ｘ_bu，ｙ_bu）と表記する。ｘ_bu及びｙ_buは、夫々、撮像面Ｓの座標系Ｘ_buＹ_buにおける、Ｘ_bu軸成分及びＹ_bu軸成分である。

カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘ_w Ｙ_w Ｚ_w の座標（ｘ_w ，ｙ_w ，ｚ_w ）との間の変換式は、次式（１）で表される。

ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。

上記式（１）及び（２）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）と二次元地面座標系Ｘ_w Ｚ_w の座標（ｘ_w ，ｚ_w ）との間の変換式（３）が得られる。

また、図４には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系Ｘ_auＹ_auを定義する。この鳥瞰図座標系は、拡張鳥瞰図画像についての座標系でもある。鳥瞰図座標系Ｘ_auＹ_auは、Ｘ_au軸及びＹ_au軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ_auＹ_auにおける座標を（ｘ_au，ｙ_au）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標（ｘ_au，ｙ_au）によって表される（拡張鳥瞰図画像についても同様である）。ｘ_au及びｙ_auは、それぞれ鳥瞰図座標系Ｘ_auＹ_auにおけるＸ_au軸成分及びＹ_au軸成分である。

鳥瞰図画像は、実際のカメラ１の撮影画像に基づく入力画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラ１の撮影画像に基づく入力画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。

二次元地面座標系Ｘ_w Ｚ_w から仮想カメラの鳥瞰図座標系Ｘ_auＹ_auへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘ_w Ｚ_w の座標（ｘ_w ，ｚ_w ）と鳥瞰図座標系Ｘ_auＹ_auの座標（ｘ_au，ｙ_au）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。

得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。

上記式（６）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）を、鳥瞰図座標系Ｘ_auＹ_auの座標（ｘ_au，ｙ_au）に変換するための次式（７）が得られる。

撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）は、入力画像における座標を表すため、上記式（７）を用いることによって入力画像を鳥瞰図画像に変換することができる。

即ち、式（７）に従って、入力画像の各画素の座標（ｘ_bu，ｙ_bu）を鳥瞰図座標系の座標（ｘ_au，ｙ_au）に変換することにより、鳥瞰図画像を生成することができる。鳥瞰図画像は、鳥瞰図座標系に配列された各画素から形成される。鳥瞰図画像を生成する際は、式（７）におけるθとしてカメラ１の傾き角度θ_Oを用いる。傾き角度θ_Oの値は、予め設定され、画像処理装置２に与えられる。

実際には、θ＝θ_Oとした上で、式（７）に従って、入力画像上の各画素の座標（ｘ_bu，ｙ_bu）と鳥瞰図画像上の各画素の座標（ｘ_au，ｙ_au）との対応関係を示すテーブルデータを作成しておき、これを図示されないメモリ（ルックアップテーブル）に予め格納しておく。そして、図３のステップＳ４において、このテーブルデータを用いて入力画像を鳥瞰図画像に変換するようにする。勿論、入力画像が得られる度に式（７）に基づく座標変換演算を行って鳥瞰図画像を生成するようにしても構わない。

尚、後にも述べるが、拡張鳥瞰図画像も鳥瞰図座標上に定義される画像である。故に、鳥瞰図画像を生成する場合と同様、式（７）に従って、入力画像の各画素の座標（ｘ_bu，ｙ_bu）を鳥瞰図座標系の座標（ｘ_au，ｙ_au）に変換することにより拡張鳥瞰図画像を生成することができる。但し、拡張鳥瞰図画像を生成する際におけるθは、傾き角度θ_Oと異なりうる（詳細は後述）。

図５（ａ）の符号２００は、入力画像の例を示し、図５（ｂ）の符号２０１は、入力画像２００から生成された鳥瞰図画像を示す。入力画像２００及び鳥瞰図画像２０１の夫々において、２つの線は路面に平行に描かれた白線を表し、楕円状又は円状の領域は路面に設置されたマンホールの描画領域を表す。また、入力画像２００及び鳥瞰図画像２０１の夫々において、下方側が車両１００側に対応している。鳥瞰図画像を表示することにより、運転者は車両近傍の距離感がつかみやすくなり、駐車などが安全に行えるようになる。但し、鳥瞰図画像は、その特性上、車両の遠方領域の描画を不得手とする。従って、鳥瞰図画像が表示される場合、車両１００から比較的遠方の歩行者などを表示装置３上で観測することができない。

仮に、バック速度Ｖ_Bが比較的大きい時に鳥瞰図画像が表示されていたならば、比較的遠方に位置する歩行者の観測が遅れて安全性支援が不十分となるが、本実施形態では、図３を参照して説明したように、バック速度Ｖ_Bが比較的小さい時に鳥瞰図画像を生成及び表示するようにしているため問題はない。一方、バック速度Ｖ_Bが比較的大きい時は、通常の鳥瞰図画像ではなく、遠方領域をも描画可能な拡張鳥瞰図画像（後述の図７（ａ）等）を生成及び表示し、バック速度Ｖ_Bが比較的大きい時における安全性支援を促進する。

以下に、入力画像から拡張鳥瞰図画像を生成するための手法を説明する実施例として、第１〜第４実施例を説明する。

＜＜第１実施例＞＞
まず、第１実施例について説明する。図６は、第１実施例に係る拡張鳥瞰図画像の生成処理の手順を示すフローチャートであり、図３のステップＳ５の詳細な処理手順を表すフローチャートに相当する。

まず、図３のステップＳ３からステップＳ５に至ると、図６のステップＳ１１に移行する。ステップＳ１１において、後述の距離Ｄと比較される距離閾値Ｄ_THをバック速度Ｖ_Bに応じて設定する。具体的には、下記式（８）に従って距離閾値Ｄ_THを設定する。ここで、Ｄ_TH0は予め設定された正の基準値であり、Ｆ（Ｖ_B−Ｖ_TH）は、バック速度Ｖ_Bに依存する逓増関数である。Ｆ（Ｖ_B−Ｖ_TH）の値は、Ｖ_B＝Ｖ_THの時にゼロとなり、速度閾値Ｖ_THを基準としてバック速度Ｖ_Bが増加するに従って増加して０より大きな値となる。但し、距離閾値Ｄ_THの最小値が負とならないように、Ｄ_TH0及びＦ（Ｖ_B−Ｖ_TH）は規定される。

距離閾値Ｄ_THが設定された後、ステップＳ１２に移行し、注目画素に対応する車両１００からの距離Ｄが上記式（３）に従って算出される。注目画素は、入力画像を形成する全画素の内の何れか１つの画素である、具体的には、入力画像上における注目画素の座標を式（３）の（ｘ_bu，ｙ_bu）に代入し且つθ＝θ_Oとした上で、式（３）に従って注目画素に対応する二次元地面座標系Ｘ_w Ｚ_w の座標（ｘ_w ，ｚ_w ）を算出し、得られたＺ_w 軸成分の座標値ｚ_wを距離Ｄとして算出する。

距離Ｄが算出された後、ステップＳ１３において、ステップＳ１２にて算出された距離ＤとステップＳ１１にて設定された距離閾値Ｄ_THとを比較する。そして、Ｄ≦Ｄ_THである場合は、ステップＳ１４に移行し、座標変換用の回転角θに実際のカメラ１の傾き角度θ_Oを代入してからステップＳ１６に移行する。一方、Ｄ＞Ｄ_THである場合は、ステップＳ１５に移行し、ステップＳ１２にて算出された距離ＤとステップＳ１１にて設定された距離閾値Ｄ_THとを用いて、座標変換用の回転角θを下記式（９）に従って設定し、その後、ステップＳ１６に移行する。式（９）における係数Ｋは、θの最小値が９０°以上になるように設定された、正の値である（これは、各実施例で共通である）。第１実施例では、式（９）における係数Ｋを予め設定された固定値としておく。

ステップＳ１６では、ステップＳ１４及びＳ１５の何れかにて設定されたθを用い、式（７）に従って入力画像上における注目画素の座標を鳥瞰図座標系Ｘ_auＹ_auの座標に変換する。具体的には、設定されたθを用い、入力画像上における注目画素の座標を式（７）の（ｘ_bu，ｙ_bu）に代入することによって注目画素に対応する鳥瞰図座標系の座標（ｘ_au，ｙ_au）を求める。尚、ステップＳ１２にて注目画素に対応する二次元地面座標系の座標（ｘ_w ，ｚ_w ）が算出されているため、その座標（ｘ_w ，ｚ_w ）を上記式（５）に従って座標変換することによって、注目画素に対応する鳥瞰図座標系の座標（ｘ_au，ｙ_au）を求めるようにしてもよい。

その後、ステップＳ１７において、入力画像を形成する全ての画素に対してステップＳ１６の座標変換がなされたかが判断される。全ての画素に対してステップＳ１６の座標変換がなされていない場合は、ステップＳ１８に移行し、注目画素を入力画像内の他の画素に更新してからステップＳ１２に戻る。

全ての画素に対してステップＳ１６の座標変換がなされた場合は、入力画像を形成する全ての画素の座標が鳥瞰図座標系の座標に変換されている。即ち、入力画像が拡張鳥瞰図画像に変換されているため、図６の処理を終了し（即ち、図３のステップＳ５の処理を終了し）、得られた拡張鳥瞰図画像を図３のステップＳ７にて表示する。拡張鳥瞰図画像は、ステップＳ１６の座標変換を介して鳥瞰図座標系に配列された各画素から形成される。

図７（ａ）及び図７（ｂ）に、図５（ａ）の入力画像２００から生成されうる拡張鳥瞰図画像を示す。図７（ａ）の符号２０２は、バック速度Ｖ_Bが比較的小さい時に生成される拡張鳥瞰図画像を表し、図７（ｂ）の符号２０３は、バック速度Ｖ_Bが比較的大きい時に生成される拡張鳥瞰図画像を表している（但し、Ｖ_B＞Ｖ_TH）。拡張鳥瞰図画像２０２及び２０３の夫々において、下方側が車両１００側に対応している。

入力画像において、車両１００からの距離Ｄが比較的小さい領域内の画像（以下、第１領域画像という）は、「θ＝θ_O」とした上で座標変換される。従って、第１領域画像は、座標変換によって、距離感が把握しやすい通常の鳥瞰図画像に変換される。

一方、車両１００からの距離Ｄが比較的大きい領域内の画像（以下、第２領域画像という）は、「θ＝θ_O−Ｋ（Ｄ−Ｄ_TH）」とした上で座標変換される。つまり、実際のカメラ１の傾き角度θ_Oよりも９０度に近い角度θを用いて座標変換される。このため、変換後の画像は原画像（入力画像）に近く、画像の変形は少ない。また、変換による画像情報損失も少なくなる。図８に、入力画像を示すと共に該入力画像が第１及び第２領域画像に分類される様子を示す。図８において、波線２１０は、第１及び第２領域画像の境界を示す。

第２領域画像を上述の如く座標変換することによって得られる画像を擬似鳥瞰図画像と呼ぶこととすると、拡張鳥瞰図画像は、第１領域画像を座標変換して得られる通常の鳥瞰図画像と第２領域画像を座標変換して得られる擬似鳥瞰図画像との合成画像に相当する。

図５（ａ）の入力画像２００には現れている右側の人物は、図５（ｂ）の鳥瞰図画像２０１では現れていないが、図７（ａ）の拡張鳥瞰図画像２０２では、その人物の足元が描写されている。更に、図７（ｂ）の拡張鳥瞰図画像２０３では、その人物の体全体が描写されていることが分かる。

このように、バック速度Ｖ_Bが速度閾値Ｖ_THよりも大きい時（図３のステップＳ３参照）、拡張鳥瞰図画像（２０２又は２０３）が生成されて、車両近傍の領域に対しては距離感が把握しやすい画像が提供される一方で、図５（ｂ）の鳥瞰図画像２０１に比べてより遠方の領域も表示される。このため、比較的遠方の物体（歩行者など）の観測を早期に行えるようになり、運転に対する安全性支援が促進される。

更に、拡張鳥瞰図画像を生成する際、図６のステップＳ１１の如くバック速度Ｖ_Bに応じて距離閾値Ｄ_THが動的に設定される。具体的には、バック速度Ｖ_Bが比較的小さい時には距離閾値Ｄ_THが比較的大きくされ（例えば、図７（ａ）のＤ_TH1）、バック速度Ｖ_Bが比較的大きい時には距離閾値Ｄ_THが比較的小さくされる（例えば、図７（ｂ）のＤ_TH2；但し、Ｄ_TH1＞Ｄ_TH2）。つまり、バック速度Ｖ_Bが増加するに従って、図８の境界２１０が車両側に近づき、これに伴って距離閾値Ｄ_THも小さくなる。これにより、バック速度Ｖ_Bが大きい時に必要となる、より遠方の物体に対するより早期の観測が可能となり、運転に対する安全性支援がより促進される。

＜＜第２実施例＞＞
距離閾値Ｄ_THが決まれば、第１実施例に記載した手法に基づいて、入力画像上の各画素の座標と拡張鳥瞰図画像上の各画素の座標との対応関係を一意に定めることができる。従って、この対応関係を示すテーブルデータを事前に作成しておき、これを用いて拡張鳥瞰変換を実施するようにしてもよい。これを、第２実施例とする。

例えば、図６のステップＳ１１において、図９に示す如く、バック速度Ｖ_Bの増加に従って距離閾値Ｄ_THを段階的に減少させるようにする。この場合、ステップＳ１１において、距離閾値Ｄ_THは複数の値をとりうることになり、バック速度Ｖ_Bに応じて該複数の値の内の何れかが距離閾値Ｄ_THとして採用されることになる。そして、距離閾値Ｄ_THがとりうる値ごとに、入力画像上の各画素の座標と拡張鳥瞰図画像上の各画素の座標との対応関係を示すテーブルデータを作成しておき、これらを図示されないメモリ（ルックアップテーブル）に予め格納しておく。実稼動時には、図３のステップＳ５において、このテーブルデータを用いて入力画像を拡張鳥瞰図画像に変換すればよい。

＜＜第３実施例＞＞
次に、第３実施例について説明する。図１０は、第３実施例に係る拡張鳥瞰図画像の生成処理の手順を示すフローチャートであり、図３のステップＳ５の詳細な処理手順を表すフローチャートに相当する。

第３実施例に係る拡張鳥瞰図画像の生成処理は、ステップＳ１２〜Ｓ１８及びステップＳ２１の各処理からなり、ステップＳ１２〜Ｓ１８の各処理は、第１実施例に係るそれらと略同様である。従って、ステップＳ２１の処理内容の説明に重点をおいて第３実施例の説明を行い、同様の部分の説明を簡略的に行う。第１実施例に記載した内容は、矛盾なき限り、第３実施例にも適用される。第１及び第２実施例では固定値とされていた上記式（９）における係数Ｋを、第３実施例では、バック速度Ｖ_Bに応じて動的に設定する。

まず、図３のステップＳ３からステップＳ５に至ると、図１０のステップＳ２１に移行する。ステップＳ２１において、係数Ｋをバック速度Ｖ_Bに応じて設定する。具体的には、下記式（１０）に従って係数Ｋを設定する。ここで、Ｋ₀は予め設定された正の基準値であり、Ｇ（Ｖ_B−Ｖ_TH）はバック速度Ｖ_Bに依存する逓増関数である。Ｇ（Ｖ_B−Ｖ_TH）の値は、Ｖ_B＝Ｖ_THの時にゼロとなり、速度閾値Ｖ_THを基準としてバック速度Ｖ_Bが増加するに従って増加して０より大きな値となる。

係数Ｋが設定された後、ステップＳ１２に移行し、注目画素に対応する車両１００からの距離Ｄが上記式（３）に従って算出される。その後、ステップＳ１３にて、注目画素に対する距離Ｄと距離閾値Ｄ_THとを比較する。第３実施例では、距離閾値Ｄ_THを固定値としておく。但し、図６のステップＳ１１の処理を実行し、距離閾値Ｄ_THを上記式（８）に従って動的に設定することも可能である。

そして、Ｄ≦Ｄ_THである場合は、ステップＳ１４に移行し、座標変換用の回転角θに実際のカメラ１の傾き角度θ_Oを代入してからステップＳ１６に移行する。一方、Ｄ＞Ｄ_THである場合は、ステップＳ１５に移行し、ステップＳ１２にて算出された距離ＤとステップＳ２１にて設定された係数Ｋとを用いて、座標変換用の回転角θを上記式（９）に従って設定し、その後、ステップＳ１６に移行する。

ステップＳ１６では、ステップＳ１４及びＳ１５の何れかにて設定されたθを用い、上記式（７）に従って入力画像上における注目画素の座標を鳥瞰図座標系Ｘ_auＹ_auの座標に変換する。その後、ステップＳ１７において、入力画像を形成する全ての画素に対してステップＳ１６の座標変換がなされたかを判断し、全ての画素に対してステップＳ１６の座標変換がなされていない場合は、ステップＳ１８に移行して、注目画素を入力画像内の他の画素に更新してからステップＳ１２に戻る。全ての画素に対してステップＳ１６の座標変換がなされた場合は、入力画像を形成する全ての画素の座標が鳥瞰図座標系の座標に変換されている。即ち、入力画像が拡張鳥瞰図画像に変換されているため、図１０の処理を終了し（即ち、図３のステップＳ５の処理を終了し）、得られた拡張鳥瞰図画像を図３のステップＳ７にて表示する。

図１１（ａ）及び図１１（ｂ）に、図５（ａ）の入力画像２００から生成されうる拡張鳥瞰図画像を示す。図１１（ａ）の符号２２２は、バック速度Ｖ_Bが比較的小さい時に生成される拡張鳥瞰図画像を表し、図１１（ｂ）の符号２２３は、バック速度Ｖ_Bが比較的大きい時に生成される拡張鳥瞰図画像を表している（但し、Ｖ_B＞Ｖ_TH）。拡張鳥瞰図画像２２２及び２２３の夫々において、下方側が車両１００側に対応している。

図１０のステップＳ１５の処理によって、入力画像の第２領域画像（図８参照）に対して設定される座標変換用の回転角θは、距離Ｄが増大するに従って減少する。第３実施例では、この回転角θが距離Ｄの増大に対して減少する比率を、バック速度Ｖ_Bが増加するに従って増加させる（ステップＳ２１参照）。これにより、バック速度Ｖ_Bが大きい時に必要となる、より遠方の物体に対するより早期の観測が可能となり、運転に対する安全性支援がより促進される。

図５（ａ）の入力画像２００には現れている右側の人物は、図５（ｂ）の鳥瞰図画像２０１では現れていないが、図１１（ａ）の拡張鳥瞰図画像２２２では、その人物の足元が描写されている。更に、バック速度Ｖ_Bがより大きいことに対応する図１１（ｂ）の拡張鳥瞰図画像２２３では、その人物の体全体が描写されていることが分かる。

＜＜第４実施例＞＞
係数Ｋが決まれば、第３実施例に記載した手法に基づいて、入力画像上の各画素の座標と拡張鳥瞰図画像上の各画素の座標との対応関係を一意に定めることができる。従って、この対応関係を示すテーブルデータを事前に作成しておき、これを用いて拡張鳥瞰変換を実施するようにしてもよい。これを、第４実施例とする。

例えば、図１０のステップＳ２１において、図１２に示す如く、バック速度Ｖ_Bの増加に従って係数Ｋを段階的に増加させるようにする。この場合、ステップＳ２１において、係数Ｋは複数の値をとりうることになり、バック速度Ｖ_Bに応じて該複数の値の内の何れかが係数Ｋとして採用されることになる。そして、係数Ｋがとりうる値ごとに、入力画像上の各画素の座標と拡張鳥瞰図画像上の各画素の座標との対応関係を示すテーブルデータを作成しておき、これらを図示されないメモリ（ルックアップテーブル）に予め格納しておく。実稼動時には、図３のステップＳ５において、このテーブルデータを用いて入力画像を拡張鳥瞰図画像に変換すればよい。

＜＜変形等＞＞
或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の実施形態では、Ｖ_B＞Ｖ_THである時にのみ拡張鳥瞰図画像の生成及び表示を行い、Ｖ_B≦Ｖ_THの時には通常の鳥瞰図画像を生成及び表示しているが（図３参照）、バック速度Ｖ_Bの如何に拘らず、拡張鳥瞰図画像の生成及び表示を行うようにしても構わない。この場合、図３のステップＳ３、Ｓ４及びＳ６の各処理を削除し、図３のステップＳ２の処理の後、常にステップＳ５及びＳ７の各処理を行うようにする。このようにしても、バック速度Ｖ_Bに応じて、安全性支援にとってより適切な拡張鳥瞰図画像が生成及び表示されるようになる（図７（ａ）及び（ｂ）等を参照）。

［注釈２］
上述の実施形態では、入力画像から生成された鳥瞰図画像又は拡張鳥瞰図画像を表示装置３に表示するようにしているが、鳥瞰図画像又は拡張鳥瞰図画像に他の画像を合成することによって得られる合成画像を、表示装置３に表示するようにしてもよい。例えば、カメラ１以外に他の１台以上のカメラを車両１００に取り付け、その他のカメラの撮影画像に基づく画像をカメラ１の撮影画像に基づく鳥瞰図画像又は拡張鳥瞰図画像に合成し、この合成によって得られた合成画像を表示装置３に表示することも可能である。この合成画像は、例えば、上記特許文献２にも記載されているような全周鳥瞰図画像である。

［注釈３］
上述の実施形態では、車両の例として自動車（トラック）を例示しているが、自動車に分類されない車両に対しても本発明は適用可能であり、更に車両に分類されない移動体に対しても本発明は適用可能である。車両に分類されない移動体は、例えば、車輪を備えておらず、車輪以外の機構を用いて移動する。

例えば、遠隔操作によって工場内を移動する、移動体としてのロボット（不図示）に対して、本発明を適用することも可能である。このロボットには、カメラ１と同様のカメラが取り付けられ、このカメラは、ロボットの周辺を撮影した画像を画像処理装置に送る。そして、この画像処理装置が上述した手法に従い、ロボットの移動速度に基づいて鳥瞰図画像又は拡張鳥瞰図画像を生成し、生成した画像を表示装置に出力する。この表示装置は、ロボットを遠隔操作する人が存在する監視室などに配置される。

［注釈４］
図１の画像処理装置２の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈５］
例えば、以下のように考えることができる。図１の画像処理装置２は、入力画像を鳥瞰図画像に変換する鳥瞰変換手段としての機能と、入力画像を拡張鳥瞰図画像に変換する拡張鳥瞰変換手段としての機能とを兼務する。更に、座標変換用の回転角θを設定する回転角設定手段としての機能も、画像処理装置２によって実現される。

上述の如く、座標変換を用いて入力画像から鳥瞰図画像又は拡張鳥瞰図画像が得られるが、入力画像から鳥瞰図画像を得る時の座標変換の規則と入力画像から拡張鳥瞰図画像を得る時の座標変換の規則は、異なる。本実施形態において、この規則の相違は、回転角θの相違に対応し、それは、図６又は図１０のステップＳ１３〜Ｓ１５の各処理によってもたらされる。

更に、座標変換によって入力画像から拡張鳥瞰図画像を得る時において、バック速度Ｖ_Bが異なれば、その座標変換の規則は異なる。本実施形態において、この規則の相違は、回転角θの相違に対応し、それは、図６のステップＳ１１又は図１０のステップＳ２１の処理とステップＳ１３〜Ｓ１５の各処理とによってもたらされる。

本発明の実施形態に係る視界支援システムの構成ブロック図である。 図１の視界支援システムが適用される車両の外観側面図である。 図２の車両の後退時に実施される視界支援動作の手順を表すフローチャートである。 本発明の実施形態に係り、カメラ座標系ＸＹＺと撮像面の座標系Ｘ_buＹ_buと世界座標系Ｘ_w Ｙ_w Ｚ_w との関係を示す図である。 図１のカメラの撮影画像に基づく入力画像（ａ）と、その入力画像から生成された鳥瞰図画像（ｂ）を示す図である。 本発明の第１実施例に係り、拡張鳥瞰図画像の生成処理手順を示すフローチャートである。 本発明の第１実施例に係り、低速時の拡張鳥瞰図画像（ａ）と高速時の拡張鳥瞰図画像（ｂ）を示す図である。 図１のカメラの撮影画像に基づく入力画像が第１及び第２領域画像に分類して考えられる様子を示す図である。 本発明の第２実施例に係り、距離閾値（Ｄ_TH）がバック速度（Ｖ_B）の増加に従って段階的に減少する様子を示す図である。 本発明の第３実施例に係り、拡張鳥瞰図画像の生成処理手順を示すフローチャートである。 本発明の第３実施例に係り、低速時の拡張鳥瞰図画像（ａ）と高速時の拡張鳥瞰図画像（ｂ）を示す図である。 本発明の第４実施例に係り、係数（Ｋ）がバック速度（Ｖ_B）の増加に従って段階的に増加する様子を示す図である。

符号の説明

１ カメラ
２ 画像処理装置
３ 表示装置
１００ 車両

Claims (3)

1. 移動体に取り付けられて前記移動体の周辺を撮影し、撮影結果を表す信号を出力するカメラと、
   前記カメラの出力信号に基づく前記カメラからの入力画像を座標変換することにより出力画像を生成する画像処理装置と、を備えた運転支援システムにおいて、
   前記画像処理装置は、
   予め設定された水平面に対する前記カメラの傾き角度に基づいて前記入力画像の座標を鳥瞰図座標に変換することにより、前記入力画像を鳥瞰図画像に変換する鳥瞰変換手段と、
   前記入力画像を前記移動体からの距離が比較的近い領域内の第１領域画像と前記距離が比較的遠い領域内の第２領域画像に分類し、前記傾き角度に基づいて前記第１領域画像の座標を前記鳥瞰図座標に変換する一方で前記傾き角度と前記距離に基づいて前記第２領域画像の座標を前記鳥瞰図座標に変換することにより、前記入力画像を拡張鳥瞰図画像に変換する拡張鳥瞰変換手段と、を備え、
   前記移動体の移動速度に応じて前記鳥瞰変換手段と前記拡張鳥瞰変換手段を切り換えて用いることにより、前記鳥瞰図画像及び前記拡張鳥瞰図画像の何れか一方から前記出力画像を生成し、
   前記拡張鳥瞰変換手段は、前記傾き角度及び前記距離だけでなく前記移動体の移動速度にも基づいて、前記入力画像から前記拡張鳥瞰図画像への変換を行い、
   前記入力画像を前記第１及び第２領域画像に分類する境界を、前記移動速度に応じて変更する
   ことを特徴とする運転支援システム。
2. 移動体に取り付けられて前記移動体の周辺を撮影し、撮影結果を表す信号を出力するカメラと、
   前記カメラの出力信号に基づく前記カメラからの入力画像を座標変換することにより出力画像を生成する画像処理装置と、を備えた運転支援システムにおいて、
   前記画像処理装置は、
   前記入力画像を前記移動体からの距離が比較的近い領域内の第１領域画像と前記距離が比較的遠い領域内の第２領域画像に分類し、予め設定された水平面に対する前記カメラの傾き角度に基づいて前記第１領域画像の座標を前記鳥瞰図座標に変換する一方で前記傾き角度と前記距離に基づいて前記第２領域画像の座標を前記鳥瞰図座標に変換することにより、前記入力画像を拡張鳥瞰図画像に変換する拡張鳥瞰変換手段を備え、
   前記拡張鳥瞰変換手段は、前記傾き角度及び前記距離だけでなく前記移動体の移動速度にも基づいて、前記入力画像から前記拡張鳥瞰図画像への変換を行い、
   前記入力画像を前記第１及び第２領域画像に分類する境界を、前記移動速度に応じて変更する
   ことを特徴とする運転支援システム。
3. 前記拡張鳥瞰変換手段は、前記移動速度が増加するに従って前記境界が前記移動体側に近づくように、前記境界を設定する
   ことを特徴とする請求項１または２に記載の運転支援システム。

Images