JP5748920B2 - 車両周辺の表示方法 - Google Patents

Description

従来技術
本発明は、運転支援システムのマンマシンインタフェース上に車両周辺を表示する方法に関する。本発明はさらに、上記方法に対応するコンピュータプログラム製品と、対応する運転支援システムとに関する。

運転支援システムは、ドライバが車両を運転するのを支援することを目的とした、車両の追加装備である。運転支援システムは典型的には、複数の種々のサブシステムを有し、たとえば駐車支援システム、ナビゲーションシステム、または、センサ系を用いて車両の周辺をモニタリングする死角モニタリングシステム等のサブシステムを有する。このセンサ系はたとえば光学的センサ、超音波センサ、レーダセンサまたはライダセンサを含むことができ、このセンサは単独で生成ないしは処理を行うか、または、車両周辺に関する他のデータを併用して生成ないしは処理を行う。

欧州特許出願公開ＥＰ２０５８７６２に、オブジェクトから車両までの距離を直接、鳥瞰表示で表示できる手法が開示されている。まず最初に、画像検出ユニットが、車両周辺に存在するオブジェクトを検出する。ある特定の地上高で車両と衝突すると予測されるオブジェクトを検出した場合、衝突ポイントのこの特定の地上高で、仮想投影面が生成される。画像処理において、前記画像検出ユニットが検出した画像の画素がこの投影面に投影され、鳥瞰視点からの画像を生成する。さらに、車両と衝突ポイントとの間の画素は、走行路の高さの平面に投影され、それより遠くにある画素は、前記仮想投影面に投影される。

独国特許出願公開ＤＥ１０２０１００１０９１２は、検出したオブジェクトを光学的表示する運転支援装置を対象としており、この運転支援装置は、車両の周辺にあるオブジェクトを検出するためのセンサ装置と、表示装置とを有する。このセンサ装置により、オブジェクトの底部座標を２Ｄ位置データまたは３Ｄ位置データとして検出することができ、この位置データは表示装置により、オブジェクトを上から見た様子を記号化したシンボルの、斜視表示における位置を特定するために使用される。検出したオブジェクトを表すシンボルは、斜視表示内に位置決めされる。実際の車両の周辺全体を表示できるようにするためには、車両周辺の複数の撮像が必要となる。これらの各撮像は前処理され、これらの撮像の情報は鳥瞰表示を得るために使用される。

独国特許出願公開ＤＥ１０２００５０２６４５８は、車両用の運転支援システムを対象とし、この運転支援システムは、検出したオブジェクトから車両の近傍領域までの距離データをセンサ信号の解析により求める解析ユニットを有する。この求めた距離データはオブジェクト輪郭として、自車の概略的な平面表示を基準として光学的表示上に表示される。

自動車において用いられる今日のマルチカメラシステムは、車両に設置された複数のカメラの画像から共通のビューを計算する。仮想カメラにより、車両に設置された複数のカメラにより異なる複数のビューを表示する。このようにして、ドライバはヘッドアップディスプレイを１回見るだけで、車両周辺全体の詳細を見ることができる。よって、ドライバはこのようなシステムを使用すると、死角を概観することができるようになる。

発明の開示
本発明にて開示している方法により、画像処理において、および／または、たとえばレーザ、レーダ、ライダ、超音波、ステレオカメラ等の他のセンサ系を用いて、近傍にある、すなわち車両の周辺にある突出したオブジェクトを検出することができる。上記センサ系の具体例は、単に一部を挙げたに過ぎない。この検出したオブジェクトを平面に投影する代わりに、本発明の方法では、突出したオブジェクトが検出されると、このオブジェクトの足元位置の座標を求める。その次のステップにおいて、投影面をオブジェクトより手前において持ち上げることにより、仮想カメラの複数の異なる選択可能な表示面において、車両近傍の突出したオブジェクトが、高さを有する物として認識できるようになり、このようなオブジェクトが「伸びた陰」となって平面上に投影されることがなくなる。このような方法により、ドライバにとって周辺の表示の改善や、周辺状況の処理の改善を実現することができ、ドライバはより的確に対応できるようになる。というのも、画像はより自然に見えるようになり、直観的に認識できるようになるからである。

さらにオブジェクトの高さも求めることが可能である場合には、投影面を変化させるときにこの高さも考慮することができ、これにより、表示面をより一層改善することができる。

発明の利点
本発明にて開示した方法の利点はとりわけ、投影面を持ち上げることにより、突出したオブジェクトをより自然に、より直観的に表示できることである。このことにより、表示から人工的な感じを取り去ることができ、また、ドライバの直近の周辺を、ドライバにとってより自然に表示できるようになる。

以下、図面を参照して本発明を詳細に説明する。

車両に設置された複数のカメラの、同一のビューの４つの画像を示す図である。 カメラを有する車両を鳥瞰視点から見た２次元の平面図である。 １視点から見た車両の全方位像である。 水平方向区間と垂直方向区間とを有する、車両前方に延在する投影面を示す図である。 検出した突出オブジェクトの足元位置近傍に垂直方向エリアがある、適合された投影面を示す図である。 垂直方向のエリアが、突出したオブジェクトの足元位置から延在しており、かつ、検出した当該突出したオブジェクトの高さに適合された高さを有する、さらに適合された投影面を示す図である。

図１に、車両に組み付けられた複数のカメラにより撮像された４つの写真の概観を示す。車両に設置された複数のカメラにより撮像された１−４のカメラ画像１２，１４，１６および１８から、共通のビューを生成することができる。このように共通のビューを生成することにより、１つの仮想カメラによって複数の異なるビューを表示することができ、これによりドライバは、ヘッドアップディスプレイを１度見ただけで、たとえば車両周辺全体の詳細を見ることができる。これにより、ドライバは特に死角を見渡すことも可能になる。

図２に、車両３０を上方から見たときの鳥瞰表示２０の一例を示す。

その他にも、カメラ画像１２，１４，１６，１８から、車両３０の周辺を表現した曲面の全方位像２２を３次元表示で生成することも可能である。カメラ画像１２，１４，１６および１８を１平面上に投影することに代えて、これらの個別画像を湾曲した桶状の面に投影することにより、特により遠方の領域の再生に関して、表示を格段に改善することができる。

実施例
図４には、車両前方に延在する水平方向エリアと、車両を基準として垂直方向に延在する垂直方向エリアとを有する投影面を示している。

図４に示されているように、車両３０は走行路４０上にあり、この走行路４０が、投影面４６の水平方向エリア３６となる。図４には、投影面４６の水平方向エリア３６内に少なくとも１つの突出オブジェクト３４が存在しているのが示されており、このオブジェクト３４はここでは人間である。図４を見ると、投影面４６の垂直方向エリア３８は、車両３０を基準として、検出した少なくとも１つの突出したオブジェクト３４より後方に存在しているのが分かる。それゆえ、検出された少なくとも１つの突出したオブジェクト３４は、投影面４６内では、とりわけ垂直方向エリア３８内では、歪んだ伸びた影となって不自然な表現になってしまう。図４を見ると、この実施形態では垂直方向エリア３８が、破線で示した投影面４６と一致するのが分かる。この投影面４６は予め固定的に設定されており、フレキシブル性を持たない。図４に示した射線経路から、本実施例では人間である突出したオブジェクト３４は、頭上を通る射線によって、また、当該突出したオブジェクト３４の足元位置にもよって、当該突出したオブジェクト３４の足元位置から投影面の湾曲した垂直方向エリア３８までの下の矢印により示されたような大きな剪断ひずみにより非常に大きく、とりわけ剪断ひずみとして歪んだ状態で表示されるのが分かる。

図４に示されている投影面４６は、椀状に構築された面であり、この椀状の面に、車両周辺の映像が投影される。この椀状面３２の水平方向エリア３６と垂直方向エリア３８と間の移行部は、可能な限り、たとえば車両３０が存在する走行路４０のような平坦な領域と、たとえば建物や人間３４のような突出したオブジェクトとの間の移行部と一致するように選択される。このようにして、車両周辺に存在する突出したオブジェクト３４は、特に投影面４６上においてリアリティに近くなり、人工的な印象を与えることがあるオブジェクト３４の印象を無くすことができる。

図５に、車両前方に延在する適合された投影面を示す。

図５を見ると分かるように、車両３０の周辺に、人間の形の突出したオブジェクト３４が検出される。ここで、検出したこの突出したオブジェクト３４の足元ポイント４８の特定が行われ、この足元ポイント４８から、検出された前記少なくとも１つの突出したオブジェクト３４が走行路４０を出発点として、すなわち投影面４６の水平方向エリア３６を出発点として当該投影面４６内に突出している。図４と対比すると分かるように、足元ポイント４８の特定結果に依存して投影面４６の適合を行う。この投影面４６の適合は、突出したオブジェクト３４の足元ポイント４８より手前にある、当該投影面４６の垂直方向エリア３８を、場合によっては移行領域５０内において持ち上げ、これにより、検出した前記少なくとも１つの突出したオブジェクト３４が当該投影面４６の中に、とりわけ当該投影面４６の垂直方向エリア３８の中に位置するように行われる。この移行領域５０は、投影面の連続的な移行を可能にするためのものであり、とりわけ、投影面４６の水平方向エリア３６と垂直方向エリア３９との間の連続的な移行を可能にするためのものである。

万全を期するため、図５では垂直方向エリア３８は、突出したオブジェクト３４の実際の高さ４２を、本実施例では、人間３４である突出したオブジェクトの身長より上に来るように表示されていることを述べておく。

基本的には、投影面４６の水平方向エリア３６が垂直方向エリア３８に移行していく移行点は、検出された少なくとも１つの突出したオブジェクト３４の足元ポイント４８と一致する。

図６に、投影面をさらに適合したものを示しており、この適合は特に、検出された少なくとも１つの突出したオブジェクトのサイズを考慮して行われる。

図６を見ると分かるように、この表示では、推定された高さ４４は、本実施例では前記少なくとも１つの突出したオブジェクトである人間の身長である高さ４２と実質的に一致するように表示される。もちろん、前記突出したオブジェクト３４が人間ではなく他の物である場合には、前記高さ４２は他の高さとなる。車両３０のドライバは、この少なくとも１つの突出オブジェクト３４が投影面内にあるように、とりわけ投影面４６の垂直方向エリア３８内にあるように知覚するようになり、この突出オブジェクト３４はたとえばヘッドアップディスプレイにおいて、自然なオブジェクトとして表示できるようになる。このことにより、車両３０のドライバにとって周辺の表示が格段に改善され、ドライバはこの周辺状況においてより的確に対応できるようになる。というのも、投影面４６内に、とりわけ投影面４６の垂直方向エリア３８内に位置する、前記少なくとも１つの突出オブジェクト３４のイメージが格段に自然に見えるようになり、たとえばヘッドアップディスプレイにおけるこの突出オブジェクト３４の表現の人工的な感じが無くなるからである。

‐図６に示されているように‐垂直方向区間３８の高さが、検出された前記少なくとも１つの突出したオブジェクト３４の実際の高さ４２に合うように調整すると、オブジェクト３４の表示を一層改善することが可能になる。

図４を見ると分かるように、投影面４６はまず最初は、椀形の外観を有している。オブジェクトが検出されると、この椀形に構築された投影面４６を凹ませる。すなわち、オブジェクト３４の高さと幅と、足元ポイントとが推定される。ここでオブジェクト３４の位置が特定されているので、投影面４６を変化させることができる。図５を見ると、本実施例では投影面４６は、構成が固定的である図４の表示と比較してより早期に、すなわち、突出したオブジェクト３４の平面内に来るように持ち上げられる。この投影面４６の持ち上げは、前記突出したオブジェクト３４の幅で行われる。

図６ではさらに、突出オブジェクト３４の幅の他に、当該突出オブジェクト３４の高さ４２も用いて、投影面４６を変化させることが示されている。

ここで本発明にて開示した方法を実施するために用いられるセンサ系には、とりわけ超音波センサ、レーダセンサ、レーザセンサ、ステレオカメラおよびストラクチャ・フロム・モーションならびにモノカメラ等がより適している。車両３０の周辺を検出するこのようなセンサ系により、上述のような突出したオブジェクト３４の測定値を検出することができる。検出したこの測定値はたとえば、任意の座標系における位置に換算することができる。

図１〜３に関しては、カメラ画像１２，１４，１６，１８の画像列をたとえば鳥瞰表示（Bird Eye View）に統合することは、本当のカメラによっては行われないことを述べておく。むしろ、撮像されたカメラ画像１２，１４，１６および１８を画像変換することにより、変換後の画像が、車両３０上方に位置する本物のカメラにより撮像されたかのように見せかけるようにする。ここで「仮想カメラ」と言った場合には、実際のカメラにより撮像されたカメラ画像１２，１４，１６および１８の変換後の画像を出力すると仮定されたカメラを意味する。

本発明は、上述の実施例に限定されたり、上述の実施例にて強調して説明した側面に限定されることはない。むしろ、特許請求の範囲にて記載した範囲内で、当業者の通常の能力の範囲で行える変更は数多く存在する。

Claims (11)

1. 車両（３０）のカメラシステムが画像を撮像し、当該画像を、構築された投影面（４６）に変換して投影し、車両の周辺を全方位像で表示する方法であって、
   前記車両（３０）の周辺において突出したオブジェクト（３４）が検出された場合、構築された前記投影面（４６）を変化させる、方法において、
   ・前記車両の周辺において、突出したオブジェクト（３４）を検出するステップと、
   ・構築された前記投影面（４６）における前記突出したオブジェクト（３４）の足元位置（４８）を含む、当該突出したオブジェクト（３４）の座標と、当該突出したオブジェクト（３４）の幅とを求めるステップと、
   ・前記突出したオブジェクト（３４）の近傍において、当該突出したオブジェクト（３４）の幅にわたって、構築された前記投影面（４６）を持ち上げるように、構築された前記投影面（４６）を適合するステップと
   を有することを特徴とする方法。
2. 前記適合するステップは、前記突出したオブジェクト（３４）の求めた前記足元位置（４８）の近傍において、当該突出したオブジェクト（３４）の幅にわたって、構築された前記投影面（４６）を持ち上げるように、構築された前記投影面（４６）を適合するステップである、
   請求項１記載の方法。
3. 構築された前記投影面（４６）は、
   前記車両（３０）前方にある水平方向エリア（３６）と、
   当該車両（３０）から、より遠隔にある垂直方向エリア（３８）と
   により構成される、請求項１または２記載の方法。
4. 少なくとも１つの突出したオブジェクト（３４）が検出された場合、構築された前記投影面（４６）の水平方向エリア（３６）から垂直方向エリア（３８）への移行部分を、検出した前記少なくとも１つの突出したオブジェクト（３４）の足元位置（４８）の近傍へ移動させる、
   請求項１または２記載の方法。
5. 前記突出したオブジェクト（３４）の幅に応じて、構築された前記投影面（４６）を前記幅で、検出された前記突出したオブジェクト（３４）の足元位置（４８）から適合する、
   請求項１または２記載の方法。
6. 検出した前記少なくとも１つの突出したオブジェクト（３４）の高さ（４２）に依存して、構築された前記投影面（４６）の前記突出したオブジェクト（３４）の幅にわたって、前記垂直方向エリア（３８）の高さ（４４）を適合する、
   請求項１から５までのいずれか１項記載の方法。
7. 適合された前記投影面（４６）において、検出された前記突出したオブジェクト（３４）を３Ｄ表示として表現する、
   請求項１から６までのいずれか１項記載の方法。
8. 前記水平方向エリア（３６）が前記垂直方向エリア（３８）に移行していく移行領域（５０）を、構築された前記投影面（４６）に設ける、
   請求項１から７までのいずれか１項記載の方法。
9. プログラミング可能なコンピュータ装置上で実行されるときに請求項１から８までのいずれか１項記載の方法を実施するためのコンピュータプログラム。
10. 車両（３０）のドライバに対する運転支援システムであって、
    ・前記車両の周辺において、突出したオブジェクト（３４）を検出するためのセンサ系と、
    ・検出された少なくとも１つの突出したオブジェクト（３４）の足元位置（４８）の座標と幅とを求めるための構成要素と、
    ・前記突出したオブジェクト（３４）の近傍において、検出された前記少なくとも１つの突出したオブジェクト（３４）の幅にわたって、構築された投影面（４６）を持ち上げる（３８）ための構成要素と
    を有することを特徴とする、運転支援システム。
11. 前記構築された投影面（４６）を持ち上げる（３８）ための構成要素は、前記突出したオブジェクト（３４）の求めた前記足元位置（３８）の近傍において、検出された前記少なくとも１つの突出したオブジェクト（３４）の幅にわたって、構築された投影面（４６）を持ち上げる（３８）ための構成要素である、
    請求項１０記載の運転支援システム。

Images