JP3830025B2 - 描画装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、描画装置に関し、より特定的には、車両の運転を支援する運転支援装置に組み込むことが可能な描画装置に関する。さらに詳しく述べると、車両に固定される撮像装置により取り込まれた画像を基礎として、車両の周囲を表す運転支援画像を生成する描画装置に関する。
【０００２】
【従来の技術】
従来の運転支援装置の一つが、米国特許第５，６７０，９３５号公報に開示されている。従来の運転支援装置は、大略的に、複数のカメラと、画像処理部と、表示装置とを備えている。各カメラは、車両の前進方向を基準として後に向けて取り付けられており、互いに異なる車両の後方画像を取り込む。画像処理部は、各カメラにより取り込まれた複数の後方画像を１つに合成して、合成画像を生成する。以上の合成画像は、表示装置に転送され、当該表示装置で表示される。以上の合成画像を通じて、ドライバは、車両の後方がどのような状況であるかを視認することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、ドライバは、上述の合成画像から得られる情報だけでは、運転支援には不十分であると感じるという問題点があった。例えば、駐車時のように、繊細なステアリング操作が要求される状況では、ドライバは、自車両がその周囲に存在する立体物と接触するか否かを容易に判定したいと考える。したがって、かかる状況では、自車両と立体物との距離感が直感的に分かるような画像が要求される。しかしながら、合成画像は、カメラが撮影した後方画像をつなぎ合わせただけであるから、自車両と立体物との距離感が分かりづらい。
【０００４】
それゆえに、本発明は、運転支援装置に組み込むことが可能であり、十分な情報をドライバに提供可能な運転支援画像を生成できる描画装置を提供することを目的とする。
【０００５】
【課題を解決するための手段および発明の効果】
上記目的を達成するために、第１の発明は、車両の運転を支援するための運転支援画像を生成する描画装置であって、車両に設置された撮像装置により取り込まれた撮影画像を受け取る取得部と、取得部が受け取った撮影画像に基づいて、車両の周囲における第１の範囲を、第１の視点から見たときの様子を表す下方視点画像を生成する第１の画像生成部と、取得部が受け取った撮影画像に対して視点変換処理を行って、車両の周囲において、第１の範囲より狭い第２の範囲を、撮像装置が設置されている位置及び第１の視点のそれぞれと異なりかつ車両の上方に仮想的に設定された第２の視点から見たときの様子を表す上方視点画像を生成する第２の画像生成部と、第１の画像生成部で生成された下方視点画像と、第２の画像生成部で生成された上方視点画像とを含む運転支援画像を生成する第３の画像生成部とを備える。ここで、第１の視点から車両の周囲を見るときの方向と路面とがなす第１の角度は、第２の視点から車両の周囲を見るときの方向と当該路面とがなす第２の角度よりも小さく、さらに、第１の範囲は、車両から第１の距離までの範囲であり、第２の範囲は、車両から第２の距離までの範囲であり、第２の距離は、第１の距離よりも小さくかつ路面上に立体物がないと考え得る距離である。
【０００６】
以上のように、第１の発明では、互いに視点の異なる下方視点画像および上方視点画像を含む運転支援画像が生成される。下方視点画像は、ドライバが車両の周囲の状況を把握するのに好適である。一方、上方視点画像は、ドライバが車両とその周囲にある立体物との接触判定に好適である。そのため、ドライバは、運転支援画像を構成する複数の画像を、必要に応じて、使い分けることができる。このように、第１の発明によれば、ドライバが必要とする十分な情報を提供することができる。
また、上方視点画像は、上述のように車両と立体物との接触判定に向くので、車両の近傍の狭い範囲の様子を表せば十分である。また、上方視点画像が表す範囲は、車両に対して、第１の距離よりも小さくかつ路面上に障害物がないと想定される距離に制限される。したがって、第１の発明によれば、ドライバに不要な情報が提供されることを防止することができる。また、下方視点画像は、ドライバが車両の周囲の様子を把握するのに好適である。第１の発明では、下方視点画像は上方視点画像よりも広い範囲の様子を表すので、ドライバにより十分な情報を提供することが可能となる。
【０００７】
第２の発明は、第１の発明に従属しており、第１の視点は、撮像装置の近傍に予め設定されている仮想視点である。そして、第１の画像生成部は、取得部が受け取った撮影画像に視点変換処理を行って、仮想視点から見た車両の周囲の様子を表す下方視点画像を生成する。
【０００８】
第３の発明は、第１の発明に従属しており、第１の視点は、車両のドライバの目の位置近傍に予め設定されている仮想視点である。ここで、第１の画像生成部は、取得部が受け取った撮影画像に視点変換処理を行って、仮想視点から見た車両の周囲の様子を表す下方視点画像を生成する。
【０００９】
第２および第３の発明によれば、下方視点画像は視点変換処理により生成される。これによって、ドライバにとってより好ましい視点から車両の周囲を見た下方視点画像を生成することができる。
【００１０】
第４の発明は、第１の発明に従属しており、第３の画像生成部は、第２の画像生成部で生成された上方視点画像を、運転支援画像において車両の運転席に近い側に配置する。
第４の発明によれば、上方視点画像がドライバから見やすい位置に配置されるので、ドライバにとってより好ましい運転支援画像を生成することができる。
【００１１】
第５の発明は、第１の発明に従属しており、第３の画像生成部は、第２の画像生成部で生成された上方視点画像を、運転支援画像における上部に配置する。
第５の発明では、上方視点画像が運転支援画像における上部に配置される。つまり、上
方視点画像は、下方視点画像において、ドライバがあまり必要としない部分に合成されることになる。これによって、ドライバにとってより好ましい運転支援画像を生成することができる。
【００１２】
第６の発明は、第１の発明に従属しており、描画装置は、車両に設置された操舵角センサにより検出された当該車両の操舵角に基づいて、車両がこれから辿ると想定される予測軌跡を導出する導出部と、導出部により導出された予測軌跡を表すオブジェクトを、第３の画像生成部により生成された運転支援画像を構成する上方視点画像および／または下方視点画像に描画する軌跡描画部とをさらに備える。
【００１３】
第６の発明によれば、予測軌跡のオブジェクトが上方視点画像および／または下方視点画像に描画されるので、運転支援のためにより多くの情報をドライバに提供することができる。
【００１４】
第７の発明は、車両の運転を支援するための運転支援画像を生成する描画方法であって、車両に設置された撮像装置により取り込まれた撮影画像を受け取る取得ステップと、取得ステップで受け取られた撮影画像に基づいて、車両の周囲における第１の範囲を、第１の視点から見たときの様子を表す下方視点画像生成する第を１の画像生成ステップと、取得ステップで受け取られた撮影画像に対して視点変換処理を行って、車両の周囲において、第１の範囲よりも狭い第２の範囲を、撮像装置が設置されている位置及び第１の視点のそれぞれと異なりかつ車両の上方に仮想的に設置された第２の視点から見たときの様子を表す上方視点画像を生成する第２の画像生成ステップと、第１の画像生成ステップで生成された下方視点画像と、第２の画像生成ステップで生成された上方視点画像とを含む運転支援画像を生成する第３の画像生成ステップとを備える。ここで、第１の視点から車両の周囲を見るときの方向と路面とがなす第１の角度は、第２の視点から車両の周囲を見るときの方向と当該路面とがなす第２の角度よりも小さく、さらに、第１の範囲は、車両から第１の距離までの範囲であり、第２の範囲は、車両から第２の距離までの範囲であり、第２の距離は、第１の距離よりも小さくかつ路面上に障害物がないと想定される距離である。
【００１５】
第８の発明は、第７の発明に従属しており、第１の視点は、撮像装置の近傍に予め設定されている仮想視点である。第１の画像生成ステップでは、取得ステップで受け取られた撮影画像に視点変換処理が行われ、仮想視点から見た車両の周囲の様子を表す下方視点画像が生成される。
【００１６】
第９の発明は、第８の発明に従属しており、第１の視点は、車両のドライバの目の位置近傍に予め設定されている仮想視点である。第１の画像生成ステップでは、取得ステップで受け取られた撮影画像に視点変換処理が行われ、仮想視点から見た車両の周囲の様子を表す下方視点画像が生成される。
【００１７】
第１０の発明は、車両の運転を支援するための運転支援画像を生成するためのプログラムが記録された記録媒体に向けられる。ここで、プログラムは、車両に設置された撮像装置により取り込まれた撮影画像を受け取る取得ステップと、取得ステップで受け取られた撮影画像に基づいて、車両の周囲における第１の範囲を、第１の視点から見た車両の周囲の様子を表す下方視点画像を生成する第１の画像生成ステップと、取得ステップで受け取られた撮影画像に対して視点変換処理を行って、車両の周囲において、第１の範囲より狭い第２の範囲を、撮像装置が設置されている位置及び第１の視点のそれぞれと異なりかつ車両の上方に仮想的に設定された第２の視点から見たときの様子を表す上方視点画像を生成する第２の画像生成ステップと、第１の画像生成ステップで生成された下方視点画像と、第２の画像生成ステップで生成された上方視点画像とを含む運転支援画像を生成する第３の画像生成ステップとを備える。ここで、第１の視点から車両の周囲を見るときの方向と路面とがなす第１の角度は、第２の視点から車両の周囲を見るときの方向と当該路面とがなす第２の角度よりも小さく、さらに、第１の範囲は、車両から第１の距離までの範囲であり、第２の範囲は、車両から第２の距離までの範囲であり、第２の距離は、第１の距離よりも小さくかつ路面上に障害物がないと想定される距離である。
【００１８】
第１１の発明は、第１０の発明に従属しており、第１の視点は、撮像装置の近傍に予め設定されている仮想視点である。第１の画像生成ステップでは、取得ステップで受け取られた撮影画像に視点変換処理が行われ、仮想視点から見た車両の周囲の様子を表す下方視点画像が生成される。
【００１９】
第１２の発明は、第１０の発明に従属しており、第１の視点は、車両のドライバの目の位置近傍に予め設定されている仮想視点である。第１の画像生成ステップでは、取得ステップで受け取られた撮影画像に視点変換処理が行われ、仮想視点から見た車両の周囲の様子を表す下方視点画像が生成される。
【００２０】
第１３の発明は、車両の運転を支援するための運転支援画像を生成するためのプログラムであって、車両に設置された撮像装置により取り込まれた撮影画像を受け取る取得ステップと、取得ステップで受け取られた撮影画像に基づいて、車両の周囲における第１の範囲を、第１の視点から見たときの様子を表す下方視点画像を生成する第１の画像生成ステップと、取得ステップで受け取られた撮影画像に対して視点変換処理を行って、車両の周囲において、第１の範囲より狭い第２の範囲を、撮像装置が設置されている位置及び第１の視点のそれぞれと異なる第２の視点から見た車両の周囲の様子を表す上方視点画像を生成する第２の画像生成ステップと、第１の画像生成ステップで生成された下方視点画像と、第２の画像生成ステップで生成された上方視点画像とを含む運転支援画像を生成する第３の画像生成ステップとを備える。ここで、第１の視点から車両の周囲を見るときの方向と路面とがなす第１の角度は、第２の視点から車両の周囲を見るときの方向と当該路面とがなす第２の角度よりも小さく、さらに、第１の範囲は、車両から第１の距離までの範囲であり、第２の範囲は、車両から第２の距離までの範囲であり、第２の距離は、第１の距離よりも小さくかつ路面上に障害物がないと想定される距離である。
【００２１】
第１４の発明は、第１３の発明に従属しており、第１の視点は、撮像装置の近傍に予め設定されている仮想視点である。第１の画像生成ステップでは、取得ステップで受け取られた撮影画像に視点変換処理が行われ、仮想視点から見た車両の周囲の様子を表す下方視点画像が生成される。
【００２２】
第１５の発明は、第１３の発明に従属しており、第１の視点は、車両のドライバの目の位置近傍に予め設定されている仮想視点である。第１の画像生成ステップでは、取得ステップで受け取られた撮影画像に視点変換処理が行われ、仮想視点から見た車両の周囲の様子を表す下方視点画像が生成される。
【００２３】
【発明の実施の形態】
図１は、本発明の第１の実施形態に係る描画装置Ｕrnd1を組み込んだ運転支援装置Ｕast1のハードウェア構成を示すブロック図である。図１において、運転支援装置Ｕast1は、
車両Ｖusr （図２（ａ）および（ｂ）参照）に設置され、２台の撮像装置１および２と、操舵角センサ３と、表示装置４と、描画装置Ｕrnd1とを備えている。
【００２４】
ここで、図２（ａ）および（ｂ）は、撮像装置１および２を詳細に説明するための図である。図２（ａ）および（ｂ）には、車両Ｖusr を真上および斜め後ろから見たときの姿が描かれている。図２（ａ）に示すように、撮像装置１および２は、両者で車両Ｖusr の後方の領域Ｒ12を撮影できるように、当該車両Ｖusr にそれぞれ固定される。ここで、本実施形態では、後方領域Ｒ12は、車両Ｖusr の後退時にドライバが視認しづらい死角領域Ｒ121 （典型的には、車両Ｖusr のリアバンパーの直下近傍）を含む。後方領域Ｒ12は、さらに、車両Ｖusr から見て、上述の死角領域Ｒ121 よりも遠方の領域Ｒ122 を含む。撮像装置１は、特に、車両Ｖusr の縦中心面Ｆlm（一点鎖線参照）を基準として、後方領域Ｒ12の左半分である領域Ｒ1 の様子を撮影する。上記縦中心面Ｆlmを境として、領域Ｒ1 の逆側にある領域Ｒ2 の様子は、撮像装置２により撮影される。
【００２５】
また、撮像装置１は、図２（ｂ）に示すように、車両Ｖusr の後端部分（例えば、リアバンパー）において、当該車両Ｖusr の縦中心面Ｆlm（一点鎖線参照）を基準として、予め定められた量だけ右側にずらされた位置に固定される。また、その光軸Ａpt1 が領域Ｒ1 に向かいかつ路面Ｆrdと角度θ1 で交わる、レンズ１０１を撮像装置１は有する。撮像装置１は、図３に示すように、レンズ１０１の位置から見た上述の領域Ｒ1 の様子を表す撮影画像Ｓ101 を生成する。なお、以上のレンズ１０１の位置は請求項における第１の視点の一例である。また、角度θ1 は、請求項における第１の角度の一例である。
【００２６】
また、撮像装置２は、図２（ａ）および（ｂ）に示すように、車両Ｖusr の縦中心面Ｆlmを基準として、撮像装置１と面対称な位置に設置されるので、その詳細な説明を省略する。なお、以下の説明では、撮像装置２により撮影されるものを、撮影画像Ｓ102 と称する。
【００２７】
次に、角度θ1 の適切な値について説明する。上述の角度θ1 が０度に近づけば近づく程、撮影画像Ｓ101 およびＳ102 に上述の死角領域Ｒ121 が映らなくなる。逆に、角度θ1 が９０度に近づく程、撮影画像Ｓ101 およびＳ102 には、狭い範囲の遠方領域Ｒ122 しか映らなくなる。以上の２点に加え、撮像装置１および２の路面Ｆrdからの高さを考慮して、角度θ1 は適切な値に設定される。
【００２８】
図１において、操舵角センサ３は、車両Ｖusr の操舵角φを検出して、ＣＰＵ７に送信する。本実施形態では、操舵角φとは、車両Ｖusr のステアリングが初期位置を基準として回転した角度を意味する。以上の初期位置は、一般的に、ステアリングが切られていない状態、つまり、車両Ｖusr が直進姿勢にある状態におけるステアリングの位置を意味する。また、操舵角φとは、ステアリングの操作に応答して、車両Ｖusr の車輪が回転した時の角度でもよい。
表示装置４は、典型的には液晶ディスプレイであり、描画装置Ｕrnd1により生成される運転支援画像Ｓ201 を表示する。
【００２９】
描画装置Ｕrnd1は、ＣＰＵ７、ＲＯＭ８およびＲＡＭ９から構成される。ＲＯＭ８は、ＣＰＵ７の処理手順を規定するプログラムＰＧ1 が格納される。ＣＰＵ７は、以上のプログラムＰＧ1 に従って、運転支援画像Ｓ201 を生成する。また、プログラムＰＧ1 の実行時、ＲＡＭ９は、作業領域として、ＣＰＵ７により使用される。
【００３０】
ここで、図４は、運転支援画像Ｓ201 の一例を示している。図４において、運転支援画像Ｓ201 は、下方視点画像Ｓ202 および上方視点画像Ｓ203 を少なくとも１つずつ含んでいる。下方視点画像Ｓ202 は、本実施形態では、便宜上、撮影画像Ｓ101 およびＳ102 を
つなぎ合わせることにより生成されるとする。したがって、下方視点画像Ｓ202 は、撮像装置１および２の視点から見た後方領域Ｒ12の様子を表す。それに対して、上方視点画像Ｓ203 は、本実施形態では、図５に示すように、車両Ｖusr の上方に仮想的に置かれた仮想カメラＣv から、上述の後方領域Ｒ12を見たときの画像である。ここで、仮想カメラＣv の視線、つまり仮想的な光軸Ａptv は、後方領域Ｒ12に向かい、かつ路面Ｆrdと角度θv で交わる。以上の角度θv は、角度θ1 よりも大きく設定される。
【００３１】
なお、以上の仮想カメラＣv の視点が、請求項における第２の視点の一例である。また、角度θv は請求項における第２の角度の一例である。また、以上のような上方視点画像Ｓ203 は、公知の視点変換処理（例えば、国際公開ＷＯ００−０７３７３号公報参照）を使って、撮影画像Ｓ101 およびＳ102 に基づいて生成される。
【００３２】
以上のように上方視点画像Ｓ203 は、車両Ｖusr の後方領域Ｒ12を直上から見下ろしたような画像である。そのため、上方視点画像Ｓ203 を見れば、ドライバは、車両Ｖusr の周囲に存在する立体物（他の車両に代表される障害物）に当該車両Ｖusr が接触するか否かを判断し易い。つまり、上方視点画像Ｓ203 は、ドライバが接触判定をし易いという利点がある。さらに、駐車スペースを規定する白線と車両Ｖusr との位置関係を、ドライバが把握し易いという利点もある。しかしながら、上述の視点変換処理では、ＣＰＵ７の処理負担を軽くするため、各撮影画像Ｓ101 およびＳ102 に映る立体物は全て路面上に存在すると仮定される。そのため、上述の視点変換処理では、撮像装置１および２を視点として、立体物を路面に投影して、空間データが作成される。以上の空間データが上方視点画像Ｓ203 の作成に使われるので、当該上方視点画像Ｓ203 には、以下に述べるような欠点がある。
【００３３】
今、図６（ａ）に示すように、領域Ｒ1 内の路面Ｆrd上に、逆「Ｌ」字型の断面を有する立体物Ｂがあると想定する。以上の立体物Ｂを撮像装置１で撮影した時、撮影画像Ｓ101 に映る、立体物Ｂの鉛直方向の部分Ｂv の高さと、水平方向の部分Ｂh との長さの比を、Ｈb ：Ｌb と仮定する。また、上述の視点変換処理では、立体物Ｂが撮像装置１を視点として路面Ｆrdに投影される。図６（ａ）にはさらに、上記部分Ｂv が路面Ｆrdに投影された投影部分Ｂv'が描かれている。したがって、視点変換処理では、上述の仮想カメラＣv は、上記部分Ｂh と投影部分Ｂv'とから構成される仮想物体Ｂ' を見ることとなる。まず、図６（ｂ）に示すように、仮想カメラＣv の視線方向が光軸Ａpt1 （図示せず）の方向に近い場合、当該仮想カメラＣv から見た仮想物体Ｂ' は、撮像装置１から見た立体物Ｂ（図６（ａ）参照）と大きく変わらない。具体的には、当該仮想カメラＣv から見た仮想物体Ｂ' において、投影部分Ｂv'の長さと、水平方向の部分Ｂh の長さとの比をＨb'：Ｌb'とすると、Ｈb'：Ｌb'≒Ｈb ：Ｌb の関係が成り立つ。
【００３４】
しかしながら、図６（ｃ）に示すように、仮想カメラＣv が車両Ｖusr の上方に設定される場合、その視線方向は光軸Ａpt1 （図示せず）の方向と大きく異なる。かかる場合、当該仮想カメラＣv から見た仮想物体Ｂ' は、撮像装置１から見た立体物Ｂ（図６（ａ）参照）と比べると大きく変形して見える。具体的には、当該仮想カメラＣv から見た仮想物体Ｂ' において、投影部分Ｂv'の長さと、水平方向の部分Ｂh の長さとの比をＨb"：Ｌb"とすると、Ｈb"：Ｌb"≒Ｈb ：Ｌb の関係は成り立たず、Ｈb"／Ｌb"≫Ｈb ／Ｌb となる。以上のことから、立体物Ｂが映っている上方視点画像Ｓ203 は、ドライバに違和感を与えてしまうという欠点がある。言い換えれば、上方視点画像Ｓ203 には、立体物Ｂが映っていないことが好ましい。なお、以上の説明では、撮影画像Ｓ101 を例に採りあげて説明したが、立体物Ｂの変形については、撮影画像Ｓ102 にも同様に当てはまる。
【００３５】
ところで、一般的に、ドライバは、立体物（障害物）を避けて運転するので、車両Ｖusr の近くには、当該立体物が存在しない場合が多いと考えることができる。つまり、上方
視点画像Ｓ203 に映る範囲Ｒ203 を、図７に示すように、相対的に狭く設定すれば、当該上方視点画像Ｓ203 には、立体物Ｂは映らないと考えることができる。以上の観点から、例えば、上方視点画像Ｓ203 における範囲Ｒ203 は、例えば、車両Ｖusr の後端（斜線部分）から２ｍ程度離れた位置まで映るように設定される。なお、以上の範囲Ｒ203 は、請求項における第２の範囲の一例である。
【００３６】
また、下方視点画像Ｓ202 は、以上の上方視点画像Ｓ203 に対して、以下のような欠点と利点がある。まず、下方視点画像Ｓ202 は、ドライバが前述の接触判定をし難いという欠点を持っている。逆に、長所としては、下方視点画像Ｓ202 には、立体物Ｂは実質的に変形せずに映るので、相対的に広範囲の様子が映っていても、ドライバは、上方視点画像Ｓ203 を見たときのような違和感を感じない点である。したがって、下方視点画像Ｓ202 に映る範囲Ｒ202 を、図７に示すように、相対的に広く設定しても構わない。その一例として、下方視点画像Ｓ202 の範囲Ｒ202 は、車両Ｖusr の後端（斜線部分）から１０ｍ程度離れた位置まで映るように、予め設定される。なお、以上の範囲Ｒ203 は、請求項における第１の範囲の一例である。
【００３７】
また、本実施形態では、図４に示すように、上方視点画像Ｓ203 は好ましくは、運転支援画像Ｓ201 における右側に配置される。この理由は以下の通りである。日本で製造された車両Ｖusr は、その右側に運転席を有している。また、上方視点画像Ｓ203 は相対的に狭い範囲の様子を表す。以上のことから、上方視点画像Ｓ203 は、運転席に近い側に配置される方が、ドライバから見え易いからである。また、もし、運転席が車両Ｖusr の左側にある場合には、同様の理由により、上方視点画像Ｓ203 は運転支援画像Ｓ201 の左側に配置されることが好ましい。なお、以上のようなドライバからの見やすさを考慮しないのであれば、上方視点画像Ｓ203 は別の位置に配置されても良い。
【００３８】
また、本実施形態では、上方視点画像Ｓ203 は好ましくは、運転支援画像Ｓ201 の上端に配置される。なぜなら、一般的に、ドライバが下方視点画像Ｓ202 に求めるのは路面上の様子であり、路面から離れた部分（つまり、運転支援画像Ｓ201 の上端近傍）の様子の要求度は低いからである。
【００３９】
次に、以上の運転支援装置Ｕast1の動作について説明する。ドライバが運転支援装置Ｕast1による支援が必要なタイミング（例えば、車両Ｖusr を後退させながら駐車スペースに入れる時）で、ＣＰＵ７は、プログラムＰＧ1 の実行を開始する。ここで、図８は、プログラムＰＧ1 に記述されているＣＰＵ７の処理手順を示すフローチャートである。図８において、ＣＰＵ７はまず、撮像指示Ｉcpt を生成し、撮像装置１および２に送信する（ステップＳ１）。撮像指示Ｉcpt は、各撮像装置１および２に撮像を指示するための信号である。各撮像装置１および２は、受信指示Ｉcpt に応答して、前述の撮影画像Ｓ101 およびＳ102 を取り込み、それらをＲＡＭ９に格納する（ステップＳ２）。
【００４０】
次に、ＣＰＵ７は、上述の運転支援画像Ｓ201 を構成する下方視点画像Ｓ202 を生成する（ステップＳ３）。ステップＳ３をより具体的に説明すると、ＣＰＵ７は、ステップＳ２で格納された撮影画像Ｓ101 およびＳ102 をＲＡＭ９上でつなぎ合わせ、これによって、撮像装置１および２の視点から見た上述の範囲Ｒ202 の様子を表す下方視点画像Ｓ202 （図４参照）を生成する。
【００４１】
また、ＣＰＵ７は、上述の運転支援画像Ｓ201 を構成する上方視点画像Ｓ203 を生成する（ステップＳ４）。より具体的にステップＳ４を説明すると、まず、上述の視点変換処理が行われる。視点変換処理では、まず、ステップＳ２で格納された撮影画像Ｓ101 およびＳ102 から、それらに含まれるすべての立体物が路面上に投影され、空間データが生成される。次に、生成された空間データに基づいて、車両Ｖusr の上方に仮想的に置かれて
いる仮想カメラＣv （図５参照）から上述の範囲Ｒ203 を見た時の様子を表す上方視点画像Ｓ203 （図４参照）が生成される。
【００４２】
さらに、ＣＰＵ７は、以上の上方視点画像Ｓ203 をＲＡＭ９上の下方視点画像Ｓ202 と合成し、これによって、図４に示す運転支援画像Ｓ201 を生成する（ステップＳ５）。
【００４３】
次に、ＣＰＵ７は、検出指示Ｉdtc を生成して、操舵角センサ３に送信する（ステップＳ６）。検出指示Ｉdtc は、操舵角φの検出を操舵角センサ３に指示するための信号である。操舵角センサ３は、受信検出指示Ｉdct に応答して、操舵角φを検出する。検出された操舵角φは、ＲＡＭ９に格納される（ステップＳ７）。次に、ＣＰＵ７は、アッカーマンモデルに代表される手法に従って、ステップＳ７で格納された操舵角φに基づいて、車両Ｖusr の予測軌跡を導出する（ステップＳ８）。ここで、予測軌跡とは、ドライバがステアリングの操作量を現在の操舵角φのまま保った場合に、車両Ｖusr がこれから辿ると想定される軌跡を意味する。
【００４４】
次に、ＣＰＵ７は、ステップＳ８で導出された予測軌跡を示すオブジェクトＪ202 およびＪ203 を、ステップＳ５で生成された運転支援画像Ｓ201 を構成する下方視点画像Ｓ202 および上方視点画像Ｓ203 上に描画して、図９に示すような軌跡描画画像Ｓ301 を生成する（ステップＳ９）。以上のように、２種類のオブジェクトＪ202 およびＪ203 が描画されることにより、まず、ドライバは、予測軌跡が描かれた上方視点画像Ｓ203 を見ることにより、車両Ｖusr のこれからの軌跡を視認できるので、より直感的に前述の接触判定を行うことができる。また、ドライバは、相対的に広範囲の様子を表す下方視点画像Ｓ202 上の予測軌跡を見ることにより、車両Ｖusr が駐車スペースに納まるかどうかをいち早く確認することができる。なお、ステップＳ９では、下方視点画像Ｓ202 のみにオブジェクトＪ202 が描かれても良いし、上方視点画像Ｓ203 のみにオブジェクトＪ203 が描かれても良い。
【００４５】
次に、ＣＰＵ７は、ＲＡＭ９上の軌跡描画画像Ｓ301 を表示装置４に転送する（ステップＳ１０）。表示装置４は、受信軌跡描画画像Ｓ301 を表示して、ドライバに見せる。以上の軌跡描画画像Ｓ301 が表示されることにより、ドライバには、互いに異なる性質の下方視点画像Ｓ202 および上方視点画像Ｓ203 が同時に提供される。その結果、本運転支援装置Ｕast1は、以下のような技術的効果を奏する。まず、上方視点画像Ｓ203 は、前述のように車両Ｖusr の後方領域Ｒ12を真上から見た画像であるから、ドライバは、自分の視線を当該上方視点画像Ｓ203 に合わせれば、前述の接触判定を容易に行うことができ、さらには、車両Ｖusr と駐車スペースの白線との位置関係を容易に把握できる。また、下方視点画像Ｓ202 は、相対的に広範囲の様子を表す。さらに、下方視点画像Ｓ202 には、範囲Ｒ202 内にある立体物がほとんど変形することなく映る。以上のことから、ドライバは、自分の視線を、軌跡描画画像Ｓ301 を構成する下方視点画像Ｓ202 に合わせれば、車両Ｖusr の後方の様子を広い範囲にわたって正確に確認することができる。以上のように、本運転支援装置Ｕast1によれば、ドライバは、必要に応じて、下方視点画像Ｓ202 および上方視点画像Ｓ203 を使い分けることにより、車両Ｖusr の運転操作が飛躍的に容易になる。
【００４６】
ステップＳ１０の次に、ＣＰＵ７は、図８の処理を終了するか否かを判断する（ステップＳ１１）。終了判断の方法はいろいろあるが、その一例として、ＣＰＵ７は、車両Ｖusr の速度が０になったか否かをチェックする。かかる速度が０であれば、ＣＰＵ７は、車両Ｖusr が駐車し終わったとみなして、図８の処理を終了する。逆に０でなければ、新しい軌跡描画画像Ｓ301 を生成するために、ステップＳ１に戻る。
【００４７】
なお、以上の実施形態では、ドライバが車両Ｖusr を後退させつつ駐車スペースに入れ
るような状況に向くように、撮像装置１および２は、車両Ｖusr の後端部分に固定されていた（図２（ａ）および（ｂ）参照）。他にも、本運転支援装置Ｕast1は、ドライバが車両Ｖusr を後退させつつ駐車スペースから出す時にも利用することができる。
【００４８】
また、車両Ｖusr の後端部分以外に、撮像装置は取り付けられていても良い。例えば、車両Ｖusr の前端部分、左端部分および／または右端部分に取り付けられていても良い。つまり、運転支援画像Ｓ201 には、車両Ｖusr の後方領域Ｒ12だけでなく、その前方領域、左方領域または右方領域の様子を表す画像から構成されていても良い。特に、上方視点画像Ｓ203 は、車両Ｖusr の全周囲方向の様子を表していても良い。
【００４９】
また、以上の実施形態では、運転支援画像Ｓ201 は、車両Ｖusr の後方領域Ｒ12を表す下方視点画像Ｓ202 および上方視点画像Ｓ203 から構成されていた。しかし、これに限らず、例えば、運転支援画像Ｓ201 は、車両Ｖusr の左方領域の様子を表す下方視点画像Ｓ202 、およびその後方領域Ｒ12の様子を表す上方視点画像Ｓ203 から構成されていても良い。包括的に言えば、下方視点画像Ｓ202 および上方視点画像Ｓ203 が互いに相違する領域の様子を表すような運転支援画像Ｓ201 を、描画装置Ｕrnd1は生成しても良い。さらに、運転支援画像Ｓ201 は、図１０（ａ）および（ｂ）に示すように、それぞれが互いに相違する領域の様子を表すような複数の下方視点画像Ｓ202 を含んでいても良い。図１０（ａ）の例では、運転支援画像Ｓ201 は、２つの下方視点画像Ｓ202 を含む。一方の下方視点画像Ｓ202 は、運転支援画像Ｓ201 における左上方に合成されており、車両Ｖusr の左側後方の領域の様子を表す。他方は、運転支援画像Ｓ201 における右上方に合成されており、車両Ｖusr の右側後方の領域の様子を表す。また、図１０（ｂ）の例でも、運転支援画像Ｓ201 は、２つの下方視点画像Ｓ202 を含む。ただし、一方の下方視点画像Ｓ202 は、運転支援画像Ｓ201 における左下方に合成されており、車両Ｖusr の左側後方の領域の様子を表す。他方は、運転支援画像Ｓ201 における右下方に合成されており、車両Ｖusr の左側前方の領域の様子を表す。なお、図１０（ｂ）のような運転支援画像Ｓ201 を生成するには、少なくとも２つの撮像装置が車両Ｖusr の左側面に設置されることが必要である。
【００５０】
また、以上の実施形態では、下方視点画像Ｓ202 は、撮影画像Ｓ101 およびＳ102 をつなぎ合わせることにより生成されていた。しかし、これに限らず、描画装置Ｕrnd1は、撮影画像Ｓ101 およびＳ102 の双方から、部分的な画像を切り出し、切り出した画像同士をつなぎ合わせて、下方視点画像Ｓ202 を生成しても良い。さらに、描画装置Ｕrnd1は、前述の視点変換処理を使って、撮像装置１および２の近傍に置かれた仮想カメラから、範囲Ｒ202 を見た時の様子を表す下方視点画像Ｓ202 を作成しても良い。他にも、車両Ｖusr のヘッドレストの近傍（つまり、ドライバの目の位置辺り）に置かれた仮想カメラから、範囲Ｒ202 を見た時の様子を表す下方視点画像Ｓ202 を作成するようにしても良い。以上の仮想カメラの視点は、請求項における第１の視点の他の例である。
【００５１】
また、以上の実施形態では、車両Ｖusr の後方領域Ｒ12を撮影するために２台の撮像装置１および２を使っていた。しかし、これに限らず、そのレンズが広い視野角を有するのであれば、１台の撮像装置が後方領域Ｒ12を撮影するようにしても良い。
【００５２】
また、以上の実施形態では、表示装置４に軌跡描画画像Ｓ301 が表示されていたが、これに限らず、運転支援画像Ｓ201 をそのまま表示装置４に表示するように、運転支援装置Ｕast1を構成しても良い。
【００５３】
さらに、以上の実施形態では、プログラムＰＧ1 は、ＲＯＭ８に格納されていた。しかし、これに限らず、プログラムＰＧ1 は、ＣＤ−ＲＯＭに代表される記録媒体に記録された状態で頒布されても良いし、インターネットに代表される通信ネットワークを通じて頒布されても良い。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る描画装置Ｕrnd1を組み込んだ運転支援装置Ｕast1のハードウェア構成を示すブロック図である。
【図２】図１に示す撮像装置１および２を詳細に説明するための図である。
【図３】図１の撮像装置１により生成される撮影画像Ｓ101 の一例を示す図である。
【図４】図１のＣＰＵ７により生成される運転支援画像Ｓ201 の一例を示す図である。
【図５】図４に示す上方視点画像Ｓ203 を生成するために必要となる仮想カメラＣv の位置を示す図である。
【図６】図４に示す上方視点画像Ｓ203 の欠点を説明するための図である。
【図７】図４に示す上方視点画像Ｓ203 に映る範囲Ｒ203 および下方視点画像Ｓ202 に映る範囲Ｒ202 を示す図である。
【図８】図１に示すプログラムＰＧ1 に記述されているＣＰＵ７の処理手順を示すフローチャートである。
【図９】図８のステップＳ９で生成される軌跡描画画像Ｓ301 を示す図である。
【図１０】ＣＰＵ７により生成される運転支援画像Ｓ201 の他の例を示す図である。
【符号の説明】
１，２…撮像装置
３…操舵角センサ
４…表示装置
Ｕrnd1…描画装置
７…ＣＰＵ
８…ＲＯＭ
９…ＲＡＭ

Claims (15)

1. 車両の運転を支援するための運転支援画像を生成する運転支援装置であって、
   前記車両に設置された撮像装置により取り込まれた、車両の後退時にドライバが視認しづらい死角領域を含む後方領域が撮影された撮影画像を受け取る取得部と、
   前記取得部が受け取った撮影画像に基づいて、前記車両の周囲における第１の範囲を、前記撮像装置が設置されている位置またはその近傍にある第１の視点から前記後方領域を見たときの様子を表す下方視点画像を生成する第１の画像生成部と、
   前記取得部が受け取った撮影画像に対して視点変換処理を行って、前記車両の周囲において、前記第１の範囲より狭い、前記死角領域を含む第２の範囲を、前記撮像装置が設置されている位置及び前記第１の視点のそれぞれと異なり、かつ前記車両の上方に仮想的に設定された第２の視点から見たときの様子を表す上方視点画像を生成する第２の画像生成部と、
   前記第１の画像生成部で生成された、前記後方領域を含む下方視点画像と、前記第２の画像生成部で生成された、前記死角領域を含む上方視点画像とを含む運転支援画像を生成する第３の画像生成部と、
   前記第３の画像生成部で生成された前記運転支援画像を表示する表示部と
   を備え、
   前記第１の視点から前記車両の周囲を見るときの方向と路面とがなす第１の角度は、前記第２の視点から前記車両の周囲を見るときの方向と当該路面とがなす第２の角度よりも小さく、さらに、
   前記第１の範囲は、前記車両から第１の距離までの範囲であり、前記第２の範囲は、前記車両から第２の距離までの範囲であり、前記第２の距離は、前記第１の距離よりも小さくかつ前記路面上に障害物がないと想定される距離である、運転支援装置。
2. 前記第１の視点は、前記撮像装置の近傍に予め設定されている仮想視点であって、
   前記第１の画像生成部は、前記取得部が受け取った撮影画像に視点変換処理を行って、前記仮想視点から見た前記車両の周囲の様子を表す下方視点画像を生成する、請求項１に記載の運転支援装置。
3. 前記第１の視点は、前記車両のドライバの目の位置近傍に予め設定されている仮想視点であって、
   前記第１の画像生成部は、前記取得部が受け取った撮影画像に視点変換処理を行って、前記仮想視点から見た前記車両の周囲の様子を表す下方視点画像を生成する、請求項１に記載の運転支援装置。
4. 前記第３の画像生成部は、前記第２の画像生成部で生成された上方視点画像を、運転支援画像において前記車両の運転席に近い側に配置する、請求項１に記載の運転支援装置。
5. 前記第３の画像生成部は、前記第２の画像生成部で生成された上方視点画像を、運転支援画像における上部に配置する、請求項１に記載の運転支援装置。
6. 前記車両に設置された操舵角センサにより検出された当該車両の操舵角に基づいて、前記車両がこれから辿ると想定される予測軌跡を導出する導出部と、
   前記導出部により導出された予測軌跡を表すオブジェクトを、前記第３の画像生成部により生成された運転支援画像を構成する上方視点画像および／または下方視点画像に描画する軌跡描画部とをさらに備える、請求項１に記載の運転支援装置。
7. 車両の運転を支援するための運転支援画像を生成する運転支援方法であって、
   前記車両に設置された撮像装置により取り込まれた、車両の後退時にドライバが視認しづらい死角領域を含む後方領域が撮影された撮影画像を受け取る取得ステップと、
   前記取得ステップで受け取られた撮影画像に基づいて、前記車両の周囲における第１の範囲を、前記撮像装置が設置されている位置またはその近傍にある第１の視点から前記後 方領域を見たときの様子を表す下方視点画像を生成する第１の画像生成ステップと、
   前記取得ステップで受け取られた撮影画像に対して視点変換処理を行って、前記車両の周囲において、前記第１の範囲よりも狭い、前記死角領域を含む第２の範囲を、前記撮像装置が設置されている位置及び前記第１の視点のそれぞれと異なりかつ前記車両の上方に仮想的に設定された第２の視点から見たときの様子を表す上方視点画像を生成する第２の画像生成ステップと、
   前記第１の画像生成ステップで生成された、前記後方領域を含む下方視点画像と、前記第２の画像生成ステップで生成された、前記死角領域を含む上方視点画像とを含む運転支援画像を生成する第３の画像生成ステップと、
   前記第３の画像生成ステップで生成された前記運転支援画像を表示する表示ステップと
   を備え、
   前記第１の視点から前記車両の周囲を見るときの方向と路面とがなす第１の角度は、前記第２の視点から前記車両の周囲を見るときの方向と当該路面とがなす第２の角度よりも小さく、さらに、
   前記第１の範囲は、前記車両から第１の距離までの範囲であり、前記第２の範囲は、前記車両から第２の距離までの範囲であり、前記第２の距離は、前記第１の距離よりも小さくかつ前記路面上に障害物がないと想定される距離である、運転支援方法。
8. 前記第１の視点は、前記撮像装置の近傍に予め設定されている仮想視点であって、
   前記第１の画像生成ステップでは、前記取得ステップで受け取られた撮影画像に視点変換処理が行われ、前記仮想視点から見た前記車両の周囲の様子を表す下方視点画像が生成される、請求項７に記載の運転支援方法。
9. 前記第１の視点は、前記車両のドライバの目の位置近傍に予め設定されている仮想視点であって、
   前記第１の画像生成ステップでは、前記取得ステップで受け取られた撮影画像に視点変換処理が行われ、前記仮想視点から見た前記車両の周囲の様子を表す下方視点画像が生成される、請求項７に記載の運転支援方法。
10. 車両の運転を支援するための運転支援画像を生成するためのプログラムが記録された記録媒体であって、
    前記車両に設置された撮像装置により取り込まれた、車両の後退時にドライバが視認しづらい死角領域を含む後方領域が撮影された撮影画像を受け取る取得ステップと、
    前記取得ステップで受け取られた撮影画像に基づいて、前記車両の周囲における第１の範囲を、前記撮像装置が設置されている位置またはその近傍にある第１の視点から前記後方領域を見たときの様子を表す下方視点画像を生成する第１の画像生成ステップと、
    前記取得ステップで受け取られた撮影画像に対して視点変換処理を行って、前記車両の周囲において、前記第１の範囲より狭い、前記死角領域を含む第２の範囲を、前記撮像装置が設置されている位置及び前記第１の視点のそれぞれと異なりかつ前記車両の上方に仮想的に設定された第２の視点から見たときの様子を表す上方視点画像を生成する第２の画像生成ステップと、
    前記第１の画像生成ステップで生成された、前記後方領域を含む下方視点画像と、前記第２の画像生成ステップで生成された、前記死角領域を含む上方視点画像とを含む運転支援画像を生成する第３の画像生成ステップと、
    前記第３の画像生成ステップで生成された前記運転支援画像を表示する表示ステップと
    を備え、
    前記第１の視点から前記車両の周囲を見るときの方向と路面とがなす第１の角度は、前記第２の視点から前記車両の周囲を見るときの方向と当該路面とがなす第２の角度よりも小さく、さらに、
    前記第１の範囲は、前記車両から第１の距離までの範囲であり、前記第２の範囲は、前記車両から第２の距離までの範囲であり、前記第２の距離は、前記第１の距離よりも小さくかつ前記路面上に障害物がないと想定される距離である、プログラムが記録された記録媒体。
11. 前記第１の視点は、前記撮像装置の近傍に予め設定されている仮想視点であって、
    前記第１の画像生成ステップでは、前記取得ステップで受け取られた撮影画像に視点変換処理が行われ、前記仮想視点から見た前記車両の周囲の様子を表す下方視点画像が生成される、請求項１０に記載のプログラムが記録された記録媒体。
12. 前記第１の視点は、前記車両のドライバの目の位置近傍に予め設定されている仮想視点であって、
    前記第１の画像生成ステップでは、前記取得ステップで受け取られた撮影画像に視点変換処理が行われ、前記仮想視点から見た前記車両の周囲の様子を表す下方視点画像が生成される、請求項１０に記載のプログラムが記録された記録媒体。
13. 車両の運転を支援するための運転支援画像を生成するためのプログラムであって、
    前記車両に設置された撮像装置により取り込まれた、車両の後退時にドライバが視認しづらい死角領域を含む後方領域が撮影された撮影画像を受け取る取得ステップと、
    前記取得ステップで受け取られた撮影画像に基づいて、前記車両の周囲における第１の範囲を、前記撮像装置が設置されている位置またはその近傍にある第１の視点から前記後方領域を見たときの様子を表す下方視点画像を生成する第１の画像生成ステップと、
    前記取得ステップで受け取られた撮影画像に対して視点変換処理を行って、前記車両の周囲において、前記第１の範囲より狭い、前記死角領域を含む第２の範囲を、前記撮像装置が設置されている位置及び前記第１の視点のそれぞれと異なり、かつ前記車両の上方に仮想的に設定された第２の視点から見た前記車両の周囲の様子を表す上方視点画像を生成する第２の画像生成ステップと、
    前記第１の画像生成ステップで生成された、前記後方領域を含む下方視点画像と、前記第２の画像生成ステップで生成された、前記死角領域を含む上方視点画像とを含む運転支援画像を生成する第３の画像生成ステップと、
    前記第３の画像生成ステップで生成された前記運転支援画像を表示する表示ステップと
    を備え、
    前記第１の視点から前記車両の周囲を見るときの方向と路面とがなす第１の角度は、前記第２の視点から前記車両の周囲を見るときの方向と当該路面とがなす第２の角度よりも小さく、さらに、
    前記第１の範囲は、前記車両から第１の距離までの範囲であり、前記第２の範囲は、前記車両から第２の距離までの範囲であり、前記第２の距離は、前記第１の距離よりも小さくかつ前記路面上に障害物がないと考え得る距離である、プログラム。
14. 前記第１の視点は、前記撮像装置の近傍に予め設定されている仮想視点であって、
    前記第１の画像生成ステップでは、前記取得ステップで受け取られた撮影画像に視点変換処理が行われ、前記仮想視点から見た前記車両の周囲の様子を表す下方視点画像が生成される、請求項１３に記載のプログラム。
15. 前記第１の視点は、前記車両のドライバの目の位置近傍に予め設定されている仮想視点であって、
    前記第１の画像生成ステップでは、前記取得ステップで受け取られた撮影画像に視点変換処理が行われ、前記仮想視点から見た前記車両の周囲の様子を表す下方視点画像が生成される、請求項１３に記載のプログラム。

Images