JP7424144B2

JP7424144B2 - 車両用表示装置および車両用表示方法

Info

Publication number: JP7424144B2
Application number: JP2020050365A
Authority: JP
Inventors: 賢治小原
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2020-03-20
Filing date: 2020-03-20
Publication date: 2024-01-30
Anticipated expiration: 2040-03-20
Also published as: DE112021001735T5; WO2021187118A1; CN115280765A; JP2021150873A

Description

車両用表示装置に関し、特に、駐車区画から出るときなどに有用な車両用表示装置および車両用表示方法に関する。

特許文献１には、駐車位置から前進発進する際に、後輪内輪部および旋回外側前角部を表示する表示装置が開示されている。後輪内輪は、左旋回する場合には左後輪である。旋回外側前角部は、左旋回する場合には右前角部である。

特開２００６－２０９１３４号公報

駐車区画から前進発進する場合には、特許文献１に開示されているように、後輪内輪部および旋回外側前角部と障害物との距離など車両周辺を確認する必要がある。しかし、それだけではなく、駐車区画から前進発進する場合には、駐車区画から出た後の通路を後方から接近してくる移動体が存在するかどうかを確認する必要もある。

また、駐車区画から出た後、駐車場を走行し、駐車場から道路に入る場合など、駐車区画から前進発進する場合以外にも、車両近傍と、次に入る道路を移動している移動体とを、同時に注意して運転しなければならない状況はある。

本開示は、この事情に基づいて成されたものであり、その目的とするところは、出庫時などにおいて確認すべき領域を容易に確認できる車両用表示装置および車両用表示方法を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示した技術的範囲を限定するものではない。

上記目的を達成するための車両用表示装置に係る１つの開示は、
自車両（２）の後側方にある通路を含んだ後側方通路領域と、自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
撮影データ取得部が取得した撮影データをもとに、後側方通路領域の画像と周辺領域の画像とを生成する画像生成部（１１４）と、
後側方通路領域の画像と周辺領域の画像とを同時に表示する表示部（１３１）とを備え、
画像生成部は、後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、周辺領域を含む画像であって後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成し、
後方通路画像は、仮想視点（１６０）から、後側方通路領域を見た画像であり、
画像生成部は、後方通路画像の仮想視点を示す視点位置画像（１４３）を、表示部に表示する。
上記目的を達成するための車両用表示装置に係る１つの開示は、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
撮影データ取得部が取得した撮影データをもとに、後側方通路領域の画像と周辺領域の画像とを生成する画像生成部（１１４）と、
後側方通路領域の画像と周辺領域の画像とを同時に表示する表示部（１３１）とを備え、
画像生成部は、後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、周辺領域を含む画像であって後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成し、
後方通路画像は、仮想視点（１６０）から、後側方通路領域を見た画像であり、
画像生成部は、逐次、後方通路画像と周辺画像を生成するものであって、仮想視点は自車両に対する角度が固定されている。
上記目的を達成するための車両用表示装置に係る１つの開示は、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
撮影データ取得部が取得した撮影データをもとに、後側方通路領域の画像と周辺領域の画像とを生成する画像生成部（１１４）と、
後側方通路領域の画像と周辺領域の画像とを同時に表示する表示部（１３１）とを備え、
画像生成部は、後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、周辺領域を含む画像であって後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成し、
後方通路画像は、仮想視点（１６０）から、後側方通路領域を見た画像であり、
画像生成部は、逐次、後方通路画像と周辺画像を生成するものであって、仮想視点は通路に対する角度が固定されている。
上記目的を達成するための車両用表示装置に係る１つの開示は、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
撮影データ取得部が取得した撮影データをもとに、後側方通路領域を含む画像情報である後方通路画像（１５０、２５０）と、周辺領域を含む画像情報であって後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを出力する出力部（１１４）とを備え、
後方通路画像は、仮想視点（１６０）から、後側方通路領域を見た画像情報であり、
出力部は、後方通路画像を表示する際の仮想視点の位置を示す視点位置画像情報（１４３）を出力する。
上記目的を達成するための車両用表示装置に係る１つの開示は、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
撮影データ取得部が取得した撮影データをもとに、後側方通路領域の画像と周辺領域の画像とを生成する画像生成部（１１４）と、
後側方通路領域の画像と周辺領域の画像とを同時に表示する表示部（１３１）とを備え、
画像生成部は、後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、周辺領域を含む画像であって後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成し、
画像生成部は、周辺領域に含まれる自車両の一部と障害物との間の距離が拡大距離閾値よりも短くなった場合に、距離が拡大距離閾値よりも長い場合よりも、距離が拡大距離閾値よりも短くなった箇所を拡大した周辺画像を生成する。

上記目的を達成するための車両用表示方法に係る１つの開示は、
車両の後側方にある通路を含んだ後側方通路領域と、車両の周辺が含まれる周辺領域とが撮影された撮影データを取得し（Ｓ１）、
撮影データをもとに、後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、周辺領域を含む画像であって後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成して、後側方通路領域の画像と周辺領域の画像とを同時に表示部に表示し（Ｓ８）、
周辺画像は、周辺領域に含まれる自車両の一部と障害物との間の距離が拡大距離閾値よりも短くなった場合に、距離が拡大距離閾値よりも長い場合よりも、距離が拡大距離閾値よりも短くなった箇所を拡大した画像である。

これら車両用表示装置、車両用表示方法によれば、表示部を見れば、自車両の後側方にある通路と、自車両の周辺とを同時に確認することができる。したがって、出庫時などにおいて、確認すべき領域を容易に確認することができる。

車両用表示装置１００を含む車載システム１０の構成を示す図。周辺画像１４０と後方通路画像１５０の一例を示す図。仮想カメラ位置１６０を説明する図。ＥＣＵ１１０が実行する処理を示す図。周辺画像１４０と後方通路画像１５０の他の例を示す図。注意喚起画像１５３を例示する図。確認結果画像１５４を例示する図。サイドカメラで撮影した後方通路画像２５０を示す図。並列駐車状態から走行開始する場合の後側方通路領域１５１などを示す図。

以下、実施形態を図面に基づいて説明する。図１は、車両用表示装置１００を含む車載システム１０の構成を示す図である。車載システム１０は、車両用表示装置１００とカメラ１１とを備えた構成である。車載システム１０は車両に搭載される。車載システム１０が搭載された車両を、以下、自車両２とする。

自車両２には、測距センサ１２、車輪速センサ１３、操舵制御部１４、シフト制御部１５、アクセル制御部１６、ブレーキ制御部１７が備えられている。これらは、車内ネットワーク線１８により相互に通信可能になっている。また、車両用表示装置１００も、車内ネットワーク線１８に接続されている。

測距センサ１２は、自車両２と周辺に存在する障害物との間の距離を測定するセンサである。測距センサ１２は、たとえば、超音波センサである。また、ミリ波センサ、ＬＩＤＡＲ等を測距センサ１２として用いることもできる。車輪速センサ１３は、自車両２の車輪速度を逐次検出する。操舵制御部１４は、自車両２の転舵輪の角度を制御する。シフト制御部１５は、自車両２のシフトポジションを制御する。アクセル制御部１６は自車両２のスロットルバルブの開度を制御する。ブレーキ制御部１７は自車両２のブレーキ油圧を制御する。操舵制御部１４、シフト制御部１５、アクセル制御部１６、ブレーキ制御部１７は、プロセッサを備えた構成により実現できる。

操舵制御部１４、シフト制御部１５、アクセル制御部１６、ブレーキ制御部１７は、自車両２が駐車区画３（図３参照）から出庫する際、あるいは、駐車区画３に駐車する際に、自車両２の速度および進行方向の一方または両方を制御する。車両用表示装置１００は、これらが搭載されていない車両に搭載することもできる。

カメラ１１は、自車両２の後側方と自車両２の周辺とを撮影する。自車両２の後側方と自車両２の周辺を撮影するためにカメラ１１は必要数が備えられる。たとえば、自車両２の周辺を撮影するために自車両２の前端面、後端面、左右側面にそれぞれカメラ１１が備えられる。さらに、自車両２の右後側方を撮影するためのカメラ１１と自車両２の左後側方を撮影するためのカメラ１１とが備えられる。自車両２の後側方を撮影するためのカメラ１１は、サイドミラー付近に設置することができる。また、自車両２の後側方を撮影するためのカメラ１１として、自車両２の側方を撮影するカメラ１１と自車両２の後方を撮影するカメラ１１とを備えることもできる。

自車両２の周辺は、駐車時の走行速度において注意すべき領域である。この領域を、以下、周辺領域とする。周辺領域は、たとえば、自車両２からの距離が１ｍ以下、あるいは、さらに短い距離以下である。周辺領域の角度範囲は、水平面内において、自車両２を中心とする３６０度範囲の全部または一部である。自車両２の後側方は、周辺領域よりも遠い距離を含む。

〔車両用表示装置１００の構成〕
車両用表示装置１００は、ＥＣＵ１１０、スピーカ１２０、ディスプレイ１３０を備えている。ＥＣＵ１１０は、少なくとも１つのプロセッサを備えた構成により実現できる。たとえば、ＥＣＵ１１０は、プロセッサ、不揮発性メモリ、ＲＡＭ、Ｉ／Ｏ、およびこれらの構成を接続するバスラインなどを備えたコンピュータにより実現できる。不揮発性メモリには、汎用的なコンピュータをＥＣＵ１１０として作動させるためのプログラムが格納されている。プロセッサが、ＲＡＭの一時記憶機能を利用しつつ、不揮発性メモリに記憶されたプログラムを実行することで、ＥＣＵ１１０は、撮影データ取得部１１１、車両情報入出力部１１２、画像認識部１１３、画像生成部１１４、出力制御部１１５として作動する。これらの作動が実行されることは、プログラムに対応する、車両用表示方法などの方法が実行されることを意味する。

スピーカ１２０は、ＥＣＵ１１０から信号が入力され、自車両２の乗員に注意喚起を促す音など、種々の音を出力する。

ディスプレイ１３０は、表示部１３１と操作入力部１３２とを備える。表示部１３１は、自車両２の車室内において運転者などの乗員が視認可能な場所に配置される。表示部１３１には、後述する後方通路画像や周辺画像１４０などが表示される。操作入力部１３２は、表示部１３１の表示面に重畳されるタッチパネル、あるいは、表示面の周囲などに配置されるメカニカルスイッチを備えている。操作入力部１３２は、自車両２の乗員が表示部１３１に表示される画像の切替指示時などに操作する。

撮影データ取得部１１１は、カメラ１１が撮影している映像を表している撮影データを逐次取得する。なお、図１では、カメラ１１と撮影データ取得部１１１は、車内ネットワーク線１８を介さないで接続されている。しかし、撮影データ取得部１１１は、車内ネットワーク線１８を介してカメラ１１から映像データを取得してもよい。

車両情報入出力部１１２は、自車両２に関する種々の情報を取得する。また、画像生成部１１４が表示部１３１に表示する画像を生成する際に算出した自車両２の位置、予測軌道などを車内ネットワーク線１８に出力してもよい。車両情報入出力部１１２が取得する車両情報は、測距センサ１２が検出した障害物との距離、車輪速センサ１３が検出した自車両２の速度、操舵制御部１４が制御する転舵輪の角度などを示す情報である。

画像認識部１１３は、撮影データ取得部１１１から撮影データを取得し、画像認識処理、すなわち、カメラ１１により撮影された映像を解析することで、駐車区画３あるいは通路と自車両２との相対位置、相対角度などを決定することができる。なお、通路には、駐車場内などにある通路が含まれることに加え、自動車が通行する道路４も通路に含まれる。また、通路は、自動車が通行する通路に限られず、人が通行する通路すなわち駐車場や車庫などと道路との間に存在する歩道も通路に含まれる。車両情報入出力部１１２は、画像認識部１１３とも接続されている。車両情報入出力部１１２は、画像認識部１１３の画像認識結果も車両情報として取得することができる。

画像生成部１１４は、表示部１３１に表示する種々の画像を生成する。画像生成部１１４が生成する画像には、周辺画像１４０と後方通路画像１５０とが含まれる。周辺画像１４０は、周辺領域を一部または全部とする画像である。図２に周辺画像１４０の一例を示している。図２に示す周辺画像１４０は、自車両２を真上から見た俯瞰画像である。この周辺画像１４０は、自車両２の前後左右に備えられたカメラ１１から合成できる画像である。周辺画像１４０には、自車両２の位置を示すための自車両図形１４２が配置されている。自車両図形１４２は、自車両２を上から見た図形である。

図２には、後方通路画像１５０も示されている。図２では、周辺画像１４０と後方通路画像１５０は隣接して配置されている。後方通路画像１５０は、後側方通路領域１５１（図３参照）を含んだ画像である。後側方通路領域１５１は、自車両２の後側方にある通路を含んだ領域である。さらに、図２に示す後方通路画像１５０には、後方通路画像１５０にある通路などと自車両２との相対位置を分かりやすくするために、自車両２の前端面の一部を表す自車両図形１５２が配置されている。

図３には、図２に例示した後方通路画像１５０についての仮想カメラ位置１６０を示している。図３に示す自車両２は、駐車区画３から出て道路４に進入しようとしている状態である。

仮想カメラ位置１６０は、後方通路画像１５０の仮想視点を意味する。仮想視点は、後方通路画像１５０を撮影するとした場合の仮想のカメラ位置である。図３に示す仮想カメラ位置１６０は、自車両２よりも前方かつ上方に位置する。周辺画像１４０の視点が自車両２の真上にあることから、後方通路画像１５０は周辺画像１４０とは異なる視点からの画像である。

仮想カメラ位置１６０からの画像である後方通路画像１５０は、１つあるいは複数のカメラ１１から得られた撮影データが示す撮影画像に写っている各座標を座標変換処理することにより、得ることができる。座標変換は、カメラ１１の取り付け位置、撮影画像上の各座標の位置、仮想カメラ位置１６０をもとにして行う。

なお、図２に示す後方通路画像１５０は、仮想カメラ位置１６０を仮想視点とする画像ではあるが、左右は、仮想カメラ位置１６０から実際に後側方通路領域１５１を見たときとは反転させている。理由は、左右を反転させることで、実空間での自車両２通路との左右関係と、後方通路画像１５０で表示されている自車両図形１５２と通路との左右関係が一致させるためである。後方通路画像１５０をこのような画像とすることで、自車両２の乗員が、後方通路画像１５０にある通路と実空間にある通路とを対応づけやすい。ただし、後方通路画像１５０を、仮想カメラ位置１６０から実際に後側方通路領域１５１を見たときの左右と一致する画像とすることもできる。

後方通路画像１５０は、後側方通路領域１５１を含んだ画像であり、後側方通路領域１５１は、自車両２の後側方にある通路を含んだ領域である。自車両２はその通路に対して斜めに進入する。後側方は、進入しようとしている通路に対して斜めに進入する状態の自車両２における後側方である。あるいは、後側方は、進入しようとしている通路に対して自車両２の前後方向が平行になっている状態での後側方とすることもできる。後側方通路領域１５１は、周辺領域よりも、通路において自車両２よりも進入方向後方となる部分を十分に含む領域である。なお、進入方向は、自車両２が通路に進入したあとの進行方向を意味する。後側方通路領域１５１は、たとえば、通路において自車両２のすぐ側方から自車両２よりも後方の数十メートルまでを含む領域である。

図２に例示しているように、本実施形態では、周辺画像１４０と後方通路画像１５０が同時に表示される。このように周辺画像１４０と後方通路画像１５０を同時に表示する理由は、次の通りである。

図３に示すように、自車両２が駐車区画３から自車両２の右側にある道路４に出る場合、自車両２を右前方へ旋回させる。このときは、自車両２の左前角部２ａが前方に停車している他車両５などの障害物に接触しないように注意する必要がある。

また、自車両２の一部が道路４に入った後は、自車両２を左前方向に旋回させる。このときは、自車両２の左後輪付近である左後側部２ｂが他車両５などの障害物に接触しないように注意する必要がある。周辺画像１４０は、自車両２の左前角部２ａや左後側部２ｂが障害物と接触しないかどうかを自車両２の乗員が確認するために用いる画像である。

さらに、図３の状況では、周辺画像１４０に写っている周辺領域を確認する必要があることに加えて、同時に、道路４を自車両２の方向に移動してくる車や人などの移動体にも注意する必要がある。そこで、周辺画像１４０と同時に、後方通路画像１５０を表示部１３１に表示するのである。

出力制御部１１５は、画像生成部１１４が生成した周辺画像１４０、後方通路画像１５０などの画像を示す画像データをディスプレイ１３０に出力する。表示部１３１には、出力制御部１１５から出力された画像データをもとにした種々の画像が表示される。また、出力制御部１１５は、スピーカ１２０に警告音などの音を発生させるための信号をスピーカ１２０に出力するようになっていてもよい。

〔ＥＣＵ１１０が実行する処理〕
図４にＥＣＵ１１０が実行する処理を示す。図４に示す処理を開始する開始条件は、種々、設定できる。図４に示す処理は、表示部１３１に、前述した周辺画像１４０、または、周辺画像１４０と後方通路画像１５０を表示させる処理である。これらの画像は、駐車区画３から自車両２が前進発進するときなどに利用する。したがって、駐車後の発進開始を、開始条件とすることができる。また、走行中であっても、駐車場から道路４に入るときにも周辺領域を確認する必要がある。また、狭い道路から広い道路に入るときにも周辺領域を確認する必要がある。このときの走行速度は、駐車場から道路４に入るときと同程度である。そこで、駐車場を走行する程度の低速走行となったことを開始条件とすることもできる。また、乗員による開始操作があったことを、開始条件成立とすることもできる。

さらには、自車両２の現在位置を取得し、地図データにおける自車両２の位置が、駐車場から道路４に入る位置など、予め設定された処理開始位置であることを開始条件とすることもできる。また、地図データにおける自車両２の位置に代えて、カメラ１１から取得する撮影データを画像解析することで、自車両２の位置を決定してもよい。

ステップ（以下、ステップを省略）Ｓ１では撮影データ取得部１１１が、カメラ１１から撮影データを取得する。Ｓ２以下は画像生成部１１４が実行する。Ｓ２では、通路に対する自車両２の位置を算出する。通路に対する自車両２の位置を算出するために、たとえば、撮影データを解析して通路領域を決定する。

通路領域を決定するために、駐車区画３の枠線の位置を決定し、枠線を通路との境界とし、枠線よりも通路方向を通路領域とすることができる。駐車区画３を規定する枠がない場合、あるいは、枠が認識できない場合でも、前または後ろに他車両５が駐車している場合には、他車両５の通路側の側面あるいはその側面から一定距離だけ通路側の位置を通路と通路外との境界としてもよい。さらに、前述したように、通路には歩道も含まれる。歩道は、隣接する駐車場、車庫、道路との境界は明確である。したがって、通路が歩道である場合の通路領域は、画像解析により決定することができる。

通路領域に対する自車両２の位置も、撮影データを解析して決定することができる。ここでの自車両２の位置は、自車両２において通路に近い部分の位置である。たとえば、ここでの自車両２の位置は、自車両２の通路側の側面とする。また、自車両２の位置を、自車両２の左右の前輪のうち通路側の前輪の位置とすることもできる。

Ｓ３では、Ｓ２で算出した自車両２の位置をもとに、自車両２が通路に差し掛かっているか否かを判断する。Ｓ３の判断結果がＮＯであればＳ４に進む。Ｓ４では、それまでの表示画像を継続して表示する。たとえば、Ｓ４を実行する時点で、周辺画像１４０は表示しているが、後方通路画像１５０は表示していない状態であれば、周辺画像１４０は継続して表示する。Ｓ３の判断結果がＹＥＳであればＳ５に進む。Ｓ５以下を実行する場合、以下に説明するように、後方通路画像１５０を生成する。したがって、Ｓ３の判断条件は、後方通路画像１５０を生成する画像生成条件である。

Ｓ５では、自車両２が前進走行により入ろうとしている通路の通路境界線と、自車両２の相対位置、および、通路境界線に対する自車両２の相対角度を算出する。相対位置の算出はＳ２と同じである。相対角度も、撮影データを画像解析して決定することができる。

Ｓ６では、Ｓ５で決定した相対位置、相対角度に基づいて、仮想カメラ位置１６０と仮想カメラの向きを決定する。仮想カメラ位置１６０と仮想カメラの向きは、図３に例示したように、自車両２を基準として定まる後側方通路領域１５１が含まれる後方通路画像１５０を撮影するとした場合の仮想のカメラ位置である。仮想カメラ位置１６０は、自車両２の所定点を基準点として、そこから、ｘ、ｙ、ｚ方向にそれぞれ予め設定したｄｘ、ｄｙ、ｄｙだけ移動した点である。仮想カメラの向きは、自車両２に設定した基準面、たとえば、車幅方向中心を通り自車両２の前後方向に平行な鉛直面に対して、一定角度、通路方向に傾いた角度とすることができる。

なお、仮想カメラの向きは、自車両２の相対角度ではなく、通路領域が延びる方向を基準として決定してもよい。通路領域が延びる方向は、地図上の自車両２の位置を自車両２の座標などから決定し、決定した自車両２の位置において通路が延びている方向とすることができる。

Ｓ７では、車両情報入出力部１１２から周辺の障害物との距離を取得する。Ｓ８では、最新の撮影データをもとに周辺画像１４０と後方通路画像１５０とを表す画像データを生成（すなわち描画）して、それらの画像データを出力制御部１１５に出力する。出力制御部１１５は、その画像データをディスプレイ１３０に出力するので、表示部１３１に周辺画像１４０と後方通路画像１５０が表示される。ここで、Ｓ７で取得した距離のうちの最短距離が要注意距離閾値以上であれば、自車両図形１４２が周辺画像１４０の中心に位置する周辺画像１４０を描画する。この周辺画像１４０の一例は、図２に示す周辺画像１４０である。要注意距離閾値は、自車両２と障害物が接触しないように、特に注意する必要がある距離であって、実験等に基づいて予め設定される距離である。

最短距離が要注意距離閾値よりも短い場合には、その最短距離となっている部分が分かりやすくなる周辺画像１４０を描画する。たとえば、自車両図形１４２が周辺画像１４０の中央にある場合よりも、最短距離となっている部分が周辺画像１４０の中央寄りになる周辺画像１４０を描画する。あるいは、最短距離となっている部分が要注意距離閾値以上であるときよりも、最短距離となっている部分が拡大されている周辺画像１４０を描画する。最短距離となっている部分が拡大されている周辺画像１４０を描画する場合、要注意距離閾値は、周辺画像１４０を拡大するかどうかを決める閾値すなわち拡大距離閾値である。

図５に示す周辺画像１４０は、最短距離が要注意距離閾値よりも短くなっているときの周辺画像１４０である。図５の周辺画像１４０において最短距離となっている部分は、自車両２の左前角部２ａである。図５の周辺画像１４０は、自車両２の左前角部２ａが周辺画像１４０の中央付近になるように、自車両図形１４２が周辺画像１４０の右下にある。また、図５の周辺画像１４０は、図２の周辺画像１４０よりも自車両２の左前角部２ａが拡大されている。

また、図５の周辺画像１４０には、視点位置画像１４３が表示されている。視点位置画像１４３は、周辺画像１４０と同時に表示されている後方通路画像１５０の視点を示すものである。後方通路画像１５０の視点の位置は、後方通路画像１５０を描画する際に決定されている。自車両図形１４２に対する視点位置画像１４３の位置が、自車両２に対する後方通路画像１５０の視点の位置を示すように、周辺画像１４０における視点位置画像１４３の位置を決定する。

Ｓ９では、後方通路の確認処理をし、後方通路の確認結果を示す画像を描画して、その画像を表す画像データを出力制御部１１５に出力する。後方通路の確認処理は、後側方通路領域１５１に、自車両２の方向に向かって移動する移動体があるかどうかを確認する処理である。確認処理は、後方通路画像１５０を生成する際に用いた撮影データを解析することで行う。

図５には、確認結果を示す画像である２種類の注意喚起画像１５３ａ、１５３ｂが示されている。これら２種類の注意喚起画像１５３ａ、１５３ｂを区別しないときは注意喚起画像１５３とする。後方通路画像１５０には、自車両２に接近する他車両５が写っている。したがって、他車両５に対する注意喚起を促すために、確認結果を示す画像として、注意喚起画像１５３を表示する。注意喚起画像１５３ａは、後方通路画像１５０の隅部に重畳された画像である。注意喚起画像１５３ｂは後方通路画像１５０の枠を強調する画像である。

図６には、確認処理の結果、後側方通路領域１５１に自車両２に接近する移動体が写っていない場合に表示する確認結果画像１５４が示されている。

Ｓ１０では、周辺画像１４０と後方通路画像１５０の同時表示を終了するか否かを判断する。たとえば、自車両２の全部が通路に入った場合にＳ１０の判断結果をＹＥＳとし、自車両２の一部がまだ通路に入っていない場合にはＳ１０の判断結果をＮＯとする。Ｓ１０の判断結果がＮＯであればＳ５に戻る。

なお、Ｓ５からＳ１０の繰り返しにおいて、２度目以降のＳ６では、仮想カメラの向きは、自車両２の向きの変更に伴い、逐次、変更してもよい。しかし、２度目以降のＳ６では、仮想カメラの向きは、１回目のＳ６で決定した向きのままとしてもよい。

Ｓ１０の判断結果がＹＥＳであればＳ１１へ進む。Ｓ１１では、図４の処理を終了するか否かを判断する。自車両２の速度が駐車後の発進時に想定される低速域を超えた場合には、周辺画像１４０も表示する必要がない。そこで、たとえば、自車両２の速度が上記低速域を超えた場合に、図４の処理を終了する。Ｓ１１の判断結果がＮＯであればＳ３に戻る。

〔実施形態のまとめ〕
この実施形態で説明した車両用表示装置１００は、表示部１３１に、周辺画像１４０と後方通路画像１５０が同時に表示される。したがって、表示部１３１を見れば、自車両２の後側方にある通路と、自車両２の周辺とを同時に確認することができる。よって、出庫時などにおいて確認すべき領域を容易に確認することができる。

画像生成部１１４は、自車両２が通路に差し掛かっていると判断した場合に、後方通路画像１５０を表示部１３１に表示する。したがって、後側方通路領域１５１を確認する必要性が高いときに後方通路画像１５０が表示される。また、後側方通路領域１５１を確認する必要性が低いときには後方通路画像１５０は表示されないので、表示部１３１の表示領域を有効に活用できる。

後方通路画像１５０は、自車両２の前方にある仮想カメラ位置１６０から見た画像であり、後方通路画像１５０には、自車両２の前端面の一部を表した図形である自車両図形１５２が含まれている。したがって、後方通路画像１５０は、後側方通路領域１５１と自車両２との関係が認識しやすい。

また、後方通路画像１５０と同時に表示される周辺画像１４０に、後方通路画像１５０の仮想視点を示す視点位置画像１４３が表示される。これによっても、後方通路画像１５０がどの領域を撮影した画像であるかが分かりやすくなる。

画像生成部１１４は、自車両２と障害物との最短距離が要注意距離閾値よりも短くなった場合、最短距離が要注意距離閾値よりも長い場合よりも、最短距離が要求位距離閾値よりも短くなった箇所を拡大した周辺画像１４０（図６）を生成する（Ｓ８）。よって、周辺画像１４０を見ることで、自車両２の乗員は、より容易に自車両２が障害物と接触しそうかどうかを判断できる。

後方通路画像１５０に自車両２に接近する移動体が写っている場合、注意喚起画像１５３が表示部１３１に表示される。注意喚起画像１５３が表示されることでも、後方通路画像１５０を見る乗員は、その移動体の存在を認識しやすい。

また、後方通路画像１５０に自車両２に接近する移動体が写っていない場合には、後側方通路領域１５１に自車両２に接近する移動体が存在しないことを示す確認結果画像１５４が表示部１３１に表示される。よって、確認結果画像１５４を見ることで、自車両２の乗員は、後側方通路領域１５１に自車両２に接近する移動体が存在しないことを判断しやすい。

以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。なお、以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

＜変形例１＞
実施形態では、自車両２を前方の仮想カメラ位置１６０から見た後方通路画像１５０を表示していた。しかし、後方通路画像１５０に代えて、図７に示す後方通路画像２５０のように自車両２の側面に設置されたサイドカメラが撮影した画像を表示してもよい。後方通路画像２５０にも、後側方通路領域１５１が写っている。また、後方通路画像２５０には、自車両２の側面が写っている。したがって、後方通路画像２５０も、その画像から、自車両２と後側方通路領域１５１との関係を把握することができる。また、後方通路画像１５０は複数のカメラ１１が撮影した画像を合成して生成する必要があるのに対して、後方通路画像２５０は、１つのサイドカメラが撮影した画像のみから生成できる。よって、画像を生成するための演算処理を少なくできる。

＜変形例２＞
実施形態で説明した周辺画像１４０は、自車両図形１４２が画像の中心に位置していた。しかし、図３を用いて説明たように、自車両２が、自車両２の右側にある通路に入るときは、自車両２の左側面に注意する必要がある。反対に、自車両２が、自車両２の左側にある通路に入るときは、自車両２の右側面に注意する必要がある。そこで、図８に示す周辺画像２４０のように、障害物との距離によらず、自車両２よりも通路から遠い側が広く映るようにしてもよい。図８に示す周辺画像２４０は、右側に通路があるので、周辺画像２４０の右端下端に自車両図形１４２が位置する画像となっている。

＜変形例３＞
実施形態では、仮想カメラの向きを、自車両２に対する相対角度として決定していた。しかし、後方通路画像１５０に後側方通路領域１５１が写っていればよいので、仮想カメラの向きは、通路の延びる方向を基準とした固定角度としてもよい。

＜変形例４＞
実施形態では、縦列駐車している状態から道路４に入る例を説明した。しかし、車両用表示装置１００は、他車両５に対して並列に駐車している状態から走行開始する場合にも適用できる。

図９には、並列駐車状態から走行開始する場合の後側方通路領域１５１などを示している。図９では、駐車している状態の自車両２の前方には、道路４を挟んで壁６がある。図９に示す場合には、駐車区画３から道路４に入る自車両２は、左後側部２ｂと右前角部２ｃが障害物に接触しないように特に注意する必要がある。図９における後側方通路領域１５１は、自車両２の全部が駐車区画３内に位置しているときは、自車両２の側方であるが、自車両２が道路４に入る状態では自車両２の後側方にある。仮想カメラ位置１６０は、自車両２の前方であって後側方通路領域１５１が映る位置である。

また、縦列駐車、並列駐車以外にも、自車両２が駐車場から道路４に入るとき、狭い道路から、徐行により広い道路に合流する場合に図４に処理を実行してもよい。

＜変形例５＞
実施形態では、画像生成条件成立を、自車両２が通路に差し掛かっている状態であることとしていた。しかし、実際に自車両２が通路に差し掛かかる前であっても、自車両２の一部が通路に入ることが予想される状態となったことを画像生成条件成立としてもよい。自車両２の一部が通路に入ることが予想される状態とは、自車両２が走行予定の予測軌道を逐次計算しており、その予測軌道が、自車両２が障害物に接触せずに道路４に入ることができる軌道になった状態である。

また、予測軌道を逐次算出している場合、周辺画像１４０、２４０に、予測軌道を示す予測軌道線を重畳してもよい。

＜変形例６＞
実施形態では、周辺画像１４０はカメラ１１が撮影した撮影データを画像変換して生成した俯瞰画像であった。しかし、周辺画像は、カメラ１１が撮影した撮影画像そのもの、カメラ１１が撮影した画像から周辺領域を切り取った画像など、俯瞰画像以外の画像でもよい。

＜変形例７＞
本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。ハードウエア論理回路は、たとえば、ＡＳＩＣ、ＦＰＧＡである。

また、コンピュータプログラムを記憶する記憶媒体はＲＯＭに限られず、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていればよい。たとえば、フラッシュメモリに上記プログラムが記憶されていてもよい。

２：自車両２ａ：左前角部２ｂ：左後側部２ｃ：右前角部３：駐車区画４：道路（通路）５：他車両６：壁１０：車載システム１１：カメラ１２：測距センサ１３：車輪速センサ１４：操舵制御部１５：シフト制御部１６：アクセル制御部１７：ブレーキ制御部１８：車内ネットワーク線１００：車両用表示装置１１０：ＥＣＵ１１１：撮影データ取得部１１２：車両情報入出力部１１３：画像認識部１１４：画像生成部１１５：出力制御部１２０：スピーカ１３０：ディスプレイ１３１：表示部１３２：操作入力部１４０：周辺画像１４２：自車両図形１４３：視点位置画像１５０：後方通路画像１５１：後側方通路領域１５２：自車両図形１５３：注意喚起画像１５４：確認結果画像１６０：仮想カメラ位置２４０：周辺画像２５０：後方通路画像

Claims

車両用表示装置であって、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、前記自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
前記撮影データ取得部が取得した前記撮影データをもとに、前記後側方通路領域の画像と前記周辺領域の画像とを生成する画像生成部（１１４）と、
前記後側方通路領域の画像と前記周辺領域の画像とを同時に表示する表示部（１３１）とを備え、
前記画像生成部は、前記後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、前記周辺領域を含む画像であって前記後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成し、
前記後方通路画像は、仮想視点（１６０）から、前記後側方通路領域を見た画像であり、
前記画像生成部は、前記後方通路画像の前記仮想視点を示す視点位置画像（１４３）を、前記表示部に表示する、車両用表示装置。
車両用表示装置であって、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、前記自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
前記撮影データ取得部が取得した前記撮影データをもとに、前記後側方通路領域の画像と前記周辺領域の画像とを生成する画像生成部（１１４）と、
前記後側方通路領域の画像と前記周辺領域の画像とを同時に表示する表示部（１３１）とを備え、
前記画像生成部は、前記後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、前記周辺領域を含む画像であって前記後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成し、
前記後方通路画像は、仮想視点（１６０）から、前記後側方通路領域を見た画像であり、
前記画像生成部は、逐次、前記後方通路画像と前記周辺画像を生成するものであって、前記仮想視点は前記自車両に対する角度が固定されている、車両用表示装置。
車両用表示装置であって、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、前記自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
前記撮影データ取得部が取得した前記撮影データをもとに、前記後側方通路領域の画像と前記周辺領域の画像とを生成する画像生成部（１１４）と、
前記後側方通路領域の画像と前記周辺領域の画像とを同時に表示する表示部（１３１）とを備え、
前記画像生成部は、前記後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、前記周辺領域を含む画像であって前記後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成し、
前記後方通路画像は、仮想視点（１６０）から、前記後側方通路領域を見た画像であり、
前記画像生成部は、逐次、前記後方通路画像と前記周辺画像を生成するものであって、前記仮想視点は前記通路に対する角度が固定されている、車両用表示装置。
請求項２または３に記載の車両用表示装置であって、
前記画像生成部は、前記後方通路画像の前記仮想視点を示す視点位置画像（１４３）を、前記表示部に表示する、車両用表示装置。
車両用表示装置であって、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、前記自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
前記撮影データ取得部が取得した前記撮影データをもとに、前記後側方通路領域の画像と前記周辺領域の画像とを生成する画像生成部（１１４）と、
前記後側方通路領域の画像と前記周辺領域の画像とを同時に表示する表示部（１３１）とを備え、
前記画像生成部は、前記後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、前記周辺領域を含む画像であって前記後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成し、
前記画像生成部は、前記周辺領域に含まれる前記自車両の一部と障害物との間の距離が拡大距離閾値よりも短くなった場合に、前記距離が前記拡大距離閾値よりも長い場合よりも、前記距離が前記拡大距離閾値よりも短くなった箇所を拡大した前記周辺画像を生成する、車両用表示装置。
前記後方通路画像は、前記自車両の側面の一部が含まれている画像である、請求項１～５のいずれか１項に記載の車両用表示装置。
前記周辺画像は俯瞰画像である、請求項１～６のいずれか１項に記載の車両用表示装置。
前記画像生成部は、前記自車両の少なくとも一部が前記通路に入っている状態、または、前記自車両の一部が前記通路に入ることが予想される状態であることを画像生成条件として、前記後方通路画像を生成する、請求項１～７のいずれか１項に記載の車両用表示装置。
請求項８に記載の車両用表示装置であって、
前記通路には歩道が含まれ、
前記画像生成部は、前記自車両の少なくとも一部が前記歩道に入っている状態、または、前記自車両の一部が前記歩道に入ることが予想される状態であることを画像生成条件として、前記後方通路画像を生成する、車両用表示装置。
請求項１～９のいずれか１項に記載の車両用表示装置であって、
前記画像生成部は、前記後側方通路領域に前記自車両に接近する移動体が写っている場合、前記移動体に対する注意喚起を前記自車両の乗員に促す注意喚起画像（１５３）を前記表示部に表示する、車両用表示装置。
請求項１～１０のいずれか１項に記載の車両用表示装置であって、
前記画像生成部は、前記後側方通路領域に前記自車両に接近する移動体が写っていない場合、前記後側方通路領域に前記自車両に接近する移動体が存在しないことを示す画像（１５４）を前記表示部に表示する、車両用表示装置。
車両用表示装置であって、
自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、前記自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
前記撮影データ取得部が取得した前記撮影データをもとに、前記後側方通路領域を含む画像情報である後方通路画像（１５０、２５０）と、前記周辺領域を含む画像情報であって前記後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを出力する出力部（１１４）とを備え、
前記後方通路画像は、仮想視点（１６０）から、前記後側方通路領域を見た画像情報であり、
前記出力部は、前記後方通路画像を表示する際の前記仮想視点の位置を示す視点位置画像情報（１４３）を出力する、車両用表示装置。
車両の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、前記車両の周辺が含まれる周辺領域とが撮影された撮影データを取得し（Ｓ１）、
前記撮影データをもとに、前記後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、前記周辺領域を含む画像であって前記後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成して、前記後側方通路領域の画像と前記周辺領域の画像とを同時に表示部に表示し（Ｓ８）、
前記周辺画像は、前記周辺領域に含まれる自車両の一部と障害物との間の距離が拡大距離閾値よりも短くなった場合に、前記距離が前記拡大距離閾値よりも長い場合よりも、前記距離が前記拡大距離閾値よりも短くなった箇所を拡大した画像である、車両用表示方法。