JP7347307B2

JP7347307B2 - 駐車支援装置、駐車支援システム、及び駐車支援方法

Info

Publication number: JP7347307B2
Application number: JP2020066822A
Authority: JP
Inventors: 賢治小原
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2020-04-02
Filing date: 2020-04-02
Publication date: 2023-09-20
Anticipated expiration: 2040-04-02
Also published as: WO2021199674A1; JP2021160667A; DE112021002072T5; US20230017805A1

Description

本開示は、駐車支援装置、駐車支援システム、及び駐車支援方法に関するものである。

特許文献１には、自動走行によって移動させて駐車させるシステムにおいて、レーザセンサを用いて検出した段差が所定の高さ閾値以上の障害部を避けて駐車経路を形成する技術が開示されている。特許文献１には、所定の高さ閾値以上の障害部の存在によって駐車経路が設定できない場合には、そのことを報知する処理を行ってもよいことが開示されている。一方、特許文献１の技術では、所定の高さ閾値未満の障害部は、車両が通過可能であると判断し、障害部の高さ方向の傾きの大きさに応じて、アクセル開度及びブレーキ圧の制御情報を生成する。

特開２０１８－９０１０８号公報

特許文献１に開示の技術では、駐車経路に存在する障害部が、所定の高さ閾値未満の障害部である場合には、この障害部を乗り越えさせることになる。特許文献１に開示の技術では、駐車経路が設定できないことは、乗員に報知することが想定されている。しかしながら、駐車経路が設定できる場合に、障害部を乗り越える駐車経路が設定されているかについて乗員に報知することは想定されていない。障害部の段差を乗り越える場合には、段差の乗り越えに伴って乗員が衝撃を受ける可能性がある。よって、駐車支援において、乗員に段差を乗り越えることを予め認識させることが望ましい。

この開示のひとつの目的は、駐車の際に車両が段差を通過することが予定される場合に、車両の乗員に段差を通過することを予め認識させることを可能にする駐車支援装置、駐車支援システム、及び駐車支援方法を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

上記目的を達成するために、本開示の駐車支援装置は、車両で用いられて、車両は、車両を駐車させる駐車領域に車両を自動運転によって移動させる自動駐車が可能なものであって、車両の周辺の段差を検知する段差検知部（１３１）と、段差検知部で検知した段差が、車両が回避せずに通過する通過対象段差であるか回避すべき回避対象段差であるかを判別する段差判別部（１０４）と、車両を駐車させる駐車領域に車両を移動させる進路上に、段差判別部で通過対象段差と判別した段差が存在する場合に、車両の車室内に向けて通知を行う通知装置（１２）から、通過対象段差を通過する予定である旨を示す通知を行わせる通知処理部（１０９）とを備え、通知処理部は、通過対象段差と回避対象段差とを区別できる通知態様で、通過対象段差を通過する予定である旨を示す通知を行わせ、通知処理部は、自動駐車時において切り返しを行わなければ回避対象段差を回避して移動することができなくなった場合に、その切り返しを自車が行う位置でその回避対象段差を示す表示を行わせる一方、通過対象段差については、回避対象段差と区別できる表示態様で表示を行わせる。

上記目的を達成するために、本開示の駐車支援方法は、車両を駐車させる駐車領域に自動運転によって移動させる自動駐車が可能な車両で用いられる駐車支援方法であって、少なくとも１つのプロセッサにより実行される、車両の周辺の段差を検知する段差検知工程と、段差検知工程で検知した段差が、車両が回避せずに通過する通過対象段差であるか回避すべき回避対象段差であるかを判別する段差判別工程と、車両を駐車させる駐車領域に車両を移動させる進路上に、段差判別工程で通過対象段差と判別した段差が存在する場合に、車両の車室内に向けて通知を行う通知装置から、通過対象段差を通過する予定である旨を示す通知を行わせる通知処理工程とを含み、通知処理工程では、通過対象段差と回避対象段差とを区別できる通知態様で、通過対象段差を通過する予定である旨を示す通知を行わせ、通知処理工程では、自動駐車時において切り返しを行わなければ回避対象段差を回避して移動することができなくなった場合に、その切り返しを自車が行う位置でその回避対象段差を示す表示を行わせる一方、通過対象段差については、回避対象段差と区別できる表示態様で表示を行わせる。

これらの構成によれば、車両を駐車させる駐車領域に車両を移動させる進路上に、車両が回避せずに通過する通過対象段差と判別した段差が存在する場合に、車両の車室内に向けて通知を行う通知装置から、通過対象段差を通過する予定である旨を示す通知を行わせる。車両を駐車させる駐車領域に車両を移動させる進路上に、通過対象段差と判別した段差が存在する場合、駐車の際にその段差を車両が通過する予定と言える。よって、以上の構成によれば、駐車の際に車両が段差を通過することが予定される場合に、通過対象段差を通過する予定である旨を示す通知によって、車両の乗員に段差を通過することを予め認識させることが可能になる。

上記目的を達成するために、本開示の駐車支援システムは、車両で用いられて、車両の車室内に向けて通知を行う通知装置と、前述の駐車支援装置とを含む。

これによれば、前述の駐車支援装置を含むので、駐車の際に車両が段差を通過することが予定される場合に、車両の乗員に段差を通過することを予め認識させることが可能になる。

運転支援システム１の概略的な構成の一例を示す図である。運転支援ＥＣＵ１０の概略的な構成の一例を示す図である。表示装置１２１の画面に表示される駐車支援時の画像の一例について説明を行うための図である。表示装置１２１の画面に表示される駐車支援時の画像の一例について説明を行うための図である。通過対象段差と回避対象段差とを区別できる通知態様の一例を説明するための図である。俯瞰画像における段差通過予定通知の一例を示す図である。運転支援ＥＣＵ１０での段差通過予定通知関連処理の流れの一例を示すフローチャートである。運転支援ＥＣＵ１０での手動駐車支援処理の流れの一例を示すフローチャートである。

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

（実施形態１）
＜運転支援システム１の概略構成＞
以下、本実施形態について図面を用いて説明する。図１に示す運転支援システム１は、車両で用いられるものであり、運転支援ＥＣＵ１０、周辺監視センサ１１、提示装置１２、操作デバイス１３、車両状態センサ１４、及び車両制御ＥＣＵ１５を含んでいる。例えば、運転支援ＥＣＵ１０、車両状態センサ１４、及び車両制御ＥＣＵ１５は、車内ＬＡＮに接続されているものとすればよい。この運転支援システム１が駐車支援システムに相当する。以下では、運転支援システム１を用いる車両を自車と呼ぶ。

周辺監視センサ１１は、自車の周辺監視に用いられる。周辺監視センサ１１は、自車周辺をセンシングする。周辺監視センサ１１は、車外カメラ１１１及び測距センサ１１２を含む。

車外カメラ１１１は、自車周辺を撮像する撮像装置である。一例としては、車外カメラ１１１として、自車の前後左右の４方向をそれぞれ撮像する４つの車外カメラが自車に配置される構成とすることが好ましい。これは、自車の全周囲の撮像画像が合成された合成画像を表示させることが可能になるためである。以下では、自車の前方の所定範囲を撮像範囲とする車外カメラ１１１を前方カメラと呼ぶ。自車の右側方の所定範囲を撮像範囲とする車外カメラ１１１を右側方カメラと呼ぶ。自車の後方の所定範囲を撮像範囲とする車外カメラ１１１を後方カメラと呼ぶ。自車の左側方の所定範囲を撮像範囲とする車外カメラ１１１を左側方カメラと呼ぶ。

測距センサ１１２は、探査波を送信して物体で反射されるその探査波の反射波を受信することで、自車から物体上の測距点までの距離を検出するセンサである。測距点は、物体の表面上の探査波を反射した部位である。例えば、測距センサとしては、ミリ波レーダ，ＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detect ion and Ranging），ソナー等を用いる構成とすればよい。また、測距センサ１１２として、これらのセンサを複数種類組み合わせて用いる構成としてもよい。以下では、測距センサ１１２として、ソナーとＬＩＤＡＲとを組み合わせて用いる場合を例に挙げて説明を行う。以下では、ソナーのセンシング範囲は自車のそれぞれ左側方，右側方の所定範囲とする。また、ＬＩＤＡＲのセンシング範囲は自車のそれぞれ前方，後方の所定範囲とする。なお、このＬＩＤＡＲはミリ波レーダに置き換えてもよい。

提示装置１２は、車室内に向けて情報を提示する装置である。提示装置１２によって提示される情報には通知も含まれる。この提示装置１２が通知装置に相当する。提示装置１２は、運転支援ＥＣＵ１０の指示に従って情報の提示を行う。なお、提示装置１２は、運転支援ＥＣＵ１０から直接に指示を受けるのでなくて、提示装置１２を制御するＥＣＵを介して運転支援ＥＣＵ１０からの指示を受ける構成としてもよい。提示装置１２は、表示装置１２１及び音声出力装置１２２を含む。

表示装置１２１は、表示によって情報の提示を行う。表示装置１２１は、自車の車室内に設けられる。表示装置１２１としては、メータマルチインフォメーションディスプレイ（以下、メータＭＩＤ），センターインフォメーションディスプレイ（以下、ＣＩＤ），カーナビゲーション装置のディスプレイ等が挙げられる。メータＭＩＤは、表示領域が運転席の正面に配置される表示装置である。一例として、メータＭＩＤは、メータパネルに設けられる構成とすればよい。メータＭＩＤとしては、液晶ディスプレイ、有機ＥＬディスプレイ等を用いることができる。ＣＩＤは、表示領域が例えばセンタクラスタに配置される表示装置である。ＣＩＤとしては、液晶ディスプレイ、有機ＥＬディスプレイ等を用いることができる。本実施形態では、表示装置１２１として、ＣＩＤを用いる場合を例に挙げて以降の説明を行う。

音声出力装置１２２は、音声によって情報の提示を行う。音声出力装置１２２は、自車の車室内に設けられる。音声出力装置１２２としては、オーディオスピーカ等が挙げられる。

操作デバイス１３は、自車の乗員からの操作入力を受け付ける意思入力部である。操作デバイス１３としては、駐車支援を開始する旨の入力を受け付ける駐車支援スイッチ（以下、駐車支援ＳＷ）が挙げられる。他にも、操作デバイス１３としては、駐車支援のモードを切り替える機能切替スイッチ（以下、機能切替ＳＷ）が挙げられる。

駐車支援のモードとしては、「自動駐車」，「手動駐車支援」，「駐車支援オフ」があるものとする。「自動駐車」とは、車両を駐車させる駐車領域に自車を自動運転によって移動させることで駐車支援を行うモードとする。「手動駐車支援」とは、自車の舵角に応じて変化する予想軌跡を自車の進行方向画像に重畳して表示させることで駐車支援を行うモードとする。ここで言うところの予想軌跡とは、自車の進行方向側の左右輪の予想轍であってもよいし、自車の車幅に沿った左右一対の軌跡であってもよい。また、自車最外周の軌跡円弧と自車最内周の軌跡円弧との左右一対の軌跡であってもよい。「駐車支援オフ」とは、上述の「自動駐車」，「手動駐車支援」のいずれの駐車支援も行わないモードとする。

ここでは、操作デバイス１３で自車の乗員からの操作入力を受け付ける構成を示したが、必ずしもこれに限らない。例えば、操作デバイス１３の代わりに、音声入力装置で自車の乗員からの音声入力を受け付ける構成としてもよい。

車両状態センサ１４は、自車の走行状態を検出するためのセンサ群である。車両状態センサ１４としては、車速センサ，舵角センサ，シフトポジションセンサ等がある。車速センサは、自車の車速を検出する。舵角センサは、自車の操舵角を検出する。シフトポジションセンサは、自車のシフトポジションを検出する。車両状態センサ１４は、検出結果を車内ＬＡＮへ出力する。なお、車両状態センサ１４での検出結果は、自車に搭載されるＥＣＵを介して車両ＬＡＮへ出力される構成であってもよい。

車両制御ＥＣＵ１５は、自車の加減速制御，操舵制御といった車両制御を行う電子制御装置である。車両制御ＥＣＵ１５としては、操舵ＥＣＵ、パワーユニットＥＣＵ、及びブレーキＥＣＵ等がある。操舵ＥＣＵは、自車の操舵制御を行う。パワーユニットＥＣＵは、内燃機関，モータジェネレータ等の走行駆動源の制御を行う。ブレーキＥＣＵは、自車のブレーキ機構の制御を行う。

運転支援ＥＣＵ１０は、周辺監視センサ１１、提示装置１２、及び操作デバイス１３と接続されている。運転支援ＥＣＵ１０は、例えばプロセッサ、メモリ、Ｉ／Ｏ、これらを接続するバスを備え、メモリに記憶された制御プログラムを実行することで各種の処理を実行する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。本実施形態では、運転支援ＥＣＵ１０は、自車の駐車支援に関する各種の処理を実行するものとして説明を行う。この運転支援ＥＣＵ１０が駐車支援装置に相当する。なお、運転支援ＥＣＵ１０の詳細については、以下で述べる。

＜運転支援ＥＣＵ１０の概略構成＞
ここで、図２を用いて運転支援ＥＣＵ１０の概略構成についての説明を行う。運転支援ＥＣＵ１０は、図２に示すように、情報取得部１０１、モード選択部１０２、周辺環境認識部１０３、段差判別部１０４、自動駐車部１０５、予想軌跡生成部１０６、通過車輪推定部１０７、記憶部１０８、及び通知処理部１０９を機能ブロックとして備える。なお、運転支援ＥＣＵ１０が実行する機能の一部又は全部を、一つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、運転支援ＥＣＵ１０が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。

情報取得部１０１は、周辺監視センサ１１で逐次得られるセンシング結果を取得する。つまり、車外カメラ１１１で逐次撮像される撮像画像を取得したり、測距センサ１１２で逐次検出する検出結果を取得したりする。情報取得部１０１は、車両状態センサ１４で逐次検出される検出結果を取得する。

モード選択部１０２は、操作デバイス１３で受け付けた操作入力に応じて、駐車支援のモードを切り替える。一例として、駐車支援のモードは、前述した「自動駐車」，「手動駐車支援」，「駐車支援オフ」の３つのモードから選択されるものとする。

周辺環境認識部１０３は、周辺監視センサ１１で逐次得られるセンシング結果から、自車周辺の障害物，駐車区画線を認識する。周辺環境認識部１０３は、車外カメラ１１１の撮像画像からは、エッジ検出，パターンマッチング等の画像認識処理を行うことで障害物，駐車区画線を検出すればよい。周辺環境認識部１０３は、障害物，駐車区画線が検出された撮像画像を撮像した車外カメラ１１１の自車に対する設置位置，光軸の向き，撮像画像中の位置をもとに、自車に対する障害物，駐車区画線の位置を検出すればよい。周辺環境認識部１０３は、測距センサ１１２の検出結果からは、探査波に対する反射波の受信の有無で障害物を検出すればよい。また、周辺環境認識部１０３は、測距センサ１１２の探査波を送信した方位をもとに、自車に対する障害物の方位を検出すればよい。さらに、周辺環境認識部１０３は、探査波を送信してから反射波を受信するまでの時間をもとに、自車から障害物までの距離を検出すればよい。これにより、自車に対する障害物の位置を認識すればよい。

自車に対する障害物の位置は、自車の基準点を原点とするＸＹ座標系における座標として表す構成とすればよい。このＸＹ座標系は、Ｘ軸とＹ軸とを路面に平行な水平面内にとっているものとする。

周辺環境認識部１０３は、自車周辺の障害物，駐車区画線の認識結果をもとに、駐車領域を認識する。一例として、車外カメラ１１１を用いて障害物，駐車区画線を検出した場合には、障害物に挟まれたり接したりした空間，駐車区画線に挟まれた空間を駐車領域として認識すればよい。測距センサ１１２を用いて障害物を検出した場合には、障害物の反射点の時系列データから、障害物の輪郭形状を特定することで、障害物に挟まれたり接したりした空間を駐車領域として認識すればよい。

また、周辺環境認識部１０３は、段差検知部１３１を含む。段差検知部１３１は、自車の周辺の段差を検知する。この段差検知部１３１での処理が段差検知工程に相当する。段差検知部１３１は、例えば測距センサ１１２で得られる複数の測距点群から自車の周辺環境を３次元で再現した仮想空間を生成することで、路面上に存在する段差を検知すればよい。段差の検知には、段差の路面に対する高低差の検知も含む。なお、段差の高さが測距センサ１１２の垂直方向のセンシング範囲を超える障害物については、例えば測距センサ１１２のセンシング結果から認識できる上限の高さをその障害物の段差の高さとすればよい。ここでいうところの段差とは、路面上の障害物，路面に生じた突起に限らず、路面に生じた凹部も含む。

段差検知部１３１は、段差を検知可能であれば、測距センサ１１２のセンシング結果以外を用いて段差を検知してもよい。例えば、車外カメラ１１１の撮像画像からパターンマッチング等の画像認識によって段差を検知してもよい。

段差判別部１０４は、段差検知部１３１で検知した段差が、自車が回避せずに通過する通過対象段差であるか回避すべき回避対象段差であるかを判別する。この段差判別部１０４での処理が段差判別工程に相当する。段差判別部１０４は、段差検知部１３１で検知した段差の高低差に応じて、通過対象段差であるか回避対象段差であるかを判別すればよい。例えば、段差の高低差が閾値以下の場合に通過対象段差と判別し、段差の高低差が閾値を超えている場合に回避対象段差と判別すればよい。ここで言うところの閾値とは、自車が安全に通過できる段差か否かを区分するための値であって、任意に設定可能な値である。通過対象段差に該当するものとして、駐車場のロック板，歩道の段差等が挙げられる。回避対象段差に該当するものとして、壁，ポール，他車両，駐車場の輪留め等が挙げられる。

自動駐車部１０５は、モード選択部１０２で「自動駐車」が選択されている場合に、処理を実行する。自動駐車部１０５は、走行計画生成部１５１及び自動運転機能部１５２を含む。

走行計画生成部１５１は、周辺環境認識部１０３で認識した駐車領域に自車を駐車する際の目標駐車位置を決定する。目標駐車位置については、周辺環境認識部１０３で認識した駐車領域に自車が収まるように決定すればよい。例えば、駐車領域の中心に自車が位置するように決定してもよいし、運転席側により広い空間をとることができるように決定してもよい。そして、走行計画生成部１５１は、例えば走行計画として、目標駐車位置に駐車できるように自車が走行すべき目標軌跡を計算し、目標軌跡を決定する。一例としては、以下のようにして目標軌跡を決定すればよい。ここでは、自車を後退駐車させる場合を例に挙げて説明を行う。目標軌跡は、自車の車輪の目標軌跡であってもよいし、自車の車体の左右の最外部の目標軌跡であってもよい。

まず、自車が転舵を行う転舵位置から目標駐車位置までの後半経路における旋回半径である後半旋回半径を決定する。後半旋回半径は、周辺環境認識部１０３で認識した障害物のうちの、段差判別部１０４で回避対象段差と判別された障害物との最近接距離が所定距離以上となる、駐車領域に進入可能な最大の旋回半径とする。なお、障害物との最近接距離が所定距離以上となる自車の最小旋回半径としてもよい。ここで言うところの所定距離は、障害物に近接し過ぎない程度の距離であって、任意に設定可能な距離とする。続いて、自車の現在位置から転舵位置までの前半経路における旋回半径である前半旋回半径を決定する。本実施形態では、前半旋回半径は、自車の現在位置を通り、且つ、後半旋回半径により旋回する後半経路に接する円の半径とする。前半経路と後半経路との接する点が転舵位置となる。

自動運転機能部１５２は、走行計画生成部１５１で生成する走行計画に従い、自車の加速、制動、及び／又は操舵を車両制御ＥＣＵ１５に自動で行わせることで、自動駐車を行わせる。なお、走行計画生成部１５１は、目標軌跡を決定した後、回避対象段差と判別された障害物の位置への自車の近接度合いが閾値以上となった場合には、決定した目標軌跡を、その障害物の位置から遠ざかる方向に平行移動させる修正を行えばよい。また、この修正を行うと目標駐車位置に到達できなくなる場合には、自動運転機能部１５２が転舵させつつ自車の進行方向を一旦逆方向にして進ませる切り返しを行わせる。つまり、回避対象段差を回避して移動することができなくなった場合に、自動運転機能部１５２が自車の切り返しを行わせる。そして、切り返し後に、走行計画生成部１５１が目標軌跡を生成し直せばよい。

なお、自動駐車部１０５では、目標軌跡に沿って駐車領域に駐車を行うための加減速及び操舵の制御を自動で行わせる構成に限らない。例えば、加減速及び操舵のうちの操舵のみを自動で行わせる構成としてもよい。

予想軌跡生成部１０６は、モード選択部１０２で「手動駐車支援」が選択されている場合に、処理を実行する。予想軌跡生成部１０６は、情報取得部１０１で車両状態センサ１４から取得する自車の操舵角等を用いて、自車の予想軌跡を生成する。予想軌跡の求め方の一例としては、以下が挙げられる。以下では、自車の操舵角に応じた予想軌跡を生成する場合を例に挙げて説明を行う。

例えば、予想軌跡は、Ｒ＝Ｌ／ｔａｎθという関係式により導かれる旋回半径Ｒをもとに、操舵角θに応じて生成すればよい。この場合の旋回中心Ｏは、自車の車軸の延長線上に存在するものとすればよい。また、θは操舵角，Ｌは自車のホイールベースとする。また、操舵角及び車速に基づいて算出した自車最外周の軌跡円弧を、自車の左後コーナー部と右後コーナー部との各々を通るように配置することによって予想軌跡を生成してもよい。他にも、この軌跡円弧を、自車の左後輪と右後輪との各々を通るように配置することによって予想軌跡を生成してもよい。

通過車輪推定部１０７は、自車の予定経路をもとに、段差判別部１０４で判別した通過対象段差を通過する自車の車輪を推定する。モード選択部１０２で「自動駐車」が選択されている場合には、走行計画生成部１５１で生成される目標軌跡が自車の予定経路になる。一方、モード選択部１０２で「手動駐車支援」が選択されている場合には、予想軌跡生成部１０６で生成する予想軌跡が自車の予定経路になる。

通過車輪推定部１０７は、自車の予定経路から自車の各車輪の軌跡を特定する。自車の予定経路が自車の車輪についての軌跡である場合には、その軌跡を車輪の軌跡として用いればよい。自車の予定経路が自車の車輪以外についての軌跡である場合には、自車におけるその車輪以外の部位と車輪とのずれをもとに、自車の予定経路から自車の各車輪の軌跡を特定すればよい。例えば、自車の予定経路が自車の前輪と後輪とを区別しないものである場合には、車輪の軌跡も前輪と後輪とでは区別しない構成とすればよい。そして、通過車輪推定部１０７は、例えば前述のＸＹ座標系において通過対象段差と軌跡が交わる車輪を、通過対象段差を通過する車輪と推定する。

記憶部１０８は、表示装置１２１で表示させる画像に用いる車両ＣＧ（Computer Graphics），アイコン，テキスト等の情報を記憶している。

通知処理部１０９は、自車を駐車させる駐車領域に自車を移動させる進路上に、段差判別部１０４で通過対象段差と判別した段差が存在する場合に、提示装置１２から、通過対象段差を通過する予定である旨を示す通知（以下、段差通過予定通知）を行わせる。この通知処理部１０９での処理が通知処理工程に相当する。進路上に段差が存在するとは、自車の予定経路上に段差が存在することとすればよい。また、段差通過予定通知は、表示によるものであっても音声によるものであってもよい。以下では、少なくとも表示装置１２１での表示によるものである場合を例に挙げて説明を行う。

ここで、図３を用いて、表示装置１２１の画面に表示される駐車支援時の画像の一例について説明を行う。図３では、表示装置１２１の画面は、Ｒ１，Ｒ２の２つの領域に区分されている。領域Ｒ１には、進行方向画像が表示される。領域Ｒ２には、俯瞰画像が表示される。説明の簡略化のため詳細は省略するが、表示装置１２１の画面に表示される駐車支援時の画像には歪補正等の処理を行う構成とすればよい。通知処理部１０９は、進行方向画像及び俯瞰画像を、車外カメラ１１１で撮像した撮像画像と、記憶部１０８に記憶している情報とから生成すればよい。

進行方向画像は、車外カメラ１１１のうちの自車の進行方向に相当する方向を撮像する車外カメラ１１１の撮像画像である。図３では、自車の後方が進行方向である場合の例を示している。通知処理部１０９は、自車の予定経路（図３のＰＲ参照）を重畳表示させる。この予定経路は、モード選択部１０２で「自動駐車」が選択されている場合には、走行計画生成部１５１で生成される目標軌跡とすればよい。一方、この予定経路は、モード選択部１０２で「手動駐車支援」が選択されている場合には、予想軌跡生成部１０６で生成する予想軌跡とすればよい。

俯瞰画像は、車外カメラ１１１によって撮像される自車の前後左右の４方向の撮像画像に対して、自車の直上の仮想視点から俯瞰したような視点変換をした画像である。本実施形態では、通知処理部１０９は、前方カメラ，右側方カメラ，左側方カメラ，後方カメラの全ての撮像画像のそれぞれに対して、自車の直上の仮想視点から俯瞰したような視点変換をした画像を合成する。これにより、通知処理部１０９は、自車の全周囲についての俯瞰画像を表示させる。俯瞰画像中の車外カメラ１１１で撮像されない自車の画像については、車両ＣＧ（図３のＶＣＧ参照）を合成すればよい。車両ＣＧが車両画像に相当する。

通知処理部１０９は、段差通過予定通知として、図３に示すように、通過対象段差（図３のＰＴＳ参照）を通過する予定である旨を示すアイコン（図３のＩｃ参照）の表示を行わせればよい。これによれば、駐車の際に自車が段差を通過することが予定される場合に、自車の乗員が段差を通過することを予め認識することが可能になる。図４の例では、アイコンを進行方向画像に重畳して表示させる例を示したが、必ずしもこれに限らない。例えば、俯瞰画像に重畳して表示させてもよいし、進行方向画像等とは異なるディスプレイに表示させてもよい。アイコンの表示は、インジケータ等によって行わせてもよい。

また、通知処理部１０９は、段差通過予定通知として、図３に示すように、進行方向画像中に表示される予定経路を示す線上の、通過対象段差の位置に対応する領域（図３のＰＴＳＲ参照）の表示態様を、その線上の通過対象段差の位置に対応していない領域の表示態様と異ならせて表示を行わせればよい。例えば、色を異ならせたり、点滅の有無を異ならせたりすればよい。これによれば、駐車の際に自車が通過する段差の詳細な位置を自車の乗員が認識しやすくなるため、段差を通過する際の衝撃に対してより身構えやすくなる。

なお、段差通過予定通知を他の表示態様としてもよい。ここで、図４を用いて、表示装置１２１の画面に表示される駐車支援時の画像の一例について説明を行う。図４でも、図３と同様に、表示装置１２１の画面は、Ｒ１，Ｒ２の２つの領域に区分されている。

通知処理部１０９は、図４に示すように、通過対象段差を通過する予定である旨を示すアイコンの表示を行わせない構成であってもよい。また、通知処理部１０９は、段差通過予定通知として、進行方向画像中の通過対象段差（図４のＰＴＳ参照）の手前の位置に、通過対象段差を示す線状のマーク（図４のＰＴＳＭ参照）の表示を行わせてもよい。以上の構成によっても、駐車の際に自車が通過する段差の詳細な位置を自車の乗員が認識しやすくなるため、段差を通過する際の衝撃に対してより身構えやすくなる。

通過対象段差を示すマークは、線状に限らず、壁状等の他の形状であってもよい。また、通過対象段差を示すマークを表示させる位置は、通過対象段差の手前の位置でなく、通過対象段差の位置としてもよい。例えば、図４のように、段差通過予定通知を、予定経路を示す線上の一部の表示態様を変えることで行う構成でない場合には、予定経路自体の表示を行わない構成としても構わない。一例としては、駐車領域を示す表示（図４のＰＡ参照）を代わりに行う等すればよい。

通知処理部１０９は、通過対象段差と回避対象段差とを区別できる通知態様で、段差通過予定通知を行わせることが好ましい。例えば、回避対象段差については通知を行わせないが、通過対象段差については通知を行わせる構成とすればよい。一例として、図５のＡに示すように、回避対象段差については表示を行わせないが、通過対象段差については表示を行わせる構成とすればよい。これによれば、自車の乗員が、通過対象段差と回避対象段差とを区別して認識することが可能になる。図５のＰＴＳが通過対象段差，ＡＳが回避対象段差を示す。回避対象段差について表示を行わせないとは、撮像画像中の回避対象段差を表示させないことを指すのではなく、撮像画像中の回避対象段差を示すマーク等の画像を表示させないことを指している。

一方、図５のＢに示すように、通過対象段差についての表示と回避対象段差についての表示とのいずれも行わせつつ、通過対象段差と回避対象段差とを区別できる表示態様で、通過対象段差を通過する予定である旨を示す表示を行わせる構成としてもよい。一例としては、色を異ならせて表示する等すればよい。図５のＢの例では、通過対象段差を示す表示は黄色，回避対象段差を示す表示は赤色となっている。これによれば、回避対象段差についての表示も行わせるため、回避対象段差を通過対象段差と区別して自車のシステムで認識できていることを自車の乗員が知ることが可能になる。

一例として、通知処理部１０９は、自動駐車時において切り返しを行わなければ回避対象段差を回避して移動することができなくなった場合に、その切り返しを自車が行う位置でその回避対象段差を示す表示を行わせればよい。一方、通知処理部１０９は、通過対象段差については、回避対象段差と区別できる表示態様で表示を行わせればよい。これによれば、自車の乗員が、自動駐車時において自車が切り返しを行う意図を認識しやすくなり、自車のシステムに安心感を持ちやすくなる。

なお、自動駐車時において、回避対象段差を回避して移動することができる場合には、回避対象段差を回避する目標軌跡が生成されるので、回避対象段差を示す表示は行われない。一方、通過対象段差については、通過対象段差を通過する目標軌跡が生成され得るので、目標軌跡と交わる通過対象段差については、通過対象段差を示す表示が行われる。

また、通知処理部１０９は、俯瞰画像における車両ＣＧの下方に透過して、過去の撮像画像から生成した履歴画像を表示させる構成としてもよい。履歴画像は、現時点の車両ＣＧの下方の領域を撮像した過去の撮像画像にあたる。過去の撮像画像は、過去複数回の撮像画像を記憶部１０８に記憶しておくことで利用可能とすればよい。通知処理部１０９は、自車の移動によって通過対象段差が自車の下方に位置する場合には、段差通過予定通知として、図６に示すように、俯瞰画像における車両ＣＧ（図６のＶＣＧ参照）の下方に透過して、通過対象段差（図６のＰＴＳ参照）の位置に、通過対象段差を示す表示（図６のＰＴＳＭ参照）を行わせることが好ましい。これによれば、通過対象段差が自車の下方に位置する場合であっても、自車と通過対象段差との位置関係を自車の乗員が把握しやすくなる。なお、図６では、便宜上、前述のＲ２の領域の表示例を示している。

また、通知処理部１０９は、俯瞰画像における車両ＣＧの下方に透過して、通過対象段差を示す表示を行わせる場合に、車両ＣＧ上の自車の車輪の位置に車輪画像（図６のＷＩ参照）の表示も行わせることが好ましい。車輪画像は、車輪の画像であって、例えばイラスト等とすればよい。以上の構成によれば、通過対象段差を示す表示に加えて、自車の車両の位置に車輪画像を表示させるので、通過対象段差を通過するタイミングを自車の乗員が把握しやすくなる。その結果、自車の乗員が、通過対象段差を通過する際の衝撃に対してさらに身構えやすくなる。

さらに、通知処理部１０９は、段差通過予定通知として、図６に示すように、俯瞰画像における車両ＣＧ上に表示させる上述の車輪画像のうち、通過車輪推定部１０７で通過対象段差を通過すると推定した車輪にあたる車輪画像を、通過車輪推定部１０７で通過対象段差を通過すると推定していない車輪にあたる車輪画像と区別可能に表示態様を異ならせることが好ましい。例えば、車輪画像を枠で囲う強調表示（図６のＥＥ参照）を行う構成とすればよい。他にも、点滅等のエフェクトによって強調表示を行ってもよい。以上の構成によれば、通過対象段差を通過する予定の車輪を自車の乗員が認識しやすくなる。その結果、自車の乗員が、通過対象段差を通過する際の衝撃に対してさらに身構えやすくなる。

なお、車輪と通過対象段差との距離が所定距離以下となったことを、通過車輪推定部１０７で通過対象段差を通過すると推定した車輪にあたる車輪画像の強調表示を開始する条件としてもよい。

＜運転支援ＥＣＵ１０での段差通過予定通知関連処理＞
次に、図７のフローチャートを用いて、運転支援ＥＣＵ１０での段差通過予定通知に関連する処理（以下、段差通過予定通知関連処理）の流れの一例について説明を行う。図７のフローチャートは、所定の条件を満たした場合に開始する構成とすればよい。条件の１つは、自車の内燃機関又はモータジェネレータを始動させるためのスイッチ（以下、パワースイッチ）がオンになっていることとすればよい。他の条件は、モード選択部１０２で「自動駐車」か「手動駐車支援」が選択されていることとすればよい。さらに他の条件として、例えばシフトポジションが後退位置であることを示す信号，駐車支援ＳＷが操作されたことを示す信号等が入力されたこととすればよい。

まず、ステップＳ１では、モード選択部１０２で「自動駐車」が選択されている場合（Ｓ１でＹＥＳ）には、ステップＳ２に移る。一方、モード選択部１０２で「手動駐車支援」が選択されている場合（Ｓ１でＮＯ）には、ステップＳ１２に移る。

ステップＳ２では、情報取得部１０１が、周辺監視センサ１１で逐次得られるセンシング結果，車両状態センサ１４で逐次検出される検出結果を取得する。ステップＳ３では、段差検知部１３１が自車の周辺の段差を検知する。また、ステップＳ３では、段差を検知した場合に、段差判別部１０４が、検知した段差が通過対象段差であるか回避対象段差であるかを判別する。

ステップＳ４では、走行計画生成部１５１が、目標駐車位置に駐車できるように自車が走行すべき目標軌跡を計算する。ステップＳ５では、通知処理部１０９が、表示装置１２１の画面に駐車支援画像の表示を行わせる。一例として、Ｓ１で車外カメラ１１１から取得した撮像画像と記憶部１０８に記憶されている情報から生成した進行方向画像及び俯瞰画像の表示を行わせる。

ステップＳ６では、切り返しを行わなければ回避対象段差を回避して移動することができない場合（Ｓ６でＹＥＳ）には、ステップＳ７に移る。つまり、切り返しが必要な場合には、ステップＳ７に移る。一方、切り返しを行わなくても回避対象段差を回避して移動することができる場合（Ｓ６でＮＯ）には、ステップＳ８に移る。

ステップＳ７では、回避対象段差を回避して移動するために自車が切り返しを行うべき位置（以下、切り返し位置）に到達した場合に、進行方向画像中の回避対象段差の位置若しくはその手前の位置に回避対象段差を示す表示を行わせる。回避対象段差を示す表示は、回避対象段差を明示する表示であればよい。

ステップＳ８では、Ｓ３で判別した通過対象段差のうち、自車の目標軌跡と交わる通過対象段差が存在する場合（Ｓ８でＹＥＳ）には、ステップＳ９に移る。一方、自車の目標軌跡と交わる通過対象段差が存在しない場合（Ｓ８でＮＯ）には、ステップＳ１１に移る。

ステップＳ９では、自車の目標軌跡と交わる通過対象段差と自車の所定位置との距離が閾値以下の場合（Ｓ９でＹＥＳ）には、ステップＳ１０に移る。一方、自車の目標軌跡と交わる通過対象段差と自車の所定位置との距離が閾値よりも大きい場合（Ｓ９でＮＯ）には、Ｓ１に戻って処理を繰り返せばよい。ここで言うところの所定位置とは、例えば自車の車体のうちの自車の進行方向側の端部とすればよい。また、閾値は、任意に設定可能な値とすればよい。ステップＳ１０では、通知処理部１０９が、前述した段差通過予定通知を行わせる。段差通過予定通知としては、例えばモード選択部１０２で「自動駐車」が選択されている場合の段差通過予定通知の例として前述した種々の表示が挙げられる。

ステップＳ１１では、段差通過予定通知関連処理の終了タイミングであった場合（Ｓ１１でＹＥＳ）には、段差通過予定通知関連処理を終了する。段差通過予定通知関連処理の終了タイミングの一例としては、目標駐車位置への自車の駐車完了，パワースイッチのオフ時等が挙げられる。目標駐車位置への自車の駐車完了は、目標駐車位置でシフトポジションが駐車位置になったことから判断する等すればよい。一方、段差通過予定通知関連処理の終了タイミングでなかった場合（Ｓ１１でＮＯ）には、Ｓ１に戻って処理を繰り返す。

ステップＳ１２では、手動駐車支援処理を行って、Ｓ１１に移る。ここで、図８のフローチャートを用いて、手動駐車支援処理の流れの一例について説明を行う。

ステップＳ１２１～ステップＳ１２２については、Ｓ２～Ｓ３と同様の処理を行う。ステップＳ１２３では、予想軌跡生成部１０６が、自車の操舵角に応じた予想軌跡を生成する。ステップＳ１２４では、通知処理部１０９が、表示装置１２１の画面に駐車支援画像の表示を行わせる。一例として、Ｓ１で車外カメラ１１１から取得した撮像画像と記憶部１０８に記憶されている情報から生成した進行方向画像及び俯瞰画像の表示を行わせる。Ｓ１２４では、通知処理部１０９が、Ｓ１２３で生成した予想軌跡を進行方向画像に重畳して表示させればよい。

ステップＳ１２５では、Ｓ１２２で検知した段差のうち、自車の予想軌跡と交わる段差が存在する場合（Ｓ１２５でＹＥＳ）には、ステップＳ１２６に移る。一方、自車の予想軌跡と交わる段差が存在しない場合（Ｓ１２５でＮＯ）には、ステップＳ１１に移る。

ステップＳ１２６では、自車の予想軌跡と交わる段差と自車の所定位置との距離が閾値以下の場合（Ｓ１２６でＹＥＳ）には、ステップＳ１２７に移る。一方、自車の予想軌跡と交わる段差と自車の所定位置との距離が閾値よりも大きい場合（Ｓ１２６でＮＯ）には、Ｓ１に戻って処理を繰り返せばよい。

ステップＳ１２７では、Ｓ１２６で自車の所定位置との距離が閾値以下であった段差（以下、通知対象段差）について、通知処理部１０９が、通過対象段差か回避対象段差かに応じた表示を行わせ、ステップＳ１１に移る。通知対象段差がＳ１２２で通過対象段差と判別した段差であった場合には、例えばモード選択部１０２で「手動駐車支援」が選択されている場合の段差通過予定通知の例として前述した種々の表示を行わせればよい。通知対象段差がＳ１２２で回避対象段差と判別した段差であった場合には、進行方向画像中の回避対象段差の位置若しくはその手前の位置に回避対象段差を示す表示を行わせればよい。また、進行方向画像中の予想軌跡の線上の、回避対象段差の位置に対応する領域の表示態様を、その線上の通過対象段差の位置に対応していない領域の表示態様と異ならせて表示を行わせればよい。この場合、回避対象段差の位置に対応する領域の表示態様は、通過対象段差の位置に対応する領域の表示態様と区別可能に表示態様を異ならせる。一例としては、表示色を異ならせればよい。

以上の構成によれば、駐車の際に自車が段差を通過することが予定される場合に、段差通過予定通知によって、自車の乗員に段差を通過することを予め認識させることが可能になる。

（実施形態２）
実施形態１では、通過対象段差を通過する予定である旨を示すアイコンの表示以外にも段差通過予定通知を行わせる構成を示したが、必ずしもこれに限らない。たとえば、段差通過予定通知として、通過対象段差を通過する予定である旨を示すアイコンの表示のみを行う構成としてもよい。他にも、段差通過予定通知として、表示を行わせずに音声出力のみを行わせる構成としてもよい。

（実施形態３）
実施形態１では、モード選択部１０２で「自動駐車」と「手動駐車支援」とを切り替えることが可能な構成を示したが、必ずしもこれに限らない。例えば、「自動駐車」と「手動駐車支援」とのうちの一方のモードの駐車支援しか行わない構成としてもよい。

（実施形態４）
前述の実施形態では、自車の直上の仮想視点から俯瞰したような視点変換をした俯瞰画像を用いる構成を示したが、必ずしもこれに限らない。例えば、自車よりも上であって自車の直上からずれた仮想視点から車両を見たような視点変換をした画像（以下、３ＤＶｉｅｗ）を用いる構成としてもよい。この場合、一例としては、車外カメラ１１１によって撮像される自車の前後左右の４方向の撮像画像を、自車よりも上であって自車の直上からずれた仮想視点から俯瞰したような視点変換をする。そして、４方向の撮像画像を合成し、例えば下方に凹んだ略半球状の３次元の立体曲面に投影することで３ＤＶｉｅｗを生成する。これにより、車両の周囲の障害物が立体に見える画像を表示することができる。

なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１運転支援システム（駐車支援システム）、１０運転支援ＥＣＵ（駐車支援装置）、１２提示装置（通知装置）、１０４段差判別部、１０７通過車輪推定部、１０９通知処理部、１２１表示装置、１３１段差検知部

Claims

車両で用いられて、
前記車両は、前記車両を駐車させる駐車領域に前記車両を自動運転によって移動させる自動駐車が可能なものであって、
前記車両の周辺の段差を検知する段差検知部（１３１）と、
前記段差検知部で検知した段差が、前記車両が回避せずに通過する通過対象段差であるか回避すべき回避対象段差であるかを判別する段差判別部（１０４）と、
前記車両を駐車させる駐車領域に前記車両を移動させる進路上に、前記段差判別部で前記通過対象段差と判別した段差が存在する場合に、前記車両の車室内に向けて通知を行う通知装置（１２）から、前記通過対象段差を通過する予定である旨を示す通知を行わせる通知処理部（１０９）とを備え、
前記通知処理部は、前記通過対象段差と前記回避対象段差とを区別できる通知態様で、前記通過対象段差を通過する予定である旨を示す通知を行わせ、
前記通知処理部は、前記自動駐車時において切り返しを行わなければ前記回避対象段差を回避して移動することができなくなった場合に、その切り返しを自車が行う位置でその回避対象段差を示す表示を行わせる一方、前記通過対象段差については、前記回避対象段差と区別できる表示態様で表示を行わせる駐車支援装置。
請求項１において、
前記通知処理部は、
前記車両の車室内に向けて表示を行う表示装置（１２１）から少なくとも表示によって前記通知を行わせるものであって、
前記通過対象段差を通過する予定である旨を示す通知として、少なくとも前記通過対象段差を通過する予定である旨を示すアイコンの表示を行わせる駐車支援装置。
請求項１又は２において、
前記通知処理部は、
前記車両の車室内に向けて表示を行う表示装置（１２１）から少なくとも表示によって前記通知を行わせるものであって、
前記通過対象段差を通過する予定である旨を示す通知として、少なくとも前記車両の周辺を撮像した撮像画像中の前記通過対象段差の手前の位置若しくは前記通過対象段差の位置に、前記通過対象段差を示す表示を行わせる駐車支援装置。
請求項１～３のいずれか１項において、
前記通知処理部は、
前記車両の車室内に向けて表示を行う表示装置（１２１）から少なくとも表示によって前記通知を行わせるものであって、
前記通過対象段差を通過する予定である旨を示す通知として、少なくとも前記車両の周辺を撮像した撮像画像中に表示される前記車両の予定経路を示す線上の、前記通過対象段差の位置に対応する領域の表示態様を、前記線上の前記通過対象段差の位置に対応していない領域の表示態様と異ならせる駐車支援装置。
請求項１～４のいずれか１項において、
前記通知処理部は、
前記車両の車室内に向けて表示を行う表示装置（１２１）から少なくとも表示によって前記通知を行わせるものであって、
前記車両の移動によって前記通過対象段差が前記車両の下方に位置する場合には、前記通過対象段差を通過する予定である旨を示す通知として、前記車両よりも上方の仮想視点から車両をみた車両画像の下方に透過して、前記通過対象段差の位置に、前記通過対象段差を示す表示を行わせることで、前記通過対象段差を通過する予定である旨を示す通知を行わせる駐車支援装置。
請求項１～５のいずれか１項において、
前記通知処理部は、
前記車両の車室内に向けて表示を行う表示装置（１２１）から少なくとも表示によって前記通知を行わせるものであって、
前記車両の予定経路をもとに、前記通過対象段差を通過する前記車両の車輪を推定する通過車輪推定部（１０７）を備え、
前記通過対象段差を通過する予定である旨を示す通知として、前記車両の直上の仮想視点から車両をみた車両画像上に表示させる車輪画像のうち、前記通過車輪推定部で前記通過対象段差を通過すると推定した前記車輪にあたる車輪画像を、前記通過車輪推定部で前記通過対象段差を通過すると推定していない前記車輪にあたる車輪画像と区別可能に表示態様を異ならせる駐車支援装置。
車両で用いられて、
前記車両の車室内に向けて通知を行う通知装置（１２）と、
請求項１～６のいずれか１項に記載の駐車支援装置（１０）とを含む駐車支援システム。
車両を駐車させる駐車領域に自動運転によって移動させる自動駐車が可能な車両で用いられる駐車支援方法であって、
少なくとも１つのプロセッサにより実行される、
前記車両の周辺の段差を検知する段差検知工程と、
前記段差検知工程で検知した段差が、前記車両が回避せずに通過する通過対象段差であるか回避すべき回避対象段差であるかを判別する段差判別工程と、
前記車両を駐車させる駐車領域に前記車両を移動させる進路上に、前記段差判別工程で前記通過対象段差と判別した段差が存在する場合に、前記車両の車室内に向けて通知を行う通知装置から、前記通過対象段差を通過する予定である旨を示す通知を行わせる通知処理工程とを含み、
前記通知処理工程では、前記通過対象段差と前記回避対象段差とを区別できる通知態様で、前記通過対象段差を通過する予定である旨を示す通知を行わせ、
前記通知処理工程では、前記自動駐車時において切り返しを行わなければ前記回避対象段差を回避して移動することができなくなった場合に、その切り返しを自車が行う位置でその回避対象段差を示す表示を行わせる一方、前記通過対象段差については、前記回避対象段差と区別できる表示態様で表示を行わせる駐車支援方法。