JP6743593B2

JP6743593B2 - 駐車支援装置

Info

Publication number: JP6743593B2
Application number: JP2016169767A
Authority: JP
Inventors: 博紀稲垣; 宏徳平田; 浩一佐々
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2020-08-19
Anticipated expiration: 2036-08-31
Also published as: US20180057056A1; EP3290301B1; US10179608B2; CN107792061B; CN107792061A; JP2018036878A; EP3290301A1

Description

本発明の実施形態は、駐車支援装置に関する。

従来から、車両の周囲の外部環境を表す画像を表示装置に表示し、その画像上に、車両を駐車する目標位置である駐車目標位置に駐車枠画像を重畳表示する駐車支援システムが知られている。このような従来の駐車支援システムでは、駐車目標位置の設定前において、駐車枠画像を、表示時点の実際の駐車目標位置とのずれが解消されるように表示して、ユーザに対する駐車支援をより効果的に提供するような技術がある。

特開２０１４−１６６８３４号公報

しかしながら、上述の従来技術では、車両が移動した場合に駐車枠画像の表示に対するずれを解消しているが、実際に車両を誘導制御するための座標のずれは解消していない。そのため、従来の駐車支援は、駐車支援精度を向上するために車両が停止していることが駐車支援開始の条件になっていた。つまり、車両の移動中に駐車支援を開始しようとした場合、移動量分の座標のずれがさらに発生し、駐車精度に影響が出てしまう可能性があった。

そこで、本発明の課題の一つは、車両の移動中に駐車支援を開始できるとともに、駐車支援の精度をより向上できる駐車支援装置を提供することである。

本発明の実施形態にかかる駐車支援装置は、例えば、車両の移動中に当該車両の周辺領域を撮像する撮像部より得られる撮像画像から、上記車両が駐車可能な領域を示す駐車目標位置を検出する検出部と、上記撮像画像を表示装置に表示させる表示部と、上記車両の移動中に上記表示装置に上記撮像画像が表示された後、次に上記撮像部で撮像された撮像画像が表示される前の期間中に、上記表示装置に上記撮像画像が表示されてから上記車両が移動した第１移動量と上記撮像画像が撮像されたときの上記車両と上記駐車目標位置との位置関係とに基づいて、現在の上記車両の位置に対する上記駐車目標位置を特定する位置特定部と、上記期間中に、上記駐車目標位置に上記車両を誘導する旨の要求がなされた場合に特定された上記駐車目標位置に基づいて、上記車両の誘導を実行する駐車支援部と、を備える。この構成によれば、例えば、車両が移動中に、現在の車両の位置を基準として、撮像画像が撮像されたときの駐車目標位置に対する相対位置が特定される。その結果、車両が移動中でも駐車支援を開始できるとともに、現在の位置から撮像画像が撮像されたときの駐車目標位置までの駐車支援（車両の誘導）の精度を向上できる。

本発明の実施形態にかかる駐車支援装置の上記位置特定部は、例えば、上記撮像画像が撮像されてから上記駐車目標位置を検出するまでの処理期間中に上記車両が移動した第２移動量を上記第１移動量に加えて上記駐車目標位置を特定してもよい。この構成によれば、例えば、駐車目標位置を検出するための処理期間中に移動した移動量も含めて、車両の現在位置を基準とする駐車目標位置の相対位置が算出されるので、駐車支援（車両の誘導）精度をより向上できる。

本発明の実施形態にかかる駐車支援装置の上記検出部は、上記車両の移動中に所定間隔で上記撮像部が撮像した上記撮像画像から上記駐車目標位置を取得してもよい。この構成によれば、例えば、所定の間隔で間欠的に提供される撮像画像を用いて移動中の車両の周囲状況を正確に取得することができる。そして、撮像画像が提供される所定の間隔中にその撮像画像を用いた演算処理により駐車目標位置のずれを補正することができる。その結果、車両の走行中でも正確な周辺状況を示す画像を用いた演算処理が可能になり、現在の位置から撮像画像が撮像されたときの駐車目標位置までの駐車支援（車両の誘導）の精度を向上できる。

本発明の実施形態にかかる駐車支援装置は、例えば、車両の移動中に当該車両の周辺領域を撮像する撮像部より得られる撮像画像から、上記車両が駐車可能な領域を示す駐車目標位置を検出する検出部と、上記撮像画像を表示装置に表示させる表示部と、上記車両の移動中に上記表示装置に上記撮像画像が表示された後、次に上記撮像部で撮像された撮像画像が表示される前の期間中に、上記撮像画像が撮像されてから上記駐車目標位置を検出するまでの処理期間中に上記車両が移動した第２移動量と、上記撮像画像が撮像されたときの上記車両と上記駐車目標位置との位置関係とに基づいて、現在の上記車両の位置に対する上記駐車目標位置を特定する位置特定部と、上記期間中に、上記駐車目標位置に上記車両を誘導する旨の要求がなされた場合に特定された上記駐車目標位置に基づいて、上記車両の誘導を実行する駐車支援部と、を備える。この構成によれば、例えば、車両が移動中に、現在の車両の位置を基準として、撮像画像が撮像されたときの駐車目標位置に対する相対位置が特定される。その結果、車両が移動中でも駐車支援を開始できるとともに、現在の位置から撮像画像が撮像されたときの駐車目標位置までの駐車支援（車両の誘導）の精度を向上できる。

図１は、本実施形態にかかる駐車支援装置を搭載する車両の車室の一部が透視された状態が示された斜視図である。図２は、本実施形態にかかる駐車支援装置を搭載する車両の一例が示された平面図（俯瞰図）である。図３は、本実施形態にかかる駐車支援装置を含む制御システムの構成を示すブロック図である。図４は、本実施形態にかかる駐車支援装置のＣＰＵ内に実現される制御ユニットの構成を示すブロック図である。図５は、本実施形態の駐車目標位置を検索するためのキャプチャのタイミングを説明する説明図である。図６は、本実施形態の駐車目標位置、駐車枠および車両との関係を俯瞰視点で例示した図である。図７は、本実施形態の駐車目標位置の補正演算の一例を説明する模式図である。図８は、本実施形態の駐車目標位置の認識処理（座標修正処理）の手順を示すフローチャートである。図９は、本実施形態の駐車支援の制御処理の手順を示すフローチャートである。図１０は、本実施形態にかかる駐車支援装置により特定された駐車目標位置に車両を誘導支援する様子の一例を示す模式図である。図１１は、本実施形態にかかる駐車支援装置による駐車目標位置の特定を行わない場合に車両を誘導支援した様子の一例を示す模式図である。図１２は、本実施形態にかかる駐車支援装置を用いた場合に駐車支援が実行できる期間が従来のシステムより広くなることを示す説明図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

以下、本実施形態の駐車支援装置を車両１に搭載した例をあげて説明する。本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、駐車支援装置用のモニタ装置を、これらシステムとは別に設けてもよい。

また、図１、図２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。なお、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されてもよい。本実施形態の場合、図３に示されるように、車両１は、前輪３Ｆを操舵する操舵システム１３を有している。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、車輪３を操舵（自動操舵）したりする。アクチュエータ１３ａは、一つの車輪３を操舵してもよいし、複数の車輪３を操舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車両１（車体２）には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域、その周辺の物体（障害物、人間、自転車、自動車等）を含む車両１の周辺の環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパ等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像（平面画像）を生成したりすることができる。

また、ＥＣＵ１４は、撮像部１５の撮像画像から、車両１の周辺の路面に示された区画線（例えば白線）等を識別し、区画線等により規定された駐車区画を検出（抽出）する。

また、本実施形態では、一例として、図１、図２に示されるように、車両１（車体２）には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６（長距離用）および測距部１７（短距離用）は、例えば、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）である。ＥＣＵ１４は、測距部１７の検出結果により、例えば車両１（車体２）の後方に位置された物体（障害物）の有無や距離を測定することができる。同様に車両１の前方に配置された測距部１７によって車両１の前方に位置された物体（障害物）の有無や距離を測定することができる。さらには、ＥＣＵ１４は、測距部１６の検出結果により、車両１（車体２）の側面の方向に位置された物体（障害物）の有無や距離を測定することができる。

また、本実施形態では、一例として、図３に示されるように、駐車支援システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、測距部１６，１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３（車両１）に制動力を与える。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、操舵部４（本実施形態では、一例としてステアリングホイール）の操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵が実行される駐車支援時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。また、ＥＣＵ１４は、例えば、自動操舵中に制動操作部６が操作されたような場合に、自動操舵には適さない状況にあるとして自動操舵を中断したり中止したりすることができる。なお、トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出する。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。例えば、ＥＣＵ１４は、可動部がリバースにセットされた場合に支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の速度や移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。ブレーキシステム１８は、車輪速センサ２２の検出結果に基づき左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定（変更）することができる。

ＥＣＵ１４は、種々の制御装置の一つとして駐車支援装置を実現する。一例として、ＥＣＵ１４は、車両１の低速移動中に当該車両１の周辺領域を撮像部１５を用いて撮像する。そして、撮像部１５より得られる撮像画像から、車両１が駐車可能な領域となる駐車目標位置を検出する。このとき、駐車目標位置と車両１の位置との関係は相対座標を用いて示されることになる。

従来、車両が移動している場合、車両の移動に伴い駐車目標位置を示す座標も移動して、当初の駐車目標位置が認識された座標の位置からずれる。その結果、車両が移動した位置（現在の位置）から駐車支援を実行する場合、ずれた座標（車両の移動に伴いずれた駐車目標位置）に車両を誘導してしまうことになる。つまり、最終的な駐車完了位置が撮像画像がキャプチャされた位置（運転者が誘導されると認識した駐車位置）と異なってしまう。この誘導位置のずれを軽減するために、従来は車両を一度停止さることが駐車支援要求を許可する条件になっていた。

そこで、本実施形態の駐車支援システム１００では、車両１が例えば低速で走行している場合、表示装置８に撮像画像（例えば駐車枠画像が重畳された画像）が表示された後、次に撮像画像が表示される（キャプチャされる）前の期間中、現在の車両１の位置に対する撮像画像が表示されたときの駐車目標位置（相対座標の位置）を特定する。例えば、車両１が移動した移動量と撮像画像が撮像されたときの車両１と駐車目標位置との位置関係（相対位置）とに基づいて、現在の車両１の位置に対する撮像画像が表示されたときの駐車目標位置（相対座標の位置）を特定する。そして、入力装置として設けられた操作部１４ｇ等を介して駐車支援開始の要求がなされた場合に、現在の車両１の位置で特定された駐車目標位置に基づいて、車両１の誘導（駐車支援）を実行する。その結果、低速移動中に駐車支援が開始された場合でも、当初の認識位置からのずれが少ない駐車目標位置に車両１を誘導することができる。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような駐車目標位置の修正（特定）処理等を実行するために、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現する複数のモジュールを含む。ＣＰＵ１４ａは、例えば、図４に示すように、撮像画像取得部３０、車速取得部３２、舵角取得部３４、出力部３６、目標位置検出部３８（検出部）、表示処理部４０（表示部）、位置特定部４２、駐車支援部４４等を含む。

撮像画像取得部３０は、車両１に設けられて当該車両１の周辺を撮像する撮像部１５から出力された撮像画像データを表示制御部１４ｄを介して所定間隔で取得（キャプチャ）する。そして、キャプチャした画像に対して演算処理が実行される。図５は、低速移動中の車両１における撮像画像取得部３０のキャプチャタイミングと車両１の移動距離、およびキャプチャされた撮像画像の利用期間の関係を示す図である。例えば、撮像画像取得部３０は、所定間隔（例えば１００ｍｓ間隔）で撮像画像を順次キャプチャする。したがって、時刻ｔ０で、車両位置ａにおける車両１の周辺の撮像画像が取得され、時刻ｔ１で車両位置ｂにおける車両１の周辺の撮像画像が取得される。つまり、時刻ｔ０から時刻ｔ１の間は、時刻ｔ０で撮像された撮像画像データが座標の演算処理や表示処理等に利用される。そして、時刻ｔ１以降で当該時刻ｔ１で取得された撮像画像データが利用可能になる。したがって、例えば、時刻ｔ０〜ｔ１の間は、車両位置ａにおける周辺画像が静止画として表示される。この場合、所定の間隔で間欠的に画像処理を実行すればよく、その間に後述する駐車目標位置のずれを補正するので、演算処理の負荷を軽減しつつ、駐車支援（車両の誘導）精度の向上ができる。時刻ｔ１〜ｔ２、時刻ｔ２〜ｔ３等も同様である。

車速取得部３２は、車輪速センサ２２の検出値に基づき、車両１の車速を算出し、各種制御を実行する。車速取得部３２は、例えば各車輪３に対応して設けられた四つの車輪速センサ２２の検出値のうち最も小さな検出値に基づき車両１の現在の車速を決定する。

舵角取得部３４は、舵角センサ１９から出力される操舵部４（ステアリングホイール）の状態に関する情報を取得する。運転者が操舵部４を操作した場合、舵角取得部３４は、運転者の操舵意志を示す情報を取得することになり、駐車支援時に自動で操舵部４が操作されている場合は、自動操舵のフィードバック値を取得することになる。

出力部３６は、駐車支援部４４が決定した支援内容（駐車経路やその誘導をするための案内情報等）を表示制御部１４ｄや音声制御部１４ｅに向けて出力する。

目標位置検出部３８は、白線検出部３８ａ、駐車枠設定部３８ｂ等を含む。白線検出部３８ａは、撮像画像取得部３０がキャプチャした車両１の周囲を示す撮像画像に含まれる白線を、例えば、エッジ処理や二値化処理、輝度判別処理等の周知の手法を用いて検出（抽出）する。なお、白線検出部３８ａは、閾値等の設定を適宜変更することにより、白線に限らず、黄色や他の色で示される線やロープ等で示される線も区画領域を示す線として検出することができる。

駐車枠設定部３８ｂは、白線検出部３８ａが検出した白線のうち一対の白線で囲まれる領域について、車両１（自車）を駐車することが可能な領域であるか否かを、例えばＲＯＭ１４ｂに保持された自車の車幅や前後方向の長さ等を示すデータと比較することにより判定する。そして、一対の白線で囲まれた領域が駐車可能な領域（広さ）の場合、駐車枠設定部３８ｂは、一対の白線で囲まれた領域を駐車目標位置の候補とするとともに駐車枠（駐車枠画像）を設定する。なお、駐車枠の画像は、例えばＲＯＭ１４ｂに保持されたデータであり、車両１が駐車する際に必要なスペース（領域）を示す例えば矩形の画像である。

表示処理部４０は、重畳部４０ａ、表示更新部４０ｂ等を含む。重畳部４０ａは、駐車枠設定部３８ｂが設定した駐車枠画像を、撮像画像取得部３０が取得した車両１の周辺を示す例えば俯瞰画像上に重畳表示する。なお、俯瞰画像は、撮像部１５ａ〜１５ｄが撮像した撮像画像データを周知の視点変換処理や合成処理を行うことで作成可能である。表示更新部４０ｂは、撮像画像取得部３０が新たな撮像画像をキャプチャするごとに撮像画像に基づく俯瞰画像を更新するとともに、白線検出部３８ａで検出される白線に対して駐車枠設定部３８ｂで設定される駐車枠画像の重畳状態を更新する。

図６は、白線５０、駐車目標位置５２、駐車枠５４ａおよび車両１との関係を俯瞰視点で例示した図である。駐車枠５４ａは、表示装置８に俯瞰画像として表示される駐車枠５４と対応する領域とする。図６の場合、説明のため駐車目標位置５２は、駐車枠５４ａと同様に枠形状で示しているが、ＥＣＵ１４では、駐車目標位置５２を例えば座標で定義する。したがって、車両１を駐車目標位置５２に誘導する場合、車両１の基準点（例えば、後輪車軸の中央位置で定義される点）を駐車目標位置５２として定義される座標に誘導する。図６の左図は、低速移動中の車両１の位置で撮像画像取得部３０が撮像画像のキャプチャを行い、駐車目標位置５２が算出されたときの状態が示されている。この場合、駐車目標位置５２と駐車枠５４ａとが略同一の位置となる。なお、駐車目標位置５２の位置（座標）と車両１の位置とは相対座標で示される。したがって、車両１が図６の右図に示す位置（実線で示される車両１の位置）に移動した場合、駐車目標位置５２（相対座標）は車両１の移動に伴い移動してしまう。その結果、駐車目標位置５２の位置は、白線５０に重畳された駐車枠５４ａの位置に対してずれ（座標ずれ）が生じる。位置特定部４２はこの駐車目標位置５２の座標のずれを修正する処理を行う。

位置特定部４２は、移動量取得部４２ａ、位置座標取得部４２ｂ、座標特定部４２ｃ等を含む。前述したように、撮像画像取得部３０は、所定間隔で撮像部１５が撮像した撮像画像をキャプチャして、表示処理部４０はそのキャプチャ間隔に対応して、表示装置８に表示する俯瞰画像（駐車枠が重畳された画像）を更新している。つまり、次のキャプチャが実行されるまでの間、表示装置８には前回のキャプチャ時に表示された俯瞰画像（白線５０）と駐車枠５４が表示される。一方、俯瞰画像として白線５０と駐車枠５４との表示が継続されている間に車両１が移動する場合、その移動に伴い車両１を基準とする相対座標で示される駐車目標位置５２が移動する。そこで、位置特定部４２は、俯瞰画像（白線５０、駐車枠５４）が更新されるまでの間に車両１が移動する場合、その移動量を検出して、その移動量を用いて相対座標系上で移動した駐車目標位置５２を駐車枠５４（キャプチャ時に駐車目標位置５２を認識した位置）の座標に戻す修正を行う。

移動量取得部４２ａは、第１移動量算出部４２ｄと第２移動量算出部４２ｅ等を含む。第１移動量算出部４２ｄは、表示装置８に駐車枠５４が重畳された俯瞰画像が表示されてから次に撮像画像がキャプチャされて表示される前の期間中、所定の処理周期で車両１が移動した第１移動量を算出する。この場合、ＥＣＵ１４は、表示装置８の表示が俯瞰画像に切り替わったとき、つまり、表示装置８の表示が、駐車枠画像を表示するための画面に切り替わったときに絶対座標系の基準（原点）を決定し、当該原点から現在の車両１の座標（絶対座標）を取得することで、第１移動量を算出することができる。

ところで、実際には、撮像画像取得部３０が撮像画像をキャプチャしてから目標位置検出部３８が駐車目標位置５２を検出して、表示処理部４０により駐車枠５４が重畳されるまで所定の処理時間が必要になる。この処理時間の間も車両１が移動していれば、相対座標で示される駐車目標位置５２はずれる。例えば、表示装置８の画面が切り替わり、例えば駐車枠５４が未表示の俯瞰画像が表示されて、ユーザが駐車できそうなスペース（領域）を認識（目視）した場合、駐車枠５４が表示されるまでの車両１の移動量に基づき駐車目標位置５２がずれる。そこで、移動量取得部４２ａの第２移動量算出部４２ｅは、撮像画像のキャプチャから駐車目標位置５２を検出するための処理期間中に車両１が移動した距離を第２移動量として算出する。このように、車両１の移動量として、第１移動量に加え第２移動量を考慮することにより、駐車支援を行う場合の駐車目標位置５２をより正確に算出することができる。このときの処理時間はＣＰＵ１４ａの能力に応じたほぼ一定の時間となるが、車両１の移動速度が速い場合、第２移動量も大きくなる。なお、実施形態では、第１移動量および第２移動量を用いて座標のずれを補正する例とするが、第１移動量および第２移動量のうちいずれか一方を用いて座標のずれを補正してもよく、座標のずれの低減を行うことができる。

図７は、駐車目標位置５２の補正演算の一例を説明する模式図であり、低速で移動する車両１の移動軌跡６０を示す絶対座標系７０１と、車両１の位置と駐車目標位置５２の位置とを示す相対座標系７０２とを、並べて示す図である。絶対座標系７０１は、移動中の車両１の任意の位置を基準として、当該位置からの移動量および舵角により移動中の車両１の座標を求めることができる。位置座標取得部４２ｂは、車両１が周辺の撮像画像をキャプチャしたときの車両１の座標Ａ（絶対座標）と、現在の車両１の位置として、例えば操作部１４ｇ等を介して駐車支援開始の要求（駐車目標位置５２に車両１を誘導する旨の要求）がなされたときの車両１の座標Ｂ（絶対座標）を取得する。相対座標系７０２は、車両と駐車目標位置との間の関係（位置関係）を表した座標系とする。本実施形態の位置座標取得部４２ｂでは、撮像画像に映っている駐車枠（駐車目標位置に対応する位置）から位置関係を取得する。位置座標取得部４２ｂは、撮像画像をキャプチャしたときの車両１の位置を基準とする駐車目標位置５２の座標（相対座標）を取得する。これにより、駐車目標位置５２を基準とした車両１の位置（座標Ｃ）を特定できる。また、座標特定部４２ｃは、座標Ａ、座標Ｂ、座標Ｃおよび座標Ｃが取得されたときの車両１と駐車目標位置５２との位置関係とに基づき、車両１の現在の位置と撮像画像がキャプチャされたときの駐車目標位置５２との相対関係を示す座標Ｄ（相対座標）を算出する。この場合、座標特定部４２ｃは、周知の演算方法、例えば座標の回転処理や移動処理を行い、座標Ｄを算出する。模式的には、図７に示すように、座標Ａおよび座標Ｂで規定される部分移動軌跡６０ａの部分を切り取り、回転処理および移動処理を行い、部分移動軌跡６０ａを座標Ｃに接続することにより駐車目標位置５２を基準とした車両１の位置（座標Ｄ）を算出（特定）できる。

駐車支援部４４は、経路算出部４４ａ、操舵角決定部４４ｂ、案内部４４ｃ等を含む。経路算出部４４ａは、駐車目標位置５２に車両１を誘導する旨の要求が操作部１４ｇ等を介して行われた場合、車両１の現在の位置から座標特定部４２ｃによって特定された駐車目標位置５２に誘導するための最適な誘導経路を算出する。この場合、経路算出部４４ａは、刻々と変化する車両１の周囲の状況、例えば他車両や歩行者等の存在状況に従って、誘導経路を決定する。操舵角決定部４４ｂは、決定された誘導経路に沿って車両１を移動させるための操舵角を算出する。案内部４４ｃは、自動操舵される車両１をユーザ（運転者）が誘導経路に沿って移動できるように、変速操作部７（シフトレバー）の操作案内（ＤポジションやＲポジションの切り替え）や加速操作部５（アクセルペダル）の操作量の案内を行う。この他、案内部４４ｃは、周囲の安全確認や周囲の状況に基づく注意喚起等の案内を音声出力装置９を介した音声案内や表示装置８を介した表示等により行う。なお、本実施形態における駐車支援は、一例として、ＣＰＵ１４ａにより自動操舵が実行され、他の操作は案内部４４ｃによる案内にしたがいユーザ自身で実行する例を示すが、これに限定されない。例えば、操舵に加え、加速操作部５の操作をＣＰＵ１４ａの制御により自動で行ってもよい。同様に、変速操作部７の操作も自動で行うようにしてもよい。

このように、車両１の現在の位置、例えば駐車目標位置５２に車両１を誘導する旨の要求がなされたときの車両１の位置を基準とした駐車目標位置５２の相対関係を車両１の移動量に基づいて算出（補正）する。その結果、駐車支援部４４は、現在の車両１の位置を基準に、撮像画像取得部３０が撮像画像をキャプチャしたときの駐車目標位置５２の位置（座標Ｄ）を正確に取得することが可能になり、ユーザが表示装置８で認識した駐車可能な位置により正確に車両１を誘導することができる。

上述のように構成される駐車支援システム１００による駐車目標位置５２の座標の認識処理（修正処理）の一例および駐車支援の制御処理の一例を図８、図９を用いて説明する。なお、図８に示す駐車可能領域の検索および駐車目標位置５２の特定を行うための第１の処理フローは、例えば２０ｍｓで繰り返し実行され、図９に示す駐車支援を実行するための第２の処理フローは、それより短い例えば１０ｍｓで繰り返し実行される。

まず、ＥＣＵ１４は、例えばナビゲーションシステム等から提供される情報を利用して車両１が駐車場エリア等に進入して、所定速度以下（例えば時速１０ｋｍ／ｈ以下）になった場合に、駐車可能領域の検索モードを自動または手動で起動して、撮像画像取得部３０により撮像画像のキャプチャを行う（Ｓ１００）。続いて、白線検出部３８ａは、キャプチャした撮像画像から白線部分を抽出するとともに、駐車枠設定部３８ｂは、検出した白線のうち一対の白線５０で囲まれる領域の中から車両１を駐車することが可能な領域として駐車目標位置５２を抽出して、駐車枠５４を設定する（Ｓ１０２）。

続いて、位置座標取得部４２ｂは、車両１が周辺の撮像画像をキャプチャしたときの車両１の座標Ａ（絶対座標）を取得する（Ｓ１０４）。また、位置座標取得部４２ｂは、車両１の現在の位置を示す座標Ｂ（絶対座標）を取得する（Ｓ１０６）。車両１の現在の位置は、例えば、撮像画像がキャプチャされてからの経過時間、車速、操舵方向等に基づき取得することができる。また、操作部１４ｇ等を介して駐車支援開始の要求（駐車目標位置５２に車両１を誘導する旨の要求）がなされたときの絶対座標の位置として取得できる。なお、本実施形態では、座標Ａ、座標Ｂは、第１の処理フローより高速で処理される第２の処理フローによる推定結果から取得している。

さらに、位置座標取得部４２ｂは、車両１と駐車目標位置５２との関係として、撮像画像をキャプチャしたときの車両１と駐車目標位置５２との位置関係を示す座標Ｃ（相対座標）を取得する（Ｓ１０８）。

続いて、座標特定部４２ｃは、前回の駐車目標位置５２の特定処理で修正した座標Ｄの情報の初期化（更新座標の初期化）を行う（Ｓ１１０）。そして、座標特定部４２ｃは、車両１の位置を示す絶対座標と、車両１と駐車目標位置５２との位置関係を示す相対座標の座標系のずれを解消するために、座標系間の回転量θを算出する（Ｓ１１２）。この場合、回転量θは、周知の方法を用いて算出することができる。例えば、図７に示す絶対座標系７０１の座標Ａと相対座標系７０２の座標Ｃとの差分(diff_θ)を求めることで算出できる。この場合、diff_θ＝座標Ｃ(θ)−座標Ａ(θ)となる。そして、座標特定部４２ｃは、図７に示される座標Ａおよび座標Ｂで規定される部分移動軌跡６０ａを回転させる（Ｓ１１４）。座標の回転もまた周知の方法を用いて実行することができる。この場合、Ｘ座標とＹ座標のそれぞれを回転させる。
D_tem点(x)＝(B点(x)-A点(x)*cos(diff_θ))-（B点(y)-A点(y)*sin(diff_θ))
D_tem点(y)＝(B点(x)-A点(x)*sin(diff_θ))+（B点(y)-A点(y)*cos(diff_θ))
D_tem点(θ)＝B点(θ)-A点(θ)

そして、座標特定部４２ｃは、算出したD_tem点(x)、D_tem点(y)、D_tem点(θ)を用いて座標の移動を行い、車両１の現在の位置と撮像画像がキャプチャされたときの駐車目標位置５２との相対関係を示す座標Ｄ（相対座標）を特定する（Ｓ１１６）。
D点(x)＝D_tem点(x)+C点(x)
D点(y)＝D_tem点(y)+C点(y)
D点(θ)＝D_tem点(θ)+C点(θ)

続いて、図９を用いて、駐車支援制御の手順を説明する。駐車支援部４４は、駐車可能領域の検索モードの間は、常時、駐車支援開始条件が満たされているか否かの判定処理を実行している（Ｓ２００）。駐車支援開始条件は、自動操舵による誘導を開始してよいか否かを判定するための条件であり、例えば、車速が十分に低下しているか否か（例えば、車速１〜２ｋｍ／ｈ以下か否か）や、各種センサや各種アクチュエータに異常がないか否か等である。なお、支援開始条件判定処理において、駐車支援開始条件が満たされていない場合、例えば、車速が十分に低下していない場合やセンサに異常がある等の場合、駐車支援部４４は、駐車支援を要求するための操作を受け付ける操作部１４ｇの入力を無効とし駐車支援を保留する。

駐車支援部４４は、駐車支援開始条件が満たされている場合、操作部１４ｇ等を介して支援要求がなされたか否かを判定する（Ｓ２０２）。操作部１４ｇ等を介して支援要求がなされていない場合（Ｓ２０２のＮｏ）、駐車支援処理の状態は、駐車可能な駐車枠５４の検索状態であるとともに、支援要求がなされた場合には、直ちに誘導ができる状態としている。そのため、駐車支援部４４は、図８の駐車目標位置５２の座標の認識処理における駐車目標位置５２の特定結果を取得する（Ｓ２０４）。この場合、経路算出部４４ａは、補正された正確な駐車目標位置５２に関する情報（座標Ｄ）を取得することで、いつでも車両１を現在の位置から補正された駐車目標位置５２に誘導するための誘導経路の算出が可能となる。つまり、車両１の低速移動中でも誘導の準備を整えることができる。なお、表示処理部４０は、キャプチャされている撮像画像に駐車枠５４を重畳して表示装置８に表示しているので、この時点で、修正された駐車目標位置５２と駐車枠５４とは、基本的には一致している。したがって、ユーザが表示装置８の表示によって認識している駐車位置（例えば駐車枠５４の位置）に車両１の誘導が可能な状態になる。

また、駐車可能な駐車枠５４の検索状態では、車両１は低速移動中と見なすことができるので、位置特定部４２は、舵角取得部３４が取得する舵角情報および移動量取得部４２ａが算出する移動量に基づいて、絶対座標系における車両１（自車）の位置の推定を実施する（Ｓ２０６）。つまり、図８に示す駐車可能領域の検索および駐車目標位置５２の特定を行うための第１の処理フローで用いる車両１が周辺の撮像画像をキャプチャしたときの車両１の位置（座標Ａ：絶対座標）および現在の車両１の位置（絶対座標）を推定（取得）する。なお、現在の車両１の位置（絶対座標）は、誘導要求がなされた場合には、そのタイミングにおける絶対座標が座標Ｂとして扱われる。

一方、Ｓ２０２で、駐車支援開始条件が満たされている場合で、操作部１４ｇ等を介して支援要求がなされた場合（Ｓ２０２のＹｅｓ）、駐車支援部４４の現在の車両１の位置において、特定された（修正された）駐車目標位置５２に車両１を誘導開始する。この場合、Ｓ２０４で算出された誘導経路（修正された駐車目標位置５２に誘導するための経路）に沿って車両１を移動させるように、操舵角決定部４４ｂは目標舵角を算出する（Ｓ２０８）。また、案内部４４ｃは、算出された目標舵角でユーザが車両１を誘導経路に沿って移動できるように、変速操作部７（シフトレバー）の操作案内や加速操作部５（アクセルペダル）の操作量の案内を行う。また、位置特定部４２は、駐車誘導中の車両１（自車）の位置を逐次推定して（Ｓ２１０）、操舵角決定部４４ｂや案内部４４ｃにフィードバックして制御に反映させる。

上述した、図８に示す第１の処理フローおよび図９に示す第２の処理フローを繰り返し実行することにより、図１０に示されるように、駐車目標位置５２が白線５０で規定される駐車領域に設定された駐車枠５４と略一致するように補正される。その結果、修正された駐車目標位置５２に対して車両１を誘導するための誘導経路６２が正確に設定され、駐車領域を含む撮像画像がキャプチャされて表示装置８に表示された俯瞰画像に基づきユーザが認識した駐車位置に車両１を正確に誘導することができる。なお、図１１は、比較例として、車両１の移動に伴う駐車目標位置５２の補正を行わない場合の誘導経路６４による誘導例を示す図である。この場合、移動する車両１を基準とした相対座標で示される駐車目標位置５２が車両１の移動とともにずれる。そのため、ずれた駐車目標位置５２に対して誘導経路６４が設定され、駐車領域を含む撮像画像がキャプチャされて表示装置８に表示された俯瞰画像に基づきユーザが認識した駐車位置に対する車両１の誘導精度が低下してしまう場合がある。そのため、車両１の移動に伴う駐車目標位置５２の補正を行わない場合は、車両１を完全に停車させて、駐車目標位置５２に対するずれを解消してからでないと駐車支援を開始できなかった。一方、本実施形態の駐車支援システム１００の場合、車両１の移動中でも逐次駐車目標位置５２と車両１（自車）との相対座標を修正しているので、車両１を停止させなくても正確な相対座標の取得が可能となり、その座標に基づくより正確な駐車支援が可能になる。また、本実施形態のように撮像部１５で撮像された撮像画像を用いるシステムは、例えば、ソナー等のようなリアルタイムで目標位置の検出が可能なシステムに比べて、リアルタイム性は低いものの車両１の周辺状況の検出精度や目標位置の検出精度が高い。つまり、本実施形態のように撮像部１５で撮像された撮像画像を用いるシステムは、所定の間隔で間欠的に提供される撮像画像を用いることで移動中の車両１の周囲状況を正確に取得することができる。そして、撮像画像が提供される所定の間隔中にその撮像画像を用いた演算処理により駐車目標位置のずれを補正することができる。その結果、車両１の走行中でも正確な周辺状況を示す画像を用いた演算処理が可能になり、車両１の現在の位置から撮像画像が撮像されたときの駐車目標位置までの駐車支援（車両の誘導）の精度が向上できる。このように、本実施形態の駐車支援システム１００は、車両１の停止を要求される従来のシステムに比べ使い勝手が向上する。

また、本実施形態の駐車支援システム１００の場合、車両１が低速（例えば、時速１〜２ｋｍ／ｈ）で走行している場合でも、車両１の移動量に基づき駐車目標位置５２を逐次修正している。そのため、図１２に示すように、停車領域Ｓでしか駐車支援を開始できなかった従来のシステムに対し、停車領域Ｓを含む低速走行領域Ｍでも駐車支援を開始することができる。その結果、例えば、後続車等が存在するような場合でも迅速に駐車支援の開始を実施可能となり、よりスムーズな誘導を行うことができる。

また、車両１が低速走行しながら駐車誘導を開始する場合でも、車両１の移動量に基づき駐車目標位置５２を逐次修正して正確な駐車目標位置５２を算出している。その結果、駐車誘導中に実施される可能性のある切り返しによる車両１の姿勢修正等の回数の低減または切り返しの不要化が可能となり、よりスムーズな駐車支援の実現および駐車支援時間の短縮が実現可能となる。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、８…表示装置、１３…操舵システム、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５…撮像部、１９…舵角センサ、３０…撮像画像取得部、３２…車速取得部、３４…舵角取得部、３６…出力部、３８…目標位置検出部、３８ａ…白線検出部、３８ｂ…駐車枠設定部、４０…表示処理部、４０ａ…重畳部、４０ｂ…表示更新部、４２…位置特定部、４２ａ…移動量取得部、４２ｂ…位置座標取得部、４２ｃ…座標特定部、４２ｄ…第１移動量算出部、４２ｅ…第２移動量算出部、４４…駐車支援部、４４ａ…経路算出部、４４ｂ…操舵角決定部、４４ｃ…案内部、５０…白線、５２…駐車目標位置、５４…駐車枠、６２，６４…誘導経路、１００…駐車支援システム。

Claims

車両の移動中に当該車両の周辺領域を撮像する撮像部より得られる撮像画像から、前記車両が駐車可能な領域を示す駐車目標位置を検出する検出部と、
前記撮像画像を表示装置に表示させる表示部と、
前記車両の移動中に前記表示装置に前記撮像画像が表示された後、次に前記撮像部で撮像された撮像画像が表示される前の期間中に、前記表示装置に前記撮像画像が表示されてから前記車両が移動した第１移動量と前記撮像画像が撮像されたときの前記車両と前記駐車目標位置との位置関係とに基づいて、現在の前記車両の位置に対する前記駐車目標位置を特定する位置特定部と、
前記期間中に、前記駐車目標位置に前記車両を誘導する旨の要求がなされた場合に特定された前記駐車目標位置に基づいて、前記車両の誘導を実行する駐車支援部と、
を備える駐車支援装置。
前記位置特定部は、前記撮像画像が撮像されてから前記駐車目標位置を検出するまでの処理期間中に前記車両が移動した第２移動量を前記第１移動量に加えて前記駐車目標位置を特定する請求項１に記載の駐車支援装置。
前記検出部は、前記車両の移動中に所定間隔で前記撮像部が撮像した前記撮像画像から前記駐車目標位置を取得する請求項１または請求項２に記載の駐車支援装置。
車両の移動中に当該車両の周辺領域を撮像する撮像部より得られる撮像画像から、前記車両が駐車可能な領域を示す駐車目標位置を検出する検出部と、
前記撮像画像を表示装置に表示させる表示部と、
前記車両の移動中に前記表示装置に前記撮像画像が表示された後、次に前記撮像部で撮像された撮像画像が表示される前の期間中に、前記撮像画像が撮像されてから前記駐車目標位置を検出するまでの処理期間中に前記車両が移動した第２移動量と、前記撮像画像が撮像されたときの前記車両と前記駐車目標位置との位置関係とに基づいて、現在の前記車両の位置に対する前記駐車目標位置を特定する位置特定部と、
前記期間中に、前記駐車目標位置に前記車両を誘導する旨の要求がなされた場合に特定された前記駐車目標位置に基づいて、前記車両の誘導を実行する駐車支援部と、
を備える駐車支援装置。