JP6724425B2 - 駐車支援装置 - Google Patents

Description

本発明の実施形態は、駐車支援装置に関する。

車両に、駐車を支援するための駐車支援装置が実装されることがある。駐車支援装置は、例えば、停車している他の車両のような障害物を検出し、当該障害物を避けて駐車目標位置まで至る経路を決定する。駐車支援装置は、当該経路に基づいて駐車を支援する。

前記経路を決定する場合、例えば、駐車支援中も駐車目標位置の両隣の障害物の形状を検出し続け、経路を必要に応じて修正する方法（以下、「従来方法１」という。）がある。これによれば、経路の精度を上げることができる。

また、超音波ソナーで障害物に関する駐車目標位置側の側面（以下、「内側側面」という。）を検知し、さらに、カメラで連続撮影したその内側側面を含む画像のうち、内側側面が中央付近にある画像を用いてその障害物の内側側面の位置を決定する方法（以下、「従来方法２」という。）もある。これによれば、駐車支援前に駐車目標位置を高精度に決定できる。

特許第５４６９６６３号公報 特開２０１０−２６７１１５号公報

しかしながら、従来方法１では、駐車支援中で車両が駐車目標位置に進入した後にも経路を修正するため、正しい駐車目標位置の認識が遅れ、切り返し等が発生して駐車に時間がかかる場合があるという問題がある。

また、従来方法２では、撮影のサンプリングレートと自車両の速度によっては、内側側面が中央付近に映っている画像がない場合があり、そうなると、駐車目標位置の誤差が大きくなってしまうという問題がある。

そこで、本発明の課題の一つは、駐車目標位置を早く、かつ、高精度に決定する駐車支援装置を提供することである。

実施形態の駐車支援装置は、駐車支援を行う駐車支援装置であって、前記駐車支援装置が搭載される自車両の走行時に、側方の障害物までの距離データに基づいて、障害物ごとの位置を推定し、側方における駐車スペース候補を検出する駐車スペース候補検出部と、前記駐車スペース候補が検出されたときに、撮影された前記自車両の周囲の撮影画像のうち、前記駐車スペース候補に隣接する障害物についての前記駐車スペース候補の側の側面である内側側面が映っている撮影画像を２つ以上選択する画像選択部と、前記選択された２つ以上の撮影画像に対してステレオ画像処理を行い、当該障害物の３次元点群を算出するステレオ画像処理部と、前記算出された３次元点群に基づいて、当該障害物に関する前記駐車スペース候補の側の位置を決定する位置決定部と、前記決定された当該障害物に関する前記駐車スペース候補の側の位置に基づいて、前記駐車スペース候補の位置を補正する駐車スペース補正部と、前記補正された前記駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定する駐車スペース判定部と、当該幅が第１閾値以上であると判定されたとき、前記補正された駐車スペース候補の位置に前記自車両を誘導する車両誘導部と、を備える。前記駐車スペース候補の両側に、前記隣接する障害物が存在する場合であって、それぞれの前記隣接する障害物について、前記画像選択部による処理と、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、前記駐車スペース補正部による処理と、が完了しているとき、前記駐車スペース判定部は、前記補正された前記駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定し、当該幅が第１閾値以上であると判定されたとき、前記車両誘導部は、前記補正された駐車スペース候補の位置に前記自車両を誘導する。前記駐車スペース候補の両側に、前記隣接する障害物が存在する場合であって、一方の前記隣接する障害物について、前記画像選択部による前記２つ以上の撮影画像の選択が完了していないことで、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、が実行されていないとき、前記駐車スペース補正部は、前記駐車スペース候補の側の位置を決定された他方の前記隣接する障害物の位置に基づいて、前記駐車スペース候補の位置を補正し、前記駐車スペース判定部は、前記補正された前記駐車スペース候補の入口部分の幅が、前記第１閾値よりも大きい閾値である第２閾値以上であるか否かを判定し、当該幅が前記第２閾値以上であると判定されたとき、前記車両誘導部は、前記補正された駐車スペース候補の位置に前記自車両を誘導する動作を開始し、その後、前記画像選択部が、前記一方の隣接する障害物の前記内側側面が映っている撮影画像を２つ以上取得すると、前記一方の隣接する障害物について、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、前記駐車スペース補正部による処理とを実行して、前記駐車スペース候補の位置を更新し、前記車両誘導部は、前記更新された前記駐車スペース候補の位置に前記自車両を誘導する。
当該構成により、例えば、夜間等の暗い環境で、２つの隣接する障害物の一方について、内側側面が映っている撮影画像を２つ以上取得できていないときでも、車両誘導開始後に、並列後退駐車であれば、テールライトやバックアップライトによって当該障害物が照らされることで、内側側面が映っている撮影画像を２つ以上取得し、自車両が駐車スペース候補に進入する前に、その２つ以上の撮影画像に基づいて駐車スペース候補の位置を更新することができる。

また、実施形態の駐車支援装置は、駐車支援を行う駐車支援装置であって、前記駐車支援装置が搭載される自車両の走行時に、側方の障害物までの距離データに基づいて、障害物ごとの位置を推定し、側方における駐車スペース候補を検出する駐車スペース候補検出部と、前記駐車スペース候補が検出されたときに、撮影された前記自車両の周囲の撮影画像のうち、前記駐車スペース候補に隣接する障害物についての前記駐車スペース候補の側の側面である内側側面が映っている撮影画像を２つ以上選択する画像選択部と、前記選択された２つ以上の撮影画像に対してステレオ画像処理を行い、当該障害物の３次元点群を算出するステレオ画像処理部と、前記算出された３次元点群に基づいて、当該障害物に関する前記駐車スペース候補の側の位置を決定する位置決定部と、前記決定された当該障害物に関する前記駐車スペース候補の側の位置に基づいて、前記駐車スペース候補の位置を補正する駐車スペース補正部と、を備える。前記画像選択部は、前記駐車スペース候補における入口部分の幅が第１所定値以上の場合、前記自車両の周囲の撮影画像のうち、前記隣接する障害物の前記内側側面が映っている撮影画像の中から前記内側側面の面積が大きいほうから２つの撮影画像を選択し、前記駐車スペース候補における入口部分の幅が前記第１所定値未満の場合、前記自車両の周囲の撮影画像のうち、前記隣接する障害物の前記内側側面が映っている撮影画像の中から前記内側側面の面積が第２所定値以上の撮影画像をすべて選択する。
当該構成により、例えば、駐車スペース候補における入口部分の幅が狭いときには、隣接する障害物の内側側面が映っている撮影画像を２つに限定せずに多く取得することで、駐車スペース候補の位置（駐車目標位置）をより高精度に決定することができる。

また、実施形態の駐車支援装置において、前記ステレオ画像処理部は、前記選択された２つ以上の撮影画像それぞれについて、前記障害物およびその近傍の画像を抽出し、前記抽出した画像に対してステレオ画像処理を行い、前記障害物の３次元点群を算出する。当該構成により、例えば、画像処理量が少なくて済み、全体の処理時間が短くなる。

図１は、実施形態の車両の車室の一部が透視された状態の一例を示す斜視図である。 図２は、実施形態の車両の一例を示す平面図（俯瞰図）である。 図３は、実施形態の車両のダッシュボードの一例を車両の後方から見た図である。 図４は、実施形態の駐車支援システムの構成の一例を示すブロック図である。 図５は、実施形態のＥＣＵの一例を示す機能構成ブロック図である。 図６は、実施形態の全体処理の一例を示すフローチャートである。 図７は、実施形態のソナーデータによる駐車スペース候補検出処理の一例を示すフローチャートである。 図８は、図７の処理の説明図である。 図９は、実施形態の隣接障害物の内側側面が映る画像選択処理の一例を示すフローチャートである。 図１０は、図９の処理の説明図である。 図１１は、実施形態のステレオ画像処理による障害物点検出処理の一例を示すフローチャートである。 図１２は、図１１の処理の説明図である。 図１３は、実施形態の障害物点を統合してモデル化する処理の一例を示すフローチャートである。 図１４は、図１３の処理の説明図である。 図１５は、駐車スペース候補の位置を補正する処理の説明図である。 図１６は、実施形態において駐車スペース候補を表示する場合の一例を示す画面である。

以下、本発明の実施形態の一例を開示する。以下に示す実施形態の構成、ならびに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうちの少なくとも一つを得ることが可能である。

本実施形態の車両１（自車両）は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１は、実施形態の車両１の車室の一部が透視された状態の一例を示す斜視図である。図２は、実施形態の車両１の一例を示す平面図（俯瞰図）である。図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。

操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらに限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。

乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。

モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができ、モニタ装置１１の音声出力装置９と他の音声出力装置の両方から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用される。また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。

図３は、実施形態の車両１のダッシュボード２４の一例を車両１の後方から見た図である。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に配置されている。表示装置１２の画面の大きさは、表示装置８の画面８ａの大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示される。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。

また、図１及び図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成される。

図４は、実施形態の駐車支援システム１００の構成の一例を示すブロック図である。図４に示すように、車両１は、駐車支援システム１００を備える。駐車支援システム１００は、駐車支援装置の一例である。

図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。

操舵システム１３は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１４等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Ｓｔｅｅｒ Ｂｙ Ｗｉｒｅ）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、例えば二つの車輪３を転舵する。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮影することができる。撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周囲の外部の環境を逐次撮影し、撮影画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。

ＥＣＵ１４は、撮像部１５で得られた画像データ等に基づいて演算処理や画像処理を実行し、例えば、駐車場における障害物（他の車両、柱等）の位置（大きさを含む。以下同様）を推定し、駐車スペース候補を検出した後、その駐車スペース候補の位置を補正し、その補正した駐車スペース候補の位置に車両１を誘導する（詳細は後記）。

また、図１及び図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナー（超音波探知器）である。ＥＣＵ１４は、測距部１６，１７の検出結果（ソナーデータ）により、車両１の周囲に位置する障害物等の物体の有無や当該物体までの距離を測定することができる。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、比較的長距離の物体の検出に用いられる。また、測距部１７は、例えば、車両１の前方及び後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられる。

また、図４に例示されるように、駐車支援システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。

車内ネットワーク２３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＲＯＭ１４ｂ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ１４ｃ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、フラッシュメモリ）等を有している。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムに従って演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積される。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の他の記憶装置が設けられてもよいし、ＳＳＤ１４ｆ、ＨＤＤ、ＥＥＰＲＯＭ等は、ＥＣＵ１４とは別に設けられてもよい。また、操作部１４ｇは、例えば、押しボタンやスイッチ等で構成され、運転者等によって駐車支援等に関する操作がなされると、操作信号を出力する。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Ａｎｔｉ‐ｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Ｂｒａｋｅ Ｂｙ Ｗｉｒｅ）等である。

ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３（車両１）に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、変速操作部７の可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果を、ブレーキシステム１８を介して取得する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

本実施形態では、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、駐車支援装置としての機能の少なくとも一部を実現している。

図５は、実施形態のＥＣＵ１４の一例を示す機能構成ブロック図である。ＥＣＵ１４は、図５に示すように、駐車スペース候補検出部１４１、画像選択部１４２、ステレオ画像処理部１４３、モデル化部１４４、駐車スペース補正部１４５、駐車スペース判定部１４６、車両誘導部１４７、及び、記憶部１４８として機能する。記憶部１４８は、ＥＣＵ１４での演算で用いられるデータや、ＥＣＵ１４での演算で算出されたデータを記憶する。

駐車スペース候補検出部１４１は、車両１の走行時に、測距部１６によって測定された側方の障害物までの距離データに基づいて、障害物ごとの位置を推定し、側方における駐車スペース候補を検出する（詳細は後述）。

画像選択部１４２は、駐車スペース候補が検出されたときに、撮像部１５によって撮影された車両１の周囲の撮影画像のうち、駐車スペース候補に隣接する障害物についての内側側面（駐車スペース候補の側の側面）が映っている撮影画像を２つ以上選択する。また、画像選択部１４２は、駐車スペース候補における入口部分の幅が第１所定値以上の場合、車両１の周囲の撮影画像のうち、隣接する障害物の内側側面が映っている撮影画像の中から内側側面の面積が大きいほうから２つの撮影画像を選択する。また、画像選択部１４２は、駐車スペース候補における入口部分の幅が第１所定値未満の場合、車両１の周囲の撮影画像のうち、隣接する障害物の内側側面が映っている撮影画像の中から内側側面の面積が第２所定値以上の撮影画像をすべて選択する（詳細は後述）。

ステレオ画像処理部１４３は、選択された２つ以上の撮影画像に対してステレオ画像処理を行い、障害物の３次元点群を算出する。また、ステレオ画像処理部１４３は、選択された２つ以上の撮影画像それぞれについて、障害物およびその近傍の画像を抽出し、抽出した画像に対してステレオ画像処理を行い、障害物の３次元点群を算出することが好ましい（詳細は後述）。

モデル化部１４４は、算出された３次元点群に基づいて、当該障害物に関する駐車スペース候補の側の位置を決定する（詳細は後述）。モデル化部１４４は、位置決定部の一例である。

駐車スペース補正部１４５は、決定された当該障害物に関する駐車スペース候補の側の位置に基づいて、駐車スペース候補の位置を補正する（詳細は後述）。

駐車スペース判定部１４６は、補正された駐車スペース候補の入口部分の幅が第１閾値（または第２閾値）以上であるか否かを判定する（詳細は後述）。

車両誘導部１４７は、当該幅（補正された駐車スペース候補の入口部分の幅）が第１閾値（または第２閾値）以上であると判定されたとき、補正された駐車スペース候補の位置に車両１を誘導する（詳細は後述）。

また、駐車スペース候補の両側に、隣接する障害物が存在する場合であって、それぞれの隣接する障害物について、画像選択部１４２による処理と、ステレオ画像処理部１４３による処理と、モデル化部１４４による処理と、駐車スペース補正部１４５による処理と、が完了しているとき、駐車スペース判定部１４６は、補正された駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定する。そして、当該幅が第１閾値以上であると判定されたとき、車両誘導部１４７は、補正された駐車スペース候補の位置に車両１を誘導する。

本実施形態では、駐車スペース候補が車両１の駐車スペースとして適切であるか否かを判断するための条件である駐車スペース条件として、次の２種類を使用する。
（条件１）駐車スペース候補の入口部分の幅が第１閾値以上であること。
（条件２）駐車スペース候補の入口部分の幅が第２閾値以上であること。
ここで、第２閾値は、第１閾値よりも大きい閾値である。また、第１閾値と第２閾値の使い分けについては後述する。

なお、本実施形態では、駐車スペース条件として前記した条件１と条件２の２種類を使うものとしているが、条件１における第１閾値と条件２における第２閾値は大きく異なるものではないので、単一の条件を用いるようにしてもよい。また、駐車スペース条件として、駐車スペース候補の入口部分の幅だけでなく、駐車スペース候補の奥の部分の幅等の他の要素も考慮するようにしてもよい。

次に実施形態の駐車支援システム１００の動作の一例について説明する。なお、駐車支援システム１００の動作は、以下に説明される動作に限らない。図６は、実施形態の全体処理の一例を示すフローチャートである。なお、駐車スペース候補検出部１４１〜車両誘導部１４７以外の動作主体はＥＣＵ１４と記載する。

図６に示すように、例えば、運転者が車両１を並列駐車場において駐車スペースを探すために徐行させている場合に、まず、ＥＣＵ１４は、自車両進行距離測定と、物体との距離測定と、物体の画像取得を行う（ステップＳ１）。ＥＣＵ１４は、自車両進行距離測定として、車輪速センサ２２の検出結果等を用いて演算を行い、車両１の進行距離を算出する。また、ＥＣＵ１４は、物体との距離測定として、測距部１６，１７の検出結果（ソナーデータ）により、車両１の周囲に位置する障害物（物体）との距離を測定する。また、ＥＣＵ１４は、物体の画像取得として、撮像部１５により撮影した障害物（物体）の画像を取得する。

次に、駐車スペース候補検出部１４１は、ソナーデータによる駐車スペース候補の検出処理を行う（ステップＳ２）。このステップＳ２について、図７、図８を用いて説明する。図７は、実施形態のソナーデータによる駐車スペース候補検出処理の一例を示すフローチャートである。図８は、図７の処理の説明図である。

まず、駐車スペース候補検出部１４１は、ソナーデータや車両１の移動速度等を用いて、三角測量の原理等により障害物点を検出する（ステップＳ２１）。図８（ａ）の例では、車両１が並列駐車場で他車両Ｃ１，Ｃ２の前方を通過し、そのとき、駐車スペース候補検出部１４１は障害物点Ｐｓを検出する。

次に、駐車スペース候補検出部１４１は、障害物点Ｐｓを互いの距離に基づいてグループ化する（ステップＳ２２）。図８（ａ）の例では、障害物点Ｐｓがグループ１とグループ２にグループ化されている。

次に、駐車スペース候補検出部１４１は、障害物ごとに前面（車両１の側の面）と内側側面を推定する（ステップＳ２３）。図８の例では、図８（ａ）に示すように障害物点Ｐｓが得られた場合、駐車スペース候補検出部１４１は、車両１の走行方向等の情報も使って、グループごとに前面と内側側面を平面視での直線（線分）として推定する。その結果、図８（ｂ）に示すように、グループ１に対応する他車両Ｃ１については前面Ｘ１と内側側面Ｙ１とが推定され、グループ２に対応する他車両Ｃ２については前面Ｘ２と内側側面Ｙ２とが推定された。

次に、駐車スペース候補検出部１４１は、グループごとの前面と内側側面の情報から、駐車スペース候補を検出する（ステップＳ２４）。図８（ｂ）の例では、内側側面Ｙ１と内側側面Ｙ２の間に駐車スペース候補Ｓが検出されている。このステップＳ２４では、駐車スペース候補検出部１４１は、例えば、前記した条件１を満たしている領域を駐車スペース候補Ｓとして検出する。

このように、ステップＳ２によれば、駐車スペース候補を検出できるが、その位置の精度は高くないので、以下でその位置の補正を行う。

図６に戻って、ステップＳ２の後、ステップＳ３において、駐車スペース候補検出部１４１は、駐車スペース候補があるか否かを判定し、Ｙｅｓの場合はステップＳ４に進み、Ｎｏの場合はステップＳ１に戻る。

ステップＳ４において、画像選択部１４２は、隣接障害物の内側側面が映る画像を選択する。このステップＳ４について、図９、図１０を用いて説明する。図９は、実施形態の隣接障害物の内側側面が映る画像選択処理の一例を示すフローチャートである。図１０は、図９の処理の説明図である。

まず、画像選択部１４２は、撮像部１５によって撮影された車両１の周囲の撮影画像のうち、隣接障害物の内側側面が映っている画像を取得し、それぞれの画像について、隣接障害物の内側側面に仮想面（内側側面の近似面）を設定する（ステップＳ４１）。隣接障害物の内側側面が映っている画像とは、図１０（ａ）の例では、他車両Ｃ１に関しては、（ａ１）〜（ａ５）の５枚のうち（ａ２）〜（ａ５）の４枚である。また、図１０（ｂ）、（ｃ）に示すように、他車両Ｃ１に関して、内側側面Ｙ１に仮想面ＶＳが設定されている。

次に、画像選択部１４２は、各画像について、仮想面の面積を算出する（ステップＳ４２）。

次に、画像選択部１４２は、駐車スペース候補における入口部分の幅が第１所定値以上であるか否かを判定し（ステップＳ４３）、Ｙｅｓの場合はステップＳ４４に進み、Ｎｏの場合はステップＳ４５に進む。駐車スペース候補における入口部分の幅とは、図１０（ｃ）の例では、端点Ｐ１と端点Ｐ２の間の距離Ｄである。端点Ｐ１は、前面Ｘ１と内側側面Ｙ１との交点である。端点Ｐ２は、前面Ｘ２と内側側面Ｙ２との交点である。

ステップＳ４４において、画像選択部１４２は、画像のうち、仮想面の面積が大きいほうから２つ（２枚）の画像を選択する。また、ステップＳ４５において、画像選択部１４２は、画像のうち、仮想面の面積が第２所定値以上の画像をすべて選択する。後述するステレオ画像処理では、内側側面の映っている画像が２つ以上必要となる。ステップＳ４４で２つの画像しか選択しないようにしたのは、ステレオ画像処理の処理量を小さく抑えるためである。また、ステップＳ４５では、通常３つ以上の画像が選択されるようになるが、そうしたのは、駐車スペース候補における入口部分の幅が狭いので、ステレオ画像処理の処理量が大きくなったとしても、駐車スペース候補の位置の補正の精度をより高めるためである。

なお、仮想面の面積を求めるための画像は、歪みのあるものでも、歪みのないもの（元から歪みのないもの、あるいは、歪みを補正したもの）でもどちらでもよい。

図６に戻って、ステップＳ４の後、ステップＳ５において、ステレオ画像処理部１４３は、選択された２つ以上の撮影画像に対してステレオ画像処理を行い、障害物の３次元点群を算出する。このステップＳ５について、図１１、図１２を用いて説明する。図１１は、実施形態のステレオ画像処理による障害物点検出処理の一例を示すフローチャートである。図１２は、図１１の処理の説明図である。

まず、ステレオ画像処理部１４３は、選択した画像それぞれについて、ソナー検出部分の画像を抽出する（ステップＳ５１）。図１２（ａ）の例では、（ａ１）の画像において、他車両Ｃ１に関し、ソナー検出部分として仮想面ＶＳ１を含む画像Ｆ１が抽出されている。また、（ａ２）の画像において、他車両Ｃ１に関し、ソナー検出部分として仮想面ＶＳ２を含む画像Ｆ２が抽出されている。このように抽出を行うことで、ステップＳ５２で行う処理の量が少なくて済む。

次に、ステレオ画像処理部１４３は、抽出した複数の画像に対してステレオ画像処理を行い、障害物の３次元点群を算出する。ステレオ画像処理とは、同じ被写体が映っていて撮影角度が異なる２つ以上の画像を用いて、三角測量の原理に基づいてその被写体の３次元座標を決定する画像処理技術である。本実施形態におけるステレオ画像処理の手法としては、例えば、ブロックマッチング法など、公知の種々の手法を採用することができる。

図１２の例では、図１２（ｂ）に示すように、他車両Ｃ１に関する３次元点群として、３次元点群Ｇ１（他車両Ｃ１の高い位置の部分）、３次元点群Ｇ２（他車両Ｃ１の低い位置の部分）、３次元点群Ｇ３（路面）が算出されている。

図６に戻って、ステップＳ５の後、ステップＳ６において、モデル化部１４４は、障害物点を統合してモデル化する。本実施形態におけるモデル化とは、算出された３次元点群に基づいて、当該障害物に関する駐車スペース候補の側の位置を決定することである。このモデル化の精度が高いと、障害物に隣接する駐車スペース候補の位置を精度高く決定することができる。具体的には、本実施形態におけるモデル化では、障害物について、前面の位置と内側側面の位置を決定するとともに、それらの交点（平面視での交点）を端点として決定する。このステップＳ６について、図１３、図１４を用いて説明する。図１３は、実施形態の障害物点を統合してモデル化する処理の一例を示すフローチャートである。図１４は、図１３の処理の説明図である。

まず、モデル化部１４４は、障害物についての３次元点群から不要な点を除去する（ステップＳ６１）。不要な点とは、仮想面から所定値以上離れた点や、路面や、障害物が車両であれば車両の低い位置の部分などである。例えば、図１２（ｂ）の例では、３次元点群Ｇ１、Ｇ２、Ｇ３のうち、３次元点群Ｇ２、Ｇ３が不要な点である。また、図１４（ａ）（ａ１）に示す車両Ｃの例では、領域Ａ１の外部が、仮想面ＶＳ３から所定値以上離れた点である。また、図１４（ｂ）（ｂ１）に示す六角柱Ｑの例では、領域Ａ２の外部が、仮想面ＶＳ４から所定値以上離れた点である。

次に、モデル化部１４４は、不要な点を除去した３次元点群に基づいて、障害物の内側側面を推定する（ステップＳ６２）。図１４（ａ）（ａ１）に示す車両Ｃの例では、３次元点Ｒに基づいて内側側面Ｙ３を推定する。また、図１４（ｂ）（ｂ１）に示す六角柱Ｑの例では、５つの３次元点Ｒを結んだ直線を内側側面と推定する。

次に、モデル化部１４４は、推定した内側側面の長さが第３所定値以上であるか否かを判定し（ステップＳ６３）、Ｙｅｓの場合はステップＳ６４に進み、Ｎｏの場合はステップＳ６６に進む。第３所定値は、障害物が車両なのか非車両（柱、ロードコーン等）なのかを判別できるような値に設定しておけばよい。このステップＳ６３において、例えば、図１４（ａ）（ａ１）に示す車両Ｃの例では、内側側面Ｙ３の長さは第３所定値以上であり、Ｙｅｓと判定される。また、図１４（ｂ）（ｂ１）に示す六角柱Ｑの例では、５つの３次元点Ｒを結んだ直線である内側側面の長さは第３所定値未満であり、Ｎｏと判定される。

モデル化部１４４は、ステップＳ６４において、障害物を側面のある物体と判定し、ステップＳ６５において、ステップＳ６２で推定した内側側面を内側側面として決定し、その内側側面と、ソナーデータにより決定された前面との交点を端点として算出する。例えば、図１４（ａ）（ａ１）（ａ２）に示す車両Ｃの例では、内側側面Ｙ３を内側側面として決定し、その内側側面Ｙ３と、ソナーデータにより決定された直線である前面Ｘ３との交点を端点Ｐ３として算出する。

また、モデル化部１４４は、ステップＳ６６において、障害物を側面のない物体と判定し、ステップＳ６７において、ステップＳ６２で障害物の内側側面を推定するときに用いた３次元点のうち駐車スペース候補に一番近い点を通り、前面と直交（平面視で直交）する直線を内側側面と仮定する。さらに、モデル化部１４４は、ステップＳ６８において、ステップＳ６７で仮定した内側側面と、ソナーデータにより決定された前面との交点を端点として算出する。例えば、図１４（ｂ）（ｂ１）（ｂ２）に示す六角柱Ｑの例では、５つの３次元点Ｒのうち駐車スペース候補に一番近い点を通り、前面Ｘ４と直交する直線Ｙ４を内側側面と仮定し、その内側側面Ｙ４と、前面Ｘ４との交点を端点Ｐ４として算出する。

このようにして、障害物が車両か否かにかかわらず、障害物のモデル化に必要な、前面と、内側側面と、それらの交点である端点の各情報を高精度に求めることができる。

図６に戻って、ステップＳ６の後、ステップＳ７において、駐車スペース補正部１４５は、モデル化された障害物の位置の情報（前面、内側側面、端点）に基づいて、駐車スペース候補の位置を補正する。このステップＳ７について、図１５を用いて説明する。図１５は、駐車スペース候補の位置を補正する処理の説明図である。図１５（ａ）に示す補正前の駐車スペース候補Ｓ１は、他車両Ｃ１についての前面Ｘ１、内側側面Ｙ１、端点Ｐ１と、他車両Ｃ２についての前面Ｘ２、内側側面Ｙ２、端点Ｐ２とに基づいて推定されているが、誤差が大きい（図８（ｂ）と同様）。一方、図１５（ｂ）に示す補正後の駐車スペース候補Ｓ２は、他車両Ｃ１についてのモデル化された前面Ｘ１Ｎ、内側側面Ｙ１Ｎ、端点Ｐ１Ｎと、他車両Ｃ２についてのモデル化された前面Ｘ２Ｎ、内側側面Ｙ２Ｎ、端点Ｐ２Ｎとに基づいて補正されているため、誤差が小さい。

図６に戻って、ステップＳ７の後、ステップＳ８において、駐車スペース判定部１４６は、補正された駐車スペース候補の位置に基づいて、駐車スペース条件を満たしているか否かを判定し、Ｙｅｓの場合はステップＳ９に進み、Ｎｏの場合はステップＳ１に戻る。駐車スペース条件としては、前記した条件１と条件２とがある。駐車スペース候補の両側に隣接障害物が存在する場合、両方の隣接障害物についてモデル化（ステップＳ６）が完了していれば、条件１を用いる。なお、両方の隣接障害物についてのモデル化（ステップＳ６）が完了していない場合としては、例えば、次のような場合が考えられる。図８（ａ）の例を用いると、例えば、夜間等の暗い環境で、車両１がヘッドライトを点灯させた状態で走行している場合、ヘッドライトからの光によって他車両Ｃ２の内側側面が映っている画像は２つ以上取得することができたが、他車両Ｃ１の内側側面は暗いため、他車両Ｃ１の内側側面が映っている画像は２つ以上取得できなかった、というときである。そのような場合、駐車スペース条件として条件２を用いる。

図６に戻って、ステップＳ９において、車両誘導部１４７は、補正された駐車スペース候補の位置に車両１を誘導する。その場合、運転者のために駐車スペース候補等を表示することが好ましい。図１６は、実施形態において駐車スペース候補を表示する場合の一例を示す画面である。図１６（ａ）に示すように、表示装置８の画面８ａに、駐車スペース候補（駐車スペース）が表示される。運転者は、駐車スペース候補に駐車したい場合、操作入力部１０（タッチパネル）において所定の操作をすることで、ステップＳ９の車両誘導が開始される。また、図１６（ｂ）に示すように、表示装置１２にも駐車スペース候補等を表示するようにしてもよい。

このステップＳ９の車両誘導が開始された場合、例えば、車両１は自動操舵モードとなる。自動操舵モードにおいて、運転者は、操舵部４の操作、具体的には、ステアリングホイールの操作は行う必要は無い。また、車両１の前進駆動力及び後進駆動力は、加速操作部５の操作であるアクセルペダルの踏み込み操作を行うことなく、エンジンの駆動力が伝達されるクリーピングを利用する。したがって、運転者は、表示装置８、１２等の表示にしたがって、制動操作部６としてのブレーキペダル及び変速操作部７としてのシフトレバーの操作を行うだけとなる。なお、自動操舵モードにおいて、制動操作部６としてのブレーキペダル及び変速操作部７としてのシフトレバーが、自動で操作されてもよい。

また、車両誘導する軌跡としては、例えば、図１５（ｂ）を用いて説明すると、端点Ｐ１Ｎと端点Ｐ２Ｎの中間点を通って、内側側面Ｙ１Ｎと内側側面Ｙ２Ｎの中間線を通る軌跡とすればよい。また、隣接障害物が駐車スペース候補の片側にしか存在しない場合は、例えば、その片側の障害物の内側側面および端点を基準に軌跡を決定すればよい。

図６に戻って、ステップＳ９の後、ステップＳ１０において、ＥＣＵ１４は、駐車スペース候補に隣接する障害物のうち、ステレオ画像処理していない障害物があるか否かを判定し、Ｙｅｓの場合はステップＳ１２に進み、Ｎｏの場合はステップＳ１１に進む。ステレオ画像処理していない障害物がある場合とは、例えば、前記したように、駐車スペース候補の両側に隣接障害物が存在する場合であって、夜間等の暗い環境のために、一方の隣接障害物についてモデル化（ステップＳ６）が完了していない場合等の特殊な場合である。つまり、多くの場面では、ステップＳ１０でＮｏとなり、ステップＳ１１に進む。

ステップＳ１１において、車両誘導部１４７は、車両誘導が終了したか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ９に戻る。車両誘導が終了した場合とは、例えば、車両１が駐車スペース候補の位置に到着した場合や、運転者が操作入力部１０（タッチパネル）等において車両誘導の終了のための操作を行った場合である。

ステップＳ１０でＹｅｓの場合、ステップＳ１２〜Ｓ１７の処理が実行されるが、ステップＳ１２、Ｓ１３，Ｓ１５，Ｓ１６、Ｓ１７の処理は、それぞれ、ステップＳ１、Ｓ４，Ｓ５，Ｓ６、Ｓ７の処理と同様であるので、説明を省略する。

ステップＳ１４において、ＥＣＵ１４は、ステレオ画像処理していない障害物について、内側側面が映っている画像を２つ以上取得したか否かを判定し、Ｙｅｓの場合はステップＳ１５に進み、Ｎｏの場合はステップＳ９に戻る。図８（ａ）の例を用いると、例えば、夜間等の暗い環境で、車両１がヘッドライトを点灯させた状態で前方に徐行している場合、他車両Ｃ１の内側側面はヘッドライトからの光によっても明るくならないため、他車両Ｃ１の内側側面が映っている画像は２つ以上取得できないことがある。しかし、他車両Ｃ２の内側側面が映っている画像は２つ以上取得できるため、他車両Ｃ２についてのステップＳ４〜Ｓ７の処理は実行され、ステップＳ８でＹｅｓとなり、ステップＳ９で車両誘導が実行される。その場合、車両１は、並列駐車場であれば後退駐車による車両誘導が実行され、その際、車両１のテールライトやバックアップライトによって他車両Ｃ１の内側側面が照らされることで、他車両Ｃ１の内側側面が映っている撮影画像を２つ以上取得できる場合がある。そうすることで、他車両Ｃ１についてもステレオ画像処理等を実行し、それに基づいて、車両１が駐車スペース候補に進入する前に、駐車スペース候補の補正を行うことができる。

このように、本実施形態の駐車支援システム１００によれば、駐車スペース候補に隣接する障害物の内側側面が映っている２つ以上の撮影画像に対してステレオ画像処理を行い、当該障害物の３次元点群を算出することで、駐車スペース候補の位置（駐車目標位置）を早く、かつ、高精度に決定することができる。

また、駐車スペース候補の両側の隣接する障害物それぞれについて、内側側面が映っている撮影画像を２つ以上取得できていれば、車両誘導前に、駐車スペース候補の位置（駐車目標位置）を高精度に決定することができる。

また、ステレオ画像処理を行う際、画像から障害物およびその近傍の画像を抽出することで、画像処理量が少なくて済み、全体の処理時間が短くなる。

また、駐車スペース候補における車両１の側の幅が狭いときには、隣接する障害物の内側側面が映っている撮影画像を２つに限定せずに多く取得することで、駐車スペース候補の位置（駐車目標位置）をより高精度に決定することができる。

また、例えば、夜間等の暗い環境で、２つの隣接する障害物の一方について、内側側面が映っている撮影画像を２つ以上取得できていないときでも、車両誘導開始後に、並列後退駐車であれば、テールライトやバックアップライトによって当該障害物が照らされることで、内側側面が映っている撮影画像を２つ以上取得し、車両１が駐車スペース候補に進入する前には、その２つ以上の撮影画像に基づいて駐車スペース候補の位置を更新することができる。

したがって、前記した従来方法１に比べて、車両１が駐車スペース候補に進入する前に駐車スペース候補の位置の補正（後進）が完了しているので、切り返し等が発生せず、駐車に時間がかからない。

また、前記した従来方法２に比べて、ステレオ画像処理を用いることで、障害物である車両の位置を撮影のサンプリングレート等に関係なく高精度に特定できるとともに、車両以外の柱、ロードコーン等の様々の形状の障害物の位置であっても高精度に特定でき、駐車スペース候補の位置を高精度に特定することができる。

上述の本発明の実施形態は、発明の範囲を限定するものではなく、発明の範囲に含まれる一例に過ぎない。本発明のある実施形態は、上述の実施形態に対して、例えば、具体的な用途、構造、形状、作用、及び効果の少なくとも一部について、発明の要旨を逸脱しない範囲において変更、省略、及び追加がされたものであってもよい。

１…車両、１６，１６ａ〜１６ｄ，１７，１７ａ〜１７ｈ…測距部、１００…駐車支援システム、１４１…駐車スペース候補検出部、１４２…画像抽出部、１４３…ステレオ画像処理部、１４４…モデル化部、１４５…駐車スペース補正部、１４６…駐車スペース判定部、１４７…車両誘導部

Claims (5)

1. 駐車支援を行う駐車支援装置であって、
   前記駐車支援装置が搭載される自車両の走行時に、側方の障害物までの距離データに基づいて、障害物ごとの位置を推定し、側方における駐車スペース候補を検出する駐車スペース候補検出部と、
   前記駐車スペース候補が検出されたときに、撮影された前記自車両の周囲の撮影画像のうち、前記駐車スペース候補に隣接する障害物についての前記駐車スペース候補の側の側面である内側側面が映っている撮影画像を２つ以上選択する画像選択部と、
   前記選択された２つ以上の撮影画像に対してステレオ画像処理を行い、当該障害物の３次元点群を算出するステレオ画像処理部と、
   前記算出された３次元点群に基づいて、当該障害物に関する前記駐車スペース候補の側の位置を決定する位置決定部と、
   前記決定された当該障害物に関する前記駐車スペース候補の側の位置に基づいて、前記駐車スペース候補の位置を補正する駐車スペース補正部と、
   前記補正された前記駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定する駐車スペース判定部と、
   当該幅が第１閾値以上であると判定されたとき、前記補正された駐車スペース候補の位置に前記自車両を誘導する車両誘導部と、
   を備え、
   前記駐車スペース候補の両側に、前記隣接する障害物が存在する場合であって、それぞれの前記隣接する障害物について、前記画像選択部による処理と、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、前記駐車スペース補正部による処理と、が完了しているとき、
   前記駐車スペース判定部は、前記補正された前記駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定し、
   当該幅が第１閾値以上であると判定されたとき、前記車両誘導部は、前記補正された駐車スペース候補の位置に前記自車両を誘導し、
   前記駐車スペース候補の両側に、前記隣接する障害物が存在する場合であって、一方の前記隣接する障害物について、前記画像選択部による前記２つ以上の撮影画像の選択が完了していないことで、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、が実行されていないとき、
   前記駐車スペース補正部は、前記駐車スペース候補の側の位置を決定された他方の前記隣接する障害物の位置に基づいて、前記駐車スペース候補の位置を補正し、
   前記駐車スペース判定部は、前記補正された前記駐車スペース候補の入口部分の幅が、前記第１閾値よりも大きい閾値である第２閾値以上であるか否かを判定し、
   当該幅が前記第２閾値以上であると判定されたとき、前記車両誘導部は、前記補正された駐車スペース候補の位置に前記自車両を誘導する動作を開始し、
   その後、前記画像選択部が、前記一方の隣接する障害物の前記内側側面が映っている撮影画像を２つ以上取得すると、
   前記一方の隣接する障害物について、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、前記駐車スペース補正部による処理とを実行して、前記駐車スペース候補の位置を更新し、
   前記車両誘導部は、前記更新された前記駐車スペース候補の位置に前記自車両を誘導する、駐車支援装置。
2. 駐車支援を行う駐車支援装置であって、
   前記駐車支援装置が搭載される自車両の走行時に、側方の障害物までの距離データに基づいて、障害物ごとの位置を推定し、側方における駐車スペース候補を検出する駐車スペース候補検出部と、
   前記駐車スペース候補が検出されたときに、撮影された前記自車両の周囲の撮影画像のうち、前記駐車スペース候補に隣接する障害物についての前記駐車スペース候補の側の側面である内側側面が映っている撮影画像を２つ以上選択する画像選択部と、
   前記選択された２つ以上の撮影画像に対してステレオ画像処理を行い、当該障害物の３次元点群を算出するステレオ画像処理部と、
   前記算出された３次元点群に基づいて、当該障害物に関する前記駐車スペース候補の側の位置を決定する位置決定部と、
   前記決定された当該障害物に関する前記駐車スペース候補の側の位置に基づいて、前記駐車スペース候補の位置を補正する駐車スペース補正部と、
   を備え、
   前記画像選択部は、
   前記駐車スペース候補における入口部分の幅が第１所定値以上の場合、前記自車両の周囲の撮影画像のうち、前記隣接する障害物の前記内側側面が映っている撮影画像の中から前記内側側面の面積が大きいほうから２つの撮影画像を選択し、
   前記駐車スペース候補における入口部分の幅が前記第１所定値未満の場合、前記自車両の周囲の撮影画像のうち、前記隣接する障害物の前記内側側面が映っている撮影画像の中から前記内側側面の面積が第２所定値以上の撮影画像をすべて選択する、駐車支援装置。
3. 駐車支援を行う駐車支援装置であって、
   前記駐車支援装置が搭載される自車両の走行時に、側方の障害物までの距離データに基づいて、障害物ごとの位置を推定し、側方における駐車スペース候補を検出する駐車スペース候補検出部と、
   前記駐車スペース候補が検出されたときに、撮影された前記自車両の周囲の撮影画像のうち、前記駐車スペース候補に隣接する障害物についての前記駐車スペース候補の側の側面である内側側面が映っている撮影画像を２つ以上選択する画像選択部と、
   前記選択された２つ以上の撮影画像に対してステレオ画像処理を行い、当該障害物の３次元点群を算出するステレオ画像処理部と、
   前記算出された３次元点群に基づいて、当該障害物に関する前記駐車スペース候補の側の位置を決定する位置決定部と、
   前記決定された当該障害物に関する前記駐車スペース候補の側の位置に基づいて、前記駐車スペース候補の位置を補正する駐車スペース補正部と、
   前記補正された前記駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定する駐車スペース判定部と、
   当該幅が第１閾値以上であると判定されたとき、前記補正された駐車スペース候補の位置に前記自車両を誘導する車両誘導部と、
   を備え、
   前記駐車スペース候補の両側に、前記隣接する障害物が存在する場合であって、それぞれの前記隣接する障害物について、前記画像選択部による処理と、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、前記駐車スペース補正部による処理と、が完了しているとき、
   前記駐車スペース判定部は、前記補正された前記駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定し、
   当該幅が第１閾値以上であると判定されたとき、前記車両誘導部は、前記補正された駐車スペース候補の位置に前記自車両を誘導し、
   前記駐車スペース候補の両側に、前記隣接する障害物が存在する場合であって、一方の前記隣接する障害物について、前記画像選択部による前記２つ以上の撮影画像の選択が完了していないことで、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、が実行されていないとき、
   前記駐車スペース補正部は、前記駐車スペース候補の側の位置を決定された他方の前記隣接する障害物の位置に基づいて、前記駐車スペース候補の位置を補正し、
   前記駐車スペース判定部は、前記補正された前記駐車スペース候補の入口部分の幅が、前記第１閾値よりも大きい閾値である第２閾値以上であるか否かを判定し、
   当該幅が前記第２閾値以上であると判定されたとき、前記車両誘導部は、前記補正された駐車スペース候補の位置に前記自車両を誘導する動作を開始し、
   その後、前記画像選択部が、前記一方の隣接する障害物の前記内側側面が映っている撮影画像を２つ以上取得すると、
   前記一方の隣接する障害物について、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、前記駐車スペース補正部による処理とを実行して、前記駐車スペース候補の位置を更新し、
   前記車両誘導部は、前記更新された前記駐車スペース候補の位置に前記自車両を誘導し、
   前記画像選択部は、
   前記駐車スペース候補における入口部分の幅が第１所定値以上の場合、前記自車両の周囲の撮影画像のうち、前記隣接する障害物の前記内側側面が映っている撮影画像の中から前記内側側面の面積が大きいほうから２つの撮影画像を選択し、
   前記駐車スペース候補における入口部分の幅が前記第１所定値未満の場合、前記自車両の周囲の撮影画像のうち、前記隣接する障害物の前記内側側面が映っている撮影画像の中から前記内側側面の面積が第２所定値以上の撮影画像をすべて選択する、駐車支援装置。
4. 駐車支援を行う駐車支援装置であって、
   前記駐車支援装置が搭載される自車両の走行時に、側方の障害物までの距離データに基づいて、障害物ごとの位置を推定し、側方における駐車スペース候補を検出する駐車スペース候補検出部と、
   前記駐車スペース候補が検出されたときに、撮影された前記自車両の周囲の撮影画像のうち、前記駐車スペース候補に隣接する障害物についての前記駐車スペース候補の側の側面である内側側面が映っている撮影画像を２つ以上選択する画像選択部と、
   前記選択された２つ以上の撮影画像に対してステレオ画像処理を行い、当該障害物の３次元点群を算出するステレオ画像処理部と、
   前記算出された３次元点群に基づいて、当該障害物に関する前記駐車スペース候補の側の位置を決定する位置決定部と、
   前記決定された当該障害物に関する前記駐車スペース候補の側の位置に基づいて、前記駐車スペース候補の位置を補正する駐車スペース補正部と、
   前記補正された前記駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定する駐車スペース判定部と、
   当該幅が第１閾値以上であると判定されたとき、前記補正された駐車スペース候補の位置に前記自車両を誘導する車両誘導部と、
   を備え、
   前記駐車スペース候補の両側に、前記隣接する障害物が存在する場合であって、それぞれの前記隣接する障害物について、前記画像選択部による処理と、前記ステレオ画像処理部による処理と、前記位置決定部による処理と、前記駐車スペース補正部による処理と、が完了しているとき、
   前記駐車スペース判定部は、前記補正された前記駐車スペース候補の入口部分の幅が第１閾値以上であるか否かを判定し、
   当該幅が第１閾値以上であると判定されたとき、前記車両誘導部は、前記補正された駐車スペース候補の位置に前記自車両を誘導し、
   前記画像選択部は、
   前記駐車スペース候補における入口部分の幅が第１所定値以上の場合、前記自車両の周囲の撮影画像のうち、前記隣接する障害物の前記内側側面が映っている撮影画像の中から前記内側側面の面積が大きいほうから２つの撮影画像を選択し、
   前記駐車スペース候補における入口部分の幅が前記第１所定値未満の場合、前記自車両の周囲の撮影画像のうち、前記隣接する障害物の前記内側側面が映っている撮影画像の中から前記内側側面の面積が第２所定値以上の撮影画像をすべて選択する、駐車支援装置。
5. 前記ステレオ画像処理部は、前記選択された２つ以上の撮影画像それぞれについて、前記障害物およびその近傍の画像を抽出し、前記抽出した画像に対してステレオ画像処理を行い、前記障害物の３次元点群を算出する請求項１から請求項４のいずれか一項に記載の駐車支援装置。

Images