JP5287344B2 - 駐車支援装置及び障害物検知方法 - Google Patents

駐車支援装置及び障害物検知方法 Download PDF

Info

Publication number
JP5287344B2
JP5287344B2 JP2009043908A JP2009043908A JP5287344B2 JP 5287344 B2 JP5287344 B2 JP 5287344B2 JP 2009043908 A JP2009043908 A JP 2009043908A JP 2009043908 A JP2009043908 A JP 2009043908A JP 5287344 B2 JP5287344 B2 JP 5287344B2
Authority
JP
Japan
Prior art keywords
vehicle
white line
obstacle
parking
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009043908A
Other languages
English (en)
Other versions
JP2010198440A (ja
Inventor
照久 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2009043908A priority Critical patent/JP5287344B2/ja
Publication of JP2010198440A publication Critical patent/JP2010198440A/ja
Application granted granted Critical
Publication of JP5287344B2 publication Critical patent/JP5287344B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両の駐車を支援する駐車支援装置に関し、特に、白線認識により障害物検知を行う機能を有する駐車支援装置及び障害物の検知方法に関する。
従来、車両の駐車を支援する駐車支援装置として、超音波ソナーなどの測距センサによる障害物検知と、車載カメラの撮影映像を用いた白線認識とを組み合わせて、障害物が存在しない駐車スペースを車両の駐車目標位置として適切に設定できるようにしたものが知られている(例えば、特許文献1参照。)。特許文献1に記載の駐車支援装置では、測距センサの検出結果をもとに障害物の存在しない空間を特定し、その空間を対象に車載カメラの撮影映像を用いた白線認識を行って、互いに平行な2つの白線のペアが検出されると、その間に偏りなく車両が駐車されるように駐車目標位置を設定するようにしている。
特開2007−290557号公報
しかしながら、特許文献1に記載の駐車支援装置では、障害物を検知するために超音波ソナーなどの測距センサを車両に搭載する必要があり、コストアップに繋がるという問題がある。
本発明は、以上のような従来の課題を解決すべく創案されたものであって、安価な構成で駐車の妨げとなる障害物を適切に検知することができる駐車支援装置及び障害物検知方法を提供することを目的としている。
本発明は、車両周囲の映像を車両上方から見下ろした俯瞰映像に変換し、この俯瞰映像に対して白線認識処理を行って、得られた白線の長さに基づいて当該白線の周囲に存在する障害物を検知することにより、上述した課題を解決する。
本発明によれば、簡便な画像処理である白線認識処理により障害物を検知するようにしているので、安価な構成で駐車の妨げとなる障害物を適切に検知することができる。
本発明を適用した駐車支援システムの構成を示す構成図である。 ディスプレイに表示される自車周囲の俯瞰映像の映像例を示す図である。 駐車場で車庫入れ駐車を行う駐車シーンを示す模式図である。 障害物の有無を判定する処理の手順を示すフローチャートである。 障害物の有無を判定する手法を説明する図であり、具体的な駐車場の状況を表す模式図である。 図5の状況を俯瞰画像として見たときの図5中の領域Bを拡大して示した図である。 俯瞰画像上における物体の倒れ込みを説明する図である。 障害物の位置を推定する手法を説明する図であり、具体的な駐車場の状況を表す模式図である。 自車が低速で移動している際の自車位置と俯瞰映像上で認識される白線の長さとの関係を示すグラフ図である。 障害物の位置及び高さを推定する処理の手順を示すフローチャートである。 自車が移動した際の俯瞰映像上における白線の端点の位置変化を示す図である。 図11(a)及び図11(b)を自車位置を一致させて重ねた図である。 駐車車両のバンパ高さを求める演算のパラメータを説明する図である。 駐車経路算出の基準点となる駐車車両の右側前端の角部の位置を推定する処理の手順を示すフローチャートである。 駐車車両の左側前端の角部の位置とバンパ高さとに基づいて駐車車両の右側前端の角部の位置を求める手法を説明する図である。 駐車車両の右側角部の位置を求める演算のパラメータを説明する図である。
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。
図1は、本発明を適用した駐車支援システムの構成を示す構成図である。この駐車支援システムは、自車周囲の俯瞰映像を表示しながら自車の駐車時におけるドライバの運転操作を支援するものであり、図1に示すように、本システムの中核をなす駐車支援コントローラ10に対して、車両周囲の映像を撮影する4つの車載カメラ1〜4と、駐車支援のための俯瞰映像を表示するディスプレイ5と、ドライバによる操作入力を受け付ける操作入力デバイス6とが接続されて構成される。
車載カメラ1〜4は、例えば180度程度の画角を有する広角のCCDカメラ或いはCMOSカメラよりなり、これら4つの車載カメラ1〜4で自車周囲を囲む全ての領域の映像を撮影できるように、自車の適所に搭載されている。具体的には、車載カメラ1は自車のフロントグリル、車載カメラ2はリアフィニッシャ、車載カメラ3は右ドアミラー、車載カメラ4は左ドアミラーに各々取り付けられ、それぞれ自車周囲の所定範囲の領域の映像を路面に対して斜めに見下ろす方向で撮影する。
ディスプレイ5は、自車の車室内に設置された液晶表示器などの表示装置であり、駐車支援コントローラ10により生成された駐車支援のための俯瞰映像を表示する。
操作入力デバイス6は、自車のドライバによる各種操作入力を受け付けるものであり、例えば方向キーやタッチパネルなどからなる。この操作入力デバイス6は、ドライバによる操作がなされると、その操作入力に応じた操作信号を駐車支援コントローラ10に入力する。
駐車支援コントローラ10は、例えば、所定の処理プログラムに従って動作するマイクロコンピュータやフレームメモリなどを備えて構成され、マイクロコンピュータのCPUで処理プログラムが実行されることによって、駐車支援のための各種機能を実現する。
具体的には、駐車支援コントローラ10は、4つの車載カメラ1〜4で撮影された映像を入力し、これらの映像を所定の座標変換アルゴリズムに従って自車上方の仮想視点から見た映像にそれぞれ視点変換するとともに繋ぎ合せて、自車周囲を自車上方から見下ろした俯瞰映像を生成し、生成した自車周囲の俯瞰映像をディスプレイ5に表示させる。
ディスプレイ5に表示される自車周囲の俯瞰映像の一例を図2に示す。この図2の映像例において、領域A1はフロントグリルに取り付けられた車載カメラ1で撮影された映像を視点変換した映像であり、領域A2はリアフィニッシャに取り付けられた車載カメラ2で撮影された映像を視点変換した映像である。また、領域A3は右サイドカメラに取り付けられた車載カメラ3で撮影された映像を視点変換した映像であり、領域A4は左サイドカメラに取り付けられた車載カメラ4で撮影された映像を視点変換した映像である。なお、俯瞰映像の中心は自車位置を表す自車位置マークであり、コンピュータグラフィックス画像が重畳されている。この図2の映像例のように、ディスプレイ5に表示される俯瞰映像は、自車を中心としてその周囲360度の状況を自車上方から見下ろすかたちで確認できる映像となっている。
また、駐車支援コントローラ10は、車載カメラ1〜4の映像をもとに生成した俯瞰映像を用いて自車の駐車目標位置を設定し、設定した駐車目標位置へと自車を誘導するための駐車経路の算出を行う。
駐車目標位置の設定は、例えば、上記の俯瞰映像に対して白線認識処理を行って駐車スペースを仕切る白線のペアを認識し、その白線のペアの間の領域を駐車目標位置として設定する、といった手法で行われる。このとき、駐車支援コントローラ10は、俯瞰映像上の駐車目標位置として設定しようとしている位置に、自車に対応した大きさの枠図形(駐車枠)を描画してディスプレイ5に表示させることで、駐車目標位置を自車のドライバに認識させる。また、俯瞰映像上に描画した駐車枠を操作入力デバイス6を用いた操作により動かせるようにし、自車のドライバがこの駐車枠を俯瞰映像上で所望の位置に動かすことで、ドライバの意図する任意の位置に駐車目標位置を設定できるようにしてもよい。
また、自車を駐車目標位置へと誘導するための駐車経路は、例えば、自車を後退走行で駐車目標位置に駐車させる場合を想定すると、後退走行を開始するのに最適な後退開始位置まで自車を前進させる経路と、後退開始位置から駐車目標位置まで後退走行する経路とを組み合わせた一連の経路として算出される。例えば、図3に示すような駐車場での車庫入れ駐車のシーンにおいて、駐車車両V1と駐車車両V2との間のスペースに自車V0の駐車目標位置P1が設定された場合、駐車支援コントローラ10は、この駐車目標位置P1と自車V0の現在位置との位置関係に基づいて、自車V0を一旦前進させて後退開始位置P2に移動させた後、この後退開始位置P2から自車V0を後退させて駐車目標位置P1へと到達させる一連の経路を、駐車経路として算出する。後退開始位置P2は、例えば、舵角一定で駐車目標位置P1に到達する経路L1と自車V0の現在位置から舵角一定で前進したときの経路L2との交点となる位置に設定される。なお、ディスプレイ5に表示される俯瞰映像は、例えば図3中の領域Aを表示した映像となる。
ここで、上述したように俯瞰映像から白線のペアを認識することで駐車目標位置の設定を行うようにした場合、例えば図3の駐車車両V1が駐車しているスペースや駐車車両V2が駐車しているスペースも駐車目標位置の候補となる場合がある。そのため、最終的にその位置を自車の駐車目標位置として設定するかどうかの判断は自車のドライバが行う必要があり、操作が煩雑となるという問題がある。また、自車のドライバが手動で駐車目標位置を設定する場合でも、例えばディスプレイ5には表示されていない領域に障害物が存在している場合など、障害物の存在を自車のドライバが認識できない状況にあると、その位置に駐車目標位置を設定してしまう懸念もある。このような問題を回避するには、周辺に存在する他の駐車車両などの障害物を的確に検知しておくことが重要であるが、例えば超音波ソナーやレーダーなどを用いて障害物を検知する、或いは車載カメラ1〜4で撮影した映像に対してパターンマッチングなどの画像認識処理を行うことで障害物を検知するといった手法では、コストアップや処理負荷の増大を招くといった問題がある。
そこで、本実施形態の駐車支援システムでは、比較的簡便な手法である俯瞰映像に対する白線認識処理により、駐車スペースだけでなくその周囲の障害物も検知できるようにして、その結果を駐車目標位置の設定や駐車経路の算出に反映させて適切な駐車支援を行えるようにしている。以下、駐車支援コントローラ10により実施される俯瞰画像を用いた白線認識による障害物検知について、さらに詳しく説明する。
[障害物有無の判定]
まず、俯瞰映像に対する白線認識処理により障害物の有無を判定する手法について、図4乃至図7を参照して説明する。
駐車支援コントローラ10は、自車の駐車目標位置を設定する際に、図4に示す処理手順に従って、駐車スペースにおける障害物(駐車車両)の有無を判定する。ここでは、ドライバが図5に示す位置、つまり駐車車両V2が駐車しているスペースの横に自車を停車させて駐車支援システムを起動し、駐車支援コントローラ10による駐車目標位置の設定処理を開始させた場合を想定して説明する。
駐車支援システムが起動すると、ディスプレイ5には自車周囲の俯瞰映像が表示されるが、図5に示す状況で表示される俯瞰映像で図5中の領域Bに対応する映像部分に着目すると、駐車車両V2はこの俯瞰映像の中で、図6に示すように台形状に倒れ込んで表示される。これは、駐車車両V2が高さのある立体物であるため、この駐車車両V2を撮影している車載カメラ4の映像を俯瞰映像に変換すると、車載カメラ4の視点から見た駐車車両V2が路面に投影されて表示されるからである。
すなわち、駐車車両V2の車体下端となるバンパ位置を例に説明すると、図7に示すように、このバンパ位置Pb1を視点EP1から鉛直方向に見下ろしたときの路面への投影点はPb2であるのに対し、車載カメラ4の視点EP2から見たときの路面への投影点はPb3となる。そして、車載カメラ4の撮影映像を俯瞰映像に変換すると、車載カメラ4から見た投影点Pb3の位置が俯瞰映像上での駐車車両V2のバンパ位置として表示されることになる。このような関係は、立体物である駐車車両V2の全ての箇所において生じるため、俯瞰映像上における駐車車両V2は、図6に示すように、台形状に倒れ込んで表示されることになる。
本実施形態の駐車支援システムでは、以上のような俯瞰映像上での立体物(駐車車両)の倒れ込みによって駐車スペースを仕切る白線の一部が遮蔽されて白線長さが短くなることを利用し、図4のフローチャートで示す処理を実行することによって、俯瞰映像から認識された白線の長さに基づいて駐車車両などの障害物の有無を判定するようにしている。
具体的には、まずステップS101において、車載カメラ1〜4の撮影映像を用いて生成した俯瞰映像から、エッジ検出などの簡単な画像処理の手法を用いて線分を抽出する。
俯瞰映像から抽出した線分は、駐車スペースを仕切る白線成分のほかにも様々な成分を含んでいる。そこで、ステップS102において、例えば以下の(1)〜(3)に示すような基準に従って、ステップS101で抽出した線分の中から駐車スペースを仕切る白線成分を抽出する。
(1)線分の傾き:図5に示す状況では、自車V0が駐車スペースの横に停車しており、駐車スペースを仕切る白線は自車V0に対してほぼ直角となるので、自車V0に対してほぼ直角となる線分のみを抽出する。
(2)白線太さに応じた線分間の間隔:路面上の白線の太さは150mm程度であることから、(1)で抽出した線分の中から、線分間の間隔が150mm程度の線分のペアを抽出する。
(3)駐車スペースの幅に応じた白線の間隔:一般的な駐車場における駐車スペースの幅が2.5m程度であることから、(2)でペアリングした線分のペアの中から、他のペアとの間隔が2.5m程度であるものを白線候補として抽出する。
なお、以上は俯瞰映像から白線を認識する手法の一例であり、白線を認識する処理については、ここで説明した以外の手法を用いても構わない。
次に、ステップS103において、ステップS102で抽出した白線成分の端点を検出し、白線の長さを算出する。例えば、図6に示す俯瞰映像の映像部分からは、駐車車両V2が駐車している駐車スペースを仕切る一対の白線WL1,WL2が抽出されるので、白線WL1の端点Pe1,Pe2と、白線WL2の端点Pe3,Pe4とを検出し、端点Pe1,Pe2間の距離を白線WL1の長さ、端点Pe3,Pe4間の距離を白線WL2の長さとして求めればよい。
次に、ステップS104において、2つの白線WL1,WL2の間の駐車スペースの真ん中に自車とほぼ同じ幅の駐車車両が駐車しているものと仮定し、駐車スペースの映像(白線の映像)を撮影する車載カメラ4の位置と駐車スペースの位置(白線位置)との位置関係に基づいて、駐車車両の倒れ込みの影響を受けた場合の俯瞰映像上における白線の長さを算出する。そして、ステップS105において、ステップS103で算出した白線長さと、ステップS104で算出した白線長さとを比較し、両者の差が所定値以下となっているか否かを判定する。ここでの判定に用いる所定値は、駐車スペース内における実際の駐車車両の駐車位置の偏りを考慮して、俯瞰映像上で駐車車両と白線とが重なる位置(端点)の最大変化量を事前の計算などにより求めておき、その値に設定しておけばよい。
そして、ステップS105の判定の結果、ステップS103で算出した白線長さとステップS104で算出した白線長さの差が所定値以下の場合には、当該駐車スペース内に障害物(駐車車両)が存在すると判断する(ステップS106)。一方、ステップS103で算出した白線長さとステップS104で算出した白線長さの差が所定値を超えていれば、当該駐車スペース内に障害物(駐車車両)は存在しないと判断する(ステップS107)。なお、以上のような白線長さの比較は、駐車スペースの両側の2つの白線のうちの一方に対して行えばよいが、2つの白線の双方に対して長さの比較を行うようにすれば、障害物の有無をより精度良く判定することができる。また、以上の説明では、白線長さの比較によって障害物の有無を判定しているが、白線の端点の位置を比較するようにしても同様に障害物の有無を判定することができる。
以上の処理により、俯瞰映像を用いた簡便な手法で駐車スペース内の障害物(駐車車両)の有無を判定できる。したがって、自車の駐車目標位置を設定する際には、障害物が存在する駐車スペースは駐車目標位置の候補とせずに、他の駐車スペースを探索して、障害物が存在しない駐車スペースに駐車目標位置を適切に設定することが可能となる。また、ドライバが手動で駐車目標位置を設定する場合には、例えば、障害物が存在する駐車スペースに駐車枠を移動した際に駐車枠の表示を中断する、或いは駐車枠の色を変えて表示するといった処理を行うことで、ディスプレイ5に表示されている俯瞰映像では障害物の有無を判断しづらい場合でも、ドライバに障害物の有無を的確に伝えることができる。
[障害物の位置及び高さの推定]
次に、自車の移動に伴って俯瞰映像から認識される白線の長さが変化することを利用して障害物の位置及び高さを推定する手法について、図8乃至図13を参照して説明する。なお、以下の説明では、自車の後輪を結んだ方向をX軸、路面と平行でX軸に垂直な方向をY軸とする。
まず、自車が低速で移動したときに俯瞰映像上の白線の長さがどのように変化するかについて、図8及び図9を用いて説明する。ここでは、図8に示すように、白線WL3と白線WL4との間の駐車スペースに障害物となる駐車車両V1が駐車しており、白線WL3の映像が自車V0の前方に取り付けられた車載カメラ1により撮影されている場合を想定して説明する。
自車V0がY軸方向に低速で移動しているときに、自車のY軸位置を横軸にとり、俯瞰映像に対する白線認識により抽出される白線の長さを縦軸にとってグラフを作ると、図9に示すものが得られる。ここで、位置VP0(時刻t=T0)は、白線WL3が俯瞰映像の範囲に入り始めたときのY軸位置であり、位置VP4(時刻t=T4)は、白線WL3が車載カメラ1の撮影範囲から車載カメラ4の撮影範囲に切り替わるときのY軸位置である。
この図9に示すように、位置VP0(時刻t=T0)から位置VP1(時刻=T1)までの間は、駐車車両V1のバンパ角部の点(つまり、駐車車両VP1の車体と路面との間の隙間の上端点)が白線WL3よりも外側(図8における上側)に倒れ込むため、俯瞰映像上で認識される白線WL3の長さは変わらない。それに対して、位置VP1(時刻t=T1)から位置VP2(時刻t=T2)までの間は、駐車車両V1のバンパ角部の点が白線WL3よりも内側(図8における下側)に倒れ込むために、俯瞰映像上で認識される白線WL3の長さが自車V0の移動に伴って変化する。また、位置VP2(時刻t=T2)から位置VP3(時刻t=T3)までの間は、俯瞰映像上で白線WL3が駐車車両V1により遮蔽されることなく全て表示されるので、再び白線WL3の長さが変化しない区間となる。以上により、自車V0のY軸位置に応じた俯瞰映像上の白線WL3の長さは、図9のグラフで示すようになる。
本実施形態の駐車支援システムでは、以上のように俯瞰映像上で障害物により遮蔽されている白線の長さが自車の移動に伴って変化することを利用して、自車が低速でY軸方向に移動している間に図10のフローチャートで示す処理を実行し、ある時刻t=t1と時刻t=t2(T1<t1<t2<T2)とで俯瞰映像上における同一の白線の端点を検出することで、駐車車両V1などの障害物の位置及び高さを推定するようにしている。
具体的には、まずステップS201において、時刻t=t1のときに生成される俯瞰映像を対象として、例えば図4のフローチャートを用いて説明したような上記の白線認識処理を行うことにより、図11(a)に示すように、駐車車両V1が存在する駐車スペースを仕切る白線WL3の端点Pe6,Pe7を検出する。
次に、ステップS202において、時刻t=t1から時間Δt経過後の時刻t=t2の時点で、図11(b)に示すように、俯瞰映像上における白線WL3の端点Pe6’,Pe7’を再度検出する。なお、時刻t=t2の時点での白線WL3の端点Pe6’,Pe7’は、時刻t=t2の時点でステップS201と同様の処理を繰り返し行うことで検出するようにしてもよいし、時刻t=t1から時刻t=t2まで端点を追跡し続けるようなトラッキング手法を用いて検出するようにしてもよい。
次に、ステップS203において、ステップS201で検出した白線WL3の端点Pe7の座標と、ステップS202で検出した白線WL3の端点Pe7’の座標とに基づいて、自車V0の側線から駐車車両V1前端までの距離Lと、白線WL3から駐車車両V4の側線までの距離δdとを求めて、駐車車両V1の位置(障害物位置)を推定する。
具体的に説明すると、例えば、時刻t=t1から時刻t=t2までのΔtの間に自車V0がY軸方向に距離dだけ前進しているとすると、自車V0を基準とした俯瞰映像上では、白線WL3及び駐車車両V1が、Δtの間にY軸−方向に距離dだけ移動することになる。ここで、図12に示すように、車載カメラ1と端点Pe6とを結ぶ線分と交点n1で交わり、車載カメラ1と端点Pe6’とを結ぶ線分と交点n2で交わる直線で、且つ、自車V0の側線に平行(Y軸と平行)となる長さがdとなる線分Nを考えると、交点n1の位置が時刻t=t1の時点での駐車車両V1のバンパ角部の位置であり、交点n2の位置が時刻t=t2の時点での駐車車両V1のバンパ角部の位置であることが分かる。これにより、自車V0の側線から駐車車両V1の前端までの距離Lと、白線WL3から駐車車両V1の側線までの距離δdが求められ、駐車車両V1の位置を推定することができる。なお、図12は、図11(a)と図11(b)とを自車V0の位置が一致するように重ね合わせたものである。
次に、ステップS204において、既知のパラメータである車載カメラ1の取り付け高さと、俯瞰映像上で観測される白線WL3の最小長さ(図9のVP0からVP1の間で観測される白線長さであり、時刻t=T1以前の任意のタイミングで計測した値である。)と、ステップS203で求めた距離Lをもとに算出した車載カメラ1から駐車車両V1の前端までの距離とに基づいて、駐車車両V1のバンパ高さ(障害物高さ)を推定する。
具体的に説明すると、駐車車両V1のバンパ高さをZb、車載カメラ1の取り付け高さをZc、俯瞰映像上で観測される白線WL3の最小長さをD1、車載カメラ1から駐車車両V1の前端までの距離をD2とすると、これらの関係は図13のような幾何学モデルで近似することができ、駐車車両V1のバンパ高さZbは、ZcとD1とD2とから、以下のように求めることができる。
D1:(D1+D2)=Zb:Zc
Zb=Zc・D1/(D1+D2)
以上の処理により駐車スペース内の障害物(駐車車両)の位置及び高さ(バンパ高さ)を推定することで、実際の障害物の位置及びその俯瞰映像上での倒れ込み量を把握することができ、例えば、ディスプレイ5に表示される俯瞰映像上の障害物の映像を実際の位置に近づけるように加工・修正するといった画像処理を容易に行うことが可能となる。したがって、簡便な画像処理でより正確な俯瞰映像をディスプレイ5に表示することが可能となり、自車の周囲状況をドライバに対してより的確に把握させることが可能となる。
なお、以上の例では、白線端点の検出を時刻t=t1と時刻t=t2との2つの時点で行っているが、駐車支援コントローラ10の処理能力に余裕がある場合には、さらに多くの時点で白線端点の検出を行うようにしてもよい。その場合には、自車の移動に伴う白線長さの変化をより詳細に分析することができ、障害物(駐車車両)の位置及び高さ(バンパ高さ)をより精度良く推定することができる。
[駐車経路算出のための基準位置の推定]
次に、駐車経路算出のための基準位置を推定する手法について、図14乃至図16を参照して説明する。
図3に示したような駐車場での車庫入れ駐車のシーンを考えた場合、後退開始位置P2から駐車目標位置P1に至る経路L1は、駐車目標位置P1に隣接して駐車している駐車車両V1との干渉を避ける経路とする必要がある。ここで、上述した駐車車両V1の位置及び高さの推定処理では、駐車車両V1の左側前端の角部の位置(バンパ角部)とバンパ高さとが推定されるが、駐車車両V1との干渉を避ける経路L1を算出するために必要となる位置、つまり駐車経路算出の基準となる駐車車両V1における位置は、右側前端の角部の位置である。
そこで、本実施形態の駐車支援システムでは、図14のフローチャートで示す処理により、駐車車両V1の左側前端の角部の位置及びバンパ高さを用いて、駐車車両V1の右側前端の角部の位置を推定し、この位置を基準に駐車経路を算出することで、駐車車両V1との干渉を避ける適切な経路を算出できるようにしている。以下、図15に示すように、障害物となる駐車車両V1の映像が自車V0の前方に取り付けられた車載カメラ1により撮影されているものとして、駐車経路を算出する基準となる駐車車両V1の右側前端の角部の位置を推定する手法について具体的に説明する。
まずステップS301において、上述した駐車車両V1の位置及び高さの推定処理で求めた駐車車両V1のバンパ角部の位置及びバンパ高さに基づいて、車載カメラ1の視点から見た駐車車両V1のバンパ角部の路面への投影点Pb4を求める。この投影点Pb4は、図15に示すように、俯瞰映像上における駐車車両V1の左側前端の角部の位置となる。
次に、ステップS302において、ステップS301で求めた投影点Pb4を基準として、俯瞰映像上で白線WL3,WL4に対して垂直な方向(Y軸方向)にエッジ検出を行い、俯瞰映像上における駐車車両V1のバンパエッジEbを求める。
次に、ステップS303において、ステップS302で求めたバンパエッジEbにおける投影点Pb4とは反対側の端点を求める。このエッジ端点が、駐車車両V1の右側前端の角部を車載カメラ1の視点から見たときの路面への投影点Pb5となる。
次に、ステップS304において、既知のパラメータである車載カメラ1の取り付け高さと、駐車車両V1のバンパ高さと、ステップS303で求めた投影点Pb5の座標とに基づいて、駐車車両V1の右側前端の角部の位置(駐車経路算出のための基準位置)を推定する。
具体的に説明すると、車載カメラ1の取り付け高さをZc、駐車車両V1のバンパ高さをZb、投影点Pb5の座標から求められる車載カメラ1と投影点Pb5との間のX軸方向の距離をLx1、駐車車両V1の右側前端の角部の位置と車載カメラ1との間のX軸方向の距離をLx2とすると、これらの関係は図16のような幾何学モデルで近似することができ、駐車車両V1の右側前端の角部の位置と車載カメラ1との間のX軸方向の距離Lx2は、ZcとZbとLx1とから、以下のように求めることができる。
Zb:Zc=(Lx1−Lx2):Lx1
Lx2=Lx1−Zb・Lx1/Zc
また、駐車車両V1の右側前端の角部の位置と車載カメラ1との間のY軸方向の距離についても、以上のX軸方向の距離と同様の手法で求めることができる。
以上の処理により、駐車スペース内の障害物(駐車車両)の自車に対する相対位置を正確に求めることができる。したがって、駐車目標位置へと自車を誘導する駐車経路を算出する際に、障害物(駐車車両)を避けて通る適切な経路を算出することができ、自車の駐車を適切に支援することができる。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の駐車支援システムによれば、駐車支援コントローラ10が、車載カメラ1〜4の映像を用いて生成した俯瞰映像に対して簡便な画像処理である白線認識処理を行い、俯瞰映像から得られる白線長さに基づいて白線周囲に存在する障害物(駐車車両)を検知するようにしているので、安価な構成で自車の駐車の妨げとなる障害物を適切に検知することができる。
また、俯瞰映像に対する白線認識処理により障害物が存在すると判定された駐車スペースを避けて自車の駐車目標位置を設定することにより、駐車目標位置を適切な位置に簡便に設定することができる。
また、障害物が存在する駐車スペースの近傍を車両が移動している間に、少なくとも2つの時刻で駐車スペースを区切る同一の白線の長さを求めることで、2つの時刻それぞれの白線の長さと、2つの時刻の間の車両の移動量とに基づいて、駐車スペースに存在する障害物の推定位置を簡便に求めることができる。そして、ディスプレイ5に表示される俯瞰映像上の障害物の位置を、推定した位置に合わせるように修正すれば、自車のドライバに自車の周囲状況をより正確に提示することが可能となる。
また、障害物の推定位置として、当該障害物を避ける経路を算出する基準となる基準点の位置を求めることで、自車を駐車目標位置へと誘導するための適切な駐車経路を簡便に算出することができ、自車の駐車を適切に支援することができる。
以下、参考として、上述した実施形態と特許請求の範囲に記載の構成要件との対応関係を付記する。上述した実施形態の駐車支援システムにおいて、自車に取り付けられた車載カメラ1〜4が、特許請求の範囲に記載の「撮像手段」に相当する。また、車載カメラ1〜4の映像から自車周囲の俯瞰映像を生成する駐車支援コントローラ10による処理が、特許請求の範囲に記載の「映像変換手段」に相当する。また、俯瞰映像から駐車スペースを区切る白線を認識する駐車支援コントローラ10による処理(図4のフローチャートにおけるステップS101〜ステップS103の処理)が、特許請求の範囲に記載の「白線認識手段」に相当する。また、俯瞰映像から認識した白線の長さに基づいて障害物の有無の判定や位置(高さ)の推定を行う駐車支援コントローラ10による処理(例えば、図4のフローチャートにおけるステップS104〜ステップS107の処理)が、特許請求の範囲に記載の「障害物検知手段」に相当する。また、障害物が存在する駐車スペースを避けて自車の駐車目標位置を設定する駐車支援コントローラ10による処理が、特許請求の範囲に記載の「駐車目標位置設定手段」に相当する。また、自車の車室内に設置されたディスプレイ5が、特許請求の範囲に記載の「表示手段」に相当する。また、推定した障害物の位置に応じて俯瞰映像上の障害物の位置を修正する駐車支援コントローラ10による処理が、特許請求の範囲に記載の「映像加工手段」に相当する。また、推定した障害物の角の位置を避けるように自車の駐車経路を算出する駐車支援コントローラ10による処理が、特許請求の範囲に記載の「駐車経路算出手段」に相当する。
なお、以上説明した本発明の実施形態は、本発明の一適用例を例示的に示したものであり、本発明の技術的範囲が上記の実施形態として開示した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、上記の実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。
1〜4 車載カメラ
5 ディスプレイ
10 駐車支援コントローラ
V0 自車
V1〜V3 駐車車両(障害物)
P1 駐車目標位置
WL1〜WL4 白線

Claims (8)

  1. 車両周囲の映像を撮影する撮像手段と、
    前記撮像手段により撮影された映像を車両上方から見下ろした俯瞰映像に変換する映像変換手段と、
    前記映像変換手段により生成された俯瞰映像から白線を認識する白線認識手段と、
    前記白線認識手段により認識された白線の長さに基づいて、白線周囲に存在する障害物を検知する障害物検知手段とを備え、
    前記障害物検知手段は、駐車スペースを区切る白線の長さと、当該白線に対する前記撮像手段の位置関係とに基づいて、前記駐車スペースに障害物となる駐車車両が存在するか否かを判定することを特徴とする駐車支援装置。
  2. 前記障害物検知手段により障害物が存在すると判定された駐車スペースを避けて車両の駐車目標位置を設定する駐車目標位置設定手段をさらに備えることを特徴とする請求項に記載の駐車支援装置。
  3. 車両周囲の映像を撮影する撮像手段と、
    前記撮像手段により撮影された映像を車両上方から見下ろした俯瞰映像に変換する映像変換手段と、
    前記映像変換手段により生成された俯瞰映像から白線を認識する白線認識手段と、
    前記白線認識手段により認識された白線の長さに基づいて、白線周囲に存在する障害物を検知する障害物検知手段とを備え、
    前記障害物検知手段は、障害物が存在する駐車スペースの近傍を車両が移動している間に、少なくとも2つの時刻で前記駐車スペースを区切る同一の白線の長さを求め、2つの時刻それぞれの白線の長さと、2つの時刻の間の車両の移動量とに基づいて、前記駐車スペースに存在する障害物の位置を推定することを特徴とする駐車支援装置。
  4. 前記映像変換手段により生成された俯瞰映像を表示する表示手段と、
    前記障害物検知手段により推定された障害物の位置に合わせて、前記表示手段に表示される俯瞰映像上の障害物の位置を修正する映像加工手段と、をさらに備えることを特徴とする請求項に記載の駐車支援装置。
  5. 前記障害物検知手段は、前記障害物を避ける経路を算出する際の基準点となる障害物の角の位置を推定することを特徴とする請求項3又は4に記載の駐車支援装置。
  6. 前記障害物検知手段により推定された障害物の角の位置を避けるように、車両の駐車経路を算出する駐車経路算出手段をさらに備えることを特徴とする請求項に記載の駐車支援装置。
  7. 車両周囲の映像を車両上方から見下ろした俯瞰映像に変換し、当該俯瞰映像から白線を認識して、認識した白線の長さに基づいて当該白線の周囲に存在する障害物を検知し、
    前記障害物を検知することは、駐車スペースを区切る白線の長さと、車両周囲の映像を撮影する撮像手段の前記白線に対する位置関係とに基づいて、前記駐車スペースに障害物となる駐車車両が存在するか否かを判定することを含むことを特徴とする障害物検知方法。
  8. 車両周囲の映像を車両上方から見下ろした俯瞰映像に変換し、当該俯瞰映像から白線を認識して、認識した白線の長さに基づいて当該白線の周囲に存在する障害物を検知し、
    前記障害物を検知することは、障害物が存在する駐車スペースの近傍を車両が移動している間に、少なくとも2つの時刻で前記駐車スペースを区切る同一の白線の長さを求め、2つの時刻それぞれの白線の長さと、2つの時刻の間の車両の移動量とに基づいて、前記駐車スペースに存在する障害物の位置を推定することを含むことを特徴とする障害物検知方法。
JP2009043908A 2009-02-26 2009-02-26 駐車支援装置及び障害物検知方法 Active JP5287344B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009043908A JP5287344B2 (ja) 2009-02-26 2009-02-26 駐車支援装置及び障害物検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009043908A JP5287344B2 (ja) 2009-02-26 2009-02-26 駐車支援装置及び障害物検知方法

Publications (2)

Publication Number Publication Date
JP2010198440A JP2010198440A (ja) 2010-09-09
JP5287344B2 true JP5287344B2 (ja) 2013-09-11

Family

ID=42823083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009043908A Active JP5287344B2 (ja) 2009-02-26 2009-02-26 駐車支援装置及び障害物検知方法

Country Status (1)

Country Link
JP (1) JP5287344B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017068700A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 駐車スペース検出方法および装置
CA3002641C (en) 2015-10-22 2022-05-17 Nissan Motor Co., Ltd. Parking space detection method and device
JP6743593B2 (ja) * 2016-08-31 2020-08-19 アイシン精機株式会社 駐車支援装置
CN106541944B (zh) * 2016-11-07 2019-03-05 纵目科技(上海)股份有限公司 一种库位检测方法、系统、及移动设备
JP6677141B2 (ja) * 2016-11-10 2020-04-08 株式会社デンソー 駐車枠認識装置
JP6677142B2 (ja) * 2016-11-10 2020-04-08 株式会社デンソー 駐車枠認識装置
JP7245640B2 (ja) * 2018-12-14 2023-03-24 株式会社デンソーテン 画像処理装置および画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516117B2 (ja) * 1997-03-21 2004-04-05 オムロン株式会社 画像処理方法およびその装置
JP4449701B2 (ja) * 2004-10-28 2010-04-14 株式会社デンソー 駐車支援システム
JP2007183877A (ja) * 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
JP4769625B2 (ja) * 2006-04-25 2011-09-07 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP5092330B2 (ja) * 2006-09-27 2012-12-05 アイシン・エィ・ダブリュ株式会社 駐車支援装置および駐車支援方法

Also Published As

Publication number Publication date
JP2010198440A (ja) 2010-09-09

Similar Documents

Publication Publication Date Title
JP6551525B2 (ja) 駐車支援装置及び駐車支援方法
JP5287344B2 (ja) 駐車支援装置及び障害物検知方法
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
RU2734643C1 (ru) Способ помощи при парковке для устройства помощи при парковке и устройство помощи при парковке
JP4604703B2 (ja) 駐車補助装置
US7894631B2 (en) Obstacle detection apparatus
JP4530060B2 (ja) 駐車支援装置及び方法
WO2016002405A1 (ja) 駐車枠認識装置
JP2003063340A (ja) 運転補助装置
JP2005209019A (ja) 障害物検出装置、方法及びプログラム
JP2004240480A (ja) 運転支援装置
JP6642906B2 (ja) 駐車位置検出システム及びそれを用いた自動駐車システム
JP2017052471A (ja) 車両用駐車区画認識装置
JP2010028432A (ja) 駐車支援装置および画像表示方法
JP5971197B2 (ja) 駐車支援装置
JP2013052754A (ja) 駐車支援装置
JP2007124097A (ja) 車両周辺視認装置
JP4645542B2 (ja) 駐車空間検出装置
JP5012669B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
KR101734726B1 (ko) 주차공간 탐지 방법 및 이를 실행하는 장치
KR101424636B1 (ko) 자동 후진 주차시스템
JP5040938B2 (ja) 駐車支援装置及び駐車支援映像の表示方法
JP2005170290A (ja) 障害物検出装置
JP2017166897A (ja) 物体検知システム、異常判定方法、及びプログラム
JP4106163B2 (ja) 障害物検出装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130520

R150 Certificate of patent or registration of utility model

Ref document number: 5287344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150