JP4940168B2 - 駐車スペース認識装置 - Google Patents

駐車スペース認識装置 Download PDF

Info

Publication number
JP4940168B2
JP4940168B2 JP2008043707A JP2008043707A JP4940168B2 JP 4940168 B2 JP4940168 B2 JP 4940168B2 JP 2008043707 A JP2008043707 A JP 2008043707A JP 2008043707 A JP2008043707 A JP 2008043707A JP 4940168 B2 JP4940168 B2 JP 4940168B2
Authority
JP
Japan
Prior art keywords
parking space
vehicle
image
parking
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008043707A
Other languages
English (en)
Other versions
JP2009205191A (ja
Inventor
ひろし 今井
耕太 入江
將裕 清原
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to JP2008043707A priority Critical patent/JP4940168B2/ja
Publication of JP2009205191A publication Critical patent/JP2009205191A/ja
Application granted granted Critical
Publication of JP4940168B2 publication Critical patent/JP4940168B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像を用いて駐車スペースを認識する技術に関する。

自車両に搭載された撮像装置が撮像した画像から駐車枠線を検出し、駐車の支援を行う技術が知られている。

例えば、車両の停止状態を検出する検出手段により車両の停止状態が検出された際、その停止位置に対して所定の相対関係にある位置を駐車目標位置として認識する技術がある(特許文献1参照)。

特開2004−345496号公報

しかし、特許文献1に記載の技術では、物理的な空間の情報のみで目標とする駐車スペースを決定しているため、例えば、自車が一般車両であっても、身体障害者専用の駐車スペースが空いている場合、そこを駐車目標としてしまう可能性がある。

そこで本発明の目的は、センサによって計測された情報をもとに候補となる空間的に駐車可能なスペースを検出するとともに、さらにその検出された駐車スペース候補に自車両が駐車する権限を有するか否かを判断材料として加味することで、ユーザーに適した駐車スペースを認識するための技術を提供することにある。

前記課題を解決するため、駐車スペース認識装置は、自車両が空間的に進入可能なスペースを検出するセンシング手段と、スペースを含む領域の画像を取得する画像取得手段と、取得画像に対して予め用意された基準となるテンプレートと照合することでスペースに表示されている駐車スペースの用途を認識する駐車スペース用途認識手段と、を有し、駐車スペース用途認識手段の結果と、予め登録された固有情報によって、自車両が駐車可能な駐車スペースに対して優先順位が付加される。

本発明によれば、センサによって計測された情報をもとに候補となる空間的に駐車可能なスペースを検出するとともに、さらにその検出された駐車スペース候補に自車両が駐車する権限を有するか否かを判断材料として加味することで、ユーザーに適した駐車スペースを認識するための技術を提供することができる。

以下、実施形態について、図面を参照して説明する。

図1は、第一の実施形態にかかる駐車スペース認識システム11の機能構成を示すブロック図である。

駐車スペース認識システム11は、駐車スペース認識装置10と、カメラ1と、超音波センサ5と、モニタ8と、ユーザーインタフェース4と、外部記憶装置6と、外部通信装置7を含んでおり、車両ネットワーク3に接続されている。

駐車スペース認識装置10は、路面表示テンプレートデータベース200と、車両固有情報2と、位置固有情報9と、運転者固有情報15と、駐車スペース認識機能201と、駐車スペース認識結果表示機能202と、駐車スペース決定機能203と、駐車位置座標出力機能204と、車両情報取得機能206と、を備える。

車両固有情報2は、車両の寸法情報や、身体障害者車両情報などが含まれている。

運転者固有情報15は、運転者の年齢や、免許取得年月日や、契約している駐車場の番号などの情報などが含まれている。

路面表示テンプレートデータベース200は、駐車スペースに表示されている可能性がある文字やマークなどの形状情報を含むテンプレートを、予め登録したものである。図26にテンプレートの一例を示す。それぞれのテンプレートには、テンプレートコードと、形状情報と、色情報と、路面表示402が意味する内容に加え、探索する優先度情報を含んでいる。このテンプレート探索優先度は、車両固有情報2と、位置固有情報9とを加味して決定される。また、この優先度はユーザーが任意に設定することもできる。図30にテンプレートに含まれる情報の一例を示す。

また、路面表示テンプレートデータベース200には、予め登録されたテンプレートの他に、カメラ1で撮影した画像や、外部記憶装置6や、外部通信装置7,車両ネットワーク3によってユーザーが任意のテンプレートを追加登録することができる。

車両情報取得機能206は、車両ネットワーク3と接続されており、自車両の速度や、ヨーレートや、シフトポジションや、カーナビゲーション装置80から出力される現在位置の情報や、現在時刻の情報を取得する。これら以外にも、車両ネットワーク3に流れている情報は全て取得することが可能である。

カーナビゲーション装置80は、例えば、GPS(全地球測位システム)や車速パルス、ジャイロなどの自律航法装置を利用して、自車両の位置の検出や、目的地への走行経路案内を実行する装置である。

位置固有情報9は、カーナビゲーション装置80の地図上の座標に対して、固有のテンプレート探索優先度を付加した情報である。例えば、ユーザーが個人で契約している駐車場の地図位置に対して、ユーザーが契約している駐車場の番号が表示されている駐車スペースを優先的に探索するといった設定を位置固有情報9として登録することができる。

車両制御装置205は、駐車スペースへ車両を移動させるための制御を行う装置である。駐車スペース認識装置10によって認識された駐車スペースまでの距離や角度の情報から、車両の操作系や駆動系に対する制御値を演算し、そのデータを出力する。

カメラ1は、例えば、車両の後方に設置され、車両後方側の所定の撮影範囲を、地面に対して斜めに見下ろす方向で撮像する。もちろん、設置位置は車両の後方に限らず、車両の前方や車体下等に設置することも可能である。

超音波センサ5は、例えば、車両の後方に設置され、車両後方側の所定範囲の距離を計測する。もちろん、設置位置は車両の後方に限らず、車両の前方や車体下等に設置することも可能である。

駐車スペース認識機能201では、まず、カメラ1からの画像を撮像し、俯瞰変換を行う。具体的には、予め撮像画像を俯瞰画像60に変換するために必要な変換テーブル(図示しない)を外部記憶装置6に記憶する。変換テーブルとは、例えば、撮像画像の各画素の座標位置と、俯瞰画像60の各画素の座標位置と、を対応付け、ここに角度差やレンズの歪曲収差を補正するための補正パラメータを配したものである。これらはレンズの光学特性並びに自車両に対する取り付け位置及び角度に基づいて、一意に決定される。なお、変換テーブルは、I/F部を介して、他の装置から取得してもよい。

続いて、超音波センサ5からの距離情報61を取得する。この俯瞰画像60と距離情報61をもとに、自車両が駐車可能な物理的な空間(駐車可能空間と呼ぶ)を認識する。

次に、路面表示テンプレートデータベース200の情報をもとに、認識された駐車可能空間の路面上に登録された路面表示402の有無を探索する。探索の結果、認識された駐車可能空間において、自車が駐車する権限の有無を判定し、適切な駐車スペースの候補を出力する。なお、前記探索の結果、自車が駐車する権限のある駐車スペースが複数存在する場合は、路面表示テンプレートデータベース200に登録された優先度を付加した結果として出力する。詳細の処理については後述する。

駐車スペース認識結果表示機能202では、俯瞰画像60に対して、駐車スペース認識機能201によって出力された駐車スペースの候補をオーバーレイしてモニタ8に表示する。図3に駐車スペース認識結果表示の例を示す。

複数の駐車スペースが存在する場合は、初期化処理S100で設定された駐車スペース探索優先度の情報をもとに、優先度が視覚的にわかるように、優先度の数値、または色、または線の種類、または線の太さなど表示する。本実施形態では、第一候補として認識した駐車スペース30を実線で、第二候補として認識した駐車スペース31を荒い破線で、第三候補として認識した駐車スペース32を細かい破線で表現している。

ここで、自車両の種別を考慮した駐車スペースの優先度の設定について、図4から図9を用いて具体例を説明する。

図4の例は、自車両の種別が、身体障害者用の車両92であり、第一候補と認識した駐車スペース30として、身体障害者用駐車スペース(A)が設定され、2カ所の車両の種別制限が無い駐車スペースに関しては、自車から近い駐車スペース(B)が第二候補と認識した駐車スペースとして設定され、自車から遠い駐車スペース(C)が第三候補と認識した駐車スペース32として設定されている。駐車スペース(D)は、駐車車両95が存在するため、候補には設定されていない。

図5の例は、自車両の種別が、一般の車両90であり、第一候補として認識した駐車スペース30として、車両の種別制限が無い駐車スペースが設定されている。隣接する身体障害者用駐車スペースは、空間としては空いているが、自車両の種別が一般の車両90に設定されているため、駐車スペースの候補として設定されていない。また、駐車スペース
(C)と(D)は、駐車車両95が存在するため、候補には設定されていない。

図6の例は、自車両の種別が、一般の車両90である。まず、身体障害者用駐車スペース(A)は、空間としては空いているが、自車両の種別が一般の車両90に設定されているため、駐車スペースの候補として設定されていない。車両の種別制限が無い駐車スペースが2カ所存在しているが、自車から近い駐車スペース(B)が第二候補と認識した駐車スペースとして設定され、自車から遠い駐車スペース(C)が第三候補と認識した駐車スペース32として設定されている。駐車スペース(D)は、駐車車両95が存在するため、候補には設定されていない。

図7の例は、自車両の種別が、一般の軽自動車91であり、第一候補と認識した駐車スペース30として、軽自動車用駐車スペース(A)が設定され、2カ所の車両の種別制限が無い駐車スペースに関しては、自車から近い駐車スペース(B)が第二候補と認識した駐車スペースとして設定され、自車から遠い駐車スペース(C)が第三候補と認識した駐車スペース32として設定されている。駐車スペース(D)は、駐車車両95が存在するため、候補には設定されていない。

図8の例は、自車両の種別が、一般の車両90であり、かつ、ユーザーの駐車場契約番号が「1」である場合である。第一候補として認識した駐車スペース30として、駐車枠番号表示23が「1」の駐車スペース(A)に設定されている。車両の種別制限が無い駐車スペースとして(B)と(C)が存在するが、ユーザーの駐車場契約番号が異なるため、候補として設定されない。また、駐車スペース(D)は、駐車車両95が存在するため、候補には設定されていない。

図9の例は、自車両の種別が、一般の車両90である。まず、軽自動車用駐車スペース(A)は、空間としては空いているが、自車両の種別が一般の車両90に設定されているため、駐車スペースの候補として設定されていない。車両の種別制限が無い駐車スペースが2カ所存在しているが、自車から近い駐車スペース(B)が第二候補と認識した駐車スペースとして設定され、自車から遠い駐車スペース(C)が第三候補と認識した駐車スペース32として設定されている。駐車スペース(D)は、駐車車両95が存在するため、候補には設定されていない。

駐車スペース決定機能203は、駐車スペース認識結果表示機能202で表示された駐車スペースを最終的な駐車位置とするか否かをユーザーに決定させる機能である。また、複数の駐車スペース候補が表示された場合も同様に、ユーザーが選択して最終的な駐車位置を決定する。

また、駐車スペース認識結果表示機能202で表示された駐車スペースが、実際の駐車可能な位置からずれている可能性がある。このような場合を想定して、ユーザーが駐車位置を微調整することも可能である。

駐車位置座標出力機能204は、駐車スペース決定機能203で最終的に決定された駐車位置の実空間上の座標を出力する機能である。例えば、出力された座標値は、車両ネットワーク3を通して車両制御装置205に受信され、自動で駐車位置まで車両を移動させるといった制御が可能となる。

ここで、駐車スペース認識装置10のハードウェア構成について説明する。図2は、駐車スペース認識装置10の電気的な構成を示すブロック図である。

図2に示すように、駐車スペース認識装置10は、コンピュータの主要部であって、各装置を集中的に制御するCPU(Central Processing Unit)50と、各種データを書換え可能に記憶するメモリ51と、画像処理演算のハード処理を行う画像演算回路52と、アナログの映像データをデジタルデータに変換するA/D変換回路54と、を備える。さらに、駐車スペース認識装置10は、各種のプログラム、プログラムが生成するデータ等を格納する外部記憶装置6と、外部の装置と通信を行う外部通信装置7と、を備える。これらの各装置は、バスなどの信号線55を介してCPU50と接続される。

CPU50は、例えば、外部記憶装置6上に格納されたプログラムをメモリ51上にロードして実行することにより、各種処理を実行する。

外部記憶装置6は、例えばHDD(Hard Disk Drive)を備えているが、もちろん、HDDのみに限定されず、配布されたプログラムであるコンピュータソフトウェアや、データを読み取るための機構として、CD−ROM,DVD−ROM等のドライブをさらに備えてもよい。

以上のように構成される駐車スペース認識装置10での処理について、図15に示すフローチャートを用いて説明する。図15は、駐車スペース認識装置10が、センサ情報から駐車位置座標を生成する際の処理の流れを示すフロー図である。

まず、初期化処理(S100)を行う。以下、S100について図16を用いて説明する。S100では、車両固有情報取得処理(S110)と、位置固有情報取得処理(S120)と、駐車スペース探索優先度設定(S130)とが行われる。S110では、予め登録されている車両固有情報2として、車両の寸法情報や、身体障害者車両情報や、運転者の年齢や、免許取得年月日や、契約している駐車場の番号などの情報をメモリ51に蓄積する。続いて、S120では、カーナビゲーション装置80から得られる自車の現在位置座標に対して、予め登録されている位置固有情報9が存在するか否かを判断する。次に、S130では、S110の車両固有情報と、S120の位置固有情報から、登録されている駐車スペースの探索優先度を設定する。現在位置座標に位置固有情報9が登録されていない場合には、車両固有情報をもとにテンプレート探索優先度が設定される。一方、現在位置座標に位置固有情報9が登録されている場合は、位置固有情報をもとにテンプレート探索優先度が設定される。図23に駐車スペースの意味501に対応するテンプレートコード500と、それに付加される探索優先度設定値502を含めたデータ構造の一例を示す。S120の処理終了後、S100のサブルーチンを抜ける。

次に、センサ情報取得処理(S150)を行う。S150では、カメラ1の撮像画像と超音波センサ5からの距離情報61を取得して、カウンタ値(同期情報)を付加してメモリ51に蓄積する。

次に、前処理(S200)を行う。以下、S200について図17を用いて説明する。S200では、カメラ1の撮像画像に対して俯瞰変換処理を施して、俯瞰画像60を生成する。具体的には、予め外部記憶装置6に保存された変換テーブルに基づいて、撮像画像の各画素に対して、座標変換および補正を施し、俯瞰画像60を生成する。生成された俯瞰画像60は、メモリ51に格納する。続いて、ノイズ除去処理(S202)を行う。具体的には、駐車枠線20が掠れている場合や、汚れている場合も安定して駐車枠線20を検出できるように、輝度の高い領域を膨張させる処理を施す。このS202が施された画像を画像認識入力画像400とする。なお、ノイズ除去処理の方法は上述のものに限られず、同様の効果が得られればどのような方法を用いてもよい。S202の処理終了後、S200のサブルーチンを抜ける。

次に、駐車可能空間探索処理(S300)を行う。以下、S300について、図20を用いて説明する。S300では、まず、駐車枠線20を抽出するために、S200で生成された画像認識入力画像400に対して、エッジ抽出処理(S301)を施す。エッジ抽出処理は一般的に知られているソーベルフィルタを用いる。さらに、抽出されたエッジ座標に対してハフ変換処理(S302)を行う。これにより、駐車枠以外のエッジの影響を抑え、安定した駐車枠線20の検出が可能となる。なお、ハフ変換処理とは直線を検出する手法として広く使用されている。故に、公知の技術のため、ここでの説明は省略する。また、本実施形態では、直線を検出する方法としてハフ変換を用いたが、その他の直線検出手法を適用してもよい。

続いて、センサフュージョン処理(S304)について説明する。まず、S302の結果から、図27に示すように、画像認識で検出された駐車空間候補70が得られる。また、図28に示すように、S150で得られた超音波センサ5からの距離情報61を俯瞰画像60の座標上にマッピングする。さらに、マッピングした距離情報61から、超音波センサの情報から検出された駐車空間候補71が得られる。図29に示すように、画像認識で検出された駐車空間候補72と、超音波センサの情報から検出された駐車空間候補71との結果を融合し、センサフュージョンで得られた駐車空間候補72が得られる。続いて、S305から307で、センサフュージョンで得られた駐車空間候補72の広さ(幅と奥行き)に対して、自車両が入るか否かを判定する。S306で、自車両が入ると判定された駐車空間候補がカウントされる。全ての駐車空間候補の探索が終了すると、S308で駐車可能空間情報をメモリに格納され、S300のサブルーチンを抜ける。なお、駐車可能空間情報には、駐車可能空間数(N),駐車可能空間のID,座標情報,駐車空間が有する規制情報(身体障害者車両用駐車スペースなど)が含まれる。

次にS400について説明する。S300で得られた駐車可能空間数N=0の場合、つまり、駐車可能空間が検出されなかった場合、再度センサ情報の取得処理(S150)へ戻る。一方、N>0の場合、つまり、駐車可能空間が1カ所以上検出された場合、次のステップへ進む。

次に、全駐車可能空間に対する路面表示認識処理(S600)を行う。S600について、図21を用いて説明する。まず、図12に示すように、S308で得られた駐車可能空間の座標情報から、画像認識入力画像400に対して路面表示認識処理を行う画像処理領域401を設定する(S601)。

続いて、S601で設定された画像処理領域401に対して、エッジ抽出・投影処理(S602)を行う。具体的には、図13に示すように、エッジ抽出を行った後、エッジ強度を駐車枠線20に対して平行な方向(X方向)と、垂直な方向(Y方向)それぞれに投影する。これにより、画像処理領域401に路面表示402が存在する場合、路面表示402の大きさ(路面表示402の候補領域の縦サイズH1、路面表示402の候補領域の横サイズW1)が設定される(S603)。

続いて、S103で設定された探索優先度設定値502の情報にもとづき、探索優先度設定値502が“255(探索しない)”に設定されていないテンプレート種別を順次設定する(S604)。

続いて、S603で設定された路面表示402のサイズをもとに、予め登録されている初期テンプレート403のサイズを正規化する(S605)。これは、実際に計測された路面表示402のサイズと、予め登録されている初期のテンプレートのサイズと異なる場合、テンプレートマッチングがうまくいかないために行う処理である。図14に初期のテンプレートサイズの正規化方法に関する図を示す。

以下、正規化テンプレート404のサイズの算出方法を以下に説明する。

ここで、
路面表示の候補領域の縦サイズをH1[Pixel]、
路面表示の候補領域の横サイズをW1[Pixel]、
データベースに登録されているテンプレートの縦サイズをHd[Pixel]、
データベースに登録されているテンプレートの横サイズをWd[Pixel]、
とすると、
テンプレートの縦サイズを正規化するための係数Rhと、
テンプレートの横サイズを正規化するための係数Rwは、
それぞれ、
Rh=H1/Hd (式1)
Rw=W1/Wd (式2)
で表される。この正規化の係数を用いて、
正規化したテンプレート404の縦サイズHt[Pixel]と、
正規化したテンプレート404の横サイズWt[Pixel]は、
それぞれ、
Ht=Hd×Rh (式3)
Wt=Wd×Rw (式4)
で計算される。

続いて、S605で生成された正規化したテンプレート404をもとに、画像処理領域401に対してテンプレートマッチング処理(S606)を行う。具体的には、公知の技術である正規化相関処理を実施し、相関値が所定の閾値以上か否かを判別する(S607)。S607でYesの場合、各駐車可能空間[ID]に対して、マッチングしたテンプレートの種別コード情報と、駐車枠番号情報等の認識情報がセットされる(S608)。図22に各駐車可能空間[ID]に対応づけられる駐車枠番号と、駐車スペースの種別コードと、それらの意味の一例を示す。

S607でNoの場合、予め登録されたテンプレート全てについてマッチング処理を実施したか否かを判定する(S609)。S609でNoの場合は、S604へ、Yesの場合は、S610へ進む。

S608の処理終了後、または、S604の判定がYesの場合、S300で得られた全ての駐車可能空間に対してテンプレートマッチング処理(探索処理)を実施したか否かの判定を行う(S610)。S610でNoの場合は、S601へ進み、Yesの場合はS600のサブルーチンを抜ける。

次に、S600の結果から、自車両が駐車する権限のある駐車スペースが1カ所以上存在するか否かを判定する(S700)。

S700でNoの場合、つまり、自車両が駐車する権限のある駐車スペースが1カ所以上存在しなかった場合、駐車支援モードを継続するか否かの判定処理(S900)へ進む。S900で、Yesの場合、S150へ進み、再度センサ情報の取得を行う。一方、S900で、Noの場合、駐車支援モードが終了されたと判断されたため、全体の処理を終了する。なお、S900で駐車支援モードを継続しない(終了する)場合のトリガーとしては、例えば、ユーザーによるスイッチ操作や、車速が所定以上になった場合や、各センサやユニットからのフェール情報が使用される。

S700で、Yesの場合、つまり、自車両が駐車する権限のある駐車スペースが1カ所以上存在した場合、最終的に駐車するスペースを決定する処理を行う(S800)。

次に、駐車スペース決定処理(S800)を行う。以下、S800について図24を用いて説明する。S800では、まず、S600の結果をもとに自車両が駐車する権限のある駐車スペースを俯瞰画像60にオーバーレイしてモニタ8に表示する(S801)。複数の駐車スペースが存在する場合は、初期化処理S100で設定された駐車スペース探索優先度の情報をもとに、優先度が視覚的にわかるように、優先度の数値、または色、または線の種類、または線の太さなど表示する。図4から図9に、自車両の種別による駐車スペースの優先度表示結果の一例を示す。本実施形態では、第一候補として認識した駐車スペース30を実線で、第二候補として認識した駐車スペース31を荒い破線で、第三候補として認識した駐車スペース32を細かい破線で表現している。

続いて、自車両が駐車する権限のある駐車スペースが2カ所以上あるか否かを判定する(S802)。S802がNoの場合は、つまり、自車両が駐車する権限のある駐車スペースが1カ所の場合は、S804へ進む。一方、S802がYesの場合、つまり、自車両が駐車する権限のある駐車スペースが2カ所以上存在する場合は、ユーザーインタフェース4によって、ユーザーが駐車するスペースを決定する。例えば、モニタ8がタッチパネル式であれば、直接モニタにタッチして選択することができる。また、モニタ8がタッチパネル式でない場合、スイッチなどの入力手段で駐車スペースを選択することができる。つまり、駐車スペースを選択できるユーザーインタフェース4が具備されていればよい。

続いて、S806で決定された駐車スペースにおける実空間座標をメモリ51にセットし(S807)、処理が終了する。セットされた実空間座標は、例えば、車両ネットワーク3を通して車両制御装置205によって受信され、自動で駐車位置まで車両を移動させるといった制御が可能となる。

以上、駐車スペース認識装置10が優先度を含む駐車スペースの候補を算出し、最終的に駐車する位置の実空間座標を出力するまでの処理について説明した。

本実施形態によれば、センサによって計測された情報をもとに候補となる空間的な駐車可能なスペースを検出するとともに、さらにその検出された駐車スペース候補に自車両が駐車する権限を有するか否かを判断材料として加味することで、ユーザーに適した駐車スペースを案内することができる。

具体的には、駐車スペースの優先度を決定する情報として、車両の寸法情報や、身体障害者車両情報や、運転者の年齢や、免許取得年月日や、契約している駐車場の番号などの車両固有情報2を用いることで、多種多様な駐車スペースに対しても、ユーザーに適した駐車スペースを案内することができる。

また、路面表示テンプレートデータベース200には、予め登録されたテンプレートの他に、カメラ1で撮影した画像や、外部記憶装置6や、外部通信装置7,車両ネットワーク3によってユーザーが任意のテンプレートを追加登録することができるため、新たな路面表示や、オリジナルの路面表示でも認識することが可能となる。

また、駐車スペースの探索優先度は、車両固有情報2から決定されるだけでなく、カーナビゲーション装置80の地図上の座標にリンクして登録することもできるため、例えば、ユーザーが個人で契約している駐車場では、ユーザーが契約している駐車場の番号が表示されている駐車スペースを優先的に探索することが可能となる。

また、駐車スペースの探索優先度は、ユーザーが任意に変更することが可能であるため、より柔軟な駐車スペース案内が可能となる。

さらに、カメラ1で撮像した画像を俯瞰変換し、その俯瞰画像を画像認識入力画像400とすることで、認識対象となる路面表示402と自車両との相対位置や、レンズの歪みに依存せず、精度よくテンプレートマッチングを行うことができる。

さらに、複数の駐車スペースが存在する場合は、優先度が視覚的にわかるようにモニタ8表示することで、ユーザーが理解しやすく、円滑な操作が可能となる。

なお、本実施例では、駐車スペースに表示されている指示マークは路面に描かれたものを対象としているが、路面に限らず、標識看板や、壁などに表示された指示マークでも同様の手法で認識することができる。

次に第二の実施形態にかかる駐車スペース認識装置10について説明する。第一の実施形態では、車両後方に装着したカメラ1を1台使用していたが、これに限らず、複数台使用してもよい。以下、第一の実施形態と比較して、異なる箇所について説明する。

本実施形態では、車両前方(フロントバンパまたはフロントグリル周辺)に装着したフロントカメラ1−Fと、車両後方(ナンバープレート付近)に装着したリアカメラ1−B,左右のサイドミラー下部に装着した左右カメラ1−L,1−Rの計4台を使用する。

上記4台のカメラを使用することで、車両の全方位を撮像することが可能となるため、計測範囲を拡大できる。よって、探索可能な範囲が広がることで、1台のカメラでは死角になっていた駐車スペースも候補として検出できる可能性がある。

このような第二の実施形態について、以下に詳述する。図10は、第二の実施形態にかかる駐車スペース認識システム11の機能構成を示すブロック図である。前述した第一の実施形態との違いは、4台のカメラとする箇所と、4台のカメラからの画像を俯瞰変換して合成する画像変換合成機能207が追加されている箇所である。

本実施形態では、画像変換合成機能207によって生成される4台のカメラの俯瞰合成画像101に対してノイズ除去処理を施し、その画像を画像認識入力画像400として扱う。

図18に本実施形態における前処理(S200)を示す。4台のカメラからの画像を俯瞰変換処理(S201)し、複数画像合成処理(S210)で、それぞれの俯瞰画像を1つの画像に合成する。その後、ノイズ除去処理(S202)を行う。

その他の処理については、第一の実施形態と同様である。

図11に本実施形態における、駐車スペースの検出結果の例を示す。図に示すとおり、同時に広範囲を撮影することが可能となる。

このような構成によれば、車両の全方位を撮像することが可能となるため、計測範囲を拡大でき、探索可能な範囲を広げることができる。その結果、1台のカメラでは死角になっていた駐車スペースでも、自車両の向きを変えることなく検出することが可能となる。

次に第三の実施形態にかかる駐車スペース認識装置10について説明する。第一および、第二の実施形態ともに、カメラから取得した1フレームの俯瞰画像に対してS150からS800までの認識処理を行っていた。

これに限らず、カメラから取得した複数フレームの俯瞰画像をつなぎ合わせた画像(モザイク画像)に対して認識処理を行ってもよい。以下、第一および第二の実施形態と比較して、異なる箇所について説明する。

本実施形態では、車両後方に取り付けられた一台のカメラ1を用いる。なお、カメラの台数は1台の場合に限定されるものではなく、第二の実施形態の様に4台のカメラを用いるといった、複数台のカメラを用いてもよい。

まず、カメラ1で撮像された実画像から、過去に撮像した画像を一枚にまとめたモザイク画像を生成する。より具体的には、カメラ1で撮像される画像を俯瞰変換し、メモリ51に時系列順に蓄積する。次に、過去に合成されたモザイク画像に、最新の俯瞰画像を接続するモザイキング処理を施す。モザイキング処理とは、連続的に入力された画像から得られる複数の画像を繋ぎ合わせて、1枚のモザイク画像を作成する処理である。

本実施形態では、図19に示すとおり、第二の実施形態の初期化処理(S200)に加えて、モザイキング処理(S220)が追加される。モザイキング処理の流れを図25に示す。

まず、図31の様に、対象領域Pの移動方向(縦方向)の画素数Nを検出する(S131)。画素数Nは、例えば、フレームレート(数/s),単位時間あたりの移動距離(m/s),フレーム画像900の移動方向の画素数,移動方向への単位距離あたりの画素数(数/m)から算出することが可能である。なお、移動距離は、自車両の車速センサ等の検出する走行速度を取得して算出すればよい。また、予め一定値の速度を設定し、基準の速度として使用することも可能である。

次に、画素数Nが所定の閾値T1以上か否かを判断する(S132)。閾値T1は、対象領域Pの大きさを決定するための任意の値である。具体的には、画素数Nが閾値T1以上であると判断した場合(S132でYES)、対象領域Pをモザイク画像920(P0−11)に接続して(S133)、最新のモザイク画像920(P1−12)を得る。さらに、メモリ51のモザイク画像920(P0−11)を最新のモザイク画像920(P1−12)に更新して(S134)、S220の処理を終える。

画素数Nが閾値T1以上ではないと判断した場合には(S132でNO)、対象領域Pの縦方向の画素数が不足しているため、S150に戻って処理を繰り返す。

ステップ133における画像の接続方法としては、様々な方法が知られているが、例えば、文献「金澤靖、金谷健一、共著、“段階的マッチングによる画像モザイク生成”、電子情報通信学会論文誌、Vol.J86−DII,No.6,pp.816−824,2003.」に記載のような、段階的マッチング手法を用いることが可能である。

この手法では、まず、2画像の特徴点を抽出し、各点の近傍をテンプレートマッチングによって対応させる。その際、投票によって回転やスケール変化、射影的ひずみを段階的に推定し、テンプレート自身を変形させることによって、精度の高いモザイク画像を得ることが可能である。

本実施形態では、このS220で生成されたモザイク画像を画像認識入力画像400として扱い、以降の処理内容は、第一および第二の実施形態と同様である。

このような構成によれば、モザイク画像は、高精細でかつ広範囲の俯瞰画像であるため、計測範囲を拡大でき、探索可能な範囲を広げることができる。その上、高精細な俯瞰画像が生成されるため、駐車枠線の検知精度やテンプレートマッチングの性能が向上し、より安定した駐車スペース認識が可能となる。

本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で様々な変形が可能である。

第一の実施形態にかかる駐車スペース認識システム11の機能構成を示すブロック図。 駐車スペース認識装置10の電気的な構成を示すブロック図。 第一の実施形態における駐車スペースの認識結果表示の例。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例1。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例2。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例3。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例4。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例5。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例6。 第二の実施形態にかかる駐車スペース認識システム11の機能構成を示すブロック図。 第二の実施形態における駐車スペースの検出結果の例。 路面表示認識処理を行う際の画像処理領域401を示す図。 エッジ強度を駐車枠線20に対して平行な方向(X方向)と、垂直な方向(Y方向)それぞれに投影した図。 路面表示402のテンプレートの正規化を説明する図。 駐車スペース認識装置10が、センサ情報から駐車位置座標を生成する際の処理の流れを示すフロー図。 初期化処理(S100)の流れを示すフロー図。 第一の実施形態における前処理(S200)の流れを示すフロー図。 第二の実施形態における前処理(S200)の流れを示すフロー図。 第三の実施形態における前処理(S200)の流れを示すフロー図。 駐車可能空間探索処理(S300)の流れを示すフロー図。 全駐車可能空間に対する路面表示認識処理(S600)の流れを示すフロー図。 各駐車可能空間[ID]に対応づけられる駐車枠番号と、駐車スペースの種別コードと、それらの意味の一例を示す図。 駐車スペースの意味501に対応するテンプレートコード500と、それに付加される探索優先度設定値502を含めたデータ構造の一例を示す図。 駐車スペース決定処理(S800)の流れを示すフロー図。 モザイキング処理(S220)の流れを示すフロー図。 路面表示のテンプレートの一例を示す図。 画像認識で検出された駐車空間候補70の示す図。 超音波センサ5からの距離情報61を俯瞰画像60の座標上にマッピングした図。 画像認識で検出された駐車空間候補70と、超音波センサの情報から検出された駐車空間候補71との結果を融合し、センサフュージョンで得られた駐車空間候補72の図。 路面表示テンプレートに含まれる情報の一例を示す図。 フレーム画像と、俯瞰画像と、モザイク画像と、の概略図。

符号の説明

1 カメラ
1−F フロントカメラ
1−B リアカメラ
1−L 左カメラ
1−R 右カメラ
2 車両固有情報
3 車両ネットワーク
4 ユーザーインタフェース
5 超音波センサ
6 外部記憶装置
7 外部通信装置
8 モニタ
9 位置固有情報
10 駐車スペース認識装置
11 駐車スペース認識システム
15 運転者固有情報
20 駐車枠線
21 身体障害者等用駐車場表示
22 軽自動車用駐車場表示
23 駐車枠番号表示
30 第一候補として認識した駐車スペース
31 第二候補として認識した駐車スペース
32 第三候補として認識した駐車スペース
50 CPU
51 メモリ
52 画像演算回路
53 A/D変換回路
55 信号線
60 俯瞰画像
61 距離情報
62 検出された駐車枠線
70 画像認識で検出された駐車空間候補
71 超音波センサの情報から検出された駐車空間候補
72 センサフュージョンで得られた駐車空間候補
80 カーナビゲーション装置
90 一般の車両
91 一般の軽自動車
92 身体障害者用の車両
95 駐車車両
100 撮影範囲
100−F フロントカメラによる撮影範囲
100−B リアカメラによる撮影範囲
100−L 左カメラによる撮影範囲
100−R 右カメラによる撮影範囲
101 俯瞰合成画像
200 路面表示テンプレートデータベース
201 駐車スペース認識機能
202 駐車スペース認識結果表示機能
203 駐車スペース決定機能
204 駐車位置座標出力機能
205 車両制御装置
206 車両情報取得機能
207 画像変換合成機能
400 画像認識入力画像
401 画像処理領域
402 路面表示
403 初期テンプレート
404 正規化テンプレート
500 テンプレートコード
501 駐車スペースの意味
502 探索優先度設定値
H1 路面表示の候補領域の縦サイズ[Pixel]
W1 路面表示の候補領域の横サイズ[Pixel]
Hd データベースに登録されているテンプレートの縦サイズ[Pixel]
Wd データベースに登録されているテンプレートの横サイズ[Pixel]
Rh テンプレートの縦サイズを正規化するための係数
Rw テンプレートの横サイズを正規化するための係数
Ht 正規化したテンプレートの縦サイズ[Pixel]
Wt 正規化したテンプレートの横サイズ[Pixel]

Claims (5)

  1. 自車両が空間的に進入可能なスペースを検出するセンシング手段と、
    前記スペースを含む領域の画像を取得する画像取得手段と、
    前記取得画像に対して予め用意された基準となるテンプレートと照合することで前記スペースに表示されている駐車スペースの用途を認識する駐車スペース用途認識手段と、を有し、
    前記駐車スペース用途認識手段の結果と、予め登録された固有情報によって、自車両が駐車可能な駐車スペースに対して優先順位が付加される、駐車スペース認識装置。
  2. 前記画像取得手段は、車載カメラで取得した画像を垂直方向から見下ろす画像に変換する処理を含む、請求項1記載の駐車スペース認識装置。
  3. 前記センシング手段は、超音波センサから取得される距離情報を取得する測距手段を有し、
    前記画像取得手段は、前記画像から俯瞰画像を取得する俯瞰画像取得手段を有し、
    前記距離情報と前記俯瞰画像に基づいて駐車スペース候補を検出する、請求項1又は2記載の駐車スペース認識装置。
  4. 前記画像取得手段は、お互いが異なる領域を撮像する複数の車載カメラからで構成され、前記複数のカメラで取得された画像を1つの画像に合成する処理を含む、請求項2又は3記載の駐車スペース認識装置。
  5. 前記固有情報には、車両の寸法情報,福祉車両または身体障害者用車両であるか否かの情報、運転者又は車両が契約している駐車場番号の情報,運転者の年齢,運転者の運転歴のいずれか一つを含む、請求項1乃至3何れか一に記載の駐車スペース認識装置。
JP2008043707A 2008-02-26 2008-02-26 駐車スペース認識装置 Active JP4940168B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008043707A JP4940168B2 (ja) 2008-02-26 2008-02-26 駐車スペース認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008043707A JP4940168B2 (ja) 2008-02-26 2008-02-26 駐車スペース認識装置

Publications (2)

Publication Number Publication Date
JP2009205191A JP2009205191A (ja) 2009-09-10
JP4940168B2 true JP4940168B2 (ja) 2012-05-30

Family

ID=41147425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008043707A Active JP4940168B2 (ja) 2008-02-26 2008-02-26 駐車スペース認識装置

Country Status (1)

Country Link
JP (1) JP4940168B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5749449B2 (ja) * 2010-05-06 2015-07-15 株式会社ソリマチ技研 駐車場管理システム
JP5440867B2 (ja) * 2010-06-18 2014-03-12 アイシン精機株式会社 駐車支援装置
KR101818535B1 (ko) * 2011-08-18 2018-02-21 현대모비스 주식회사 기계 학습 기법을 이용한 자동 주차 가능 여부 예측 시스템
DE102011113916A1 (de) 2011-09-21 2013-03-21 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation von Parkszenarien für ein Einparksystem eines Kraftfahrzeugs
JP2013154730A (ja) * 2012-01-30 2013-08-15 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、駐車支援システム
KR101393881B1 (ko) * 2012-10-24 2014-05-12 현대자동차주식회사 차량의 주차구획 인식방법
JP6022907B2 (ja) * 2012-11-27 2016-11-09 クラリオン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9540000B2 (en) * 2012-11-27 2017-01-10 Nissan Motor Co., Ltd. Acceleration suppression device for vehicle, and acceleration suppression method for vehicle
CN104812646B (zh) * 2012-11-27 2016-08-17 日产自动车株式会社 车辆用加速抑制装置
JP6299171B2 (ja) * 2013-11-15 2018-03-28 日産自動車株式会社 運転支援装置
JP6287106B2 (ja) * 2013-11-25 2018-03-07 日産自動車株式会社 運転支援装置及び記号登録装置
DE102013020699A1 (de) * 2013-11-28 2015-05-28 Daimler Ag Parkassistenzsystem und Verfahren zur Fahrerunterstützung bei Parkmanövern
JP6241231B2 (ja) * 2013-11-29 2017-12-06 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
JP6299185B2 (ja) * 2013-11-29 2018-03-28 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
ES2632599T3 (es) 2013-12-20 2017-09-14 Nokia Technologies Oy Método y aparato para provocar el envío de una directriz de aparcamiento
JP2015154336A (ja) * 2014-02-17 2015-08-24 株式会社デンソー 表示画像生成装置、および表示画像生成プログラム
JP6327008B2 (ja) * 2014-06-24 2018-05-23 住友電気工業株式会社 車両の制御装置、車両、及び車両の駐車決定方法
DE102015208590A1 (de) * 2015-05-08 2016-11-10 Conti Temic Microelectronic Gmbh Vorrichtung zur bestimmung eines für ein fahrzeug befahrbaren raums, entsprechendes verfahren und fahrzeug
JP6562709B2 (ja) * 2015-05-14 2019-08-21 株式会社デンソーテン 駐車支援装置および駐車支援方法
JP2017021747A (ja) * 2015-07-15 2017-01-26 クラリオン株式会社 車両用駐車支援装置
RU2691457C1 (ru) 2015-10-22 2019-06-14 Ниссан Мотор Ко., Лтд. Способ и устройство помощи при парковке
CA3002630A1 (en) 2015-10-22 2017-04-27 Nissan Motor Co., Ltd. Parking support method and parking support device
MX2018004894A (es) 2015-10-22 2018-06-20 Nissan Motor Metodo de presentacion visual de informacion de asistencia de estacionamiento y dispositivo de asistencia de estacionamiento.
KR20180017606A (ko) * 2016-08-10 2018-02-21 삼성전자주식회사 차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치
KR101929294B1 (ko) * 2016-11-09 2018-12-17 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
KR101973624B1 (ko) * 2016-12-13 2019-04-29 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10297154B2 (en) 2017-05-11 2019-05-21 Mitsubishi Electric Corporation Parking assistance system
JP6521107B2 (ja) * 2018-01-10 2019-05-29 日産自動車株式会社 運転支援装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4465773B2 (ja) * 2000-01-19 2010-05-19 株式会社エクォス・リサーチ 駐車補助装置および駐車補助プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005171741A (ja) * 2003-12-12 2005-06-30 Regar Marine Engineering:Kk 駐車標識装置
JP4263634B2 (ja) * 2004-02-12 2009-05-13 トヨタ自動車株式会社 駐車位置案内装置及び車載駐車位置案内装置
JP4761944B2 (ja) * 2005-11-18 2011-08-31 東芝ソリューション株式会社 車載用ナビゲーション装置、標示認識方法、ナビゲーションシステム、サーバ
JP4613881B2 (ja) * 2006-05-31 2011-01-19 アイシン・エィ・ダブリュ株式会社 駐車案内装置

Also Published As

Publication number Publication date
JP2009205191A (ja) 2009-09-10

Similar Documents

Publication Publication Date Title
US10274598B2 (en) Navigation based on radar-cued visual imaging
US9916509B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
KR101143176B1 (ko) 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
JP2006175918A (ja) 駐車補助装置
US8289189B2 (en) Camera system for use in vehicle parking
JP4935145B2 (ja) カーナビゲーション装置
JP4293917B2 (ja) ナビゲーション装置及び交差点案内方法
JP2007235642A (ja) 障害物検知システム
EP1072863A2 (en) Image processing apparatus for navigation system
US20100004856A1 (en) Positioning device
EP1908641A1 (en) Parking assistance device
DE102009054286B4 (de) Zeichenerkennungsvorrichtung
JP3937414B2 (ja) 平面検出装置及び検出方法
DE60009000T2 (de) System zur Einparkhilfe
JP4321821B2 (ja) 画像認識装置及び画像認識方法
JP2005136946A (ja) 路上走行車両用のカメラ式位置認識装置および方法
JP2008293380A (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP2011529569A (ja) ナビゲーションデータを三次元で表示するコンピュータ装置および方法
JP2008309529A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP3958133B2 (ja) 車両位置測定装置および方法
WO2011013586A1 (ja) 道路形状認識装置
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
JP2010530997A (ja) 道路情報を生成する方法及び装置
JP2009017462A (ja) 運転支援システム及び車両
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20091225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3