JP6562081B2 - 駐車スペースの枠線の検出方法および装置 - Google Patents

駐車スペースの枠線の検出方法および装置 Download PDF

Info

Publication number
JP6562081B2
JP6562081B2 JP2017546355A JP2017546355A JP6562081B2 JP 6562081 B2 JP6562081 B2 JP 6562081B2 JP 2017546355 A JP2017546355 A JP 2017546355A JP 2017546355 A JP2017546355 A JP 2017546355A JP 6562081 B2 JP6562081 B2 JP 6562081B2
Authority
JP
Japan
Prior art keywords
frame line
parking
parking space
threshold
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017546355A
Other languages
English (en)
Other versions
JPWO2017068699A1 (ja
Inventor
早川 泰久
泰久 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2017068699A1 publication Critical patent/JPWO2017068699A1/ja
Application granted granted Critical
Publication of JP6562081B2 publication Critical patent/JP6562081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、駐車スペースの枠線の検出方法および装置に関するものである。
駐車スペースの白線のエッジを検出する装置として、隣の画素との輝度差が閾値以上である第1の画素が存在し、当該第1の画素から白線の幅の分だけ離れた位置に、隣の画素との輝度差が閾値以上である第2の画素が存在する場合に、第1の画素又は第2の画素を白線のエッジとするものが知られている(例えば、特許文献1参照)。
特開2011−191884号公報
自車両に設けた撮像装置の撮像画像に基づいて白線のエッジを検出する場合には、検出位置が自車両からの距離が遠くなるほど、駐車スペースの白線の解像度が低くなることにより、白線の検出精度が低下するという問題があった。
本発明が解決しようとする課題は、撮像画像の解像度にかかわらず駐車スペースの枠線の検出精度を確保できる駐車スペースの枠線の検出方法及び装置を提供することである。
本発明は、枠線の検出に用いるパラメータの値が第1の閾値範囲に含まれる場合に、枠線を検出し、検出した枠線の位置に基づいて、未検出の枠線の位置を推定する。そして、本発明は、枠線の推定位置において枠線を検出するのに用いるパラメータの値の閾値範囲を、第1の閾値範囲より広い第2の閾値範囲に設定することにより、上記課題を解決する。
本発明によれば、枠線を検出するのに用いるパラメータの値の閾値範囲を自車両からの距離に応じて設定するので、駐車スペースの枠線を検出できる可能性が高まるという効果を奏する。
図1は、本発明に係る本実施形態の駐車支援システムの一例を示すブロック構成図である。 図2は、本実施形態の駐車支援システムの制御手順の一例を示すフローチャートである。 本実施形態の車載カメラの設置位置の一例を示す図である。 本実施形態の駐車支援処理の一例を示すための第1の図である。 本実施形態の駐車支援処理の一例を示すための第2の図である。 本実施形態の駐車支援処理の一例を示すための第3の図である。 本実施形態の駐車支援処理の一例を示すための第4の図である。 車速(V[km/s])と注視点距離(Y[m])との関係を示すグラフである。 本実施形態の駐車支援処理における表示画面の一例を示すための第1の図である。 本実施形態の駐車支援処理における表示画面の一例を示すための第2の図である。 本実施形態の駐車支援処理における表示画面の一例を示すための第3の図である。 本実施形態の駐車支援処理における表示画面の一例を示すための第4の図である。 本実施形態の駐車支援処理における表示画面の一例を示すための図である。 (A)(B)(C)は、本実施形態の駐車支援処理が適用される駐車パターンの例を示す図である。 本実施形態の駐車支援装置における俯瞰画像の一例を示す図である。 本実施形態の駐車支援装置の制御装置が実行する駐車スペースの枠線検出処理の手順を示すフローチャートである。 車両の進行方向における位置と枠線候補の検出に用いる閾値との関係を示すチャートである。 車両の進行方向における位置と枠線候補の検出に用いる閾値範囲との関係を示すチャートである。 車両の進行方向における位置と枠線候補の検出に用いる閾値との関係を示すチャートである。
図1は、本発明の一実施形態に係る駐車支援装置100を有する駐車支援システム1000のブロック図である。本実施形態の駐車支援システム1000は、駐車スペースに自車両を移動させる(駐車させる)動作を支援する。本実施形態の駐車支援システム1000は、カメラ1a〜1dと、画像処理装置2と、測距装置3と、駐車支援装置100と、車両コントローラ30と、駆動システム40と、操舵角センサ50と、車速センサ60とを備える。本実施形態の駐車支援装置100は、制御装置10と、出力装置20とを備える。出力装置20は、ディスプレイ21と、スピーカ22と、ランプ23とを備える。これらの各構成は、相互に情報の授受を行うためにCAN(Controller Area Network)やその他の車載LANによって接続されている。
本実施形態の駐車支援装置100の制御装置10は、駐車支援プログラムが格納されたROM12と、このROM12に格納されたプログラムを実行することで、本実施形態の駐車支援装置100として機能する動作回路としてのCPU11と、アクセス可能な記憶装置として機能するRAM13とを備える、特徴的なコンピュータである。
本実施形態の駐車支援プログラムは、駐車可能な駐車スペースをディスプレイ21に提示し、ユーザにより設定された駐車スペースを駐車目標スペースとして自車両を駐車する操作を支援する制御手順を実行させるプログラムである。本実施形態の駐車支援プログラムは、ステアリング、アクセル、ブレーキを操作して自動で駐車させる自動駐車、ステアリング、アクセル、ブレーキの内、何れかの操作を手動で、残りを自動で駐車させる半自動駐車にも適用可能である。その他にも、駐車スペースへの走行経路を提示して、駐車スペースへの誘導により駐車を支援する機能にも適用可能である。
本実施形態に係る駐車支援装置100の制御装置10は、情報取得処理、駐車可能スペース検出処理、推奨駐車可能スペース検出処理、及び表示制御処理を実行する機能を備える。各処理を実現するためのソフトウェアと上述したハードウェアとの協働により、上記各処理を実行する。
図2は、本実施形態に係る駐車支援システム1000が実行する駐車支援処理の制御手順を示すフローチャートである。駐車支援処理の開始のトリガは、特に限定されず、駐車支援装置100の起動スイッチが操作されたことをトリガとしてもよい。
なお、本実施形態の駐車支援装置100は、自車両を自動的に駐車スペースへ移動させる機能を備える。この処理において、本実施形態では、デッドマンスイッチなどのオンしている間だけ動作するスイッチを用いる。駐車支援装置100において、デッドマンスイッチが押圧されている場合に自車両の自動運転が実行され、デッドマンスイッチの押圧が解除されると自車両の自動運転が中止される。
具体的に、本実施形態に係る駐車支援装置100の制御装置10は、ステップS101において、自車両の複数個所に取り付けられたカメラ1a〜1dによって撮像された撮像画像をそれぞれ取得する。カメラ1a〜1dは、自車両の周囲の駐車スペースの境界線及び駐車スペースの周囲に存在する物体を撮像する。カメラ1a〜1dは、CCDカメラ、赤外線カメラ、その他の撮像装置である。測距装置3は、カメラ1a〜1dと同じ位置に設けてもよいし、異なる位置に設けてもよい。測距装置3は、ミリ波レーダー、レーザーレーダー、超音波レーダーなどのレーダー装置又はソナーを用いることができる。測距装置3は、レーダー装置の受信信号に基づいて対象物の存否、対象物の位置、対象物までの距離を検出する。対象物には、車両周囲の障害物、歩行者、他車両等に相当する。この受信信号は、駐車スペースが空いているか否か(駐車中か否か)を判断するために用いられる。なお、障害物の検出は、カメラ1a〜1dによるモーションステレオの技術を用いて行ってもよい。
図3は、自車両に搭載するカメラ1a〜1dの配置例を示す図である。図3に示す例では、自車両のフロントグリル部にカメラ1aを配置し、リアバンパ近傍にカメラ1dを配置し、左右のドアミラーの下部にカメラ1b、1cを配置する。カメラ1a〜1dとして、視野角の大きい広角レンズを備えたカメラを使用できる。
また、制御装置10は、ステップS101において、自車両の複数個所に取り付けられた測距装置3によって測距信号をそれぞれ取得する。
ステップS102において、駐車支援装置100の制御装置10は画像処理装置2に俯瞰画像を生成させる。画像処理装置2は、取得した複数の撮像画像に基づいて俯瞰画像を生成する。この俯瞰画像は、自車両及び当該自車両が駐車される駐車スペースを含む周囲の状態を自車両の上方の仮想視点P(図3参照)から見たものである。画像処理装置2により行われる画像処理は、例えば「鈴木政康・知野見聡・高野照久,俯瞰ビューシステムの開発,自動車技術会学術講演会前刷集,116-07(2007-10), 17-22.」などに記載された方法を用いることができる。生成された俯瞰画像21aの一例を、後述する図6A〜図6Eに示す。同図には、自車両周囲の俯瞰画像(トップビュー)21aと自車両周囲の監視画像(ノーマルビュー)21bを同時に表示する表示例を示している。
図2に戻り、ステップS103において、駐車可能スペースMeを検出する。駐車可能スペースMeは、自車両が駐車することができる駐車スペースである。制御装置10は、カメラ1a〜1dの撮像画像及び/又は測距装置3の測距信号に基づいて、駐車可能スペースMeを検出する。なお、上述では、駐車可能スペースMeを車載のカメラで取得した画像から検出していたが、必ずしもそれに限らず、外部のサーバから情報を取得して、駐車可能スペースMeを特定するようにしてもよい。
以下、駐車可能スペースMeの検出方法を説明する。制御装置10は、車速やナビゲーションシステムの位置情報等に基づき、駐車スペースを含む領域(以下、駐車領域とも称する)を走行しているか否か判定する。例えば、自車両の車速が所定の車速閾値以下の状態で、当該状態が一定の時間以上継続している場合には、制御装置10は、自車両が駐車領域を走行していると判定する。あるいは、制御装置10は、ナビゲーションシステムの位置情報から、例えば高速道路のパーキングスペース等を特定することで、自車両が駐車領域を走行していると判定する。また、本実施形態においては、車外との通信、いわゆる路車間通信、車車間通信により、駐車スペースであるか否か判定するようにしてもよい。
自車両が駐車領域を走行していると判定した場合には、制御装置10は、画像処理装置2により生成された俯瞰画像に基づいて、枠線を検出する。枠線は、駐車スペースの枠(領域)を区画する境界線である。制御装置10は、撮像画像に対して、エッジ検出を行う。制御装置10は、エッジ検出において俯瞰画像の中から隣り合う画素の輝度差が所定値以上の画素列を検出する。そして、制御装置10は、検出された画素列の長さが所定の閾値以上である場合に、当該画素列によりエッジが規定される線を、枠線として検出する。さらに、制御装置10は、枠線として検出した部分の周囲において、検出した枠線よりも、枠線の可能性の高い線があるか否かを検出する。例えば、より輝度差の大きい線が新たに検出された場合には、新たに検出した線を、枠線の可能性の高い枠線の候補として検出する。なお、本実施形態では、枠線の色は白であるが、それに限らず、赤等、他の色であってもよい。
制御装置10のROM12は、駐車枠のパターンの情報を予め記憶している。駐車枠のパターンは、後述する図7(A)に示すような並列駐車方式の駐車枠のパターン、後述する図7(B)に示すような縦列駐車方式の駐車枠のパターン、及び後述する図7(C)に示すような角度付き並列駐車方式の駐車枠のパターン等も含まれる。
制御装置10は、俯瞰画像から検出した枠線の候補が以下の3つの条件を満たす場合に、検出した枠線の候補を枠線として検出し、当該枠線で区画されるスペースを、駐車スペースとして検出する。1つ目の条件は、他の枠線の候補または検出済の枠線との間隔が所定の閾値範囲(例えば、実距離2〜2.5[m])に含まれることである。2つ目の条件は、他の枠線の候補または検出済みの枠線との相対角度が所定の閾値範囲(例えば、−10°〜+10°)に含まれることである。3つ目の条件は、駐車枠線の候補として抽出された線の中に、予め設定した第1線長距離閾値(例えば、実距離15[m]に相当する長さ)以上の長さを有する線が含まれていないことである。なお、上述では、3つの条件を満たす場合に白線を検出することを示したが、必ずしもそれに限らず、何れかの組み合わせでも良いし、少なくとも1つの条件が満たされた場合でもよい。
制御装置10は、上記の3つの条件を満たす駐車スペースを特定した場合には、測距装置3の検出データを用いて、この駐車スペース内に障害物があるか否かを判定する。また制御装置10は、自動運転の走行経路に基づき、自動運転により駐車可能な駐車スペースであるか否かを判定する。例えば、壁側に面した駐車スペース等、自動運転の走行経路を確保できない駐車スペースは、自動運転により駐車可能な駐車スペースに該当しない。そして、制御装置10は、特定した駐車スペースのうち、障害物が存在せず、かつ、自動運転により駐車可能な駐車スペースを、駐車可能スペースMeとして設定する。以上により、制御装置10は、駐車可能スペースMeを検出する。尚、上述では、駐車枠線を検出した駐車スペースを駐車可能スペースMeとして検出していたが、本実施形態においてはそれに限らず、所定の範囲の空きスペースを検出した場合や、過去に駐車した場合など、所定の条件を充足するものであれば、駐車枠線を検出できなくても、駐車可能スペースMeとして検出するようにしてもよい。
図4Aは、本実施形態の駐車支援処理の一例を示すための第1の図である。図4Aにおいて、矢印は、自動運転で車両を駐車する際の走行経路を表している。また点線の丸印は、位置P1で検出された駐車可能スペースMeを表している。図4Aに示す駐車領域において、駐車スペースPR8には障害物M1が存在するため、制御装置10は、駐車スペースPR8を駐車可能スペースMeとして特定しない。また、駐車スペースPL8では、壁Wが障壁となるため、自動運転の走行経路を確保することができず(図4Aの点線の矢印に相当)、駐車スペースPL8は自動運転に適した駐車スペースではない。そのため、制御装置10は、駐車スペースPR8を駐車可能スペースMeとして特定しない。駐車スペースPR1、PR4、PR6、PL3には、駐車車両が存在しているため、制御装置10は、駐車スペースPR1、PR4、PR6、PL3を駐車可能スペースMeとして特定しない。制御装置10は、駐車スペースPL1、PL2、PL4〜7、PR2、PR3、PR5、PR7を駐車可能スペースMeとして特定する。
図4Aに示すように、走行中の自車両の位置をP1とし、車速をV1とする。制御装置10は、自車両Vの位置P1において、撮像画像に含まれる駐車スペースのうち、PL2〜PL5、PR2〜PR5を含んだ範囲を、駐車可能スペースMeの検出範囲としている。なお、車両走行中の駐車可能スペースMeの検出範囲は、PL2〜PL5、PR2〜PR5の範囲に限らず、例えばPL1〜PL8、PR1〜PR8の範囲としてもよい。また、図4A及び後述する図4B〜図4Dには、自車両Vの動きが時系列で表されており、自車両Vの位置は、図4A、図4B、図4C、及び図4Dの順で移動する。なお、後述する図4Eに示す自車両Vの状態は、図4A〜図4Dにおいて表された時系列に含まれるものではない。
図2に戻り、ステップS104において、推奨駐車可能スペースMrを検出する。推奨駐車可能スペースMrは、自車両Vの駐車に適した駐車可能スペースである。制御装置10は、検出した複数の駐車可能スペースMeの中から、自車両の走行状態に応じて、推奨駐車可能スペースMrを検出する。
以下、推奨駐車可能スペースMrの検出方法を説明する。制御装置10は、駐車可能スペースMeに駐車する際の走行経路の計算を、駐車可能スペースMe毎に計算する。計算される走行経路は、自動運転の開始位置から駐車可能スペースMeの位置までの経路である。制御装置10は、自動運転の開始位置を駐車可能スペースMe毎に特定する。制御装置10は、自動運転の開始位置に対して、自動運転の走行経路を設定する。自動運転の走行経路は必ずしも1つに限定する必要はなく、制御装置10は、自動運転を行う際の周囲の状況に応じて、適切な走行経路を設定する。自車両が自動運転の開始位置から走行経路上を移動し駐車可能スペースMeの位置(駐車完了の位置)に到達するまでの走行経路が計算対象の経路となる。
走行経路は、切り返しの回数、走行距離及び最大転舵角等に応じて、駐車可能スペースMe毎に異なる。そのため、車両が走行経路に沿って自動運転で走行した場合には、駐車所要時間が駐車可能スペースMe毎に異なる。例えば、切り返し回数が少ないほど、走行経路の距離が短いほど、又は最大転舵角が小さいほど、駐車所要時間は短くなる。図4Aに示すように、駐車可能スペースPL6、PL7への駐車を想定した場合に、駐車可能スペースPL7の付近から壁Wまでの距離は、駐車可能スペースPL6の付近から壁Wまでの距離よりも短い。そのため、駐車可能スペースPL7に駐車する際の切り返し回数は、駐車可能スペースPL6に駐車する際の切り返し回数よりも多くなり、駐車可能スペースPL7の駐車所要時間は、駐車可能スペースPL6の駐車所要時間より長くなる。
次に、制御装置10は、自車両Vの車速に基づいて、注視点距離を算出する。注視点距離は、自車両Vの位置から自車両Vの運転手が見つめている位置までの距離に相当する。車速が高いほど、自車両Vの運転手は遠くを見つめる。そのため、車速が高いほど、注視点距離は長くなる。注視点距離は、自車両Vの前方に向かう直線の長さである。なお、注視点距離に相当する線は必ずしも直線である必要はなく、曲線でもよい。注視点距離を曲線で規定する場合に、曲線の曲率は操舵角と対応づけてもよい。
図5は、車速(V[km/s])と注視点距離(Y[m])との関係を示すグラフである。実線は車速が増加する際の特性を示し、点線は車速が減少する際の特性を示す。図5に示すように、車速がVa以下である場合には、注視点距離はYaとなる。車速がVaからVcになるまで注視点距離はYaで推移する。そして、車速がVcの状態から高くなった場合には、車速がVc以上Vd以下の範囲内で、注視点距離は車速に比例して長くなる。車速がVd以上では、注視点距離はYbで推移する。一方、車速がVdの状態から低下した場合には、車速がVdからVbになるまで注視点距離はYbで推移する。車速がVa以上Vb以下の範囲内で、注視点距離は、車速の低下に比例して減少する。すなわち、車両Vaと注視点距離の関係を示す特性は、車速Vaの増加方向と減少方向との間でヒステリシス特性になっている。
制御装置10のROM12は、車速と注視点距離との関係をマップで記憶している。制御装置10は、車速センサ60から車速の情報を取得すると、マップを参照しつつ、車速に対応する注視点距離を算出する。
図4Bは、本実施形態の駐車支援処理の一例を示すための第2の図である。図4Bにおいて、走行中の自車両の位置をP2とし、車速をV2とする。制御装置10は、車速V2に対応する注視点距離を演算する。制御装置10は、位置P2に対して、注視点距離だけ離れた位置を、注視点G2として特定する。
次に、制御装置10は、注視点G2付近の駐車可能スペースMeに対して、識別用の番号を付与する。例えば、番号は、注視点G2に近い順で付与される。制御装置10は、駐車可能スペースMeへの入りやすさを算出する。駐車可能スペースMeの入りやすさの指標は、自動運転により自車両Vが駐車可能スペースMeに駐車するための走行時間であり、駐車所要時間に相当する。駐車所要時間は、駐車可能スペースMe毎に計算された走行経路に沿って、自動運転で走行した際の時間である。そのため、駐車可能スペースMeへの入りやすさは、走行距離、操作回数(切り返し回数)、最大転舵角、車速等によって決まる。なお、駐車可能スペースMeの入りやすさの指標は、駐車所要時間に限らず、例えば自動運転における駐車の確実性等の要素を含めてもよい。制御装置10は、駐車可能スペースMe毎に、駐車可能スペースMeの駐車所要時間を算出する。図4Bの例では、制御装置10は、駐車可能スペースPL2、PL4、PL5、PR2、PR3、PR5の駐車所要時間を、それぞれ算出する。
制御装置10は、各駐車可能スペースMeの駐車所要時間と所定の所要時間閾値とを比較する。所要時間閾値は、予め設定されている値であって、自動運転で駐車する際の所要時間の上限値である。制御装置10は、駐車可能スペースMeの駐車所要時間が所要時間閾値より長い場合には、この駐車可能スペースMeを、推奨駐車可能スペースMrとして特定しない。
所要時間閾値より駐車所要時間の短い駐車可能スペースMeを特定した後、制御装置10は、特定した駐車可能スペースMeのうち、注視点に最も近い駐車可能スペースMeを、推奨駐車可能スペースMrとして設定する。図4Bの例では、駐車可能スペースPL4の駐車所要時間は所要時間閾値より短く、駐車可能スペースPL4は注視点の最も近くに位置するため、制御装置10は、駐車可能スペースPL4を、推奨駐車可能スペースMrとして設定する。なお、本実施例においては、最も駐車所要時間が短い駐車可能スペースMeを推奨駐車可能スペースと設定するようにしてもよい。
図2に戻り、ステップS105において、駐車可能スペースMe及び推奨駐車可能スペースMrを提示する。制御装置10は、設定した駐車可能スペースMe及び設定した推奨駐車可能スペースMrをディスプレイ21に表示させることで、乗員に対して駐車可能スペースMe及び推奨駐車可能スペースMrを提示する。
図6Aは、本実施形態の駐車支援処理における表示画面の一例を示すための第1の図である。図6Aの表示画面は、自車両Vが図4Bの位置P2を走行している時の表示画面である。ディスプレイ21の画面の左側に表示した俯瞰画像(トップビュー)21aには駐車スペースPL2〜PL5、PR2〜PR5を示す画像(駐車スペースの境界線)が含まれている。また、俯瞰画像(トップビュー)21aの中央には、自車両Vの位置を示す自車両Vのアイコンが表示されている。監視画像(ノーマルビュー)は、自車両Vの操作状態に応じて異なるカメラ1a〜1dの撮像画像を表示できる。図6Aに示す例では、自車両Vのフロントグリル部に配置されたカメラ1aの撮像画像が表示されている。自車両Vが後退する際には、リアバンパ近傍に配置されたカメラ1dの撮像画像を表示してもよい。画像21cは、メッセージ用の画像である。
図6Aに示すように、俯瞰画像21aにおいて、駐車可能スペースMeを表す丸印が駐車スペースPL2、PL4、PL5、PR2、PR3、PR5に表示され、推奨駐車可能スペースMrを表す点線の枠が駐車スペースPL4に表示される。また、駐車スペースPL3、PR4には、車の一部の俯瞰画像が表示されている。自車両の乗員は、ディスプレイ21の表示画面によって、駐車可能スペースMeの位置及び推奨駐車可能スペースMrの位置を確認できる。また、乗員は、画像21cに含まれるメッセージから、自動運転モードであること、及び、自動運転を行うために車両の停止が求められていることを確認できる。
図2に戻り、ステップS106において、目標駐車スペースMoが入力されたか否かを判定する。目標駐車スペースMoは、自動運転により車両が駐車される駐車スペースであって、自動運転において目標となる場所を表している。目標駐車スペースMoは、乗員による操作に基づいて設定される。例えば、ディスプレイ21がタッチパネル式のディスプレイである場合には、乗員が所望の駐車スペースの部分に触れることで、目標駐車スペースMoが指定され、目標駐車スペースMoの情報が制御装置10に入力される。
目標駐車スペースMoが入力された場合には、制御フローはステップS107に進む。一方、目標駐車スペースMoが入力されていない場合には、制御フローはステップS104に戻り、ステップS104からステップS106の制御フローが繰り返し実行される。
ステップS104からステップS106までのループ部分の制御フローを説明する。自車両Vが図4Bに示す位置P2を走行している状況において、目標駐車スペースMoが入力されていない場合には、自車両Vは走行しているため、注視点の位置は前方に移動する。
図4Cは本実施形態の駐車支援処理の一例を示すための第3の図である。自車両Vが前方に移動すると、注視点の位置はG2からG3に移る。注視点の位置がG3になると、推奨駐車可能スペースMrは、駐車スペースPL4から駐車スペースPL5に移る。
図6Bは、本実施形態の駐車支援処理における表示画面の一例を示すための第2の図である。図6Bの表示画面は、自車両Vが図4Cの位置P3を走行している時の表示画面である。図6Bに示すように、自車両Vが前方に向かって走行している場合、ディスプレイ21の表示画面上では、推奨駐車可能スペースMrを示す枠が、自車両Vの動きに合わせて前方へ移動し、駐車スペースPL5に移る。
ここで、自車両Vが減速しながら移動する場合の推奨駐車可能スペースMrの表示形態について説明する。上記のとおり、制御装置10は、注視点から最も近い位置の駐車可能スペースMeに対して推奨駐車可能スペースMrを設定する。注視点距離は、自車両Vの車速に応じて変化する。
車速が上昇するときの注視点距離の特性、及び、車速が低下するときの注視点距離の特性が、図5に示すようなヒステリシス特性にならず、図5の実線のグラフで示す特性となる場合について説明する。また、図4Bの例で、車速Vdのときに設定される推奨駐車可能スペースMrを駐車スペースPL5とする。このような場合には、車速がVdの状態からVdより低くなると、注視点距離がYbよりも短くなるため、推奨駐車可能スペースMrは、駐車スペースPL5からPL4に移動する。すなわち、自車両が、減速前に設定した推奨駐車可能スペースMrに向かって走っているにもかわらず、ディスプレイ21の画面上では、推奨駐車可能スペースMrの枠が画面の下方(自車両の進行方向とは逆の方向、図6Aのy軸の負方向)に戻るような動きをする。このような、推奨駐車可能スペースMrの不自然な動きを防ぐために、車速に対する注視点距離の特性にヒステリシスをもたせている。
ヒステリシス特性をもつ場合には、車速がVdの状態からVdより低くなると、注視点距離Ydで維持される。そのため、推奨駐車可能スペースMrは、駐車スペースPL5の位置に留まる、又は、駐車スペースPL5の位置よりも車両の進行方向側の駐車スペースPL6に移動する。これにより、推奨駐車可能スペースMrの不自然な動きを防ぐことができる。
図2に戻り、ステップS104からステップS106の制御フローが繰り返し実行される途中に、自車両Vが停車すると、ディスプレイ21の表示画面は、図6Cのような画面になる。図6Cは、本実施形態の駐車支援処理における表示画面の一例を示すための第3の図である。図6Cの表示画面は、自車両Vが図4Cの位置P3で停車した時の表示画面である。
図6Cの表示画面に示すように、ユーザは、画像21cに含まれるメッセージから、目標駐車スペースMoの選択及び入力が求められることを確認できる。
ステップS107にて、目標駐車スペースMoを設定し、目標駐車スペースMoを提示する。図6Cの例では、推奨駐車可能スペースMrが駐車スペースPL5の位置で表示されている。この状態で、乗員が、推奨駐車可能スペースMrの表示部分を触れると、制御装置10は、駐車スペースPL5を目標駐車スペースMoとして設定する。
図4Dは、本実施形態の駐車支援処理の一例を示すための第4の図である。図6Dは、本実施形態の駐車支援処理における表示画面の一例を示すための第4の図である。図6Dの表示画面は、自車両が図4Dの位置P4で停車した時の表示画面である。駐車スペースPL5を目標駐車スペースMoに設定した場合には、制御装置10は、図6Dに示すような表示画面をディスプレイ21に表示することで、目標駐車スペースMoを乗員に提示する。また、乗員は、画像21cに含まれるメッセージから、自動運転を開始できる状態であることを確認できる。
図2に戻り、ステップS108において、制御装置10は、自車両を目標駐車スペースMoに移動させるための走行経路を算出する。図4Cに示すように、ユーザは、推奨駐車可能スペースMrとして提示された駐車スペースPL5を目標駐車スペースMoとして指定する。ユーザは、タッチパネル式のディスプレイ21に表示された駐車スペースPL5をタッチすることにより、この駐車スペースを目標駐車スペースMoとして指定する。本操作により目標駐車スペースMoが決定される。図4Dに示すように、自車両Vは目標駐車スペースPL5(Mo)の横の位置P4に移動する。この位置P4が自車両の自動駐車開始位置となる。
制御装置10は、駐車操作(移動)を開始する自車両Vの停止位置P4と、目標駐車スペースMoの位置との位置関係に基づいて走行経路を計算する。特に限定されないが、制御装置10は、自車両Vの停車位置、つまり駐車支援の開始位置から切り返し位置P5までの曲線と、切り返し位置P5から目標駐車スペースMoまでの曲線とを、走行経路として算出する。制御装置10は、図7に示す並列駐車(A)、縦列駐車(B)、斜め駐車(C)のそれぞれに対応する走行経路を算出する。また、本実施形態においては、走行経路を算出したが、それには限られず、駐車スペースの種別に応じた走行経路をメモリ(ROM)に記憶しておき、駐車を開始する際に、走行経路をメモリから読み出すようにしてもよい。駐車モード(並列駐車、縦列駐車、斜め駐車など)は自車両Vのユーザが選択してもよい。
制御装置10は、選択された駐車モードに対応した走行経路を読み込み、自動駐車処理開始時における自車両Vの位置と目標駐車スペースMoの位置との関係に基づいて走行経路を計算する。制御装置10は、ユーザが先述した自動駐車モード下においてデッドマンスイッチを押圧した場合には、算出した走行経路で自車両を目標駐車スペースMoに移動させる処理を車両コントローラ30に実行させる。
ステップS109において、本実施形態の駐車支援装置100は、駐車支援処理又は自動駐車処理を実行する。本実施形態の駐車支援装置100は、自車両が走行経路に沿って移動するように、車両コントローラ30を介して駆動システム40の動作を制御する。
図6Eは本実施形態の駐車支援処理における表示画面の一例を示すための第5の図である。自動運転が開始すると、ディスプレイ21の表示画面は図6Eに示すような画面となり、自車両Vは前方に移動する。このとき、画像21cには、自動運転により自車両Vが前方に進んでいること、及び、乗員に自車両Vの周囲を注視することを伝えるメッセージが表示される。以下、駐車支援装置100の自動運転制御を説明する。
駐車支援装置100は、計算された走行経路に自車両Vの移動軌跡が一致するように、操舵装置が備える操舵角センサ50の出力値をフィードバックしながらEPSモータなどの自車両の駆動システム40への指令信号を演算し、この指令信号を駆動システム40又は駆動システム40を制御する車両コントローラ30へ送出する。
本実施形態の駐車支援装置100は、駐車支援コントロールユニットを備える。駐車支援コントロールユニットは、AT/CVTコントロールユニットからのシフトレンジ情報、ABSコントロールユニットからの車輪速情報、舵角コントロールユニットからの舵角情報、ECMからのエンジン回転数情報等を取得する。駐車支援コントロールユニットは、これらに基づいて、EPSコントロールユニットへの自動転舵に関する指示情報、メータコントロールユニットへの警告等の指示情報等を演算し、出力する。制御装置10は、車両の操舵装置が備える操舵角センサ50、車速センサ60その他の車両が備えるセンサが取得した各情報を、車両コントローラ30を介して取得する。
本実施形態の駆動システム40は、駐車支援装置100から取得した制御指令信号に基づく駆動により、自車両Vを目標駐車スペースMoに駐車させる。本実施形態の操舵装置は、自車両Vの左右方向への移動を行う駆動機構である。駆動システム40に含まれるEPSモータは、駐車支援装置100から取得した制御指令信号に基づいて操舵装置が備えるパワーステアリング機構を駆動して操舵量を制御し、自車両Vを目標駐車スペースMoへ移動する際の操作を支援する。なお、駐車支援の内容及び動作手法は特に限定されず、出願時において知られた手法を適宜に適用することができる。
図4Dに示すように、本実施形態における駐車支援装置100は、自車両Vの移動開始位置P3と目標駐車スペースMoの位置とに基づいて算出された走行経路に沿って自車両Vを目標駐車スペースMoへ移動させる際に、アクセル・ブレーキの操作が指定された制御車速(設定車速)に基づいて自動的に制御されるとともに、操舵装置のステアリングの操作が車速に応じて自動で制御される。つまり、本実施形態の駐車支援時において、操舵装置のステアリングの操作、アクセル・ブレーキの操作が自動的に行われる。車両に搭乗することなく、外部から車両に目標駐車スペースMoの設定指令、駐車処理開始指令、駐車中断指令などを送信して駐車を行うリモートコントロールによる駐車処理も可能である。
もちろん、ユーザがアクセル・ブレーキの操作を行い、ステアリングの操作のみを自動とすることも可能である。この場合には、駐車支援装置100は、自車両Vが走行経路G2,G3を辿って移動するように、予め算出した設定車速に基づいて駆動システム40を制御するとともに、予め算出した設定舵角に基づいて車両の操舵装置を制御する。
以上が、本実施形態の駐車支援装置100の基本的な制御内容である。
ところで、図8に示すように、制御装置10は、カメラ1a〜1dの撮像画像から生成された俯瞰画像を解析することにより、駐車スペースPLn(nは整数)、PRn(nは整数)を検出するところ、このような俯瞰画像では、自車両からの距離が遠くなるにしたがって、俯瞰画像の解像度が低くなり、枠線の検出精度が低下する。また、駐車場の路面の傾斜、例えば、駐車場の進行路からその両側の駐車スペースPLn、PRnにかけて漸次的に低くなるような路面の傾斜がある場合も同様の状況になる。
そこで、本実施形態では、駐車スペースPLn、PRnの枠線の検出処理を以下に説明する方法を用いて実行する。なお、以下の説明では、図8に示す左側の駐車スペースPLnの枠線の検出処理についてのみ説明するが、図8に示す右側の駐車スペースPRnの枠線の検出処理も同様の方法で実行する。
図9は、制御装置10が実行する駐車スペースの枠線検出処理の手順を示すフローチャートである。まず、ステップS201において、制御装置10は、俯瞰画像における車両進行方向手前側の所定範囲について、駐車スペースPLnの枠線検出処理を実行する。本ステップにおいて、制御装置10は、隣の画素との輝度差が第1の閾値以上となる画素列が存在し、かつ、この画素列の長さが第1の閾値範囲に含まれるか否かを判定し、条件を満たす画素列により規定される線を、駐車スペースPLnの枠線の候補として検出する。そして、制御装置10は、検出した枠線の候補の中から、相互の間隔が第1の閾値範囲に含まれ、かつ、相互の相対角度が第1の閾値範囲に含まれる枠線候補の組を検出し、当該1組の枠線候補を駐車スペースPLnの枠線として検出する。
次に、ステップS202において、俯瞰画像における車両進行方向(図9の矢印y方向)手前側の所定範囲から検出した駐車スペースPL1、PL2の枠線の位置に基づいて、俯瞰画像における車両進行方向奥側の所定範囲に存在する駐車スペースPL3、PL4、PL5の枠線の位置を推定する。本ステップでは、未検出の駐車スペースPL3、PL4、PL5の横幅W3、W4、W5を、検出済の駐車スペースPL1、PL2の横幅W1、W2の平均値、もしくは横幅W1、W2の一方と推定する。そして、検出済の枠線のうち最も車両進行方向奥側の枠線の位置bから車両進行方向奥側に距離W3だけ離れた位置cと、この位置cから車両進行方向奥側に距離W4だけ離れた位置dと、この位置cから車両進行方向奥側に距離W5だけ離れた位置eとを、枠線の位置として推定する。なお、駐車スペースPLnの横幅は、上述において、俯瞰画像から算出したが、必ずしもそれに限らず、外部のサーバから情報を取得して横幅を把握するようにしてもよい。外部から取得した情報により横幅を把握する場合は、その横幅を用いて車両進行方向奥側の枠線の位置を推定することができる。
次に、ステップS203において、制御装置10は、俯瞰画像における車両進行方向奥側の所定範囲から駐車スペースPL3、PL4、PL5の枠線の候補を検出するためのパラメータ毎に閾値を設定する。ここで、枠線の候補を検出するためのパラメータとしては、隣り合う画素との輝度差が所定値以上の画素列の長さである。
図10は、車両の進行方向における位置と枠線候補の検出に用いる閾値との関係を示すチャートである。このチャートに示すように、本ステップでは、ステップS202で推定した位置cを中心とする幅H1の領域における輝度差の閾値を、上記第1の閾値よりも低い第2の閾値に設定する。また、ステップS202で推定した位置dを中心とする幅H1の領域における輝度差の閾値を、第2の閾値よりも低い第3の閾値に設定する。さらに、ステップS202で推定した位置eを中心とする幅H1の領域における輝度差の閾値を、第3の閾値よりも低い第4の閾値に設定する。ここで、各位置c、d、eにおいて第2〜第4の閾値を設定する幅H1は、想定される一般的な枠線の幅より大きい幅に設定される。なお、輝度差の閾値を第1閾値よりも低い第2閾値に設定することは、閾値範囲を広げることである。これは、他のパラメータも同様で、枠線や枠線候補を検出し易くするために、閾値を変更して閾値範囲を広げる。
また、位置cと位置dとの間の領域における輝度差の閾値を、第1の閾値より低く第2の閾値より高い閾値に設定し、位置dと位置eとの間の領域における輝度差の閾値を、第2の閾値より低く第3の閾値より高い閾値に設定する。さらに、位置eの車両進行方向奥側の領域における輝度差の閾値を、第3の閾値より低く第4の閾値より高い検出閾値に設定する。
図11は、車両の進行方向における位置と枠線候補の検出に用いる閾値範囲との関係を示すチャートである。このチャートに示すように、ステップS202で推定した位置cを中心とする幅H1の領域における長さの閾値範囲を、第1の閾値範囲よりも広い第2の閾値範囲に設定する。また、ステップS202で推定した位置dを中心とする幅H1の領域における長さの閾値範囲を、第2の閾値範囲よりも広い第3の閾値範囲に設定する。さらに、ステップS02で推定した位置eを中心とする幅H1の領域における長さの閾値を、第3の閾値よりも低い第4の閾値に設定する。
また、位置cと位置dとの間の領域における長さの閾値範囲を、第1の閾値範囲よりも広く第2の閾値より狭い閾値範囲に設定し、位置dと位置eとの間の領域における長さの閾値範囲を、第2の閾値範囲より広く第3の閾値より狭い閾値範囲に設定する。さらに、位置eの車両進行方向奥側の領域における長さの閾値範囲を、第3の閾値範囲より広く第4の閾値より狭い閾値範囲に設定する。
図9に戻り、ステップS204において、制御装置10は、俯瞰画像における車両進行方向奥側の所定範囲について、枠線候補の検出処理を実行する。本ステップでは、位置cを中心とする幅H1の領域について、隣の画素列との輝度差が第2の閾値以上である画素列が存在し、かつ、この画素列の長さが第2の閾値範囲に含まれるか否かが判定され、条件を満たす場合に、当該領域から枠線候補が検出される。また、位置dを中心とする幅H1の領域について、隣の画素列との輝度差が第3の閾値以上である画素が存在し、かつ、この画素列の長さが第3の閾値範囲に含まれるか否かが判定され、条件を満たす場合に、当該領域から枠線候補が検出される。さらに、位置eを中心とする幅H1の領域について、隣の画素列との輝度差が第4の閾値以上である画素列が存在し、かつ、この画素列の長さが第4の閾値範囲に含まれるか否かが判定され、条件を満たす場合に、当該領域から枠線候補が検出される。
次に、ステップS205において、制御装置10は、ステップS204で検出した枠線候補を駐車スペースPL3、PL4、PL5の枠線として検出するのに用いる閾値範囲を設定する。本ステップでは、位置cを中心とする幅H1の領域から検出した枠線候補と位置bで検出した枠線との間隔の閾値範囲を、上記第1の閾値範囲より広い第2の閾値範囲に設定する。また、位置dを中心とする幅H1の領域から検出した枠線候補と位置cを中心とする幅H1の領域から検出した枠線候補との間隔の閾値範囲を、上記第2の閾値範囲より広い第3の閾値範囲に設定する。さらに、位置eを中心とする幅H1の領域で検出した枠線候補と位置を中心とする幅H1の領域で検出した枠線候補との間隔の閾値範囲を、上記第4の閾値範囲より広い第4の閾値範囲に設定する。
また、本ステップでは、位置cを中心とする幅H1の領域から検出した枠線候補と位置bで検出した枠線との相対角度の閾値範囲を、上記第1の閾値範囲より広い第2の閾値範囲に設定する。また、位置dを中心とする幅H1の領域から検出した枠線候補と位置cを中心とする幅H1の領域から検出した枠線候補との相対角度の閾値範囲を、上記第2の閾値範囲より広い第3の閾値範囲に設定する。さらに、位置eを中心とする幅H1の領域から検出した枠線候補と位置dを中心とする幅H1の領域から検出した枠線候補との相対角度の閾値範囲を、上記第3の閾値範囲より広い第4の閾値範囲に設定する。
次に、ステップS206において、制御装置10は、俯瞰画像における車両進行方向奥側の所定範囲について、枠線候補を駐車スペースPL3、PL4、PL5の枠線として検出する処理を実行する。本ステップでは、位置cを中心とする幅H1の領域から検出した枠線候補と位置bで検出した枠線との間隔が第2の閾値範囲に含まれ、且つ、位置cを中心とする幅H1の領域から検出した枠線候補と位置bで検出した枠線との相対角度が第2の閾値範囲に含まれるか否かが判定される。条件を満たす場合に、位置cを中心とする幅H1の領域から検出した枠線候補が駐車スペースPL3の奥側の枠線として検出される。また、位置dを中心とする幅H1の領域から検出した枠線候補と位置cを中心とする幅H1の領域から検出した枠線候補との間隔が第3の閾値範囲に含まれ、且つ、位置dを中心とする幅H1の領域から検出した枠線候補と位置cを中心とする幅H1の領域から検出した枠線候補との相対角度が第3の閾値範囲に含まれるか否かが判定される。条件を満たす場合に、位置dを中心とする幅H1の領域から検出した枠線候補が駐車スペースPL4の奥側の枠線として検出される。さらに、位置eを中心とする幅H1の領域から検出した枠線候補と位置dを中心とする幅H1の領域から検出した枠線候補との間隔が第4の閾値範囲に含まれ、且つ、位置eを中心とする幅H1の領域から検出した枠線候補と位置dを中心とする幅H1の領域から検出した枠線候補との相対角度が第4の閾値範囲に含まれるか否かが判定される。条件を満たす場合に、位置eを中心とする幅H1の領域から検出した枠線候補が駐車スペースPL5の奥側の枠線として検出される。
なお、上述では、隣の画素列との輝度差と、その画素列の長さとに基づいて枠線候補を抽出し、その後、枠線の相対角度と、枠線間隔とに基づいて枠線を検出していたが、本実施形態においては、それに限られない。例えば、枠線の相対角度と、枠線間隔とに基づいて枠線候補を抽出し、その後、隣の画素列との輝度差と、その画素列の長さとに基づいて枠線を検出するようにしてもよい。また、隣の画素列との輝度差、画素列の長さ、枠線の相対角度、枠線間隔の他にも、白線幅、走路に対する垂直度の要素により検出してもよく、枠線の候補の抽出や枠線の検出に際し、使われるパラメータ、もしくはそれぞれの組み合わせについては一切限定されない。また、それぞれのパラメータを用いて枠線や枠線候補を検出するに際し、閾値を変更する(閾値を下げる)ることは、閾値範囲を広げることに相当する。
さらに加えて、上述における枠線は、必ずしも直線に限られず、点線や直線が途切れている場合で合っても良い。この場合においては、点線や、途切れた直線においては、枠線が存在する位置に限定してもよいし、枠線が存在する位置の情報により枠線が存在しない位置を補完して、直線と仮定してもよい。
本発明の実施形態の駐車支援装置100は、以上のように構成され動作するので、以下の効果を奏する。
本実施形態の駐車支援装置100の制御装置10は、駐車スペースPLnの枠線の検出に用いるパラメータ(隣の画素との輝度差が所定値以上の画素列の長さ等)の値が第1の閾値範囲に含まれる場合に、駐車スペースPL1、PL2の枠線を車両進行方向手前側の所定範囲から検出する。そして、制御装置10は、車両進行方向奥側の所定範囲における未検出の駐車スペースPL3、PL4、PL5の枠線の位置を、検出した枠線の位置に基づいて推定する。ここで、制御装置10は、車両進行方向奥側の所定範囲における枠線の推定位置において駐車スペースPL3、PL4、PL5の枠線を検出するのに用いるパラメータの値の閾値範囲を、上記第1の閾値範囲より広い第2〜第4の閾値範囲に設定する。
これにより、自車両Vからの距離が遠くなるにしたがって、撮像画像の解像度が低くなり、枠線が検出され難くなるという状況を回避できる。従って、駐車スペースの枠線を検出できる可能性が高まる。
また、本実施形態の駐車支援装置100の制御装置10は、駐車スペースPLnの枠線の推定位置と自車両Vとの距離が遠くなるにしたがって、推定位置において駐車スペースPLnの枠線を検出するのに用いるパラメータの値の閾値範囲を、第2の閾値範囲、第3の閾値範囲、第4の閾値範囲と漸次的に広くなるように設定する。
即ち、推定位置毎に自車両Vから推定位置までの距離に応じた好適な閾値範囲に設定する。これにより、駐車スペースPLnの枠線の検出できる可能性がより一層高まる。
次に、検出閾値の設定方法の変形例について説明する。なお、上述の実施形態と同様の事項については繰り返しの説明を省略し、上述の実施形態でした説明を援用する。
図12は、車両の進行方向における位置と枠線候補の検出に用いる閾値との関係を示すチャートである。このチャートに示すように、位置cを中心とする幅H1の領域における輝度差の閾値を、上記第1の閾値より低い第2の閾値に設定する。また、位置dを中心とする幅H2の領域における輝度差の閾値を、第2の閾値より低い第3の閾値に設定する。さらに、位置eを中心とする幅H3の領域における輝度差の閾値を、第3の閾値よりも低い第4の閾値に設定する。
ここで、位置cにおいて第2の閾値を設定する領域の幅H1と、位置dにおいて第3の閾値を設定する領域の幅H2と、位置eにおいて第4の閾値を設定する領域の幅H3とは、下記(1)式の関係を満たす。
V1<V2<V3 …(1)
本例の閾値の設定方法では、推定位置がc、d、eと自車両からの距離が遠くなるにしたがって、第2〜第4の閾値を設定する領域の幅を、V1、V2、V3と漸次的に大きく設定する。即ち、推定位置毎に、閾値を低下させる領域の幅を、自車両Vから推定位置までの距離に応じた好適な大きさに設定する。これにより、駐車スペースの枠線を検出できる可能性がより一層高まる。
上述の実施形態における「制御装置10」は、本発明における「枠線検出部」、「推定部」、および「閾値設定部」の一例に相当する。また、上述の実施形態における「カメラ1」が本発明における「撮像装置」の一例に相当する。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態において開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
例えば、上述の実施形態では、並列駐車方式の駐車スペースPLn、PRnの枠線の検出処理を例に挙げて本発明を説明したが、本発明は、縦列駐車方式の駐車スペース(図7(B)参照)や角度付きの並列駐車方式の駐車スペース(図7(C)参照)の枠線検出処理についても適用できる。
また、上述の実施形態で説明した検出閾値の設定方法と、検出閾値の設定方法の変形例とを組み合わせてもよい。即ち、自車両Vと枠線の推定位置との距離が遠くなるに従って、閾値範囲が漸次的に広くなると共に、閾値範囲を広げる領域の幅が漸次的に広くなるように、検出閾値を設定してもよい。
さらに、上述の実施形態は、車両に備えられたカメラを前提として説明したが、必ずしもそれに限らず、本実施形態は、駐車場に備えられた固定カメラや、他車両のカメラや、ユーザの携帯カメラを前提としたものでもよい。そのような場合は、駐車スペースの情報を外部から取得して、駐車スペースの駐車状態を把握するようにしてもよい。
1 カメラ
10 制御装置

Claims (4)

  1. 撮像装置により取得された撮像画像から駐車スペースの枠線を検出する方法であって、
    前記枠線の検出に用いるパラメータの値が第1の閾値範囲に含まれる場合に、前記枠線を検出し、
    検出した前記枠線の位置に基づいて、未検出の前記枠線の位置を推定し、
    前記枠線の推定位置において前記枠線を検出するのに用いるパラメータの値の閾値範囲を、前記第1の閾値範囲より広い第2の閾値範囲に設定し、
    前記第2の閾値範囲を、前記枠線の前記推定位置と前記撮像装置との距離が遠くなるほど、前記枠線の前記推定位置毎に、広くなるように設定する駐車スペースの枠線の検出方法。
  2. 撮像装置により取得された撮像画像から駐車スペースの枠線を検出する方法であって、
    前記枠線の検出に用いるパラメータの値が第1の閾値範囲に含まれる場合に、前記枠線を検出し、
    検出した前記枠線の位置に基づいて、未検出の前記枠線の位置を推定し、
    前記枠線の推定位置において前記枠線を検出するのに用いるパラメータの値の閾値範囲を、前記第1の閾値範囲より広い第2の閾値範囲に設定し、
    前記第2の閾値範囲を設定する領域の幅を、前記枠線の前記推定位置と前記撮像装置との距離が遠くなるに従って、広くなるように設定する駐車スペースの枠線の検出方法。
  3. 前記枠線の前記推定位置として、第1の推定位置と、前記撮像装置を基準として前記第1の推定位置の奥側隣に位置する第2の推定位置とが存在する場合、
    前記第1の推定位置における前記第2の閾値範囲を、前記第2推定位置における前記第2閾値範囲より狭く設定し、
    前記第1の推定位置と前記第2の推定位置との間の位置における前記第1の閾値範囲を、前記第1の推定位置及び前記第2の推定位置における前記第2の閾値範囲より狭く設定する請求項1又はに記載の駐車スペースの枠線の検出方法。
  4. 撮像装置により取得された撮像情報から駐車スペースの枠線を検出する装置であって、
    前記枠線の検出に用いるパラメータの値が第1の閾値範囲に含まれる場合に、前記枠線を検出する枠線検出部と、
    前記枠線検出部により検出された前記枠線の位置に基づいて、未検出の前記枠線の位置を推定する推定部と、
    前記推定部により推定された前記枠線の位置において前記枠線を検出するのに用いるパラメータの値の閾値範囲を、前記第1の閾値範囲より広い第2の閾値範囲に設定する閾値設定部と
    を備え、
    前記閾値設定部は、前記第2の閾値範囲を、前記枠線の前記推定位置と前記撮像装置との距離が遠くなるほど、前記枠線の前記推定位置毎に、広くなるように設定する駐車スペースの枠線の検出装置。
JP2017546355A 2015-10-22 2015-10-22 駐車スペースの枠線の検出方法および装置 Active JP6562081B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079893 WO2017068699A1 (ja) 2015-10-22 2015-10-22 駐車スペースの枠線の検出方法および装置

Publications (2)

Publication Number Publication Date
JPWO2017068699A1 JPWO2017068699A1 (ja) 2018-09-13
JP6562081B2 true JP6562081B2 (ja) 2019-08-21

Family

ID=58556864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017546355A Active JP6562081B2 (ja) 2015-10-22 2015-10-22 駐車スペースの枠線の検出方法および装置

Country Status (11)

Country Link
US (1) US10810446B2 (ja)
EP (1) EP3367336B1 (ja)
JP (1) JP6562081B2 (ja)
KR (1) KR102073496B1 (ja)
CN (1) CN108351958B (ja)
BR (1) BR112018008270B1 (ja)
CA (1) CA3002639C (ja)
MX (1) MX2018004708A (ja)
MY (1) MY188579A (ja)
RU (1) RU2691498C1 (ja)
WO (1) WO2017068699A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008757A1 (ja) * 2017-07-07 2019-01-10 日産自動車株式会社 駐車支援方法及び駐車制御装置
WO2019064907A1 (ja) * 2017-09-29 2019-04-04 日立オートモティブシステムズ株式会社 駐車支援装置
US10583779B2 (en) * 2017-10-02 2020-03-10 Magna Electronics Inc. Parking assist system using backup camera
KR102077573B1 (ko) * 2018-01-31 2020-02-17 엘지전자 주식회사 자동 주차 시스템 및 차량
CN108346313B (zh) * 2018-04-19 2020-10-09 浪潮集团有限公司 一种空车位检测方法及系统
CN110654375A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 自动泊车方法、装置、系统及车辆
CN109515431B (zh) * 2018-11-02 2020-06-02 浙江吉利汽车研究院有限公司 一种集成式自动泊车系统及自动泊车方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095631A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203586B2 (ja) * 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095620A (ja) * 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP7141940B2 (ja) * 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP7229804B2 (ja) * 2019-02-14 2023-02-28 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN111429469B (zh) * 2019-04-17 2023-11-03 杭州海康威视数字技术股份有限公司 泊位位置确定方法、装置、电子设备及存储介质
JP7190393B2 (ja) * 2019-05-13 2022-12-15 本田技研工業株式会社 車両制御装置、車両管理装置、車両制御方法、およびプログラム
JP7323413B2 (ja) * 2019-10-11 2023-08-08 トヨタ自動車株式会社 駐車支援装置
JP6975766B2 (ja) 2019-12-13 2021-12-01 本田技研工業株式会社 駐車支援装置、駐車支援方法及びプログラム
JP7446830B2 (ja) * 2020-01-30 2024-03-11 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2022010577A (ja) * 2020-06-29 2022-01-17 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7559517B2 (ja) 2020-11-12 2024-10-02 日産自動車株式会社 情報処理装置及び情報処理方法
JP7548120B2 (ja) * 2021-05-14 2024-09-10 トヨタ自動車株式会社 自動駐車サーバ、自動運転車両、自動駐車システム
US11794726B2 (en) * 2021-09-28 2023-10-24 Ford Global Technologies, Llc Systems and methods for virtual vehicle parking assistance background
JP2023148817A (ja) * 2022-03-30 2023-10-13 パナソニックIpマネジメント株式会社 駐車支援システムおよび駐車支援方法
CN115083203B (zh) * 2022-08-19 2022-11-15 深圳云游四海信息科技有限公司 基于图像识别泊位对路内停车进行巡检的方法和系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265209A (ja) * 2003-03-03 2004-09-24 Fujitsu Ten Ltd 物体認識方法
JP4432930B2 (ja) * 2006-04-25 2010-03-17 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4428390B2 (ja) * 2007-02-15 2010-03-10 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP5091897B2 (ja) * 2009-03-24 2012-12-05 富士重工業株式会社 停止線検出装置
US8289189B2 (en) * 2009-05-11 2012-10-16 Robert Bosch Gmbh Camera system for use in vehicle parking
JP2011191884A (ja) 2010-03-12 2011-09-29 Suzuki Motor Corp 白線検出装置
JP5440867B2 (ja) * 2010-06-18 2014-03-12 アイシン精機株式会社 駐車支援装置
TWI464085B (zh) * 2011-07-22 2014-12-11 Automotive Res & Testing Ct Parking space detection method
JP5741321B2 (ja) * 2011-08-23 2015-07-01 株式会社富士通ゼネラル 運転支援装置
KR101327736B1 (ko) * 2011-12-23 2013-11-11 현대자동차주식회사 Avm탑뷰 기반 주차지원 시스템
EP2821958A4 (en) * 2012-03-01 2015-06-03 Nissan Motor DEVICE FOR DETECTING THREE-DIMENSIONAL OBJECTS
JP6015314B2 (ja) * 2012-09-28 2016-10-26 アイシン精機株式会社 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
JP5981322B2 (ja) * 2012-11-27 2016-08-31 クラリオン株式会社 車載画像処理装置
CN104797477B (zh) * 2012-11-27 2017-04-05 日产自动车株式会社 车辆用加速抑制装置以及车辆用加速抑制方法
WO2014083821A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 運転支援装置
JP6023216B2 (ja) * 2012-11-27 2016-11-09 クラリオン株式会社 車載画像処理装置
WO2014083827A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置
JP2014110028A (ja) * 2012-12-04 2014-06-12 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2015064795A (ja) * 2013-09-25 2015-04-09 日産自動車株式会社 駐車場判定装置、駐車場判定方法
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법
JP6348758B2 (ja) * 2014-04-15 2018-06-27 本田技研工業株式会社 画像処理装置
JP6096156B2 (ja) * 2014-09-12 2017-03-15 アイシン精機株式会社 駐車支援装置
JP2016084094A (ja) * 2014-10-28 2016-05-19 アイシン精機株式会社 駐車支援装置
KR101965834B1 (ko) * 2016-10-12 2019-08-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량

Also Published As

Publication number Publication date
BR112018008270B1 (pt) 2023-03-21
BR112018008270A2 (ja) 2018-10-23
MY188579A (en) 2021-12-22
WO2017068699A1 (ja) 2017-04-27
EP3367336B1 (en) 2019-12-04
US20180307919A1 (en) 2018-10-25
EP3367336A1 (en) 2018-08-29
CA3002639C (en) 2021-07-06
CA3002639A1 (en) 2017-04-27
US10810446B2 (en) 2020-10-20
KR102073496B1 (ko) 2020-02-04
CN108351958B (zh) 2022-03-25
JPWO2017068699A1 (ja) 2018-09-13
MX2018004708A (es) 2018-06-18
RU2691498C1 (ru) 2019-06-14
KR20180069855A (ko) 2018-06-25
EP3367336A4 (en) 2018-12-26
CN108351958A (zh) 2018-07-31
BR112018008270A8 (pt) 2023-01-31

Similar Documents

Publication Publication Date Title
JP6562081B2 (ja) 駐車スペースの枠線の検出方法および装置
JP6531832B2 (ja) 駐車スペース検出方法および装置
JP6547836B2 (ja) 駐車支援方法及び駐車支援装置
JP6493551B2 (ja) 駐車支援方法及び駐車支援装置
JP6493552B2 (ja) 駐車支援情報の表示方法及び駐車支援装置
JP6617773B2 (ja) 駐車支援方法及び駐車支援装置
EP3367365B1 (en) Parking support information display method and parking support device
WO2017068700A1 (ja) 駐車スペース検出方法および装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R151 Written notification of patent or utility model registration

Ref document number: 6562081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151