JP6717929B2 - 駐車支援装置、車載カメラ、車両および駐車支援方法 - Google Patents

駐車支援装置、車載カメラ、車両および駐車支援方法 Download PDF

Info

Publication number
JP6717929B2
JP6717929B2 JP2018505863A JP2018505863A JP6717929B2 JP 6717929 B2 JP6717929 B2 JP 6717929B2 JP 2018505863 A JP2018505863 A JP 2018505863A JP 2018505863 A JP2018505863 A JP 2018505863A JP 6717929 B2 JP6717929 B2 JP 6717929B2
Authority
JP
Japan
Prior art keywords
parking
vehicle
image
processor
history information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018505863A
Other languages
English (en)
Other versions
JPWO2017159510A1 (ja
Inventor
裕介 沼田
裕介 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2017159510A1 publication Critical patent/JPWO2017159510A1/ja
Application granted granted Critical
Publication of JP6717929B2 publication Critical patent/JP6717929B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/028Guided parking by providing commands to the driver, e.g. acoustically or optically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/935Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the contour, e.g. a trajectory of measurement points, representing the boundary of the parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

関連出願へのクロスリファレンス
本出願は、日本国特許出願2016−055928号(2016年3月18日出願)の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
本開示は、駐車を支援する駐車支援装置、車載カメラ、車両および駐車支援方法に関する。
車両の運転操作を支援する装置が知られている。例えば、特許文献1は、車両を駐車する際に実画像上に目標駐車枠を重畳表示する駐車支援装置について記載する。特許文献1の駐車支援装置は、駐車範囲内の任意の位置に駐車できるように、目標駐車枠の表示位置をユーザ(例えば車両の運転者等)の操作によって移動させることが可能である。
特開平11−208420号公報
本開示の一実施形態に係る駐車支援装置は、車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサを備える。前記駐車支援装置は、前記車両の実際の駐車位置前記駐車領域の中心を基準にしてどれだけ偏っているかを示すズレ率の履歴情報を記憶するメモリを備える。前記プロセッサは、前記履歴情報の統計処理に基づいて前記駐車目標位置の前記画像における位置を調整する。
また、本開示の一実施形態に係る車載カメラは、駐車支援装置を備える車載カメラである。前記駐車支援装置は、車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサを備える。前記駐車支援装置は、前記車両の実際の駐車位置前記駐車領域の中心を基準にしてどれだけ偏っているかを示すズレ率の履歴情報を記憶するメモリを備える。前記プロセッサは、前記履歴情報の統計処理に基づいて前記駐車目標位置の前記画像における位置を調整する。
また、本開示の一実施形態に係る車両は、駐車支援装置を備える車両である。前記駐車支援装置は、前記車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサを備える。前記駐車支援装置は、前記車両の実際の駐車位置前記駐車領域の中心を基準にしてどれだけ偏っているかを示すズレ率の履歴情報を記憶するメモリを備える。前記プロセッサは、前記履歴情報の統計処理に基づいて前記駐車目標位置の前記画像における位置を調整する。
また、本開示の一実施形態に係る駐車支援方法は、プロセッサとメモリとを備える駐車支援装置が実行する駐車支援方法である。前記駐車支援方法は、前記プロセッサが、車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出する。前記駐車支援方法は、前記プロセッサが、前記駐車領域と駐車目標位置とが重畳した画像を生成する。前記駐車支援方法は、前記メモリが、前記車両の実際の駐車位置前記駐車領域の中心を基準にしてどれだけ偏っているかを示すズレ率の履歴情報を記憶する。前記駐車支援方法は、前記プロセッサが、前記履歴情報の統計処理に基づいて前記駐車目標位置の前記画像における位置を調整する。
図1は、本開示の一実施形態に係る駐車支援装置および駐車支援装置を備える車載カメラシステムの概略構成を示すブロック図である。 図2は、図1の車載カメラシステムの構成要素の配置を示す概略図である。 図3は、図1の車載カメラシステムを搭載した車両の駐車例を示す図である。 図4は、駐車領域と駐車目標位置とを説明するための図である。 図5は、車両の駐車位置と履歴情報について説明するための図である。 図6は、履歴情報の統計処理について説明するための図である。 図7は、調整された駐車目標位置を例示する図である。 図8は、撮像装置の処理を示すフローチャートである。 図9は、駐車支援方法を示すフローチャートである。
以下、本開示の実施形態について、図面を参照して説明する。
(駐車支援装置および車載カメラシステムの概略構成)
本開示の一実施形態に係る駐車支援装置1および車載カメラシステム10について説明する。
図1に示されるように、車載カメラシステム10は、複数の撮像装置、駐車支援装置1、表示装置13、位置情報取得部24およびセンサ部27を備える。複数の撮像装置は、フロントカメラ11a、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dを含む。駐車支援装置1は、プロセッサ12およびメモリ30を備える。本実施形態において、車載カメラシステム10の各構成要素および駐車支援装置1の各構成要素は、専用線又はCAN(Controller Area Network)などの車載ネットワーク14を介して情報を送受信可能である。メモリ30は駐車支援装置1に含まれているが、プロセッサ12以外の構成要素(例えばフロントカメラ11a等)もアクセス可能である。
図2に示されるように、フロントカメラ11aは、車両15の前方の周辺領域を撮像可能となるように配置される。リアカメラ11bは、車両15の後方の周辺領域を撮像可能となるように配置される。左サイドカメラ11cおよび右サイドカメラ11dは、例えば左右のドアミラー16において鉛直下向きに、車両15の側方の周辺領域をそれぞれ撮像可能となるように配置される。図2では、右サイドカメラ11dは車両15の車体に隠れているため示されていない。また、左サイドカメラ11cおよび右サイドカメラ11dは、車両15の左右両側にそれぞれ対称に配置される。表示装置13は、運転席から視認可能な位置に配置される。
フロントカメラ11a、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dは、例えば魚眼レンズなどの画角の広いレンズを備えており、車両15の周辺領域を広角撮影可能である。一般に、広角撮影においては広範囲の被写体を撮像可能であって、画像周辺部における被写体は湾曲して撮像されるが、撮像装置自身または駐車支援装置1によって湾曲が修正されてから表示装置13に表示される。
次に、再び図1を参照して、フロントカメラ11a、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dの構成について説明する。フロントカメラ11aは、光学系17aと、撮像素子18aと、信号処理部19aと、カメラ制御部20aと、を備える。
光学系17aは、絞りおよびレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系17aは広い画角を有しており、上述のように車両15の周辺領域に含まれる被写体像を結像可能である。
撮像素子18aは、例えばCMOS(Complementary Metal Oxide Semiconductor)撮像素子であって、光学系17aによって結像する被写体像を撮像する。また、撮像素子18aは、撮像により生成した撮像画像を、画像信号として信号処理部19aに出力する。
信号処理部19aは、撮像素子18aから取得した画像信号に対して、輝度信号処理(例えば明るさ補正、ガンマ補正等)および色信号処理(例えば色補間、色補正、ホワイトバランス等)を実行する。信号処理部19aはさらにノイズ除去を施してよい。信号処理部19aは、これらの画像処理を施した画像データを駐車支援装置1に出力する。
カメラ制御部20aは、フロントカメラ11aの各部位の動作を制御する。例えば、カメラ制御部20aは、撮像素子18aおよび信号処理部19aの動作を制御して、周期的に、例えば30fpsで画像信号を出力させる。
リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dは、フロントカメラ11aと類似して、光学系17b,17c,17dをそれぞれ備える。また、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dは、撮像素子18b,18c,18dをそれぞれ備える。また、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dは、信号処理部19b,19c,19d、をそれぞれ備える。また、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dは、カメラ制御部20b,20c,20dをそれぞれ備える。光学系17b,17c,17d、撮像素子18b,18c,18d、信号処理部19b,19c,19d、およびカメラ制御部20b,20c,20dの機能および構成は、フロントカメラ11aと類似である。車載カメラシステム10は一部の撮像装置を備えなくてよい。例えば、車載カメラシステム10はフロントカメラ11aを備えない構成であってよい。
駐車支援装置1のプロセッサ12は、画像取得部21と、駐車領域検出部22と、演算部23と、車両位置検出部25と、画像処理部26とを備える。また、本実施形態においてプロセッサ12は、特定のプログラムを読み込むことにより特定の機能を実現するCPU(Central Processing Unit)である。プロセッサ12は、単一のCPU、または、複数のCPUで構成することも可能である。
駐車支援装置1のメモリ30は、プロセッサ12が実行する演算および処理で用いられる各種のデータを記憶する。また、メモリ30は、プロセッサ12が画像取得部21、駐車領域検出部22、演算部23、車両位置検出部25、および画像処理部26として機能するためのプログラムを格納する。また、メモリ30は、後述する履歴情報を複数記憶する。
画像取得部21は、車載ネットワーク14を介して、フロントカメラ11a、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dからそれぞれの方向の周辺領域の画像データを取得する。画像取得部21は、前方、後方および側方(右方、左方)の周辺領域の画像データの全部を取得してよいし、一部を取得してよい。例えば、画像取得部21は、画像データの全部を取得して一時的にメモリ30に記憶してから、必要なエリアだけを抽出(エリアを指定)してよい。また、画像取得部21は、車両15が駐車領域に停止する前の画像であって、後述するズレ率の演算に使用可能な画像をメモリ30に記憶させる。ここで、画像取得部21が取得する前方、後方および側方の周辺領域の画像の全部または一部が、本開示の周辺画像に対応する。
駐車領域検出部22は駐車領域(車両15が駐車可能な領域)を検出する。車両15が例えば市街の駐車場に停まる場合には、駐車領域検出部22は、白線検出を行うことによって駐車領域を検出できる。また、車両15が例えば自宅のガレージに停まる場合には、側壁および背壁を検出することによって駐車領域を検出できる。駐車領域は車両15が停まることが可能な領域である。駐車領域の内部に駐車目標位置が設定される。駐車領域検出部22が検出した駐車領域の情報はメモリ30に記憶されて、例えば画像処理部26が駐車領域と駐車目標位置とが重畳した画像を生成する際に用いられる。
演算部23はズレ率を演算し、過去の分も含めて履歴情報としてメモリ30に記憶する。ズレ率は車両15が実際に駐車した位置が駐車領域の中心を基準にしてどれだけ偏っているかを示す値である。本実施形態では、演算部23は車両15の左右の方向におけるズレ率を演算する。
また、演算部23は、ズレ率について統計的な演算処理を実行する。過去の分も含めたズレ率について統計的に演算を行うことで運転者の駐車位置の好みおよび習慣がわかる。統計的な演算は、例えば平均値を求めてよいし、本実施形態のように最頻値を求めてよいし、母数の多少に応じて平均値と最頻値とを切り替えてよい。また、演算部23は、母数として直近の所定数(例えば10)のズレ率を選択することによって、最近の傾向を反映させてよい。演算部23は履歴情報をメモリ30に記憶するとともに、統計処理の結果を画像処理部26に出力する。
画像処理部26は、例えば画像取得部21が取得した駐車領域を含むリアカメラ11bからの画像に駐車目標位置が重畳した画像を生成する。画像処理部26は、表示装置13に生成した画像を表示させる。また、画像処理部26は、後述する駐車ガイド線も重畳表示させる。さらに、画像処理部26は、駐車領域を目立たせるような処理を実行してよい。そして、画像処理部26は、演算部23からの取得したズレ率の最頻値と現在の設定値との差の絶対値が閾値を超える場合には、駐車目標位置の表示位置を調整して画像を生成し、表示装置13に表示させる。また、画像処理部26は、着座に関する情報(車両15の搭乗者の情報)を取得して、生成する画像における駐車目標位置の位置を調整する。例えば、助手席側に多くの人が乗っている場合には、乗降がしやすいように運転席側に駐車位置をずらした駐車目標位置を表示してよい。
車両位置検出部25は、車両15の位置情報を取得して演算部23に出力する。本実施形態では、車両位置検出部25は、位置情報取得部24からGPS(Global Positioning System)による位置検出データを取得して車両15の位置を把握する。位置情報は、演算部23がメモリ30に複数記憶されている履歴情報の中から適切なものを選択することを可能にする。ここで、駐車支援装置1は、駐車場所毎の複数の履歴情報を使用することにより駐車場所によって異なる運転者の好みを適切に反映することができる。例えば、運転手が自宅のガレージでは右寄りに駐車することを好み、市街の駐車場では中央に駐車することを好む場合にも、駐車支援装置1は、それぞれの場所に適した駐車目標位置を表示できる。
表示装置13は、例えばLCD(Liquid Crystal Display)を含んで構成され、リアルタイムの動画像を表示可能である。表示装置13は、車載ネットワーク14を介して、少なくとも駐車目標位置を重畳表示した画像を表示する。
位置情報取得部24は、GPSの位置情報を車両15の外部から取得するための装置である。例えば、位置情報取得部24はGPSアンテナとGPS受信機であってよい。また、車両15が搭載するカーナビゲーションシステムの一部を位置情報取得部24として機能させてよい。
センサ部27は、座席および背もたれ部分の圧力を検出する圧力センサ28、シートベルトの巻取装置(リトラクター)にあってベルトの引き出し状態を検出できる回転センサなどを含む。そして、センサ部27は、車載ネットワーク14を介して、着座に関する情報をプロセッサ12に出力する。
(駐車目標位置の調整について)
以下では、表示装置13に表示される、撮像画像に駐車目標位置および駐車ガイド線を重畳した画像の例を示す。その後に、駐車支援装置1の処理(駐車支援方法)について説明する。図3に示されるように、駐車支援装置1を備える車載カメラシステム10を搭載した車両15が、所定の駐車領域PSに後方から進入して駐車する例を適宜用いて説明する。
図3の例では、車両15は3つある駐車領域PSのうち中央の領域に駐車する。センターラインCLは駐車領域PSの左右の幅が等しくなる仮想的な線である。また、障害物Bが紙面左方の駐車領域PSとの境界部分に存在する。
このとき、車両15の搭乗者P1,P2,P3の着座席が全て運転席側(紙面左方)であるため、搭乗者P1,P2,P3は近くのドアD(紙面左方)から降りる。障害物BによってドアDを十分に開くことができないことを回避するために、運転者(図3の例では搭乗者P1)は障害物Bから大きく離れるように駐車すると考えられる。また、運転者は、障害物Bのある駐車領域PSを多く利用する場合には、他の搭乗者P2,P3が乗っていなくても障害物Bから離れるように駐車する傾向があると考えられる。つまり、この車両15の中心が、駐車領域PSのセンターラインCLよりも紙面右方側に位置するように駐車される傾向があると考えられる。
従来の駐車支援を行う装置では、表示される駐車目標位置が常に同じであるか、調整可能であっても運転者の手動の操作が必要であった。以下に説明するように、本実施形態に係る駐車支援装置1は、運転者の煩雑な操作なしに駐車位置の好みおよび習慣を反映した走行支援ガイドを表示させることができる。
まず、図4を参照して、本実施形態に係る駐車支援装置1が表示させる初期状態の画像(運転者の好みおよび習慣を反映する前の画像)について説明する。図4に示されるように、初期状態の画像は、リアカメラ11bが撮像した撮像画像である駐車領域PSおよび障害物Bを含む。駐車領域PSは白線で囲まれている。駐車支援装置1は白線を検出する処理によって駐車領域PSを認識する。駐車目標位置Tiは運転者が目標とする車両15の駐車位置を示す画像である。また、駐車ガイド線A0は車両15の走行予想軌跡を示す画像であって、車両15の操舵角に応じて変化する。駐車目標位置Tiおよび駐車ガイド線A0は、車両15の運転操作を支援するために撮像画像に重畳表示される。運転者は、駐車ガイド線A0が駐車目標位置Tiに重なるように車両15を操作することで、駐車領域PSの中央に駐車することができる。ここで、駐車領域PSのセンターラインCLは説明のための仮想線である。駐車支援装置1はセンターラインCLを重畳表示させてよい。
図4に示されるように、初期状態の駐車支援装置1が表示させる駐車目標位置Tiは、センターラインCLを中心に左右対称である。ここで、図4の駐車ガイド線A0が示すように、運転者は障害物Bを回避するように駐車目標位置Tiよりも紙面右側に車両15を駐車する傾向がある。したがって、初期状態の駐車支援装置1が表示させる駐車目標位置Tiは運転者の駐車位置の好みおよび習慣を反映していない。駐車支援装置1は、車両15の駐車時に駐車領域PSおよび駐車ガイド線A0が含まれる画像をメモリ30に記憶する。そして、演算部23はメモリ30から画像を取得して、図4に示される、車両15の右方間隔DRおよび左方間隔DLを求めて、これらの比をズレ率Rとする。ズレ率Rは以下の式(1)で示される。
R=DR/DL … 式(1)
ここで、右方間隔DRは、車両15の前進方向を基準とした駐車領域PSの右方(紙面左方)の境界と車両15との距離である。また、左方間隔DLは、車両15の前進方向を基準とした駐車領域PSの左方(紙面右方)の境界と車両15との距離である。ズレ率Rは、車両15がその前進方向を基準とした左方(紙面右方)に偏って駐車される場合には1よりも大きくなる。逆に、ズレ率Rは、車両15がその前進方向を基準とした右方(紙面左方)に偏って駐車される場合には1よりも小さくなる。駐車支援装置1は、右方間隔DRおよび左方間隔DLを取得するだけでなく、これらの比であるズレ率Rによって駐車位置の偏りを判定する。そのため、駐車領域PSの大きさに関わらず、ズレ率Rという同じ基準で駐車位置の偏りが判定される。ここで、演算部23がズレ率Rを演算するためにメモリ30から取得する画像は、本実施形態では車両15が停止する直前で操舵角の変化がないときの画像であるが、右方間隔DRおよび左方間隔DLを取得可能な画像であれば特に限定されない。また、右方間隔DRおよび左方間隔DLを計測する位置は、本実施形態では駐車ガイド線A0の車両15の最後部付近に設定されているが特に限定されない。
図5の駐車領域PSは図4と同じであるが、図5では車両15の複数回の駐車ガイド線A1〜A4を重ねて示している。つまり、図5は、車両15の駐車が複数回実行された後のそれぞれの駐車位置を示す駐車ガイド線A1〜A4をまとめて示すものである。図5に示されるように、本実施形態に例示する運転者は、車両の中心が駐車領域PSのセンターラインCLよりも紙面右方側に位置するように駐車する傾向がある。
演算部23は、車両15の複数回の駐車のそれぞれでズレ率Rを演算する。例えば、ズレ率Rは“1.2”,“1.3”,“1.1”,“1.2”のように演算される。ズレ率Rによって車両15の駐車位置は駐車領域PSと関連付けられる。演算部23は、演算したこれらのズレ率Rを履歴情報としてメモリ30に記憶する。つまり、履歴情報は過去の駐車位置の情報であるズレ率Rのリストである。このとき、個々のズレ率Rは時間情報と対応付けられたテーブル形式で記憶されていてよい。ここで、所定の区分による(つまり条件別の)複数の履歴情報が使用される。本実施形態では、所定の区分は車両15の位置情報であって、駐車場所毎に履歴情報が用意される。そのため、駐車支援装置1は駐車場所毎に運転者の好みおよび習慣を反映可能である。演算部23は、車両位置検出部25から車両15の位置情報を取得して、複数の履歴情報の中から駐車領域PSについての履歴情報を選択する。
また、演算部23は、車両15の複数回の駐車のズレ率Rについて統計的な演算処理を実行して、運転者の駐車位置の好みおよび習慣を把握する。本実施形態では、演算部23はズレ率Rの最頻値を求める。図6は、演算部23が実行した履歴情報の統計処理の結果の一例を示す。車両15の中心がセンターラインCL上にある場合にはズレ率Rは1であるところ、図6の例では、ズレ率Rの最頻値は1.2である。つまり、運転者は、車両15の前進方向を基準として左方(紙面右方)に偏って駐車する傾向がある。このように、履歴情報の統計処理によって運転者の駐車位置の好みおよび習慣がわかる。演算部23の統計処理の結果は画像処理部26に出力される。
画像処理部26は、演算部23から取得したズレ率Rの最頻値と現在の設定値との差の絶対値が閾値を超える場合には、駐車目標位置Tiの表示位置を調整して画像を生成し、表示装置13に表示させる。本実施形態では、演算部23から取得したズレ率Rの最頻値は1.2である。また、現在の設定値は、現在の駐車目標位置Tiの中心のズレ率Rであり、1である。また、閾値は0.1に設定されているとする。このとき、画像処理部26は、演算部23から取得したズレ率Rの最頻値と現在の設定値との差の絶対値(0.2)が閾値(0.1)を超えるので駐車目標位置Tiの表示位置を調整する。図7は、調整された駐車目標位置Taを示す図であり、駐車目標位置Tiと比較して、運転者の駐車位置の好みおよび習慣に応じて紙面右方にずれていることがわかる。具体的には、画像処理部26は、駐車目標位置Taの中心のズレ率Rが1.2であるように調整する。この調整後には、画像処理部26は、駐車目標位置Tiでなく駐車目標位置Taを表示させて駐車支援を実行する。そのため、運転者は、駐車ガイド線が駐車目標位置Taに重なるように車両15を操作することで、好みの位置に駐車することができる。
ここで、画像処理部26は、センサ部27から着座に関する情報を受け取ってよい。画像処理部26は、この情報に基づいて更に搭乗者P1,P2,P3に都合がよいように駐車目標位置Taを調整できる。
例えば、画像処理部26は、搭乗者P1,P2,P3の「着座席の位置」が運転席側であることを把握する(図3参照)。画像処理部26は、十分な乗降スペースができるように、駐車目標位置Taを更に紙面右方にずらしてよい。具体的には、画像処理部26は、駐車目標位置Taの中心のズレ率Rが1.25であるように調整してよい。このとき、運転者は駐車ガイド線が駐車目標位置Taに重なるように車両15を操作することで、搭乗者P1,P2,P3の乗降についても考慮した適切な位置に駐車することができる。
(駐車支援方法)
以下に上記の実施形態で実行される処理について図8および図9を参照して説明する。まず、車両15に備えられた撮像装置(フロントカメラ11a、リアカメラ11b、左サイドカメラ11c、右サイドカメラ11d)の信号処理部19a,19b,19c,19dが実行する処理について図8のフローチャートを用いて説明する。そして、駐車支援装置1が実行する駐車支援方法について図9のフローチャートを用いて説明する。
図8に示されるように、信号処理部19a,19b,19c,19dは、それぞれ撮像素子18a,18b,18c,18dから画像信号を取得する(ステップS1)。
信号処理部19a,19b,19c,19dは、取得した画像信号に対して、輝度信号処理(例えば明るさ補正、ガンマ補正等)および色信号処理(例えば色補間、色補正、ホワイトバランス等)を実行する(ステップS2)。
信号処理部19a,19b,19c,19dは、上記の信号処理後の画像データを画像取得部21へ出力する(ステップS3)。ステップS1,S2,S3の処理は、カメラ制御部20a,20b,20c,20dからの制御信号に従って、信号処理部19a,19b,19c,19dが実行する。
図9に示されるように、画像取得部21は画像データを取得する(ステップS10)。本実施形態において、画像取得部21は、前方、後方および側方(右方、左方)の周辺領域の画像データの全部を取得する。
画像取得部21は必要な画像データのエリアを指定する(ステップS11)。本実施形態では、画像取得部21は画像データの全部を一時的にメモリ30に記憶してから、リアカメラ11bの画像を抽出する。
駐車領域検出部22は二値化処理を実行する(ステップS12)。本実施形態では、駐車領域PSが白線で囲まれているため、白線を検出しやすくするためにリアカメラ11bの画像を二値化する(白色と黒色の二階調で表す)。
駐車領域検出部22はラベリング特徴抽出を実行する(ステップS13)。つまり、駐車領域検出部22は二値化した画像から、白色の領域を抽出して、それぞれを区別するためにラベリング(例えば固有の番号の割り当て)を行う。そして、駐車領域検出部22は、例えば位置、長さ、幅等の特徴から、駐車領域PSの白線を構成すると判定される白色の領域を選択する。
駐車領域検出部22は白線を検出するとステップS15の処理に進む(ステップS14のYes)。白線を検出できず駐車領域PSを特定できない場合には(ステップS14のNo)、ステップS10の処理に戻る。つまり、画像取得部21は再び画像データを取得する。このとき、駐車領域検出部22は車載ネットワーク14を介してカメラ制御部20a,20b,20c,20dに例えば輝度信号処理の調整等を実行させてよい。
演算部23は、現在の車両15の駐車についてズレ率Rを演算する(ステップS15)。そして、演算部23は、車両位置検出部25から車両15の位置情報を取得して、複数の履歴情報の中から対象である駐車領域PSについての履歴情報を選択する。
演算部23は、履歴情報から過去の車両15の駐車についてズレ率Rを取得して統計処理を実行する(ステップS16)。本実施形態では、演算部23はズレ率Rの最頻値を求める。また、演算部23は統計処理を実行した後に、駐車領域PSについての履歴情報に現在の車両15の駐車についてズレ率Rを加えてメモリ30に記憶させる。つまり、演算部23は履歴情報を更新する。そして、演算部23はズレ率Rの最頻値を画像処理部26に出力する。
画像処理部26は、演算部23から取得したズレ率Rの最頻値と現在の設定値との差の絶対値が閾値を超える場合(ステップS17のYes)、駐車目標位置を調整して(ステップS18)から一連の処理を終了する。つまり、現在の設定値に基づく駐車目標位置と運転者の好みおよび習慣に従う駐車位置とに一定の乖離がある場合には、画像処理部26は駐車目標位置を調整する。画像処理部26は、演算部23から取得したズレ率Rの最頻値と現在の設定値との差の絶対値が閾値を超えない場合(ステップS17のNo)、駐車目標位置を調整することなく一連の処理を終了する。
画像処理部26は駐車目標位置を調整する場合に、センサ部27からの着座に関する情報に応じて更に表示位置を調整してよい。
以上のように、本実施形態に係る駐車支援装置1は、履歴情報の統計処理結果に基づいて駐車目標位置を調整することによって、ユーザの煩雑な操作なしに駐車位置の好みおよび習慣を反映した駐車目標位置を表示できる。
本開示を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本開示の技術的範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
上記の実施形態において、駐車領域検出部22は白線検出を実行するが、白線検出に代えてエッジ検出を実行することで駐車領域を特定してよい。例えば駐車領域が自宅のガレージ等である場合には、例えばゾーベルフィルタ、プレヴィットフィルタ等を用いてエッジ検出を行って、側壁および背壁を検出する処理を図9のステップS12,S13およびS14に代えて実行してよい。
また、上記の実施形態において、車両15の位置情報に応じて複数の履歴情報が使用されるが、それ以外の所定の区分による複数の履歴情報が使用されてよい。例えば、所定の区分は、並列駐車および縦列駐車等の駐車種別に基づく区分であって良い。駐車種別は、車両15と駐車領域との位置関係に基づいて判定することができる。具体例を挙げると、縦列駐車するために駐車領域が車両15の斜め後方に位置する場合と、上記の実施形態のように駐車領域が車両の後方に位置する場合とで異なる履歴情報が使用される。このとき、さらに運転者の好みを反映できる駐車支援装置1が実現される。また、搭乗者の人数毎(例えば1人であるか2人であるか等)に異なる履歴情報が使用されてよい。また、運転者以外の搭乗者の着座位置毎(例えば助手席か運転席側の後部座席か等)に異なる履歴情報が使用されてよい。また、駐車領域の広さ毎(例えば左右の幅が250〜269[cm],270〜289[cm],290〜309[cm],310[cm]以上、で区分する等)に異なる履歴情報が使用されてよい。また、例えば車両15の位置情報等に関係なく一つの履歴情報が使用されてよい。このとき、駐車支援装置1は、場所によらない運転者の好みおよび傾向(例えば中央よりも右側に寄せる傾向等)を反映させることができる。
また、上記の実施形態において、演算部23は車両15の左右の方向におけるズレ率を演算するが、さらに車両15の前後の方向のズレ率を演算してよいし、車両15の前後の方向のズレ率だけを演算してよい。前後の方向を演算する場合には、演算部23は駐車時の駐車領域の後方の境界との距離(図5のDR)を求めて、履歴情報としてメモリ30に記憶し、統計的な演算処理を実行してよい。このとき、さらに運転者の好みを反映できる駐車支援装置1が実現される。
また、上記の実施形態において、駐車支援装置1のプロセッサ12と撮像装置の信号処理部19a,19b,19c,19dは異なる処理を実行するが、両者が一体であって、図8および図9に記載の全ての処理を実行してよい。例えば、信号処理部19a,19b,19c,19dが駐車支援装置1のプロセッサ12の処理を実行してよい。また、撮像装置(車載カメラ)が駐車支援装置1を含む構成であってよい。
また、上記の実施形態において、画像処理部26は、センサ部27から着座に関する情報を受け取った場合に駐車目標位置Taを更に調整する。ここで、画像処理部26は、駐車領域の左右に他の車両があることを検知した場合に駐車目標位置Taを更に調整する機能を有していてよい。このとき、画像取得部21は側方(右方、左方)の周辺領域の画像データを抽出する。そして、駐車領域検出部22は側方に車両があるか否かを検出して、画像処理部26に検出結果を出力する。そして、画像処理部26は、例えば右方に車両が駐車している場合には、駐車目標位置Taを更に反対側(左方)にずらすように調整する。このとき、駐車支援装置1は搭乗者が乗降しやすくなる駐車支援を実行できる。
また、上記の実施形態において、駐車支援装置1はメモリ30を備えるが、ハードディスクドライブ等の記憶装置を用いてよい。また、メモリ30は揮発性メモリおよび不揮発性メモリを備えるが、これらのいずれか(例えば揮発性メモリ)のみを備えていてよい。
1 駐車支援装置
10 車載カメラシステム
11a フロントカメラ
11b リアカメラ
11c 左サイドカメラ
11d 右サイドカメラ
12 プロセッサ
13 表示装置
14 車載ネットワーク
15 車両
16 ドアミラー
17a,17b,17c,17d 光学系
18a,18b,18c,18d 撮像素子
19a,19b,19c,19d 信号処理部
20a,20b,20c,20d カメラ制御部
21 画像取得部
22 駐車領域検出部
23 演算部
24 位置情報取得部
25 車両位置検出部
26 画像処理部
27 センサ部
28 圧力センサ
29 回転センサ
30 メモリ
A0,A1,A2,A3,A4 駐車ガイド線
B 障害物
CL センターライン
D ドア
DL 左方間隔
DR 右方間隔
P1,P2,P3 搭乗者
PS 駐車領域
R ズレ率
Ta,Ti 駐車目標位置

Claims (9)

  1. 車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサと、
    前記車両の実際の駐車位置前記駐車領域の中心を基準にしてどれだけ偏っているかを示すズレ率の履歴情報を記憶するメモリと、を備え、
    前記プロセッサは、
    前記履歴情報の統計処理に基づいて前記駐車目標位置の前記画像における位置を調整する駐車支援装置。
  2. 前記メモリは、所定の区分による複数の前記履歴情報を記憶する、請求項1に記載の駐車支援装置。
  3. 前記所定の区分は、前記車両の位置に基づく区分である、請求項2に記載の駐車支援装置。
  4. 前記所定の区分は、駐車種別に基づく区分である、請求項2に記載の駐車支援装置。
  5. 前記プロセッサは、
    更に前記車両の搭乗者に関する情報に基づいて前記駐車目標位置の前記画像における位置を調整する請求項1から4のいずれか一項に記載の駐車支援装置。
  6. 前記車両の搭乗者に関する情報は、前記車両の搭乗者の着座席の位置である、請求項5に記載の駐車支援装置。
  7. 駐車支援装置を備える車載カメラであって、
    前記駐車支援装置は、
    車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサと、
    前記車両の実際の駐車位置前記駐車領域の中心を基準にしてどれだけ偏っているかを示すズレ率の履歴情報を記憶するメモリと、を備え、
    前記プロセッサは、
    前記履歴情報の統計処理に基づいて前記駐車目標位置の前記画像における位置を調整する、車載カメラ。
  8. 駐車支援装置を備える車両であって、
    前記駐車支援装置は、
    前記車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサと、
    前記車両の実際の駐車位置前記駐車領域の中心を基準にしてどれだけ偏っているかを示すズレ率の履歴情報を記憶するメモリと、を備え、
    前記プロセッサは、
    前記履歴情報の統計処理に基づいて前記駐車目標位置の前記画像における位置を調整する、車両。
  9. プロセッサとメモリとを備える駐車支援装置が実行する駐車支援方法であって、
    前記プロセッサが、車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、
    前記プロセッサが、前記駐車領域と駐車目標位置とが重畳した画像を生成し、
    前記メモリが、前記車両の実際の駐車位置前記駐車領域の中心を基準にしてどれだけ偏っているかを示すズレ率の履歴情報を記憶し、
    前記プロセッサが、前記履歴情報の統計処理に基づいて前記駐車目標位置の前記画像における位置を調整する、駐車支援方法。
JP2018505863A 2016-03-18 2017-03-08 駐車支援装置、車載カメラ、車両および駐車支援方法 Active JP6717929B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016055928 2016-03-18
JP2016055928 2016-03-18
PCT/JP2017/009328 WO2017159510A1 (ja) 2016-03-18 2017-03-08 駐車支援装置、車載カメラ、車両および駐車支援方法

Publications (2)

Publication Number Publication Date
JPWO2017159510A1 JPWO2017159510A1 (ja) 2019-02-14
JP6717929B2 true JP6717929B2 (ja) 2020-07-08

Family

ID=59851255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018505863A Active JP6717929B2 (ja) 2016-03-18 2017-03-08 駐車支援装置、車載カメラ、車両および駐車支援方法

Country Status (4)

Country Link
US (1) US10442464B2 (ja)
EP (1) EP3431344B1 (ja)
JP (1) JP6717929B2 (ja)
WO (1) WO2017159510A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109070879B (zh) * 2016-08-09 2021-05-07 Jvc 建伍株式会社 显示控制装置、显示装置、显示控制方法以及存储介质
WO2018230021A1 (ja) 2017-06-16 2018-12-20 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
KR102316314B1 (ko) * 2017-07-28 2021-10-22 현대모비스 주식회사 차량의 주차 지원 장치, 시스템 및 방법
JP6958117B2 (ja) * 2017-08-29 2021-11-02 株式会社アイシン 駐車支援装置
US10583779B2 (en) * 2017-10-02 2020-03-10 Magna Electronics Inc. Parking assist system using backup camera
KR102429494B1 (ko) * 2017-10-13 2022-08-05 현대자동차주식회사 차량의 목표주차공간 표시 장치 및 그 방법
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN111508255B (zh) * 2019-12-10 2022-04-15 博泰车联网科技(上海)股份有限公司 一种快递到车的车辆定位方法及快递到车系统
US11721113B2 (en) 2020-10-09 2023-08-08 Magna Electronics Inc. Vehicular driving assist system with lane detection using rear camera
CN113060129B (zh) * 2021-03-29 2022-10-04 恒大新能源汽车投资控股集团有限公司 自动泊车方法、装置及车辆
CN113790761B (zh) * 2021-09-22 2023-08-04 腾讯科技(深圳)有限公司 驾驶端定位方法、装置、计算机设备和存储介质
US11794726B2 (en) * 2021-09-28 2023-10-24 Ford Global Technologies, Llc Systems and methods for virtual vehicle parking assistance background

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11208420A (ja) 1998-01-27 1999-08-03 Nissan Motor Co Ltd 駐車誘導装置および自動駐車装置
JP3931857B2 (ja) 2003-07-23 2007-06-20 トヨタ自動車株式会社 駐車支援装置及び後退支援装置
JP3883529B2 (ja) * 2003-08-28 2007-02-21 アイシン精機株式会社 車両後退支援装置
JP4604703B2 (ja) * 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
JP2006224778A (ja) * 2005-02-16 2006-08-31 Nippon Soken Inc 駐車支援装置
CN101573257B (zh) * 2006-12-28 2011-08-10 株式会社丰田自动织机 停车辅助装置及方法、行车参数的计算方法及装置
JP5365349B2 (ja) * 2009-06-03 2013-12-11 トヨタ自動車株式会社 運転情報記録装置
US9260090B2 (en) * 2009-09-04 2016-02-16 Ford Global Technologies, Llc Vehicle park assist system and method for parking a vehicle using such system
JP5560789B2 (ja) * 2010-03-15 2014-07-30 トヨタ自動車株式会社 駐車支援装置
JP2011230549A (ja) * 2010-04-23 2011-11-17 Clarion Co Ltd 駐車支援装置
GB2511351A (en) * 2013-03-01 2014-09-03 Nissan Motor Mfg Uk Ltd Parking assistance apparatus and parking method
DE102013015348A1 (de) * 2013-09-17 2014-04-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeugs

Also Published As

Publication number Publication date
US10442464B2 (en) 2019-10-15
EP3431344B1 (en) 2022-12-21
JPWO2017159510A1 (ja) 2019-02-14
WO2017159510A1 (ja) 2017-09-21
EP3431344A4 (en) 2019-11-27
US20190084618A1 (en) 2019-03-21
EP3431344A1 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
JP6717929B2 (ja) 駐車支援装置、車載カメラ、車両および駐車支援方法
JP5316550B2 (ja) 後方視界支援システム
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
US20220210344A1 (en) Image display apparatus
KR102106572B1 (ko) 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
JP5051263B2 (ja) 車両用後方視認システム
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
US10450003B2 (en) Parking assist device and parking assist system
JP7000383B2 (ja) 画像処理装置および画像処理方法
KR102135857B1 (ko) 화상 표시 장치
WO2015129280A1 (ja) 画像処理装置および画像処理方法
EP2985648A1 (en) Techniques for automated blind spot viewing
JP2010208359A (ja) 車両用表示装置
US20130093889A1 (en) Smart rear-view display
US20100001881A1 (en) Method of adjusting display device for vehicle and display device for vehicle
KR102010407B1 (ko) 스마트 리어뷰 시스템
EP3476673A1 (en) Vehicle image displaying apparatus and method of displaying image data on a head-mounted display device disposed in a vehicle
US12026958B2 (en) Vehicle camera mirror system with adjustable video feed
JP2020083071A (ja) 車載装置
JP7102324B2 (ja) 駐車支援システムおよび駐車支援方法
CN113874778B (zh) 用于为车辆乘员提供期望的画面的系统和方法
JP2019125894A (ja) 車載画像処理装置
JP6566067B2 (ja) 画像処理装置
JP2009088811A (ja) 車載運転支援情報表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200611

R150 Certificate of patent or registration of utility model

Ref document number: 6717929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150