WO2014156166A1 - 駐車支援システムおよび駐車支援方法 - Google Patents

駐車支援システムおよび駐車支援方法 Download PDF

Info

Publication number
WO2014156166A1
WO2014156166A1 PCT/JP2014/001772 JP2014001772W WO2014156166A1 WO 2014156166 A1 WO2014156166 A1 WO 2014156166A1 JP 2014001772 W JP2014001772 W JP 2014001772W WO 2014156166 A1 WO2014156166 A1 WO 2014156166A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
parking
markers
candidate
unit
Prior art date
Application number
PCT/JP2014/001772
Other languages
English (en)
French (fr)
Inventor
川崎 晃久
浩二 藤井
達人 流郷
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/652,300 priority Critical patent/US9727796B2/en
Priority to EP14772674.9A priority patent/EP2981073B1/en
Priority to JP2015508081A priority patent/JP6376354B2/ja
Publication of WO2014156166A1 publication Critical patent/WO2014156166A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/028Guided parking by providing commands to the driver, e.g. acoustically or optically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10Automatic or semi-automatic parking aid systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Abstract

駐車支援システムは、カメラにより撮影されたカメラ画像において、色成分またはIR成分の強度が閾値を超えた領域を、マーカ候補として複数検出する色/IR検出部(22)と、カメラ画像における複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部(10)と、複数のマーカ候補の位置と、予め定められた複数のマーカの位置関係とに基づいて、複数のマーカ候補が複数のマーカとして妥当であるか否かを判定する妥当性検証部(11)と、を備える。

Description

駐車支援システムおよび駐車支援方法
 本発明は、車両内の表示装置に表示される画像情報に基づいて車両の駐車支援を行う駐車支援システムおよび駐車支援方法に関する。
 従来、車両が駐車する際、その車両に設置された表示装置(例えば、カーナビゲーションシステム)に表示される画像情報に基づいて駐車支援を行う駐車支援装置が知られている。画像情報は、例えば、車両の後部等に設置された車載カメラが撮影したカメラ画像に基づいて画像処理が施されたものである。この画像処理は、例えば、カメラ画像を俯瞰画像に変換する画像変換処理、および、その俯瞰画像において駐車領域を示すマーカを認識する画像認識処理が挙げられる(例えば、特許文献1参照)。
特開2012-71794号公報
 しかしながら、上述した画像認識処理は、例えばエッジ検出およびパターンマッチングなどの負荷が高い処理を含むため、特許文献1の駐車支援装置は、高性能な画像処理用プロセッサが必要となり、コストがかかるという問題がある。この問題を解決するため、赤外暗視画像のIR成分またはカラー画像の特定色に基づいてマーカを認識する方法が考えられる。
 しかし、IR成分または特定色に基づくマーカ認識方法は、カメラ画像において、マーカと同じIR成分を持つ物体、またはマーカと同じ色を持つ物体を、誤ってマーカと認識してしまうおそれがある。
 本発明の目的は、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる駐車支援システムおよび駐車支援方法を提供することである。
 本発明の一態様に係る駐車支援システムは、駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援システムであって、カメラにより撮影されたカメラ画像において、色成分またはIR成分の強度が閾値を超えた領域を、マーカ候補として複数検出するマーカ候補検出部と、前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部と、前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを判定する妥当性検証部と、を備える構成を採る。
 本発明の一態様に係る駐車支援方法は、駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援方法であって、カメラにより撮影されたカメラ画像において、色成分またはIR成分の強度が閾値を超えた領域を、マーカ候補として複数検出するステップと、前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するステップと、前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを検証するステップと、を備える。
 本発明は、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる。
本発明の実施の形態1に係る駐車支援システムの構成例を示すブロック図 本発明の実施の形態1に係る駐車支援システムの動作例を示すフロー図 本発明の実施の形態1に係る車両が駐車するときの例を示す図 本発明の実施の形態1に係るカメラ画像の例をそれぞれ示す図 本発明の実施の形態2に係る駐車支援システムの構成例を示すブロック図 本発明の実施の形態2に係る駐車支援システムのマーカペア提示部の動作例を示すフロー図 本発明の実施の形態2に係るカメラ画像の例をそれぞれ示す図
 (実施の形態1)
 本発明の実施の形態1について、図面を参照して説明する。
 <駐車支援システムの構成>
 まず、本発明の実施の形態に係る駐車支援システムの構成について説明する。図1は、本実施の形態に係る駐車支援システムの構成例を示すブロック図である。
 駐車支援システムは、車両に搭載され、その車両の駐車支援を行うシステムである。図1において、駐車支援システムは、カメラ200および駐車支援装置100を有する。
 <カメラ200の構成>
 カメラ200は、レンズ20、イメージセンサ21、および色/IR検出部22を有する。
 レンズ20は、入射光を取り込む。
 イメージセンサ21は、色(Red、Green、Blue)およびIRに対応したフォトニックカラーフィルタを有する。イメージセンサ21は、レンズ20からの入射光を上記フィルタに通し、色成分またはIR成分を抽出する。そして、イメージセンサ21は、抽出した色成分またはIR成分を含む画像信号を、色/IR検出部22へ出力する。
 色/IR検出部22は、イメージセンサ21からの画像信号に基づいて信号処理を行い、カラー画像または赤外暗視画像(以下、「カメラ画像」という)を生成する。カメラ画像は、カメラ200によって撮影されるリアルタイムの画像である。カメラ画像は、昼間の場合はカラー画像が生成され、夜間の場合は赤外暗視画像が生成される。
 また、色/IR検出部22は、カメラ画像において、特定の色成分またはIR成分の強度(輝度)が、予め定められた閾値を超えたか否かを判定する。ここでの閾値は、例えば、カメラ画像の平均輝度に基づいて予め定められた値である。
 そして、色/IR検出部22は、カメラ画像において閾値を超えた領域を、マーカ候補として検出する。ここでは、複数のマーカ候補が検出される。マーカ候補とは、カメラ画像においてマーカの画像であると考えられる領域である。このように、色/IR検出部22は、マーカ候補検出部としても機能する。
 ここで、マーカについて説明する。マーカは、車両の駐車領域を特定可能な目印であり、地表に備えられる。本実施の形態において、マーカは2つとする。2つのマーカは、予め定められた距離をおいて備えられる。また、マーカは、予め定められた色である。また、マーカは、反射率の高い反射体と近赤外フィルムを構成される。これにより、昼夜を問わず、マーカは検出される。
 そして、色/IR検出部22は、複数のマーカ候補を示すカメラ画像を、駐車支援装置100のマーカ位置算出部10へ出力する。なお、このカメラ画像は、例えばカーナビゲーションなどの表示装置(図示せず)に表示される。
 <駐車支援装置100の構成>
 駐車支援装置100は、マーカ位置算出部10、妥当性検証部11、自車位置算出部12、駐車経路算出部13、および操舵角指示部14を有する。
 マーカ位置算出部10は、色/IR検出部22からのカメラ画像において、各マーカ候補の位置(座標)を算出し、妥当性検証部11へ通知する。
 妥当性検証部11は、マーカ位置算出部10から通知された各マーカ候補の位置と、予め定められた2つのマーカの位置関係(例えば、マーカ間の距離)とに基づいて、通知されたマーカ候補がマーカとして妥当であるか否かを検証(判定)する。この検証の一例について、以下に説明する。
 妥当性検証部11は、複数のマーカ候補のうちの1つを、第1のマーカ候補として選択する。次に、妥当性検証部11は、予め定められた2つのマーカの位置関係に基づいて、第1のマーカ候補とペアになる第2のマーカ候補が存在する可能性のある領域(以下、「マーカ候補存在領域」という)を算出する。次に、妥当性検証部11は、マーカ候補存在領域に、第1のマーカ候補とは別のマーカ候補が存在するか否かを判定する。判定の結果、マーカ候補存在領域に別のマーカ候補が存在する場合、妥当性検証部11は、そのマーカ候補を第2のマーカ候補と判定し、第1のマーカ候補とペアであると判定する。そして、妥当性検証部11は、第1のマーカ候補と第2のマーカ候補とが予め定められた2つのマーカとして妥当であると認識する。次に、妥当性検証部11は、2つのマーカの位置(第1のマーカ候補の座標および第2のマーカ候補の座標)を、駐車経路算出部13へ通知する。
 なお、上述したマーカ候補存在領域の算出は、以下のように行われる。カメラ画像における第1のマーカ候補の座標を(x,y)とする。この座標(x,y)は、カメラの焦点距離fと、路面を基準とする3次元空間(実空間)における座標(X,Y,Z)と、以下の数式の関係を持つ。
 x=f・X/Z
 y=f・Y/Z
 ここで、第1のマーカ候補とペアになる第2のマーカ候補は、第1のマーカ候補から一定距離にある。したがって、3次元座標(X,Y,Z)において、第1のマーカ候補を原点に、XY軸を平面におくと、第2のマーカ候補の座標(X’,Y’,0)は、X’2+Y’2=Aとなる。これにより、カメラ画像における第2のマーカ候補の座標を(x’,y’)とすると、x'2/a2+y'2/b2=1で表せる楕円状に、第2のマーカ候補が存在することになる。
 自車位置算出部12は、車速パルスおよび操舵角を基に車両の初期位置からの移動量を算出し、それに基づいて自車位置(車両の現在位置)を算出する。または、自車位置算出部12は、GPS等から自車位置を取得してもよい。そして、自車位置算出部12は、自車位置を駐車経路算出部13へ通知する。
 駐車経路算出部13は、妥当性検証部11から通知された2つのマーカの位置と、自車位置算出部12から通知された自車位置とに基づいて、車両の進むべき経路(以下、「駐車経路」という)を算出する。駐車経路は、例えば、2つのマーカが駐車領域の横幅(車幅)を示す場合、2つのマーカの中心同士を結ぶ線に対して車両が垂直に進むように算出される。そして、駐車経路算出部13は、駐車経路を操舵角指示部14へ通知する。
 操舵角指示部14は、駐車経路算出部13から通知された駐車経路を車両が移動するに伴い、どのようなハンドル操作を行ったらよいか(すなわち、操舵角)を運転手に指示する。
 <駐車支援システムの動作>
 次に、本発明の実施の形態に係る駐車支援システムの動作について説明する。図2は、本実施の形態に係る駐車支援システムの動作例を示すフロー図である。
 ステップS10において、例えばギアをバックに入れたときに、駐車支援システムのトリガがONとなり、カメラ200が撮像を開始する。例えば、図3に示すように、駐車領域300に駐車するために、車両400が位置aで停止し、ギアがバックに入れられたとき、トリガがONとなる。図3において、車両400は、その後部にカメラ200を搭載している。また、図3において、駐車領域300の前方左右には、2つのマーカ301、302が設置されている。なお、本実施の形態では、マーカが2つである場合を例として説明するが、マーカは3つ以上であってもよい。
 ステップS11において、イメージセンサ21は、レンズ20の入射光から色成分またはIR成分を抽出する。上述したとおり、昼間の場合、色成分(R,G,B)が抽出され、夜間の場合、IR成分が抽出される。
 ステップS12において、色/IR検出部22は、カラー画像または赤外暗視画像のいずれかを生成するとともに、そのカメラ画像においてマーカ候補を検出する。すなわち、カメラ画像において、特定の色成分またはIR成分が閾値を超えた領域が、マーカ候補として検出される。特定の色とは、予め定められた色であり、マーカの色である。ここで、図3の位置aのときに生成されたカメラ画像の例を図4Aに示す。図4Aに示すカメラ画像には、車両400のバンパー401の他に、マーカ候補301aとマーカ候補302aが映っている。
 ステップS13において、マーカ位置算出部10は、カメラ画像におけるマーカ候補の位置を算出する。例えば、カメラ画像が図4Aの場合、マーカ位置算出部10は、カメラ画像におけるマーカ候補301aおよびマーカ候補302aのそれぞれの位置を算出する。
 ステップS14において、妥当性検証部11は、算出されたマーカ候補の位置と、予め定められた2つのマーカの位置関係とに基づいて、マーカ候補がマーカとして妥当であるか否かを検証する。2つのマーカの位置関係とは、例えば、マーカ301とマーカ302が一定距離離れている関係である。例えば、図4Aの場合、妥当性検証部11は、マーカ候補301a(第1のマーカ候補)を選択し、その位置と、予め定められた2つのマーカの位置関係とに基づいてマーカ候補存在領域を算出する。次に、妥当性検証部11は、マーカ候補存在領域に他のマーカ候補(第2のマーカ候補)が存在するか否かを判定する。ここで、マーカ候補存在領域に例えばマーカ候補302aが存在する場合、妥当性検証部11は、マーカ候補301aとマーカ候補302aがペアであると判定し、それらが予め定められた2つのマーカであると認識する。なお、ここでは、妥当性検証部11は、第1のマーカ候補として、マーカ候補301aを選択したが、マーカ候補302aを選択してもよい。
 ステップS15において、自車位置算出部12は、自車位置を算出する。例えば、図3の場合、自車位置は、位置aの座標である。
 ステップS16において、駐車経路算出部13は、自車位置と、2つのマーカの位置とに基づいて、駐車経路を算出する。この駐車経路は、例えば、マーカ301とマーカ302の中心同士を結ぶ線に対して車両が垂直に進むように算出される。すなわち、駐車経路は、例えば、図3において車両400が位置aから駐車領域300へと移動する経路である。
 ステップS17において、車両が駐車経路を移動するための操舵角を運転手に指示する。この指示に従ってハンドルを操作すると、例えば、図3に示すように、車両400を位置aから位置bへと移動させることができる。位置bのときのカメラ画像の例を図4Bに示す。その後、位置bにある車両400を直線的にバックさせることで、運転者は、車両400を駐車領域300に駐車させることができる。
 以上説明したように、本実施の形態の駐車支援システムは、色成分またはIR成分を基にカメラ画像においてマーカ候補を検出し、そのマーカ候補がマーカとして妥当であるか否かを、予め定められたマーカの位置関係を基に検証することを特徴とする。すなわち、本実施の形態の駐車支援システムは、色成分またはIR成分に基づいてマーカ候補の検出を行うので、従来の駐車支援装置で行っていた画像処理(画像変換処理、画像認識処理)を行う必要がない。また、本実施の形態の駐車支援システムは、検出したマーカ候補に対してマーカの妥当性を検証するので、色成分またはIR成分に基づく検出であっても、精度良くマーカを認識できる。したがって、本実施の形態の駐車支援システムは、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる。
 (実施の形態2)
 本発明の実施の形態2について、図面を参照して説明する。本実施の形態では、妥当性検証部11がマーカとして妥当であると判定したマーカ候補の組合せが複数存在する場合に対処する。なお、本実施の形態では、マーカ候補の組合せが2つである場合(以下、「マーカペア」という)を例として説明するが、マーカ候補の組合せは3つ以上であってもよい。
 <駐車支援システムの構成>
 まず、本発明の実施の形態に係る駐車支援システムの構成について説明する。図5は、本実施の形態に係る駐車支援システムの構成例を示すブロック図である。
 図5において、駐車支援システムは、カメラ200および駐車支援装置101を有する。なお、図5において、図1と同じ構成については同一符号を付し、ここでの説明は省略する。本実施の形態は、駐車支援装置101において、マーカペア提示部15(マーカ組合せ提示部の一例)およびマーカペア記憶部16(マーカ組合せ記憶部の一例)を備える点が、実施の形態1の駐車支援装置100と異なる。
 マーカペア提示部15は、妥当性検証部11が妥当であると判定した複数のマーカペアの通知を受ける。複数のマーカペアは、例えば、第1のマーカ候補と第2のマーカ候補のペア(第1のマーカペア)、および、第1のマーカ候補と第3のマーカ候補のペア(第2のマーカペア)である。
 マーカペア提示部15は、妥当性検証部11から通知された複数のマーカペアと、マーカペア記憶部16に記憶されているマーカペア(以下、「学習済マーカペア」という)とを照合する。
 上記照合の結果、通知された複数のマーカペアのうち、学習済マーカペアと一致するマーカペアがある場合、マーカペア提示部15は、表示装置において、そのマーカペアをユーザに提示する。提示の結果、ユーザの承認を受け付けた場合、提示したマーカペアを採用し、そのマーカペアを構成する2つのマーカの位置を駐車経路算出部13へ通知する。一方、提示の結果、ユーザの承認を受け付けなかった場合、マーカペア提示部15は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。
 一方、上記照合の結果、通知された複数のマーカペアのうち、学習済マーカペアと一致するマーカペアがない場合、マーカペア提示部15は、通知された複数のマーカペアから所定のマーカペアを選択し、表示装置においてユーザに提示する。提示の結果、ユーザの承認を受け付けた場合、マーカペア提示部15は、提示したマーカペアをマーカペア記憶部16に記憶する。また、マーカペア提示部15は、提示したマーカペアを採用し、そのマーカペアを構成する2つのマーカの位置を駐車経路算出部13へ通知する。一方、提示の結果、ユーザの承認を受け付けなかった場合、マーカペア提示部15は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。
 マーカペア記憶部16は、ユーザの承認を受け付けたマーカペア、すなわち学習済マーカペアを記憶する。ここで記憶される学習済マーカペアについての情報は、例えば、マーカペアの位置情報(緯度、経度)および/またはカメラ画像全体の輝度情報である。
 <マーカペア提示部15の動作>
 次に、本発明の実施の形態に係るマーカペア提示部15の動作について説明する。図6は、本実施の形態に係るマーカペア提示部15の動作例を示すフロー図である。図6に示す動作は、図2で説明した妥当性検証(ステップS14)と自車位置算出(ステップS15)の間に行われる。
 ステップS21において、マーカペア提示部15は、妥当性検証部11から複数のマーカペアが通知されたか否かを判定する。判定の結果、複数のマーカペアの通知を受けなかった場合(ステップS21:NO)、フローは終了する。この場合、マーカペア提示部15は、妥当性検証部11から通知された1つのマーカペアを構成する2つのマーカの位置を、駐車経路算出部13へ通知する。一方、判定の結果、複数のマーカペアの通知を受けた場合(ステップS21:YES)、フローはステップS22へ進む。
 ステップS22において、マーカペア提示部15は、通知された複数のマーカペアと、マーカペア記憶部16に記憶されている学習済マーカペアとを照合する。照合の結果、一致するマーカペアがあれば(ステップS22:YES)、フローはステップS23へ進む。一方、照合の結果、一致するマーカペアがなければ(ステップS22:NO)、フローはステップS26へ進む。
 ステップS23において、マーカペア提示部15は、学習済マーカペアと一致したマーカペアを、表示装置においてユーザに提示する。このときの提示例を図7Aに示す。図7Aに示すように、カメラ画像において、3つのマーカ候補301a、302a、303aが表示されている。図7Aにおいて、マーカペア提示部15は、マーカ候補301aとマーカ候補302aのそれぞれの周辺を囲むように太線の丸印51を表示することで、マーカペア(第1のマーカペア)を提示している。また、図7Aでは、ユーザに選択を促すための表示61および表示62が、カメラ画像に重畳されて表示されている。ユーザは、提示されたマーカペアを承認したい場合、表示61を選択する操作を行う。一方、ユーザは、提示したマーカペア以外を承認したい場合、表示62を選択する操作を行う。
 ステップS24において、マーカペア提示部15は、提示したマーカペアについてユーザの承認を受け付けたか否かを判定する。上述したとおり、ユーザは、表示61を選択する操作を行うことで、提示されたマーカペアを承認する。判定の結果、ユーザの承認を受け付けた場合(ステップS24:YES)、フローは終了する。この場合、マーカペア提示部15は、提示したマーカペアを採用し、そのマーカペアを構成する2つのマーカの位置を駐車経路算出部13へ通知する。一方、判定の結果、ユーザの承認を受け付けなかった場合(ステップS24:NO)、フローはステップS25へ進む。
 ステップS25において、マーカペア提示部15は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。このときの提示例を図7Bに示す。図7Bに示すように、カメラ画像において、3つのマーカ候補301a、302a、303aが表示されている。図7Bにおいて、マーカペア提示部15は、マーカ候補302aとマーカ候補303aのそれぞれの周辺を囲むように太線の丸印52を表示することで、マーカペア(第2のマーカペア)を提示している。また、図7Bでは、図7Aと同様に、表示61および表示62が、カメラ画像に重畳されて表示されている。その後、フローは、ステップS24へ戻る。
 ステップS26において、マーカペア提示部15は、通知された複数のマーカペアのうち、所定のマーカペアを選択し、表示装置においてユーザに提示する。このときの提示例は、図7Aと同じである。
 ステップS27において、マーカペア提示部15は、提示したマーカペアについてユーザの承認を受け付けたか否かを判定する。判定の結果、ユーザの承認を受け付けた場合(ステップS27:YES)、フローはステップS28へ進む。一方、判定の結果、ユーザの承認を受け付けなかった場合(ステップS27:NO)、フローはステップS29へ進む。
 ステップS28において、マーカペア提示部15は、提示したマーカペアを、学習済マーカペアとしてマーカペア記憶部16に記憶する。また、この場合、マーカペア提示部15は、提示したマーカペアを採用し、そのマーカペアを構成する2つのマーカの位置を駐車経路算出部13へ通知する。その後、フローは終了する。
 ステップS29において、マーカペア提示部15は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。このときの提示例は、図7Bと同じである。その後、フローは、ステップS27へ戻る。
 以上説明したように、本実施の形態の駐車支援システムは、実施の形態1の駐車支援システムの特徴に加えて、妥当性が検証されたマーカペアが複数ある場合、学習済データに基づいて適切なマーカペアをユーザに提示することを特徴とする。また、本実施の形態の駐車支援システムは、学習済データがない場合、ユーザにより選択されたマーカペアを学習済データとして記憶し、次の提示の際に利用することを特徴とする。すなわち、本実施の形態の駐車支援システムは、学習済データを利用してマーカペアの提示を行うので、ユーザは、複数のマーカペアの中から適切なものを選択する操作を行う必要がない。また、本実施の形態の駐車支援システムは、未学習の場合に選択されたマーカペアを学習し、次のマーカペアの提示に利用するので、ユーザは、次回において複数のマーカペアの中から適切なものを選択する操作を行う必要がない。したがって、本実施の形態の駐車支援システムは、実施の形態1の駐車支援システムの効果に加えて、ユーザの利便性を向上させることができる。
 以上、本発明の実施の形態1、2について説明したが、上記説明は一例であり、種々の変形が可能である。
 例えば、上記実施の形態1、2では、妥当性検証は、予め定められたマーカ間の距離に基づいて行われる例としたが、これに限定されない。例えば、2つのマーカのそれぞれを別々の色とし、妥当性検証部11が、2つのマーカについて位置と色を紐付けて記憶しておく(例えば、右が青、左が赤など)。そして、妥当性検証部11は、カメラ画像において検出された2つのマーカ候補が、記憶しておいた上記条件を満たす場合に、それら2つのマーカ候補を予め定められたマーカとして認識する。
 また、例えば、上記実施の形態1、2では、色成分またはIR成分に基づくマーカ候補の検出をカメラ20の色/IR検出部22が行う例としたが、これに限定されない。例えば、マーカ候補の検出は、駐車支援装置100または101が行うように構成してもよい。
 また、例えば、上記実施の形態1、2の駐車支援システムの動作は、ハードウェアとの連係において、ソフトウェアでも実現することも可能である。
 本発明は、例えば、車両内の表示装置に表示される画像情報に基づいて車両の駐車支援を行う駐車支援システムおよび駐車支援方法に適用することができる。
 10 マーカ位置算出部
 11 妥当性検証部
 12 自車位置算出部
 13 駐車経路算出部
 14 操舵角指示部
 15 マーカペア提示部
 16 マーカペア記憶部
 20 レンズ
 21 イメージセンサ
 22 色/IR検出部
 100、101 駐車支援装置
 200 カメラ
 301、302、303 マーカ
 400 車両

Claims (7)

  1.  駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援システムであって、
     カメラにより撮影されたカメラ画像において、色成分またはIR成分の強度が閾値を超えた領域を、マーカ候補として複数検出するマーカ候補検出部と、
     前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部と、
     前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを判定する妥当性検証部と、を備える、
     駐車支援システム。
  2.  前記妥当性検証部は、
     前記複数のマーカ候補から第1のマーカ候補を選択し、
     前記第1のマーカ候補の位置と、前記複数のマーカの位置関係とに基づいて、前記第1のマーカ候補とペアになる第2のマーカ候補が存在する可能性のある領域を算出し、
     前記領域に存在するマーカ候補を前記第2のマーカ候補と判定し、前記第1のマーカ候補と前記第2のマーカ候補のペアが前記複数のマーカとして妥当であると判定する、
     請求項1記載の駐車支援システム。
  3.  前記複数のマーカ候補により構成されるマーカ組合せが複数あり、前記複数のマーカ組合せを前記妥当性検証部が前記複数のマーカとして妥当であると判定した場合、前記複数のマーカ組合せから一のマーカ組合せをユーザに提示するマーカ組合せ提示部と、
     ユーザにより承認されたマーカ組合せを学習済マーカ組合せとして記憶するマーカ組合せ記憶部と、をさらに備え、
     前記マーカ組合せ提示部は、
     前記複数のマーカ組合せと前記学習済マーカ組合せとの照合を行い、
     前記照合の結果、前記学習済マーカ組合せと一致したマーカ組合せをユーザに提示する、
     請求項1または2記載の駐車支援システム。
  4.  前記マーカ組合せ提示部は、
     前記照合の結果、前記学習済マーカ組合せと一致するマーカ組合せが無い場合、前記複数のマーカ組合せのうち所定のマーカ組合せをユーザに提示する、
     請求項3記載の駐車支援システム。
  5.  前記マーカ組合せ提示部は、
     前記提示したマーカ組合せがユーザに承認された場合、前記提示したマーカ組合せを前記学習済マーカ組合せとして前記マーカ組合せ記憶部に記憶する、
     請求項4記載の駐車支援システム。
  6.  前記マーカ組合せ提示部は、
     前記提示したマーカ組合せがユーザに承認されなかった場合、前記複数のマーカ組合せのうち他のマーカ組合せをユーザに提示する、
     請求項3または4記載の駐車支援システム。
  7.  駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援方法であって、
     カメラにより撮影されたカメラ画像において、色成分またはIR成分の強度が閾値を超えた領域を、マーカ候補として複数検出するステップと、
     前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するステップと、
     前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを検証するステップと、を備える、
     駐車支援方法。
PCT/JP2014/001772 2013-03-29 2014-03-27 駐車支援システムおよび駐車支援方法 WO2014156166A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/652,300 US9727796B2 (en) 2013-03-29 2014-03-27 Parking assistance system and parking assistance method
EP14772674.9A EP2981073B1 (en) 2013-03-29 2014-03-27 Parking assistance system and parking assistance method
JP2015508081A JP6376354B2 (ja) 2013-03-29 2014-03-27 駐車支援システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-071847 2013-03-29
JP2013071847 2013-03-29

Publications (1)

Publication Number Publication Date
WO2014156166A1 true WO2014156166A1 (ja) 2014-10-02

Family

ID=51623178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001772 WO2014156166A1 (ja) 2013-03-29 2014-03-27 駐車支援システムおよび駐車支援方法

Country Status (4)

Country Link
US (1) US9727796B2 (ja)
EP (1) EP2981073B1 (ja)
JP (1) JP6376354B2 (ja)
WO (1) WO2014156166A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018103751A (ja) * 2016-12-26 2018-07-05 株式会社Soken 駐車支援装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
US10999560B2 (en) * 2017-11-07 2021-05-04 Readiness Systems, LLC Remote electronic monitoring infrastructure
CN109631896B (zh) * 2018-07-23 2020-07-28 同济大学 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
CN110824188B (zh) * 2019-10-17 2022-10-04 浙江大华技术股份有限公司 高速公路车辆的测速方法、装置、编解码器及存储装置
CN113212352B (zh) * 2020-02-06 2023-05-05 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
CN113335442B (zh) * 2021-07-22 2023-08-29 上海锐承通讯技术有限公司 用于自行车的上锁方法及自行车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58114283A (ja) * 1981-12-28 1983-07-07 Fujitsu Ltd パタ−ン認識装置
JP2003182489A (ja) * 2001-12-19 2003-07-03 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2011070566A (ja) * 2009-09-28 2011-04-07 Saxa Inc マーカー検知装置及びマーカー検知装置用プログラム
JP2012071794A (ja) 2010-09-29 2012-04-12 Aisin Seiki Co Ltd 駐車支援装置
JP2012206580A (ja) * 2011-03-29 2012-10-25 Panasonic Corp 駐車支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
JP4604703B2 (ja) 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
JP4957266B2 (ja) * 2007-01-24 2012-06-20 富士ゼロックス株式会社 出力支援装置および出力システム
JP5182545B2 (ja) 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
US9123242B2 (en) * 2007-12-05 2015-09-01 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
TWI347900B (en) * 2009-03-10 2011-09-01 Univ Nat Chiao Tung Parking assistance system and method
EP2539197B1 (en) * 2010-02-26 2020-12-16 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
DE102010023162A1 (de) 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58114283A (ja) * 1981-12-28 1983-07-07 Fujitsu Ltd パタ−ン認識装置
JP2003182489A (ja) * 2001-12-19 2003-07-03 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2011070566A (ja) * 2009-09-28 2011-04-07 Saxa Inc マーカー検知装置及びマーカー検知装置用プログラム
JP2012071794A (ja) 2010-09-29 2012-04-12 Aisin Seiki Co Ltd 駐車支援装置
JP2012206580A (ja) * 2011-03-29 2012-10-25 Panasonic Corp 駐車支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2981073A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018103751A (ja) * 2016-12-26 2018-07-05 株式会社Soken 駐車支援装置

Also Published As

Publication number Publication date
EP2981073B1 (en) 2017-09-13
US9727796B2 (en) 2017-08-08
EP2981073A1 (en) 2016-02-03
US20150356359A1 (en) 2015-12-10
JP6376354B2 (ja) 2018-08-22
EP2981073A4 (en) 2016-03-23
JPWO2014156166A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6376354B2 (ja) 駐車支援システム
US11192557B2 (en) Road profile along a predicted path
US11657604B2 (en) Systems and methods for estimating future paths
CA3001287C (en) Display assistance device and display assistance method
US9361803B2 (en) Parking assistance apparatus and parking assistance method for vehicle
CN108027976B (zh) 行驶支援装置以及基于行驶支援装置的行驶支援方法
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
JP5421072B2 (ja) 接近物体検知システム
US9953227B2 (en) In-vehicle image processing device
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JPWO2018066712A1 (ja) 走行支援装置及びコンピュータプログラム
US20130120161A1 (en) Parking assistance device
US20160012725A1 (en) Around view system and operating method thereof
JP6917330B2 (ja) 駐車支援装置
JP2007311898A (ja) 車両運転支援装置および車両運転支援方法
KR102164702B1 (ko) 자동 주차 장치 및 자동 주차 방법
JP2010012838A (ja) 駐車支援装置、及び駐車支援方法
JP6127391B2 (ja) 車両周辺視認装置
JP2009122808A (ja) 車両用運転支援装置
JP5192009B2 (ja) 車両の周辺監視装置
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
JP5132796B2 (ja) 車両周辺画像生成装置および画像切替方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14772674

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015508081

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14652300

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014772674

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014772674

Country of ref document: EP