JP6757261B2 - 車載処理装置 - Google Patents

車載処理装置 Download PDF

Info

Publication number
JP6757261B2
JP6757261B2 JP2017004110A JP2017004110A JP6757261B2 JP 6757261 B2 JP6757261 B2 JP 6757261B2 JP 2017004110 A JP2017004110 A JP 2017004110A JP 2017004110 A JP2017004110 A JP 2017004110A JP 6757261 B2 JP6757261 B2 JP 6757261B2
Authority
JP
Japan
Prior art keywords
vehicle
point cloud
processing device
coordinate system
parking lot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017004110A
Other languages
English (en)
Other versions
JP2018112506A (ja
JP2018112506A5 (ja
Inventor
盛彦 坂野
盛彦 坂野
健人 緒方
健人 緒方
晋也 田川
晋也 田川
將裕 清原
將裕 清原
吉孝 内田
吉孝 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2017004110A priority Critical patent/JP6757261B2/ja
Priority to EP17890879.4A priority patent/EP3569982B1/en
Priority to PCT/JP2017/038645 priority patent/WO2018131258A1/ja
Priority to US16/338,718 priority patent/US11143511B2/en
Publication of JP2018112506A publication Critical patent/JP2018112506A/ja
Publication of JP2018112506A5 publication Critical patent/JP2018112506A5/ja
Application granted granted Critical
Publication of JP6757261B2 publication Critical patent/JP6757261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、車載処理装置に関する。
近年、自動車の自動運転実現に向けた活動が盛んとなっている。自動運転とは、車両周囲をカメラや超音波レーダ、レーダなどの外界センサでセンシングし、センシング結果に基づいて判断を行い、ユーザの操作なしで車両が自律的に走行するものである。この自動運転には車両の位置推定が必要となる。
特許文献1には、車両の位置を計測する位置検出手段と、車両周辺を撮影して、画像データを生成する撮像手段と、道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲を設定し、当該探索範囲内を処理して前記道路構成物の位置を算出する位置算出手段と、前記位置算出手段により算出された道路構成物の位置に基づいて、前記位置検出手段により計測された車両位置を補正する自車位置補正手段と、補正後の車両位置に基づいた自動走行用の制御指令を出力する制御指令出力手段と、を備えることを特徴とする自動走行装置が開示されている。
特開2007-183432号公報
特許文献1には外乱に関する言及はされていないが、一般に屋外環境下では様々な外乱が発生するので、外乱に強い位置推定が求められている。また、種々の原因により車両の位置を推定する精度が低くなることがあった。
本発明の目的は、車両の位置を推定する精度を向上することができる車載処理装置を提供することにある。
上記目的を達成するために、本発明は、第1座標系における物体の一部の点の座標が複数含まれる第1点群データが格納される記憶部と、車両の周囲の前記物体の画像又は前記物体までの距離を示す周囲情報を検出するセンサから前記周囲情報を取得するセンサ入力部と、前記車両の移動量及び移動方向を示す移動情報を取得する移動情報取得部と、前記周囲情報、および前記移動情報に基づき、第2座標系における前記車両の位置および前記第2座標系における前記物体の一部の点の座標が複数含まれる第2点群データを示す局所周辺情報を生成する局所周辺情報作成部と、前記第1点群データと前記局所周辺情報とに基づき前記第1座標系と前記第2座標系の対応関係を推定し、第2座標系における前記車両の位置および前記対応関係から前記第1座標系における前記車両の位置を推定する位置推定部とを備える。
本発明によれば、車両の位置を推定する精度を向上することができる。上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
本発明の第1の実施の形態にかかる車載処理装置を含む自動駐車システムの構成図である。 駐車場点群の一例を示す図である。 本発明の第1の実施の形態にかかる車載処理装置の記録フェーズの動作を表すフローチャートである。 本発明の第1の実施の形態にかかる車載処理装置の自動駐車フェーズの全体動作を表すフローチャートである。 自動駐車フェーズの自己位置推定処理を表すフローチャートである。 自動駐車フェーズの局所周辺情報選定処理を表すフローチャートである。 自動駐車フェーズのマッチング処理を表すフローチャートである。 自動駐車フェーズの自動駐車処理を表すフローチャートである。 図8(a)は駐車場の一例を示す平面図、図8(b)はRAMに保存されるランドマークの点群を可視化した図である。 図9(a)は駐車場点群の点群データを可視化した一例を示す図、図9(b)は新たに検出した点群データを可視化した一例を示す図である。 駐車場における車両の現在位置を示す図である。 車両が図9−1に示した位置において撮影した画像から抽出された点群を駐車場座標に変換したデータを示す図である。 有効範囲内の点群を用いてマッチングをした結果を示す図である。 駐車場における車両の現在位置を示す図である。 車両が図10に示した位置において撮影した画像から抽出された点群を駐車場座標に変換したデータを示す図である。 車両の駐車場座標系における位置の推定が誤差を含んでいた場合の、駐車場点群と図11に示した局所周辺情報との対比を示す図である。 図13(a)〜(c)は、図13に示した局所周辺情報を駐車枠の幅の整数倍移動させた場合の駐車場点群との関係を示す図である。 本発明の第2の実施の形態にかかる車載処理装置を含む自動駐車システムの構成図である。 第2の実施の形態における駐車場の一例を示す図である。 図16(a)は動作例における局所周辺情報を示す図、図16(b)は駐車場点群と局所周辺情報の対応を示す図である。 本発明の第3の実施の形態にかかる車載処理装置を含む自動駐車システムの構成図である。 図18(a)〜(c)は、第3の実施の形態における動作例を示す図である。
以下、図面を用いて、本発明の第1〜第3の実施の形態にかかる車載処理装置の構成及び動作について説明する。なお、各図において、同一符号は同一部分を示す。
(第1の実施の形態)
以下、図1〜図13を参照して、本発明の第1の実施の形態にかかる車載処理装置を説明する。
図1は、本発明の第1の実施の形態にかかる車載処理装置120を含む自動駐車システム100の構成図である。自動駐車システム100は、車両1に搭載される。自動駐車システム100は、センサ群(102、107〜109)と、入出力装置群(110、111、114)と、車両1を制御する制御装置群(130〜133)と、車載処理装置120とから構成される。センサ群、入出力装置群、および制御装置群は車載処理装置120と信号線で接続され、車載処理装置120と各種データを授受する。
車載処理装置120は、演算部121と、RAM122と、ROM123と、記憶部124と、インタフェース125(I/F)とを備える。演算部121は例えば、CPU(Central Processing Unit)である。FPGA(Field Programmable Gate Array)など他の演算処理装置で全部または一部の演算処理を実行するように構成してもよい。RAM122(Random Access Memory)は読み書き込み可能な記憶領域であり、車載処理装置120の主記憶装置として動作する。RAM122には、後述するアウトライアリスト122A、後述する局所周辺情報122B、および駐車場点群122Cが格納される。ROM123(Read Only Memory)は読み取り専用の記憶領域であり、後述するプログラムが格納される。このプログラムはRAM122で展開されて演算部121により実行される。演算部121は、プログラムを読み込んで実行することにより、点群データ取得部121A、局所周辺情報作成部121B、および位置推定部121C、局所周辺情報選定部121D、自動駐車部121Eとして動作する。
記憶部124は不揮発性の記憶装置であり、車載処理装置120の補助記憶装置として動作する。記憶部124には、駐車場点群124Aが格納される。駐車場点群124Aとは、1または複数の駐車場データである。駐車場データとは、ある駐車場の位置情報(例えば、緯度および経度、駐車領域を示す座標)、およびその駐車場に存在するランドマーク(例えば、駐車枠線)を構成する点の座標の集合である。ランドマークの詳細については後述する。インタフェース125は、車載処理装置120と自動駐車システム100を構成する他の機器との情報の授受を行う。
センサ群は、車両1の周囲を撮影するカメラ102と、GPS受信機107と、車速センサ108と、舵角センサ109とを含む。
カメラ102は、撮影して得られた画像(以下、撮影画像)を車載処理装置120に出力する。車載処理装置120は、カメラ102の撮影画像を用いて後述するランドマーク(例えば、駐車枠線)の測位を行う。カメラ102の焦点距離や撮像素子サイズなどの内部パラメータ、および車両1へのカメラ102の取り付け位置や取り付け姿勢である外部パラメータは既知であり、ROM123にあらかじめ保存されている。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102との位置関係を算出することができる。
GPS受信機107は、衛星航法システムを構成する複数の衛星から信号を受信し、受信した信号に基づく演算によりGPS受信機107の位置(例えば、緯度および経度)を算出する。なおGPS受信機107により算出される緯度および経度の精度は高精度でなくてもよく、たとえば数m〜10m程度の誤差が含まれてもよい。GPS受信機107は、算出した緯度および経度を車載処理装置120に出力する。
車速センサ108、および舵角センサ109はそれぞれ、車両1の車速と舵角を測定し車載処理装置120に出力する。車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて公知のデッドレコニング技術によって、車両1の移動量および移動方向を算出する。
入力装置110は、記録開始ボタン110Aと、記録完了ボタン110Bと、自動駐車ボタン110Cとを含む。これらのボタンが押されることにより、入力装置110に、ユーザによる車載処理装置120への動作指令が入力される。表示装置111はたとえば液晶ディスプレイであり、車載処理装置120から出力される情報が表示される。なお、入力装置110と表示装置111とが一体として、たとえばタッチ操作に対応する液晶ディスプレイとして構成されてもよい。この場合は、液晶ディスプレイの所定の領域がタッチされることにより、記録開始ボタン110A、記録完了ボタン110B、または自動駐車ボタン110Cが押されたと判断してもよい。
通信装置114は、車両1の外部の機器と車載処理装置120とが無線で情報を授受するために用いられる。例えば、ユーザが車両1の外にいるときに、ユーザが身に着けている携帯端末と通信を行い、情報を授受する。通信装置114が通信を行う対象はユーザの携帯端末に限定されない。
車両制御装置130は、車載処理装置120の動作指令に基づき、操舵装置131、駆動装置132、および制動装置133を制御する。操舵装置131は、車両1のステアリングを操作する。駆動装置132は、車両1に駆動力を与える。駆動装置132はたとえば、車両1が備えるエンジンの目標回転数を増加させることにより車両1の駆動力を増加させる。制動装置133は、車両1に制動力を与える。
(ランドマーク測位)
ランドマークとはセンサにより識別可能な特徴を有する物体であり、たとえば路面ペイントの1種である駐車枠線や、車両の走行の妨げとなる障害物である建物の壁などである。本実施の形態では、移動体である車両や人間はランドマークに含めない。車載処理装置120は、カメラ102から入力される情報に基づき、車両1の周辺に存在するランドマーク、すなわちセンサにより識別可能な特徴を有する点を検出する。以下では、外界センサ、すなわちカメラ102から入力される情報に基づくランドマークの検出を「ランドマーク測位」と呼ぶ。
(路面ペイントの検出)
車載処理装置120は、カメラ102の撮影画像を対象に、以下のように画像認識プログラムを実行することで駐車枠などの路面ペイントなどを検出する。駐車枠の検出では、車載処理装置120は、まず入力画像からソーベルフィルタなどでエッジを抽出する。次に、車載処理装置120は、たとえば白から黒への変化であるエッジの立ち上がりと、黒から白への変化であるエッジの立ち下がりのペアを抽出する。そしてこのペアの間隔が、あらかじめ定めた第1の所定の距離、すなわち駐車枠を構成する白線の太さと略一致すると、車載処理装置120は、このペアを駐車枠の候補とする。同様の処理により駐車枠の候補を複数検出し、駐車枠の候補同士の間隔があらかじめ定めた第2の所定の距離、すなわち駐車枠の白線の間隔と略一致すると、それらを駐車枠として検出する。駐車枠以外の路面ペイントは以下の処理(画像認識プログラム)を実行する車載処理装置120で検出される。まず入力画像からソーベルフィルタなどでエッジを抽出する。エッジ強度があらかじめ定めた一定の値よりも大きく、エッジ同士の間隔が白線の幅に相当するあらかじめ定めた距離である画素を探索することにより検出できる。
(移動体の除外)
車載処理装置120はたとえば既知のテンプレートマッチングにより車両や人間などの移動体を検出し、測定結果から除外する。また、以下のようにして検出した移動体を測定結果から除外してもよい。すなわち車載処理装置120は、内部パラメータおよび外部パラメータを用いて撮影画像における被写体とカメラ102との位置関係を算出する。次に車載処理装置120は、カメラ102が連続して取得した撮影画像において被写体を追跡することで車両1と被写体の相対的な速度を算出する。最後に車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて車両1の速度を算出し、被写体との相対的な速度と一致しなければ被写体が移動体であると判断し、この移動体に関する情報を測定結果から除外する。
(駐車場点群124A)
図2は、記憶部124に格納される駐車場点群124Aの一例を示す図である。図2では、駐車場点群124Aとして2つの駐車場データが格納されている例を示している。1つの駐車場データは、その駐車場の位置(例えば、緯度および経度)と、後述する駐車領域の座標と、ランドマークを構成する点の二次元平面上の座標とから構成される。駐車場の位置とは、たとえば駐車場の入り口付近、駐車場の中央付近、または駐車位置の緯度および経度である。駐車領域の座標、およびランドマークを構成する点の座標は、その駐車場データに固有の座標系における座標である。以下では駐車場データにおける座標系を「駐車場座標系」と呼ぶ。駐車場座標系は、たとえば記録開始時の車両1の座標が原点とされ、記録開始時の車両1の進行方向がY軸、記録開始時の車両1の右方向がX軸とされる。換言すれば、駐車場座標系(第1座標系)は駐車場点群124A(第1点群データ)の記録開始時の車両1の位置および姿勢に基づいて設定される。駐車領域の座標は、たとえば駐車領域を矩形とした場合にその矩形領域の4つの頂点の座標として記録される。ただし、駐車領域は矩形に限定されず矩形以外の多角形や楕円形状でもよい。
(アウトライアリスト122A)
アウトライアリスト122Aには、車載処理装置120が処理対象外とする局所周辺情報122Bの点の情報が格納される。アウトライアリスト122Aは、後述するように車載処理装置120により適宜更新される。
(局所周辺情報122B)
局所周辺情報122Bには、車載処理装置120が後述する自動駐車フェーズにおいて検出したランドマークを構成する点の座標が格納される。この座標は局所周辺情報122Bの記録を開始した際の車両1の位置および姿勢を基準に、たとえばその位置を原点とし、車両1の進行方向をY軸とし、進行方向右をX軸とする座標系である。この座標系を以下では「局所座標系」と呼ぶ。換言すれば、局所座標系(第2座標系)は、局所周辺情報122Bの記録開始時の車両1の位置および姿勢に基づいて設定される。
(車載処理装置120の動作概要)
車載処理装置120は、主に2つの動作フェーズ、すなわち記録フェーズと自動駐車フェーズを有する。車載処理装置120はユーザからの特別の指示(自動駐車ボタン110Cの押下)により自動駐車フェーズで動作する。一方、記録フェーズはユーザの指示(記録開始ボタン110Aの押下)で開始される。
記録フェーズではユーザにより車両1が運転され、車載処理装置120は車両1が備えるセンサからの情報に基づき駐車場データ、すなわち駐車場に存在する白線や障害物の情報、および駐車位置の情報を収集する。車載処理装置120は、収集した情報を駐車場点群124Aとして記憶部124に格納する。
自動駐車フェーズでは車載処理装置120により車両1が制御され、記憶部124に格納された駐車場点群124A、および車両1が備えるセンサからの情報に基づき、あらかじめ定められた駐車位置に車両1が駐車される。車載処理装置120は、センサからの情報に基づき車両1の周囲に存在する白線や障害物を検出し、駐車場点群124Aと照合することにより現在位置を推定する。すなわち車載処理装置120はGPS受信機107から得られる情報を用いることなく、駐車場座標系における車両1の現在位置を推定する。以下では記録フェーズと自動駐車フェーズを詳しく説明する。
(記録フェーズ)
ユーザは駐車場の入り口付近で記録開始ボタン110Aを押し、車載処理装置120に記録フェーズの動作を開始させる。その後ユーザは自らの運転により車両1を駐車位置まで移動させ、停車後に記録完了ボタン110Bを押し、車載処理装置120に記録フェーズの動作を終了させる。
車載処理装置120は、ユーザにより記録開始ボタン110Aが押されると記録フェーズの動作を開始し、ユーザにより記録完了ボタン110Bが押されると記録フェーズの動作を終了する。車載処理装置120による記録フェーズの動作は、ランドマークを構成する点群の抽出と抽出した点群の記録の2つに分けられる。
車載処理装置120による点群の抽出処理を説明する。車載処理装置120は、ユーザにより記録開始ボタン110Aが押されると、RAM122に一時的な記録領域を確保する。そして車載処理装置120は、記録完了ボタン110Bが押されるまで以下の処理を繰り返す。すなわち車載処理装置120は、カメラ102の撮影画像に基づきランドマークを構成する点群を抽出する。また車載処理装置120は、車速センサ108および舵角センサ109の出力に基づき、カメラ102が前回撮影してから今回撮影するまでに車両1が移動した移動量および移動方向を算出する。そして車載処理装置120は、車両1との位置関係、および車両1の移動量や移動方向に基づき抽出した点群をRAM122に記録する。車載処理装置120はこの処理を繰り返す。
車両1の位置、および点群の座標は、記録座標系の座標値として記録される。「記録座標系」は、たとえば記録を開始した際の車両1の位置を原点(0、0)とし、記録開始時の車両1の進行方向(姿勢)をY軸、記録開始時の車両1の右方向をX軸とした座標系の座標値として扱われる。そのため同一の駐車場において点群を記録しても、記録を開始した際の車両1の位置や姿勢により設定される記録座標系が異なるので、異なる座標にランドマークを構成する点群が記録される。
ユーザは車両を目的の駐車位置に駐車させて記録完了ボタン110Bを操作する。車載処理装置120は、記録完了ボタン110Bが押されると現在位置を駐車位置としてRAM122に駐車場点群122Cとして記録する。駐車位置はたとえば車両1を矩形に近似した際の四隅の座標として記録される。さらに車載処理装置120は、GPS受信機107が出力する緯度および経度を駐車場の座標としてあわせて記録する。なお、駐車場点群122Cは、図2に示した駐車場点群124Aを構成する1つの駐車場の点群と同様のデータ構造を有する。次に車載処理装置120は以下のように点群の記録処理を行う。ただし記録開始ボタン110Aが押された際にGPS受信機107が出力する緯度および経度を駐車場の座標として記録してもよい。
車載処理装置120は、記録完了ボタン110Bの操作により記録した駐車場の座標、すなわち緯度および経度が、すでに駐車場点群124Aに記録されているいずれかの駐車場の座標と略一致するか否かを判断する。両者が略一致しない場合は、車載処理装置120はRAM122に保存した駐車場点群122Cを、新たな駐車場データとして駐車場点群124Aに記録する。両者が略一致する場合は、車載処理装置120は駐車場の座標が略一致する駐車場点群122Cを1つの駐車場の点群(駐車場点群124A)としてマージするか否かを判断する。この判断のために車載処理装置120はまず、駐車場データに含まれる駐車位置と、RAMに記録した駐車位置が一致するように座標変換を行い、次に駐車場点群124Aの点群とRAM122に保存した点群との一致度である点群一致度を算出する。そして車載処理装置120は、算出された点群一致度が閾値よりも大きければ両者を統合すると判断し、閾値以下であれば統合しないと判断する。点群一致度の算出については後述する。
車載処理装置120は、統合しないと判断した場合はRAM122に保存した駐車場点群122Cを新たな駐車場データとして駐車場点群124Aに記録する。車載処理装置120は、統合すると判断した場合は、駐車場点群124Aの既存の駐車場データにRAM122に保存した駐車場点群122Cを追加する。
(記録フェーズのフローチャート)
図3は、車載処理装置120の記録フェーズの動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。演算部121は、図3に示す処理を行う場合に点群データ取得部121Aとして機能する。
ステップS501では、記録開始ボタン110Aが押されたか否かが判断される。記録開始ボタン110Aが押されたと判断する場合はステップS501Aに進み、押されていないと判断する場合はステップS501に留まる。ステップS501Aでは、RAM122に新たな記録領域を確保する(初期化処理)。この記憶領域には、抽出した点群と車両1の現在位置が前述の記録座標系の座標で記録される。
ステップS502では、センサ群から情報を取得して前述のランドマーク測位が行われる。例えば、カメラ102の撮影画像を用いて、ランドマークを構成する点群の抽出を行う。続くステップS503では、カメラ102が前回撮影してから最新の撮影を行うまでの時間における車両1の移動量を推定し、RAM122に記録した記録座標系における車両1の現在位置を更新する。車両1の移動量は複数の手段(装置/回路)により推定可能であり、たとえば前述のようにカメラ102の撮影画像における路面に存在する被写体の位置の変化から車両1の移動量を推定できる。また、GPS受信機107として誤差が小さい高精度なGPS受信機が搭載されている場合には、その出力を利用してもよい。次にステップS504に進む。
ステップS504では、ステップS502において抽出した点群を、ステップS503において更新した現在位置に基づき、記録座標系の座標としてRAM122に保存する。続くステップS505では、記録完了ボタン110Bが押されたか否かを判断し、記録完了ボタン110Bが押されたと判断する場合はステップS505Aに進み、記録完了ボタン110Bが押されていないと判断する場合はステップS502に戻る。ステップS505Aでは、GPS受信機107から車両1の現在の緯度および経度を取得するとともに、駐車位置、すなわち車両1の現在位置であって車両1の四隅の記録座標系における座標を記録する。次にステップS506に進む。
ステップS506では、ステップS505Aにおいて取得した車両1の現在の緯度および経度と略一致する緯度および経度を有する駐車場データが、駐車場点群124Aに記録されているか否かを判断する。車両1の現在の緯度および経度が駐車場点群124Aに記録されているいずれかの駐車場データの緯度および経度と略一致すると判断する場合はステップS507に進み、それ以外の場合はステップS510に進む。以下では、車両1の現在の緯度および経度と緯度および経度が略一致すると判断された駐車場点群124Aの駐車場データをターゲット駐車場データと呼ぶ。
ステップS507では、駐車位置を基準として、RAM122に保存した点群データの座標系である記録座標系をターゲット駐車場データの点群データの座標系に変換する。すなわち、ターゲット駐車場データに含まれる駐車位置と、ステップS505Aにおいて記録した駐車位置が一致するように記録座標系と駐車場座標系の座標変換式を導出する。そしてこの座標変換式を用いて、RAM122に記録座標系で保存されたランドマークを構成する点の座標をターゲット駐車場データの駐車場座標系に変換する。
続くステップS507Aでは、RAM122に保存された点群データとターゲット駐車場データの点群一致率IBを算出する。点群一致率IBは以下の式1により算出される。
IB= 2*Din/(D1+D2) ・・・式1
ただし式1において「Din」は、ステップS507において座標変換した点群データの各点と、ターゲット駐車場データの点群データの各点の距離が所定の距離以内の点の数である。また式1において「D1」はRAM122に保存された点群データにおける点の数、「D2」はターゲット駐車場データの点群データにおける点の数である。次にステップS508に進む。
ステップS508では、ステップS507Aにおいて算出した点群一致率が所定の閾値よりも大きいか否かを判断する。閾値よりも大きいと判断する場合はステップS509に進み、閾値以下であると判断する場合はステップS510に進む。
ステップS509では、マージ処理、すなわち記憶部124に格納された駐車場点群124Aのターゲット駐車場データに、ステップS507において座標変換した点群データを追加する。ステップS506またはステップS508において否定判断(NO)された場合に実行されるステップS510では、RAM122に保存した点群データ、およびステップS505Aにおいて記録した車両1の緯度および経度、および駐車位置を新たな駐車場データとして駐車場点群124Aに記録する。以上で図3のフローチャートを終了する。
(自動駐車フェーズ)
ユーザが車両1を運転して駐車場点群124Aに記録されているいずれかの駐車場の付近まで移動させると、表示装置111に自動駐車可能な旨が表示される。この際にユーザが自動駐車ボタン110Cを押すと、車載処理装置120による自動駐車処理が開始される。
車載処理装置120の動作を、フローチャートを用いて以下説明する。
(自動駐車処理の全体フロー)
図4は、車載処理装置120の自動駐車フェーズの全体動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。
車載処理装置120は、まずGPS受信機107を用いて現在の緯度および経度を測位し(ステップS601)、その緯度および経度が、駐車場点群124Aのいずれかの駐車場データの緯度および経度と略一致するか否かを判定する(ステップS602)。換言すると車両1の位置から所定の距離以内に存在する駐車場の有無を判断する。いずれかの駐車場データの緯度および経度と車両1の緯度および経度が略一致すると判断する場合はステップS603に進み、いずれの駐車場データの緯度および経度とも略一致しないと判断する場合はステップS601に戻る。
そして車載処理装置120は、駐車場点群124Aに含まれる複数の駐車場データのうち、車両1の現在位置と略一致する緯度および経度を有する駐車場データを特定する(ステップS603)。次に車載処理装置120は、初期化処理としてRAM122に格納される局所周辺情報122Bの初期化、およびRAM122に保存される車両1の現在位置の初期化を行う。具体的には従前の情報が記録されていたら消去し、新たな座標系を設定する。本実施の形態では、この座標系を局所座標系と呼ぶ。この局所座標系はステップS603Aが実行された際の車両1の位置および姿勢に基づき設定される。たとえばステップS603Aが実行された際の車両1の位置が局所座標系の原点に設定され、ステップS603Aが実行された際の向きによりX軸およびY軸が設定される。また車両1の現在位置の初期化は、車両1の現在位置が原点(0、0)に設定される。
次に、図5に示す手順により自己位置推定、すなわち車両1の駐車場座標系における位置を推定し(ステップS604)、ステップS605では自己位置が推定できたか否かを判断する。推定できたと判断する場合はステップS606に進み、推定できないと判断する場合はステップS604に戻る。
ステップS606では、車載処理装置120は表示装置111に自動駐車が可能な旨を表示し、続くステップS607ではユーザにより自動駐車ボタン110Cが押されたか否かを判断する。自動駐車ボタン110Cが押されたと判断する場合はステップS608に進んで図7に示す手順により自動駐車処理を実行し、自動駐車ボタン110Cが押されていないと判断する場合はステップS606に戻る。
(自己位置推定)
図5を参照して図4のステップS604において実行される自己位置推定処理の詳細を説明する。演算部121は、図5のステップS621〜S623に示す処理を行う場合に局所周辺情報作成部121Bとして機能する。
ステップS621のランドマーク測位、ステップS622の自車移動量推定、およびステップS623の局所周辺情報122Bの記録(更新)はそれぞれ、図3のステップS502〜S504の処理と概ね同じである。相違点はRAM122に記憶されるデータが局所周辺情報122Bとして記録される点である。
ステップS623の実行が完了すると、車載処理装置120は図5−1に詳細を示す局所周辺情報の選定を行う(ステップS62A)。この局所周辺情報の選定処理は、局所周辺情報として得られた点群の中から、後述のステップS624のマッチング処理で利用する点を選定する処理である。局所周辺情報で得られた点群は自車移動量推定の累積誤差により、駐車場点群と全体形状が異なりマッチングできない場合がある。この局所周辺情報の選定処理により、形状誤差が小さくマッチング可能な範囲の点群を適応的に選定する。
ステップS62Aの実行が完了すると、車載処理装置120は図6に詳細を示すマッチング処理を行う(ステップS624)。このマッチング処理では、駐車場座標系と局所座標系との対応関係、すなわち駐車場座標系と局所座標系との座標変換式が得られる。続くステップS625では車載処理装置120は、ステップS622において更新した局所座標系における車両1の座標と、ステップS625において得られた座標変換式を用いて、駐車場座標系における車両1の座標、すなわち自己位置を算出する。次にステップS626に進む。
ステップS626において車載処理装置120は、ステップS625において算出した位置の信頼性を判断する自己診断を実行する。自己診断は、例えば以下の3つの指標を用いて判断される。
第1の指標では、車速センサ108および舵角センサ109の出力を用いて公知のデッドレコニング技術によって推定した車両1の移動量と、自己位置推定によって推定された所定期間における移動量を比較し、あらかじめ定めた閾値よりも差が大きい場合は信頼度が低いと判断する。
第2の指標では、マッチング時に計算される対応点の誤差量で判断する。誤差量があらかじめ定めた閾値よりも大きい場合は信頼度が低いと判断する。
第3の指標では、類似解があるか否かの判定を実施する。得られた解から駐車枠の幅分並進するなど、類似解を探索した場合に、対応点誤差が一定以内の点が同じくらいの数あった場合は、信頼度が低いと判断する。これら3つの指標のすべてで信頼度が低いと判断されなかった場合に自己位置が推定できたと判断する。
(局所周辺情報の選定)
図5−1を参照して図5のステップS62Aにおいて実行される局所周辺情報の選定の詳細を説明する。演算部121は、図5−1に示す処理を行う場合に局所周辺情報選定部121Dとして機能する。
ステップS680では、ステップS622の内部で実施している自車移動量計算を利用して、自車のここまでの軌跡を計算する。自車移動量から算出した自車両位置の座標点を補間して生成される軌跡が自車軌跡となる。
ステップS681では、局所周辺情報の点群に関して、形状誤差が小さくマッチング可能な範囲を算出する。この範囲は、ステップS680で算出した自車軌跡の長さや形状から判定する。局所周辺情報として得られる点群は、距離が長くなるほど、また車両の旋回量が大きくなるほど移動量の推定誤差が発生しやすい。逆に点群が少なすぎると、マッチングが困難になる。そこで、現在位置からあらかじめ定めた最低距離D[m]分を軌跡にそってさかのぼった範囲の点群を取得する。それ以降、軌跡の接線の角度の変化量を累積し、あらかじめ定めた角度しきい値θ[deg]以上に変化するところまでの軌跡周辺の点群を取得する。軌跡に対して、軌跡を中心としてあらかじめ定めた範囲X[m]×Y[m]の範囲の点群を局所周辺情報の点群の有効範囲とする。すなわち、有効範囲は得られた軌跡に沿った形状となる。
ステップS682ではステップS681で得られた有効範囲内の点を、局所周辺情報の点群(有効点群)として取得する。
(マッチング)
図6を参照して図5のステップS624において実行されるマッチング処理の詳細を説明する。演算部121は、図6に示す処理を行う場合に位置推定部121Cとして機能する。
ステップS641ではRAM122に格納されたアウトライアリスト122Aを局所周辺情報122Bに対して適用し、局所周辺情報122Bに含まれる点群のうちアウトライアリスト122Aに記載された点を一時的に処理対象外とする。この適用範囲はステップS642〜S653であり、ステップS654では従前にアウトライアリスト122Aに含まれていた点も対象となる。ただし、図6に示すフローチャートの初回実行時にはステップS641〜S643が実行できないため、ステップS650から実行を開始する。次にステップS641Aに進む。
ステップS641Aでは、最新の撮影画像から検出した点群、すなわち図5のステップS621において検出したランドマークを構成する点群の座標を、駐車場座標系の座標に変換する。この変換は、ステップS622において更新された車両1の局所座標系における位置、および前回算出した局所座標系から駐車場座標系への座標変換式を用いることにより実現される。
続くステップS642では瞬間一致度ICが算出される。瞬間一致度ICは、以下の式2により算出される。
IC= DIin/DIall ・・・式2
ただし式2において「DIin」は、ステップS641Aにおいて駐車場座標系に変換された最新の撮影画像から検出された点群のうち、最も近い駐車場点群124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式2において「DIall」は、ステップS621において検出された点群の数である。次にステップS643に進む。
ステップS643では、ステップS642において算出した瞬間一致度ICが閾値よりも大きいか否かを判断する。瞬間一致度ICが閾値よりも大きいと判断する場合はステップS650に進み、瞬間一致度ICが閾値以下であると判断する場合はステップS644に進む。
ステップS644では、駐車場点群124Aの対象となる駐車場データ、すなわち点群データから周期的な特徴、たとえば複数並んだ駐車枠を検出する。前述のように、駐車場点群に含まれる点群は画像のエッジなどを抽出して得られるので、白線の太さに相当する間隔で並ぶ点から駐車枠線を検出できる。続くステップS645では、ステップS644において周期的特徴を検出したか否かを判断し、検出したと判断する場合はステップS646に進み、検出できなかったと判断する場合はステップS650に進む。ステップS646では周期的な特徴の周期(繰り返しの単位となる特徴量)、たとえば駐車枠の幅を算出する。ここでいう駐車枠の幅とは、駐車枠を構成する白線同士の間隔である。次にステップS647に進む。
ステップS647では、前回のステップS653において算出された座標変換式を基準として、この座標変換式を複数とおりに変化させて全体一致度IWをそれぞれ算出する。座標変換式は、駐車場点群が検出した周期的特徴の整数倍ずれるように複数とおりに変化させる。全体一致度IWは、以下の式3により算出される。
IW= DWin/DWall ・・・式3
ただし式3において「DWin」は、前述の座標変換式を用いて局所周辺情報122Bを構成する点を駐車場座標系に変換した点のうち、最も近い駐車場点群124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式2において「DWall」は、ステップS621において検出された点の数である。次にステップS648に進む。
ステップS648では、ステップS647において算出した複数の全体一致度IWのうち、最大の全体一致度IWを与える座標変換式をRAM122に記憶してステップS650に進む。
ステップS650における対応付け処理、ステップS651における誤差最小化処理、およびステップS652における収束判定処理は既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。ただしステップS650における初期値の設定は本実施の形態に特有なので詳しく説明し、他は概略のみ説明する。
ステップS643において肯定判定(YES)された場合、ステップS645において否定判定(NO)された場合、ステップS648の実行が終わった場合、またはステップS652において否定判定(NO)された場合に実行されるステップS650では、駐車場点群124Aの駐車場データに含まれる点群と局所周辺情報122Bに含まれる点群との対応付けが算出される。ステップS643またはステップS648の次に実行される場合は、局所周辺情報122Bの点群データはRAM122に記録された座標変換式を用いて座標変換された値を用いる。すなわち、ステップS643において肯定判定(YES)されてステップS650が実行される場合には、前回実行されたステップS653において算出された座標変換式が使用される。一方、ステップS648の次にステップS650が実行される場合は、ステップS648において記憶された座標変換式が使用される。次にステップS651に進む。
ステップS651では、対応点の誤差が最小となるように座標変換式が変更される。たとえば、ステップS650において対応付けられた点同士の距離の指標の和が最小となるように座標変換式が変更される。対応付けられた点同士の距離の指標の和として、例えば、距離の絶対値の和を採用することができる。続くステップS652では、誤差が収束したか否かを判断し、収束したと判断する場合はステップS653に進み、収束していないと判断する場合はステップS650に戻る。続くステップS653では、最後にステップS651において変更された座標変換式をRAM122に保存してステップS654に進む。
ステップS654では、次のようにアウトライアリスト122Aを更新する。まずRAM122に格納されている既存のアウトライアリスト122Aをクリアする。次に局所周辺情報122Bの点群をステップ653において記録した座標変換式を用いて駐車場座標系に変換し、局所周辺情報122Bを構成するそれぞれの点とその点が対応する駐車場点群124Aを構成する点までの距離、すなわちユークリッド距離を算出する。そして、算出された距離があらかじめ定められた距離よりも長い場合は、その局所周辺情報122Bの点をアウトライアリスト122Aに加える。ただしこのときに、空間的に端部に位置することをアウトライアリスト122Aに加えるさらなる条件としてもよい。空間的な端部とは、記録を開始した際に取得された点など、他の点までの距離が遠い点である。以上の処理によりアウトライアリスト122Aが更新される。以上で図6のフローチャートを終了する。
(自動駐車)
図7を参照して図4のステップS608において実行される自動駐車処理の詳細を説明する。以下に説明する各ステップの実行主体は車載処理装置120(演算部121)である。演算部121は、図7の処理を行う場合に自動駐車部121Eとして機能する。
ステップS661では、駐車場座標系における車両1の位置を推定する。本ステップにおける処理は図4のステップS604と同様なので説明を省略する。続くステップS662では、ステップS661において推定した位置から、駐車場点群124Aに格納されている駐車位置までの走行経路を既知の経路生成手法により生成する。次にステップS663に進む。
ステップS663では、車両制御装置130を介して操舵装置131、駆動装置132、および制動装置133を制御し、ステップS662において生成した経路に沿って車両1を駐車位置まで移動させる。ただし自動駐車ボタン110Cがユーザにより押され続けている場合だけ駆動装置132に動作指令を出力してもよい。また、カメラ102の撮影画像から人物や移動車両などが抽出されたら制動装置133を動作させて車両1を停止させる。続くステップS664ではステップS661と同様に車両1の位置を推定する。続くステップS665では駐車が完了したか否か、すなわち車両1が駐車位置に到達したか否かを判断し、駐車が完了していないと判断する場合はステップS663に戻り、駐車が完了したと判断する場合は図7のフローチャートを終了する。
(動作例)
図8〜図13を参照して、記録フェーズ、および自動駐車フェーズの具体的な動作を説明する。
図8(a)は、駐車場901の一例を示す平面図である。駐車場901は建物902の周囲に設けられる。駐車場901の出入り口は図示左下が1か所だけある。図8(a)に示す四角は路面ペイントである駐車枠を表しており、ハッチングで示す駐車枠903が車両1の駐車領域(駐車が完了した際に駐車位置となる領域)である。本動作例では、ランドマークは駐車枠線のみとして説明する。本動作例では図8(a)に示すように車両1を三角形で示し、三角形の鋭角が車両1の進行方向を示す。
(動作例|記録フェーズ その1)
ユーザが駐車場901の入り口付近で記録開始ボタン110Aを押すと、車載処理装置120はランドマーク測位を開始し、駐車枠線を構成する点の座標を記録する(図3のステップS501:YES、S502〜S504)。そして、記録完了ボタン110Bが押されるまで、図3のステップS502〜S504の処理を繰り返す。
図8(b)は、RAM122に保存されるランドマークの点群を可視化した図である。図8(b)において、実線はRAM122に保存されたランドマークの点群を表し、破線はRAM122に保存されていないランドマークを示す。車両1のカメラ102は撮影可能な範囲に限界があるため、図8(b)に示すように車両1が駐車場901の入り口付近にいる際は駐車場901の入り口付近の駐車枠線だけが記録される。ユーザが車両1を駐車場901の奥まで移動させると、車載処理装置120は駐車場901の全体のランドマークの点群を記録することができる。
ユーザが車両1を駐車枠903の中に停車させて記録完了ボタン110Bを押すと、車載処理装置120はGPS受信機107から車両1の緯度および経度を取得するとともに、車両1の四隅の座標を記録する(ステップS505:YES、S505A)。駐車場点群124Aに車両1の現在の緯度および経度と略一致する緯度および経度が記録されていない場合は(S506:NO)、RAM122に保存した点群を駐車場点群124Aを構成する新たなデータ、すなわち新たな駐車場データとして記録する。
(動作例|記録フェーズ その2)
別な例として、図9(a)に示す点群データが駐車場点群124Aの駐車場データとして記録されており、新たに図9(b)に示す点群データが得られた場合を説明する。図9(a)に示す点群データは、たとえば図8(a)に示した駐車場901の入り口から右寄りを走行して駐車位置まで到達した場合に得られた点群データである。図8(a)に比べて右寄りを走行したので、図9(a)に点線で示した駐車枠の点群データが取得されていない。
図9(b)に示す点群データは、たとえば駐車場901の入り口から左寄りを走行して駐車位置まで到達した場合に得られた点群データである。図8(a)に比べて左寄りを走行したので、図9(b)に点線で示した駐車枠の点群データが取得されていない。また図9(b)に示す点群データは、ユーザが記録開始ボタン110Aを押した際に車両1が駐車場901と正対していなかったので、図9(a)に比べて駐車場901が傾いているように記録されている。
このような状態においてユーザが記録完了ボタン110Bを押したとき、駐車場点群124Aに車両1の現在の緯度および経度と略一致する緯度および経度が記録されていると判断されると(S506:YES)、図9(a)と図9(b)の駐車位置、すなわち駐車枠903を基準に座標変換が行われる(ステップS507)。そして点群一致率IBを算出し(ステップS507A)、その点群一致率IBが所定の閾値よりも大きいと判断されると(ステップS508:YES)、図9(a)に示す点群データに図9(b)に示す点群データが統合される(ステップS509)。この統合により、図9(a)では記録されていなかった図示左側の駐車枠線の点群が新たに記録されるとともに、すでに記録されていた図示右側や図示上部の駐車枠線を構成する点群は記録され、点群の密度が濃くなる。
(動作例|実行フェーズ)
実行フェーズにおけるマッチング処理の動作例を説明する。この動作例では、あらかじめ駐車場点群124Aには図8(a)に示した駐車場901の全体に相当する点群データが格納されている。
図9−1は、図8(a)に示す駐車場901における車両1の現在位置を示す図である。車両1は図示右方を向いている。
図9−2は、車両1が図9−1に示した位置に到達するまでに撮影した画像から抽出された点群を、駐車場座標に変換したデータを示す図である。この図では、局所周辺情報の点群を破線及び1点鎖線で表している。また、走行軌跡を実線及び1点鎖線で記載している。旋回時誤差が生じているため、全体としての点群形状が変化しており、そのまま全体でマッチングしても全体が一致しないことが推察できる。また、有効軌跡とそうでない部分にわけて記載している。有効軌跡は、走行軌跡を自車位置からたどって、大きく旋回している部分で終了している。有効軌跡を中心として、所定の範囲内に入る点をマッチングに利用することで、正しいマッチングを実施できる。
図9−3は有効範囲内の点群を用いてマッチングした結果である。
図10は、図8(a)に示す駐車場901における車両1の現在位置を示す図である。車両1は図示上方を向いている。図11〜図12では、車両1の前方領域である図10において破線の丸で囲む部分の駐車枠線を示す。
図11は、車両1が図10に示した位置において撮影した画像から抽出された点群を、駐車場座標に変換したデータを示す図である。すなわち、図11に示す点群は局所周辺情報122Bのうち、最新の撮影画像から検出された点群であり図6のステップS641Aにおいて処理されたデータである。ただし図11では点ではなく破線として表している。また図11では図10との対比のために車両1もあわせて表示している。図11に示すように、車両1の左側には駐車枠線の点群データが切れ目なく存在しており、車両1の右側では駐車枠線の点群データが手前側にのみ存在する。
図12は、車両1の駐車場座標系における位置の推定が誤差を含んでいた場合における、駐車場点群124Aと図11に示した局所周辺情報122Bとの対比を示す図である。図12では、従前の位置推定がおおよそ駐車枠の幅の1つ分ずれていたため、車両1の右側に存在する局所周辺情報122Bは、駐車場点群124Aとずれが生じている。このような状態で瞬間一致度ICが算出されると(図6のステップS642)、車両1の右側の前述のずれにより瞬間一致度ICは低い値となる。この値が閾値よりも低いと判断されると(ステップS643:NO)、駐車枠を周期的な特徴として検出し(ステップS644、S645:YES)、駐車場点群124Aから駐車枠の幅が算出され(ステップS646)、駐車枠の幅の整数倍移動させて全体一致度IWが算出される(ステップS647)。
図13(a)〜(c)は、図13に示した局所周辺情報122Bを駐車枠の幅の整数倍移動させた場合の駐車場点群124Aとの関係を示す図である。図13(a)〜(c)ではそれぞれ、図13に示した局所周辺情報122Bを駐車枠の幅の、+1倍、0倍、―1倍だけ図示上方に移動している。図13(a)では局所周辺情報122Bが図示上側に駐車枠の幅の1つ分移動しており、局所周辺情報122Bと駐車場点群124Aとのずれが拡大している。そのため図13(a)における全体一致度IWは、移動させない場合よりも小さくなる。図13(b)では局所周辺情報122Bは移動しておらず、図12でみたように局所周辺情報122Bと駐車場点群124Aは駐車枠の幅の1つ分ずれている。図13(c)では局所周辺情報122Bが図示下側に駐車枠の幅の1つ分移動しており、局所周辺情報122Bは駐車場点群124Aと略一致している。そのため図13(c)における全体一致度IWは、移動させない場合よりも大きくなる。
局所周辺情報122Bの移動量と全体一致度IWの増減は上述する関係にあるので、図13に示す例では図13(c)に対応する全体一致度IWが最大と判断され、この移動に対応する座標変換式がRAM122に記憶される(ステップS648)。このようにして車載処理装置120は推定する位置精度を向上させる。
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)車載処理装置120は、物体の一部を表す点の第1座標系(駐車場座標系)における座標が複数含まれる第1点群データ(駐車場点群124A)が格納される記憶部124と、車両1の周囲の物体の画像又は物体までの距離を示す周囲情報を検出するカメラ102から周囲情報を取得するセンサ入力部(インタフェース125)と、車両1の移動量及び移動方向を示す移動情報を取得する移動情報取得部(インタフェース125)と、周囲情報、および移動情報に基づき、第2座標系(局所座標系)における車両の位置および物体の一部を表す点の第2座標系(局所座標系)における座標が複数含まれる第2点群データを示す局所周辺情報122Bを生成する局所周辺情報作成部121Bと、駐車場点群124Aおよび局所周辺情報122Bに基づき駐車場座標系と局所座標系の対応関係を推定し、第2座標系における車両1の位置および対応関係から第1座標系における車両1の位置を推定する位置推定部121Cとを備える。
車載処理装置120は、駐車場点群124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定し、駐車場座標系における車両1の位置を推定する。駐車場点群124Aはあらかじめ記憶部124に記憶された情報であり、局所周辺情報122Bはカメラ102、車速センサ108、および舵角センサ109の出力から生成される。すなわち車載処理装置120は、記録された点群の座標系とは異なる座標系の点群の情報を取得し、異なる座標系間の対応関係に基づいて、記録された座標系における車両1の位置を推定することができる。また車載処理装置120は、駐車場点群124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定するので、局所周辺情報122Bの点群データの一部にノイズが含まれていても影響を受けにくい。すなわち、車載処理装置120による車両1の位置推定は外乱に強い。
(2)位置推定部121Cは、局所周辺情報122Bが示す第2点群データのそれぞれの点に対応する点を第1点群データ(駐車場点群124A)の中から探索し(図6のステップS650)、対応する点同士の距離が最小になるように第1座標系と第2座標系との座標変換式を推定する(図6のステップS651)。
(3)位置推定部121Cは、局所周辺情報が示す第2点群データから、対応する点同士の距離があらかじめ定められた閾値よりも大きい局所周辺情報の点データを除外して、すなわちアウトライアリスト122Aを適用して(図6のステップS641、S653)探索および推定を行う。そのため、ノイズ成分とみなすことのできる距離が離れた点群データを計算対象から除外するので、座標変換式の精度が向上することができる。
(4)第1点群データ(駐車場点群124A)、および局所周辺情報が示す第2点群データは二次元空間上の座標として表される。位置推定部121Cは、対応する点同士の距離があらかじめ定められた閾値よりも大きく、かつ局所周辺情報122Bが示す第2点群データのうち空間的に端部に位置する点の点データを除外して探索および推定を行う。
駐車場点群124Aの駐車場データに格納される点群は、ユーザが記録開始ボタン110Aを押した地点よりも駐車位置の近くのランドマークに関するものである。その地点よりも駐車領域から遠い地点で図4に示すフローチャートの動作が開始されると、駐車場データに格納されるいずれの点とも対応しない点が局所周辺情報122Bに含まれる。そのような点を含めてICP、すなわち図6のステップS650〜S652の処理を行うと適切な解が得られない。そこでこれらを排除することで適切な解が得られるようにする。
(5)局所周辺情報作成部121Bは、移動情報に基づき車両1の軌跡を算出する。局所周辺情報選定部121Dは、軌跡の長さと軌跡の形状に基づき局所周辺情報122Bから第2点群データを選定する。位置推定部121Cは、選定された第2点群データ(局所周辺情報122B)と第1点群データ(駐車場点群124A)をマッチングする。これにより、例えば、マッチングに必要なランドマークの特徴点を確保しつつ、デッドレコニング等による車両の位置を推定する精度の低下を抑制できる。
(6)第1点群データ(駐車場点群124A)には周期的な特徴が含まれる。位置推定部121Cは、第1座標系と第2座標系との座標変換式を推定した後に、対応する点同士の距離が短くなるように、周期的な特徴の1周期分の距離に基づき第1座標系と第2座標系との座標変換式を補正する(図6のステップS646〜S648)。
一般に、点群データに周期的な特徴が含まれると、その周期に相当する距離の整数倍ずれてマッチングしやすい傾向にある。一度そのようにずれてマッチングしてしまうと、繰り返し処理の性質から正しい位置へマッチングさせることが困難である。そこで繰り返し処理の解が収束した後にその周期の整数倍ずらすことでこの問題を解決する。換言すると、繰り返し計算により大域解から周期的な特徴の数周期分ずれた局所解に陥った可能性を考慮し、前述の周期の数周期分ずらすことにより大域解、または大域解により近い局所解を得ることができる。
(7)従前に推定した第1座標系における車両の位置、センサ入力部が取得する最新の周囲情報、および移動情報取得部が取得する最新の移動情報に基づき作成される局所周辺情報を座標変換式によって変換した第1座標系における局所周辺情報と、第1座標系における第1点群データ(駐車場点群124A)との一致度を示す指標である瞬間一致度ICが、あらかじめ定められた閾値よりも小さい場合に、位置推定部121Cは補正を行う(図6のステップS641A〜ステップS643)。そのため、図6のステップS644〜S648の処理を常時実行するのではなく、その処理の必要性を検討して必要と判断される場合のみ実行する。
(8)車載処理装置120は、周囲情報、および移動情報に基づき、移動体を除いた物体の一部を表す点の第3座標系(記録座標系)における座標が複数含まれる第3点群データ(駐車場点群122C)を作成して、駐車場点群124Aとして記憶部124に格納する点群データ取得部121Aを備える。そのため車載処理装置120は、車載処理装置120を搭載する車両1が走行する際に駐車場点群124Aを作成することができる。駐車場点群124Aの作成処理と車両1の位置推定処理とはランドマーク測位の点で共通しており、プログラムモジュールを共通して使用することができる。
(9)第3座標系(記録座標系)は第3点群データ(駐車場点群122C)の作成を開始した際の車両の位置および姿勢に基づいて設定される。点群データ取得部121Aは、第3点群データの作成を開始した際の車両の位置または姿勢が異なることにより座標系が異なる複数の第3点群データが得られると、車両1の駐車位置を基準として異なる座標系の対応関係を推定して複数の第3点群データを統合する(図3のステップS507、S509)。そのため、点群データを取得するたびに異なる記録座標系が設定されても、複数の点群データを統合することができる。これは点群データの取得を開始する位置やその際の車両1の姿勢は様々であるが、同じ駐車位置に車両1が駐車される点に注目している。
(10)車載処理装置120は、第1点群データ(駐車場点群124A)及び位置推定部121Cによって推定される車両の位置に基づき車両を駆動し、第1座標系におけるあらかじめ指定された駐車位置に車両を移動させる自動駐車部121Eと、車両1の位置を示す位置情報(緯度および経度)を受信するGPS受信機107(受信機)から車両1の緯度および経度を取得する位置情報取得部(インタフェース125)とを備える。駐車場点群124Aを構成する点は駐車場の構成物(物体)の一部を表す点である。つまり、物体は、駐車場の構成物である。記憶部124には駐車場の位置情報(緯度および経度)もあわせて格納される。GPS受信機107が測定(取得)する位置情報が示す車両の位置と記憶部124に格納される駐車場の位置情報が示す駐車場の位置との距離の差があらかじめ定めた距離よりも短い場合に、自動駐車部121Eは、車両制御装置130を用いて車両1を駐車位置に移動させる。そのため車載処理装置120は、車両1に搭載されるいずれのセンサも駐車位置を直接観測できない遠方をスタート地点として、駐車場点群124Aに含まれる駐車位置へ車両1を自動駐車することができる。
上述した第1の実施の形態は、以下のように変形してもよい。
(1)車載処理装置120は、複数のカメラと接続されてもよい。車載処理装置120は、複数のカメラの撮影画像を用いることで、車両1の周辺に存在する広範囲のランドマークから点群を抽出することができる。
(2)車載処理装置120は、車速センサ108および舵角センサ109からセンシング結果を受信しなくてもよい。この場合、車載処理装置120は、カメラ102の撮影画像を用いて車両1の移動を推定する。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102との位置関係を算出する。そして複数の撮影画像においてその被写体を追跡することにより、車両1の移動量および移動方向を推定する。
(3)駐車場点群124Aや局所周辺情報122Bなどの点群情報は3次元情報として格納されてもよい。3次元の点群情報は、2次元平面上に投影することにより第1の実施の形態と同様に2次元で他の点群と比較してもよいし、3次元同士で比較してもよい。この場合、車載処理装置120は、以下のようにランドマークの三次元点群を得ることができる。すなわち、車速センサ108および舵角センサ109の出力に基づき算出した車両1の移動量と、カメラ102が出力する複数の撮影画像とを用いて、公知のモーションステレオ技術や、そのモーション推定部分を内界センサや測位センサで補正した情報を用いることで、静止立体物の3次元点群を得ることができる。
(4)車載処理装置120は、図6のステップS643において、1回だけの否定判定(NO)によりステップS644に進むのではなく、数回連続で否定判定された場合にステップS644に進んでもよい。
(5)車載処理装置120は、図6のステップS643の判断に代えて、局所周辺情報122Bにおけるアウトライアと判断されている点の割合があらかじめ定めた閾値よりも大きいか否かを判断してもよい。その割合が閾値よりも大きい場合はステップS644に進み、その割合が閾値以下の場合はステップS650に進む。さらに車載処理装置120は、図6のステップS643の判断に加えて前述の割合が大きい場合のみステップS644に進んでもよい。
(6)車載処理装置120は、図6のステップS644、S646の処理をあらかじめ行ってもよい。さらにその処理結果を記憶部124に記録してもよい。
(7)車載処理装置120は、ユーザからの動作指令を車両1の内部に設けられた入力装置110からだけでなく、通信装置114から受信してもよい。たとえばユーザの所持する携帯端末と通信装置114が通信を行い、ユーザが携帯端末を操作することにより、車載処理装置120は自動駐車ボタン110Cが押された場合と同様の動作を行ってもよい。この場合は、車載処理装置120はユーザが車両1の内部に居る場合だけでなく、ユーザが降車した後にも自動駐車を行うことができる。
(8)車載処理装置120は、駐車場点群124Aに記録された駐車位置だけでなく、ユーザにより指定された位置に駐車を行ってもよい。ユーザによる駐車位置の指定は、たとえば車載処理装置120が表示装置111に駐車位置の候補を表示し、ユーザが入力装置110によりそのいずれかを選択することにより行われる。
(9)車載処理装置120は、通信装置114を経由して外部から駐車場点群124Aを受信してもよいし、作成した駐車場点群124Aを通信装置114を経由して外部に送信してもよい。また、車載処理装置120が駐車場点群124Aを送受信する相手は他の車両に搭載された別の車載処理装置120でもよいし、駐車場を管理する組織が管理する装置でもよい。
(10)自動駐車システム100は、GPS受信機107に代えて携帯端末を備え、携帯端末が通信を行う基地局の識別情報を緯度および経度の代わりに記録してもよい。基地局の通信範囲は数百m程度に限られるので、通信を行う基地局が同一であれば同一の駐車場の可能性が高いからである。
(11)駐車場データに含まれる周期的な特徴は駐車枠に限定されない。たとえば路面ペイントの1つである横断歩道を構成する複数の直線なども周期的な特徴である。また、駐車場データがレーザレーダなどで取得した、壁などの障害物の情報から構成される場合は、規則的に並んだ柱も周期的な特徴である。
(12)上述した実施の形態では移動体である車両や人間はランドマークに含めなかったが、移動体をランドマークに含めてもよい。その場合は移動体であるランドマークと移動体以外のランドマークを識別可能に記憶してもよい。
(13)車載処理装置120は、記録フェーズにおいて、検出したランドマークを識別し、それぞれのランドマークの識別結果を駐車場点群124Aに併せて記録してもよい。ランドマークの識別には、撮影画像から得られるランドマークの形状情報や色情報、さらに公知のモーションステレオ技術によるランドマークの立体形状情報が用いられる。ランドマークはたとえば、駐車枠、駐車枠以外の路面ペイント、縁石、ガードレール、壁、などのように識別される。さらに車載処理装置120は、移動体である車両や人間をランドマークに含め、他のランドマークと同様に識別結果を駐車場点群124Aに併せて記録してもよい。この場合は車両と人間をあわせて「移動体」として識別および記録してもよいし、車両と人間を個別に識別および記録してもよい。
以上説明したように、本実施の形態によれば、車両の位置を推定する精度を向上することができる。
(第2の実施の形態)
図14〜図16を参照して、本発明の第2の実施の形態にかかる車載処理装置を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、カメラに代えてレーザレーダを備え、静止立体物の点群データを取得する点で、第1の実施の形態と異なる。
(構成)
図14は、第2の実施の形態における自動駐車システム100Aの構成図である。自動駐車システム100Aは、第1の実施の形態における自動駐車システム100の構成からカメラ102を除外し、レーザレーダ106を加えた構成を有する。車載処理装置120の構成は第1の実施の形態と同様である。自動駐車システム100Aは、車両1Aに備えられる。本実施の形態では、静止立体物の形状をランドマークとして用いる。
レーザレーダ106は、レーザを発射してその反射波を観測するまでの時間に基づき対象物までの距離を測定し、車載処理装置120に測定した距離を出力する。さらにそのレーザの出射方向を上下方向、左右方向に変化させることにより、ランドマークの三次元情報を取得できる。さらに物質による反射率の違いなどに基づき、車載処理装置120は路面のペイントを検出できる。
車載処理装置120は、レーザレーダ106から得られた信号を用いて、2次元、または3次元形状のテンプレートマッチングにより人および車両を認識し、ランドマーク測位において人および車両を除外することができる。また、物体までの距離の変化速度と車両1の移動速度が一致しない場合は移動物体であると判断して、ランドマーク測位においてその移動物体に関するデータを除外してもよい。車載処理装置120の動作は第1の実施の形態と同様である。
(動作例)
図15は、第2の実施の形態における駐車場の一例を示す図である。駐車場920は、静止立体物である建物921と、建物922と、ガードレール923と、ガードレール924とに囲まれた領域である。駐車場920における車両1の駐車領域は符号930で示す領域である。
車載処理装置120の記憶部124には、車両1Aが予め記録フェーズで走行してレーザレーダ106により得られた駐車場920の駐車場データが駐車場点群124Aとして格納されている。車両1Aは駐車場920を記録フェーズで複数回走行しており、前述のマージ処理(図3のステップS509)により密な点群データが得られている。
このような前提において、車両1Aが駐車場920に図15の上方から進行し、図15に破線で示す位置(駐車領域930)まで到達すると車載処理装置120は図16(a)に示す点群データが局所周辺情報122Bとして得られる。そして、車載処理装置120はマッチング処理により局所周辺情報122Bと駐車場点群124Aとの対応関係、すなわち局所座標系と駐車場座標系の座標変換式が算出され、駐車場座標系における車両1Aの位置が推定される。図16(b)は、算出された座標変換式を用いて図16(a)に示す局所周辺情報122Bを駐車場点群124Aの点群に重ね合わせた図である。
上述した第2の実施の形態によれば、第1の実施の形態における作用効果に加えて次の作用効果が得られる。すなわち、レーザレーダ106はカメラよりも短い周期で情報を取得できるので車載処理装置120は位置推定をより頻繁に行うことができる。
(第2の実施の形態の変形例)
上述した第2の実施の形態では車両1Aはレーザレーダ106を備えたが、レーザレーダ106に代えて超音波レーダを備えてもよい。超音波レーダはレーザレーダ106と同様に障害物までの距離を測定することができる。また車両1Aは、レーザレーダ106に加えて超音波レーダを備えてもよい。
(第3の実施の形態)
図17〜図18を参照して、本発明の第3の実施の形態にかかる車載処理装置を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、俯瞰画像を用いて位置を推定する点で、第1の実施の形態と異なる。
(構成)
図17は、第3の実施の形態における自動駐車システム100Bの構成図である。自動駐車システム100Bは車両1Bに搭載される。自動駐車システム100Bは、第1の実施の形態における自動駐車システム100の構成に3つのカメラが追加されている。すなわち自動駐車システム100Bは、車両1Bの前方に取り付けられ車両1Bの前方を撮影する前カメラ101aと、車両1Bの左側方に取り付けられ車両1Bの左側方を撮影する左カメラ101bと、車両1Bの右側方に取り付けられ車両1Bの右側方を撮影する右カメラ101cと、車両1Bの後方に取り付けられ車両1Bの後方を撮影する後カメラ101dとを備える。以下では、前カメラ101a、左カメラ101b、右カメラ101c、および後カメラ101dをまとめて、カメラ101と呼ぶ。
車載処理装置120の構成は第1の実施の形態と同様である。本実施の形態ではROM123に格納されるプログラムにより実行される処理が一部異なる。記憶部124には、後述する連続俯瞰画像が駐車場点群124A、および局所周辺情報122Bとして格納される。ROM123には、カメラ101の内部パラメータおよび外部パラメータが格納される。
(ランドマーク測位)
第3の実施の形態におけるランドマーク測位処理は、以下に説明する連続俯瞰画像の作成である。
車載処理装置120は、カメラ101の撮影画像に視点変換処理を行うことで、車両1Bを真上から見た俯瞰画像を作成する。この視点変換処理には、内部パラメータと外部パラメータとが用いられる。車載処理装置120は、第1の地点で撮影された撮影画像を用いて第1の俯瞰画像を作成し、第2の地点で撮影された撮影画像を用いて第2の俯瞰画像を作成する。そして車載処理装置120は、車速センサ108および舵角センサ109の出力から算出される第1の地点と第2の地点の位置関係に基づき、第1の俯瞰画像と第2の俯瞰画像を合成する。この処理を車両1Bの移動とともに連続して行うことにより、多数の俯瞰画像が合成された連続俯瞰画像が作成される。
第1の俯瞰画像と第2の俯瞰画像の合成は、撮影時刻が新しい撮影画像から撮影された俯瞰画像が常に優先されるように合成してもよいし、車両1Bを基準とした特定の方向、たとえば真横や前方45度に相当する方向の俯瞰画像だけを切り出して合成してもよい。
(動作例)
図18(a)は、車両1Bの走行路、および車載処理装置120が作成した連続俯瞰画像を示す図である。図18において車両1Bは、地点Aから地点Bまで図示一点鎖線の経路を走行して連続俯瞰画像を作成した。この連続俯瞰画像が駐車場点群124Aとして記憶部124に格納されている場合に、車載処理装置120が自動駐車フェーズの動作を行うと、以下のように地図座標系(駐車場座標系)の位置が推定される。
車載処理装置120は、カメラ101、車速センサ108および舵角センサ109の出力に基づき連続俯瞰画像を作成し、局所周辺情報122BとしてRAM122に保存する。車載処理装置120は、車両1Bがある地点まで走行した際に図18(b)に示す連続俯瞰画像、すなわち局所周辺情報122Bを得る。車載処理装置120は、マッチング処理により局所周辺情報122Bと駐車場点群124Aとの対応関係、すなわち局所座標系と駐車場座標系の座標変換式を算出する。これにより、図18(c)に示すように駐車場座標系における車両1Aの位置が推定される。
上述した第3の実施の形態によれば、第1の実施の形態における作用効果に加えて次の作用効果が得られる。すなわち、駐車場点群124Aおよび局所周辺情報122Bはカメラ101の撮影画像から構成されるので、ユーザによる位置の確認が容易である。
(第3の実施の形態の変形例1)
第3の実施の形態では、撮影画像に視点変換処理を行い、俯瞰画像を作成したが、撮影画像から特徴点を抽出し、抽出された特徴点だけを対象に視点変換処理を行い、俯瞰画像を作成してもよい。この場合は、連続俯瞰画像は特徴点のみで構成されることとなる。
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ(演算部121)がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
1、1A、1B … 車両
100、100A、100B … 自動駐車システム
102 … カメラ
107 … GPS受信機
108 … 車速センサ
109 … 舵角センサ
120 … 車載処理装置
121 … 演算部
121A … 点群データ取得部
121B … 局所周辺情報作成部
121C … 位置推定部
122A … アウトライアリスト
122B … 局所周辺情報
124 … 記憶部
124A … 駐車場点群
125 … インタフェース
130 … 車両制御装置
IB … 点群一致率
IC … 瞬間一致度
IW … 全体一致度

Claims (8)

  1. 第1座標系における物体の一部の点の座標が複数含まれる第1点群データが格納される記憶部と、
    車両の周囲の前記物体の画像又は前記物体までの距離を示す周囲情報を検出するセンサから前記周囲情報を取得するセンサ入力部と、
    前記車両の移動量及び移動方向を示す移動情報を取得する移動情報取得部と、
    前記周囲情報、および前記移動情報に基づき、第2座標系における前記車両の位置および前記第2座標系における前記物体の一部の点の座標が複数含まれる第2点群データを示す局所周辺情報を生成する局所周辺情報作成部と、
    前記第1点群データと前記局所周辺情報とに基づき前記第1座標系と前記第2座標系の対応関係を推定し、第2座標系における前記車両の位置および前記対応関係から前記第1座標系における前記車両の位置を推定する位置推定部と、
    局所周辺情報選定部と
    を備え、
    前記局所周辺情報作成部は、
    前記移動情報に基づき前記車両の軌跡を算出し、
    前記局所周辺情報選定部は、
    算出された前記軌跡の長さおよび形状に基づき、前記局所周辺情報が示す前記第2点群データを選定し、
    前記位置推定部は、
    前記局所周辺情報が示す第2点群データのうち、選定された第2点群データそれぞれの点に対応する点を前記第1点群データの中から探索し、前記対応する点同士の距離があらかじめ定められた閾値よりも大きい前記局所周辺情報の点データを除外して、前記対応する点同士の距離が最小になるように前記第1座標系と前記第2座標系との前記対応関係を示す座標変換式を推定する
    車載処理装置。
  2. 請求項1に記載の車載処理装置において、
    前記第1点群データ、および前記局所周辺情報が示す第2点群データは二次元空間上の座標、または三次元空間上の座標として表され、
    前記位置推定部は、
    前記対応する点同士の距離があらかじめ定められた閾値よりも大きく、かつ前記局所周辺情報が示す第2点群データのうち空間的に端部に位置する点の点データを除外して前記探索および前記推定を行う
    車載処理装置。
  3. 請求項1に記載の車載処理装置において、
    前記第1点群データには周期的な特徴が含まれ、
    前記位置推定部は、
    前記第1座標系と前記第2座標系との座標変換式を推定した後に、前記対応する点同士の距離が短くなるように、前記周期的な特徴の1周期分の距離に基づき前記第1座標系と前記第2座標系との座標変換式を補正する
    車載処理装置。
  4. 請求項3に記載の車載処理装置において、
    前記位置推定部は、
    従前に推定した前記第1座標系における前記車両の位置、前記センサ入力部が取得する最新の前記周囲情報、および前記移動情報取得部が取得する最新の前記移動情報に基づき作成される前記局所周辺情報を前記座標変換式によって変換した前記第1座標系における前記局所周辺情報と、前記第1座標系における前記第1点群データとの一致度を示す指標である瞬間一致度が、あらかじめ定められた閾値よりも小さい場合に、前記補正を行う
    車載処理装置。
  5. 請求項1に記載の車載処理装置において、
    前記周囲情報、および前記移動情報に基づき、移動体を除いた前記物体の一部の点の第3座標系における座標が複数含まれる第3点群データを作成して前記記憶部に格納する点群データ取得部を
    さらに備える車載処理装置。
  6. 請求項5に記載の車載処理装置において、
    前記第3座標系は前記第3点群データの作成を開始した際の前記車両の位置および姿勢に基づいて設定され、
    前記点群データ取得部は、
    前記第3点群データの作成を開始した際の前記車両の位置または姿勢が異なることにより座標系が異なる複数の前記第3点群データが得られると、前記車両の駐車位置を基準として前記異なる複数の第3座標系の前記対応関係を推定して前記複数の前記第3点群データを統合する
    車載処理装置。
  7. 請求項1に記載の車載処理装置において、
    前記第1点群データ及び前記位置推定部によって推定される前記車両の位置に基づき前記車両を駆動し、前記第1座標系におけるあらかじめ指定された駐車位置に前記車両を移動させる自動駐車部と、
    前記車両の位置を示す位置情報を受信する受信機から前記位置情報を取得する位置情報取得部と、をさらに備え、
    前記物体は、駐車場の構成物であり、
    前記記憶部には前記駐車場の位置情報もあわせて格納され、
    前記自動駐車部は、
    前記位置情報取得部が取得する前記位置情報が示す前記車両の位置と前記記憶部に格納される前記駐車場の位置情報が示す前記駐車場の位置との距離の差があらかじめ定めた距離よりも短い場合に、前記車両を前記駐車位置に移動させる
    車載処理装置。
  8. 請求項1に記載の車載処理装置において、
    前記第1座標系は
    前記第1点群データの記録開始時の前記車両の位置および姿勢に基づいて設定され、
    第2座標系は、
    前記局所周辺情報の記録開始時の前記車両の位置および姿勢に基づいて設定される
    車載処理装置。
JP2017004110A 2017-01-13 2017-01-13 車載処理装置 Active JP6757261B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017004110A JP6757261B2 (ja) 2017-01-13 2017-01-13 車載処理装置
EP17890879.4A EP3569982B1 (en) 2017-01-13 2017-10-26 Onboard processing device
PCT/JP2017/038645 WO2018131258A1 (ja) 2017-01-13 2017-10-26 車載処理装置
US16/338,718 US11143511B2 (en) 2017-01-13 2017-10-26 On-vehicle processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017004110A JP6757261B2 (ja) 2017-01-13 2017-01-13 車載処理装置

Publications (3)

Publication Number Publication Date
JP2018112506A JP2018112506A (ja) 2018-07-19
JP2018112506A5 JP2018112506A5 (ja) 2019-10-24
JP6757261B2 true JP6757261B2 (ja) 2020-09-16

Family

ID=62839906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017004110A Active JP6757261B2 (ja) 2017-01-13 2017-01-13 車載処理装置

Country Status (4)

Country Link
US (1) US11143511B2 (ja)
EP (1) EP3569982B1 (ja)
JP (1) JP6757261B2 (ja)
WO (1) WO2018131258A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7132037B2 (ja) * 2018-08-29 2022-09-06 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置
JP7191671B2 (ja) * 2018-12-19 2022-12-19 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
JP7218172B2 (ja) * 2018-12-25 2023-02-06 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置、及び車載処理装置の制御方法
JP7283223B2 (ja) * 2019-05-17 2023-05-30 株式会社アイシン 車両位置特定システム、車両位置特定方法及び車両位置特定プログラム
JP7412234B2 (ja) 2020-03-13 2024-01-12 フォルシアクラリオン・エレクトロニクス株式会社 駐車情報管理サーバ、駐車支援装置及び駐車支援システム
CN112509375B (zh) * 2020-10-20 2022-03-08 东风汽车集团有限公司 一种泊车动态显示方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004027983A1 (de) * 2003-09-23 2005-04-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Erkennung von Spurwechselvorgängen für ein Fahrzeug
WO2005037592A1 (de) * 2003-09-23 2005-04-28 Daimlerchrysler Ag Verfahren und vorrichtung zur erkennung von spurwechselvorgängen für ein fahrzeug
JP4277717B2 (ja) * 2004-03-17 2009-06-10 株式会社日立製作所 車両位置推定装置およびこれを用いた運転支援装置
JP2006072431A (ja) * 2004-08-31 2006-03-16 Matsushita Electric Ind Co Ltd 自動駐車システム
JP5157067B2 (ja) 2006-01-06 2013-03-06 トヨタ自動車株式会社 自動走行用マップ作成装置、及び自動走行装置。
CA2712673A1 (en) * 2008-02-04 2009-08-13 Tele Atlas North America Inc. Method for map matching with sensor detected objects
JP5065210B2 (ja) * 2008-09-17 2012-10-31 トヨタ自動車株式会社 車線認識装置

Also Published As

Publication number Publication date
EP3569982A1 (en) 2019-11-20
JP2018112506A (ja) 2018-07-19
EP3569982B1 (en) 2022-07-20
EP3569982A4 (en) 2021-03-03
US11143511B2 (en) 2021-10-12
WO2018131258A1 (ja) 2018-07-19
US20200292320A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP6649191B2 (ja) 車載処理装置
JP6757261B2 (ja) 車載処理装置
JP7137359B2 (ja) 情報処理装置
JP6843712B2 (ja) 車載処理装置
EP3712039A1 (en) In-vehicle processing device and movement support system
JP7132037B2 (ja) 車載処理装置
EP3939863A1 (en) Overhead-view image generation device, overhead-view image generation system, and automatic parking device
EP2175237B1 (en) System and methods for image-based navigation using line features matching
JP2009294214A (ja) 地形構造を用いたナビゲーション方法及びシステム
JP7227763B2 (ja) 車載処理装置、位置推定方法、出庫システム
JP2023039626A (ja) 車載処理装置、車両制御装置、及び自己位置推定方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200828

R150 Certificate of patent or registration of utility model

Ref document number: 6757261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150