JP6757261B2 - 車載処理装置 - Google Patents
車載処理装置 Download PDFInfo
- Publication number
- JP6757261B2 JP6757261B2 JP2017004110A JP2017004110A JP6757261B2 JP 6757261 B2 JP6757261 B2 JP 6757261B2 JP 2017004110 A JP2017004110 A JP 2017004110A JP 2017004110 A JP2017004110 A JP 2017004110A JP 6757261 B2 JP6757261 B2 JP 6757261B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- point cloud
- processing device
- coordinate system
- parking lot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 179
- 230000002093 peripheral effect Effects 0.000 claims description 97
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000000737 periodic effect Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 79
- 230000008569 process Effects 0.000 description 71
- 240000004050 Pentaglottis sempervirens Species 0.000 description 22
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 239000003973 paint Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 102220479869 Protein FAM180A_S62A_mutation Human genes 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000004092 self-diagnosis Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
- G01C21/3685—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
以下、図1〜図13を参照して、本発明の第1の実施の形態にかかる車載処理装置を説明する。
ランドマークとはセンサにより識別可能な特徴を有する物体であり、たとえば路面ペイントの1種である駐車枠線や、車両の走行の妨げとなる障害物である建物の壁などである。本実施の形態では、移動体である車両や人間はランドマークに含めない。車載処理装置120は、カメラ102から入力される情報に基づき、車両1の周辺に存在するランドマーク、すなわちセンサにより識別可能な特徴を有する点を検出する。以下では、外界センサ、すなわちカメラ102から入力される情報に基づくランドマークの検出を「ランドマーク測位」と呼ぶ。
車載処理装置120は、カメラ102の撮影画像を対象に、以下のように画像認識プログラムを実行することで駐車枠などの路面ペイントなどを検出する。駐車枠の検出では、車載処理装置120は、まず入力画像からソーベルフィルタなどでエッジを抽出する。次に、車載処理装置120は、たとえば白から黒への変化であるエッジの立ち上がりと、黒から白への変化であるエッジの立ち下がりのペアを抽出する。そしてこのペアの間隔が、あらかじめ定めた第1の所定の距離、すなわち駐車枠を構成する白線の太さと略一致すると、車載処理装置120は、このペアを駐車枠の候補とする。同様の処理により駐車枠の候補を複数検出し、駐車枠の候補同士の間隔があらかじめ定めた第2の所定の距離、すなわち駐車枠の白線の間隔と略一致すると、それらを駐車枠として検出する。駐車枠以外の路面ペイントは以下の処理(画像認識プログラム)を実行する車載処理装置120で検出される。まず入力画像からソーベルフィルタなどでエッジを抽出する。エッジ強度があらかじめ定めた一定の値よりも大きく、エッジ同士の間隔が白線の幅に相当するあらかじめ定めた距離である画素を探索することにより検出できる。
車載処理装置120はたとえば既知のテンプレートマッチングにより車両や人間などの移動体を検出し、測定結果から除外する。また、以下のようにして検出した移動体を測定結果から除外してもよい。すなわち車載処理装置120は、内部パラメータおよび外部パラメータを用いて撮影画像における被写体とカメラ102との位置関係を算出する。次に車載処理装置120は、カメラ102が連続して取得した撮影画像において被写体を追跡することで車両1と被写体の相対的な速度を算出する。最後に車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて車両1の速度を算出し、被写体との相対的な速度と一致しなければ被写体が移動体であると判断し、この移動体に関する情報を測定結果から除外する。
図2は、記憶部124に格納される駐車場点群124Aの一例を示す図である。図2では、駐車場点群124Aとして2つの駐車場データが格納されている例を示している。1つの駐車場データは、その駐車場の位置(例えば、緯度および経度)と、後述する駐車領域の座標と、ランドマークを構成する点の二次元平面上の座標とから構成される。駐車場の位置とは、たとえば駐車場の入り口付近、駐車場の中央付近、または駐車位置の緯度および経度である。駐車領域の座標、およびランドマークを構成する点の座標は、その駐車場データに固有の座標系における座標である。以下では駐車場データにおける座標系を「駐車場座標系」と呼ぶ。駐車場座標系は、たとえば記録開始時の車両1の座標が原点とされ、記録開始時の車両1の進行方向がY軸、記録開始時の車両1の右方向がX軸とされる。換言すれば、駐車場座標系(第1座標系)は駐車場点群124A(第1点群データ)の記録開始時の車両1の位置および姿勢に基づいて設定される。駐車領域の座標は、たとえば駐車領域を矩形とした場合にその矩形領域の4つの頂点の座標として記録される。ただし、駐車領域は矩形に限定されず矩形以外の多角形や楕円形状でもよい。
アウトライアリスト122Aには、車載処理装置120が処理対象外とする局所周辺情報122Bの点の情報が格納される。アウトライアリスト122Aは、後述するように車載処理装置120により適宜更新される。
局所周辺情報122Bには、車載処理装置120が後述する自動駐車フェーズにおいて検出したランドマークを構成する点の座標が格納される。この座標は局所周辺情報122Bの記録を開始した際の車両1の位置および姿勢を基準に、たとえばその位置を原点とし、車両1の進行方向をY軸とし、進行方向右をX軸とする座標系である。この座標系を以下では「局所座標系」と呼ぶ。換言すれば、局所座標系(第2座標系)は、局所周辺情報122Bの記録開始時の車両1の位置および姿勢に基づいて設定される。
車載処理装置120は、主に2つの動作フェーズ、すなわち記録フェーズと自動駐車フェーズを有する。車載処理装置120はユーザからの特別の指示(自動駐車ボタン110Cの押下)により自動駐車フェーズで動作する。一方、記録フェーズはユーザの指示(記録開始ボタン110Aの押下)で開始される。
ユーザは駐車場の入り口付近で記録開始ボタン110Aを押し、車載処理装置120に記録フェーズの動作を開始させる。その後ユーザは自らの運転により車両1を駐車位置まで移動させ、停車後に記録完了ボタン110Bを押し、車載処理装置120に記録フェーズの動作を終了させる。
図3は、車載処理装置120の記録フェーズの動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。演算部121は、図3に示す処理を行う場合に点群データ取得部121Aとして機能する。
ただし式1において「Din」は、ステップS507において座標変換した点群データの各点と、ターゲット駐車場データの点群データの各点の距離が所定の距離以内の点の数である。また式1において「D1」はRAM122に保存された点群データにおける点の数、「D2」はターゲット駐車場データの点群データにおける点の数である。次にステップS508に進む。
ユーザが車両1を運転して駐車場点群124Aに記録されているいずれかの駐車場の付近まで移動させると、表示装置111に自動駐車可能な旨が表示される。この際にユーザが自動駐車ボタン110Cを押すと、車載処理装置120による自動駐車処理が開始される。
図4は、車載処理装置120の自動駐車フェーズの全体動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。
図5を参照して図4のステップS604において実行される自己位置推定処理の詳細を説明する。演算部121は、図5のステップS621〜S623に示す処理を行う場合に局所周辺情報作成部121Bとして機能する。
図5−1を参照して図5のステップS62Aにおいて実行される局所周辺情報の選定の詳細を説明する。演算部121は、図5−1に示す処理を行う場合に局所周辺情報選定部121Dとして機能する。
図6を参照して図5のステップS624において実行されるマッチング処理の詳細を説明する。演算部121は、図6に示す処理を行う場合に位置推定部121Cとして機能する。
ただし式2において「DIin」は、ステップS641Aにおいて駐車場座標系に変換された最新の撮影画像から検出された点群のうち、最も近い駐車場点群124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式2において「DIall」は、ステップS621において検出された点群の数である。次にステップS643に進む。
ただし式3において「DWin」は、前述の座標変換式を用いて局所周辺情報122Bを構成する点を駐車場座標系に変換した点のうち、最も近い駐車場点群124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式2において「DWall」は、ステップS621において検出された点の数である。次にステップS648に進む。
図7を参照して図4のステップS608において実行される自動駐車処理の詳細を説明する。以下に説明する各ステップの実行主体は車載処理装置120(演算部121)である。演算部121は、図7の処理を行う場合に自動駐車部121Eとして機能する。
図8〜図13を参照して、記録フェーズ、および自動駐車フェーズの具体的な動作を説明する。
ユーザが駐車場901の入り口付近で記録開始ボタン110Aを押すと、車載処理装置120はランドマーク測位を開始し、駐車枠線を構成する点の座標を記録する(図3のステップS501:YES、S502〜S504)。そして、記録完了ボタン110Bが押されるまで、図3のステップS502〜S504の処理を繰り返す。
別な例として、図9(a)に示す点群データが駐車場点群124Aの駐車場データとして記録されており、新たに図9(b)に示す点群データが得られた場合を説明する。図9(a)に示す点群データは、たとえば図8(a)に示した駐車場901の入り口から右寄りを走行して駐車位置まで到達した場合に得られた点群データである。図8(a)に比べて右寄りを走行したので、図9(a)に点線で示した駐車枠の点群データが取得されていない。
実行フェーズにおけるマッチング処理の動作例を説明する。この動作例では、あらかじめ駐車場点群124Aには図8(a)に示した駐車場901の全体に相当する点群データが格納されている。
図14〜図16を参照して、本発明の第2の実施の形態にかかる車載処理装置を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、カメラに代えてレーザレーダを備え、静止立体物の点群データを取得する点で、第1の実施の形態と異なる。
図14は、第2の実施の形態における自動駐車システム100Aの構成図である。自動駐車システム100Aは、第1の実施の形態における自動駐車システム100の構成からカメラ102を除外し、レーザレーダ106を加えた構成を有する。車載処理装置120の構成は第1の実施の形態と同様である。自動駐車システム100Aは、車両1Aに備えられる。本実施の形態では、静止立体物の形状をランドマークとして用いる。
図15は、第2の実施の形態における駐車場の一例を示す図である。駐車場920は、静止立体物である建物921と、建物922と、ガードレール923と、ガードレール924とに囲まれた領域である。駐車場920における車両1の駐車領域は符号930で示す領域である。
上述した第2の実施の形態では車両1Aはレーザレーダ106を備えたが、レーザレーダ106に代えて超音波レーダを備えてもよい。超音波レーダはレーザレーダ106と同様に障害物までの距離を測定することができる。また車両1Aは、レーザレーダ106に加えて超音波レーダを備えてもよい。
図17〜図18を参照して、本発明の第3の実施の形態にかかる車載処理装置を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、俯瞰画像を用いて位置を推定する点で、第1の実施の形態と異なる。
図17は、第3の実施の形態における自動駐車システム100Bの構成図である。自動駐車システム100Bは車両1Bに搭載される。自動駐車システム100Bは、第1の実施の形態における自動駐車システム100の構成に3つのカメラが追加されている。すなわち自動駐車システム100Bは、車両1Bの前方に取り付けられ車両1Bの前方を撮影する前カメラ101aと、車両1Bの左側方に取り付けられ車両1Bの左側方を撮影する左カメラ101bと、車両1Bの右側方に取り付けられ車両1Bの右側方を撮影する右カメラ101cと、車両1Bの後方に取り付けられ車両1Bの後方を撮影する後カメラ101dとを備える。以下では、前カメラ101a、左カメラ101b、右カメラ101c、および後カメラ101dをまとめて、カメラ101と呼ぶ。
第3の実施の形態におけるランドマーク測位処理は、以下に説明する連続俯瞰画像の作成である。
図18(a)は、車両1Bの走行路、および車載処理装置120が作成した連続俯瞰画像を示す図である。図18において車両1Bは、地点Aから地点Bまで図示一点鎖線の経路を走行して連続俯瞰画像を作成した。この連続俯瞰画像が駐車場点群124Aとして記憶部124に格納されている場合に、車載処理装置120が自動駐車フェーズの動作を行うと、以下のように地図座標系(駐車場座標系)の位置が推定される。
第3の実施の形態では、撮影画像に視点変換処理を行い、俯瞰画像を作成したが、撮影画像から特徴点を抽出し、抽出された特徴点だけを対象に視点変換処理を行い、俯瞰画像を作成してもよい。この場合は、連続俯瞰画像は特徴点のみで構成されることとなる。
100、100A、100B … 自動駐車システム
102 … カメラ
107 … GPS受信機
108 … 車速センサ
109 … 舵角センサ
120 … 車載処理装置
121 … 演算部
121A … 点群データ取得部
121B … 局所周辺情報作成部
121C … 位置推定部
122A … アウトライアリスト
122B … 局所周辺情報
124 … 記憶部
124A … 駐車場点群
125 … インタフェース
130 … 車両制御装置
IB … 点群一致率
IC … 瞬間一致度
IW … 全体一致度
Claims (8)
- 第1座標系における物体の一部の点の座標が複数含まれる第1点群データが格納される記憶部と、
車両の周囲の前記物体の画像又は前記物体までの距離を示す周囲情報を検出するセンサから前記周囲情報を取得するセンサ入力部と、
前記車両の移動量及び移動方向を示す移動情報を取得する移動情報取得部と、
前記周囲情報、および前記移動情報に基づき、第2座標系における前記車両の位置および前記第2座標系における前記物体の一部の点の座標が複数含まれる第2点群データを示す局所周辺情報を生成する局所周辺情報作成部と、
前記第1点群データと前記局所周辺情報とに基づき前記第1座標系と前記第2座標系の対応関係を推定し、第2座標系における前記車両の位置および前記対応関係から前記第1座標系における前記車両の位置を推定する位置推定部と、
局所周辺情報選定部と
を備え、
前記局所周辺情報作成部は、
前記移動情報に基づき前記車両の軌跡を算出し、
前記局所周辺情報選定部は、
算出された前記軌跡の長さおよび形状に基づき、前記局所周辺情報が示す前記第2点群データを選定し、
前記位置推定部は、
前記局所周辺情報が示す第2点群データのうち、選定された第2点群データそれぞれの点に対応する点を前記第1点群データの中から探索し、前記対応する点同士の距離があらかじめ定められた閾値よりも大きい前記局所周辺情報の点データを除外して、前記対応する点同士の距離が最小になるように前記第1座標系と前記第2座標系との前記対応関係を示す座標変換式を推定する
車載処理装置。 - 請求項1に記載の車載処理装置において、
前記第1点群データ、および前記局所周辺情報が示す第2点群データは二次元空間上の座標、または三次元空間上の座標として表され、
前記位置推定部は、
前記対応する点同士の距離があらかじめ定められた閾値よりも大きく、かつ前記局所周辺情報が示す第2点群データのうち空間的に端部に位置する点の点データを除外して前記探索および前記推定を行う
車載処理装置。 - 請求項1に記載の車載処理装置において、
前記第1点群データには周期的な特徴が含まれ、
前記位置推定部は、
前記第1座標系と前記第2座標系との座標変換式を推定した後に、前記対応する点同士の距離が短くなるように、前記周期的な特徴の1周期分の距離に基づき前記第1座標系と前記第2座標系との座標変換式を補正する
車載処理装置。 - 請求項3に記載の車載処理装置において、
前記位置推定部は、
従前に推定した前記第1座標系における前記車両の位置、前記センサ入力部が取得する最新の前記周囲情報、および前記移動情報取得部が取得する最新の前記移動情報に基づき作成される前記局所周辺情報を前記座標変換式によって変換した前記第1座標系における前記局所周辺情報と、前記第1座標系における前記第1点群データとの一致度を示す指標である瞬間一致度が、あらかじめ定められた閾値よりも小さい場合に、前記補正を行う
車載処理装置。 - 請求項1に記載の車載処理装置において、
前記周囲情報、および前記移動情報に基づき、移動体を除いた前記物体の一部の点の第3座標系における座標が複数含まれる第3点群データを作成して前記記憶部に格納する点群データ取得部を
さらに備える車載処理装置。 - 請求項5に記載の車載処理装置において、
前記第3座標系は前記第3点群データの作成を開始した際の前記車両の位置および姿勢に基づいて設定され、
前記点群データ取得部は、
前記第3点群データの作成を開始した際の前記車両の位置または姿勢が異なることにより座標系が異なる複数の前記第3点群データが得られると、前記車両の駐車位置を基準として前記異なる複数の第3座標系の前記対応関係を推定して前記複数の前記第3点群データを統合する
車載処理装置。 - 請求項1に記載の車載処理装置において、
前記第1点群データ及び前記位置推定部によって推定される前記車両の位置に基づき前記車両を駆動し、前記第1座標系におけるあらかじめ指定された駐車位置に前記車両を移動させる自動駐車部と、
前記車両の位置を示す位置情報を受信する受信機から前記位置情報を取得する位置情報取得部と、をさらに備え、
前記物体は、駐車場の構成物であり、
前記記憶部には前記駐車場の位置情報もあわせて格納され、
前記自動駐車部は、
前記位置情報取得部が取得する前記位置情報が示す前記車両の位置と前記記憶部に格納される前記駐車場の位置情報が示す前記駐車場の位置との距離の差があらかじめ定めた距離よりも短い場合に、前記車両を前記駐車位置に移動させる
車載処理装置。 - 請求項1に記載の車載処理装置において、
前記第1座標系は
前記第1点群データの記録開始時の前記車両の位置および姿勢に基づいて設定され、
第2座標系は、
前記局所周辺情報の記録開始時の前記車両の位置および姿勢に基づいて設定される
車載処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004110A JP6757261B2 (ja) | 2017-01-13 | 2017-01-13 | 車載処理装置 |
EP17890879.4A EP3569982B1 (en) | 2017-01-13 | 2017-10-26 | Onboard processing device |
PCT/JP2017/038645 WO2018131258A1 (ja) | 2017-01-13 | 2017-10-26 | 車載処理装置 |
US16/338,718 US11143511B2 (en) | 2017-01-13 | 2017-10-26 | On-vehicle processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004110A JP6757261B2 (ja) | 2017-01-13 | 2017-01-13 | 車載処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018112506A JP2018112506A (ja) | 2018-07-19 |
JP2018112506A5 JP2018112506A5 (ja) | 2019-10-24 |
JP6757261B2 true JP6757261B2 (ja) | 2020-09-16 |
Family
ID=62839906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017004110A Active JP6757261B2 (ja) | 2017-01-13 | 2017-01-13 | 車載処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11143511B2 (ja) |
EP (1) | EP3569982B1 (ja) |
JP (1) | JP6757261B2 (ja) |
WO (1) | WO2018131258A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7132037B2 (ja) * | 2018-08-29 | 2022-09-06 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載処理装置 |
JP7191671B2 (ja) * | 2018-12-19 | 2022-12-19 | フォルシアクラリオン・エレクトロニクス株式会社 | キャリブレーション装置、キャリブレーション方法 |
JP7218172B2 (ja) * | 2018-12-25 | 2023-02-06 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載処理装置、及び車載処理装置の制御方法 |
JP7283223B2 (ja) * | 2019-05-17 | 2023-05-30 | 株式会社アイシン | 車両位置特定システム、車両位置特定方法及び車両位置特定プログラム |
JP7412234B2 (ja) | 2020-03-13 | 2024-01-12 | フォルシアクラリオン・エレクトロニクス株式会社 | 駐車情報管理サーバ、駐車支援装置及び駐車支援システム |
CN112509375B (zh) * | 2020-10-20 | 2022-03-08 | 东风汽车集团有限公司 | 一种泊车动态显示方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004027983A1 (de) * | 2003-09-23 | 2005-04-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Erkennung von Spurwechselvorgängen für ein Fahrzeug |
WO2005037592A1 (de) * | 2003-09-23 | 2005-04-28 | Daimlerchrysler Ag | Verfahren und vorrichtung zur erkennung von spurwechselvorgängen für ein fahrzeug |
JP4277717B2 (ja) * | 2004-03-17 | 2009-06-10 | 株式会社日立製作所 | 車両位置推定装置およびこれを用いた運転支援装置 |
JP2006072431A (ja) * | 2004-08-31 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 自動駐車システム |
JP5157067B2 (ja) | 2006-01-06 | 2013-03-06 | トヨタ自動車株式会社 | 自動走行用マップ作成装置、及び自動走行装置。 |
CA2712673A1 (en) * | 2008-02-04 | 2009-08-13 | Tele Atlas North America Inc. | Method for map matching with sensor detected objects |
JP5065210B2 (ja) * | 2008-09-17 | 2012-10-31 | トヨタ自動車株式会社 | 車線認識装置 |
-
2017
- 2017-01-13 JP JP2017004110A patent/JP6757261B2/ja active Active
- 2017-10-26 US US16/338,718 patent/US11143511B2/en active Active
- 2017-10-26 WO PCT/JP2017/038645 patent/WO2018131258A1/ja unknown
- 2017-10-26 EP EP17890879.4A patent/EP3569982B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3569982A1 (en) | 2019-11-20 |
JP2018112506A (ja) | 2018-07-19 |
EP3569982B1 (en) | 2022-07-20 |
EP3569982A4 (en) | 2021-03-03 |
US11143511B2 (en) | 2021-10-12 |
WO2018131258A1 (ja) | 2018-07-19 |
US20200292320A1 (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6649191B2 (ja) | 車載処理装置 | |
JP6757261B2 (ja) | 車載処理装置 | |
JP7137359B2 (ja) | 情報処理装置 | |
JP6843712B2 (ja) | 車載処理装置 | |
EP3712039A1 (en) | In-vehicle processing device and movement support system | |
JP7132037B2 (ja) | 車載処理装置 | |
EP3939863A1 (en) | Overhead-view image generation device, overhead-view image generation system, and automatic parking device | |
EP2175237B1 (en) | System and methods for image-based navigation using line features matching | |
JP2009294214A (ja) | 地形構造を用いたナビゲーション方法及びシステム | |
JP7227763B2 (ja) | 車載処理装置、位置推定方法、出庫システム | |
JP2023039626A (ja) | 車載処理装置、車両制御装置、及び自己位置推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6757261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |