WO2020189069A1 - 外界センシング情報処理装置 - Google Patents
外界センシング情報処理装置 Download PDFInfo
- Publication number
- WO2020189069A1 WO2020189069A1 PCT/JP2020/004481 JP2020004481W WO2020189069A1 WO 2020189069 A1 WO2020189069 A1 WO 2020189069A1 JP 2020004481 W JP2020004481 W JP 2020004481W WO 2020189069 A1 WO2020189069 A1 WO 2020189069A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- information processing
- information
- processing device
- external
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 241
- 230000007613 environmental effect Effects 0.000 claims abstract description 20
- 239000000470 constituent Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 190
- 238000012937 correction Methods 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 87
- 238000004891 communication Methods 0.000 description 35
- 238000012544 monitoring process Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000010354 integration Effects 0.000 description 8
- 230000002411 adverse Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000339782 Tomares Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
- G01C21/3889—Transmission of selected map data, e.g. depending on route
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/0009—Transmission of position information to remote stations
- G01S5/0072—Transmission between mobile stations, e.g. anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
他車の検出した物体の位置情報を用いる際に、自車の地図上へ物体の存在を反映する際の位置誤差を抑制し、また当該他車の位置情報精度を検証し、状況により当該他車から提供される物体の位置情報の使用を避けることで、先進安全システムや自動運転システムの警告や車両制御への悪影響を抑制することのできる外界センシング情報処理装置を提供する。他車や道路に設置された外界センサが検出した物体あるいは表示の位置情報を送信する際に、位置の基準となる環境地図の構成情報となる物体(静止物)および表示の特徴点の位置も検出して送信する。自車がこれらの情報を受信した際、対象とする物体あるいは表示の位置情報と特徴点の位置の相対位置関係、及び自車で把握している当該特徴点の位置を基に、自車の環境地図上における当該物体あるいは表示の位置を算出(補正)する。また、他車は、他車自体の位置情報についても送信し、自車は、受信した他車自体の位置情報と、他車で検出した特徴点の位置、自車で把握している当該特徴点の位置の関係から、他車自体で把握している当該車両の位置情報の誤差を確認し、当該誤差が大きい場合や不安定な場合には、当該他車からの位置情報の使用を避ける。
Description
本発明は、外界センシング情報処理装置に係り、主として車両の先進安全システムや自動運転システムを構成し、自車両以外の外界センシング情報も活用して外界の状況をセンシングし、車両走行に影響を及ぼす物体を検出あるいは認識する外界センシング情報処理装置に関する。
近年、衝突を回避あるいは衝突時の被害を軽減するために緊急時に自動的にブレーキ操作などを行う先進安全システムを搭載した車両が普及してきている。自律的に移動させることが可能な自動運転システムを搭載した車両(自動運転車)も実験レベル、あるいは限定的な条件下においては実現されている。先進安全システムや自動運転システムでは、通常、車両の外界の状況を認識するために、カメラやレーダ、レーザレンジファインダ(Lidar)、ソナーなどの外界センサと当該外界センサで取り込んだセンシングデータを処理し、周辺の物体や状況を検出して認識する信号処理装置が搭載される。しかし、周辺の状況や車両からの距離により自車の外界センサでは検出困難な物体があるので、これらの物体を検出して認識するために、道路などに設置された機器や他の車両と通信を行うことで、自車以外の外界センサで取得した情報を利用する手法が存在する。他の車両の外界センサで取得した情報を利用する方法として、特許文献1では、他車で検出した物体の位置情報を通信で取得し、自車の外界センサで当該他車の位置を検出することで自車と当該他車の位置関係を把握することで、当該他車で検出した物体の位置情報を自車に対する位置情報に変換して利用する方法が開示されている。
しかしながら、特許文献1に開示されている方法では、自車の外界センサで他車の位置を確認する必要があり、当該他車が自車から観測可能であることが前提であるので、自車から観測できない他車の情報を利用することができない。当該他車が自ら認識している当該他車の地図上の位置を当該他車から自車に送ることで自車が当該他車の位置を取得する方法もあるが、地図上の位置を求める精度は車両により異なり、状況によっては当該他車の地図上の位置が不正確になる場合もある。したがって、他車が送信した当該他車の地図上の位置をそのまま基準として用いると、当該他車が検出した物体の位置情報精度が低くなる可能性があり、物体の位置により警告や車両制御を行う先進安全システムや自動運転システムの動作を適切に行えない可能性がある。例えば、障害物までの衝突予測時間の計算が不正確となり、不必要な急ブレーキが発生したり、あるいはブレーキが弱く衝突回避困難となったりする可能性がある。また、地図上の位置を用いるので、他車と自車の地図にずれがある場合、他車の送信する当該他車の位置を基準にして当該他車が検出した物体の位置情報を用い、そのまま自車の地図上に当該物体を対応付けて配置すると、自車の地図上では物体がずれて配置される可能性もあり、この結果、警告や車両制御を行う先進安全システムや自動運転システムの動作を適切に行えない可能性がある。
本発明は、以上のような課題に鑑みてなされたもので、その目的とするところは、他車の検出した物体の位置情報を用いる際に、自車の地図上へ物体の存在を反映する際の位置誤差を抑制し、また当該他車の位置情報精度を検証し、状況により当該他車の情報を用いることを避けることで、先進安全システムや自動運転システムの警告や車両制御への悪影響を抑制することのできる外界センシング情報処理装置を提供することにある。
上記目的を達成すべく、本発明に係る外界センシング情報処理装置は、第一の移動体の外界に存在する物体あるいは表示の位置検出を行う外界センシング情報処理装置において、第二の移動体または静止物に搭載した外界センサによるセンシング情報から抽出された、位置の基準となる環境地図の構成情報を受信する受信機能と、前記受信機能により得た前記環境地図の構成情報を当該センシング情報処理装置が備える機能により得た環境地図の構成情報とマッチング処理するマッチング機能と、前記マッチング機能のマッチング結果を用いて、前記第二の移動体または静止物に搭載した外界センサにより検出した前記外界に存在する物体あるいは表示の位置情報を補正する補正機能と、を有することを特徴とする。
また、本発明に係る外界センシング情報処理装置は、第一の移動体の外界に存在する物体あるいは表示の位置検出を行う外界センシング情報処理装置において、第二の移動体または静止物に搭載した外界センサによるセンシング情報から抽出された、位置の基準となる環境地図の構成情報、及び前記第二の移動体または静止物の位置情報を受信する受信機能と、前記受信機能により得た前記環境地図の構成情報を当該センシング情報処理装置が備える機能により得た環境地図の構成情報とマッチング処理するマッチング機能と、前記マッチング機能のマッチング結果を用いて、前記第二の移動体または静止物の位置を算出する位置算出機能と、前記位置算出機能の算出結果を前記受信機能により得た前記第二の移動体または静止物の位置情報と比較することで、前記第二の移動体または静止物が認識している前記第二の移動体または静止物の位置の誤差を検出する誤差検出機能と、を有することを特徴とする。
本発明によれば、例えば、他車に搭載した外界センサ(道路に設置されたカメラなどの外界センサでもよい)が検出した物体あるいは表示の位置情報を送信する際に、位置の基準となる環境地図の構成情報となる物体(静止物)および表示の特徴点の位置も検出して送信する。自車がこれらの情報を受信した際、対象とする物体あるいは表示の位置情報と特徴点の位置の相対位置関係、及び自車で把握している当該特徴点の位置を基に、自車の環境地図上における当該物体あるいは表示の位置を算出(補正)する。
また、他車は、他車自体の位置情報についても送信し、自車は、受信した他車自体の位置情報と、他車で検出した特徴点の位置、自車で把握している当該特徴点の位置の関係から、他車自体で把握している当該他車の位置情報の誤差を確認し、当該誤差が大きい場合や不安定な場合には、当該他車からの位置情報の使用を避ける。
このように、本発明では、他車に搭載した外界センサで検出している特徴点を基に他車に搭載した外界センサで検出した物体あるいは表示の位置を算出するので、自車から当該他車等を検出できない状況でも他車に搭載した外界センサの検出結果を利用できる。また、自車が把握する特徴点の位置を基準に他車に搭載した外界センサで検出した物体あるいは表示の位置を算出するので、自車の地図上に他車に搭載した外界センサで検出した物体あるいは表示の位置を反映する際の位置精度が向上する。
また、他車が自ら検出している当該他車の位置と自車が算出した当該他車に搭載した外界センサの位置を比較することにより当該他車の位置精度を把握することで、位置情報利用には不適切な他車を検出できるので、当該他車が提供する検出物体あるいは表示の位置情報や当該他車が自ら検出した当該他車の位置情報の利用を制限することで、先進安全システムや自動運転システムの動作への悪影響を抑制することが可能になる。
上記以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の外界センシング情報処理装置(以下、単に情報処理装置ということがある)の実施形態について図面を参照して説明する。
[実施例1]
本発明の実施例1の適用状況について図1を用いて説明する。
本発明の実施例1の適用状況について図1を用いて説明する。
図1に示すように、本実施例は、ある車両701(以下、自車ということがある)に搭載された第1の外界センシング情報処理装置100Aが、異なる車両702(以下、他車ということがある)に搭載された第2の外界センシング情報処理装置300Aと通信を行い、第2の外界センシング情報処理装置300Aの外界センシングの認識結果を統合して外界認識出力(つまり、車両701の外界に存在する物体あるいは表示の位置検出など)をするものである。
本発明の実施例1のハードウェアの構成例、すなわち、図1に示す第1及び第2の外界センシング情報処理装置100A、300Aを実装するハードウェアの構成例について図2を用いて説明する。
図2に示すように、本実施例の情報処理装置100A、300Aを実装するハードウェアは、主要な処理を行うECU(Electronic Control Unit、電子制御装置)200、及びこれに接続する外界センサモジュール237、V2Xアンテナ242、GPSモジュール246により構成される。また、他のECUと通信するためにCANバス251が接続される。なお、CANバス251の代わりに別の接続信号(車載LANなど)を用いても良いし、これらの接続信号とCANバス251を併用しても良い。
ECU200は、マイコン210、主記憶装置221、フラッシュメモリ226、CANトランシーバ231、センサインタフェース236、V2Xモジュール241を内蔵する。
マイコン210は、様々な機能を実現するためのソフトウェアを実行する装置であり、プログラムの指示に基づき接続された装置と情報をやりとりし、情報の処理を行う。
フラッシュメモリ226は、マイコン210で実行するソフトウェアやマイコン210が必要とするデータで電源切断時でも記憶を保持する必要のあるデータの保持に用いる。
主記憶装置221は、マイコン210でソフトウェアを動作させたり、一時的にデータを保持するために用いる記憶装置であり、通常RAM(Random Access Memory)を用いる。
主記憶装置221は、マイコン210でソフトウェアを動作させたり、一時的にデータを保持するために用いる記憶装置であり、通常RAM(Random Access Memory)を用いる。
CANトランシーバ231は、マイコン210がCANバス251を介して通信する際、主に電気的な特性を合わせるための装置である。センサインタフェース236は、マイコン210が当該車両に搭載した外界センサモジュール237と通信するためのインタフェースであり、例えば高速シリアル通信を行うための装置である。
外界センサモジュール237は、車載カメラなどの外界センサと当該外界センサで得た信号をセンサインタフェース236に対応した信号に変換する機能を一体化したモジュールである。外界センサモジュール237によっては、認識処理機能なども有しても良い。
また、外界センサモジュール237をマイコン210に接続するために用意しているセンサインタフェース236を用いず、CANバス251を介してマイコン210と通信する場合もある。なお、以下では、外界の状況をセンシング(検出)する外界センサを含む外界センサモジュール237自体を、単に外界センサと称することがある。
また、外界センサモジュール237をマイコン210に接続するために用意しているセンサインタフェース236を用いず、CANバス251を介してマイコン210と通信する場合もある。なお、以下では、外界の状況をセンシング(検出)する外界センサを含む外界センサモジュール237自体を、単に外界センサと称することがある。
V2Xモジュール241は、マイコン210が他の車両や道路上の設備と通信を行うための装置であり、ECU200外部のV2X通信用アンテナであるV2Xアンテナ242を接続することで、無線通信を行うための装置である。
マイコン210に接続するGPSモジュール246は、マイコン210が現在時刻及び現在位置を得るための装置である。GPSモジュール246は、GPS衛星からの電波を内蔵アンテナで受信し、さらにLSIで受信信号を解析して位置及び時刻を得る。
本実施例の情報処理装置100A、300Aのどちらについても、機能の違いは、マイコン210で動作させるソフトウェアの違い、マイコン210の処理能力の違い、ソフトウェアやデータの保存や処理に用いる主記憶装置221及びフラッシュメモリ226の容量、外界センサモジュール237の違いなどとなるため、ハードウェアとしては図2に示すような構成となる。
本発明の実施例1の機能ブロックの構成例について図3を用いて説明する。図1において車両(自車)701に搭載された第1の外界センシング情報処理装置100Aは、図3における情報処理装置(タイプEA)100Aに対応し、図1において車両(他車)702に搭載された第2の外界センシング情報処理装置300Aは、図3における情報処理装置(タイプFA)300Aに対応する。
情報処理装置(タイプFA)300Aには、装置全体の時刻を管理する時刻管理部B331、GPSなどを搭載したナビゲーションシステム相当の機能を持ち、当該装置を搭載する車両の地図上の位置及び向きを取得する車両位置検出部B301、外界の状況をセンシングする外界センサB321によるセンシング情報を通信により取得する外界センサ接続部B322、外界センサ接続部B322を介して外界センサB321で取得したセンシング情報から外界に存在する物体、図形や文字などの表示を検出し、外界センサB321を基準とする相対的な位置及び向きを含めて認識する認識処理部B341、認識処理部B341で認識した結果から周辺の環境地図の構成情報となり且つ当該地図上の位置基準として用いることが可能な静止物および表示の特徴点(以下、基準特徴点という)を抽出する基準特徴点抽出処理部B311、異なる車両に搭載された情報処理装置(タイプEA)100Aと通信を行う通信処理部B351が存在する。
時刻管理部B331は、例えば最大1時間毎にGPSの時刻情報と同期するなどして、誤差を1ミリ秒以内に抑制し、もし長期間GPSの時刻情報を取得できずに同期できないなどの理由で精度を保証できない場合には、その旨を情報処理装置(タイプFA)300Aの各構成要素や通信処理部B351を介して、情報処理装置(タイプFA)300Aからの情報を受信する他の情報処理装置に通知する機能を持つ。また、時刻管理部B331は、GPSを用いる場合は、GPS信号受信機能を車両位置検出部B301と共有しても良い。
外界センサB321は、カメラやレーザレンジファインダ、ミリ波レーダ、超音波センサ(ソナー)などの利用を想定するが、外界の状況をセンシング可能なセンサであれば他のセンサでも構わない。また、外界センサB321は、センシング情報を出力する際には、センシングを実施した時刻(センシング時刻)を付加する。
様々な外界センサによる外界センシング結果を統合する際に、時刻による各物体の位置の変化を補正するためにはセンシング時刻が重要であるが、他の情報処理装置で付加したセンシング時刻を利用するには時刻精度が確保されていることが前提となるので、時刻精度が保証されていない場合に、その旨を他の情報処理装置に通知する機能が必要となる。
車両位置検出部B301で取得した車両の地図上の位置と向き及びそれらを取得した時刻、認識処理部B341で認識した結果、及び認識に用いたセンシング情報の取得時刻、基準特徴点抽出処理部B311で検出した特徴点の情報は、通信処理部B351を経由して、他の情報処理装置(すなわち、情報処理装置(タイプEA)100A)に送信される。
認識処理部B341で認識した結果には、認識した物体の種類(種類不明の場合は不明でも良い)及び当該物体の位置情報を含む。位置情報には外界センサB321を基準とした相対位置が含まれることが好ましいが、当該相対位置の算出に必要な情報を通信処理部B351から送信する情報に含めていれば、その位置情報は、情報処理装置(タイプFA)300Aの環境地図で管理している座標上での相対位置、あるいは経度・緯度を用いた位置でも構わない。例えば、情報処理装置(タイプFA)300Aを搭載する車両の基準点を原点とし、車両の向きにあわせた座標系での位置情報であれば、当該座標系における外界センサB321の位置及び向きの情報を用い、外界センサB321を基準とした相対位置を算出することができる。位置情報が経度・緯度である場合には、当該経度・緯度の算出に用いた基準となる位置及び向き情報(例えば、車両位置検出部B301で取得する情報や外界センサB321の車両取り付け位置及び向きの情報)があるので、それらの情報から外界センサB321を基準とした相対位置を算出することができる。
認識処理部B341は、当該情報処理装置(タイプFA)300Aを搭載する車両の内部で認識結果を利用するために、出力(値)としての外界認識出力B391を持つ。外界認識出力B391を利用することで、情報処理装置(タイプFA)300Aを搭載する車両は、例えば先進運転支援機能の制御などに認識処理部B341の処理結果を利用することが可能である。
情報処理装置(タイプEA)100Aには、装置全体の時刻を管理する時刻管理部A131、GPSなどを搭載したナビゲーションシステム相当の機能を持ち、当該装置を搭載する車両の地図上の位置及び向きを取得する車両位置検出部A101、外界の状況をセンシングする外界センサA121によるセンシング情報を通信により取得する外界センサ接続部A122、外界センサ接続部A122を介して外界センサA121で取得したセンシング情報から外界に存在する物体、図形や文字などの表示を検出し、外界センサA121を基準とする相対的な位置及び向きを含めて認識する認識処理部A141、認識処理部A141で認識した結果から周辺の環境地図の構成情報となり且つ当該地図上の位置基準として用いることが可能な基準特徴点を抽出する基準特徴点抽出処理部A111、異なる車両に搭載された情報処理装置(タイプFA)300Aと通信を行う通信処理部A151が存在する。
時刻管理部A131は、例えば最大1時間毎にGPSの時刻情報と同期するなどして、誤差を1ミリ秒以内に抑制し、もし長期間GPSの時刻情報を取得できずに同期できないなどの理由で精度を保証できない場合には、その旨を情報処理装置(タイプEA)100Aの各構成要素に通知する機能を持つ。また、時刻管理部A131は、GPSを用いる場合は、GPS信号受信機能を車両位置検出部A101と共有しても良い。
外界センサA121は、カメラやレーザレンジファインダ、ミリ波レーダ、超音波センサ(ソナー)などの利用を想定するが、外界の状況をセンシング可能なセンサであれば他のセンサでも構わない。また、外界センサA121は、センシング情報を出力する際には、センシングを実施した時刻(センシング時刻)を付加する。
情報処理装置(タイプEA)100Aにはさらに、情報処理装置(タイプFA)300Aから通信処理部A151を用いて得た情報を利用するために、基準特徴点マッチング処理部161、位置補正処理部A171、認識結果統合処理部181が存在する。
基準特徴点マッチング処理部161は、車両位置検出部A101で取得した位置及び向き、通信処理部A151を経由して得た車両位置検出部B301で取得した位置及び向きを考慮して、基準特徴点抽出処理部A111が抽出した基準特徴点と通信処理部B351を経由して得た基準特徴点抽出処理部B311が抽出した基準特徴点の対応付け(マッチング処理)を行う。
この対応付け(マッチング処理)では、まず大体同一の位置に存在する同一の物体または表示の対応付けを行うが、当該物体または表示が持つ特徴点の対応付けを、特徴点間の位置関係及びそれぞれの情報処理装置の外界センサの向きを考慮して行う。
対応付けの取れた特徴点に関しては、認識処理部A141で取得して基準特徴点抽出処理部A111の抽出により基準特徴点として得た当該特徴点の位置及び向き情報、及び車両位置検出部A101から得た車両の位置及び向き情報を用いて、周辺の環境地図上の位置を算出する。この位置は、情報処理装置(タイプEA)100Aとして認識する当該基準特徴点の周辺の環境地図上の位置として、位置補正処理部A171に渡す。
通信処理部A151経由で情報処理装置(タイプFA)300Aから得た当該基準特徴点の位置情報に関しても、情報処理装置(タイプFA)300Aとして認識する当該基準特徴点の位置情報として、位置補正処理部A171に渡す。なお、情報処理装置(タイプFA)300Aからの位置情報には、外界センサB321を基準とした相対位置の情報も含まれることが好ましい。
位置補正処理部A171は、通信処理部A151経由で得た、情報処理装置(タイプFA)300A側で認識している基準特徴点及びそれ以外の認識物(言い換えれば、外界センサB321により検出した外界に存在する物体または表示)の位置情報について補正を行う。この補正には、同一の基準特徴点に対する、基準特徴点マッチング処理部161から得た、情報処理装置(タイプEA)100Aとして認識する位置と、情報処理装置(タイプFA)300Aとして認識する位置を用いる(後で詳述)。補正した位置情報は、その位置に対応する認識物の情報と共に認識結果統合処理部181に渡す。
なお、情報処理装置(タイプFA)300Aから当該情報処理装置(タイプFA)300Aを搭載する車両の停止を判断できる情報、例えば車速情報などが得られる場合、車両の停止後に車両の揺れが収まると考えられる時間が経過し、外界センサB321が静止しているとみなせる状況となった以降、情報処理装置(タイプFA)300Aから得られる基準特徴点について一度環境地図上の位置を算出した後には、当該車両の移動開始に伴い外界センサB321が移動開始するまで(詳しくは、外界センサB321の移動が発生したことが確認されるまで)、基準特徴点の対応付け(マッチング処理)を固定し、基準特徴点マッチング処理部161における基準特徴点の対応付け(マッチング処理)を省略(停止)することで、基準特徴点マッチング処理部161の処理負荷を軽減することも考えられる。あるいは、基準特徴点マッチング処理部161における基準特徴点の対応付けを完全に省略せず、対応付けを行う頻度(処理間隔)を通常より長くすることも考えられる。
認識結果統合処理部181は、認識処理部A141で認識した認識物と位置補正処理部A171から得た情報処理装置(タイプFA)300A側での認識物を環境地図として統合し、外界認識出力A191として出力する。認識結果統合処理部181は、認識処理部A141で外界センサA121が認識した認識物の相対的な位置を地図上の位置に変換するため、車両位置検出部A101の出力も利用する。
また、認識結果統合処理部181は、通信処理部A151経由で得た、車両位置検出部B301で取得した車両の地図上の位置及び向きを用いて、環境地図に情報処理装置(タイプFA)300Aを搭載する車両の位置を反映する。但し、可能な場合には、認識結果統合処理部181は、情報処理装置(タイプFA)300Aを搭載する車両の位置についても、位置補正部A171で補正した位置情報を用いて環境地図に反映する。例えば、外界センサB321と車両位置を示す点の位置及び向きの関係が情報処理装置(タイプFA)300Aから提供され、基準特徴点の位置が外界センサB321からの相対位置である場合、計算により認識結果統合処理部181で管理する環境地図の座標に補正した情報処理装置(タイプFA)300Aを搭載する車両の位置が求められる。
認識結果統合処理部181では、様々な位置情報を統合して環境地図を作成する際、センシング時刻の違いにより生じる位置ずれの補正も行う。この処理のために、認識結果統合処理部181では、環境地図を作成する際には基準となる時刻を決め、各物体の位置情報の時系列での変化を基に内挿、あるいは外挿して、基準となる時刻における推定位置に各物体を配置する。
認識結果統合処理部181での時刻の違いにより生じる位置ずれの補正を容易にするために、外界センサA121や外界センサB321、あるいは認識処理部A141や認識処理部B341で検出した物体の速度ベクトルを求め、それらの情報も認識結果統合処理部181に伝送するようにすることも考えられる。速度ベクトルを基に位置補正を行うことで、検出した物体の時刻による位置変化の推定に利用可能な情報が増加し、基準となる時刻における位置推定精度の向上が期待できる。さらに、時刻変化に伴う位置推定精度が向上すれば、その精度向上分を情報処理装置(タイプFA)300Aから情報を受信する頻度を抑制するために用いることも考えられる。
速度ベクトルから静止していると判定できる物体については、一度環境地図に反映した後は、再度動きを検出あるいは一定期間経過するまで位置計算処理から除外することで、位置補正処理部A171や認識結果統合処理部181の演算処理負荷を低減することも考えられる。
認識結果統合処理部181の出力である外界認識出力A191は、作成した環境地図を基に各物体の位置及び種別、及び時系列変化や入力された情報に含まれる速度ベクトルを含み、例えば先進運転支援機能や自動運転機能に必要な判断及び制御に利用できる。
通信処理部A151には、先進運転支援機能や自動運転機能を構成する判断処理の結果を入力する判断情報入力A195がある。この入力は、例えば判断処理の結果として急ブレーキ実施となった場合、急ブレーキ実施について情報処理装置(タイプEA)100Aを搭載する車両の位置及び識別情報(ナンバープレート情報など)と共に通信処理部A151から周辺に存在する車両の情報処理装置へ発信するために用いる。この情報を受信した車両の情報処理装置は、前方を走行している車両からの情報であるかを相対的な位置や識別情報を基に判断し、前方の車両であれば、制動を開始するように先進運転支援機能や自動運転機能を構成する判断機能に要請することで、前方車両への追突の危険性を抑制することができる。
なお、情報処理装置(タイプFA)300Aの基準特徴点抽出処理部B311及び情報処理装置(タイプEA)100Aの基準特徴点抽出処理部A111で基準特徴点として抽出する特徴点は、道路上の各種マーカ(停止線、交差点を示す印、車線など)の各コーナ、特定の標識板の最も地面に近い部分、標識を設置するポールの根元におけるポールの中心などが挙げられるが、これ以外であっても、地図上の位置特定の基準となる点であれば構わない。
図4から図6を用いて、情報処理装置(タイプFA)300Aから得た物体などの位置情報を情報処理装置(タイプEA)100A(の位置補正処理部A171)でどのように補正するかを説明する。
図4は、壁791が存在し、見通しの悪い交差点の状況を示している。この交差点には、交差点マーク751、第1の停止線753、第2の停止線755がある。また、標識が設置してあり、第1の標識を設置する第1の支柱の根元754及び第2の標識を設置する第2の支柱の根元756が示されている。さらに、説明用の基準特徴点として、交差点マーク751の特徴点である交差点マーク特徴点752が示されている。
図5は、交差点に設置された第2の標識の例を示している。標識板725は支柱727に取り付けられており、基準特徴点となる第2の支柱727の根元756及び標識板725の最も地面に近い部分723(ここでは、支柱727に取り付けられている部分)がある。この標識は「とまれ」の標識を想定しているが、他の標識であっても構わない。但し、標識板725の形状によっては標識板725の最も地面に近い部分723の特定が難しい場合があり、また、事故などにより支柱727が曲がっている場合も考えられるので、基準特徴点としては、標識板725の最も地面に近い部分723より第2の支柱727の根元756の方が好ましい。
図4に示す交差点には、情報処理装置(タイプEA)100Aを搭載する第1の車両701、情報処理装置(タイプFA)300Aを搭載する第2の車両702、及び自転車731が接近している状況である。さらに、第1の車両701の後ろには第3の車両703が走行している。
情報処理装置(タイプFA)300Aの車両位置検出部B301の精度が悪く、第2の車両702の向きに誤差があることを想定する。この誤差の影響で、情報処理装置(タイプFA)300Aは、交差点マーク751は位置ずれした交差点マーク761、交差点マーク特徴点752は位置ずれした交差点マーク特徴点762、第2の停止線755は位置ずれした第2の停止線765、第2の支柱の根元756は位置ずれした第2の支柱の根元766、自転車731は位置ずれした自転車732として認識している状態である。すなわち、情報処理装置(タイプFA)300Aは、この誤差の影響を受けた認識結果に相当する情報を通信処理部B351から周辺に存在する車両の情報処理装置へ送信する。
情報処理装置(タイプEA)100Aが認識している周辺の環境地図900には、車両位置検出部A101で検出した自車位置情報に基づく環境地図上の第1の車両901、情報処理装置(タイプFA)300Aより提供された位置情報に基づく環境地図上の第2の車両902、情報処理装置(タイプEA)100Aの認識処理及び車両位置検出処理により位置を求めた環境地図上の交差点マーク951及び環境地図上の交差点マーク特徴点952が存在する。また、位置補正処理部A171で位置補正した位置情報に基づく環境地図上の自転車931が存在する。なお、これらの位置は、実際には認識結果統合処理部181にて時刻の違いによる位置ずれを補正した結果となる。
図6は、位置補正処理の方法を示している。説明を容易にするため、ここでは、時刻の違いによる位置の変化は無視して説明する。すなわち、ある同一時刻の状態として説明し、必要に応じて各値には時間経過の影響を補正する処理が施されているものとする。
ベクトルA601は、外界センサB321から位置ずれした交差点マーク特徴点762への相対位置を示し、ベクトルB602は、外界センサB321から位置ずれした自転車732への相対位置を示す。すなわち、ベクトルA601及びベクトルB602は、外界センサB321を原点とし、外界センサB321の向きを基準に、ある向きに固定した3次元の直交座標系における位置ベクトルに相当する。
ベクトルB602からベクトルA601を減算すれば、位置ずれした交差点マーク特徴点762から位置ずれした自転車732への相対位置を示すベクトルX604を得ることができる。
ベクトルX604は、外界センサB321の位置や向きに依存しないため、(位置ずれしない)交差点マーク特徴点752から自転車731への相対位置を示すベクトル値と同一とみなせる。そこで、環境地図上の交差点マーク特徴点952の位置にベクトルX604を加算することで、環境地図上の交差点マーク特徴点952を基準点とした位置を算出できる。なお、ベクトルX604の加算にあたっては、環境地図の座標系に合うように適宜変換してから加算を行うものとする。
算出した位置を位置補正部A171による位置補正結果とすることで、環境地図上の自転車931の位置を決定することができる。この処理において、ベクトルA601及び環境地図上の交差点マーク特徴点952の位置が補正パラメータとなり、ベクトルB602で示される位置ずれした自転車732の位置を補正していることになる。
ベクトルX604は、位置ずれした交差点マーク特徴点762から位置ずれした自転車732への相対位置を示すベクトルであるので、ベクトルA601及びベクトルB602の代わりに、それぞれの情報処理装置(タイプFA)300Aとして認識する位置を用いて、位置ずれした自転車732の位置を計算しても構わない。但し、外界センサB321が出力する相対位置情報、すなわちベクトルA601及びベクトルB602のように、同一の外界センサが出力する当該外界センサからの相対位置情報を基に差分を計算すると、外界センサの車両内での設置ずれの影響や車両の振動の影響などを相殺できる利点がある。また、ベクトルA601及びベクトルB602を用いて計算する場合には、情報処理装置(タイプFA)300Aを搭載する車両702の位置に依存しないことから、当該車両702の位置情報も不要となる。
なお、ここでは、壁791の存在により情報処理装置(タイプEA)100Aを搭載する第1の車両701から死角となる位置に存在する(位置ずれした)自転車732の位置を、位置ずれした交差点マーク特徴点762などを用いて補正することを例示したが、その他の認識物(交差点マーク761、交差点マーク特徴点762、第2の停止線765、第2の支柱の根元766)についても同様に補正可能であることは勿論である。
環境地図900には、第1の車両701の後ろを走行する第3の車両703が反映されていないが、第3の車両703が自車両位置を他車に通知する機能を有したり、第1の車両701に後方監視用の外界センサが存在したりする場合には、それらの情報から環境地図900に第3の車両703の存在を反映することができる。
環境地図900に基づき第1の車両701が緊急ブレーキを作動させる判断をした場合には、その情報が(判断情報入力A195とともに)通信処理部A151より送信される。第3の車両703がこの情報を受信可能であり、その情報が自車の前方の車両701からのものであると判明した場合には、第3の車両703は減速を開始し、第1の車両701の急ブレーキに備えることができる。
図7に、情報処理装置(タイプFA)300Aが送信する基準特徴点及び検出物体の位置情報の例を示す。
図7において、位置情報番号11は、情報処理装置(タイプFA)300Aが送信する一連の基準特徴点及び検出物体の位置情報の中におけるシリアル番号であり、送信する順番に1から順に振られる。
センサID12は、当該位置の検出に用いた外界センサの識別番号である。情報処理装置(タイプFA)300Aにおける外界センサは外界センサB321だけであるので、図7ではセンサID12は全て1としているが、情報処理装置が複数の外界センサを持つ場合には、外界センサ毎にユニーク番号を割り当て、センサID12には位置情報を検出した外界センサを区別可能にする。前述したように外界センサの位置を基準とした座標系で処理を行う上で外界センサを区別する必要があるので、センサID12が必要となる。
経度オフセット13及び緯度オフセット14は、基準特徴点及び検出物体の外界センサに対する相対位置を経度及び緯度の軸を基準として示す。高緯度の場所以外であれば、比較的近傍の領域では経度と緯度は直交しているとみなせるので、経度と緯度の軸を用いることができる。幅のある物体の位置を示す場合には、例えば当該物体の幅の中心に対応する位置を示す。
高度オフセット15は、路面の位置を基準とした基準特徴点及び検出物体の高さを示す。高さのある物体の高さを示す場合には、例えば当該物体の中心の高さを示す。
物体ID16は、基準特徴点であるか、それ以外の検出物体であるかを示す情報とともに、ひと塊の表示(図形など)や物体単位で振られる識別番号、及びひと塊の表示(図形など)や物体に属する特徴点ごとに振られる識別番号の情報を持つ。具体的な例としては、図7の下に交差点マーク761に示しているように、基準特徴点を持つ表示や物体として識別番号(基準特徴点を示す「基準」にシリアル番号「1」を付加した「基準1」)を割り当てた交差点マーク761に対し、さらに当該表示あるいは物体の中での各特徴点の識別番号(ID1からID4)を割り当てる。そして、物体ID16としては、表示や物体として識別番号と各特徴点の識別番号を組み合わせて表す。
種別17は、認識処理部B341で認識した表示や物体で判明した種別情報を示す。種別情報は先進運転支援や自動運転で判断を行う場合の挙動予測に有用なため、送信情報に含める。認識処理部B341で種別を判断できないが何かしらの表示や物体の存在を検出している場合、種別は「不明」となる場合もある。但し、「不明」であっても、当該物体が静止物であるか移動体であるかを区別できる場合には、「不明静止物」、「不明移動体」のように動静判定情報を付加する場合もある。
幅18及び高さ19は、検出した表示や物体の幅と高さを示す情報である。基準特徴点を含む特徴点の場合は「点」を示しているので、幅と高さは共に0となる。幅18及び高さ19は、例えば図8に示す自転車732ように、当該物体を検出した外界センサからの視点で物体を囲む長方形の幅18と高さ19に相当する。
信頼度20は、各基準特徴点及び検出物体の存在及び位置情報の信頼度を示す。認識処理は常に正確に行うことは困難であるので、認識結果が安定するまでは信頼度を下げる。
また、図形などの表示の一部がかすれていたり、標識の支柱727に変形があったりして特徴点の位置に影響がありそうな場合にも信頼度を下げる。情報処理装置(タイプEA)100Aは、受信した情報のうち、信頼度の高いものを優先して利用する。情報処理装置(タイプEA)100Aは、基準特徴点として、基準特徴点抽出処理部A111でも抽出できた高信頼度の基準特徴点に対応がとれ且つ信頼度の高いもののみ参照するなどで対応する。
また、図形などの表示の一部がかすれていたり、標識の支柱727に変形があったりして特徴点の位置に影響がありそうな場合にも信頼度を下げる。情報処理装置(タイプEA)100Aは、受信した情報のうち、信頼度の高いものを優先して利用する。情報処理装置(タイプEA)100Aは、基準特徴点として、基準特徴点抽出処理部A111でも抽出できた高信頼度の基準特徴点に対応がとれ且つ信頼度の高いもののみ参照するなどで対応する。
複数の信頼度の高い基準特徴点が利用できる場合は、代表の1点、あるいは複数点を用いて、検出物の位置補正を行うことにする。複数点の基準特徴点を用いる場合には、各基準特徴点を用いて補正位置を算出し、その平均の位置を求めて利用する。情報処理装置(タイプEA)100Aの処理負荷を考慮して、必ずしも全ての基準特徴点を用いず、利用する基準特徴点の最大個数に制限を加えることも考えられる。
検出物体の位置については、可能な場合には、図8に示す第3の特徴点51及び第4の特徴点52のように幅の両端に対応する特徴点の情報も、送信する情報に含める。この情報は、図7の位置情報番号11が「6」と「7」の位置情報に対応する。幅18及び高さ19は外界センサB321の視点での値となるので、情報処理装置(タイプEA)100Aを搭載する車両の向きによっては活用が難しい場合がある。その位置情報が「点」であれば、図6を用いて説明したように、三次元空間上での位置を補正して利用することができるので、幅18や高さ19の中心点の座標に加えて幅の両端に対応する特徴点の位置情報も送信することで、受信側では自車にいちばん近い特徴点の位置を用いて判断するなどの対応が可能になり、位置情報の利用を行いやすくなる。
なお、検出物体の情報に速度ベクトルを追加することも考えられる。この場合、例えば、速度ベクトルは外界センサB321に対する相対的な速度ベクトルとすれば、情報処理装置(タイプEA)100AではベクトルB602の時間的な変化を示す値として取り扱うことができ、認識結果統合処理部181における時刻ずれに伴う位置補正に利用することができる。
本実施例では便宜上、第1の外界センシング情報処理装置100A及び第2の外界センシング情報処理装置300Aは基本的に車両に搭載されている前提で説明するが、車両とは異なる移動体に搭載されても構わないし、第2の外界センシング情報処理装置が道路などに設置された静止物に搭載されても構わない。車両とは異なる移動体や静止物に搭載する場合には、「車両」は「当該物体」のことであるとみなして考えれば良い。
例えば、図9に示すように、交差点に外界センサとしての交差点監視カメラ811が設置してあり、交差点監視カメラ811に情報処理装置(タイプFA)300Aに相当する機能を搭載することが考えられる。この構成では、車両位置検出部B301は、予め登録した交差点監視カメラ811の設置位置及び向きの情報を提供すれば良い。静止物である交差点監視カメラ811であっても、台風や地震などの原因で位置や向きが意図せずに変化する可能性があるが、図3に示すような構成を用いることで、第1の車両701は、このような変化の影響を受けることを防止できる。
この際、情報処理装置(タイプEA)100Aの処理としては、情報処理装置(タイプFA)300Aを搭載した車両が停止している場合と同様に処理を行うことができる。すなわち、情報処理装置(タイプFA)300Aから得られる基準特徴点について一度環境地図上の位置を算出した後には、環境地図上における位置を固定し、基準特徴点マッチング処理部161における基準特徴点の対応付け(マッチング処理)を省略(停止)することで、基準特徴点マッチング処理部161の処理負荷を軽減することも考えられる。
なお、本実施例で情報処理装置として示した中の部分を構成する各処理部は、異なる装置として実装し、互いに接続する構成でも構わない。さらに、情報処理装置(タイプEA)100Aが同時に複数の情報処理装置(タイプFA)300Aと通信して情報を統合し、外界認識出力A191を出力しても構わない。
複数の情報処理装置(タイプFA)300Aと通信する場合(換言すれば、複数の外界センサB321によるセンシング情報を受信する場合)には、情報処理装置(タイプEA)100Aは、当該情報処理装置(タイプEA)100Aを搭載する第1の車両701がこれから接近する交差点に集まる道路ごとで当該交差点の方向を向いており、かつ交差点に集まる道路ごとに当該交差点に最も近い車両(に搭載した外界センサ)からの情報(センシング情報)を優先的にマッチング処理などに利用する。また、第1の車両701の向きに対して、直角となる方向に近い向きの車両(に搭載した外界センサ)からの情報(センシング情報)を優先的にマッチング処理などに利用する。
このような優先度で情報(センシング情報)を利用することで、演算負荷において全ての情報処理装置(タイプFA)300Aからの情報を処理できず、通信先を限定せざるを得ない場合でも、重要度の高い物体の位置情報を取得できる可能性が高まる。交差点に対して接近中で、交差点に集まる道路ごとに当該交差点に最も近い車両であれば、交差点のセンシングを行う上で前方に障害物がある可能性が低く、また第1の車両701が進行している道路よりも、その道路に交差する道路の方が障害物による死角が生じやすいためである。
また、情報処理装置(タイプEA)100Aにおいて、認識処理部A141、基準特徴点抽出処理部A111、車両位置検出部A101を通信処理部151に接続した上で、時刻管理部A131の時刻精度の保証状況を通信処理部151から他の情報処理装置へ通知する機能を追加すれば、情報処理装置(タイプEA)100Aに情報処理装置(タイプFA)300Aの機能を付加することができる。このような構成の情報処理装置を搭載した車両の間では、双方に基準特徴点や物体または表示の位置情報を送信することができ、お互いの車両で他車の物体または表示の位置情報を補正して利用することができる。
以上で説明したように、本実施例1の情報処理装置(タイプEA)100Aは、第二の移動体または静止物(第2の車両702または交差点監視カメラ811)に搭載した外界センサB321によるセンシング情報から抽出された、位置の基準となる環境地図の構成情報(基準特徴点)を受信する受信機能(通信処理部A151)と、前記受信機能により得た前記環境地図の構成情報(基準特徴点)を当該情報処理装置(タイプEA)100Aが備える機能(本例では、第一の移動体(第1の車両701)に搭載した外界センサA121、基準特徴点抽出処理部A111など)により得た環境地図の構成情報(基準特徴点)とマッチング処理するマッチング機能(基準特徴点マッチング処理部161)と、前記マッチング機能のマッチング結果を用いて、前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)に搭載した外界センサB321により検出(センシング)した第一の移動体(第1の車両701)の外界に存在する物体あるいは表示の位置情報を補正する補正機能(位置補正処理部A171)と、を有する。
本実施例1によれば、例えば、他車(の情報処理装置(タイプFA)300A)に搭載した外界センサ(道路に設置されたカメラなどの外界センサでもよい)が検出した物体あるいは表示の位置情報を送信する際に、位置の基準となる環境地図の構成情報となる物体(静止物)および表示の特徴点の位置も検出して送信する。自車(の情報処理装置(タイプEA)100A)がこれらの情報を受信した際、対象とする物体あるいは表示の位置情報と特徴点(基準特徴点)の位置の相対位置関係、及び自車で把握している当該特徴点(基準特徴点)の位置を基に、自車の環境地図上における当該物体あるいは表示の位置を算出(補正)する。
このように、本実施例1では、他車に搭載した外界センサB321で検出している特徴点を基に他車に搭載した外界センサB321で検出した物体あるいは表示の位置を算出するので、自車から当該他車等を検出できない状況でも他車に搭載した外界センサB321の検出結果を利用できる。また、自車が把握する特徴点(基準特徴点)の位置を基準に他車に搭載した外界センサB321で検出した物体あるいは表示の位置を算出するので、自車の地図上に他車に搭載した外界センサB321で検出した物体あるいは表示の位置を反映する際の位置精度が向上する。
[実施例2]
本発明の実施例2の機能ブロックの構成例について図10を用いて説明する。なお、ハードウェア構成自体は、実施例1で図2に基づき説明したものとほぼ同じである。実施例1と同じ機能を有する部分には同じ符号を付して詳細説明を省略し、以下においては、相違点を重点的に説明する。
本発明の実施例2の機能ブロックの構成例について図10を用いて説明する。なお、ハードウェア構成自体は、実施例1で図2に基づき説明したものとほぼ同じである。実施例1と同じ機能を有する部分には同じ符号を付して詳細説明を省略し、以下においては、相違点を重点的に説明する。
まず、情報処理装置(タイプFB)300Bの構成を説明する。本実施例2の情報処理装置(タイプFB)300Bは、実施例1で示した情報処理装置(タイプFA)300Aの構成に対し、基準特徴点マップB318を追加し、基準特徴点抽出処理部B311を基準特徴点選択処理部B316に変更している。
基準特徴点マップB318は、周辺の環境地図の構成情報となり且つ当該地図上の位置基準として用いることが可能な基準特徴点の識別ID、場所、種別の情報を持つ詳細地図情報(地図データ)である。基準特徴点マップB318が存在する本実施例では、基準特徴点選択処理部B316は、車両位置検出部B301から得た車両の位置及び向き情報から判断し、候補となる基準特徴点を基準特徴点マップB318から選択し、認識処理部B341へ提供する。
認識処理部B341は、外界センサ接続部B322を介して外界センサB321で取得したセンシング情報の認識処理を行う際、基準特徴点選択処理部B316から提供された情報を基に、基準特徴点の認識を行う。認識処理部B341は、認識処理を行う際、提供された情報により、どの付近の認識を行えば基準特徴点の検出ができるかを予め分かるため、基準特徴点の認識処理効率が向上する。
車両位置検出部B301で取得した車両の地図上の位置と向き及びそれらを取得した時刻、認識処理部B341で認識した物体や基準特徴点の認識結果及び認識に用いたセンシング情報の取得時刻は、通信処理部B351を経由して、情報処理装置(タイプEB)100Bに送信される。
時刻管理部B331の機能は、実施例1と同じである。
次に、情報処理装置(タイプEB)100Bの構成を説明する。本実施例2の情報処理装置(タイプEB)100Bは、実施例1で示した情報処理装置(タイプEA)100Aの構成に対し、基準特徴点マップA118を追加し、基準特徴点抽出処理部A111を基準特徴点選択処理部A116に変更し、基準特徴点選択処理部AB117を追加している。
基準特徴点マップA118は、周辺の環境地図の構成情報となり且つ当該地図上の位置基準として用いることが可能な基準特徴点の識別ID、場所、種別の情報を持つ詳細地図情報(地図データ)である。基準特徴点マップA118が存在する本実施例では、基準特徴点選択処理部A116は、車両位置検出部A101から得た車両の位置及び向き情報から判断し、候補となる基準特徴点を基準特徴点マップA118から選択し、認識処理部A141へ提供する。また、基準特徴点選択処理部AB117は、情報処理装置(タイプFB)300Bから送信される車両位置検出部B301から得た車両の位置及び向き情報から判断し、候補となる基準特徴点を基準特徴点マップA118から選択し、基準特徴点マッチング処理部161へ提供する。
認識処理部A141は、外界センサ接続部A122を介して外界センサA121で取得したセンシング情報の認識処理を行う際、基準特徴点選択処理部A116から提供された情報を基に、基準特徴点の認識を行う。認識処理部A141は、認識処理を行う際、提供された情報により、どの付近の認識を行えば基準特徴点の検出ができるかを予め分かるため、基準特徴点の認識処理効率が向上する。
認識処理部A141は、基準特徴点の認識結果を車両位置検出部A101にフィードバックする。このフィードバックにより、認識した基準特徴点の位置が基準特徴点マップA118に対応した位置になるように修正を行えるので、基準特徴点マップA118を基準とする位置に車両や認識処理部A141の認識結果を反映できるようになる。
基準特徴点マッチング処理部161では、情報処理装置(タイプFB)300B側で認識した基準特徴点と基準特徴点選択処理部AB117が提供する候補となる基準特徴点の対応付け(マッチング処理)を行う。基準特徴点マッチング処理部161は、対応付けがとれた基準特徴点について、情報処理装置(タイプFB)300B側で認識した基準特徴点の位置情報と共に、基準特徴点マップA118における位置情報も付加して位置補正処理部A171へ送る。
位置補正処理部A171では、実施例1で図6を用いて説明した方法と同様に、検出した物体または表示や特徴点の位置を補正する。この際にベクトルB602からベクトルA601を減算した結果は(図6参照)、補正に用いる基準特徴点の基準特徴点マップA118における位置となる。実施例1とは異なり、情報処理装置(タイプFB)300B側で認識した物体または表示の位置情報の補正には、認識処理部A141の基準特徴点の認識結果は不要である。すなわち、情報処理装置(タイプFB)300Bと情報処理装置(タイプEB)100Bでは同じ基準特徴点を認識する必要がない。
また、基準特徴点マップA118と基準特徴点マップB318で同一の基準特徴点に対して同一の識別IDが割り振られていれば、基準特徴点マッチング処理部161は、識別IDだけで対応付けを行うことも可能になり、基準特徴点のマッチング処理が容易になる。
時刻管理部A131及び認識結果統合処理部181の機能はそれぞれ実施例1と同じである。
図11を用いて、本実施例2が有効な場合を説明する。
図11は、実施例1で図4に示した交差点とほぼ同一の状況であるが、交差点マーク751が存在せず、基準特徴点である交差点マーク特徴点752を得ることができない。別の基準特徴点である第2の停止線755、第2の支柱の根元756は、情報処理装置(タイプEB)100Bに設けられた外界センサA121からセンシングすることはできない。したがって、実施例1の構成では、この状況において情報処理装置(タイプFA)300Aと情報処理装置(タイプEA)100Aで共通の基準特徴点を認識することができず、情報処理装置(タイプEA)100Aは情報処理装置(タイプFA)300Aの認識結果の位置情報を補正することができない。
一方、実施例2の構成では、情報処理装置(タイプEB)100Bに設けられた外界センサA121によるセンシングとは無関係に、基準特徴点マップA118に第2の停止線755、第2の支柱の根元756が存在すれば位置補正が可能になるので、実施例1より利用可能な場合が多い。
なお、情報処理装置(タイプEB)100Bに情報処理装置(タイプFB)300Bの機能を付加し、第1の車両701と第2の車両702の双方に搭載することで、双方に基準特徴点や物体または表示の位置情報を送信することができ、お互いの車両で他車の物体または表示の位置情報を補正して利用することができるのは、実施例1と同じである。また、情報処理装置(タイプEB)100Bが複数の情報処理装置(タイプFB)300Bと通信することも、実施例1と同様に可能である。
以上で説明したように、本実施例2の情報処理装置(タイプEB)100Bは、第二の移動体または静止物(第2の車両702または交差点監視カメラ811)に搭載した外界センサB321によるセンシング情報から抽出された、位置の基準となる環境地図の構成情報(基準特徴点)を受信する受信機能(通信処理部A151)と、前記受信機能により得た前記環境地図の構成情報(基準特徴点)を当該情報処理装置(タイプEB)100Bが備える機能(本例では、位置の基準となる環境地図の構成情報を地図データとして持つ基準特徴点マップA118、前記地図データに存在する基準特徴点を選択する基準特徴点選択処理部AB117など)により得た環境地図の構成情報(基準特徴点)とマッチング処理するマッチング機能(基準特徴点マッチング処理部161)と、前記マッチング機能のマッチング結果を用いて、前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)に搭載した外界センサB321により検出(センシング)した第一の移動体(第1の車両701)の外界に存在する物体あるいは表示の位置情報を補正する補正機能(位置補正処理部A171)と、を有する。
これにより、上述した実施例1と同様の作用効果が得られることに加えて、利用可能なシーンが多くなるので、利便性が向上する。
[実施例3]
本発明の実施例3の機能ブロックの構成例について図12を用いて説明する。なお、ハードウェア構成自体は、実施例1で図2に基づき説明したものとほぼ同じである。実施例1、2と同じ機能を有する部分には同じ符号を付して詳細説明を省略し、以下においては、相違点を重点的に説明する。
本発明の実施例3の機能ブロックの構成例について図12を用いて説明する。なお、ハードウェア構成自体は、実施例1で図2に基づき説明したものとほぼ同じである。実施例1、2と同じ機能を有する部分には同じ符号を付して詳細説明を省略し、以下においては、相違点を重点的に説明する。
なお、図12に示す実施例3は、実施例2の構成をベースに例示しているが、実施例1の構成にも同様に適用可能であることは当然である。
本実施例3において、情報処理装置(タイプFB)300Bは実施例2と同じである。
但し、情報処理装置(タイプFB)300Bは、当該装置を搭載する第2の車両702の位置基準点705に対する外界センサB321の相対位置を示すベクトルC603を通信処理部B351からの送信情報に含める(図13参照)。また、情報処理装置(タイプFB)300Bは、情報処理装置(タイプFB)300Bを搭載する第2の車両702の識別情報も送出情報に必ず含める。
但し、情報処理装置(タイプFB)300Bは、当該装置を搭載する第2の車両702の位置基準点705に対する外界センサB321の相対位置を示すベクトルC603を通信処理部B351からの送信情報に含める(図13参照)。また、情報処理装置(タイプFB)300Bは、情報処理装置(タイプFB)300Bを搭載する第2の車両702の識別情報も送出情報に必ず含める。
情報処理装置(タイプEC)100Cの構成を説明する。本実施例3の情報処理装置(タイプEC)100Cは、実施例2で示した情報処理装置(タイプEB)100Bの構成に対し、位置算出部173及び位置誤差管理部175を追加している。また、基準特徴点マッチング処理部161の出力も、位置補正処理部A171ではなく位置算出部173に接続している。
位置算出部173は、情報処理装置(タイプFB)300Bを搭載する車両702の位置基準点705の位置を、基準特徴点マッチング処理部161の出力(マッチング結果)を基に算出する部分である。この算出方法について図13を用いて説明する。図13は、図4の交差点の状況に対応する。
情報処理装置(タイプFB)300Bからは、外界センサB321から基準特徴点である位置ずれした交差点マーク特徴点762の相対位置を示すベクトルA601及び車両702の位置基準点705からの外界センサB321への相対位置を示すベクトルC603が送信される。但し、ベクトルA601及びベクトルC603の算出の基準になる座標系は同一であるものとする。
位置算出部173は、基準特徴点マッチング処理部161から提供される基準特徴点である位置ずれした交差点マーク特徴点762に対応する交差点マーク特徴点752の基準特徴点マップA118における位置から、ベクトルA601及びベクトルC603を減算することで、基準特徴点マップA118に対応する車両702の位置基準点705を求める。
位置誤差管理部175は、情報処理装置(タイプFB)300Bを搭載する車両毎に、各車両から送信される各車両の位置及び向き情報と、位置算出部173から出力される各車両の位置及び向き情報を比較し、誤差としてその最大値及び直近の一定期間の揺らぎの範囲、平均値及び平均値の直近一定期間の安定度を管理する。そして、位置誤差管理部175は、差の最大値や揺らぎの大きさが一定以上になった場合、及び平均値の安定度が一定以下になった場合、当該車両の情報は用いないように認識結果統合処理部181へ通知する。言い換えれば、位置誤差管理部175は、当該位置誤差管理部175により管理された位置の誤差の情報を確認し、その確認結果を認識結果統合処理部181に出力し、認識結果統合処理部181は、位置誤差管理部175からの出力を基に、位置の誤差の情報を利用する車両などを選択する。また、位置誤差管理部175は、位置補正処理部A171に平均値を伝送する。
位置補正処理部A171は、位置誤差管理部175から得た位置誤差の平均値を用いて、情報処理装置(タイプFB)300Bから得られる物体の位置などを補正し、認識結果統合処理部181へ送る。但し、その際に対応付けのとれた基準特徴点の情報が存在する場合には、実施例2と同様に物体の位置などを補正しても良い。
対応付けがとれた基準特徴点の情報が存在しない場合、すなわち図13に示す例においてベクトルA601が得られない場合、位置誤差管理部175から得た位置誤差の平均値を用いた補正が必須となる。この場合は、情報処理装置(タイプFB)300Bを搭載した車両702から送信される当該車両702の位置(位置基準点705の位置)及び向きを位置誤差管理部175から得た位置誤差の平均値で補正した上で位置及び向き情報の基準として利用し、ベクトルB602とベクトルC603を加算した値を用いることで、位置ずれした自転車732に対応する自転車731の位置、すなわち補正された位置を求める。
認識結果統合処理部181は、実施例2と基本的に同じ動作を行う。但し、前述したように、位置誤差管理部175から利用しないように指示された車両からの情報は用いない機能を追加する。
実施例3では、情報を提供する車両毎に位置誤差管理部175で位置誤差を管理できるため、位置情報が不正確と思われる車両を検出でき、精度が不十分な情報処理装置から得た物体または表示の認識情報に含まれる位置情報を無視することが可能となる。また、位置誤差管理部175が各車両の位置誤差の平均値を保持することになるので、位置補正を行いたいタイミングで基準特徴点が無い場合でも、当該保持内容を利用して位置補正を行うことができる。
例えば、図14に示すように、情報処理装置(タイプFB)300Bを搭載する第2の車両702の後方に情報処理装置(タイプEC)100Cを搭載する第1の車両701が存在し、それらの周りに複数の周辺車両711が存在する場合を想定する。図中、783は左側の車線(区画線)、785は右側の車線(区画線)、773は特徴点を含む第3の標識である。この場合、情報処理装置(タイプEC)100Cは、第1の車両701および第2の車両702の前方にある基準特徴点となる特徴点を含む第3の標識773を用いて第2の車両702の位置誤差を算出し、位置誤差管理部175で管理する。その後、図15に示すように、第2の車両702が第3の標識773を通過して基準特徴点を検出できない場所において、落下物781を検出(認識)して通知する場合、第2の車両702の位置誤差の影響で、落下物781の位置が位置ずれした落下物782、左側の車線(区画線)783の位置が位置ずれした左側の車線(区画線)784、右側の車線(区画線)785の位置が位置ずれした右側の車線(区画線)786として送信され、第1の車両701(の情報処理装置(タイプEC)100C)が受信したとする。実施例1または実施例2の構成では、このような状況において、基準特徴点の位置情報がなく落下物781の位置補正を行えないが、実施例3の構成では、それ以前に算出して位置誤差管理部175が管理する情報で、落下物781の位置補正を行うことができる。
なお、情報処理装置(タイプEC)100Cに情報処理装置(タイプFB)300Bの機能を付加し、第1の車両701と第2の車両702の双方に搭載することで、双方に基準特徴点や物体または表示の位置情報を送信することができ、お互いの車両で他車の物体または表示の位置情報を補正して利用することができるのは、実施例2と同じである。また、情報処理装置(タイプEC)100Cが複数の情報処理装置(タイプFB)300Bと通信することも、実施例2と同様に可能である。
以上で説明したように、本実施例3の情報処理装置(タイプEC)100Cは、上述した実施例1、2と同様に、受信機能(通信処理部A151)と、マッチング機能(基準特徴点マッチング処理部161)と、補正機能(位置補正処理部A171)と、を有する。
また、本実施例3の情報処理装置(タイプEC)100Cは、第二の移動体または静止物(第2の車両702または交差点監視カメラ811)に搭載した外界センサB321によるセンシング情報から抽出された、位置の基準となる環境地図の構成情報(基準特徴点)、及び前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)の位置情報を受信する受信機能(通信処理部A151)と、前記受信機能により得た前記環境地図の構成情報(基準特徴点)を当該情報処理装置(タイプEC)100Cが備える機能により得た環境地図の構成情報(基準特徴点)とマッチング処理するマッチング機能(基準特徴点マッチング処理部161)と、前記マッチング機能のマッチング結果を用いて、前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)の位置を算出する位置算出機能(位置算出部173)と、前記位置算出機能の算出結果を前記受信機能により得た前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)の位置情報と比較することで、前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)が認識している前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)の位置の誤差を検出する誤差検出機能(位置誤差管理部175)と、を有する。
また、本実施例3の情報処理装置(タイプEC)100Cは、前記誤差検出結果を用いて、前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)に搭載した外界センサB321により検出した第一の移動体(第1の車両701)の外界に存在する物体あるいは表示の位置情報を補正する補正機能(位置補正処理部A171)をさらに有する。
また、本実施例3の情報処理装置(タイプEC)100Cは、前記誤差検出結果を管理する誤差管理機能(位置誤差管理部175)をさらに有し、前記誤差管理機能により管理された前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)の位置の誤差を用いて、前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)に搭載した外界センサB321により検出した第一の移動体(第1の車両701)の外界に存在する物体あるいは表示の位置情報を修正する修正機能(位置補正処理部A171)や、前記誤差管理機能により管理された前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)の位置の誤差の情報を確認し、前記位置の誤差の情報を利用する前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)を選択する選択機能(認識結果統合処理部181)をさらに有する。
本実施例3によれば、上述した実施例1、2に加えて、他車(の情報処理装置(タイプFB)300B)は、他車自体の位置情報についても送信し、自車(の情報処理装置(タイプEC)100C)は、受信した他車自体の位置情報と、他車で検出した特徴点(基準特徴点)の位置、自車で把握している当該特徴点(基準特徴点)の位置の関係から、他車自体で把握している当該他車の位置情報の誤差を確認し、当該誤差が大きい場合や不安定な場合には、当該他車からの位置情報の使用を避ける。
このように、本実施例3では、上述した実施例1、2と同様の作用効果が得られることに加えて、他車が自ら検出している当該他車の位置と自車が算出した当該他車に搭載した外界センサB321の位置を比較することにより当該他車の位置精度を把握することで、位置情報利用には不適切な他車を検出できるので、当該他車が提供する検出物体あるいは表示の位置情報や当該他車が自ら検出した当該他車の位置情報の利用を制限することで、先進安全システムや自動運転システムの動作への悪影響を抑制することが可能になる。
[実施例4]
本発明の実施例4の機能ブロックの構成例について図16を用いて説明する。なお、ハードウェア構成自体は、実施例1で図2に基づき説明したものとほぼ同じである。実施例1、2、3と同じ機能を有する部分には同じ符号を付して詳細説明を省略し、以下においては、相違点を重点的に説明する。
本発明の実施例4の機能ブロックの構成例について図16を用いて説明する。なお、ハードウェア構成自体は、実施例1で図2に基づき説明したものとほぼ同じである。実施例1、2、3と同じ機能を有する部分には同じ符号を付して詳細説明を省略し、以下においては、相違点を重点的に説明する。
なお、図16に示す実施例4は、実施例2、3の構成をベースに例示しているが、実施例1の構成にも同様に適用可能であることは当然である。
本実施例4は、実施例3で物体または表示の位置情報を受信する側である情報処理装置(タイプEC)100Cに集約していた位置情報の補正機能の一部を、物体または表示の位置情報を送出する側の情報処理装置(タイプFB)300Bに移動したしたものである。
本実施例4の情報処理装置(タイプFD)300Dは、実施例3で示した情報処理装置(タイプFC)300Cに対し、位置補正処理部B371を追加している。位置補正処理部B371は、情報処理装置(タイプED)100Dから送出された情報処理装置(タイプFD)300Dを搭載する車両位置のずれ情報(位置誤差管理部175で管理)を基に、車両位置検出部B301が検出した車両の位置及び向きの情報を補正する。
情報処理装置(タイプED)100Dは、実施例3で示した情報処理装置(タイプEC)100Cから位置補正処理部A171を削除し、位置誤差管理部175と通信処理部A151を双方向で情報のやりとりを可能にして、位置誤差管理部175で管理している位置誤差の情報を情報処理装置(タイプFB)300B側に送信することが可能となっている。
情報処理装置(タイプED)100D側で検出した位置誤差情報を基に、情報処理装置(タイプFD)300D側で車両位置検出部B301が検出した車両の位置及び向きの情報を補正することから、物体位置検出誤差も抑制できるので、情報処理装置(タイプED)100Dでの位置補正処理の必要性は低下する。また、位置誤差情報を情報処理装置(タイプFD)300D側で利用できるため、情報処理装置(タイプFD)300Dは、複数の車両から大きい誤差を通知された場合に、車両位置検出部B301などに不具合が発生した可能性が高いと判断して、故障検出することに利用することも考えられる。
なお、実施例4の構成であっても、情報処理装置(タイプFD)300Dが複数の情報処理装置(タイプED)100Dを搭載した車両と通信するなどした結果、ある情報処理装置(タイプED)100Dを搭載した車両からの車両位置のずれ情報を無視する場合も考えられるため、情報処理装置(タイプED)100Dにも位置補正機能(位置補正処理部A171)を搭載して、情報処理装置(タイプFD)300D側での補正に関わらず位置補正を行うことも考えられる。
以上で説明したように、本実施例4の情報処理装置(タイプED)100Dは、上述した実施例3と同様に、受信機能(通信処理部A151)、マッチング機能(基準特徴点マッチング処理部161)、位置算出機能(位置算出部173)、誤差検出機能(位置誤差管理部175)、誤差管理機能(位置誤差管理部175)などを有するとともに、前記誤差管理機能により管理された前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)の位置の誤差の情報を、前記第二の移動体または静止物(第2の車両702または交差点監視カメラ811)に送信する送信機能(通信処理部A151)をさらに有する。
これにより、上述した実施例1、2、3と同様の作用効果が得られることに加えて、情報処理装置(タイプED)100Dの構成簡素化、情報処理装置(タイプFD)300Dの信頼性向上などを図ることができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
11…位置情報番号、12…センサID、13…経度オフセット、14…緯度オフセット、15…高度オフセット、16…物体ID、17…種別、18…幅、19…高さ、20…信頼度、51…第3の特徴点、52…第4の特徴点、100A…情報処理装置(タイプEA)(外界センシング情報処理装置)、100B…情報処理装置(タイプEB)(外界センシング情報処理装置)、100C…情報処理装置(タイプEC)(外界センシング情報処理装置)、100D…情報処理装置(タイプED)(外界センシング情報処理装置)、101…車両位置検出部A、111…基準特徴点抽出処理部A、116…基準特徴点選択処理部A、117…基準特徴点選択処理部AB、118…基準特徴点マップA、121…外界センサA、122…外界センサ接続部A、131…時刻管理部A、141…認識処理部A、151…通信処理部A、161…基準特徴点マッチング処理部、171…位置補正処理部A、173…位置算出部、175…位置誤差管理部、181…認識結果統合処理部、191…外界認識出力A、195…判断情報入力A、200…ECU、210…マイコン、221…主記憶装置、226…フラッシュメモリ、231…CANトランシーバ、236…センサインタフェース、237…外界センサモジュール、241…V2Xモジュール、242…V2Xアンテナ、246…GPSモジュール、251…CANバス、300A…情報処理装置(タイプFA)、300B…情報処理装置(タイプFB)、300D…情報処理装置(タイプFD)、301…車両位置検出部B、311…基準特徴点抽出処理部B、316…基準特徴点選択処理部B、318…基準特徴点マップB、321…外界センサB、322…外界センサ接続部B、331…時刻管理部B、341…認識処理部B、351…通信処理部B、371…位置補正処理部B、391…外界認識出力B、601…ベクトルA、602…ベクトルB、603…ベクトルC、604…ベクトルX、701…第1の車両、702…第2の車両、703…第3の車両、711…周辺車両、723…標識板の最も地面に近い部分、725…標識板、727…支柱、731…自転車、732…位置ずれした自転車、751…交差点マーク、752…交差点マーク特徴点、753…第1の停止線、754…第1の支柱の根元、755…第2の停止線、756…第2の支柱の根元、761…位置ずれした交差点マーク、762…位置ずれした交差点マーク特徴点、765…位置ずれした第2の停止線、766…位置ずれした第2の支柱の根元、773…標識、781…落下物、782…位置ずれした落下物、783…左側の車線、784…位置ずれした左側の車線、785…右側の車線、786…位置ずれした右側の車線、791…壁、811…交差点監視カメラ、900…環境地図、901…環境地図上の第1の車両、902…環境地図上の第2の車両、931…環境地図上の自転車、951…環境地図上の交差点マーク、952…環境地図上の交差点マーク特徴点
Claims (15)
- 第一の移動体の外界に存在する物体あるいは表示の位置検出を行う外界センシング情報処理装置において、
第二の移動体または静止物に搭載した外界センサによるセンシング情報から抽出された、位置の基準となる環境地図の構成情報を受信する受信機能と、
前記受信機能により得た前記環境地図の構成情報を当該センシング情報処理装置が備える機能により得た環境地図の構成情報とマッチング処理するマッチング機能と、
前記マッチング機能のマッチング結果を用いて、前記第二の移動体または静止物に搭載した外界センサにより検出した前記外界に存在する物体あるいは表示の位置情報を補正する補正機能と、を有することを特徴とする、外界センシング情報処理装置。 - 請求項1に記載の外界センシング情報処理装置において、
前記第二の移動体または静止物に搭載した外界センサの動きが静止した際に、前記環境地図の構成情報のマッチング処理を一度行った以降、前記第二の移動体または静止物に搭載した外界センサの移動が発生するまで、前記環境地図の構成情報の前記マッチング処理を停止もしくは前記環境地図の構成情報の前記マッチング処理の処理間隔を長くすることを特徴とする、外界センシング情報処理装置。 - 請求項1に記載の外界センシング情報処理装置において、
複数の前記第二の移動体または静止物に搭載した外界センサによるセンシング情報を受信する場合において、前記第一の移動体が交差点に接近する場合には、前記交差点に集まる道路ごとで前記交差点の方向を向いており、前記交差点に最も近い前記第二の移動体または静止物に搭載した外界センサによる前記センシング情報を優先的に利用することを特徴とする、外界センシング情報処理装置。 - 請求項3に記載の外界センシング情報処理装置において、
前記第一の移動体の向きに対して直角となる方向に近い向きの前記第二の移動体または静止物に搭載した外界センサによる前記センシング情報を優先的に利用することを特徴とする、外界センシング情報処理装置。 - 請求項1に記載の外界センシング情報処理装置において、
前記第一の移動体に搭載した外界センサによるセンシング情報から抽出された、前記位置の基準となる環境地図の構成情報となる基準特徴点の位置情報を用いて、もしくは、
前記位置の基準となる環境地図の構成情報を地図データとして持ち、前記地図データに存在する基準特徴点の位置情報を用いて、
前記環境地図の構成情報の前記マッチング処理を行うことを特徴とする、外界センシング情報処理装置。 - 第一の移動体の外界に存在する物体あるいは表示の位置検出を行う外界センシング情報処理装置において、
第二の移動体または静止物に搭載した外界センサによるセンシング情報から抽出された、位置の基準となる環境地図の構成情報、及び前記第二の移動体または静止物の位置情報を受信する受信機能と、
前記受信機能により得た前記環境地図の構成情報を当該センシング情報処理装置が備える機能により得た環境地図の構成情報とマッチング処理するマッチング機能と、
前記マッチング機能のマッチング結果を用いて、前記第二の移動体または静止物の位置を算出する位置算出機能と、
前記位置算出機能の算出結果を前記受信機能により得た前記第二の移動体または静止物の位置情報と比較することで、前記第二の移動体または静止物が認識している前記第二の移動体または静止物の位置の誤差を検出する誤差検出機能と、を有することを特徴とする、外界センシング情報処理装置。 - 請求項6に記載の外界センシング情報処理装置において、
前記第一の移動体に搭載した外界センサによるセンシング情報から抽出された、前記位置の基準となる環境地図の構成情報となる基準特徴点の位置情報を用いて、もしくは、
前記位置の基準となる環境地図の構成情報を地図データとして持ち、前記地図データに存在する基準特徴点の位置情報を用いて、
前記環境地図の構成情報の前記マッチング処理を行うことを特徴とする、外界センシング情報処理装置。 - 請求項6に記載の外界センシング情報処理装置において、
前記第二の移動体または静止物の位置の誤差を検出した誤差検出結果を用いて、前記第二の移動体または静止物に搭載した外界センサにより検出した前記外界に存在する物体あるいは表示の位置情報を補正する補正機能をさらに有することを特徴とする、外界センシング情報処理装置。 - 請求項6に記載の外界センシング情報処理装置において、
前記第二の移動体または静止物の位置の誤差を検出した誤差検出結果を管理する誤差管理機能をさらに有することを特徴とする、外界センシング情報処理装置。 - 請求項9に記載の外界センシング情報処理装置において、
前記誤差管理機能により管理された前記第二の移動体または静止物の位置の誤差を用いて、前記第二の移動体または静止物に搭載した外界センサにより検出した前記外界に存在する物体あるいは表示の位置情報を修正する修正機能をさらに有することを特徴とする、外界センシング情報処理装置。 - 請求項6に記載の外界センシング情報処理装置において、
前記第二の移動体または静止物に搭載した外界センサの動きが静止した際に、前記環境地図の構成情報のマッチング処理を一度行った以降、前記第二の移動体または静止物に搭載した外界センサの移動が発生するまで、前記環境地図の構成情報の前記マッチング処理を停止もしくは前記環境地図の構成情報の前記マッチング処理の処理間隔を長くすることを特徴とする、外界センシング情報処理装置。 - 請求項6に記載の外界センシング情報処理装置において、
複数の前記第二の移動体または静止物に搭載した外界センサによるセンシング情報を受信する場合において、前記第一の移動体が交差点に接近する場合には、前記交差点に集まる道路ごとで前記交差点の方向を向いており、前記交差点に最も近い前記第二の移動体または静止物に搭載した外界センサによる前記センシング情報を優先的に処理することを特徴とする、外界センシング情報処理装置。 - 請求項12に記載の外界センシング情報処理装置において、
前記第一の移動体の向きに対して直角となる方向に近い向きの前記第二の移動体または静止物に搭載した外界センサによる前記センシング情報を優先的に処理することを特徴とする、外界センシング情報処理装置。 - 請求項9に記載の外界センシング情報処理装置において、
前記誤差管理機能により管理された前記第二の移動体または静止物の位置の誤差の情報を、前記第二の移動体または静止物に送信する送信機能をさらに有することを特徴とする、外界センシング情報処理装置。 - 請求項9に記載の外界センシング情報処理装置において、
複数の前記第二の移動体または静止物に搭載した外界センサによるセンシング情報を受信する場合に、前記誤差管理機能により管理された前記第二の移動体または静止物の位置の誤差の情報を確認し、前記位置の誤差の情報を利用する前記第二の移動体または静止物を選択する選択機能をさらに有することを特徴とする、外界センシング情報処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20773709.9A EP3907108A4 (en) | 2019-03-20 | 2020-02-06 | DEVICE FOR PROCESSING EXTERNAL MEASUREMENT INFORMATION |
US17/428,495 US20220099445A1 (en) | 2019-03-20 | 2020-02-06 | Outside sensing information processing device |
CN202080012171.XA CN113557173A (zh) | 2019-03-20 | 2020-02-06 | 外界感测信息处理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019052098A JP7199269B2 (ja) | 2019-03-20 | 2019-03-20 | 外界センシング情報処理装置 |
JP2019-052098 | 2019-03-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020189069A1 true WO2020189069A1 (ja) | 2020-09-24 |
Family
ID=72519292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/004481 WO2020189069A1 (ja) | 2019-03-20 | 2020-02-06 | 外界センシング情報処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220099445A1 (ja) |
EP (1) | EP3907108A4 (ja) |
JP (1) | JP7199269B2 (ja) |
CN (1) | CN113557173A (ja) |
WO (1) | WO2020189069A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018132608A2 (en) * | 2017-01-12 | 2018-07-19 | Mobileye Vision Technologies Ltd. | Navigation based on occlusion zones |
DE102019206021A1 (de) * | 2019-04-26 | 2020-10-29 | Robert Bosch Gmbh | Verfahren zur Erkennung einer Funktionsfähigkeit eines Umgebungssensors, Steuergerät und Fahrzeug |
DE102019128253A1 (de) * | 2019-10-18 | 2021-04-22 | StreetScooter GmbH | Verfahren zum Navigieren eines Flurförderzeugs |
JP7294200B2 (ja) * | 2020-03-16 | 2023-06-20 | トヨタ自動車株式会社 | 情報処理装置、車両システム、情報処理方法、およびプログラム |
DE102021205593B3 (de) | 2021-06-01 | 2022-10-13 | Continental Autonomous Mobility Germany GmbH | Verfahren und System zur Korrektur einer Position zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs |
JPWO2022255074A1 (ja) * | 2021-06-03 | 2022-12-08 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07286858A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 障害物検知装置及び障害物検知装置を備えるナビゲーション装置 |
JP2009150711A (ja) * | 2007-12-19 | 2009-07-09 | Sumitomo Electric Ind Ltd | 位置特定装置、コンピュータプログラム及び位置特定方法 |
JP2015012566A (ja) * | 2013-07-02 | 2015-01-19 | 日本電信電話株式会社 | 通信装置 |
JP2018081609A (ja) | 2016-11-18 | 2018-05-24 | 株式会社オートネットワーク技術研究所 | 車両用物体検知装置及び車両用物体検知システム |
US20180151071A1 (en) * | 2016-11-30 | 2018-05-31 | Hyundai Motor Company | Apparatus and method for recognizing position of vehicle |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008012655A1 (de) * | 2007-05-30 | 2008-12-04 | Continental Teves Ag & Co. Ohg | Relative Positionsbestimmung von Fahrzeugen |
JP2015125669A (ja) | 2013-12-27 | 2015-07-06 | 日立オートモティブシステムズ株式会社 | 車両制御装置、車両制御装置を搭載した車両、及び、移動体検出方法 |
KR20150078881A (ko) * | 2013-12-31 | 2015-07-08 | 현대자동차주식회사 | 클라우드 컴퓨팅을 통한 차량 위치 측정방법 |
WO2015190212A1 (ja) * | 2014-06-10 | 2015-12-17 | クラリオン株式会社 | 車線選択装置、車両制御システム及び車線選択方法 |
JP6464978B2 (ja) * | 2015-10-02 | 2019-02-06 | 株式会社デンソー | 位置推定装置 |
CN106896393B (zh) * | 2015-12-21 | 2020-01-10 | 财团法人车辆研究测试中心 | 车辆协同式物体定位优化方法及车辆协同定位装置 |
US10459455B2 (en) * | 2016-07-28 | 2019-10-29 | Lg Electronics Inc. | Vehicle control apparatus and vehicle including the same |
JP6817753B2 (ja) * | 2016-09-09 | 2021-01-20 | 株式会社 ミックウェア | 通信装置、プログラム及びプログラムを記録した記録媒体 |
WO2018132608A2 (en) * | 2017-01-12 | 2018-07-19 | Mobileye Vision Technologies Ltd. | Navigation based on occlusion zones |
KR102215325B1 (ko) * | 2017-02-28 | 2021-02-15 | 현대자동차주식회사 | 차량의 위치 추정 장치 및 방법과 이를 이용한 차량 |
-
2019
- 2019-03-20 JP JP2019052098A patent/JP7199269B2/ja active Active
-
2020
- 2020-02-06 US US17/428,495 patent/US20220099445A1/en active Pending
- 2020-02-06 WO PCT/JP2020/004481 patent/WO2020189069A1/ja unknown
- 2020-02-06 CN CN202080012171.XA patent/CN113557173A/zh active Pending
- 2020-02-06 EP EP20773709.9A patent/EP3907108A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07286858A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 障害物検知装置及び障害物検知装置を備えるナビゲーション装置 |
JP2009150711A (ja) * | 2007-12-19 | 2009-07-09 | Sumitomo Electric Ind Ltd | 位置特定装置、コンピュータプログラム及び位置特定方法 |
JP2015012566A (ja) * | 2013-07-02 | 2015-01-19 | 日本電信電話株式会社 | 通信装置 |
JP2018081609A (ja) | 2016-11-18 | 2018-05-24 | 株式会社オートネットワーク技術研究所 | 車両用物体検知装置及び車両用物体検知システム |
US20180151071A1 (en) * | 2016-11-30 | 2018-05-31 | Hyundai Motor Company | Apparatus and method for recognizing position of vehicle |
Non-Patent Citations (1)
Title |
---|
See also references of EP3907108A4 |
Also Published As
Publication number | Publication date |
---|---|
EP3907108A1 (en) | 2021-11-10 |
EP3907108A4 (en) | 2022-12-21 |
JP7199269B2 (ja) | 2023-01-05 |
US20220099445A1 (en) | 2022-03-31 |
CN113557173A (zh) | 2021-10-26 |
JP2020154666A (ja) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020189069A1 (ja) | 外界センシング情報処理装置 | |
US9378642B2 (en) | Vehicle control apparatus, target lead-vehicle designating apparatus, and vehicle control method | |
EP2637149B1 (en) | Onboard device and control method | |
US20180342160A1 (en) | Overhead structure determination device and driving assistance system | |
WO2015186647A1 (ja) | 障害物情報管理装置 | |
KR20200102004A (ko) | 충돌 방지 장치, 시스템 및 방법 | |
US20120101704A1 (en) | Method for operating at least one sensor of a vehicle and vehicle having at least one sensor | |
US7765057B2 (en) | Driving schedule creating device | |
CN111169444A (zh) | 一种公交车用碰撞缓解系统及方法 | |
TWI509275B (zh) | 用於交通工具之警示系統及警示方法 | |
US20200386897A1 (en) | Method for the Satellite-Supported Determination of a Position of a Vehicle | |
EP4148385A1 (en) | Vehicle navigation positioning method and apparatus, and base station, system and readable storage medium | |
KR102115905B1 (ko) | 운전자 보조 시스템 및 그 제어방법 | |
CN114556143A (zh) | 轴偏移估计装置 | |
JP2005258941A (ja) | 障害物検出装置 | |
WO2016126318A1 (en) | Method of automatically controlling an autonomous vehicle based on cellular telephone location information | |
US20210284153A1 (en) | Vehicle and method of controlling the same | |
CN113758482B (zh) | 车辆导航定位方法、装置、基站、系统及可读存储介质 | |
WO2021049233A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2018179782A (ja) | 障害物検知システム | |
KR20220111763A (ko) | V2v 통신 및 라이다 기반의 차량 추적 장치 및 방법 | |
KR20200087307A (ko) | 차량 및 그 제어방법 | |
WO2022244323A1 (ja) | 外界認識異常判定システム、車載装置、および、外界認識異常判定方法 | |
JP7454522B2 (ja) | 車両併合システム | |
JP7401273B2 (ja) | 移動体の制御装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20773709 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020773709 Country of ref document: EP Effective date: 20210803 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |