WO2019111702A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2019111702A1 WO2019111702A1 PCT/JP2018/042922 JP2018042922W WO2019111702A1 WO 2019111702 A1 WO2019111702 A1 WO 2019111702A1 JP 2018042922 W JP2018042922 W JP 2018042922W WO 2019111702 A1 WO2019111702 A1 WO 2019111702A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- map
- unit
- vehicle
- advance
- information processing
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 43
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 20
- 238000001514 detection method Methods 0.000 description 42
- 238000004891 communication Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 31
- 238000004458 analytical method Methods 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 9
- 230000010391 action planning Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036626 alertness Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本技術は、移動体の自己位置を高精度に求めることができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 マップ生成部は、移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、障害物の属性がラベリングされた属性付き占有格子地図を生成し、位置推定部は、属性付き占有格子地図と、あらかじめ用意された属性付き占有格子地図である事前地図とにおける、非動体の形状および属性についてのマッチングにより、移動体の位置を推定する。本技術は、車載用の車両制御システムに適用することができる。
Description
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、移動体の自己位置を高精度に求めることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
近年、車両やロボットなどの、自律移動する移動体の自己位置を求めるための様々な手法が提案されている。
例えば、特許文献１には、平らな壁面や一定の高さの障害物などの、移動体周囲における環境構造を用いることで、移動体の自己位置を推定する手法が開示されている。
しかしながら、特許文献１の手法においては、環境構造の形状を利用して移動体の自己位置を推定しているため、似たような形状の環境構造が存在する場所では、自己位置を誤る可能性があった。
本技術は、このような状況に鑑みてなされたものであり、移動体の自己位置を高精度に求めることができるようにするものである。
本技術の一側面の情報処理装置は、移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成するマップ生成部と、前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性についてのマッチングにより、前記移動体の位置を推定する位置推定部とを備える。
本技術の一側面の情報処理方法は、情報処理装置が、移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成し、前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置を推定する情報処理方法である。
本技術の一側面のプログラムは、コンピュータに、移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成し、前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置を推定する処理を実行させるプログラムである。
本技術の一側面においては、移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図が生成され、前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置が推定される。
本技術の一側面によれば、移動体の自己位置を高精度に求めることが可能となる。
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（自己位置を推定する構成）
２．事前マップの生成方法
３．第２の実施の形態（自動運転を行う構成）
４．第３の実施の形態（ウェイポイントを修正する構成）
５．移動体制御システムの例
６．その他
２．事前マップの生成方法
３．第２の実施の形態（自動運転を行う構成）
４．第３の実施の形態（ウェイポイントを修正する構成）
５．移動体制御システムの例
６．その他
＜１．第１の実施の形態＞
（車両制御装置の構成例）
図１は、本技術を適用した第１の実施の形態の車両制御装置の構成例を示すブロック図である。
（車両制御装置の構成例）
図１は、本技術を適用した第１の実施の形態の車両制御装置の構成例を示すブロック図である。
図１の車両制御装置１０は、自動車などの車両に搭載され、いわゆる電子制御装置（ＥＣＵ）などの一部として構成される。車両制御装置１０は、車両に搭載されたカメラ１１やＬｉＤＡＲ（Light Detection and Ranging，Laser Imaging Detection and Ranging）１２からの信号に基づいて、車両の位置を推定する。
カメラ１１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサなどの固体撮像素子を備え、車両の前方を撮像する。撮像された画像は車両制御装置１０に出力される。
ＬｉＤＡＲ１２は、ＴｏＦ（Time of Flight）方式を利用して、車両の前方にレーザ光を投光し、障害物で反射した反射光を受光することで、車両の前方にある障害物までの距離を測定する。測定結果として得られた距離情報は車両制御装置１０に出力される。
なお、カメラ１１をステレオカメラとして構成することで、カメラ１１が取得した車両の前方の奥行き方向の情報を距離情報として、車両制御装置１０に出力されるようにしてもよい。この場合、ＬｉＤＡＲ１２を省略することができる。
次に、車両制御装置１０の詳細な構成について説明する。
車両制御装置１０は、デプスデータ生成部２１、セマンティックセグメンテーション部２２、ビジュアルオドメトリ部２３、マップ生成部２４、エッジ抽出部２５、位置推定部２６、および事前マップ記憶部２７を備える。
デプスデータ生成部２１は、カメラ１１からの画像と、ＬｉＤＡＲ１２（またはカメラ１１）からの距離情報に基づいて、カメラ１１の撮像範囲内にある障害物までの距離を示すデプスデータ（距離画像）を生成する。生成されたデプスデータは、マップ生成部２４に供給される。
セマンティックセグメンテーション部２２は、ディープラーニングなどの機械学習によるセマンティックセグメンテーションにより、カメラ１１からの画像について、画素単位で被写体の属性を判定し、各画素に対してその属性をラベリングする。
被写体の属性としては、例えば、自車両の周囲の空間に存在する他の車両（他車両）、バイク、自転車、人（歩行者）、ビルなどの建物、街路樹、信号機、電柱などがある。被写体の属性がラベリングされた画像データは、セマンティックセグメンテーションデータとして、マップ生成部２４に供給される。
ビジュアルオドメトリ部２３は、カメラ１１からの画像について、フレーム間の差分に基づいて、画像上の特徴点の座標の変位を検知することにより、移動している自車両の速度、位置、および方向を算出する。算出された速度、位置、方向を示す運動データは、マップ生成部２４に供給される。
マップ生成部２４は、デプスデータ生成部２１、セマンティックセグメンテーション部２２、およびビジュアルオドメトリ部２３からの各データを用いて、属性付き占有格子地図を生成し、エッジ抽出部２５に供給する。属性付き占有格子地図は、自車両の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図（Occupancy Grid Map）に、その障害物の属性がラベリングされたデータである。
占有格子地図においては、自車両を基準とする一定の範囲内の領域が、格子状に複数のセルに分割され、各セルに障害物が存在するか否かを示す値が設定される。これにより、占有格子地図は、障害物が存在する領域、障害物が存在しないフリースペース、障害物が存在するか定かではない未知の領域に区分される。
そして、属性付き占有格子地図においては、占有格子地図の障害物が存在する領域に、セマンティックセグメンテーションデータに基づいた属性が付与される。
このようにして得られた属性付き占有格子地図を、以下においては、ラベル付きOccupancy Mapという。
エッジ抽出部２５は、マップ生成部２４からのラベル付きOccupancy Mapにおいて、障害物のうちの非動体とフリースペースとの間のエッジ部分を抽出する。
ここでいう非動体は、ビルなどの建物、街路樹、信号機、電柱といった通常移動することのない障害物をいう。したがって、ラベル付きOccupancy Mapにおいて、移動する可能性のある他車両、バイク、自転車、人などの動体の属性が付与された障害物は考慮されなくなる。
エッジ部分が抽出されたラベル付きOccupancy Map（以下、エッジ画像という）は、位置推定部２６に供給される。
位置推定部２６は、ラベル付きOccupancy Mapと、事前マップ記憶部２７に記憶されている事前マップ（事前地図）とにおける、非動体の形状および属性についてのマッチングにより、自車両の位置（自己位置）を推定する。事前マップは、あらかじめ用意されたラベル付きOccupancy Mapであり、世界座標系の座標を示すものであってもよいし、ローカル座標系の座標を示すものであってもよい。事前マップは、地図データを提供するベンダなどによって生成されたり、車両自体が事前に走行することで生成されたりする。
具体的には、位置推定部２６は、エッジ抽出部２５からのエッジ画像と、事前マップ記憶部２７に記憶されている事前マップにおける非動体とフリースペースとの間のエッジ部分とにおける、非動体の形状および属性についてのマッチングを行う。マッチングを行うことにより、緯度と経度を表す位置情報、さらには車両の姿勢を表す姿勢情報が得られる。
また、位置推定部２６は、マッチングの結果として得られた位置情報を、ビジュアルオドメトリ部２３からの運動データに基づいてフィルタリングする。ここでは、例えばカルマンフィルタを用いることで、自己位置を予測した予測結果と、得られた位置情報とを比較し、重み付け加算する処理が行われる。また、パーティクルフィルタを用いた処理が行われるようにしてもよい。この場合、ビジュアルオドメトリ部２３により算出された速度の予測結果を用いて、パーティクルフィルタの各パーティクルの位置を更新し、各位置における事前マップとのマッチング結果を尤度としてパーティクルを生成し、最終的な位置を求める処理が行われる。
（自己位置推定処理）
次に、図２のフローチャートを参照して、車両制御装置１０により実行される自己位置推定処理について説明する。図２の処理は、車両の走行中、カメラ１１からの画像が車両制御装置１０に出力されることで実行される。
次に、図２のフローチャートを参照して、車両制御装置１０により実行される自己位置推定処理について説明する。図２の処理は、車両の走行中、カメラ１１からの画像が車両制御装置１０に出力されることで実行される。
なお、図２の処理は、カメラ１１による撮像のフレームレートと同期して繰り返し実行されてもよいし、所定のフレーム数を周期として繰り返し実行されてもよい。
ステップＳ１１において、マップ生成部２４は、デプスデータ、運動データ、およびセマンティックセグメンテーションデータを用いて、ラベル付きOccupancy Mapを生成する。
デプスデータ、運動データ、およびセマンティックセグメンテーションデータは、それぞれデプスデータ生成部２１、ビジュアルオドメトリ部２３、およびセマンティックセグメンテーション部２２により生成され、マップ生成部２４に供給される。
図３は、あるタイミングでの走行中の車両の周囲の環境の例を示す図である。
図３上側には、自車両Ｃ０を含む自車両Ｃ０の進行方向の環境を示す鳥瞰図が、図３下側には、自車両Ｃ０から見た進行方向の環境を示す正面図が示されている。つまり、図３上側の鳥瞰図においては、図中上方向が、自車両Ｃ０の進行方向となり、図３下側の正面図においては、図中奥行き方向が、自車両Ｃ０の進行方向となる。
図３の例では、自車両Ｃ０の前方には、２台の他車両Ｃ１，Ｃ２が走行しており、そのさらに前方には、２台の他車両Ｃ３，Ｃ４と、バイクＭ１が走行している。自車両Ｃ０が走行する道路の左側には、建物Ｂ１が建ち、街路樹Ｗ１が植えられている。また、自車両Ｃ０が走行する道路の右側には、建物Ｂ２が建ち、街路樹Ｗ２が植えられている。
このような環境において得られた画像と距離情報に基づいて生成されたデプスデータ、運動データ、およびセマンティックセグメンテーションデータにより、図４に示されるラベル付きOccupancy Mapが生成される。
図４に示されるラベル付きOccupancy Map３０においては、障害物が存在しないフリースペースは白色で、障害物が存在するか定かではない未知の領域は灰色で、障害物が存在する領域は黒色で、それぞれ示されている。
ラベル付きOccupancy Map３０において、障害物が存在する領域のうち、他車両Ｃ１乃至Ｃ４に対応する領域ａ３１乃至ａ３４は、それぞれ属性が車両であることを示すラベル情報を有し、バイクＭ１に対応する領域ａ３５は、属性がバイクであることを示すラベル情報を有している。
また、ラベル付きOccupancy Map３０において、建物Ｂ１，Ｂ２に対応する領域ｂ３１，ｂ３２は、それぞれ属性が建物であることを示すラベル情報を有し、街路樹Ｗ１，Ｗ２に対応する領域ｃ３１，ｃ３２は、それぞれ属性が街路樹であることを示すラベル情報を有している。
図２のフローチャートに戻り、ステップＳ１２において、エッジ抽出部２５は、ラベル付きOccupancy Mapから、障害物のうちの非動体とフリースペースとの間のエッジ部分を抽出する。
すなわち、図４のラベル付きOccupancy Map３０において、動体である車両またはバイクのラベル情報を有する領域ａ３１乃至ａ３５を除いた障害物とフリースペースとの間のエッジ部分が抽出される。これにより、図５に示されるエッジ画像が生成される。
図５に示されるエッジ画像４０は、ラベル付きOccupancy Map３０の領域ｂ３１，ｂ３２のエッジ部分であるエッジ領域Ｅ４１，Ｅ４２と、領域ｃ３１，ｃ３２のエッジ部分であるエッジ領域Ｅ４３，Ｅ４４を有する。エッジ領域Ｅ４１，Ｅ４２は、建物のラベル情報を有し、エッジ領域Ｅ４３，Ｅ４４は、街路樹のラベル情報を有している。
すなわち、エッジ画像４０は、ラベル付きOccupancy Map３０における非動体の形状、および、その非動体の属性を示す情報となる。
図２のフローチャートに戻り、ステップＳ１３において、位置推定部２６は、ラベル付きOccupancy Mapで表現された事前マップから、エッジ部分のデータを取得する。
そして、ステップＳ１４において、位置推定部２６は、生成したラベル付きOccupancy Mapと事前マップのデータのマッチングを行うことで、自己位置を推定する。
図６は、事前マップの例を示す図である。
図６の事前マップ５０は、ラベル付きOccupancy Mapで表現された事前マップにおいて、障害物（非動体）とフリースペースとの間のエッジ部分が抽出されたエッジ画像として示される。事前マップ５０は、建物のラベル情報を有するエッジ領域Ｅ５１と、街路樹のラベル情報を有するエッジ領域Ｅ５２を有している。
事前マップ５０は、車両の走行中に生成されるラベル付きOccupancy Mapが示す範囲よりも十分に広い範囲を示す地図データである。したがって、図６の事前マップ５０は、事前マップ記憶部２７に記憶されている事前マップ５０全体のうちの特定の位置のデータを示すものである。
位置推定部２６は、事前マップ５０全体と、図５のエッジ画像４０における、エッジ領域の形状およびラベル情報のマッチングを行う。そして、位置推定部２６は、事前マップ５０全体で、エッジ画像４０におけるエッジ領域の形状およびラベル情報の一致度が最も高くなる位置を、自己位置とする。
具体的には、図７に示されるように、事前マップ５０全体において、エッジ画像４０のエッジ領域Ｅ４１，Ｅ４２とエッジ領域Ｅ５１、エッジ画像４０のエッジ領域Ｅ４３，Ｅ４４とエッジ領域Ｅ５２の形状およびラベル情報が一致する位置が、自己位置となる。
以上の処理によれば、他車両や歩行者などの動体の影響を受けることなく、ラベル付きOccupancy Mapと事前マップとのマッチングを行うことができるので、自車両の自己位置を高精度に求めることが可能となる。
（マッチングの他の例）
上述したラベル付きOccupancy Mapと事前マップとのマッチングにおいて、フリースペースのラベル情報をさらに用いるようにしてもよい。
上述したラベル付きOccupancy Mapと事前マップとのマッチングにおいて、フリースペースのラベル情報をさらに用いるようにしてもよい。
図８は、フリースペースにラベル情報を有するラベル付きOccupancy Mapの例を示している。
図８に示されるラベル付きOccupancy Map３０’においては、図４に示されるラベル付きOccupancy Map３０のフリースペース（白色領域）に、領域ｄ３１，ｅ３１乃至ｅ３３がさらに設定されている。領域ｄ３１は、属性が車道であることを示すラベル情報を有し、領域ｅ３１乃至ｅ３３は、それぞれ属性が歩道であることを示すラベル情報を有している。これらのラベル情報は、セマンティックセグメンテーションに基づくものである。
図８のラベル付きOccupancy Map３０’においては、動体である車両とバイクのラベル情報を有する領域ａ３１乃至ａ３５を除いた障害物とフリースペースとの間のエッジ部分と、フリースペースに設定されている領域が有するラベル情報が抽出される。これにより、図９に示されるエッジ画像が生成される。
図９に示されるエッジ画像４０’は、図５に示されるエッジ画像４０と同様のエッジ領域に加え、領域Ｒ４１乃至Ｒ４４を有している。領域Ｒ４１は、ラベル付きOccupancy Map３０’の領域ｄ３１に対応し、車道のラベル情報を有している。領域Ｒ４２乃至Ｒ４３は、ラベル付きOccupancy Map３０’の領域ｅ３１乃至ｅ３３に対応し、歩道のラベル情報を有している。
図１０は、事前マップの他の例を示している。
図１０の事前マップ５０’は、図６の事前マップ５０と同様の領域に加え、車道のラベル情報を有する領域Ｒ５１と、歩道のラベル情報を有するＲ５２を有している。図１０の事前マップ５０’もまた、事前マップ全体のうちの特定の位置のデータを示すものである。
そして、事前マップ５０’全体と、図９のエッジ画像４０’における、エッジ領域の形状およびラベル情報のマッチングが行われることで、自己位置が求められる。
このようにして、ラベル付きOccupancy Mapと事前マップとのマッチングにおいて、フリースペースのラベル情報をさらに用いることで、マッチングの精度を高めることができ、自車両の自己位置をより高精度に求めることが可能となる。
また、ラベル付きOccupancy Mapは、車両の周囲の空間を２次元空間で表現したものであるが、高さ方向についての複数のラベル付きOccupancy Mapを生成し、レイヤ構成を採ることで、車両の周囲の空間を３次元空間で表現するようにしてもよい。この場合、事前マップも同様の構成を採るようにし、ラベル付きOccupancy Mapと事前マップとのマッチングにおいては、レイヤ毎のマッチングが行われるようにする。
＜２．事前マップの生成方法＞
ここで、事前マップの生成方法について説明する。
ここで、事前マップの生成方法について説明する。
上述したように、事前マップは、世界座標系の座標を示すものであってもよいし、ローカル座標系の座標を示すものであってもよく、手動運転により車両が事前に走行することで生成される。
（事前マップ生成処理の例１）
まず、図１１のフローチャートを参照して、世界座標系の事前マップ生成処理の例について説明する。図１１の処理は、車両制御装置１０、カメラ１１、およびＬｉＤＡＲ１２に加え、RTK-GPS（Real Time Kinematic GPS）測位が可能なセンサが搭載された車両が走行することで実現される。
まず、図１１のフローチャートを参照して、世界座標系の事前マップ生成処理の例について説明する。図１１の処理は、車両制御装置１０、カメラ１１、およびＬｉＤＡＲ１２に加え、RTK-GPS（Real Time Kinematic GPS）測位が可能なセンサが搭載された車両が走行することで実現される。
ステップＳ３１において、マップ生成部２４は、デプスデータ、RTK-GPSデータ、およびセマンティックセグメンテーションデータを用いて、ラベル付きOccupancy Mapを生成する。
ここでは、ビジュアルオドメトリ部２３により生成される運動データに代えて、RTK-GPS測位が可能なセンサにより取得されたRTK-GPSデータを用いて、ラベル付きOccupancy Mapが生成される。
ステップＳ３２において、エッジ抽出部２５は、ラベル付きOccupancy Mapから、障害物のうちの非動体とフリースペースとの間のエッジ部分を抽出する。これにより、エッジ画像が生成される。
ステップＳ３３において、位置推定部２６は、生成されたエッジ画像と、RTK-GPSデータから得られる自己位置を用いて、世界座標系に変換した自己位置を、地図データとして登録する。これにより、事前マップ記憶部２７には、そのときの自車両の位置が、ラベル付きOccupancy Mapとして記憶される。
さらに、ステップＳ３４において、位置推定部２６は、自動運転のための理想的な経路を求め、登録した事前マップ上にウェイポイントを設定する。
ここでいうウェイポイントは、どのような道路を経路とするかを示す情報ではなく、道路（路面）上のどのレーンを走行するかなどを示す情報である。
以上の処理により、動体の影響を受けない世界座標系の事前マップを生成することができる。
なお、以上においては、ラベル付きOccupancy Mapを生成する際、RTK-GPSデータを用いるようにしたが、GNSS（Global Navigation Satellite System）を利用した他の測位によって得られた位置データを用いるようにしてもよい。
（事前マップ生成処理の例２）
次に、図１２のフローチャートを参照して、ローカル座標系の事前マップ生成処理の例について説明する。図１１の処理は、車両制御装置１０、カメラ１１、およびＬｉＤＡＲ１２が搭載された車両が走行することで実現される。
次に、図１２のフローチャートを参照して、ローカル座標系の事前マップ生成処理の例について説明する。図１１の処理は、車両制御装置１０、カメラ１１、およびＬｉＤＡＲ１２が搭載された車両が走行することで実現される。
ステップＳ５１において、マップ生成部２４は、デプスデータ、運動データ、およびセマンティックセグメンテーションデータを用いて、ラベル付きOccupancy Mapを生成する。
ここでは、ビジュアルオドメトリ部２３により生成される運動データを用いて、ラベル付きOccupancy Mapが生成される。
ステップＳ５２において、エッジ抽出部２５は、ラベル付きOccupancy Mapから、障害物のうちの非動体とフリースペースとの間のエッジ部分を抽出する。これにより、エッジ画像が生成される。
ステップＳ５３において、位置推定部２６は、生成されたエッジ画像と、運動データを積分して得られた相対的な自己位置を用いて、ローカル座標系に変換した自己位置を、地図データとして登録する。これにより、事前マップ記憶部２７には、そのときの自車両の位置が、ラベル付きOccupancy Mapとして記憶される。
さらに、ステップＳ５４において、位置推定部２６は、自動運転のための理想的な経路を求め、登録した事前マップ上にウェイポイントを設定する。
以上の処理により、動体の影響を受けないローカル座標系の事前マップを生成することができる。
上述した処理において、ウェイポイントは、生成した事前マップにおける障害物や道路の線形に基づいて設定されるようにすることができる。
例えば、道路脇にある障害物が電柱の場合と、街路樹の場合とでは、街路樹の場合の方が、より道路中央寄りを走行するように、ウェイポイントが設定されるようにする。また、道路がカーブしている場合には、経路の曲率半径がより小さくなるように、ウェイポイントが設定されるようにする。
なお、事前マップ生成処理において、ウェイポイントの設定は必ずしも行われる必要はなく、省略するようにしてもよい。
＜３．第２の実施の形態＞
上述した事前マップ生成処理において設定されたウェイポイントに基づいて、車両の自動運転を実現することができる。そこで、以下においては、車両の自動運転を行う構成について説明する。
上述した事前マップ生成処理において設定されたウェイポイントに基づいて、車両の自動運転を実現することができる。そこで、以下においては、車両の自動運転を行う構成について説明する。
（車両制御装置の構成例）
図１３は、本技術を適用した第２の実施の形態の車両制御装置の構成例を示すブロック図である。
図１３は、本技術を適用した第２の実施の形態の車両制御装置の構成例を示すブロック図である。
図１３の車両制御装置６０は、図１の車両制御装置１０と同様の構成に加え、経路設定部６１と動作制御部６２を備える。
経路設定部６１は、位置推定部２６により推定された自己位置と、事前マップ記憶部２７に記憶されている事前マップに設定されているウェイポイントとを用いて、自車両の走行経路（移動経路）を設定する。
また、事前マップにウェイポイントが設定されていない場合には、経路設定部６１は、マップ生成部２４からラベル付きOccupancy Mapを取得し、例えば動体を避けるように、リアルタイムでウェイポイントを設定することで、走行経路を設定することもできる。
設定された走行経路を示す経路情報は、動作制御部６２に供給される。
動作制御部６２は、経路設定部６１からの経路情報に基づいて、その経路情報で示される走行経路を走行するよう、自車両の動作を制御する。具体的には、動作制御部６２は、車両が備える、操舵に関わるステアリング機構、制動に関わる制動装置、駆動（走行）に関わるエンジンや駆動モータといった各運転機構の動作を制御する。
さらに、動作制御部６２は、車両の前部に設けられるヘッドライトの照射を制御する。具体的には、動作制御部６２は、走行経路を示す経路情報に基づいて、走行経路の先が光で照射されるように、ヘッドライトの照射角度を制御する。
このようにして、動作制御部６２により、車両の運転支援（自動運転）の制御が実現される。
（自動運転制御処理）
次に、図１４のフローチャートを参照して、車両制御装置６０により実行される自動運転制御処理について説明する。
次に、図１４のフローチャートを参照して、車両制御装置６０により実行される自動運転制御処理について説明する。
なお、図１４のフローチャートのステップＳ７１乃至Ｓ７４の処理は、図２のフローチャートのステップＳ１１乃至Ｓ１４の処理と同様であるので、その説明は省略する。
ステップＳ７４において自己位置が推定された後、ステップＳ７５において、経路設定部６１は、事前マップ記憶部２７に記憶されている事前マップを参照し、その事前マップに設定されているウェイポイントに基づいて、自車両の走行経路を設定する。
経路設定部６１により参照される事前マップの範囲は、例えば、自己位置の推定の際にマッチングに用いられた位置を含む範囲などとされる。
なお、事前マップにウェイポイントが設定されていない場合、経路設定部６１は、マップ生成部２４からラベル付きOccupancy Mapを取得し、リアルタイムでウェイポイントを設定することで、走行経路を設定する。
ステップＳ７６において、動作制御部６２は、設定された走行経路を示す経路情報に基づいて、自車両の動作を制御することで、自動運転を制御する。
以上のようにして、車両の自動運転を実現することができる。
例えば、手動運転により一度走行した経路について、事前マップを生成するとともに、ウェイポイントを設定することで、それ以降は、自己位置を推定しながら、目的地まで自動で車両を走行させることが可能となる。
これにより、例えば、自動運転によるバレーパーキングを実現することができる。
まず、ユーザが、自宅のマンションのエントランスから近所の駐車場までの行程を、手動運転により車両を走行させることで、ウェイポイントが設定された事前マップが生成される。
その後は、ユーザが、外出先から自宅のマンションのエントランスまで手動運転により車両を走行させ、車両を降りた場合であっても、車両は、自己位置の推定とウェイポイントが設定された事前マップとに基づいて、自動で駐車場まで移動することが可能となる。
＜４．第３の実施の形態＞
上述した車両の自動運転により、事故につながるような危険な事象が発生するおそれのある箇所を走行する可能性がある。そこで、以下においては、危険を避けるようにウェイポイントの修正を行う構成について説明する。
上述した車両の自動運転により、事故につながるような危険な事象が発生するおそれのある箇所を走行する可能性がある。そこで、以下においては、危険を避けるようにウェイポイントの修正を行う構成について説明する。
（車両制御装置の構成例）
図１５は、本技術を適用した第３の実施の形態の車両制御装置の構成例を示すブロック図である。
図１５は、本技術を適用した第３の実施の形態の車両制御装置の構成例を示すブロック図である。
図１５の車両制御装置７０は、図１３の車両制御装置６０と同様の構成に加え、危険度判定部７１を備える。
危険度判定部７１は、カメラ１１からの画像、デプスデータ生成部２１からのデプスデータ、および、マップ生成部２４からのラベル付きOccupancy Mapに基づいて、走行中の車両の危険度を判定する。危険度は、事故につながるような危険な事象が発生する可能性を示す指標（値）とされる。
例えば、カメラ１１の撮像範囲内で、電柱の陰から子供が飛び出してきた場合、デプスデータにおいて、急激に距離情報が小さくなる領域が検知されたり、ラベル付きOccupancy Mapにおいて、障害物（動体）の動きの急激な変化が検知される。
このような場合、危険度判定部７１は、危険を察知したと判定し、その地点での危険度を算出する。そして、危険度判定部７１は、事前マップ記憶部２７に記憶されている事前マップにおけるその地点に、算出した危険度を設定する。
危険度は、事前マップ上の地点ごとに累積される。したがって、同一の地点で繰り返し危険を察知したと判定される度に、その地点での危険度は加算され大きくなる。
そして、危険度判定部７１は、事前マップにウェイポイントが設定されている場合、事前マップに設定された危険度に基づいて、危険度の大きい地点を避けるように、ウェイポイントを修正する。
（ウェイポイント修正処理）
次に、図１６のフローチャートを参照して、車両制御装置７０により実行されるウェイポイント修正処理について説明する。図１６の処理は、車両の走行中（例えば自動運転中など）に実行される。また、ここでは、事前マップ記憶部２７に記憶されている事前マップにウェイポイントが設定されているものとする。
次に、図１６のフローチャートを参照して、車両制御装置７０により実行されるウェイポイント修正処理について説明する。図１６の処理は、車両の走行中（例えば自動運転中など）に実行される。また、ここでは、事前マップ記憶部２７に記憶されている事前マップにウェイポイントが設定されているものとする。
ステップＳ９１において、危険度判定部７１は、カメラ１１からの画像、デプスデータ生成部２１からのデプスデータ、および、マップ生成部２４からのラベル付きOccupancy Mapに基づいて、危険を察知したか否かを判定する。
ステップＳ９１の処理は、危険を察知したと判定されるまで繰り返される。危険を察知したと判定されると、危険度判定部７１は、その地点での危険度を算出し、処理はステップＳ９２に進む。
ステップＳ９２において、危険度判定部７１は、事前マップ記憶部２７に記憶されている事前マップにおけるその地点に、算出した危険度を設定する。
そして、ステップＳ９３において、危険度判定部７１は、事前マップに設定された危険度に基づいて、危険度の大きい地点を避けるように、ウェイポイントを修正する。
以上の処理によれば、動的な障害物についての危険度が経験的に累積され、累積された危険度の大きさに基づいて、ウェイポイントが修正される。これにより、自動運転において、事故につながるような危険な事象が発生するおそれのある箇所を避けて走行することが可能となる。
＜５．移動体制御システムの例＞
本技術は、車両以外の移動体を制御するシステムに適用することができる。例えば、図１７に示されるような車両制御システムにも適用することができる。
本技術は、車両以外の移動体を制御するシステムに適用することができる。例えば、図１７に示されるような車両制御システムにも適用することができる。
図１７は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車外情報検出部１４１は、上述したデプスデータ生成部２１、セマンティックセグメンテーション部２２、および、ビジュアルオドメトリ部２３に対応し、デプスデータ、運動データ、およびセマンティックセグメンテーションデータを生成する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
自己位置推定部１３２は、上述したエッジ抽出部２５と位置推定部２６に対応し、属性付き占有格子地図（ラベル付きOccupancy Map）と事前マップとのマッチングにより、自己位置を推定する。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況認識部１５３は、上述したマップ生成部２４と危険度判定部７１に対応し、ラベル付きOccupancy Mapを生成したり、危険度を判定する。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
以上のような構成に、本技術を適用することで、移動体の自己位置を高精度に求めることが可能となる。
＜６．その他＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ９１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は以下のような構成をとることができる。
（１）
移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成するマップ生成部と、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性についてのマッチングにより、前記移動体の位置を推定する位置推定部と
を備える情報処理装置。
（２）
前記マップ生成部は、前記空間におけるデプスデータ、前記移動体の運動データ、および、セマンティックセグメンテーションデータを用いて、前記属性付き占有格子地図を生成する
（１）に記載の情報処理装置。
（３）
前記属性付き占有格子地図において、前記非動体と前記障害物がないフリースペースとの間のエッジ部分を抽出したエッジ画像を生成するエッジ抽出部
をさらに備え、
前記位置推定部は、前記エッジ画像と、前記事前地図における前記エッジ部分とにおける前記マッチングにより、前記移動体の位置を推定する
（２）に記載の情報処理装置。
（４）
前記位置推定部は、前記マッチングの結果として得られる位置情報を、前記移動体の運動データに基づいてフィルタリングすることで、前記移動体の位置を推定する
（３）に記載の情報処理装置。
（５）
前記位置推定部は、カルマンフィルタを用いて前記移動体の位置を推定する
（４）に記載の情報処理装置。
（６）
推定された前記移動体の位置と、前記事前地図に設定されているウェイポイントに基づいて、前記移動体の移動経路を設定する経路設定部
をさらに備える
（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
設定された前記移動体の前記移動経路に基づいて、前記移動体の動作を制御する動作制御部
をさらに備える
（６）に記載の情報処理装置。
（８）
前記ウェイポイントは、前記移動体の事前の移動により、前記事前地図が生成されるのとともに、前記事前地図に登録される
（６）または（７）に記載の情報処理装置。
（９）
移動中の前記移動体の危険度を判定し算出する危険度判定部
をさらに備え、
前記危険度判定部は、前記事前地図における前記危険度を算出した位置に、前記危険度を設定する
（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記危険度判定部は、前記事前地図に設定された前記危険度の大きさに基づいて、前記事前地図に登録されている前記ウェイポイントを修正する
（９）に記載の情報処理装置。
（１１）
情報処理装置が、
移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成し、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置を推定する
情報処理方法。
（１２）
コンピュータに、
移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成し、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置を推定する
処理を実行させるプログラム。
（１）
移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成するマップ生成部と、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性についてのマッチングにより、前記移動体の位置を推定する位置推定部と
を備える情報処理装置。
（２）
前記マップ生成部は、前記空間におけるデプスデータ、前記移動体の運動データ、および、セマンティックセグメンテーションデータを用いて、前記属性付き占有格子地図を生成する
（１）に記載の情報処理装置。
（３）
前記属性付き占有格子地図において、前記非動体と前記障害物がないフリースペースとの間のエッジ部分を抽出したエッジ画像を生成するエッジ抽出部
をさらに備え、
前記位置推定部は、前記エッジ画像と、前記事前地図における前記エッジ部分とにおける前記マッチングにより、前記移動体の位置を推定する
（２）に記載の情報処理装置。
（４）
前記位置推定部は、前記マッチングの結果として得られる位置情報を、前記移動体の運動データに基づいてフィルタリングすることで、前記移動体の位置を推定する
（３）に記載の情報処理装置。
（５）
前記位置推定部は、カルマンフィルタを用いて前記移動体の位置を推定する
（４）に記載の情報処理装置。
（６）
推定された前記移動体の位置と、前記事前地図に設定されているウェイポイントに基づいて、前記移動体の移動経路を設定する経路設定部
をさらに備える
（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
設定された前記移動体の前記移動経路に基づいて、前記移動体の動作を制御する動作制御部
をさらに備える
（６）に記載の情報処理装置。
（８）
前記ウェイポイントは、前記移動体の事前の移動により、前記事前地図が生成されるのとともに、前記事前地図に登録される
（６）または（７）に記載の情報処理装置。
（９）
移動中の前記移動体の危険度を判定し算出する危険度判定部
をさらに備え、
前記危険度判定部は、前記事前地図における前記危険度を算出した位置に、前記危険度を設定する
（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記危険度判定部は、前記事前地図に設定された前記危険度の大きさに基づいて、前記事前地図に登録されている前記ウェイポイントを修正する
（９）に記載の情報処理装置。
（１１）
情報処理装置が、
移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成し、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置を推定する
情報処理方法。
（１２）
コンピュータに、
移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成し、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置を推定する
処理を実行させるプログラム。
１０ 車両制御装置， １１ カメラ， １２ ＬｉＤＡＲ， ２１ デプスデータ生成部， ２２ セマンティックセグメンテーション部， ２３ ビジュアルオドメトリ部， ２４ マップ生成部， ２５ エッジ抽出部， ２６ 位置推定部， ２７ 事前マップ記憶部， ６０ 車両制御装置， ６１ 経路設定部， ６２ 動作制御部， ７０ 車両制御装置， ７１ 危険度判定部
Claims (12)
- 移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成するマップ生成部と、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性についてのマッチングにより、前記移動体の位置を推定する位置推定部と
を備える情報処理装置。 - 前記マップ生成部は、前記空間におけるデプスデータ、前記移動体の運動データ、および、セマンティックセグメンテーションデータを用いて、前記属性付き占有格子地図を生成する
請求項１に記載の情報処理装置。 - 前記属性付き占有格子地図において、前記非動体と前記障害物がないフリースペースとの間のエッジ部分を抽出したエッジ画像を生成するエッジ抽出部
をさらに備え、
前記位置推定部は、前記エッジ画像と、前記事前地図における前記エッジ部分とにおける前記マッチングにより、前記移動体の位置を推定する
請求項２に記載の情報処理装置。 - 前記位置推定部は、前記マッチングの結果として得られる位置情報を、前記移動体の運動データに基づいてフィルタリングすることで、前記移動体の位置を推定する
請求項３に記載の情報処理装置。 - 前記位置推定部は、カルマンフィルタを用いて前記移動体の位置を推定する
請求項４に記載の情報処理装置。 - 推定された前記移動体の位置と、前記事前地図に設定されているウェイポイントに基づいて、前記移動体の移動経路を設定する経路設定部
をさらに備える
請求項１に記載の情報処理装置。 - 設定された前記移動体の前記移動経路に基づいて、前記移動体の動作を制御する動作制御部
をさらに備える
請求項６に記載の情報処理装置。 - 前記ウェイポイントは、前記移動体の事前の移動により、前記事前地図が生成されるのとともに、前記事前地図に登録される
請求項６に記載の情報処理装置。 - 移動中の前記移動体の危険度を判定し算出する危険度判定部
をさらに備え、
前記危険度判定部は、前記事前地図における前記危険度を算出した位置に、前記危険度を設定する
請求項６に記載の情報処理装置。 - 前記危険度判定部は、前記事前地図に設定された前記危険度の大きさに基づいて、前記事前地図に登録されている前記ウェイポイントを修正する
請求項９に記載の情報処理装置。 - 情報処理装置が、
移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成し、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置を推定する
情報処理方法。 - コンピュータに、
移動体の周囲の空間における障害物の存在確率を格子毎に有する占有格子地図に、前記障害物の属性がラベリングされた属性付き占有格子地図を生成し、
前記属性付き占有格子地図と、あらかじめ用意された前記属性付き占有格子地図である事前地図とにおける、非動体の形状および前記属性のマッチングにより、前記移動体の位置を推定する
処理を実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/767,432 US11531354B2 (en) | 2017-12-05 | 2018-11-21 | Image processing apparatus and image processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017233095 | 2017-12-05 | ||
| JP2017-233095 | 2017-12-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019111702A1 true WO2019111702A1 (ja) | 2019-06-13 |
Family
ID=66750881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/042922 WO2019111702A1 (ja) | 2017-12-05 | 2018-11-21 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11531354B2 (ja) |
| WO (1) | WO2019111702A1 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110849352A (zh) * | 2019-11-21 | 2020-02-28 | 大连理工大学 | 一种利用红外、深度和双目相机融合构建栅格地图的方法 |
| CN110849351A (zh) * | 2019-11-21 | 2020-02-28 | 大连理工大学 | 一种利用深度相机和双目相机构建栅格地图的方法 |
| WO2020213275A1 (ja) * | 2019-04-15 | 2020-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| JPWO2020250725A1 (ja) * | 2019-06-14 | 2020-12-17 | ||
| WO2021049231A1 (ja) * | 2019-09-11 | 2021-03-18 | 日立オートモティブシステムズ株式会社 | 占有格子地図管理装置 |
| CN112824836A (zh) * | 2019-11-21 | 2021-05-21 | 北京图森智途科技有限公司 | 移动工具碰撞检测方法及相关设备 |
| WO2021166954A1 (ja) * | 2020-02-19 | 2021-08-26 | 株式会社Ｎｔｔドコモ | マップデータ生成装置及び測位装置 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102557049B1 (ko) * | 2018-03-30 | 2023-07-19 | 한국전자통신연구원 | Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치 |
| US10672188B2 (en) * | 2018-04-19 | 2020-06-02 | Microsoft Technology Licensing, Llc | Surface reconstruction for environments with moving objects |
| US11697410B2 (en) * | 2019-03-07 | 2023-07-11 | Toyota Jidosha Kabushiki Kaisha | Vehicle-to-everything communication-based lane change collision avoidance warning |
| US11300959B2 (en) * | 2019-08-30 | 2022-04-12 | Huawei Technologies Co., Ltd. | System and method for predictive path planning in autonomous vehicles |
| US11789155B2 (en) | 2019-12-23 | 2023-10-17 | Zoox, Inc. | Pedestrian object detection training |
| US11462041B2 (en) * | 2019-12-23 | 2022-10-04 | Zoox, Inc. | Pedestrians with objects |
| KR20210106690A (ko) * | 2020-02-21 | 2021-08-31 | 현대자동차주식회사 | 도어 열림 제어 장치 및 그의 도어 열림 제어 방법 |
| WO2023088125A1 (zh) * | 2021-11-22 | 2023-05-25 | 珠海一微半导体股份有限公司 | 一种机器人提升障碍物标注精度的方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090024251A1 (en) * | 2007-07-18 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating pose of mobile robot using particle filter |
| JP2011008320A (ja) * | 2009-06-23 | 2011-01-13 | Toyota Motor Corp | 自律移動体、自己位置推定装置、およびプログラム |
| JP2011198098A (ja) * | 2010-03-19 | 2011-10-06 | Ihi Aerospace Co Ltd | ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット |
| JP2011248445A (ja) * | 2010-05-24 | 2011-12-08 | Toyota Central R&D Labs Inc | 可動物予測装置及びプログラム |
| WO2013150630A1 (ja) * | 2012-04-05 | 2013-10-10 | 株式会社日立製作所 | 地図データ作成装置、自律移動システムおよび自律移動制御装置 |
| US20150355639A1 (en) * | 2006-07-05 | 2015-12-10 | Battelle Energy Alliance, Llc | Real time explosive hazard information sensing, processing, and communication for autonomous operation |
| JP2017027213A (ja) * | 2015-07-17 | 2017-02-02 | トヨタ自動車株式会社 | 自律移動体及び自律移動体の位置推定方法 |
| JP2017126101A (ja) * | 2016-01-12 | 2017-07-20 | 株式会社Ｓｕｂａｒｕ | 移動経路設定装置、移動経路設定方法及び移動経路設定プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10363940B2 (en) * | 2013-08-01 | 2019-07-30 | Nissan Motor Co., Ltd. | Vehicle position attitude-angle estimation device and vehicle position attitude-angle estimation method |
| EP3070430B1 (en) * | 2013-11-13 | 2019-08-14 | Nissan Motor Co., Ltd. | Moving body position estimation device and moving body position estimation method |
| JP6610339B2 (ja) * | 2016-03-03 | 2019-11-27 | 株式会社デンソー | 占有格子地図作成装置 |
-
2018
- 2018-11-21 WO PCT/JP2018/042922 patent/WO2019111702A1/ja active Application Filing
- 2018-11-21 US US16/767,432 patent/US11531354B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150355639A1 (en) * | 2006-07-05 | 2015-12-10 | Battelle Energy Alliance, Llc | Real time explosive hazard information sensing, processing, and communication for autonomous operation |
| US20090024251A1 (en) * | 2007-07-18 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating pose of mobile robot using particle filter |
| JP2011008320A (ja) * | 2009-06-23 | 2011-01-13 | Toyota Motor Corp | 自律移動体、自己位置推定装置、およびプログラム |
| JP2011198098A (ja) * | 2010-03-19 | 2011-10-06 | Ihi Aerospace Co Ltd | ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット |
| JP2011248445A (ja) * | 2010-05-24 | 2011-12-08 | Toyota Central R&D Labs Inc | 可動物予測装置及びプログラム |
| WO2013150630A1 (ja) * | 2012-04-05 | 2013-10-10 | 株式会社日立製作所 | 地図データ作成装置、自律移動システムおよび自律移動制御装置 |
| JP2017027213A (ja) * | 2015-07-17 | 2017-02-02 | トヨタ自動車株式会社 | 自律移動体及び自律移動体の位置推定方法 |
| JP2017126101A (ja) * | 2016-01-12 | 2017-07-20 | 株式会社Ｓｕｂａｒｕ | 移動経路設定装置、移動経路設定方法及び移動経路設定プログラム |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020213275A1 (ja) * | 2019-04-15 | 2020-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| US11906970B2 (en) | 2019-04-15 | 2024-02-20 | Sony Group Corporation | Information processing device and information processing method |
| JPWO2020250725A1 (ja) * | 2019-06-14 | 2020-12-17 | ||
| WO2020250725A1 (ja) * | 2019-06-14 | 2020-12-17 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| JP7456442B2 (ja) | 2019-06-14 | 2024-03-27 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| WO2021049231A1 (ja) * | 2019-09-11 | 2021-03-18 | 日立オートモティブシステムズ株式会社 | 占有格子地図管理装置 |
| JPWO2021049231A1 (ja) * | 2019-09-11 | 2021-03-18 | ||
| JP7261892B2 (ja) | 2019-09-11 | 2023-04-20 | 日立Astemo株式会社 | 占有格子地図管理装置 |
| CN110849352A (zh) * | 2019-11-21 | 2020-02-28 | 大连理工大学 | 一种利用红外、深度和双目相机融合构建栅格地图的方法 |
| CN110849351A (zh) * | 2019-11-21 | 2020-02-28 | 大连理工大学 | 一种利用深度相机和双目相机构建栅格地图的方法 |
| CN112824836A (zh) * | 2019-11-21 | 2021-05-21 | 北京图森智途科技有限公司 | 移动工具碰撞检测方法及相关设备 |
| WO2021166954A1 (ja) * | 2020-02-19 | 2021-08-26 | 株式会社Ｎｔｔドコモ | マップデータ生成装置及び測位装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11531354B2 (en) | 2022-12-20 |
| US20200409387A1 (en) | 2020-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019111702A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP7314798B2 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
| JP7143857B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
| US11501461B2 (en) | Controller, control method, and program | |
| JP7320001B2 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
| WO2019181284A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
| US11377101B2 (en) | Information processing apparatus, information processing method, and vehicle | |
| WO2019082670A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
| JP7257737B2 (ja) | 情報処理装置、自己位置推定方法、及び、プログラム | |
| WO2019039281A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
| WO2019107143A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
| WO2020031812A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び移動体 | |
| WO2021241189A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JPWO2020009060A1 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 | |
| US20240054793A1 (en) | Information processing device, information processing method, and program | |
| JP2022028092A (ja) | 車両制御装置、車両制御方法、プログラム、及び、車両 | |
| WO2021060018A1 (ja) | 信号処理装置、信号処理方法、プログラム、及び、移動装置 | |
| WO2019078010A1 (ja) | 情報処理装置、情報処理方法、移動体、及び、車両 | |
| US20200230820A1 (en) | Information processing apparatus, self-localization method, program, and mobile body | |
| JP2020101960A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| WO2020158489A1 (ja) | 可視光通信装置、可視光通信方法及び可視光通信プログラム | |
| JP2022113054A (ja) | 情報処理装置、情報処理方法、プログラムおよび移動装置 | |
| WO2020090250A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
| WO2020036044A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
| WO2023054090A1 (ja) | 認識処理装置、認識処理方法、および認識処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18887146 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18887146 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |