JP7126629B1

JP7126629B1 - 情報統合装置、情報統合方法、及び情報統合プログラム

Info

Publication number: JP7126629B1
Application number: JP2021569909A
Authority: JP
Inventors: 隆文春日
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2022-08-26
Anticipated expiration: 2041-06-30
Also published as: JPWO2023276025A1; WO2023276025A1

Abstract

情報統合装置（１０）は、移動体（１００）に備えられたセンサ（２０）からセンサ情報を取得し、センサ情報に基づいて１つ以上の第１の地物を認識し、１つ以上の第１の地物を示す第１の地物情報を生成する認識部（１１）と、外部装置（２００）から又は取得可能な地図情報から又はこれらの両方から、１つ以上の第２の地物を示す第２の地物情報を取得し、１つ以上の第１の地物と１つ以上の第２の地物の中から同一の地物を特定する同一地物特定部（１３）と、同一の地物であると特定された第１の地物と第２の地物との位置の差に基づいて、第１の地物情報及び第２の地物情報の少なくとも一方を補正するために用いる補正情報を生成する補正情報生成部（１６）と、補正情報を用いて第１の地物情報及び第２の地物情報の少なくとも一方を補正した後に、第１の地物情報と第２の地物情報とを統合することで統合地物情報を生成する情報統合部（１７）とを備えている。

Description

本開示は、情報統合装置、情報統合方法、及び情報統合プログラムに関する。

車両のドライバの運転サポート及び予防安全を目的として、車線逸脱警報（ＬＤＷ）システム、歩行者検知（ＰＤ）システム、アダプティブクルーズコントロール（ＡＣＣ）システムといった運転支援システムが開発されている。また、目的地までの運転の一部又は全てをドライバに代わって行う自動運転システムが開発されている。

これらのシステムでは、移動体（例えば、車両など）の周辺に存在する地物（例えば、人、物、車両など）の位置、種別、状態（例えば、移動速度、移動方向など）、並びに、移動体に関連する地物（例えば、信号機、車線など）の位置、種別、状態（例えば、信号機の点灯状態など）を、広範囲で精度よく認識することが必要である。

地物の認識は、移動体に搭載されたセンサによって情報を取得し、解析することで行うことが一般的である。しかし、移動体に搭載されたセンサは、広い認識範囲を有しておらず、また、認識精度が低い場合がある。これに対し、特許文献１は、複数の車両に搭載された認識装置が取得した地物情報に基づいて広範囲及び高精度な地物情報を生成することを提案している。

特開２００７－１７９３３７号公報

しかしながら、各認識装置では、地物の誤認識又は認識誤差が発生する。ここで、認識誤差とは、実際の地物の位置及びサイズと認識結果としての地物情報が示す地物の位置及びサイズとの差である。したがって、複数の認識装置で認識された地物を示す地物情報を統合する場合、１つの地物を複数の地物として処理する可能性があり、広範囲で高精度な地物情報を生成することは困難である。

本開示は、広範囲にある地物の地物情報を高精度に生成することを可能にする情報統合装置、情報統合方法、及び情報統合プログラムを提供することを目的とする。

本開示の情報統合装置は、移動体に備えられたセンサから、前記センサによって取得されたセンサ情報を取得し、取得した前記センサ情報に基づいて前記移動体の周辺の１つ以上の地物である１つ以上の第１の地物を認識し、前記１つ以上の第１の地物を示す第１の地物情報を生成する認識部と、外部装置から、又は前記外部装置及び地図情報の両方から、前記移動体の周辺に存在すると認識された１つ以上の地物である１つ以上の第２の地物を示す第２の地物情報を取得し、前記第１の地物情報によって示される前記１つ以上の第１の地物と前記第２の地物情報によって示される前記１つ以上の第２の地物の中から同一の地物を特定する同一地物特定部と、同一の地物であると特定された第１の地物と第２の地物との位置の差に基づいて、前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正するために用いる補正情報を生成する補正情報生成部と、前記補正情報を用いて前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正した後に、前記第１の地物情報と前記第２の地物情報とを統合することで統合地物情報を生成する情報統合部と、を備え、前記同一地物特定部は、前記第１の地物情報の認識時刻と前記第２の地物情報の認識時刻とに基づいて、前記第１の地物情報と前記第２の地物情報とを同時刻の情報に補正する時刻補正を行い、前記時刻補正が行われた後に、前記第１の地物情報及び前記第２の地物情報に基づいて、前記同一の地物を特定する処理を行うことを特徴とする。

本開示の情報統合方法は、情報統合装置によって実施される方法であって、移動体に備えられたセンサから、前記センサによって取得されたセンサ情報を取得し、取得した前記センサ情報に基づいて前記移動体の周辺の１つ以上の地物である１つ以上の第１の地物を認識し、前記１つ以上の第１の地物を示す第１の地物情報を生成するステップと、外部装置から、又は前記外部装置及び地図情報の両方から、前記移動体の周辺に存在すると認識された１つ以上の地物である１つ以上の第２の地物を示す第２の地物情報を取得し、前記第１の地物情報によって示される前記１つ以上の第１の地物と前記第２の地物情報によって示される前記１つ以上の第２の地物の中から同一の地物を特定するステップと、同一の地物であると特定された第１の地物と第２の地物との位置の差に基づいて、前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正するために用いる補正情報を生成するステップと、前記補正情報を用いて前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正した後に、前記第１の地物情報と前記第２の地物情報とを統合することで統合地物情報を生成するステップと、を有し、前記同一の地物を特定する前記ステップでは、前記第１の地物情報の認識時刻と前記第２の地物情報の認識時刻とに基づいて、前記第１の地物情報と前記第２の地物情報とを同時刻の情報に補正する時刻補正を行い、前記時刻補正が行われた後に、前記第１の地物情報及び前記第２の地物情報に基づいて、前記同一の地物を特定することを特徴とする。

本開示によれば、広範囲にある地物の地物情報を高精度に生成することができる。

実施の形態に係る情報統合装置の構成を示す機能ブロック図である。実施の形態に係る情報統合装置のハードウェア構成を示す図である。ある時刻における実際の道路状況を示す図である。（Ａ）は、車両の情報統合装置の認識部によって認識された複数の地物（第１の地物）を示す第１の地物情報を示す図であり、（Ｂ）は、路側機の認識装置によって認識された複数の地物（第２の地物）を示す第２の地物情報を示す図である。（Ａ）は、車両の情報統合装置の認識部によって認識された複数の第１の地物を示す第１の地物情報を示す図であり、（Ｂ）は、同図（Ａ）の第１の地物情報を補正して得られた補正後の第１の地物情報を示す図である。（Ａ）は、車両の情報統合装置の認識部によって認識された複数の第１の地物を示す第１の地物情報を示す図であり、（Ｂ）は、路側機の認識装置によって認識された複数の第２の地物を示す第２の地物情報を示す図であり、（Ｃ）は、同図（Ａ）及び（Ｂ）の地物情報に含まれる同一車両の情報に基づいて同図（Ａ）の第１の地物情報を補正する処理を示す図である。（Ａ）は、車両の情報統合装置の認識部によって認識された複数の第１の地物（標識を含む）を示す第１の地物情報を示す図であり、（Ｂ）は、路側機の認識装置によって認識された又は地図情報に含まれる複数の第２の地物（標識を含む）を示す第２の地物情報を示す図であり、（Ｃ）は、同図（Ａ）の第１の地物情報と同図（Ｂ）の第２の地物情報とに含まれる標識の情報に基づいて同図（Ａ）の第１の地物情報を補正する処理を示す図である。（Ａ）は、ある時刻における実際の道路状況を示す図であり、（Ｂ）は、車両の情報統合装置の認識部によって認識された複数の第１の地物を示す第１の地物情報（補正前）を示す図であり、（Ｃ）は、路側機の認識装置によって認識された複数の第２の地物を示す第２の地物情報（補正前）を示す図である。（Ａ）は、図８（Ｂ）の第１の地物情報を補正して得られた第１の地物情報（すなわち、補正後の第１の地物情報）を示す図であり、（Ｂ）は、図８（Ｃ）の地物情報を補正して得られた第２の地物情報（補正後の第２の地物情報）を示す図であり、（Ｃ）は、図９（Ａ）の第１の地物情報と図９（Ｂ）の第２の地物情報とを統合して得られた統合地物情報を示す図である。実施の形態に係る情報統合装置の動作を示すフローチャートである。

以下に、実施の形態に係る情報統合装置、情報統合方法、及び情報統合プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

〈実施の形態の構成〉
図１は、本実施の形態に係る情報統合装置１０の構成を示す機能ブロック図である。情報統合装置１０は、実施の形態に係る情報統合方法を実施することができる装置である。図１の例では、情報統合装置１０は、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、情報統合部１７、地図情報格納部１４、及び補正情報格納部１５を備える。これらの構成の詳細は、後述される。

図１には、移動機能を備えた物体（すなわち、走行可能な物体）である移動体としての車両１００に搭載された情報統合装置１０が示されている。しかし、情報統合装置１０は、車両１００以外の移動体（例えば、船舶、ロボット、パーソナルモビリティなど）にも搭載可能である。また、情報統合装置１０は、移動機能を備えていない固定体（例えば、インフラ設備など）にも搭載可能である。ここで、インフラ設備は、例えば、信号機又は路側機などである。また、情報統合装置１０は、ネットワークを介して移動体、固定体などと通信可能なサーバに搭載されてもよい。

以下の説明では、車両１００に情報統合装置１０が搭載された例を説明する。車両１００には、情報統合装置１０と、車載センサ２０とが搭載されている。車載センサ２０は、例えば、カメラ、ミリ波レーダ、Ｌｉｄａｒ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）、ソナーなどのセンサ、又はこれらのセンサのうちの２つ以上の組み合わせで構成される。車載センサ２０と認識部１１とは、周辺の地物を認識する認識装置（「認識手段」ともいう。）を構成する。

図１では、車両１００に、情報統合装置１０と車載センサ２０とが搭載されているが、車両１００には、緊急自動ブレーキ、車線走行維持などを行う先進運転支援装置、目的地までの運転の一部又は全てをドライバに代わって行う自動運転装置などの装置が搭載されてもよい。或いは、情報統合装置１０は、先進運転支援装置、自動運転装置、などを構成する装置の一部であってもよい。

情報統合装置１０は、移動体ある車両１００に備えられた車載センサ２０から、車載センサ２０によって取得されたセンサ情報を取得し、取得したセンサ情報に基づいて車両１００の周辺（例えば、移動経路上）の１つ以上の地物である１つ以上の第１の地物を認識し、１つ以上の第１の地物を示す第１の地物情報を生成する認識部１１と、外部装置（例えば、路側機２００）から、又は取得可能な地図情報（例えば、地図情報１４ａ）から、又は外部装置及び地図情報の両方から、車両１００の周辺に存在すると認識された１つ以上の地物である１つ以上の第２の地物を示す第２の地物情報を取得し、第１の地物情報によって示される１つ以上の第１の地物と第２の地物情報によって示される１つ以上の第２の地物の中から同一の地物を特定する同一地物特定部１３とを備えている。また、情報統合装置１０は、同一の地物であると特定された第１の地物と第２の地物との位置の差に基づいて、第１の地物情報及び第２の地物情報の少なくとも一方を補正するために用いる補正情報を生成する補正情報生成部１６と、生成された補正情報を用いて第１の地物情報及び第２の地物情報の少なくとも一方を補正した後に、第１の地物情報と第２の地物情報とを統合することで統合地物情報を生成する情報統合部１７とを備えている。

図２は、本実施の形態に係る情報統合装置１０のハードウェア構成を示す図である。情報統合装置１０は、例えば、コンピュータ、専用の演算装置、又はコンピュータと専用の演算装置とを組み合わせた装置である。情報統合装置１０は、情報処理部であるプロセッサ３１と、記憶部であるメモリ３２と、不揮発性の記憶部である記憶装置３３と、インタフェース３４と、通信部３５とを備える。

プロセッサ３１は、システムバスを介して他のハードウェアと接続され、これら他のハードウェアを制御する。プロセッサ３１は、プロセッシングを行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）である。プロセッサ３１の具体例は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、又はＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）である。

プロセッサ３１は、メモリ３２に記憶されるプログラムを実行する。プログラムは、本実施の形態に係る情報統合プログラムを含む。情報統合装置１０の機能は、プログラムを実行するプロセッサ３１によって実現される。プロセッサ３１は、プロセッシングサーキットリー（処理回路）の一例である。

例えば、認識部１１、情報送受信部１２、同一地物特定部１３、及び補正情報生成部１６、情報統合部１７は、プロセッサ３１で実現され、地図情報格納部１４と補正情報格納部１５は、メモリ３２で実現される。

ＣＰＵは、プログラムの実行、データ演算などの処理を行う。ＤＳＰは、算術演算、データ移動などのデジタル信号処理を行う。例えば、ミリ波レーダから得られるセンサデータのセンシングといった処理は、ＣＰＵが処理でせずに、ＤＳＰによって高速に処理することが望ましい。

ＧＰＵは、画像の処理に特化したプロセッサである。ＧＰＵは、複数の画素データを並列処理することで、高速な画像処理が可能である。ＧＰＵは、画像処理で頻繁に使われるテンプレートマッチング処理を、高速に処理できる。例えば、カメラから得られるセンサデータのセンシングは、ＧＰＵで処理することが望ましい。カメラから得られるセンサデータのセンシングをＣＰＵで処理すると、処理時間が膨大になる。また、ＧＰＵは、単なる画像処理用のプロセッサとしてではなく、ＧＰＵの演算資源を用いて、汎用計算を行う使い方（ＧＰＧＰＵ：ＧｅｎｅｒａｌＰｕｒｐｏｓｅＣｏｍｐｕｔｉｎｇｏｎＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔｓ）がある。従来の画像処理技術では、画像に映りこむ車両の検出精度に限界が合ったが、ＧＰＧＰＵによるディープラーニングで画像処理を行うことでより高精度に車両を検出することができる。

ＦＰＧＡは、論理回路の構成をプログラム可能なプロセッサである。ＦＰＧＡは、専用のハードウェア演算回路とプログラム可能なソフトウェアとの両方の性質を持つ。複雑な演算及び並列性のある処理は、ＦＰＧＡで高速に実行できる。

メモリ３２は、例えば、揮発性メモリである。揮発性メモリは、情報統合装置１０の動作時に、データを高速に移動可能である。揮発性メモリの具体例は、ＤＤＲ２－ＳＤＲＡＭ（Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ２ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＤＤＲ３－ＳＤＲＡＭ（Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ３ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。

記憶装置３３は、不揮発性メモリであり、情報統合装置１０の電源がオフの間も、実行プログラム及びデータを保持し続けることができる。不揮発性メモリの具体例は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、フラッシュメモリである。不揮発性メモリは、ＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ（登録商標））、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体であってもよい。メモリ３２は、図示していないメモリインタフェースを介して、プロセッサ３１と接続される。メモリインタフェースは、プロセッサからのメモリアクセスを一元的に管理し、効率的なメモリアクセス制御を行う。メモリインタフェースは、情報統合装置１０におけるデータ転送に利用される。

図１に示される、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、及び情報統合部１７の機能は、プログラムを実行するプロセッサ３１により実現される。メモリ３２には、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、及び情報統合部１７の機能を実現するプログラムが記憶されている。プロセッサ３１は、これらのプログラムをメモリ３２から読み込み、これらのプログラムを実行する。また、メモリ３２は、各プログラムの中間情報を一時的に格納することにも使用される。

また、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、及び情報統合部１７の機能は、ハードウェアである論理回路により実現されてもよい。この場合は、メモリ３２には、論理回路情報が記憶される。論理回路情報は、プロセッサ３１により読み込まれて実行される。

プロセッサ３１は、複数のプロセッサでも構成されてもよい。この場合、複数のプロセッサが、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、及び情報統合部１７の各機能を実現するプログラムを連携して実行してもよい。

メモリ３２には、地図情報１４ａと補正情報１５ａが記憶されている。地図情報１４ａは、路面標示、標識及び信号機などの種類、位置、幅、大きさなどから成る高精度な道路環境の情報である。補正情報１５ａは、地物情報の誤認識、認識誤差を補正するために使用される情報である。ただし、地図情報１４ａと補正情報１５ａは、情報統合装置１０の外部の記憶装置に格納されてもよい。

車両１００には、１つ以上の車載センサ２０が取り付けられている。車載センサ２０は、情報統合装置１０が車両１００の周辺状況を認識するためのセンサ情報を情報統合装置１０に出力する。

また、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、及び情報統合部１７の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、メモリ３２、プロセッサ３１のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。

また、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、及び情報統合部１７の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、及び情報統合部１７の機能を実現するプログラムが格納された可搬記録媒体を商業的に流通させてもよい。

また、認識部１１、情報送受信部１２、同一地物特定部１３、補正情報生成部１６、及び情報統合部１７の「部」を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。

次に、情報統合装置１０を構成する、認識部１１、情報送受信部１２、同一地物特定部１３、地図情報１４ａ、補正情報１５ａ、補正情報生成部１６、及び情報統合部１７の詳細を説明する。

認識部１１は、移動体である車両１００の周辺（例えば、車両１００が走行している車線、この車線に並ぶ他の車線、など）に存在する１つ以上の認識対象物である１つ以上の地物の位置とその属性を、車両１００の移動経路上の移動に伴い、移動経路上の複数の位置で認識する。認識部１１は、移動経路の周辺に存在する１つ以上の認識対象物の位置とその属性を認識してもよい。認識対象物は、移動経路の近傍に存在する地物及び移動経路上に存在する地物のいずれであってもよい。認識対象物は、立体の地物又は平面の地物のいずれであってもよい。認識対象物である地物とは、例えば、路面標示、標識、信号機、他車両、及び歩行者である。

認識部１１は、認識対象物の地物情報として、地物の位置、及び属性を認識する。認識対象物の属性は、認識対象物の種類、及び認識対象物の状態の少なくとも一方を含む。認識対象物の種類は、例えば、認識された物体が、人、他車両、標識などのいずれであるかを示す情報である。また、認識対象物が標識であれば、認識対象物の種類は、標識の種類まで細かく分類した情報を含んでもよい。認識対象物が車両であれば、認識対象の種類は、普通自動車、トラック、軽自動車など車種を細かく分類した情報を含んでもよい。認識対象物の状態とは、例えば、認識対象物が信号機であれば、認識対象の種類は、赤信号、青信号、黄信号のいずが点灯中であるかを示す情報を含んでもよい。認識部１１により行われる処理は、情報統合方法における認識処理に相当する。

地図情報格納部１４は、路面標示、標識及び信号機などの種類、位置、幅、大きさなどから成る高精度な道路環境の地図情報１４ａを記憶する記憶部である。地図情報格納部１４は、ネットワークを介して通信可能なサーバによって管理される記憶装置であってもよい。地図情報は、車両１００が走行予定の領域の地図情報を含む。

同一地物特定部１３は、認識部１１によって認識された地物情報（「第１の地物情報」ともいう。）と、車両１００以外の機器（例えば、路側機）に搭載された認識装置によって認識された地物情報（「第２の地物情報」ともいう。）とを比較し、第１の地物情報に含まれる１つ以上の地物（「第１の地物」ともいう。）と第２の地物情報に含まれる１つ以上の地物（「第２の地物」ともいう。）とを比較することによって、同一の地物を特定する。

図３は、ある時刻Ｔにおける実際の道路状況を示す図である。図３には、時刻Ｔに、実際に道路に存在する複数の地物が示されている。図３において、車両１００は情報統合装置１０を有し、路側機２００は地物を認識する認識装置を有している。路側機２００の認識装置としては、各種の認識装置を使用可能であるが、車両１００に搭載された認識装置と同様のものであってもよい。

図４（Ａ）は、時刻Ｔに車両１００の情報統合装置１０の認識部１１によって認識された複数の第１の地物を矩形の実線枠で示す。図４（Ｂ）は、時刻Ｔに路側機２００の認識装置によって認識された複数の第２の地物を矩形の破線枠で示す。車両１００の情報統合装置１０の認識部１１による認識領域と路側機２００の認識装置による認識領域とが部分的に共通であるため、車両１００の情報統合装置１０の認識部１１によって認識された第１の地物である車両Ｖａと路側機２００の認識装置によって認識された第２の地物である車両Ｖａとは、同一の地物である。しかし、図４（Ａ）で情報統合装置１０の認識部１１によって認識された車両Ｖａの位置と、図４（Ｂ）で路側機２００の認識装置によって認識された車両Ｖａの位置とは異なっている。

図４（Ａ）における車両Ｖａ及び図４（Ｂ）における車両Ｖａの位置と、図３に示される実際の車両Ｖａの位置とを比較すると、車両１００の情報統合装置１０によって認識された車両Ｖａの位置に誤差が含まれていることが分かる。このため、絶対的な位置情報を基に、車両１００の情報統合装置１０の認識部１１によって認識された車両Ｖａと路側機２００の認識装置によって認識された車両Ｖａとを同一の地物であると判断することができない。そこで、情報統合装置１０の同一地物特定部１３は、他の特徴から、情報統合装置１０の認識部１１によって認識された車両Ｖａと路側機２００の認識装置によって認識された車両Ｖａとが同一の地物であると判断する。

他の特徴としては、地図情報に含まれる標識、停止線、看板、トンネルの入り口などのランドマーク情報、車両の種別、速度、他の地物との相対位置関係情報等が挙げられる。例えば、相対的な位置情報を用いる場合には、車両１００の情報統合装置１０の認識部１１によって認識された車両Ｖａと路側機２００の認識装置によって認識された車両Ｖａの何れも、右車線一定距離の場所に同一の赤い車両Ｖｂが存在する。このように、同一地物特定部１３は、車両１００の情報統合装置１０の認識部１１によって認識された地物を示す地物情報の位置情報に検出誤差があったとしても、相対的な位置関係などを基に判断することで、情報統合装置１０の認識部１１によって認識された車両Ｖａと路側機２００の認識装置によって認識された車両Ｖａが同一の地物であると判断することができる。同一地物特定部１３は、その他の特徴のいずれか１つもしくは２つ以上、又は、その他の特徴の全てを組み合わせて同一の地物を特定する。同一地物特定部１３により行われる処理は、情報統合装置１０における同一の地物の特定処理に相当する。

図５（Ａ）は、車両１００の情報統合装置１０の認識部１１によって認識された複数の第１の地物を示す第１の地物情報を示す図である。図５（Ｂ）は、図５（Ａ）の第１の地物情報を補正して得られた補正後の第１の地物情報を示す図である。図３には、時刻Ｔ（「基準時刻」ともいう。）における実際の地物が示される。しかしながら、情報統合装置１０の認識部１１、及び、路側機２００の認識装置は、一定の周期で認識を行っているため、情報統合装置１０の認識部１１が取得する第１の地物情報、及び、路側機２００が取得する第２の地物情報は、時刻Ｔの瞬間に認識されたものではない。

図５（Ａ）では、車両１００の情報統合装置１０の認識部１１によって認識された複数の第１の地物を示す第１の地物情報の認識時刻は、基準時刻である時刻ＴよりもΔＴａ遅いＴａ（＝Ｔ＋ΔＴａ）である。同一地物特定部１３は、例えば、車両１００の速度情報と誤差時刻であるΔＴａに基づいて、時刻Ｔにおける地物情報を基に時刻Ｔに同期する処理を実施する。同一の地物の判定前に時刻同期をすることで、同一の地物の特定率を上げることができる。

図６（Ａ）は、車両１００の情報統合装置１０の認識部１１によって認識された複数の第１の地物を示す第１の地物情報を示す図である。図６（Ｂ）は、路側機２００の認識装置によって認識された複数の第２の地物を示す第２の地物情報を示す図である。図６（Ｃ）は、図６（Ａ）の第１の地物情報及び図６（Ｂ）の第２の地物情報に含まれる同一車両の情報に基づいて、図６（Ａ）の第１の地物情報を補正する処理を示す図である。

補正情報生成部１６は、同一地物特定部１３によって特定された同一の地物を基に、情報統合装置１０の認識部１１によって認識された複数の第１の地物を示す第１の地物情報及び路側機２００の認識装置によって認識された複数の第２の地物を示す第２の地物情報における、誤認識及び認識誤差を補正するために使用される補正情報を生成する。図６（Ａ）から（Ｃ）は、路側機２００の認識装置による第２の地物の認識精度が、情報統合装置１０の認識部１１による第１の地物の認識精度よりも高い場合を示す。同一地物特定部１３で同一と判断された車両Ｖａにおいて、車両１００による車両Ｖａの位置情報と路側機２００による車両Ｖａの位置情報とを比較すると、Ｘ軸方向の位置に距離「５０」の差があることが分かる。このため、補正情報生成部１６は、情報統合装置１０の認識部１１による地物情報の全てのＸ軸方向の位置に、距離「５０」を加算する必要があるという補正情報を生成する。

図７（Ａ）は、情報統合装置１０の認識部１１によって認識された複数の第１の地物（標識を含む）を示す第１の地物情報を示す図である。図７（Ｂ）は、路側機２００の認識装置によって認識された又は地図情報に含まれる複数の第２の地物（標識を含む）を示す第２の地物情報を示す図である。図７（Ｃ）は、図７（Ａ）の地物情報と図７（Ｂ）の地物情報又は地図情報とに含まれる標識の情報に基づいて図７（Ａ）の第１の地物情報を補正する処理を示す図である。

補正情報を生成するには、補正情報生成部１６は、まず情報統合装置１０の認識部１１及び路側機２００のび認識装置のいずれか１つ、又は２つ以上、又は全てに補正が必要であるかを判断する。地図情報に含まれる標識情報の絶対的な位置情報は、正確な位置情報である。補正情報生成部１６は、情報統合装置１０の認識部１１によって認識された標識の位置と路側機２００の認識装置によって認識された標識の位置を地図情報に含まれる標識の位置と比較することで、情報統合装置１０の認識部１１によって認識された標識の位置情報は、地図情報に含まれている標識の位置情報と異なるため補正が必要であると判断し、路側機２００の認識装置によって認識された標識の位置情報は、地図情報に含まれている標識の位置情報と一致しているため補正が不要であると判断する。さらに、補正情報生成部１６は、情報統合装置１０の認識部１１によって認識された標識の位置が、地図情報に含まれている標識の位置より、－Ｘ軸方向に距離「５０」ずれていると判断する。このため、補正情報生成部１６は、情報統合装置１０の認識部１１によって認識された第１の地物の全ての位置を、＋Ｘ軸方向に距離「５０」移動させるという補正情報を生成する。補正情報生成部１６により行われる処理は、情報統合装置１０の補正情報生成処理に相当する。

補正情報格納部１５は、補正情報生成部１６が生成した補正情報１５ａを記憶する記憶部である。

情報送受信部１２は、認識部１１によって認識された第１の地物を示す第１の地物情報と補正情報生成部１６が生成した補正情報のいずれか一方又は両方を他の移動体又は固定体に搭載された認識装置に送信する。また、情報送受信部１２は、他の移動体又は固定体に搭載された認識装置から地物情報と補正情報のいずれか一方又は両方を受信する取得部である。

情報統合部１７は、認識部１１によって認識された第１の地物を示す第１の地物情報と情報送受信部１２が受信した他の移動体又は固定体に搭載された認識装置によって認識された第２の地物を示す第２の地物情報とを統合し、広範囲の地物情報を生成する。特に、情報統合部１７は、補正情報生成部１６が生成した補正情報と、他の移動体又は固定体に搭載された認識装置が生成した補正情報とを基に、認識部１１によって認識された第１の地物を示す第１の地物情報と情報送受信部１２が受信した第２の地物を示す第２の地物情報の一方又は両方の誤認識及び認識誤差を補正して、情報を統合することで正確かつ広範囲の統合地物情報を生成することができる。

図８（Ａ）は、ある時刻Ｔにおける実際の道路状況を示す図である。図８（Ｂ）は、情報統合装置１０の認識部１１によって認識された複数の第１の地物を示す第１の地物情報を示す図である。図８（Ｃ）は、路側機２００の認識装置によって認識された複数の第２の地物を示す第２の地物情報を示す図である。図９（Ａ）は、図８（Ｂ）の第１の地物情報を補正して得られた補正後の第１の地物情報を示す図である。図９（Ｂ）は、図８（Ｃ）の第２の地物情報を補正して得られた補正後の第２の地物情報を示す図である。図９（Ｃ）は、図９（Ａ）及び（Ｂ）の地物情報を統合して得られた統合地物情報を示す図である。

まず、地物情報（補正前）に対して補正情報を用いて補正を実施する。この例では、車両１００の情報統合装置１０の認識部１１によって認識された複数の第１の地物を示す第１の地物情報について、複数の第１の地物の位置を＋Ｘ軸方向に距離「５０」移動させる、すなわち、Ｘ座標に「５０」を加算することで補正するという補正情報が格納されている。この補正情報を基に、第１の地物情報を補正した図が、図９（Ａ）に示される。図９（Ａ）に示される第１の地物情報（補正後）と図９（Ｂ）に示される第２の地物情報（補正後）とを統合することで実際の道路状況を正確に認識した地物を示す統合地物情報（図９（Ｃ））を生成することができる。情報統合部１７により行われる処理は、情報統合処理に相当する。

〈実施の形態の動作〉
次に、本実施の形態に係る情報統合装置１０の動作を説明する。図１０は、情報統合装置１０の動作を示すフローチャートである。

まず、ステップＳ１０において、認識部１１は、車載センサ２０の出力に基づいて、車両１００の周辺に存在する１つ以上の第１の地物の認識処理を行って第１の地物情報を取得し、情報送受信部１２は、１つ以上の第２の地物についての第２の地物情報を取得する。

ステップＳ１１では、同一地物特定部１３は、認識部１１で生成した第１の地物情報、及び情報送受信部１２が受信した他の移動体又は固定体に搭載された認識装置により生成された第２の地物情報に対する補正情報が既に生成済みであるか否か（すなわち、補正情報有りか無か。）を判定する。補正情報が既に生成済みである場合（すなわち、補正情報有りの場合）には、処理はステップＳ１２に進み、補正情報が生成済みでない場合（すなわち、補正情報無しの場合）には、処理はステップＳ１４に進む。

ステップＳ１２では、補正情報生成部１６は、補正情報を生成したときの環境と現在の環境の変化（すなわち、環境の差）の有無を判定する。補正情報は、環境に大きく依存する。例えば、車両が速度６０ｋｍ／ｈで走行中のときの認識誤差と、車両が速度１０ｋｍ／ｈで走行中のときの認識誤差とは、大きく異なる。このため、生成済みの補正情報は、その補正情報を生成した環境と同じ環境のときのものか又は同等の環境のときのもの（すなわち、環境の差が予め決められた範囲内であるときのもの）である場合に、正しく地物情報の誤検出、認識誤差を補正するために使用することができる。ここで、「環境」は、移動体の走行状態（速度、加減速度、ステアリング角度など）、道路環境（直線区間、カーブ、交差点付近、トンネル内など）、天候などを示す。この判定後、処理はステップＳ１３に進む。

ステップＳ１３では、補正情報生成部１６は、ステップＳ１２の環境変化の有無に応じて補正情報の生成要否を判定する。環境変化がない場合（ステップＳ１３において判断が無の場合）、既に生成済みの補正情報が有効であるため、処理はステップＳ１７に進む。環境変化が有る場合（ステップＳ１３において判断が有り場合）には、補正情報を生成する必要があるため、処理はステップＳ１４に進む。

ステップＳ１４では、同一地物特定部１３は、認識部１１によって認識された１つ以上の第１の地物を示す第１の地物情報に含まれる認識時刻と情報送受信部１２が受信した１つ以上の第２の地物を示す第２の地物情報の認識時刻を補正し、時刻同期の処理である時刻補正を行う。つまり、同一地物特定部１３は、第１の地物情報の認識時刻と第２の地物情報の認識時刻とに基づいて、第１の地物情報と第２の地物情報とを同時刻の情報に補正する時刻補正を行う。

ステップＳ１５では、同一地物特定部１３は、時刻補正済みの第１の地物情報と第２の地物情報の中から同一の地物を特定する。同一の地物を特定する例としては、高精度地図の特徴点を用いて特徴点からの相対距離が一致する地物を同一と特定する方法、複数の地物の相対関係から同一の地物を特定する方法、などが挙げられる。

ステップＳ１６では、補正情報生成部１６は、同一地物特定部１３によって特定された同一の地物の情報と複数の認識装置による地物情報を基に情報統合装置１０の認識部１１及び路側機２００の認識装置によって認識された地物を示す地物情報の誤認識及び認識誤差を補正する補正情報を生成する。補正情報の生成手段としては、同一であると特定した地物の位置が一致していなければ、信頼度が低い認識装置による地物情報を信頼度が高い地物情報の位置に合わせる情報となる。生成した補正情報は、補正情報格納部１５に格納する。

ステップＳ１７では、情報統合部１７は、補正情報を用いて、情報統合装置１０の認識部１１によって生成された第１の地物情報と、路側機２００の認識装置が生成した第２の地物情報とに現れる地物情報の誤認識及び認識誤差を補正する。

ステップＳ１８では、情報統合部１７は、補正された第１の地物情報及び第２の認識情報とを統合することで、広範囲で正確な統合地物情報を生成する。

〈実施の形態の効果〉
以上に説明したように、本実施の形態に係る情報統合装置１０によれば、車両１００の情報統合装置１０の認識部１１によって認識された１つ以上の第１の地物を示す第１の地物情報及び路側機２００の認識装置によって認識された１つ以上の第２の地物を示す第２の地物情報を比較し、比較の結果に基づいて第１の地物情報又は第２の地物情報の少なくとも一方を補正し、その後、第１の地物情報と第２の地物情報とを統合して、統合地物情報を生成する。このため、情報統合装置１０によれば、広範囲の地物情報を正確に把握することができる。

また、本実施の形態に係る情報統合装置１０を用いた移動体は、その周辺の地物情報を把握し、把握した地物情報を基に移動体の運転に係る運転支援情報を生成する運転支援装置に適切な地物情報を提供することができる。

また、本実施の形態に係る情報統合装置１０を用いた移動体は、その周辺の地物情報を把握し、把握した地物情報を基に移動体の自立走行に係る自立走行情報を生成する自立走行装置に適切な地物情報を提供することができる。

１０情報統合装置、１１認識部、１２情報送受信部（通信部）、１３同一地物特定部、１４地図情報格納部、１４ａ地図情報、１５補正情報格納部、１５ａ補正情報、１６補正情報生成部、１７情報統合部、２０車載センサ、１００車両、２００路側機、３００標識。

Claims

移動体に備えられたセンサから、前記センサによって取得されたセンサ情報を取得し、取得した前記センサ情報に基づいて前記移動体の周辺の１つ以上の地物である１つ以上の第１の地物を認識し、前記１つ以上の第１の地物を示す第１の地物情報を生成する認識部と、
外部装置から、又は前記外部装置及び地図情報の両方から、前記移動体の周辺に存在すると認識された１つ以上の地物である１つ以上の第２の地物を示す第２の地物情報を取得し、前記第１の地物情報によって示される前記１つ以上の第１の地物と前記第２の地物情報によって示される前記１つ以上の第２の地物の中から同一の地物を特定する同一地物特定部と、
同一の地物であると特定された第１の地物と第２の地物との位置の差に基づいて、前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正するために用いる補正情報を生成する補正情報生成部と、
前記補正情報を用いて前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正した後に、前記第１の地物情報と前記第２の地物情報とを統合することで統合地物情報を生成する情報統合部と、
を備え、
前記同一地物特定部は、前記第１の地物情報の認識時刻と前記第２の地物情報の認識時刻とに基づいて、前記第１の地物情報と前記第２の地物情報とを同時刻の情報に補正する時刻補正を行い、前記時刻補正が行われた後に、前記第１の地物情報及び前記第２の地物情報に基づいて、前記同一の地物を特定する処理を行う
ことを特徴とする情報統合装置。
前記第１の地物情報は、前記１つ以上の第１の地物の位置及び属性を含み、
前記第２の地物情報は、前記１つ以上の第２の地物の位置及び属性を含む
ことを特徴とする請求項１に記載の情報統合装置。
前記移動体は、走行可能な車両であり、
前記外部装置は、固定された１つ以上の認識装置、他の移動体に備えられた１つ以上の認識装置、又は、固定された１つ以上の認識装置及び他の移動体に備えられた１つ以上の認識装置の組み合わせであり、前記１つ以上の第２の地物を認識して前記第２の地物情報を生成する
ことを特徴とする請求項１又は２に記載の情報統合装置。
前記地図情報は、前記移動体が走行予定の領域の地図情報を含む
ことを特徴とする請求項１から３のいずれか１項に記載の情報統合装置。
前記地図情報は、前記移動体に備えられた記憶装置又はネットワーク上の情報提供サーバに記憶されている情報である
ことを特徴とする請求項１から４のいずれか１項に記載の情報統合装置。
前記第１の地物情報と前記補正情報の少なくとも一方を前記外部装置に送信する通信部をさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の情報統合装置。
前記同一地物特定部は、前記補正情報が既に生成済みであるか否かを判定し、
前記補正情報生成部は、前記補正情報が生成済みでない場合に、前記補正情報を生成する
ことを特徴とする請求項１から６のいずれか１項に記載の情報統合装置。
前記補正情報が既に生成済である場合、前記情報統合部は、前記補正情報を生成したときにおける前記移動体の環境と現在の前記移動体の環境の差が予め決められた範囲内であるときに、生成済みの前記補正情報を用いて補正を行う
ことを特徴とする請求項７に記載の情報統合装置。
情報統合装置によって実施される情報統合方法であって、
移動体に備えられたセンサから、前記センサによって取得されたセンサ情報を取得し、取得した前記センサ情報に基づいて前記移動体の周辺の１つ以上の地物である１つ以上の第１の地物を認識し、前記１つ以上の第１の地物を示す第１の地物情報を生成するステップと、
外部装置から、又は前記外部装置及び地図情報の両方から、前記移動体の周辺に存在すると認識された１つ以上の地物である１つ以上の第２の地物を示す第２の地物情報を取得し、前記第１の地物情報によって示される前記１つ以上の第１の地物と前記第２の地物情報によって示される前記１つ以上の第２の地物の中から同一の地物を特定するステップと、
同一の地物であると特定された第１の地物と第２の地物との位置の差に基づいて、前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正するために用いる補正情報を生成するステップと、
前記補正情報を用いて前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正した後に、前記第１の地物情報と前記第２の地物情報とを統合することで統合地物情報を生成するステップと、
を有し、
前記同一の地物を特定する前記ステップでは、前記第１の地物情報の認識時刻と前記第２の地物情報の認識時刻とに基づいて、前記第１の地物情報と前記第２の地物情報とを同時刻の情報に補正する時刻補正を行い、前記時刻補正が行われた後に、前記第１の地物情報及び前記第２の地物情報に基づいて、前記同一の地物を特定する
ことを特徴とする情報統合方法。
移動体に備えられたセンサから、前記センサによって取得されたセンサ情報を取得し、取得した前記センサ情報に基づいて前記移動体の周辺の１つ以上の地物である１つ以上の第１の地物を認識し、前記１つ以上の第１の地物を示す第１の地物情報を生成するステップと、
外部装置から、又は前記外部装置及び地図情報の両方から、前記移動体の周辺に存在すると認識された１つ以上の地物である１つ以上の第２の地物を示す第２の地物情報を取得し、前記第１の地物情報によって示される前記１つ以上の第１の地物と前記第２の地物情報によって示される前記１つ以上の第２の地物の中から同一の地物を特定するステップと、
同一の地物であると特定された第１の地物と第２の地物との位置の差に基づいて、前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正するために用いる補正情報を生成するステップと、
前記補正情報を用いて前記第１の地物情報及び前記第２の地物情報の少なくとも一方を補正した後に、前記第１の地物情報と前記第２の地物情報とを統合することで統合地物情報を生成するステップと、
を有し、
前記同一の地物を特定する前記ステップでは、前記第１の地物情報の認識時刻と前記第２の地物情報の認識時刻とに基づいて、前記第１の地物情報と前記第２の地物情報とを同時刻の情報に補正する時刻補正を行い、前記時刻補正が行われた後に、前記第１の地物情報及び前記第２の地物情報に基づいて、前記同一の地物を特定する
処理、をコンピュータに実行させることを特徴とする情報統合プログラム。