JP7127328B2

JP7127328B2 - 地図情報を更新する方法、装置及び電子機器

Info

Publication number: JP7127328B2
Application number: JP2018064626A
Authority: JP
Inventors: タヌ・ジミン; リィウ・シアオチン; 明浩東
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-08-23
Filing date: 2018-03-29
Publication date: 2022-08-30
Anticipated expiration: 2038-03-29
Also published as: CN110069578A; JP2019040175A

Description

本発明は、情報技術分野に関し、特に、地図情報を更新する方法、装置及び電子機器に関する。

高精度電子地図が自動運転の重要なツールの１つである。

電子地図中の情報は、静的情報、準静的情報、準動的情報、動的情報などを含む。そのうち、静的情報は、周期が数ヶ月の情報、例えば、路面状況、交通標識、道路標示、広告看板、ガードレールなどの情報であっても良く、準静的情報は、周期が数時間の情報、例えば、工事情報、道路メンテナンス情報、天気、災害などの情報であっても良く、準動的情報は、周期が数分間の情報、例えば、交通事故、交通渋滞、遺留物、障害物、煙や火などの情報であっても良く、動的情報は、周期が数秒間の情報、例えば、道路上の車両状況、歩行者状況、信号などの情報であっても良い。

本発明の発明者は、次のようなことを発見した。即ち、従来技術では、如何に電子地図中の情報に対して更新を行うかについて、スタンダードな解決案がまだない。

本発明の実施例は、地図情報を更新する方法、装置及び電子機器を提供し、監視カメラ、車載カメラ、及び移動カメラ（無人機（ドローン）カメラ、携帯カメラ、又はウエアラブルカメラ）により撮られた画像（以下、画像と略称する）に対して分析を行い、分析結果と地図情報とを比較し、そして、地図情報を更新することにより、低コストで且つ実用性がより高い方式で地図情報をより迅速に更新することができる。

本発明の実施例の第一側面によれば、地図情報を更新する装置が提供され、それは、
第一認識ユニットであって、画像を分析し、前記画像中の交通情報を認識するためのもの；
第一取得ユニットであって、前記画像の位置情報を取得するためのもの；
第一比較ユニットであって、地図中の、前記画像と同じ位置を有する地図情報と、前記交通情報とを比較するためのもの；及び
第一更新ユニットであって、比較結果に基づいて前記地図情報を更新するためのものを含む。

本実施例の第二側面によれば、地図情報を更新する方法が提供され、それは、
画像を分析し、前記画像中の交通情報を認識し；
前記画像の位置情報を取得し；
地図中の、前記画像と同じ位置を有する地図情報と、前記交通情報とを比較し；及び
比較結果に基づいて前記地図情報を更新することを含む。

本実施例の第三側面によれば、電子機器が提供され、それは、実施例の第一側面に記載の地図情報を更新する装置を含む。

本発明の有益効果は、次の通りであり、即ち、低コストで且つ実用性がより高い方式で地図情報をより迅速に更新することができる。

本発明の実施例1における地図情報更新装置を示す図である。本発明の実施例1における交通情報中の静的情報を示す図である。本発明の実施例1における交通情報中の準静的情報を示す図である。本発明の実施例1における交通情報中の準動的情報を示す図である。本発明の実施例1における地図情報更新前の状態を示す図である。本発明の実施例1における更新後の地図情報を示す図である。本発明の実施例1において画像を複数の領域に分割することを示す図である。本発明の実施例2における地図情報更新方法を示す図である。本発明の実施例3における電子機器を示す図である。

以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。

本発明の実施例1は、地図情報を更新する装置を提供し、それは、地図の情報を更新するために用いられる。図1は、該装置を示す図である。図1に示すように、地図情報を更新する装置100は、第一認識ユニット101、第一取得ユニット102、第一比較ユニット103、及び第一更新ユニット104を含む。

本実施例では、第一認識ユニット101は、画像を分析し、画像中の交通情報を認識し；第一取得ユニット102は、該画像の位置情報を取得し；第一比較ユニット103は、地図中の、該画像と同じ位置を有する地図情報と、該交通情報とを比較し；第一更新ユニット104は、第一比較ユニット103の比較結果に基づいて該地図情報を更新する。

本実施例では、画像を分析することで、分析結果と地図情報との比較を行い、そして、地図情報を更新することにより、低コストで且つ実用性がより高い方式で地図情報をより迅速に更新することができる。

本実施例では、画像は、カメラが撮影した画像であっても良く、該カメラは、位置固定の監視カメラ、例えば、道路両側に設置される位置固定のカメラであっても良く、又は、該カメラは、位置固定でない移動式カメラであっても良く、該移動式カメラは、移動体に設けられるカメラ、例えば、車に搭載されるカメラ、無人機に設置されるカメラ、又は歩行者携帯の移動可能な端末に設けられるカメラなどであっても良い。

本実施例では、第一認識ユニット101は、画像を分析し、画像中のオブジェクト（objects）及び／又はイベント（events）を認識し、画像中の交通情報を得ることができる。

本実施例では、交通情報は、静的情報、準静的情報、準動的情報、動的情報などを含んでも良い。そのうち、静的情報は、周期が数ヶ月の情報、例えば、路面状況、交通標識、道路標示、広告看板、ガードレールなどの情報であっても良く、準静的情報は、周期が数時間の情報、例えば、工事情報、道路メンテナンス情報、天気、災害などの情報であっても良く、準動的情報は、周期が数分間の情報、例えば、交通事故、交通渋滞、遺留物、障害物、煙や火などの情報であっても良く、動的情報は、周期が数秒間の情報、例えば、道路上の車両状況、歩行者状況、信号などの情報であっても良い
図2は、交通情報中の静的情報を示す図であり、図3は、交通情報中の準静的情報を示す図であり、図4は、交通情報中の準動的情報を示す図である。

図2に示すように、静的情報は、例えば、路面状況（road condition）201、道路標示（road marking）202、交通標識（traffic sign）203、広告看板（billboard）204、ガードレール（guard rail）205などの情報である。

図3に示すように、準静的情報は、例えば、工事（construction）情報301、道路メンテナンス（maintenance）情報302、天気（weather）303、災害（disaster）304などの情報である。

図4に示すように、準動的情報は、例えば、交通事故（accident）401、交通渋滞（jam）402、遺留物（abandoned object）403、障害物（obstacle）404、ファイア（fire）405などの情報である。

第一認識ユニット101は、ディープラーニングフレームワーク（deep learning framework）に基づく分類器を用いて該分析を行っても良く、そのうち、分類器は、イベント及びオブジェクトを正確に認識するよう、予めトレーニングされても良く、例えば、各種のオブジェクト及びイベントについて、100～1000個のトレーニングサンプルに基づいて該分類器をトレーニングしても良い。

本実施例では、第一認識ユニット101は、Modified Faster R-CNN（Regions with Convolutional Neural Networks）フレームワークに基づく分類器を用いて分析を行い、画像中の異なる種類のオブジェクトを認識しても良く、また、CNN+LSTM（Long short-term memory）フレームワークに基づく分類器を用いて分析を行い、画像中の準動的情報、例えば、イベントなどを認識しても良い。なお、本実施例は、これに限定されず、第一認識ユニット101は、他の分類器により分析を行っても良い。

本実施例では、第一認識ユニット101により認識された交通情報は、テキスト形式で記憶されても良く、これにより、第一比較ユニット103は、該テキスト形式の交通情報と、地図情報とを比較しやすくなる。また、テキスト形式の情報を記憶する他に、スクリーンショットの方式で該交通情報をユーザが調べやすいために記憶しても良い。

本実施例では、第一取得ユニット102は、該画像の位置情報を得ることができ、そのうち、該位置情報は、該画像撮影時の該カメラの所在の位置であっても良い。本実施例では、該カメラは、該画像を生成する時に、対応して該位置情報を生成することができ、これにより、第一取得ユニット102は、該画像の位置情報を得ることができる。例えば、該位置情報は、該画像のデータに書き込むことができ、第一取得ユニット102は、該画像に対して解析を行うことで、該画像の位置情報を得ることができ；又は、該位置情報は、該画像に対応して記憶装置に記憶することができ、これにより、第一取得ユニット102は、該画像と該位置情報との間の対応関係に基づいて、該記憶装置から該位置情報を得ることができ；又は、該カメラを搭載する移動体には、位置決め装置（pointing device）が設けられており、該位置決め装置は、該カメラの位置が時間に伴って変化するログ情報を記録することができ、これにより、該第一取得ユニット102は、分析により該画像の撮影時間を取得し、そして、該撮影時間に基づいて該ログ情報から該画像撮影時のカメラの位置を得ることができ、そのうち、該位置決め装置は、例えば、GPS（Global Positioning System）モジュールであっても良い。

また、本実施例は、これに限定されず、第一取得ユニット102は、他の方式で該位置情報を得ることもできる。例えば、固定した監視カメラが撮影した、異なる監視画像について言えば、位置情報は、固定したものであるので、第一取得ユニット102は、該固定した監視カメラが撮影した、一番目のフレームの監視画像の位置情報を取得し、そして、該位置情報を記憶することができ、これにより、該固定した監視カメラが撮影した他の監視画像について、第一取得ユニット102は、記憶された該位置情報を直接読み取って、該位置情報を得ることができる。

本実施例では、第一比較ユニット103は、地図中の該画像と同じ位置を有する地図情報と、第一ユニットが認識した該画像の交通情報とを比較することができる。例えば、第一比較ユニット103は、第一取得ユニット102が取得した位置情報に基づいて、電子地図から該位置情報に対応する地図情報を読み取り、そして、該地図情報と、第一認識ユニット101が認識した該画像中の交通情報とを比較することで、該地図情報と該交通情報とが一致したかを判断することができ、そのうち、第一比較ユニット103が情報に対して比較を行う具体的な方法は、従来技術を参照することができる。

本実施例では、該第一更新ユニット104は、第一比較ユニット103の比較結果に基づいて、該地図情報を更新することができる。例えば、第一比較ユニット103の比較結果が、「第一認識ユニット101により認識された交通情報と地図情報とが一致しない」のときに、第一更新ユニット104は、認識された交通情報を用いて前記地図情報を更新しても良く、更新の方式は、地図情報中の少なくとも一部の情報を削除しても良く、地図情報中の少なくとも一部の情報を置換しても良く、及び／又は、地図情報に情報を追加しても良く；また、第一比較ユニット103の比較結果が、「第一認識ユニット101により認識された交通情報と地図情報とが一致した」のときに、地図情報を更新しなくても良い。

本実施例では、更新後の地図情報は、地図サーバ又は他の地図使用ユーザに送信されても良く、これにより、他のユーザは、更新後の地図情報をダウンロード又は受信することができ、このようにして、更新後の地図情報は、他のユーザにより使用することができる。

図5は、地図情報更新前の状態を示す図であり、図6は、更新を行った後の地図情報を示す図である。図5及び図6に示すように、更新前の地図500に比べ、更新後の地図600には、事故発生位置601、602、交通渋滞位置603、障害物有り位置604が示されており、そのうち、各位置601、602、603、604に対応する地図情報は、該位置の固定式監視カメラ、又は該位置を通過した移動式カメラにより撮影された画像中の交通情報に基づいて得られたものであっても良い。また、更新後の地図600の各位置601、602、603、604には、更新された情報に対応する文字605及びアイコン606が示されても良く、該文字605の言語は、中国語、英語などであっても良い。

本実施例では、図1に示すように、該位置決め装置100は、さらに、第一領域分けユニット105を有しても良い。該第一領域分けユニット105は、画像に対して領域分け（segmentation／分割）処理を行っても良い。そのうち、領域分け処理は、画像を２つ以上の領域に分割することができる。

本実施例では、第一領域分けユニット105は、ディープラーニングに基づく方法により、該領域分け処理を行っても良く、例えば、画像の中が都市（city）環境の場合、第一領域分けユニット105は、該画像を道路、建築物、天空などの領域に分割することができ、画像の中が農村環境の場合、第一領域分けユニット105は、該画像を道路、田畑、野原、天空などの領域に分割することができる。

本実施例では、第一領域分けユニット105は、他の方式を用いて該領域分け処理を行っても良く、例えば、画像中の消失点（vanishing point）に基づいて該画像に対して領域分け処理を行うことで、該画像を少なくとも２つの部分、例えば、上部及び下部、又は、道路領域及び非道路領域に分割しても良い。

本実施例では、該消失点は、該画像中の線の交差点に基づいて得ることができ、そのうち、該画像中の線は、例えば、道路エッジ線（road edge line）、車道境界線（lane line）、及び／又は道路の両側のガードレール線（guard rail line）などであっても良い。本実施例では、第一領域分けユニット105は、該画像中の線を検出し、線の交差点を確定し、消失点を得ることができ、そして、該消失点に基づいて画像に対して領域分けを行うことができる。そのうち、線検出方法は、例えば、Sobelアルゴリズム、Cannyアルゴリズム、Hough transformation法などであっても良い。

図7は、本実施例における領域分割処理を示す図である。図7に示すように、画像700中の道路エッジ線701、車道境界線702、及び道路のガードレール線703といった３つの線の交差点を画像中の消失点704とし、該消失点704を通過し且つ画像700の上下辺に平行な直線705を境界線とすることで、画像700を上下両部分に分けることができ、そのうち、上部は、非道路領域706であり、下部は、道路領域707である。

本実施例では、第一比較ユニット103は、第一領域分けユニット105の該領域分け処理後の結果に基づいて比較を行っても良く、例えば、画像の異なる領域において、異なる交通情報と地図情報とを比較し、これにより、画像の少なくとも１つの領域において、全部の交通情報と地図情報とを比較する必要がないので、第一比較ユニット103が比較を行う速度を速くすることができる。

表1は、画像の異なる領域において、異なる交通情報を比較する一例である。

本実施例では、画像を分析し、分析結果と地図情報とを比較し、そして、地図情報を更新し、これにより、低コストで且つ実用性がより高い方式で地図情報をよう迅速に更新することができる。

本発明の実施例2は、地図情報を更新する方法を提供し、それは、実施例1の地図情報を更新する装置100に対応する。

図8は、本実施例の地図情報を更新する方法を示す図である。図8に示すように、該方法は、次のようなステップを含む。

ステップ801：画像を分析し、前記画像中の交通情報を認識し；
ステップ802：前記画像の位置情報を取得し；
ステップ803：地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較し；及び
ステップ804：比較結果に基づいて前記地図情報を更新する。

本実施例では、ステップ803の比較結果が、「認識された交通情報と、該地図情報とが一致しない」のときに、ステップ804では、ステップ801で認識された交通情報により、地図情報を更新する。

本実施例のステップ801では、ディープラーニングフレームワークに基づいて画像を分析することができる。

本実施例のステップ801では、認識された交通情報は、テキストの形式で記憶されても良い。

図8に示すように、該方法は、さらに、次のステップを含んでも良く、即ち、
ステップ805：前記画像に対して領域分け処理を行う。

本実施例では、ステップ801は、領域分け処理後の結果に基づいて、地図中の、画像と同じ位置を有する地図情報と、交通情報とを比較することができ、例えば、画像の異なる領域で、異なる交通情報と、地図情報とを比較することができる。

本実施例により、画像を分析し、分析結果と地図情報とを比較し、そして地図情報を更新することにより、低コストで且つ実用性がより高い方式で地図情報をより迅速に更新することができる。

本発明の実施例3は、電子機器を含み、前記電子機器は、実施例1に記載の地図情報を更新する装置を含む。

図9は、本発明の実施例3の電子機器の構成図である。図9に示すように、電子機器900は、中央処置装置（CPU）901及び記憶器902を含んでも良く、記憶器902は、中央処置装置901に接続される。そのうち、記憶器902は、各種のデータを記憶することができ、また、さらに地図情報更新用のプログラムを記憶することができ、且つ中央処置装置901の制御下で該プログラムを実行することができる。

１つの実施方式では、地図情報を更新する装置の機能は、中央処置装置901に統合することができる。

そのうち、中央処置装置901は、次のように構成されても良く、即ち、
画像を分析し、前記画像中の交通情報を認識し；
前記画像の位置情報を取得し；
地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較し；及び
比較結果に基づいて前記地図情報を更新する。

本実施例では、中央処置装置901は、さらに、次のように構成されても良く、即ち、ディープラーニングフレームワークに基づいて前記画像を分析する。

本実施例では、中央処置装置901は、さらに、次のように構成されても良く、即ち、前記画像を複数の領域に分割し、そのうち、地図中の前記画像と同じ位置を有する地図情報と、前記交通情報とを比較することは、
領域分割後の結果に基づいて、地図中の前記画像と同じ位置を有する地図情報と、前記交通情報とを比較することを含む。

本実施例では、中央処置装置901は、さらに、次のように構成されても良く、即ち、画像の異なる領域で、異なる前記交通情報と、前記地図情報との比較を行う。

本実施例では、中央処置装置901は、さらに、次のように構成されても良く、即ち、認識された交通情報と、前記地図情報とが一致しない時に、前記認識された交通情報を以て前記地図情報を更新する。

本実施例では、中央処置装置901は、さらに、次のように構成されても良く、即ち、認識された前記交通情報をテキストの形式で記憶する。

また、図9に示すように、電子機器900は、さらに、入力出力ユニット903及び表示ユニット904などを含んでも良く、そのうち、これらの部品の機能は、従来技術に類似したので、ここでは詳しい説明を省略する。なお、電子機器900は、必ずしも図9中の全ての部品を含む必要がない。また、電子機器900は、さらに、図9に無いものを含んでも良く、これについては、従来技術を参照することができる。

本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、地図情報を更新する装置又は電子機器中で前記プログラムを実行する時に、前記プログラムは、更新地図情報又は電子機器に、実施例2に記載の地図情報を更新する方法を実行させる。

本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記記憶媒体は、上述のコンピュータ可読プログラムを記憶し、前記コンピュータ可読プログラムは、地図情報を更新する装置又は電子機器に、実施例2に記載の地図情報を更新する方法を実行させる。

また、本発明の実施例による装置及び方法は、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。

また、上述の各実施例に関し、さらに次のような付記を開示する。

（付記1）
地図情報を更新する装置であって、
画像を分析し、前記画像中の交通情報を認識するための第一認識ユニット；
前記画像の位置情報を得るための第一取得ユニット；
地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較するための第一比較ユニット；及び
比較結果に基づいて前記地図情報を更新するための第一更新ユニットを含む、装置。

（付記2）
付記1に記載の装置であって、
前記第一認識ユニットは、
ディープラーニングフレームワークに基づいて前記画像を分析する、装置。

（付記3）
付記1に記載の装置であって、
前記画像に対して領域分け処理を行うための第一領域分けユニットをさらに含み、
そのうち、前記第一比較ユニットは、領域分け処理後の結果に基づいて、地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較する、装置。

（付記4）
付記3に記載の装置であって、
前記第一比較ユニットは、
画像の異なる領域で、異なる前記交通情報と前記地図情報とを比較する、装置。

（付記5）
付記1に記載の装置であって、
認識された交通情報と前記地図情報とが一致しないときに、前記第一更新ユニットは、認識された交通情報により、前記地図情報を更新する、装置。

（付記6）
付記1に記載の装置であって、
前記第一認識ユニットにより認識された前記交通情報は、テキストの形式で記憶される、装置。

（付記7）
地図情報を更新する方法であって、
画像を分析し、前記画像中の交通情報を認識し；
前記画像の位置情報を取得し；
地図において前記画像と同じ位置を有する地図情報と、前記交通情とを比較し；及び
比較結果に基づいて前記地図情報を更新することを含む、方法。

（付記8）
付記7に記載の方法であって、
画像を分析することは、ディープラーニングフレームワークに基づいて前記画像を分析することを含む、方法。

（付記9）
付記7に記載の方法であって、
前記画像に対して領域分け処理を行うことをさらに含み、
そのうち、地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較することは、
領域分け処理後の結果に基づいて、地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較することを含む、方法。

（付記10）
付記9に記載の方法であって、
領域分け処理後の結果に基づいて比較を行うことは、
画像の異なる領域で、異なる前記交通情報と前記地図情報とを比較することを含む、方法。

（付記11）
付記7に記載の方法であって、
比較結果に基づいて前記地図情報を更新することは、
認識された交通情報と前記地図情報とが一致しないときに、認識出された前記交通情報により前記地図情報を更新することを含む、方法。

（付記12）
付記7に記載の方法であって、
認識された前記交通情報は、テキストの形式で記憶される、方法。

（付記13）
付記1～6のうちの任意の１項に記載の地図情報を更新する装置を含む、電子機器。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims

地図情報を更新する装置であって、
画像を分析し、前記画像中の交通情報を認識するための第一認識ユニット；
前記画像の位置情報を得るための第一取得ユニット；
地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較するための第一比較ユニット；及び
比較結果に基づいて前記地図情報を更新するための第一更新ユニットを含み、
前記装置は、
前記画像に対して領域分け処理を行うための第一領域分けユニットをさらに含み、
前記第一比較ユニットは、領域分け処理後の結果に基づいて、前記地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較し、
前記第一比較ユニットは、前記画像の異なる領域において、異なる前記交通情報と前記地図情報とを比較する、装置。
請求項１に記載の装置であって、
前記第一認識ユニットは、ディープラーニングフレームワークに基づいて前記画像を分析する、装置。
請求項１に記載の装置であって、
認識された前記交通情報と前記地図情報とが一致しないときに、前記第一更新ユニットは、認識された前記交通情報により、前記地図情報を更新する、装置。
請求項１に記載の装置であって、
前記第一認識ユニットにより認識された前記交通情報は、テキストの形式で記憶される、装置。
地図情報を更新する装置が実行する、地図情報を更新する方法であって、
画像を分析し、前記画像中の交通情報を認識し；
前記画像の位置情報を取得し；
地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較し；及び
比較結果に基づいて前記地図情報を更新することを含み、
前記方法は、
前記画像に対して領域分け処理を行うことをさらに含み、
前記地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較することは、
領域分け処理後の結果に基づいて、前記地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較することを含み、
領域分け処理後の結果に基づいて、前記地図において前記画像と同じ位置を有する地図情報と、前記交通情報とを比較を行うことは、
前記画像の異なる領域において、異なる前記交通情報と前記地図情報とを比較することを含む、方法。
請求項５に記載の方法であって、
前記画像を分析することは、ディープラーニングフレームワークに基づいて前記画像を分析することを含む、方法。
請求項５に記載の方法であって、
比較結果に基づいて前記地図情報を更新することは、
認識された前記交通情報と前記地図情報とが一致しないときに、認識された前記交通情報により前記地図情報を更新することを含む、方法。
請求項５に記載の方法であって、
認識された前記交通情報は、テキストの形式で記憶される、方法。
請求項１～４のうちの任意の１項に記載の地図情報を更新する装置を含む、電子機器。