JP7265269B2 - マップデータの修正方法及び修正プログラム - Google Patents

Description

本発明は、歩行者や自動運転車両等に用いられるマップデータに関し、特にマップデータを簡便に修正するマップデータの修正方法及び修正プログラムに関するものである。

一般に、自動運転車両や、ナビゲーションシステムを搭載した車両などは、走行状態を検出する各種センサや、他の車両や障害物を検出する周囲センサ等から成る検出部からの検出信号に基づいて、走行制御部が駆動制御部を制御し、これにより駆動制御部が走行部及び操舵部を駆動制御して有人又は無人で運転を行なう。以下、典型例として自動運転車両を例として説明する。

走行制御部は、自動運転車両の運行範囲のマップデータを利用して、前もって走行経路を設定しておくと共に、走行中は、位置センサ及び姿勢検出センサを含む検出部からの検出信号に基づいて当該自動運転車両の自己位置を推定し、この推定された自己位置が走行経路内に納まるように走行経路を修正し、修正された走行経路に対応して駆動制御部が走行部及び操舵部を駆動制御することにより、走行経路に沿って当該自動運転車両を走行させるようになっている。

ところで、マップデータは、自動運転車両の運行範囲全体に亘って作成されるが、道路やその周辺環境は常に一定とはいえず、建物の新築や撤去、新規道路の開設、道路の付け替え等によって変動すると共に、例えば道路工事や倒木，土砂崩れ等あるいは比較的長時間の大型車両の駐車等により短期的に状況が変化することもある。このため、マップデータに関して定期的に変更箇所について修正を行なって、マップデータを修正する必要がある。

従来、マップデータの修正は、マップデータ作成に必要な複数の三次元ライダー等の測量機材を積載した自動車等を利用し、マップデータを修正したい箇所を実際に走行することによりマップデータに必要な各種情報を収集している。このような測量機材は高コストで、測量機材を積載した自動車を大量に導入することは大きな経済的負担を生ずる。

これに対して、小型に構成された機材をバックパック状に背負うようにした、所謂可搬型の測量機材も実用化されているが、このような測量機材でも複数の二次元ライダー等を使用するので、高コストであると共に、使いこなすためには技術が必要であるため、一般的には誰でも使いこなせるものではない。

本発明は、以上の点に鑑み、簡単な構成により容易に且つ低コストで所定範囲のマップデータに必要な情報を取得して、マップデータの修正を行なうことができるようにした、自動運転車両をはじめ、有人車両や歩行者等のためのマップデータの修正方法を提供することを第１の目的とし、修正プログラムを提供することを第２の目的としている。

上記目的は、本発明の第一の構成によれば、マップデータを登録した記憶部と該マップデータを修正するマップ修正部とを有するサーバと、該サーバに無線ネットワークを介して接続する携帯端末とから構成し、記憶部に保持された道路及び周辺環境に関するマップデータを修正するマップデータの修正方法であって、サーバに無線ネットワークを介して接続される送受信部と、制御部と、記憶部と、表示部と、静止画像を撮像する静止画カメラ又はＴＯＦ画像を撮像するＴＯＦカメラからなる撮像部と、姿勢検出センサ，位置センサ及び高さセンサから成る検出部と、サーバからダウンロードしたマップデータ修正用のアプリと、を備えた携帯端末を使用し、
携帯端末の撮像部において目標とする道路又は周辺環境の三次元画像を撮像して撮像信号を生成する撮像段階と、
携帯端末の制御部において撮像信号に基づいて当該三次元画像に対応する三次元点群を演算する演算段階と、
携帯端末の制御部において三次元点群と撮像時における姿勢検出センサ，位置センサ及び高さセンサの検出信号とからポイントクラウドを作成するポイントクラウド作成段階と、により、作成したポイントクラウドを送受信部により無線ネットワークを介してサーバに送信し、
サーバのマップ修正部において、ポイントクラウドに基づいて、位置センサの検出信号から当該三次元点群の撮像位置と姿勢検出センサの検出信号から当該三次元画像の撮像方向と高さセンサの検出信号から撮像位置の高さ情報とを取得することで位置情報とした位置情報取得段階と、
サーバのマップ修正部により位置情報に対応するマップデータをサーバの記憶部から読み出して、ポイントクラウドの三次元点群と該読み出したマップデータとを比較してこれらをマッチングさせて当該位置情報におけるマップデータを修正するマップデータ修正段階と、
サーバのマップ修正部により修正したマップデータをサーバの記憶部に書き込む登録段階と、
によりマップデータを修正する、マップデータの修正方法により達成される。

好ましくは、撮像段階において、静止画カメラにより撮像すべき目標に対して互いに異なる撮像位置から複数枚の静止画像を撮像し、演算段階において携帯端末の制御部により複数枚の静止画像をオーバーラップさせて写真測量により当該目標の三次元点群を演算する。
好ましくは、撮像段階に先立ち、携帯端末の制御部は、表示部にサーバ側から指示された撮像場所を表示し、検出部からの検出信号に基づいて携帯端末の位置情報を送受信部から無線ネットワークを介してサーバに送信し、マップ修正部は、位置情報に基づいて携帯端末の位置付近にて修正すべき道路及び周囲環境の修正エリア情報を作成し、無線ネットワークを介して携帯端末に送信し、修正エリア情報を受信した携帯端末の制御部は、表示部に修正エリア情報で指定される位置付近の地図を表示すると共に、当該地図上で修正エリア情報で指定される位置を表示し、検出部からの位置に関する検出信号に基づいて使用者が修正エリア情報で指定される場所に到達したことを検出して、表示部に撮像を指示する。撮像段階においてＴＯＦカメラにより撮像すべき目標のＴＯＦ画像を撮像し、演算段階において携帯端末の制御部によりＴＯＦ画像に基づいて三次元点群を演算してもよい。
携帯端末の制御部から受信した撮像位置の高さ情報の精度が高くない場合には、携帯端末で修正すべき箇所を含む近傍の少し広い箇所の多めのポイントクラウドを作成し、サーバのマップ修正部は、該多めのポイントクラウドによるデータと修正前のマップデータの点群との類似をマッチング処理して、最適にマッチングする個所の差分を修正して修正マップデータとする、
好ましくは、撮像部は静止画カメラで撮像した静止画像又はＴＯＦカメラでＴＯＦ画像を携帯端末の制御部に出力し、携帯端末の制御部は、静止画像又はＴＯＦ画像が三次元点群の演算に利用できない場合には、表示部を介して静止画像又はＴＯＦ画像の再撮像の指示のために携帯端末の表示部に再撮像指示の旨の警告表示を行なう。
携帯端末はスマートデバイスを用いることができる。
サーバが、マップデータを利用するためにネットワークを介して車両又は利用者に接続されるマップ管理部を備え、このサーバのマップ管理部において、車両又は利用者が使用中のマップデータが携帯端末からのポイントクラウドに基づいて修正されたとき、当該車両又は利用者に対して修正されたマップデータを修正マップデータとしてネットワークを介して送信してもよい。
マップデータの修正段階にて、マップ修正部が修正マップデータに関して修正箇所を車両又は利用者が通行可能か否かを判断し、通行不可能な場合には修正箇所を回避する迂回ルートを設定して迂回ルートを修正マップデータに関連付けてサーバの記憶部に書き込んでもよい。修正マップデータがサーバの記憶部に書き込まれたとき、マップ管理部が、当該修正マップデータに関して修正前のマップデータを利用している車両又は利用者に対して当該修正マップデータをネットワークを介して送信してもよい。修正マップデータに迂回ルートが関連付けられているとき、マップ管理部が、当該修正マップデータと共に関連する迂回ルートを車両又は利用者に対して送信してもよい。

上記目的は、本発明の第二の構成によれば、上述したマップデータの修正方法における撮像段階，演算段階，ポイントクラウド作成段階及び送信段階の各処理を携帯端末の制御部に実行させる、マップデータの修正プログラムにより達成される。

本発明によれば、簡単な構成で容易に且つ低コストで、所定範囲のマップデータに必要な情報を取得してマップデータの修正を行なうことができ、通行する人や車両等にとって極めて優れたマップデータシステム、そしてマップデータ修正方法及びマップデータ修正プログラムを提供することができる。

本発明によるマップデータの修正方法を実行するためのマップデータシステムの一例の構成を示すブロック図である。 図１においてマップデータ修正のためのプログラムによるマップデータ修正の手順を示すフローチャートである。 マップデータ修正のためのプログラムによる具体的な手順を示すフローチャートである。 三角測量の原理を示す図である。 ＴＯＦカメラの構成例を示すブロック図である。 第二の実施形態におけるＴＯＦカメラによる撮像からポイントクラウド作成までの処理を示すフローチャートである。 図１に示したマップデータシステムの他の例の構成を示すブロック図である。 図４のマップデータシステムにおけるマップデータの修正方法を示すフローチャートである。

以下、図面に示した実施形態に基づいて本発明を詳細に説明する。
図１は本発明によるマップデータの更新方法及び更新プログラムの一実施形態を実施するためのマップデータシステムの一例の全体構成を示している。マップデータは、カーナビゲーションを使用している車両やその使用者、携帯端末からマップデータを閲覧する使用者、自動運転車両等に使用される。以下の説明においては、カーナビゲーションを操作する歩行者や自動運転車両その他の車両及びこれらの使用者を単に車両又は利用者とも呼ぶ。
図１において、自動運転車両等のためのマップデータシステム（以下、マップデータシステムという）１０は、サーバ２０と、携帯端末３０と、無線ネットワーク４０と、から構成されている。マップデータは、カーナビゲーション、携帯端末の利用者によるマップデータの閲覧及び自動運転車両等に使用される。以下では、カーナビゲーション、携帯端末の利用者によるマップデータの閲覧及び自動運転車両等に使用されるマップデータシステムを、単にマップデータシステムとして説明する。

ここで、無線ネットワーク４０は、携帯端末３０が接続可能な任意の構成の３Ｇ,４Ｇ，５Ｇ等の無線ネットワークであって、専用回線ネットワークであっても公衆回線ネットワークやインターネットに接続される公衆回線ネットワークを含むものであってもよく、あるいはＷｉ－Ｆｉ等の無線ＬＡＮであってもよい。

サーバ２０は、適宜の箇所に設置されたサーバであり、車両又は利用者のためのマップデータ（以下、マップデータという）２１を登録する記憶部２２と、記憶部２２に対してマップデータ２１の読み書きを行なう共に、マップデータ２１の修正処理を行なうマップ修正部２３と、から構成されている。以下の説明では、マップデータ２１を、特に断らない限りは、自動運転車両のマップデータに例をとって説明する。
ここで、マップデータ２１は、自動運転車両の運行範囲内の走行可能エリアに関して自動運転車両の自動運転に必要な道路及び周辺環境に関するデータを含んでいる。前記サーバ２０の記憶部２２には、マップデータ２１が登録されており、位置情報に基づいて当該位置情報付近のマップデータを読み出すことができる。

マップ修正部２３は、後述するように、携帯端末３０から送られてくるポイントクラウド３２ｃに基づいて当該ポイントクラウド３２ｃとマップデータ２１とを比較して、マップデータ２１の修正を行なう。

携帯端末３０は、公知の構成の携帯端末、例えばスマートホン，タブレット等のスマートデバイスであって、無線ネットワーク４０に接続可能に構成されている。携帯端末３０は、図１に示すように送受信部３１，制御部３２，記憶部３３，表示部３４，撮像部３５及び検出部３６等から構成されている。

送受信部３１は、無線ネットワーク４０に接続してデータの送受信を行なう。携帯端末３０の制御部３２は、送受信部３１，記憶部３３，表示部３４，撮像部３５及び検出部３６を制御して所定の動作を行なうようになっている。

表示部３４は所謂タッチパネルとして構成されており、制御部３２により駆動制御されて所定の表示を行なうと共に、表示された画面を手指で操作することにより所定の入力を行なうことができるようになっている。撮像部３５は、例えば静止画カメラ又は後述するＴＯＦ(Time of Flight)カメラであって、タッチパネルでの操作に基づいて静止画又は動画の撮像を行ない、撮像した画像を記憶部３３に記録すると共に、制御部３２に送出する。静止画カメラ又はＴＯＦカメラで撮像する画像は静止画像又は動画でもよい。

検出部３６は、姿勢検出センサ３６ａ，位置センサ３６ｂ及び高さセンサ３６ｃを含んでいる。姿勢検出センサ３６ａは、所謂ジャイロであって、当該携帯端末３０の三軸又は六軸の方向の加速度により携帯端末３０の三次元又は角度も含む六軸の姿勢を検出して、検出信号Ｓ１を制御部３２に出力する。位置センサ３６ｂは、全球測位衛星システム（Global Navigation Satellite System、ＧＮＳＳと呼ぶ）用のセンサ、例えばＧＰＳセンサであり、当該携帯端末３０の位置、即ち経度及び緯度を検出して検出信号Ｓ２を制御部３２に出力する。高さセンサ３６ｃは、例えばＭＥＭＳ技術で製造された気圧センサであり、当該携帯端末３０の高さ又は標高を検出して検出信号Ｓ３を制御部３２に出力する。
なお、本願明細書において、姿勢検出センサ３６ａ，位置センサ３６ｂ及び高さセンサ３６ｃは、これらのセンサを組み合わせたモジュールやこれらのセンサを搭載した基板等でもよく、姿勢検出と位置及び高さを検出できる機能を有する部品を含むものである。

さらに、携帯端末３０は、無線ネットワーク４０を介してサーバ２０に接続し、本発明によるプログラムとしてのマップデータ修正用のアプリ５０をダウンロードしてインストールすることにより、マップデータ２１の修正のために必要なデータを取得し、無線ネットワーク４０を介してサーバ２０に送信することができる。

次に、サーバ２０に保持される自動運転車両等のための道路及び周辺環境に関するマップデータの修正方法における、携帯端末３０の使用方法及びサーバ２０の制御方法について説明する。以下の説明においては、自動運転車両等が走行する道路として公道、歩道、工場や遊園地，各種施設などの私有地の道路又は歩道を含む。さらに、例えば、自動運転車両が無人配送、無人警備などのためにビル等の建物内に出入りする場合には、ビル内の各階の通路、エレベータを介した通路を含むものである。
図２は、図１のマップデータシステム１０においてマップデータ修正のためのプログラムによるマップデータ修正の手順を示すフローチャートである。図２に示すように、以下のステップ１～７により行われる。
ステップ１：携帯端末３０の撮像部３５により、目標とする道路又は周辺環境の三次元画像を撮像する撮像段階と、
ステップ２：携帯端末３０の制御部３２により、撮像信号に基づいて当該三次元画像に対応する三次元点群３２ｂを演算する演算段階と、
ステップ３：携帯端末３０の制御部３２により、三次元点群３２ｂと撮像時における姿勢検出センサ３６ａ，位置センサ３６ｂ及び高さセンサ３６ｃの検出信号Ｓ１～Ｓ３とから、ポイントクラウド３２ｃを作成するポイントクラウド作成段階と、
ステップ４：送受信部３１によりポイントクラウド３２ｃを無線ネットワーク４０を介してサーバ２０に送信する送信段階と、
ステップ５：サーバ２０のマップ修正部２３によりポイントクラウド３２ｃに基づいて位置センサ３６ｂの検出信号Ｓ２から当該三次元画像の撮像位置を取得すると共に、姿勢検出センサ３６ａの検出信号Ｓ１から当該三次元画像の撮像方向を取得し、さらに高さセンサ３６ｃの検出信号から撮像位置の高さ情報Ｓ３を取得する位置情報取得段階と、
ステップ６：サーバ２０のマップ修正部２３により、位置情報に対応するマップデータ２１を記憶部２２から読み出して、ポイントクラウド３２ｃの三次元点群３２ｂと読み出したマップデータ２１とを比較してマッチングさせ、当該位置情報におけるマップデータ２１を修正するマップデータ修正段階と、
ステップ８：サーバ２０のマップ修正部２３により、修正されたマップデータ、つまり修正マップデータ２１ａを記憶部２２に書き込む登録段階と、
を備える。
ここで、撮像段階で取得する三次元画像は、静止画又はＴＯＦカメラで撮像した静止画像又は動画から切り出した静止画像でもよい。

上記構成によれば、携帯端末３０に備えられた撮像部３５で目標とする道路又は周辺環境の三次元画像を撮像し、三次元画像から三次元点群３２ｂを演算し、さらに三次元点群３２ｂと撮像位置からポイントクラウド３２ｃを作成して無線ネットワーク４０を介してサーバ２０に送信する。ここで、目標とする道路又は周辺環境とは、道路等の改修工事、建物等の新築工事及び改築工事、その他の周辺環境の変化等によって以前と変化したことによりマップデータ２１を修正するために新たに撮像対象又は撮像対象物となる道路又は周辺環境の目標物を意味している。これにより、サーバ２０では、マップ修正部２３がポイントクラウド３２ｃから三次元画像の撮像位置，撮像方向及び高さに関する位置情報３２ａを取得し、この位置情報３２ａに対応するマップデータ２１を記憶部２２から読み出し、当該ポイントクラウド３２ｃの三次元点群３２ｂとマップデータ２１とを比較してマッチングさせることにより当該位置情報３２ａにおけるマップデータ２１を修正し、修正マップデータ２１ａとして記憶部２２に登録することができる。

このようにして、従来のような高価な測量機器を必要とせず、携帯端末３０を利用することにより低コストで且つ簡便にマップデータ２１の修正を行なうことができる。さらに、マップデータ２１の修正のために必要な操作は携帯端末３０による撮影のみで、撮像後の演算等の処理は携帯端末３０の制御部３２により自動的に行なわれることから、従来の測量機器のような複雑で難しい操作が不要であり、初心者でも携帯端末３０上で容易に行なうことが可能である。

本発明によるマップデータの修正方法及び修正プログラムを実施するためのマップデータシステム１０を利用してマップデータを修正する第一の実施形態は、携帯端末３０にインストールされた修正プログラム、即ちアプリ５０に従って以下のように実行される。

即ち、マップデータの修正方法の一実施形態は、具体的には、図３のフローチャートに示すようにマップデータの修正を実行する。
まず、使用者が携帯端末３０にてアプリ５０を起動すると、ステップＡ１にて、携帯端末３０の制御部３２は表示部３４に、撮像場所の選択画面、即ちサーバ２０側から指示された撮像場所か、使用者が指定する撮像場所か、の選択画面を表示する。ここで、ステップＡ２にて、使用者がサーバ２０側から指示された撮像場所を選択した場合には、携帯端末３０の制御部３２は、ステップＡ３にて検出部３６からの検出信号Ｓ１～Ｓ３に基づいて、当該携帯端末３０の位置情報３２ａを送受信部３１から無線ネットワーク４０を介してサーバ２０に送信する。

これにより、サーバ２０のマップ修正部２３は、ステップＡ４にて、位置情報３２ａに基づいて当該携帯端末３０の位置付近にて修正すべき道路及び周囲環境の修正エリア情報２３ａを作成し、無線ネットワーク４０を介して当該携帯端末３０に送信する。

これを受けて、携帯端末３０の制御部３２は、ステップＡ５にて、表示部３４に修正エリア情報２３ａで指定される位置付近の地図を表示すると共に、当該地図上で修正エリア情報２３ａで指定される位置を表示する。ここで、使用者は、ステップＡ６にて、携帯端末３０の表示部３４に表示される地図を参照しながら徒歩で当該修正エリア情報２３ａで指定される場所まで移動する。これにより、使用者が当該修正エリア情報２３ａで指定される場所まで移動すると、携帯端末３０の制御部３２は、検出部３６からの検出信号Ｓ２に基づいて当該修正エリア情報２３ａで指定される場所に到達したことを検出して、ステップＡ７にて、表示部３４に撮像を指示する画面表示を行なう。

これを受けて、ステップＡ８にて、使用者は、当該修正エリア情報２３ａで指定される場所の一端より外側から、携帯端末３０の撮像部３５により、当該修正エリア情報２３ａで指定される場所を完全にカバーするように順次に撮像を行なう、即ち最初の目標とする道路又は周辺環境の撮像を行なうと、ステップＡ９にて、撮像部３５から撮像した画像データ３５ａが携帯端末３０の制御部３２に送出され、ステップＡ１０にて、携帯端末３０の制御部３２は、当該画像データ３５ａが三次元点群３２ｂの演算に利用可能な適正な画像データか否かの確認を行なう。

ここで、当該画像データ３５ａが適正でないと判断されると、ステップＡ１１にて、携帯端末３０の制御部３２は表示部３４に再撮像を指示する画面表示を行なって、ステップＡ８に戻る。この構成によれば、静止画像が正しく撮像できなかった場合に再撮像を指示することにより三次元点群３２ｂを演算するために適した静止画像を確実に撮像することができる。

これに対して、ステップＡ１０にて、当該画像データ３５ａが適正であると判断されると、ステップＡ１２にて携帯端末３０の制御部３２は、検出部３６からの検出信号Ｓ２即ち現在位置情報３２ａに基づいて当該修正エリア情報２３ａで指定される範囲全体の撮像が完了したか否かを判断し、当該修正エリア情報２３ａで指定される範囲の撮像が完了していない場合には、ステップＡ１３にて、表示部３４に例えば所定距離だけ水平方向に移動した撮像位置からの次の撮像を指示する画面表示を行ない、ステップＡ８に戻る。この構成によれば、再撮像指示の旨の警告表示が携帯端末３０の表示部３４に表示されるので、携帯端末３０の表示部３４を視認することにより再撮像が必要であることが容易に分かる。

ステップＡ１２にて撮像が完了した場合には、携帯端末３０の制御部３２は、ステップＡ１４にて表示部３４に撮像完了及び処理中の旨を画面表示すると共に、ステップＡ１５にて、撮像した複数枚の画像データ３５ａに基づいてこれらをオーバーラップさせて三次元画像とする。三次元画像は、写真測量により即ち同じ対象に対する相互の視差に基づいて、図４に示す三角測量の方法で各画素の距離を演算することにより三次元画像に対応する三次元点群３２ｂを得る。
図４に示すように、三角測量は、目標物が三角形の頂点にあるとき一辺の長さＬが既値であるときに、Ｌと一辺の両端と目標物とのなす角度α及びβとから目標物との距離ｄを下記（１）式で算出する方法である。

上記構成によれば、静止画カメラにより互いに異なる複数の撮像位置からそれぞれ静止画像を撮像し、オーバーラップさせたこれらの静止画像の相互の視差に基づいて写真測量、即ち三角測量を適用し、各画素の距離を演算することにより三次元点群３２ｂを得ることができる。オーバーラップさせた静止画像としては、動画から静止画を切り出した画像でもよい。上記の三次元点群３２ｂは、オーバーラップさせた静止画像の相互の視差に基づいて取得したデータであり、用いる静止画カメラと目標物との間の相対距離による三次元点群である。

そして、携帯端末３０の制御部３２はステップＡ１６にて、三次元点群３２ｂと最後の画像データ３５ａの撮像時における検出部３６からの検出信号Ｓ１～Ｓ３とからポイントクラウド３２ｃを作成し、ステップＡ１７にて、このポイントクラウド３２ｃを送受信部３１から無線ネットワーク４０を介してサーバ２０に送信する。ここで、ポイントクラウド３２ｃは、目標物との相対距離を示す三次元点群３２ｂに、検出信号Ｓ１～Ｓ３から得られる位置情報３２ａ、つまり、絶対座標（緯度、経度、標高）による座標を加えた絶対座標で表示する点群であり、マップデータシステムで使用されている。ポイントクラウド３２ｃは単に点群と呼ぶ場合もある。絶対座標はさらに、例えばＧＰＳセンサである位置センサ３６ｂによる位置取得時刻を加えて、絶対座標を（緯度、経度、標高、時刻）で表してもよい。
これにより、携帯端末３０側での処理が完了し、携帯端末３０の制御部３２は、ステップＡ１８にて表示部３４に処理完了の旨の表示を行なう。

そして、サーバ２０のマップ修正部２３は、携帯端末３０から無線ネットワーク４０を介して送られてくるポイントクラウド３２ｃを記憶部２２に登録すると共に、ステップＡ１９にて、検出信号Ｓ１～Ｓ３から撮像方向，撮像位置及び高さ位置に関する位置情報を取得し、ステップＡ２０にて、位置情報に対応する部分及びその周辺、即ち修正すべき箇所及びその前後を含む部分のマップデータ２１を読み出す。
これにより、サーバ２０のマップ修正部２３は、ステップＡ２１にて、三次元点群３２ｂとマップデータ２１とを比較して、修正すべき箇所の前後の一致部分を参照してマッチングさせることにより、ステップＡ２２にて、当該位置情報付近におけるマップデータ２１を修正し、修正マップデータ２１ａを作成する。この修正マップデータ２１ａは、修正すべき箇所のみを修正した、所謂差分修正した修正マップデータである。
なお、上記のマッチングの処理工程は、携帯端末３０で取得したポイントクラウド３２ｃで用いる絶対座標が、例えば使用する位置センサ３６ｂ及び高さセンサ３６ｃにより誤差が生じ、例えば１ｍオーダー以上の誤差となりあまり精度が高くない。この誤差を解消するため、修正すべき箇所で取得するポイントクラウド３２ｃを修正すべき箇所とその近傍の少し広い箇所で作成し、この多めのポイントクラウド３２ｃによるデータと修正前のマップデータ２１の点群との類似を統計的な手法等によりマッチング処理して、最適にマッチングする個所の差分を修正して修正マップデータ２１ａとすればよい。マッチング処理の手法としては、機械学習、ディープラーニング（深層学習）等の人工知能（ＡＩ）の手法を用いてもよい。このようにして、携帯端末３０で取得したポイントクラウド３２ｃにより修正マップデータ２１ａの取得が可能となる。

その際、サーバ２０のマップ修正部２３は、ステップＡ２３にて、修正マップデータ２１ａにおいて、当該修正箇所で自動運転車両等が通行できるか否かを判断し、通行できない場合にはステップＡ２４にて当該修正箇所に対する迂回ルート２１ｂを設定する。
最後に、サーバ２０のマップ修正部２３は、ステップＡ２５にて修正マップデータ２１ａを、そして迂回ルート２１ｂを設定した場合にはこの迂回ルート２１ｂも記憶部２２に書き込んで登録する。かくして、携帯端末３０で撮像された一連の画像データ３５ａから、修正が必要とされる道路及び周辺環境に沿ってロードマップ２１が正しく修正される。なお、修正マップデータ２１ａは、その修正理由によっては一時的な修正となる場合もあることから、元のマップデータ２１を書き換えるのではなく、マップデータ２１に対して修正マップデータ２１ａを追記するようにしてもよい。

これにより、サーバ２０側から指定された場所におけるマップデータ２１の修正が行なわれる。従って、自動運転車両等は、常に最新の状況に修正された修正マップデータ２１ａに基づいて走行経路を作成し、確実に自動走行を行なうことができる。さらに、自動運転車両等が、マップデータ２１を利用して走行経路を設定する場合に、走行しようとするマップデータ２１の当該修正箇所に迂回ルート２１ｂが設定されている場合には、この迂回ルート２１ｂを選択することで確実に自動運転又は通常運転により目的地に向かって走行することができる。

また、ステップＡ２にて使用者が指定する撮像場所を選択した場合には、ステップＡ２６にて、携帯端末３０の制御部３２は、使用者が撮像場所に到着して撮像開始の旨の操作を行なうことにより上述したステップＡ７に進み、表示部３４に撮像を指示する画面表示を行ない、その後は上述したステップＡ８以降の手順が実行される。これにより、例えば使用者自身が歩行中に見つけた修正が必要な場所、あるいは第三者から知らされた修正が必要な場所等の、指定した場所でのマップデータ２１の修正が行なわれる。

（第二の実施形態）
次に、本発明によるマップデータの修正方法の第二の実施形態について説明する。
第二の実施形態においては、前述した携帯端末３０の撮像部３５は、ＴＯＦカメラとして構成されている。ＴＯＦ(Time of Flight)カメラは、距離計測技術を用いた測距センサ搭載のカメラであって、撮像したＴＯＦ画像データ３５ｂには、画素毎に被写体までの距離情報を含んでおり、それ自体三次元画像を構成している。このため、近年例えばスマートホン等のスマートデバイスでは、従来のカメラの代わりにＴＯＦカメラが搭載されるか又は従来のカメラにさらにＴＯＦカメラも搭載されている。

図５はＴＯＦカメラ５５の構成例を示すブロック図である。ＴＯＦカメラ５５は、道路や新築や改築をした建物等の被撮影物５７に赤外線を照射する発光部５５ａと、被撮影物５７で反射した赤外線をレンズ５５ｂ等を介して検出する二次元の赤外線センサ５５ｃと、二次元の赤外線センサ５５ｃからの信号を処理する信号処理回路と発光部５５ａの変調回路等駆動回路を含む周辺回路５５ｄ等から構成される。ＴＯＦカメラ５５による距離の計測は、赤外線を照射して後にその反射光が、二次元の赤外線センサ５５ｃで受光する迄の時間又は位相差の検出により行うことができるが、何れの方式を用いてもよい。

撮像部３５がＴＯＦカメラであることから、この実施形態においては携帯端末３０の制御部３２における三次元画像の作成が不要であり、図３のフローチャートにおけるステップＡ８～Ａ１６までの処理の代わりに、図６のフローチャートに示すように処理が行なわれる。
即ち、図６のフローチャートにおいて、表示部３４に撮像を指示する画面表示が行なわれている状態で、ステップＢ１にて、使用者は当該修正エリア情報２３ａで指定される範囲の一端より外側から携帯端末３０の撮像部３５により当該修正エリア情報２３ａで指定される範囲を完全にカバーするように順次に撮像を行なう。即ち最初の目標とする道路又は周辺環境の撮像を行なうと、ステップＢ２にて、撮像部３５から撮像したＴＯＦ画像データ３５ｂが携帯端末３０の制御部３２に送出され、ステップＢ３にて、携帯端末３０の制御部３２は、当該ＴＯＦ画像データ３５ｂが三次元点群３２ｂの演算に利用可能な適正なＴＯＦ画像データか否かの確認を行なう。

ここで、当該ＴＯＦ画像データ３５ｂが適正でないと判断されると、ステップＢ４にて、携帯端末３０の制御部３２は表示部３４に再撮像を指示する画面表示を行なってステップＢ１に戻る。この構成によれば、静止画像が正しく撮像できなかった場合に、再撮像を指示することにより、三次元点群３２ｂを演算するために適した静止画像を確実に撮像することができる。さらに、再撮像指示の旨の警告表示が携帯端末３０の表示部３４に表示されるので、携帯端末３０の表示部３４を視認することにより再撮像が必要であることが容易に分かる。

これに対して、ステップＢ３にて当該ＴＯＦ画像データ３５ｂが適正であると判断されると、ステップＢ５にて携帯端末３０の制御部３２は、検出部３６からの検出信号Ｓ２即ち位置情報３２ａに基づいて当該修正エリア情報２３ａで指定される範囲全体の撮像が完了したか否かを判断し、当該修正エリア情報２３ａで指定される範囲の撮像が完了していない場合には、ステップＢ６にて表示部３４に、例えば所定距離だけ水平方向に移動した撮像位置からの次の撮像を指示する画面表示を行なってステップＢ１に戻る。

ステップＢ５にて撮像が完了した場合には、携帯端末３０の制御部３２は、ステップＢ７にて表示部３４に撮像完了及び処理中の旨を画面表示すると共に、ステップＢ８にて撮像した複数枚のＴＯＦ画像データ３５ｂに基づき、各ＴＯＦ画像データ３５ｂに含まれる各画素の距離データに基づいて三次元画像に対応する三次元点群３２ｂを得る。

そして、携帯端末３０の制御部３２は、ステップＢ９にて、三次元点群３２ｂと最後のＴＯＦ画像データ３５ｂの撮像時における検出部３６からの検出信号Ｓ１～Ｓ３とからポイントクラウド３２ｃを作成し、ステップＢ１０にてこのポイントクラウド３２ｃを送受信部３１から無線ネットワーク４０を介してサーバ２０に送信する。これにより、携帯端末３０側での処理が完了し、携帯端末３０の制御部３２は、ステップＢ１１にて表示部３４に処理完了の旨の表示を行なう。その後は、図３のフローチャートにおけるステップＡ１９以降の処理を行なうことによりマップデータ２１の修正が行なわれる。

第二の実施形態によれば、ＴＯＦ画像が各画素に関して距離情報を有していることから、一枚のＴＯＦ画像から直接に三次元点群３２ｂを取得することができる。

（第三の実施形態）
次に、本発明によるマップデータの修正方法の第三の実施形態について説明する。
第三の実施形態においても、前述した携帯端末３０の撮像部３５と同様に静止画カメラ又はＴＯＦカメラとして構成されている。
図７は図１に示したマップデータシステムの他の例を示している。図７において、マップデータシステム６０は、以下の点を除いて、図１に示したマップデータシステム１０とほぼ同様の構成である。即ち、マップデータシステム６０では、サーバ２０はさらにマップデータ２１の管理を行なうマップ管理部２４を備えている。
マップ管理部２４は、ネットワーク７０を介して自動運転車両８０等の車両やカーナビゲーション、携帯端末からマップデータを閲覧する利用者等と接続可能であり、自動運転車両８０等の車両や上記利用者からの要求に応じて、記憶部２２からマップデータ２１又は修正マップデータ２１ａ、そして迂回ルート２１ｂを読み出し、ネットワーク７０を介して当該自動運転車両８０等の車両又はマップデータの利用者に対して送信する。
ここで、ネットワーク７０はサーバ２０と自動運転車両８０等や上記利用者が接続可能な任意の構成のネットワークであって、３Ｇ,４Ｇ，５Ｇ等の無線ネットワーク、ＬＡＮ、光ファイバケーブルを含む専用回線ネットワークであっても、公衆回線ネットワーク又はインターネットに接続される公衆回線ネットワークを含むものであってもよく、あるいはＷｉ－Ｆｉ等の無線ＬＡＮを含んでもよい。以下の説明においては、自動運転車両８０等の車両として説明する。

このような構成のマップデータシステム６０を利用して、本発明によるマップデータ２１の修正方向の他の実施形態はアプリ５０に従って以下のように実行される。即ち、この実施形態においては、前述したマップデータシステム１０における処理、即ち図３又は図６における処理と同様の処理によって、修正マップデータ２１ａ及び迂回ルート２１ｂが記憶部２２にとして登録される。このため、その後の処理について、図８のフローチャートを参照して以下に説明する。

図８のフローチャートにおいて、マップ修正部２３は、図３のステップＡ２５にて修正マップデータ２１ａを記憶部２２に書き込んだ後、ステップＣ１にて修正マップデータ２１ａを登録した旨及び変更箇所の位置情報３２ａをマップ管理部２４に送出する。これを受けてマップ管理部２４は、ステップＣ２にてこの位置情報３２ａに関して当該位置情報３２ａに対応するマップデータ２１を利用して自動運転中の自動運転車両８０等が存在するか否かを判断し、自動運転車両８０等が存在しない場合には処理を終了する。

これに対して、当該マップデータ２１を利用して自動運転中の自動運転車両８０等が存在する場合には、マップ管理部２４はステップＣ３にて位置情報３２ａにより記憶部２２から修正マップデータ２１ａを、この修正マップデータ２１ａに迂回ルート２１ｂが関連付けられている場合には、迂回ルート２１ｂも読み出して、ステップＣ４にて修正マップデータ２１ａ及び迂回ルート２１ｂをネットワーク７０を介して当該自動運転車両８０等に送信する。これにより、自動運転車両８０等は、ステップＣ５にて修正マップデータ２１ａ及び迂回ルート２１ｂを受信し、自動運転のために利用しているマップデータ２１に対して修正マップデータ２１ａが存在することを迅速に認知することができる。

従って、自動運転車両８０の場合は、ステップＣ６にて修正箇所に対応した上でステップＣ７にて自動運転を継続する。

ここで、修正箇所の対応は例えば以下のようにして行なわれる。
例えば、自動運転車両８０等は当該修正箇所を回避するように走行経路を再作成し、あるいは修正マップデータ２１ａと共に受信した迂回ルート２１ｂを選択して走行経路を再作成することにより、自動走行を継続する。また、自動運転車両８０等は、修正箇所の存在を認知した上で当該修正箇所を回避せずに走行経路の変更を行なうことなく、当該走行経路による自動運転を継続することも可能である。
以上で、処理が完了する。

上記構成によれば、マップデータ２１の修正が行なわれた場合に、当該マップデータを利用して自動運転中の自動運転車両８０等に修正マップデータ２１ａが送信されることによって、自動運転車両８０等はいち早く修正内容を反映した走行経路を作成して道路障害等に対応することができる。修正マップデータ２１ａが、当該修正箇所で自動運転車両８０等が通行できない場合には迂回ルート２１ｂを設定することで、マップデータ２１を利用する自動運転車両８０等は、走行経路を容易に変更して当該修正箇所の通行を回避することができる。また、マップデータ２１を利用している自動運転車両８０等が、走行経路中に修正箇所がある場合、サーバ２０側から修正マップデータ２１ａを受信することでいち早く修正箇所を知得し、修正箇所に対応して適宜走行経路を変更することが可能である。さらに、修正箇所が通行不可能である場合、自動運転車両８０等は、修正マップデータ２１ａと共に迂回ルート２１ｂを取得することができるので、容易に通行不可能な修正箇所を回避して自動運転又は通常運転をすることができる。

本発明によれば、簡単な構成で容易に且つ低コストで所定範囲のマップデータ２１に必要な情報を取得してマップデータ２１の修正を行なうことができる極めて優れた自動運転車両８０等の使用者ためのマップデータシステム１０，６０、そしてマップデータ修正方法及びマップデータ修正プログラムを提供することができる。

本発明は、その趣旨を逸脱しない範囲において様々な形態で実施することができる。
例えば、携帯端末３０はスマートホン，タブレット等のスマートデバイスである場合に限らずノートパソコン等の携帯端末であってもよいことは明らかである。この構成によれば、使用者が所持しているスマートホン，タブレット等の各種スマートデバイスを使用することにより、初期投資がほぼ不要となり、低コストで且つ容易に自動運転車両８０等のためのマップデータ２１の修正を行なうことができる。これにより、スマートデバイス等の携帯端末３０に当該修正プログラムをダウンロードしてインストールすることにより、容易に自動運転車両８０等のためのマップデータの修正を行なうことができる。

また、上述した実施形態は、マップデータの修正のために必要なデータとして、ポイントクラウド３２ｃをサーバ２０に送信するようになっているが、これに限らず、ポイントクラウド３２ｃに加えて修正が必要な理由を付加してもよい。これにより、サーバ２０のマップ修正部２３が、ポイントクラウド３２ｃに基づいてマップデータ２１の修正を行なう際に、マップデータ２１の修正が必要な期間を判断し、例えば大型車両の駐車等の場合には比較的短時間で修正が不要になる等、また道路の付け替え等により恒久的に修正が必要であるかを判断して、マップデータ２１に追加するようにしてもよい。

１０，６０ マップデータシステム
２０ サーバ
２１ マップデータ
２１ａ 修正マップデータ
２１ｂ 迂回ルート
２２ 記憶部（データベース）
２３ マップ修正部
２４ マップ管理部
３０ 携帯端末
３１ 送受信部
３２ 制御部
３２ａ 位置情報
３２ｂ 三次元点群
３２ｃ ポイントクラウド
３３ 記憶部
３４ 表示部
３５ 撮像部
３５ａ 画像データ
３５ｂ ＴＯＦ画像データ
３６ 検出部
３６ａ 姿勢検出センサ
３６ｂ 位置センサ
３６ｃ 高さセンサ
４０ 無線ネットワーク
５０ マップデータ修正のためのアプリ
５５ ＴＯＦカメラ
５５ａ 発光部
５５ｂ レンズ
５５ｃ 二次元の赤外線センサ
５５ｄ 周辺回路
５７ 被撮影物体
７０ ネットワーク
８０ 自動運転車両
Ｓ１～Ｓ３ 検出信号

Claims (13)

1. マップデータを登録した記憶部と該マップデータを修正するマップ修正部とを有するサーバと、該サーバに無線ネットワークを介して接続する携帯端末とから構成し、前記記憶部に保持された道路及び周辺環境に関するマップデータを修正するマップデータの修正方法であって、
   前記サーバに前記無線ネットワークを介して接続される送受信部と、制御部と、記憶部と、表示部と、静止画像を撮像する静止画カメラ又はＴＯＦ画像を撮像するＴＯＦカメラからなる撮像部と、姿勢検出センサ，位置センサ及び高さセンサから成る検出部と、前記サーバからダウンロードしたマップデータ修正用のアプリと、を備えた携帯端末を使用し、
   前記携帯端末の前記撮像部において目標とする道路又は周辺環境の三次元画像を撮像して撮像信号を生成する撮像段階と、
   前記携帯端末の制御部において前記撮像信号に基づいて当該三次元画像に対応する三次元点群を演算する演算段階と、
   前記携帯端末の制御部において前記三次元点群と撮像時における姿勢検出センサ，位置センサ及び高さセンサの検出信号とからポイントクラウドを作成するポイントクラウド作成段階と、
   により、前記ポイントクラウドを前記送受信部により前記無線ネットワークを介して前記サーバに送信し、
   前記サーバのマップ修正部において、前記ポイントクラウドに基づいて、前記位置センサの検出信号から当該三次元点群の撮像位置と前記姿勢検出センサの検出信号から当該三次元画像の撮像方向と前記高さセンサの検出信号から前記撮像位置の高さ情報とを取得することで位置情報とした位置情報取得段階と、
   前記サーバのマップ修正部により前記位置情報に対応するマップデータを前記サーバの記憶部から読み出して、前記ポイントクラウドの三次元点群と該読み出したマップデータとを比較してこれらをマッチングさせて当該位置情報におけるマップデータを修正して修正マップデータとするマップデータ修正段階と、
   前記サーバのマップ修正部により修正したマップデータを前記サーバの記憶部に書き込む登録段階と、
   によりマップデータを修正する、マップデータの修正方法。
2. 前記撮像段階において前記静止画カメラにより撮像すべき目標に対して互いに異なる撮像位置から複数枚の静止画像を撮像し、
   前記演算段階において前記携帯端末の制御部により前記複数枚の静止画像をオーバーラップさせて写真測量により当該目標の三次元点群を演算する、請求項１に記載のマップデータの修正方法。
3. 前記撮像段階に先立ち、
   前記携帯端末の制御部は、前記表示部に前記サーバ側から指示された撮像場所を表示し、前記検出部からの検出信号に基づいて、前記携帯端末の位置情報を前記送受信部から前記無線ネットワークを介して前記サーバに送信し、
   前記マップ修正部は、前記位置情報に基づいて前記携帯端末の位置付近にて修正すべき道路及び周囲環境の修正エリア情報を作成し、前記無線ネットワークを介して前記携帯端末に送信し、
   前記修正エリア情報を受信した前記携帯端末の制御部は、前記表示部に前記修正エリア情報で指定される位置付近の地図を表示すると共に、当該地図上で前記修正エリア情報で指定される位置を表示し、前記検出部からの位置に関する検出信号に基づいて使用者が前記修正エリア情報で指定される場所に到達したことを検出して、前記表示部に撮像を指示する、請求項２に記載のマップデータの修正方法。
4. 前記撮像段階において前記ＴＯＦカメラにより撮像すべき目標のＴＯＦ画像を撮像し、
   前記演算段階において前記携帯端末の制御部により前記ＴＯＦ画像に基づいて三次元点群を演算する、請求項１に記載のマップデータの修正方法。
5. 前記マップデータ修正段階の前記マッチングを、統計的手法、機械学習、深層学習の何れかで処理する、請求項１に記載のマップデータの修正方法。
6. 前記携帯端末の制御部から受信した前記撮像位置の高さ情報の精度が高くない場合には、携帯端末で修正すべき箇所を含む近傍の少し広い箇所の多めのポイントクラウドを作成し、前記サーバのマップ修正部は、該多めのポイントクラウドによるデータと修正前のマップデータの点群との類似をマッチング処理して、最適にマッチングする個所の差分を修正して前記修正マップデータとする、請求項１に記載のマップデータの修正方法。
7. 前記撮像部は前記静止画カメラで撮像した前記静止画像又は前記ＴＯＦカメラで撮像したＴＯＦ画像を前記携帯端末の制御部に出力し、
   前記携帯端末の制御部は、前記静止画像又は前記ＴＯＦ画像が三次元点群の演算に利用できない場合には、前記表示部を介して前記静止画像又は前記ＴＯＦ画像の再撮像の指示のために前記携帯端末の表示部に再撮像指示の旨の警告表示を行なう、請求項１に記載のマップデータの修正方法。
8. 前記携帯端末がスマートデバイスである、請求項１から７の何れかに記載のマップデータの修正方法。
9. 前記サーバが、前記マップデータを利用するためにネットワークを介して車両又は利用者に接続されるマップ管理部を備えており、
   前記サーバのマップ管理部において、前記車両又は利用者が使用中のマップデータが携帯端末からの前記ポイントクラウドに基づいて修正されたとき、当該車両又は利用者に対して修正されたマップデータを前記修正マップデータとして前記ネットワークを介して送信する、請求項１から８の何れかに記載のマップデータの修正方法。
10. 前記マップデータの修正段階において、前記マップ修正部が前記修正マップデータに関して修正箇所を前記車両又は利用者が通行可能か否かを判断し、通行不可能な場合には前記修正箇所を回避する迂回ルートを設定して前記迂回ルートを前記修正マップデータに関連付けて前記サーバの記憶部に書き込む、請求項９に記載のマップデータの修正方法。
11. 前記修正マップデータが前記サーバの記憶部に書き込まれたとき、前記マップ管理部が、当該修正マップデータに関して修正前のマップデータを利用している前記車両又は利用者に対して当該修正マップデータを前記ネットワークを介して送信する、請求項９に記載のマップデータの修正方法。
12. 前記修正マップデータに前記迂回ルートが関連付けられているとき、前記マップ管理部が、当該修正マップデータと共に関連する迂回ルートを前記車両又は利用者に対して送信する、請求項１０に記載のマップデータの修正方法。
13. 請求項１から１２の何れかのマップデータの修正方法における撮像段階，演算段階，ポイントクラウド作成段階及び送信段階の各処理を、前記携帯端末の制御部に実行させる、マップデータの修正プログラム。

Images