JP6532412B2

JP6532412B2 - 自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラム

Info

Publication number: JP6532412B2
Application number: JP2016010283A
Authority: JP
Inventors: 昌則田正司
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-01-22
Filing date: 2016-01-22
Publication date: 2019-06-19
Anticipated expiration: 2036-01-22
Also published as: JP2017129508A

Description

この発明は、自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラムに関し、特に、トンネル内でモバイル端末を利用して自己位置を推定するシステムおよびその方法、ならびに、それに関わるモバイル端末、サーバおよび自己位置推定プログラムに関するものである。

道路等の長大なインフラ設備の点検業務では、異常個所を見つけた場合に、作業者の自己位置を記録する必要がある（例えば、特許文献１〜５）。具体的には、トンネルの維持管理を行う作業者は、保守と点検を行うために、トンネルに亀裂が生じている場所を正確に知っていることが要求されている。通常、自己位置は、ＧＰＳ（Global Positioning System）を用いれば、知ることができるが、トンネル内にはＧＰＳ電波が届かないことが多い。また、ＧＰＳには、最大１０メートル程度の誤差が見込まれている。

このようにＧＰＳを使うシステムでは、点検業務で必要な自己位置精度を確保することは困難である。そこで、モバイル端末に付属する加速度センサやジャイロセンサから端末の移動量を推定し、作業者の自己位置を推定するシステムが開発されている。モバイル端末のセンサは精度が不十分なので、自己位置の推定精度はあまり高くない。また、現在のカメラ映像からランドマークを抽出し、地図情報内のランドマークの位置情報から自己位置を抽出する手法が提案されている（例えば、特許文献６）。

特開２００６−２０２３７号公報特開２００３−７５１５０号公報特開平９−２１６４０号公報特開２０１１−２４８７４８号公報特開２００３−１８５５８９号公報特開２００７−３２２１３８号公報

以上のように構成されている自己位置推定方法では、単調な景色が繰り返し続くトンネル内では位置を一意に識別できるランドマークが少ない場合、自己位置を精度よく推定することができない。この発明はこのような課題を解決するためになされたものであり、位置を一意に識別できるランドマークが少ないトンネル内でも高精度に自己位置を推定することを目的とする。

本発明に係る自己位置推定システムは、第１のデータベースと第２のデータベースを有し、第１のデータベースには指定されたトンネルに関する３次元モデルを格納し、第２のデータベースには３次元モデルから抽出されたひび割れの特徴情報を格納しているサーバと、カメラと第３のデータベースを有し、第３のデータベースには第２のデータベースが格納しているひび割れの特徴情報のコピーを保存しているモバイル端末と、を備え、モバイル端末は、カメラを使ってトンネルの内部画像が撮影されると、このトンネルの内部画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出し、この抽出したひび割れの特徴情報を、第３のデータベースに保存しているひび割れの特徴情報と比較して、カメラを使って撮影されたトンネルの内部画像に映っているひび割れを特定し、この特定したひび割れに基づいてトンネルにおける自己位置を推定することを特徴とする。

本発明に係る自己位置推定システムは、第１のデータベースと第２のデータベースを有し、第１のデータベースには指定されたトンネルに関する３次元モデルを格納し、第２のデータベースには３次元モデルから抽出されたひび割れの特徴情報を格納しているサーバと、カメラと第３のデータベースを有し、第３のデータベースには第２のデータベースが格納しているひび割れの特徴情報のコピーを保存しているモバイル端末と、を備え、モバイル端末は、カメラを使ってトンネルの内部画像が撮影されると、このトンネルの内部画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出し、この抽出したひび割れの特徴情報を、第３のデータベースに保存しているひび割れの特徴情報と比較して、カメラを使って撮影されたトンネルの内部画像に映っているひび割れを特定し、この特定したひび割れに基づいてトンネルにおける自己位置を推定することにより、位置を一意に識別できるランドマークが少ないトンネル内でも高精度に自己位置を推定することが可能である。

この発明の実施の形態に係る自己位置推定システムを示す概念図である。この発明の実施の形態１を示すブロック図である。この発明の実施の形態に係るサーバにおけるハードウェア構成を示す図である。この発明に係る、特徴を抽出するプロセスを示すフローチャート図である。この発明の実施の形態に係るモバイル端末におけるハードウェア構成を示す図である。この発明に係る、特徴情報を格納するプロセスを示すフローチャート図である。３次元モデルと撮影画像の関係を示す図である。この発明の実施の形態１に係る、自己位置を推定するプロセスを示すフローチャート図である。推定された自己位置がモバイル端末に表示されている様子を示す概念図である。特定されたひび割れの位置情報から、作業者の自己位置を推定した結果を表している図である。この発明の実施の形態２を示すブロック図である。この発明の実施の形態２に係る、自己位置を推定するプロセスを示すフローチャート図である。この発明の実施の形態３を示すブロック図である。この発明の実施の形態３に係る、自己位置を推定するプロセスを示すフローチャート図である。この発明の実施の形態４を示すブロック図である。この発明の実施の形態４に係る、自己位置を推定するプロセスを示すフローチャート図である。この発明の実施の形態５を示すブロック図である。この発明の実施の形態５に係る、自己位置を推定するプロセスを示すフローチャート図である。

本発明の実施の形態に係る自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラムについて、図を参照しながら以下に説明する。なお、各図において、同一または同様の構成部分については同じ符号を付しており、対応する各構成部のサイズや縮尺はそれぞれ独立している。例えば構成の一部を変更した断面図の間で、変更されていない同一構成部分を図示する際に、同一構成部分のサイズや縮尺が異なっている場合もある。また、自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラムの構成は、実際にはさらに複数の部材を備えているが、説明を簡単にするため、説明に必要な部分のみを記載し、他の部分については省略している。

実施の形態１．
以下、この発明の実施の形態１を図に基づいて説明する。図１に示すように本発明に係る自己位置推定システム１０００はモバイル端末１００とサーバ２００とで構成されている。モバイル端末１００とサーバ２００は、ケーブル１０で接続されており、常時、相互にデータを通信することができる。タブレットなどのモバイル端末１００は、カメラ１１０を備えている。本願に係る自己位置推定システム１０００では、このモバイル端末１００のカメラ１１０で撮影された画像を基にしてユーザ（作業者）の自己位置を推定する。同図は、作業者が、モバイル端末１００を使って、トンネルの内部を撮影している状況を示している。モバイル端末１００の画像には、車道、中央線、照明が映し出されている。ここで、作業者はＸＹトンネルで点検作業を行っているものとする。モバイル端末１００またはサーバ２００の自己位置推定画面には自分のいるトンネルの名称或いは住所を入力し、自己位置を推定したいトンネルを指定する。

サーバ２００には、可搬型のノート型パーソナルコンピュータを好適に適用できる。モービルマッピングシステム（ＭＭＳ）３００は、ＧＰＳ（Global Positioning System）、レーザスキャナーなどの機器を車両に搭載し、走行しながら、建物、道路形状、標識、ガードレール、路面文字、マンホール等の道路周辺の３次元位置情報を高精度で効率的に取得する。サーバ２００は、移動式３次元計測装置であるモービルマッピングシステム３００に接続し、モービルマッピングシステム３００で取得された３次元点群データの中から、自分が今いるトネンルに関わるデータを要求する。サーバ２００が受理した指定されたトンネルに関わる３次元点群データは、加工され、ケーブル１０を通じて、モバイル端末１００に伝送される。なお、モービルマッピングシステム３００を含む自己位置推定システム１０００の構築も可能である。

図２は、モバイル端末１００とサーバ２００の内部構成を示している。モバイル端末１００は、カメラ１１０と、表示部１１３と、画像撮影部１２０と、平面画像変換部１３０と、画像特徴抽出部１４０と、特徴情報取得部１５０と、特徴情報データベース（第３のデータベース）１６０と、特徴比較部１７０と、自己位置推定部１８０などから構成されている。画像撮影部１２０は、カメラ１１０から画像を撮影する。平面画像変換部１３０は、平面画像（カメラ１１０で撮影したトンネルの内部画像から平面化した画像）を生成する。画像特徴抽出部１４０は、平面画像の特徴を抽出する。特徴情報取得部１５０は、サーバ２００から特徴情報を取得する。特徴情報データベース１６０は、取得した特徴情報を保持する。特徴比較部１７０は、平面画像から抽出した特徴と特徴情報データベース１６０が保持する特徴を比較し、特徴の対応付けを行う。自己位置推定部１８０は、対応付けた特徴から自己位置を推定する。自己位置推定部１８０が出力する情報は、モニターなどの表示部１１３に表示される。

サーバ２００は、３次元モデル生成部２１０と、３次元モデルデータベース（第１のデータベース）２２０と、３次元モデル特徴抽出部２３０と、特徴情報データベース（第２のデータベース）２４０と、特徴情報送信部２５０などから構成されている。３次元モデル生成部２１０は、モービルマッピングシステム（ＭＭＳ）などで計測された３次元点群データから３次元モデルを生成する。３次元モデルデータベース２２０は、生成された３次元モデルを格納している。３次元モデル特徴抽出部２３０は、３次元モデルからひび割れの特徴情報を抽出する。特徴情報データベース２４０は、抽出したひび割れの特徴情報を格納している。特徴情報送信部２５０は、モバイル端末１００からの要求に応じてひび割れの特徴情報を送信する。表示部２１３は、サーバ２００が出力する情報を表示する。

図３は、本実施の形態に係る自己位置推定システム１０００のサーバ２００におけるハードウェア構成を示す図である。メモリ２００２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などで構成されていて、３次元モデルデータベース（第１のデータベース）２２０と特徴情報データベース（第２のデータベース）２４０を含んでいる。本実施の形態に係るサーバ２００における、３次元モデル生成部２１０、３次元モデル特徴抽出部２３０、特徴情報送信部２５０は、ＣＰＵ（Central Processing Unit）２００１がメモリ２００２に記憶された各構成用のプログラムを実行することにより実現される。ＣＰＵ２００１が、メモリ２００２に記憶された各構成用のプログラムを実行する際、インタフェース２００３を通してユーザ（あるいは管理者）がプログラムを実行する。表示制御部２００４は、特徴情報送信部２５０が出力する情報を表示部２１３に出力する。なお、実施の形態１に係るサーバ２００では、複数のＣＰＵ２００１および複数のメモリ２００２が連携して各ブロック図に示す各構成の機能を実行してもよい。バス２００５は、３次元モデル生成部２１０、３次元モデル特徴抽出部２３０、特徴情報送信部２５０、３次元モデルデータベース２２０、特徴情報データベース２４０などを接続している。

次に自己位置推定システム１０００の動作について図を用いて説明する。図４はモービルマッピングシステム等で計測した３次元点群データをもとにサーバ２００内の特徴情報データベース２４０を更新するまでの流れを示したフローチャートである。サーバ２００にインストールされている自己位置推定プログラムは、このフローチャートに従って各ステップを実行する。３次元モデル生成部２１０は、モービルマッピングシステム等で計測した３次元点群データを受信し、３次元モデルを生成する（ステップ１０１）。３次元モデル生成部２１０は、生成した３次元モデルを３次元モデルデータベース２２０（第１のデータベース）に格納する（ステップ１０２）。３次元モデル特徴抽出部２３０は、格納された３次元モデルからひび割れの特徴情報（壁面のひび割れ、補修跡等の形態、特徴、位置など）を抽出し、特徴情報データベース２４０（第２のデータベース）に格納する（ステップ１０３）。

図５は、本実施の形態に係る自己位置推定システム１０００のモバイル端末１００におけるハードウェア構成を示す図である。メモリ２０１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などで構成されていて、特徴情報データベース１６０を含んでいる。本実施の形態に係るモバイル端末１００における、画像撮影部１２０、平面画像変換部１３０、画像特徴抽出部１４０、特徴比較部１７０、特徴情報取得部１５０、自己位置推定部１８０は、ＣＰＵ（Central Processing Unit）２０１１がメモリ２０１２に記憶された各構成用のプログラムを実行することにより実現される。ＣＰＵ２０１１が、メモリ２０１２に記憶された各構成用のプログラムを実行する際、インタフェース２０１３を通して管理者あるいはユーザがプログラムを実行する。表示制御部２０１４は、自己位置推定部１８０が出力する情報を表示部１１３に出力する。なお、実施の形態１に係るモバイル端末１００では、複数のＣＰＵ２０１１および複数のメモリ２０１２が連携して各ブロック図に示す各構成の機能を実行してもよい。バス２０１５は、カメラ１１０、表示部１１３、ＣＰＵ２０１１、メモリ２０１２、インタフェース２０１３、表示制御部２０１４などを接続している。

図６は、特徴情報データベース２４０に格納されている、ユーザが指定したトンネルに関するひび割れの特徴情報をモバイル端末１００の特徴情報データベース１６０にコピーして保存するまでの流れを示したフローチャートである。サーバ２００およびモバイル端末１００にインストールされている自己位置推定プログラムは、このフローチャートに従って各ステップを実行する。モバイル端末１００の特徴情報取得部１５０は、サーバ２００の特徴情報送信部２５０に、指定されたトンネルに関するひび割れの特徴情報を要求する（ステップ２０１）。サーバ２００の特徴情報送信部２５０は、特徴情報データベース２４０から指定されたトンネルの特徴情報を取得し、特徴情報取得部１５０に送信する（ステップ２０２）。モバイル端末１００の特徴情報取得部１５０は、受信したひび割れの特徴情報を特徴情報データベース１６０（第３のデータベース）に格納する（ステップ２０３）。

自己位置推定システム１０００で使用する代表的な画像を、図７Ａと図７Ｂを使って説明する。図７Ａは、モービルマッピングシステム３００を使って計測した３次元点群データから作成された３次元モデルを表している（図４のステップ１０１を参照）。この３次元モデルは３次元モデルデータベース２２０に保存されている（図４のステップ１０２を参照）。図７Ｂは、作業者がモバイル端末１００に取り付けられているカメラ１１０を使って撮影したカメラ映像を表している。トンネルの内部画像には、ひび割れ（または亀裂）と補修跡が映っている。本願に係る自己位置推定システム１０００は、トンネルの内壁に形成されているひび割れ（または亀裂）、補修跡などからユーザの自己位置を推定する。なお、壁面のひび割れや補修跡に加えて、例えば、壁面の継ぎ目の構造物からユーザの自己位置を推定することもできる。

図８はトンネル内で自己位置推定を行う際の流れを示したフローチャートである。モバイル端末１００にインストールされている自己位置推定プログラムは、このフローチャートに従って各ステップを実行する。画像撮影部１２０は、カメラ１１０から現在のトンネルの内部画像を撮影する（ステップ３０１）。平面画像変換部１３０は、撮影画像のトンネル壁面を真上から見下ろしたように視点変換した上で平らに引き伸ばし、平面画像を作成する（ステップ３０２）。画像特徴抽出部１４０は、平面画像からひび割れの特徴情報（壁面のひび割れ、補修跡等の特徴）を抽出する（ステップ３０３）。特徴比較部１７０は、抽出したひび割れの特徴情報と特徴情報データベース１６０に保存されているひび割れの特徴情報を比較し、対応する特徴を特定する（ステップ３０４）。自己位置推定部１８０は、特定した特徴情報データベース１６０の特徴情報に含まれる位置情報から自己位置を推定する（ステップ３０５）。

図９は、モバイル端末１００の自己位置推定部１８０が、特徴情報データベース１６０に保存されている、特定されたひび割れの位置情報から作業者の自己位置を推定した結果を表している（ステップ３０５を参照）。サーバ２００の表示部にはトンネルに関する３次元モデルが表示されている。モバイル端末１００の表示部には、カメラ映像（トンネルの内部画像）が表示されている。カメラ映像の上部には、トンネルの入り口から作業者までの推定された距離も表示されている。作業者の自己位置は、作業者からトンネルの出口までの距離で表すこともできる。モバイル端末１００の表示部は、カメラ映像に代えて、３次元モデルを表示してもよい。

図１０は、モバイル端末１００の自己位置推定部１８０が、特徴情報データベース１６０に保存されている、特定されたひび割れの位置情報から、作業者の自己位置を推定した結果を表す場合の他の表示画面を示している（ステップ３０５を参照）。前図では、モバイル端末１００の表示部には、カメラ映像と推定された距離が表示されていた。本図では、トンネルの入口からの距離をもとに、作業者（モバイル端末１００）の位置を地図上にプロットした場合を示している。

このように実施の形態１に係る自己位置推定システム１０００は、モービルマッピングシステム等で取得した３次元点群データから抽出した特徴情報とカメラ画像の特徴情報の比較により自己位置を推定しており、位置の推定に役立つランドマークが少ないトンネル内でも高精度に自己位置を推定できる、という効果がある。モービルマッピングシステム等の移動式３次元計測装置は、トンネルの形状を表す３次元点群データを作成し、要求に応じて、この作成した３次元点群データをサーバに送信する。

従って、本実施の形態に係る自己位置推定システム１０００は、第１のデータベースと第２のデータベースを有し、移動式３次元計測装置に対し、指定されたトンネルに関わる３次元点群データを要求するサーバと、カメラと第３のデータベースを有し、サーバに対し、指定されたトンネルに関わるひび割れの特徴情報を要求するモバイル端末と、を備え、サーバは、移動式３次元計測装置から指定されたトンネルに関わる３次元点群データを受信すると、この受信した３次元点群データを基にトンネルの３次元モデルを作成し、作成したトンネルの３次元モデルは第１のデータベースに格納し、第１のデータベースに格納したトンネルの３次元モデルからはトンネルの内壁に形成されているひび割れの特徴情報を抽出し、この抽出されたひび割れの特徴情報は第２のデータベースに格納し、モバイル端末から、ひび割れの特徴情報を要求されると、第２のデータベースに格納しているひび割れの特徴情報をモバイル端末に送信し、モバイル端末は、サーバから第２のデータベースに格納しているひび割れの特徴情報を受信すると、この受信したひび割れの特徴情報を第３のデータベースに格納し、カメラを使ってトンネルの内部画像が撮影されると、このカメラを使って撮影されたトンネルの内部画像を視点変換して、平面画像を作成し、この作成された平面画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出し、この抽出したひび割れの特徴情報を、第３のデータベースに格納されているひび割れの特徴情報と比較して、撮影されたトンネルの内部画像に映っているひび割れを特定し、この特定したひび割れに基づいてトンネルにおける自己位置を推定する。

また、本実施の形態に係る自己位置推定方法は、指定されたトンネルに関わる３次元点群データを要求するステップと、指定されたトンネルに関わる３次元点群データを受信すると、この受信した３次元点群データを基にトンネルの３次元モデルを作成するステップと、作成したトンネルの３次元モデルを第１のデータベースに格納するステップと、第１のデータベースに格納したトンネルの３次元モデルからトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、この抽出されたひび割れの特徴情報を第２のデータベースに格納するステップと、ひび割れの特徴情報を要求されると、第２のデータベースに格納しているひび割れの特徴情報を送信するステップと、第２のデータベースに格納しているひび割れの特徴情報を受信すると、この受信したひび割れの特徴情報を第３のデータベースに格納するステップと、カメラを使って撮影されたトンネルの内部画像を視点変換して、平面画像を作成するステップと、この作成された平面画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、この抽出したひび割れの特徴情報を、第３のデータベースに格納されているひび割れの特徴情報と比較して、撮影されたトンネルの内部画像に映っているひび割れを特定するステップと、この特定したひび割れに基づいてトンネルにおける自己位置を推定するステップと、を備えている。

また、本実施の形態に係るモバイル端末は、カメラとデータベースを有し、このデータベースには指定されたトンネルに関する３次元モデルから抽出されたひび割れの特徴情報を保存していて、カメラを使ってトンネルの内部画像が撮影されると、このトンネルの内部画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出し、この抽出したひび割れの特徴情報を、データベースに保存しているひび割れの特徴情報と比較して、カメラを使って撮影されたトンネルの内部画像に映っているひび割れを特定し、この特定したひび割れに基づいてトンネルにおける自己位置を推定することを特徴とする。

また、本実施の形態に係るモバイル端末にインストールされる自己位置推定プログラムは、指定されたトンネルに関する３次元モデルから抽出されたひび割れの特徴情報をデータベースに保存するステップと、トンネルの内部画像から視点変換した平面画像を作成するステップと、平面画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、この抽出したひび割れの特徴情報を、データベースに保存しているひび割れの特徴情報と比較して、トンネルの内部画像に映っているひび割れを特定するステップと、この特定したひび割れに基づいてトンネルにおける自己位置を推定するステップと、を備えていることを特徴とする。

実施の形態２．
実施の形態２は、トンネル壁面の特徴が少なく壁面の特徴情報から自己位置の推定が困難な場所が続いた場合を想定している。このため、本実施の形態に係るモバイル端末１００は、実施の形態１によるモバイル端末１００（図２を参照）に自己位置推定補完部が追加されている。図１１において、実施の形態２に係る自己位置推定システム１０００は、モバイル端末１００とサーバ２００とで構成されている。モバイル端末１００は、カメラ１１０と、画像撮影部１２０と、平面画像変換部１３０と、画像特徴抽出部１４０と、特徴情報取得部１５０と、特徴情報データベース１６０と、特徴比較部１７０と、自己位置推定部１８０と、自己位置推定補完部１８１などで構成されている。

画像撮影部１２０は、カメラ１１０から画像を撮影する。平面画像変換部１３０は、カメラ１１０で撮影したトンネル内の壁面画像から平面化した画像（平面画像）を生成する。画像特徴抽出部１４０は、平面画像の特徴を抽出する。特徴情報取得部１５０は、サーバ２００から特徴情報を取得する。特徴情報データベース１６０は、取得した特徴情報を保持する。特徴比較部１７０は、画像から抽出した特徴と特徴情報データベース１６０が保持する特徴を比較し、特徴の対応付けを行う。自己位置推定部１８０は、対応付けた特徴から自己位置を推定する。自己位置推定補完部１８１は、一意に位置を特定できる距離標（キロポスト）等を検出することで位置情報を更新する。

サーバ２００は、３次元モデル生成部２１０と、３次元モデルデータベース２２０と、３次元モデル特徴抽出部２３０と、特徴情報データベース２４０と、特徴情報送信部２５０などで構成されている。３次元モデル生成部２１０は、モービルマッピングシステム（ＭＭＳ）などで計測された３次元点群データから３次元モデルを生成する。３次元モデルデータベース２２０は、生成された３次元モデルを保持する。３次元モデル特徴抽出部２３０は、３次元モデルから特徴を抽出する。特徴情報データベース２４０は、抽出した特徴を保持する。特徴情報送信部２５０は、モバイル端末１００からの要求に応じて特徴情報を送信する。

以下、実施の形態２に係る自己位置推定システム１０００の動作について図を用いて説明する。図１２は実施の形態１のフローチャート（図８を参照）にキロポスト等による自己位置推定の補完処理を追加したフローチャートである。モバイル端末１００にインストールされている自己位置推定プログラムは、このフローチャートに従って各ステップを実行する。画像撮影部１２０は、カメラ１１０から現在のトンネル内の画像を撮影する（ステップ３０１）。自己位置推定補完部１８１は撮影画像から位置を一意に識別できるキロポスト等を検出する（ステップ３１１）。自己位置推定補完部１８１は検出した対象物の位置及び対象物との距離から自己位置を推定する（ステップ３１２）。

距離標（キロポスト）は、道路端に設置されており、路線の起点から約何キロの地点であるかを示している標識である。距離標は、道路の住所のように機能し、その形状は様々である。一般的には１kmおきに三角すいの石柱があり、１００mおきには黄色のプレートが設置されている。自己位置推定補完部１８１は、トンネル内で位置を一意に識別できる特徴（キロポスト等）を認識し、自己位置推定を補完する。

このように実施の形態２では、位置を一意に識別できるキロポスト等を検出することにより、トンネル壁面の特徴が少なく壁面の特徴情報から自己位置の推定が困難な場所が続いた場合でも、自己位置推定を継続できるという効果がある。従って、本実施の形態に係る自己位置推定システム１０００のモバイル端末は、カメラを使って撮影されたトンネルの内部画像から距離標を検出し、この検出された距離標の位置に基づいてトンネルにおける自己位置を推定することを特徴とする。

実施の形態３．
実施の形態３は、トンネル壁面の特徴が少なく壁面の特徴情報から自己位置の推定が困難な場所が続いた場合を想定している。このため、本実施の形態に係るモバイル端末１００は、実施の形態１によるモバイル端末１００（図２を参照）に自己位置推定補完部が追加されている。図１３において実施の形態３に係る自己位置推定システム１０００はモバイル端末１００とサーバ２００とで構成されている。モバイル端末１００は、カメラ１１０と、画像撮影部１２０と、平面画像変換部１３０と、画像特徴抽出部１４０と、特徴情報取得部１５０と、特徴情報データベース１６０と、特徴比較部１７０と、自己位置推定部１８０と、自己位置推定補完部１８２などで構成されている。

画像撮影部１２０は、カメラ１１０から画像を撮影する。平面画像変換部１３０は、カメラ１１０で撮影したトンネル内の壁面画像から平面化した画像（平面画像）を生成する。画像特徴抽出部１４０は、平面画像の特徴を抽出する。特徴情報取得部１５０は、サーバ２００から特徴情報を取得する。特徴情報データベース１６０は、取得した特徴情報を保持する。特徴比較部１７０は、画像から抽出した特徴と特徴情報データベース１６０が保持する特徴を比較し、特徴の対応付けを行う。自己位置推定部１８０は、対応付けた特徴から自己位置を推定する。自己位置推定補完部１８２は、モーションステレオにより移動量を推定する。すなわち、自己位置推定補完部１８２は、直前に撮影したカメラ映像と現在のカメラ映像の差分から移動方向と移動量を算出する。

以下、実施の形態３に係る自己位置推定システム１０００の動作について図を用いて説明する。図１４は実施の形態１のフローチャート（図８を参照）に、連続するカメラ画像の変化量から移動量を推定する処理を追加したフローチャートである。モバイル端末１００にインストールされている自己位置推定プログラムは、このフローチャートに従って各ステップを実行する。画像撮影部１２０は、カメラ１１０から現在のトンネル内の画像を撮影する（ステップ３０１）。自己位置推定補完部１８２は連続する２枚の撮影画像から対応する特徴点を抽出する（ステップ３２１）。自己位置推定補完部１８２は抽出した特徴点の変化量から移動量を算出する（ステップ３２２）。自己位置推定補完部１８２は算出した移動量から自己位置を推定する（ステップ３２３）。

このように実施の形態３では、カメラ画像内の特徴点の変化量から移動量を算出して自己位置を推定することにより、トンネル壁面の特徴が少なく壁面の特徴情報から自己位置の推定が困難な場所が続いた場合でも、自己位置推定を継続できるという効果がある。従って、本実施の形態に係る自己位置推定システム１０００のモバイル端末は、カメラを使って撮影された２枚の連続するトンネルの内部画像から同一の対象物を検出し、この検出された対象物の変化量から対象物の移動量を算出し、この算出された対象物の移動量に基づいてトンネルにおける自己位置を推定することを特徴とする。

実施の形態４．
実施の形態４は、トンネル壁面の特徴が少なく壁面の特徴情報から自己位置の推定が困難な場所が続いた場合を想定している。このため、本実施の形態に係るモバイル端末１００は、実施の形態１によるモバイル端末１００（図２を参照）に自己位置推定補完部が追加されている。図１５において実施の形態４に係る自己位置推定システム１０００はモバイル端末１００とサーバ２００とで構成されている。モバイル端末１００は、カメラ１１０と、画像撮影部１２０と、平面画像変換部１３０と、画像特徴抽出部１４０と、特徴情報取得部１５０と、特徴情報データベース１６０と、特徴比較部１７０と、自己位置推定部１８０と、自己位置推定補完部１８３と、加速度センサ１１１と、ジャイロセンサ１１２などで構成されている。加速度センサ１１１はモバイル端末１００の加速度を計測する。ジャイロセンサ１１２はモバイル端末１００の角速度を計測する。

画像撮影部１２０は、カメラ１１０から画像を撮影する。平面画像変換部１３０は、カメラ１１０で撮影したトンネル内の壁面画像から平面化した画像（平面画像）を生成する。画像特徴抽出部１４０は、平面画像の特徴を抽出する。特徴情報取得部１５０は、サーバ２００から特徴情報を取得する。特徴情報データベース１６０は、取得した特徴情報を保持する。特徴比較部１７０は、画像から抽出した特徴と特徴情報データベース１６０が保持する特徴を比較し、特徴の対応付けを行う。自己位置推定部１８０は、対応付けた特徴から自己位置を推定する。自己位置推定補完部１８３は、モバイル端末に搭載されたセンサの計測値（加速度および角速度）からモバイル端末の移動量を推定し、自己位置を推定する。

以下、実施の形態４に係る自己位置推定システム１０００の動作について図を用いて説明する。図１６は実施の形態１のフローチャート（図８を参照）に、加速度センサ１１１から計測した加速度とジャイロセンサ１１２から計測した角速度をもとに移動量を計算し、自己位置を推定する処理を追加したフローチャートである。モバイル端末１００にインストールされている自己位置推定プログラムは、このフローチャートに従って各ステップを実行する。画像撮影部１２０は、カメラ１１０から現在のトンネル内の画像を撮影する（ステップ３０１）。自己位置推定補完部１８３は加速度センサから加速度、ジャイロセンサから角速度を計測し、モバイル端末の移動量を算出する（ステップ３３１）。自己位置推定補完部１８３は算出した移動量からモバイル端末の自己位置を推定する（ステップ３３２）。

このように実施の形態４では、モバイル端末に搭載のセンサ類の計測値から移動量を算出し自己位置を推定することにより、トンネル壁面の特徴が少なく壁面の特徴情報から自己位置の推定が困難な場所が続いた場合でも、自己位置推定を継続できるという効果がある。従って、本実施の形態に係る自己位置推定システム１０００のモバイル端末は、加速度センサと角速度センサを有し、この加速度センサと角速度センサを使って検出された加速度と角速度から移動量を算出し、この算出された移動量に基づいてトンネルにおける自己位置を推定することを特徴とする。

実施の形態５．
実施の形態５は、前述した実施の形態１に対し、特徴比較部と自己位置推定部をサーバ２００に移動したものである。図１７において、実施の形態５に係る自己位置推定システム１０００は、モバイル端末１００とサーバ２００とで構成されている。モバイル端末１００は、カメラ１１０と、画像撮影部１２０と、平面画像変換部１３０と、画像特徴抽出部１４０と、自己位置推定要求部１９０などで構成されている。画像撮影部１２０は、カメラ１１０から画像を撮影する。平面画像変換部１３０は、カメラ１１０で撮影したトンネル内の壁面画像から平面化した画像（平面画像）を生成する。画像特徴抽出部１４０は、平面画像の特徴を抽出する。自己位置推定要求部１９０は、抽出された平面画像の特徴（ひび割れの特徴情報）を送信し、かつ端末位置推定部２７０にモバイル端末１００の自己位置推定を要求する。自己位置推定要求部１９０は、ＣＰＵ２０１１が、特徴情報データベース１６０を含むＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などで構成されるメモリ２０１２に記憶された専用のプログラムを実行することにより実現される（図５を参照）。

サーバ２００は、３次元モデル生成部２１０と、３次元モデルデータベース２２０と、３次元モデル特徴抽出部２３０と、特徴情報データベース２４０と、特徴比較部２６０と、端末位置推定部２７０（自己位置推定部）などで構成されている。３次元モデル生成部２１０は、モービルマッピングシステム（ＭＭＳ）などで計測された３次元点群データから３次元モデルを生成する。３次元モデルデータベース２２０は、生成された３次元モデルを保持する。３次元モデル特徴抽出部２３０は、３次元モデルから特徴を抽出する。特徴情報データベース２４０は、抽出した特徴を保持する。特徴比較部２６０は、画像から抽出した特徴と特徴情報データベース２４０が保持する特徴を比較し、特徴の対応付けを行う。端末位置推定部２７０は、対応付けた特徴からモバイル端末１００の自己位置を推定する。

以下、実施の形態５に係る自己位置推定システム１０００の動作について図を用いて説明する。図１８は、実施の形態１のフローチャート（図８を参照）に対し、カメラ画像からトンネル壁面の特徴情報を抽出した後の、特徴情報の比較処理と自己位置推定処理を、サーバで実施する流れに変更したフローチャートである。サーバ２００およびモバイル端末１００にインストールされている自己位置推定プログラムは、このフローチャートに従って各ステップを実行する。自己位置推定要求部１９０は、抽出された平面画像の特徴情報を送信し、かつ端末位置推定部２７０にモバイル端末の自己位置推定を要求する（ステップ３４１）。端末位置推定部２７０は特徴比較部２６０に特徴情報の比較を要求する（ステップ３４２）。特徴比較部２６０は指定された特徴情報（受信した平面画像の特徴情報）と特徴情報データベース２４０の特徴情報を比較し、対応する特徴を特定する（ステップ３４３）。端末位置推定部２７０は特定した特徴情報と特徴情報データベース２４０の特徴情報（特に位置情報）からモバイル端末の自己位置を推定する（ステップ３４４）。端末位置推定部２７０は自己位置推定要求部１９０に推定結果を送信する（ステップ３４５）。

このように実施の形態５に係る自己位置推定システム１０００では、特徴情報の比較処理をサーバで行うことにより、事前にモバイル端末への特徴情報データベースの端末コピーが不要となることで作業時間の削減できる効果がある他、演算能力の高いサーバで特徴比較処理を行うことで自己位置推定時間が短縮できるという効果がある。

従って、本実施の形態に係る自己位置推定システム１０００は、第１のデータベースと第２のデータベースを有し、移動式３次元計測装置に対し、指定されたトンネルに関わる３次元点群データを要求するサーバと、カメラを有し、サーバに対し、自己位置推定を要求するモバイル端末と、を備え、モバイル端末は、カメラを使ってトンネルの内部画像が撮影されると、このカメラを使って撮影されたトンネルの内部画像を視点変換して、平面画像を作成し、この作成された平面画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出し、この抽出されたひび割れの特徴情報はサーバに送信し、かつサーバに対して自己位置推定を要求し、サーバは、移動式３次元計測装置から指定されたトンネルに関わる３次元点群データを受信すると、この受信した３次元点群データを基にトンネルの３次元モデルを作成し、作成したトンネルの３次元モデルは第１のデータベースに格納し、第１のデータベースに格納したトンネルの３次元モデルからはトンネルの内壁に形成されているひび割れの特徴情報を抽出し、この抽出されたひび割れの特徴情報は第２のデータベースに格納し、モバイル端末から、自己位置推定を要求されると、モバイル端末から送信されてくるひび割れの特徴情報を、第２のデータベースに格納しているひび割れの特徴情報と比較して、撮影されたトンネルの内部画像に映っているひび割れを特定し、この特定したひび割れに基づいてトンネルにおけるモバイル端末の自己位置を推定する。

従って、本実施の形態に係る自己位置推定方法は、カメラを使って撮影されたトンネルの内部画像を視点変換して、平面画像を作成するステップと、この作成された平面画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、この抽出されたひび割れの特徴情報を送信し、かつ自己位置推定を要求するステップと、指定されたトンネルに関わる３次元点群データを要求するステップと、指定されたトンネルに関わる３次元点群データを受信すると、この受信した３次元点群データを基にトンネルの３次元モデルを作成するステップと、作成したトンネルの３次元モデルを第１のデータベースに格納するステップと、第１のデータベースに格納したトンネルの３次元モデルからトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、この抽出されたひび割れの特徴情報を第２のデータベースに格納するステップと、自己位置推定を要求されると、送信されてくるひび割れの特徴情報を、第２のデータベースに格納しているひび割れの特徴情報と比較して、撮影されたトンネルの内部画像に映っているひび割れを特定するステップと、この特定したひび割れに基づいてトンネルにおける自己位置を推定するステップと、を備えている。

また、本実施の形態に係るサーバは、第１のデータベースと第２のデータベースを有し、第１のデータベースには指定されたトンネルに関する３次元モデルを格納し、第２のデータベースには３次元モデルから抽出されたひび割れの特徴情報を格納していて、ひび割れの特徴情報を受信し、自己位置推定を要求されると、この受信したひび割れの特徴情報を、第２のデータベースに格納しているひび割れの特徴情報と比較して、受信したひび割れを特定し、この特定したひび割れに基づいてトンネルにおける自己位置を推定し、この推定した結果を送信することを特徴とする。

また、本実施の形態に係るサーバにインストールされる自己位置推定プログラムは、指定されたトンネルに関する３次元モデルを第１のデータベースに格納するステップと、３次元モデルから抽出されたひび割れの特徴情報を第２のデータベースに格納するステップと、トンネルの内部画像から抽出されたひび割れの特徴情報を受信するステップと、自己位置推定を要求されると、受信したひび割れの特徴情報を、第２のデータベースに格納しているひび割れの特徴情報と比較して、トンネルの内部画像に映っているひび割れを特定するステップと、この特定したひび割れに基づいてトンネルにおける自己位置を推定するステップと、を備えていることを特徴とする。

なお、本発明は、その発明の範囲内において、実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１０ケーブル、１００モバイル端末、１１０カメラ、１１１加速度センサ、１１２ジャイロセンサ、１１３表示部、１２０画像撮影部、１３０平面画像変換部、１４０画像特徴抽出部、１５０特徴情報取得部、１６０特徴情報データベース、１７０特徴比較部、１８０自己位置推定部、１８１自己位置推定補完部、１８２自己位置推定補完部、１８３自己位置推定補完部、１９０自己位置推定要求部、２００サーバ、２１０３次元モデル生成部、２２０３次元モデルデータベース、２３０３次元モデル特徴抽出部、２４０特徴情報データベース、２５０特徴情報送信部、２６０特徴比較部、２７０端末位置推定部、３００モービルマッピングシステム、１０００自己位置推定システム

Claims

第１のデータベースと第２のデータベースを有し、前記第１のデータベースには指定されたトンネルに関する３次元モデルを格納し、前記第２のデータベースには前記３次元モデルから抽出されたひび割れの特徴情報を格納しているサーバと、
カメラと第３のデータベースを有し、前記第３のデータベースには前記第２のデータベースが格納しているひび割れの特徴情報のコピーを保存しているモバイル端末と、を備え、
前記モバイル端末は、
前記カメラを使ってトンネルの内部画像が撮影されると、
このトンネルの内部画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出し、
この抽出したひび割れの特徴情報を、前記第３のデータベースに保存しているひび割れの特徴情報と比較して、前記カメラを使って撮影されたトンネルの内部画像に映っているひび割れを特定し、
この特定したひび割れに基づいてトンネルにおける自己位置を推定することを特徴とする自己位置推定システム。
前記モバイル端末は、
前記カメラを使って撮影されたトンネルの内部画像から距離標を検出し、
この検出された距離標の位置に基づいてトンネルにおける自己位置を推定することを特徴とする請求項１に記載の自己位置推定システム。
前記モバイル端末は、
前記カメラを使って撮影された２枚の連続するトンネルの内部画像から同一の対象物を検出し、
この検出された対象物の変化量から対象物の移動量を算出し、
この算出された対象物の移動量に基づいてトンネルにおける自己位置を推定することを特徴とする請求項１に記載の自己位置推定システム。
前記モバイル端末は、加速度センサと角速度センサを有し、
この加速度センサと角速度センサを使って検出された加速度と角速度から移動量を算出し、
この算出された移動量に基づいてトンネルにおける自己位置を推定することを特徴とする請求項１に記載の自己位置推定システム。
第１のデータベースと第２のデータベースを有し、前記第１のデータベースには指定されたトンネルに関する３次元モデルを格納し、前記第２のデータベースには前記３次元モデルから抽出されたひび割れの特徴情報を格納しているサーバと、
カメラを有し、前記カメラを使ってトンネルの内部画像が撮影されると、このトンネルの内部画像から抽出されたトンネルの内壁に形成されているひび割れの特徴情報を前記サーバに送信し、かつ前記サーバに対して自己位置推定を要求するモバイル端末と、を備え、
前記サーバは、
前記モバイル端末から前記自己位置推定を要求されると、
前記モバイル端末から送信されてくるひび割れの特徴情報を、前記第２のデータベースに格納しているひび割れの特徴情報と比較して、前記カメラを使って撮影されたトンネルの内部画像に映っているひび割れを特定し、
この特定したひび割れに基づいてトンネルにおけるモバイル端末の自己位置を推定することを特徴とする自己位置推定システム。
前記モバイル端末は、前記３次元モデルまたは前記内部画像を表示することを特徴とする請求項１から請求項５のいずれか１項に記載の自己位置推定システム。
前記モバイル端末は、前記トンネルの入り口から自己位置までの距離または出口から自己位置までの距離を表示することを特徴とする請求項１から請求項５のいずれか１項に記載の自己位置推定システム。
前記モバイル端末は、自己位置をトンネルを表す地図上にプロットして表示することを特徴とする請求項１から請求項５のいずれか１項に記載の自己位置推定システム。
指定されたトンネルに関わる３次元点群データを要求するステップと、
指定されたトンネルに関わる３次元点群データを受信すると、この受信した３次元点群データを基にトンネルの３次元モデルを作成するステップと、
作成したトンネルの３次元モデルを第１のデータベースに格納するステップと、
前記第１のデータベースに格納したトンネルの３次元モデルからトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、
この抽出されたひび割れの特徴情報を第２のデータベースに格納するステップと、
ひび割れの特徴情報を要求されると、前記第２のデータベースに格納しているひび割れの特徴情報を送信するステップと、
前記第２のデータベースに格納しているひび割れの特徴情報を受信すると、この受信したひび割れの特徴情報を第３のデータベースに格納するステップと、
カメラを使って撮影されたトンネルの内部画像を視点変換して、平面画像を作成するステップと、
この作成された平面画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、
この抽出したひび割れの特徴情報を、前記第３のデータベースに格納されているひび割れの特徴情報と比較して、撮影されたトンネルの内部画像に映っているひび割れを特定するステップと、
この特定したひび割れに基づいてトンネルにおける前記カメラの自己位置を推定するステップと、を備えている自己位置推定方法。
カメラを使って撮影されたトンネルの内部画像を視点変換して、平面画像を作成するステップと、
この作成された平面画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、
この抽出されたひび割れの特徴情報を送信し、かつ自己位置推定を要求するステップと、指定されたトンネルに関わる３次元点群データを要求するステップと、
指定されたトンネルに関わる３次元点群データを受信すると、この受信した３次元点群データを基にトンネルの３次元モデルを作成するステップと、
作成したトンネルの３次元モデルを第１のデータベースに格納するステップと、
前記第１のデータベースに格納したトンネルの３次元モデルからトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、
この抽出されたひび割れの特徴情報を第２のデータベースに格納するステップと、
前記自己位置推定を要求されると、送信されてくるひび割れの特徴情報を、前記第２のデータベースに格納しているひび割れの特徴情報と比較して、撮影されたトンネルの内部画像に映っているひび割れを特定するステップと、
この特定したひび割れに基づいてトンネルにおける前記カメラの自己位置を推定するステップと、を備えている自己位置推定方法。
カメラとデータベースを有し、このデータベースには指定されたトンネルに関する３次元モデルから抽出されたひび割れの特徴情報を保存していて、
前記カメラを使ってトンネルの内部画像が撮影されると、
このトンネルの内部画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出し、
この抽出したひび割れの特徴情報を、前記データベースに保存しているひび割れの特徴情報と比較して、前記カメラを使って撮影されたトンネルの内部画像に映っているひび割れを特定し、
この特定したひび割れに基づいてトンネルにおける自己位置を推定することを特徴とするモバイル端末。
第１のデータベースと第２のデータベースを有し、前記第１のデータベースには指定されたトンネルに関する３次元モデルを格納し、前記第２のデータベースには前記３次元モデルから抽出されたひび割れの特徴情報を格納していて、
モバイル端末からひび割れの特徴情報を受信し、自己位置推定を要求されると、
この受信したひび割れの特徴情報を、前記第２のデータベースに格納しているひび割れの特徴情報と比較して、受信したひび割れを特定し、
この特定したひび割れに基づいてトンネルにおける前記モバイル端末の自己位置を推定し、
この推定した結果を前記モバイル端末に送信することを特徴とするサーバ。
指定されたトンネルに関する３次元モデルから抽出されたひび割れの特徴情報をデータベースに保存するステップと、
カメラを使って撮影されたトンネルの内部画像から視点変換した平面画像を作成するステップと、
前記平面画像からトンネルの内壁に形成されているひび割れの特徴情報を抽出するステップと、
この抽出したひび割れの特徴情報を、前記データベースに保存しているひび割れの特徴情報と比較して、前記トンネルの内部画像に映っているひび割れを特定するステップと、
この特定したひび割れに基づいてトンネルにおける前記カメラの自己位置を推定するステップと、を備えていることを特徴とする自己位置推定プログラム。
指定されたトンネルに関する３次元モデルを第１のデータベースに格納するステップと、
前記３次元モデルから抽出されたひび割れの特徴情報を第２のデータベースに格納するステップと、
カメラを使って撮影されたトンネルの内部画像から抽出されたひび割れの特徴情報を受信するステップと、
自己位置推定を要求されると、前記受信したひび割れの特徴情報を、前記第２のデータベースに格納しているひび割れの特徴情報と比較して、前記トンネルの内部画像に映っているひび割れを特定するステップと、
この特定したひび割れに基づいてトンネルにおける前記カメラの自己位置を推定するステップと、を備えていることを特徴とする自己位置推定プログラム。