JP6546940B2

JP6546940B2 - 方位推定装置、撮影・地図表示装置、方法、及びプログラム

Info

Publication number: JP6546940B2
Application number: JP2017013819A
Authority: JP
Inventors: 阿部　裕文; 裕文阿部; 彰久川野辺; 瀬下　仁志; 仁志瀬下; 慶広落合
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-01-30
Filing date: 2017-01-30
Publication date: 2019-07-17
Anticipated expiration: 2037-01-30
Also published as: JP2018124067A

Description

本発明は、方位推定装置、撮影・地図表示装置、方法、及びプログラムに係り、特に、３次元地図を表示する場合等に、ユーザの絶対方位を推定するための方位推定装置、撮影・地図表示装置、方法、及びプログラムに関する。

新興国等で急速に進むインフラ開発や、頻発する自然災害対策等を目的として、世界的に地理空間情報の需要が高まっている。この地理空間情報の整備にあたり、３次元地図（以下、３Ｄ地図という。）は、基盤となる重要なコンテンツとなる。

上記の３Ｄ地図を作成するためには、航空機や人手による調査が必要とされ、調査に係るコストや期間の制約から整備されるエリアには限界があった。

これに対して、例えば、衛星測量による全世界デジタル３Ｄ地図の提供が開始されている（例えば、非特許文献１を参照）。この全世界デジタル３Ｄ地図によれば、衛星で撮影された画像を利用するため、航空機や人手による調査が不要となり、調査に係るコストや期間の制約を緩和することが可能となる。

"世界最高精度の全世界デジタル３Ｄ地図を提供開始〜世界初、５ｍ解像度の数値標高モデルで"見る３Ｄ地図"から"使える３Ｄ地図"へ〜"、[online]、２０１４年２月２４日、株式会社ＮＴＴデータ、[２０１６年１２月２０日検索]、インターネット＜URL: http://www.nttdata.com/jp/ja/news/release/2014/022400.html＞

上記の全世界デジタル３Ｄ地図をはじめ、視覚的に分かり易い３Ｄ地図を表示させる技術や、スマートフォン等の携帯端末装置に３Ｄ地図を表示させてナビゲーションを行う技術等が今後普及することが予想される。

そして、ＧＰＳ(Global Positioning System)による測位が困難な屋内においても３Ｄ地図を用いたナビゲーション技術が普及することが予想される。屋内で３Ｄ地図を表示する場合、携帯端末装置を持つユーザが、地図上での自身の絶対方位を知りたい場合がある。

本発明は、上記の事情に鑑みてなされたもので、屋内であっても、ユーザの絶対方位を推定することができる方位推定装置、撮影・地図表示装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る方位推定装置は、予め用意されたランドマークを表す参照画像と、前記ランドマークを表す撮影画像と、前記参照画像を前記撮影画像に射影変換するための射影変換行列とに基づいて、前記ランドマークの基準方向に対する、前記撮影画像の撮影方向の相対方位を推定する相対方位推定部と、予め求められた前記ランドマークの基準方向の絶対方位と、前記推定された相対方位とに基づいて、前記撮影画像の撮影方向の絶対方位を推定する方位推定部と、を含む。

第２の発明に係る方位推定方法は、相対方位推定部が、予め用意されたランドマークを表す参照画像と、前記ランドマークを表す撮影画像と、前記参照画像を前記撮影画像に射影変換するための射影変換行列とに基づいて、前記ランドマークの基準方向に対する、前記撮影画像の撮影方向の相対方位を推定するステップと、方位推定部が、予め求められた前記ランドマークの基準方向の絶対方位と、前記推定された相対方位とに基づいて、前記撮影画像の撮影方向の絶対方位を推定するステップと、を含む。

第１及び第２の発明によれば、相対方位推定部は、予め用意されたランドマークを表す参照画像と、ランドマークを表す撮影画像と、前記参照画像を前記撮影画像に射影変換するための射影変換行列とに基づいて、ランドマークの基準方向に対する、撮影画像の撮影方向の相対方位を推定する。方位推定部は、予め求められたランドマークの基準方向の絶対方位と、推定された相対方位とに基づいて、撮影画像の撮影方向の絶対方位を推定する。

第３の発明に係る方位推定装置は、複数の参照画像を格納する参照画像データベースと、前記複数の参照画像の各々のメタ情報であって、前記参照画像の縦横サイズと前記参照画像に含まれるランドマークの前記参照画像内の位置とを含むメタ情報、及び、前記複数の参照画像の各々に含まれる前記ランドマークの基準方向の絶対方位を少なくとも格納する参照画像情報データベースと、携帯端末装置により撮影された撮影画像により前記参照画像データベースを検索して得られた前記参照画像を、前記撮影画像に射影変換するための射影変換行列を生成する射影変換行列生成部と、前記射影変換行列及び前記参照画像のメタ情報に基づいて、前記参照画像に含まれる前記ランドマークの基準方向に対する、前記撮影画像の撮影方向の相対方位を推定する相対方位推定部と、前記ランドマークの基準方向の絶対方位と、前記推定された相対方位とに基づいて、前記撮影画像の撮影方向の絶対方位を推定する方位推定部と、を含む。

第４の発明に係る方位推定方法は、複数の参照画像を格納する参照画像データベースと、前記複数の参照画像の各々のメタ情報であって、前記参照画像の縦横サイズと前記参照画像に含まれるランドマークの前記参照画像内の位置とを含むメタ情報、及び、前記複数の参照画像の各々に含まれる前記ランドマークの基準方向の絶対方位を少なくとも格納する参照画像情報データベースと、を含む方位推定装置における方位推定方法であって、射影変換行列生成部が、携帯端末装置により撮影された撮影画像により前記参照画像データベースを検索して得られた前記参照画像を、前記撮影画像に射影変換するための射影変換行列を生成するステップと、相対方位推定部が、前記射影変換行列及び前記参照画像のメタ情報に基づいて、前記参照画像に含まれる前記ランドマークの基準方向に対する、前記撮影画像の撮影方向の相対方位を推定するステップと、方位推定部が、前記ランドマークの基準方向の絶対方位と、前記推定された相対方位とに基づいて、前記撮影画像の撮影方向の絶対方位を推定するステップと、を含む。

第３及び第４の発明によれば、参照画像データベースは、複数の参照画像を格納する。参照画像情報データベースは、複数の参照画像の各々のメタ情報、及び、複数の参照画像の各々に含まれるランドマークの基準方向の絶対方位を少なくとも格納する。メタ情報は、参照画像の縦横サイズと参照画像に含まれるランドマークの参照画像内の位置とを含む。射影変換行列生成部は、携帯端末装置により撮影された撮影画像により参照画像データベースを検索して得られた参照画像を、撮影画像に射影変換するための射影変換行列を生成する。相対方位推定部は、射影変換行列及び参照画像のメタ情報に基づいて、参照画像に含まれるランドマークの基準方向に対する、撮影画像の撮影方向の相対方位を推定する。方位推定部は、ランドマークの基準方向の絶対方位と、推定された相対方位とに基づいて、撮影画像の撮影方向の絶対方位を推定する。

このように、屋内であっても、ユーザの絶対方位を推定することができる。

第５の発明に係る撮影・地図表示装置は、第３の発明に係る方位推定装置によって推定された前記撮影画像の撮影方向の絶対方位に、前記撮影画像の撮影時点から現時点までに前記携帯端末装置が回転した回転角度を加えた角度を、ユーザの現在の向きとして、地図表示を行う地図表示部を含む。

第６の発明に係る撮影・地図表示方法は、地図表示部が、第４の発明に係る方位推定方法の各ステップによって推定された前記撮影画像の撮影方向の絶対方位に、前記撮影画像の撮影時点から現時点までに前記携帯端末装置が回転した回転角度を加えた角度を、ユーザの現在の向きとして、地図表示を行うステップを含む。

第５及び第６の発明によれば、地図表示部は、方位推定装置によって推定された撮影画像の撮影方向の絶対方位に、撮影画像の撮影時点から現時点までに携帯端末装置が回転した回転角度を加えた角度を、ユーザの現在の向きとして、地図表示を行う。

このように、屋内であっても、ユーザの絶対方位を用いて、地図表示を行うことができる。

また、本発明に係るプログラムは、コンピュータを、第１の発明に係る方位推定装置が備える各部、又は、第３の発明に係る方位推定装置が備える各部、又は、第５の発明に係る撮影・地図表示装置が備える各部として機能させるためのプログラムである。

以上説明したように、本発明に係る方位推定装置、撮影・地図表示装置、方法、及びプログラムによれば、屋内であっても、ユーザの絶対方位を推定することができる。

実施形態に係る撮影・地図表示装置の機能的な構成の一例を示すブロック図である。実施形態に係る撮影画像の撮影方向の絶対方位を導出する処理の一例を示す図である。実施形態に係る撮影画像の撮影方向の絶対方位の定め方の一例を示す図である。実施形態に射影変換行列生成プログラム、相対方位推定プログラム、及び絶対方位推定プログラムによる処理の流れの一例を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

図１は、本実施形態に係る撮影・地図表示装置１０の機能的な構成の一例を示すブロック図である。
図１に示すように、撮影・地図表示装置１０は、スマートフォン２０と、方位推定サーバ３０と、射影変換行列生成サーバ４０と、を含み、１つのシステムとして構成される。スマートフォン２０は、ユーザが使用する携帯端末装置の一例である。方位推定サーバ３０は、方位推定装置の一例である。

スマートフォン２０と方位推定サーバ３０とは、インターネット等のネットワークを介して接続される。また、方位推定サーバ３０と射影変換行列生成サーバ４０とは、インターネット等のネットワークを介して接続される。なお、本実施形態では、方位推定サーバ３０と射影変換行列生成サーバ４０とが別体で設けられているが、方位推定サーバ３０と射影変換行列生成サーバ４０とを一体で設けるようにしてもよい。

スマートフォン２０には、アプリケーションプログラムとしての撮影・地図表示アプリケーション２２が予めインストールされている。また、スマートフォン２０には、加速度センサ２３が設けられており、スマートフォン２０の回転角度の計測が可能とされる。なお、スマートフォン２０には、加速度センサ２３以外に、地磁気センサ、ジャイロセンサ等の複数のモーションセンサが設けられている。撮影・地図表示アプリケーション２２は、これら複数のモーションセンサから取得される情報を解析することで、地図上の基準点からのユーザの移動経路を推定し、ユーザの現在位置を３Ｄ地図上に表示する機能を有する。

撮影・地図表示アプリケーション２２は、スマートフォン２０が備える撮影部２２Ａと連携し、所望の撮影画像を取得する。撮影部２２Ａには、例えば、ＣＣＤ(Charge Coupled Device)等が適用される。また、撮影・地図表示アプリケーション２２は、スマートフォン２０が備える地図表示部２２Ｂと連携し、地図表示部２２Ｂに３Ｄ地図等を表示させる。地図表示部２２Ｂには、例えば、液晶ディスプレイ(ＬＣＤ:Liquid Crystal Display)や有機ＥＬ(Electro Luminescence)ディスプレイ等が適用される。

方位推定サーバ３０は、方位推定ＩＦ（インターフェース）部３２と、参照画像情報ＤＢ（データベース）３４と、を備える。更に、方位推定ＩＦ部３２は、方位推定部３２Ａと、相対方位推定部３２Ｂと、を備える。

本実施形態に係る方位推定サーバ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、及びＨＤＤ(Hard Disk Drive)等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る相対方位推定プログラム及び絶対方位推定プログラムが記憶されている。なお、これらの相対方位推定プログラム及び絶対方位推定プログラムは、ＨＤＤに記憶されていてもよい。

上記の相対方位推定プログラム及び絶対方位推定プログラムの各々は、例えば、方位推定サーバ３０に予めインストールされていてもよい。これらの相対方位推定プログラム及び絶対方位推定プログラムの各々は、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、方位推定サーバ３０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ(Compact Disc Read Only Memory)、光磁気ディスク、ＤＶＤ-ＲＯＭ(Digital Versatile Disc Read Only Memory)、フラッシュメモリ、メモリカード等が挙げられる。

ＣＰＵは、ＲＯＭに記憶されている相対方位推定プログラムを読み込んで実行することにより、上記の相対方位推定部３２Ｂとして機能する。同様に、ＣＰＵは、ＲＯＭに記憶されている絶対方位推定プログラムを読み込んで実行することにより、上記の方位推定部３２Ａとして機能する。また、ＨＤＤは、上記の参照画像情報ＤＢ３４として機能する。

一方、射影変換行列生成サーバ４０は、射影変換行列生成部４２と、参照画像ＤＢ４４と、を備える。

本実施形態に係る射影変換行列生成サーバ４０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、及びＨＤＤ等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る射影変換行列生成プログラムが記憶されている。なお、この射影変換行列生成プログラムは、ＨＤＤに記憶されていてもよい。

上記の射影変換行列生成プログラムは、例えば、射影変換行列生成サーバ４０に予めインストールされていてもよい。この射影変換行列生成プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、射影変換行列生成サーバ４０に適宜インストールすることで実現してもよい。

ＣＰＵは、ＲＯＭに記憶されている射影変換行列生成プログラムを読み込んで実行することにより、上記の射影変換行列生成部４２として機能する。また、ＨＤＤは、上記の参照画像ＤＢ４４として機能する。

本実施形態では、ユーザが屋内にてスマートフォン２０を用いて３Ｄ地図を表示させ、ユーザの絶対方位を推定する場合について想定する。この場合、本実施形態に係る撮影・地図表示装置１０では、ユーザが持つスマートフォン２０により撮影されたランドマークを含む撮影画像が方位推定サーバ３０に送信される。そして、この撮影画像を受信した方位推定サーバ３０は、射影変換行列生成サーバ４０との連携により導出されるユーザの絶対方位、ランドマークの位置、及びフロア階層を含む情報をスマートフォン２０に返す。ここでいうユーザの絶対方位とは、撮影画像の撮影方向の絶対方位を意味する。

なお、本実施形態において、絶対方位とは、北向きを０度とし、時計回りに１周を３６０度として定義される方位である。また、位置とは、緯度及び経度で示される地図上の位置を表す。フロア階層とは、地図上における階層を表す。この場合、地図が地上、地上のプラス階層（屋内施設等）、及び地上のマイナス階層（地下街等）により構成されている。

以下、撮影・地図表示装置１０が備える各部の機能について説明する。なお、本実施形態では、ランドマークとして、屋内に設置された看板を例示して説明するが、所定の場所に設置され絶対方位が変化しない、目印となり得る物体であればよい。

参照画像ＤＢ４４には、複数の参照画像が予め格納されている。複数の参照画像とは、様々なランドマークの一例である看板を撮影した画像である。参照画像の１枚１枚に画像ＩＤが割り当てられ、画像ＩＤと対応付けながら参照画像が参照画像ＤＢ４４に登録される。なお、この例の場合、参照画像ＤＢ４４には、参照画像のみが格納され、参照画像のメタ情報等については別の参照画像情報ＤＢ３４に格納される。これら参照画像ＤＢ４４と参照画像情報ＤＢ３４とは、画像ＩＤにより互いに関連付けられている。

参照画像情報ＤＢ３４には、複数の参照画像の各々のメタ情報、複数の参照画像の各々に含まれる看板の基準方向（例えば、看板の面に平行な方向）の絶対方位、看板の位置、看板のフロア階層を含む情報が予め格納されている。参照画像情報ＤＢ３４に格納される情報は、参照画像の画像ＩＤにより特定可能とされる。なお、メタ情報とは、相対方位推定部３２Ｂにより射影変換行列から角度成分を導出する際に必要となる固有のパラメータである。メタ情報は、一例として、参照画像の縦サイズ、横サイズ、及び参照画像に含まれる看板の参照画像内における位置（例えば、画素単位での座標）を含む。看板の位置とは、参照画像に含まれる看板から看板の法線方向に所定距離（例えば、１．５ｍ）離れた位置を表す。ここでは、看板の位置をユーザの位置と見なす。看板のフロア階層とは、参照画像に含まれる看板が設置されている階層を表す。

撮影部２２Ａは、ユーザが自身の向きを知りたい場合に、周囲にある看板をランドマークとして撮影し、看板を含む撮影画像を取得する。この撮影画像をクエリ画像として方位推定サーバ３０に問い合わせを行う。

方位推定サーバ３０は、方位推定ＩＦ部３２を介して撮影画像を受け取り、受け取った撮影画像に基づいて方位推定ＩＦ部３２から射影変換行列生成サーバ４０に問い合わせを行う。

射影変換行列生成サーバ４０は、方位推定ＩＦ部３２から、撮影画像を含む問い合わせに応じて射影変換行列生成部４２を起動する。射影変換行列生成部４２は、撮影画像をクエリとして、参照画像ＤＢ４４に対して検索を行い、撮影画像に最も類似する参照画像を取得する。つまり、同一又は類似の看板を撮影したと推定される参照画像を取得する。そして、射影変換行列生成部４２は、参照画像ＤＢ４４から取得した参照画像を、撮影画像に射影変換するための射影変換行列を生成する。そして、射影変換行列生成サーバ４０は、方位推定サーバ３０に射影変換行列及び参照画像の画像ＩＤを返す。

方位推定サーバ３０は、方位推定ＩＦ部３２を介して射影変換行列及び画像ＩＤを受け取る。方位推定ＩＦ部３２は、方位推定部３２Ａを起動させ、方位推定部３２Ａは、相対方位推定部３２Ｂを起動させる。相対方位推定部３２Ｂは、画像ＩＤをキーとして参照画像情報ＤＢ３４を参照し、画像ＩＤに対応する参照画像のメタ情報、看板の基準方向の絶対方位、看板の位置、及び看板のフロア階層を含む情報を取得する。

相対方位推定部３２Ｂは、参照画像情報ＤＢ３４から取得した参照画像のメタ情報、及び、射影変換行列生成サーバ４０から取得した射影変換行列に基づいて、参照画像に含まれる看板の基準方向（看板の法線方向）に対する、撮影画像の撮影方向の相対方位を推定する。つまり、撮影画像を撮影した時点でのユーザの看板に対する相対方位を推定する。そして、相対方位推定部３２Ｂは、看板の基準方向の絶対方位及び推定された相対方位を方位推定部３２Ａに送る。

より具体的には、相対方位推定部３２Ｂは、参照画像の縦横サイズ、参照画像内での看板の位置、及び射影変換行列を用いて、撮影画像の看板と参照画像の看板との間の相対角度を求める。つまり、射影変換行列を回転行列と見なして分解し、角度成分を抽出する。例えば、”回転行列からオイラー角のパラメータ抽出を行う -It_lives_vainlyの日記 ”、[online]、２００７年８月２９日、[２０１７年１月２３日検索]、インターネット＜URL: http://d.hatena.ne.jp/It_lives_vainly/20070829/1188384519＞に記載されている公知の技術を適用することができる。なお、本実施形態では、参照画像が看板の正面から撮影されている場合を例に説明しているため、上記相対角度が、看板の基準方向に対する、撮影画像の撮影方向の相対方位となる。一方、参照画像が看板の正面以外から撮影されている場合、看板の基準方向に対する参照画像の撮影方向の角度を上記相対角度に加えた角度が、看板の基準方向に対する、撮影画像の撮影方向の相対方位となる。この場合、看板の基準方向に対する、参照画像の撮影方向の角度を、メタ情報に含めておけばよい。

方位推定部３２Ａは、相対方位推定部３２Ｂから受け取った、看板の基準方向の絶対方位及び推定された相対方位に基づいて、撮影画像の撮影方向の絶対方位を推定する。つまり、撮影画像の撮影時点でのユーザの絶対方位を推定する。そして、方位推定部３２Ａは、方位推定ＩＦ部３２を介して、ユーザの絶対方位（すなわち、撮影画像の撮影方向の絶対方位）、看板の位置、及びフロア階層をスマートフォン２０に出力する。

図２は、本実施形態に係る撮影画像の撮影方向の絶対方位を導出する処理の一例を示す図である。
図２において、Ｎは北向き、Ｓは南向き、Ｅは東向き、Ｗは西向きを示し、看板５０を鉛直方向から見た状態を示している。以下、ユーザ５２が使用するスマートフォン２０により撮影された看板５０を含む撮影画像が方位推定サーバ３０に送信された場合について説明する。

図２の左図に示すように、方位推定部３２Ａは、看板５０の基準方向（例えば、看板の面に平行な方向）の絶対方位αを、参照画像情報ＤＢ３４に予め格納されている参照画像のメタ情報から取得する。

図２の中図に示すように、相対方位推定部３２Ｂは、看板５０の基準方向（例えば、看板の法線方向）に対する、撮影画像の撮影方向の相対角度、すなわち、撮影時のユーザ５２の看板５０に対する相対角度（相対方位）βを推定する。この例の場合、相対角度βは、看板５０の法線方向との間の角度として示される。なお、看板５０の位置Ｐ１は、看板５０から看板５０の法線方向に所定距離Ｌ（例えば、Ｌ＝１．５ｍ）離れた位置とされる。この例では、看板５０の位置Ｐ１をユーザ５２の位置と見なす。

図２の右図に示すように、方位推定部３２Ａは、看板５０の基準方向の絶対方位α（単位：度）、及び、ユーザ５２の看板５０に対する相対方位β（単位：度）に基づいて、撮影画像の撮影方向の絶対方位、すなわち、ユーザ５２の絶対方位γ（単位：度）を、以下の式１を用いて導出する。なお、この例では、看板５０の中心点を中心とし、看板５０を囲む円を想定した場合に、看板５０の基準方向（看板の面に平行な方向）は円の外側を向くのに対して、撮影画像の撮影方向は円の中心を向く。このため、撮影画像の撮影方向を１８０度反転させた状態の方向がユーザ５２の絶対方位γとして導出される。

γ＝α＋β−９０ …（１）

つまり、相対方位推定部３２Ｂは、予め参照画像ＤＢ４４に用意された看板５０を表す参照画像と、看板５０を表す撮影画像とに基づいて、看板５０の基準方向に対する、撮影画像の撮影方向の相対方位βを推定する。そして、方位推定部３２Ａは、予め参照画像情報ＤＢ３４に格納されている看板５０の基準方向の絶対方位αと、推定された相対方位βとに基づいて、撮影画像の撮影方向の絶対方位γを推定する。

但し、看板５０の基準方向の絶対方位αは、図３に示すように定められる。つまり、看板５０の基準方向（この場合、看板５０の面と平行な方向）は、北向きＮを０度とした場合に、北向きＮに対する角度が時計回りに増大し、絶対方位α（＝θ度）として表される。

地図表示部２２Ｂは、方位推定サーバ３０から返されるユーザの絶対方位、看板の位置、及びフロア階層を含む情報に基づいて、ユーザの現在位置及び向きから見た、３Ｄ地図を表示する。具体的には、地図表示部２２Ｂは、看板の位置をユーザの現在位置とし、推定された撮影画像の撮影方向の絶対方位に、撮影画像の撮影時点から現時点までにスマートフォン２０が回転した回転角度を加えた角度を、ユーザの現在の向きとして、３Ｄ地図の表示を行う。なお、スマートフォン２０の回転角度は、例えば、センサ（一例として、ジャイロセンサ、加速度センサ等）により計測される。
また、一度表示を行った後は、推定値とそもそもスマートフォン２０のセンサが指し示す方位との差分を保持しておく。そして、ユーザが歩行する際にはスマートフォン２０のセンサの値に上記の差分を補正値として加えた値を用いることで、地図上で継続的に正しい方位を示すことができる。

次に、図４を参照して、本実施形態に係る撮影・地図表示装置１０の作用を説明する。なお、図４は、本実施形態に射影変換行列生成プログラム、相対方位推定プログラム、及び絶対方位推定プログラムによる処理の流れの一例を示すフローチャートである。

まず、図４のステップ１００にて、射影変換行列生成サーバ４０の射影変換行列生成部４２が、方位推定サーバ３０を介して、ユーザが使用するスマートフォン２０により撮影された看板を含む撮影画像を取得する。

ステップ１０２にて、射影変換行列生成部４２が、撮影画像に基づいて参照画像ＤＢ４４を検索し、撮影画像にマッチングする参照画像が有るか否かを判定する。撮影画像にマッチングする参照画像が無いと判定された場合（否定判定の場合）、ステップ１０４に移行する。一方、撮影画像にマッチングする参照画像が有ると判定された場合（肯定判定の場合）、ステップ１０６に移行する。

ステップ１０４では、射影変換行列生成部４２が、方位推定サーバ３０を介して、スマートフォン２０にエラーメッセージを返す。このエラーメッセージは、例えば、「マッチングする参照画像が有りません。再度、撮影画像を送って下さい。」等のメッセージである。

一方、ステップ１０６では、射影変換行列生成部４２が、参照画像ＤＢ４４から取得した参照画像を、撮影画像に射影するための射影変換行列を生成し、射影変換行列及び参照画像の画像ＩＤを方位推定サーバ３０に送信する。

ステップ１０８では、方位推定サーバ３０の方位推定ＩＦ部３２が、射影変換行列生成部４２からの射影変換行列及び画像ＩＤを受け取る。相対方位推定部３２Ｂは、画像ＩＤに基づいて参照画像情報ＤＢ３４を検索し、参照画像のメタ情報及び看板の基準方向の絶対方位を取得する。相対方位推定部３２Ｂは、射影変換行列及び参照画像のメタ情報に基づいて、ユーザの看板に対する相対方位、つまり、看板の基準方向に対する、撮影画像の撮影方向の相対方位を推定し、推定した相対方位及び看板の基準方向の絶対方位を方位推定部３２Ａに送る。

ステップ１１０では、方位推定部３２Ａが、相対方位推定部３２Ｂから受け取った、ユーザの看板に対する相対方位及び看板の基準方向の絶対方位に基づいて、撮影画像の撮影時点でのユーザの絶対方位、つまり、撮影画像の撮影方向の絶対方位を推定する。そして、方位推定ＩＦ部３２は、方位推定部３２Ａにより推定したユーザの絶対方位、看板の位置、及びフロア階層を含む情報をスマートフォン２０に送信する。

ステップ１１２では、スマートフォン２０の地図表示部２２Ｂが、加速度センサ２３から、撮影画像の撮影時点から現時点（例えば、ユーザの絶対方位の受け取り時点）までにスマートフォン２０が回転した回転角度を取得する。

ステップ１１４では、地図表示部２２Ｂが、方位推定ＩＦ部３２から受け取った看板の位置をユーザの位置とし、ユーザの絶対方位を示す撮影画像の撮影方向の絶対方位に、スマートフォン２０の回転角度を加えた角度を、ユーザの現在の向きとして、地図表示を行う。

以上、実施形態として方位推定装置及び撮影・地図表示装置を例示して説明した。実施形態は、コンピュータを、方位推定装置、又は、撮影・地図表示装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

また、方位推定サーバ３０及び射影変換行列生成サーバ４０を、一つの方位推定装置として構成してもよい。方位推定サーバ３０、射影変換行列生成サーバ４０、及びスマートフォン２０を、一つの撮影・地図表示装置として構成してもよい。

その他、上記実施形態で説明した方位推定装置及び撮影・地図表示装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０撮影・地図表示装置
２０スマートフォン
２２撮影・地図表示アプリケーション
２２Ａ撮影部
２２Ｂ地図表示部
２３加速度センサ
３０方位推定サーバ
３２方位推定ＩＦ部
３２Ａ方位推定部
３２Ｂ相対方位推定部
３４参照画像情報ＤＢ
４０射影変換行列生成サーバ
４２射影変換行列生成部
４４参照画像ＤＢ
５０看板
５２ユーザ

Claims

予め用意されたランドマークを表す参照画像と、前記ランドマークを表す撮影画像と、前記参照画像を前記撮影画像に射影変換するための射影変換行列とに基づいて、前記ランドマークの基準方向に対する、前記撮影画像の撮影方向の相対方位を推定する相対方位推定部と、
予め求められた前記ランドマークの基準方向の絶対方位と、前記推定された相対方位とに基づいて、前記撮影画像の撮影方向の絶対方位を推定する方位推定部と、
を含む方位推定装置。
複数の参照画像を格納する参照画像データベースと、
前記複数の参照画像の各々のメタ情報であって、前記参照画像の縦横サイズと前記参照画像に含まれるランドマークの前記参照画像内の位置とを含むメタ情報、及び、前記複数の参照画像の各々に含まれる前記ランドマークの基準方向の絶対方位を少なくとも格納する参照画像情報データベースと、
携帯端末装置により撮影された撮影画像により前記参照画像データベースを検索して得られた前記参照画像を、前記撮影画像に射影変換するための射影変換行列を生成する射影変換行列生成部と、
前記射影変換行列及び前記参照画像のメタ情報に基づいて、前記参照画像に含まれる前記ランドマークの基準方向に対する、前記撮影画像の撮影方向の相対方位を推定する相対方位推定部と、
前記ランドマークの基準方向の絶対方位と、前記推定された相対方位とに基づいて、前記撮影画像の撮影方向の絶対方位を推定する方位推定部と、
を含む方位推定装置。
請求項２に記載の方位推定装置によって推定された前記撮影画像の撮影方向の絶対方位に、前記撮影画像の撮影時点から現時点までに前記携帯端末装置が回転した回転角度を加えた角度を、ユーザの現在の向きとして、地図表示を行う地図表示部
を含む撮影・地図表示装置。
相対方位推定部が、予め用意されたランドマークを表す参照画像と、前記ランドマークを表す撮影画像と、前記参照画像を前記撮影画像に射影変換するための射影変換行列とに基づいて、前記ランドマークの基準方向に対する、前記撮影画像の撮影方向の相対方位を推定するステップと、
方位推定部が、予め求められた前記ランドマークの基準方向の絶対方位と、前記推定された相対方位とに基づいて、前記撮影画像の撮影方向の絶対方位を推定するステップと、
を含む方位推定方法。
複数の参照画像を格納する参照画像データベースと、前記複数の参照画像の各々のメタ情報であって、前記参照画像の縦横サイズと前記参照画像に含まれるランドマークの前記参照画像内の位置とを含むメタ情報、及び、前記複数の参照画像の各々に含まれる前記ランドマークの基準方向の絶対方位を少なくとも格納する参照画像情報データベースと、を含む方位推定装置における方位推定方法であって、
射影変換行列生成部が、携帯端末装置により撮影された撮影画像により前記参照画像データベースを検索して得られた前記参照画像を、前記撮影画像に射影変換するための射影変換行列を生成するステップと、
相対方位推定部が、前記射影変換行列及び前記参照画像のメタ情報に基づいて、前記参照画像に含まれる前記ランドマークの基準方向に対する、前記撮影画像の撮影方向の相対方位を推定するステップと、
方位推定部が、前記ランドマークの基準方向の絶対方位と、前記推定された相対方位とに基づいて、前記撮影画像の撮影方向の絶対方位を推定するステップと、
を含む方位推定方法。
地図表示部が、請求項５に記載の方位推定方法の各ステップによって推定された前記撮影画像の撮影方向の絶対方位に、前記撮影画像の撮影時点から現時点までに前記携帯端末装置が回転した回転角度を加えた角度を、ユーザの現在の向きとして、地図表示を行うステップ
を含む撮影・地図表示方法。
コンピュータを、請求項１に記載の方位推定装置が備える各部、又は、請求項２に記載の方位推定装置が備える各部、又は、請求項３に記載の撮影・地図表示装置が備える各部として機能させるためのプログラム。