JP5670092B2 - 地形表示システム、携帯端末、地形表示方法およびプログラム - Google Patents

Description

本発明は、サーバから取得する情報に基づき画像描写を行う携帯端末及びサーバに関し、詳しくは、画面上に地形の表示を行なえる地形表示システムに関する。

近年の携帯端末では、ＧＰＳ（Global Positioning System）等を使い現在位置を所定の程度の精度で特定することが可能である。また、地磁気センサや加速度センサなどを内在し、携帯端末の姿勢や撮像モジュールの向いている向きを検出可能である。

このような技術は、例えば特許文献１に記載されている。特許文献１に記載されている携帯端末は、加速度センサ、地磁気センサ、カメラ、ＧＰＳ受信部、通信部、中央処理装置等を備え、通信部を介してネットワーク上のサーバと接続する。サーバは、携帯端末の要求に応じて、ナビゲーション情報を携帯端末に対して提供する。当該システムでは、携帯端末側で、目的地の入力を行い、カメラの向いている方位、傾きおよび自端末の位置を取得して、カメラの撮像倍率に基づく表示部に表示する仮想的なスクリーン（描写する画角）を定義し、目的地の方向と前記スクリーンとの相対位置を計算して、目的地をスルー画像（撮像したリアルタイムの画像）画面上に投影するよう表示する。この処理の過程で、携帯端末は、サーバに対して目的地の位置情報を検索したり、演算処理を依頼するように動作する。

特開２００５−２４１３８５号公報

ところで、現実社会では現在位置を正確に認識することが困難となる場所や時間帯が存在する。
例えば、地下ではＧＰＳによる位置測定が使用できず、夜間など周囲が暗い状況ではスルー画像が役にたたなくなる。換言すれば、現在位置を正確に測定できない場合や、周囲が暗い場合には、上記システムは有効に使用できない。これでは、目標もしくは周囲の何れか識別できず、目的を達成することが困難となる。

本発明は、携帯端末内のＧＰＳ、カメラ、地磁気センサといった情報取得手段と、ネットワーク上のサーバに記録された地形データとを連携させることにより、周囲が暗いなどの状態でも位置を認識できるように、携帯端末の向いている方向の地形を画面上に表示する地形表示システムを提供することを目的とする。

本発明に係る地形表示システムは、ロケーション情報に対応付けられる地形データを格納するサーバと、ネットワークを介してサーバと通信する通信手段と、画像を撮像する撮像手段と、撮像手段の向いている方位、傾き、位置をロケーション情報として取得する手段と、使用者に映像を提示する表示手段と、撮像手段で撮像した画像と、該画像の撮像時の位置、方位、および傾きに基づく、サーバから取得した撮像手段で撮像されるアングルの該当地形データに基づいて、表示手段に該当地形データが反映された画像を表示する制御手段とを備える携帯端末と、を有し、制御手段は、撮像手段から取得できる暗い状態の画像を昼間同様の画像に撮像した画像に該当地形データを反映させることで構築して、表示手段に表示することを特徴とする。

本発明によれば、周囲が暗い状態などでも、被写体方向を正確に特定し、携帯端末の向いている方向の地形を画面上に表示することを可能にする地形表示システムを提供できる。

第１の実施形態に係る地形表示システムの構成を示すブロック図である。 第１の実施形態に係る地形表示システムの動作を示すフローチャートである。 第１の実施形態に係る地形表示システムでの情報処理を明示的に例示した説明図である。 第２の実施形態に係る地形表示システムの構成を示すブロック図である。 第２の実施形態に係る地形表示システムの動作を示すフローチャートである。 第３の実施形態に係る地形表示システムの構成を示すブロック図である。 第３の実施形態に係る地形表示システムの動作を示すフローチャートである。 第３の実施形態に係る補正を明示的に例示した説明図である。 第４の実施形態に係る地形表示システムの構成を示すブロック図である。 第４の実施形態に係る地形表示システムの動作を示すフローチャートである。 第４の実施形態に係る補正を明示的に例示した説明図である。 第５の実施形態に係る地形表示システムの構成を示すブロック図である。 第５の実施形態に係る地形表示システムの動作を示すフローチャートである。 実施例における携帯端末装置を示すブロック図である。 実施例における地形表示システムで表示される画面を明示的に例示した説明図である。 携帯端末の画像構築処理の説明に用いる日中の風景を示す図である。 携帯端末の画像構築処理の説明に用いる夜間の風景を示す図である。 携帯端末における画像構築処理の一例を説明する。 携帯端末における画像構築処理の一例を説明する。

本発明の実施の形態を図１乃至図１３に基づいて説明する。
図１は、第１の実施形態に係る地形表示システムの構成を示すブロック図である。
図１において、携帯端末１１０は、制御手段１１１、表示手段１１２、位置取得手段１１３、撮像手段１１４、方位・傾き取得手段１１５および光源出力手段１１６を具備し、通信網１２０を経由して地形データサーバ１００に接続して、地形データ等の情報を通信する。

制御手段１１１は、携帯端末１１０の制御を司ると共に、撮像した画像と、画像の撮像時に取得した位置、方位、傾きなどに基づく、撮像した画像に対応する地形データをロケーション情報を送信することで取得して、表示手段１１２に表示する画面を構築するように動作する。また、制御手段１１１は、使用者の入力手段に対する操作入力や、撮像画像の明度、時間などの１つもしくは組み合わせから夜間を識別し、撮像した画像と、画像の撮像時に取得した各種情報に基づき取得した地形データを参照し、昼間同様の画面を構築して、表示手段１１２に表示するように動作する。尚、ここで夜間とは、周囲の風景の輪郭程度は分かるが、その内容までは判別できないような状態を指し、他方昼間は、周囲の風景の輪郭だけでなくその内容(色や標識など)もよく判別が可能な状態である。

表示手段１１２は、携帯端末１１０に設けられる表示画面に対して制御手段１１１から指示された画像を表示するように動作する。
位置取得手段１１３は、ＧＰＳや携帯電話システムからの電波に基づいて、携帯端末１１０現時位置を取得するように動作する。
撮像手段１１４は、制御手段１１１などからの指示に従って、撮像素子等から画像を取得するように動作する。尚、撮像手段１１４は、様々な撮像画素や感度などが調整されたモードを実行可能である。
方位・傾き取得手段１１５は、多軸加速度センサなどを用い、加速度や地磁気などを測定し、端末姿勢を取得するように動作する。
光源出力手段１１６は、可視光線や赤外線を出力可能であるランプであり、制御手段１１１等の指示に基づいて発光する。

地形データサーバ１００は、地形データ保存部１０１を具備し、通信網１２０を介して携帯端末１１０と接続し、地形データ保存部１０１に保持されている地形データを、携帯端末１１０に送信する。

地形データ保存部１０１には、ロケーション情報に対応付けられた地形データが記録されている。地形データとは、携帯端末１１０において、使用者に対して画面越しに地形等を認知可能に表示するために用いられる情報（群）である。地形データを例示すれば、周囲が明るい状態のときに人間が認知できる有体物の輪郭部分を抽出したワイヤーフレームや、周囲の昼間の風景を撮影した画像などが挙げられる。また、地形データとして、横断歩道や標識に代表される社会ルールに基づく概念に関する情報や、時間変化と共に可動する構造物の夫々の形状、制御手段１１１が幾何学演算処理を行い表示に用いる情報を含めてもよい。

次に、地形表示システムの動作を説明する。
図２は、第１の実施形態に係る地形表示システムの動作を示すフローチャートである。図２に示すフローチャートでは、携帯端末１１０の使用者が、夜間に地形表示システムを動作させ、携帯端末１１０（撮像手段１１４）を向けた方向の地形を画面上に表示する説明を行なう。尚、当該システムは、日中でも同様に動作する。

携帯端末１１０の制御手段１１１は、利用者の設定、アプリケーションの起動、所定時間の到達、光源出力手段１１６の起動など、予め成されている設定に対応して、夜間（暗い状態）として識別して地形表示モードへと切り替わる。

地形表示モードでは、制御手段１１１は、撮像手段１１４を介して取得した画像を表示手段１１２に画像もしくはスルー画像として表示する状態から、所定タイミングの画像を取得する（ステップＳ１０１）。このとき、制御手段１１１は、画像の取得モード（撮影モード）を夜間モードや赤外線モードなどに自動的に設定することが望ましい。
制御手段１１１は、ステップＳ１０１と同時的に、各種手段から前記タイミング時の端末位置、方位、傾きなどをロケーション情報として取得する（ステップＳ１０２）。
制御手段１１１は、撮像した画像（又は画像の解析結果）と取得したロケーション情報に対応する地形データを、地形データサーバ１００に要求する（ステップＳ１０３）。ここで解析結果とは、画像の鮮明度や、明度、取得モード（解像度やＩＳＯなど）である。尚、この時点で、暗いなどの状態を識別して昼間同様の画面を構築できる地形データを取得するようにすることも可能である。

地形データサーバ１００は、地形データ保持部１０１から、要求を受けた地形データを携帯端末１１０に送信する（ステップＳ１０４）。

制御手段１１１は、地形データを取得し、その地形データのみ、又は地形データとＳ１０１で取得した画像との組み合わせで、昼間と同様に使用者が周囲の状態を認識できる画面を構築する（ステップＳ１０５）。
制御手段１１１は、構築した画像を、表示手段１１２に表示する（ステップＳ１０６）。
このように動作することによって、第１の実施形態の地形表示システムは、被写体方向を特定し、携帯端末の向いている方向の地形を画面上に表示することを可能にできる。また、上記したように、例え周囲が暗い状態でも、地形データを参照して画像を構築するので、携帯端末の使用者に対して明るい状態のときと同様に周囲を認知できる画像を提供できる。

ここで、携帯端末１１０の表示手段１１２に表示される表示結果の一例を示して、本発明を説明する。
図３（ａ）は、撮像手段１１４から取得した画像の一例である。当該画像は、辺りが暗く一部のモノしか認識できない画像であるとする。
図３（ｂ），（ｃ）は、地形データ保持部１０１に保持されている図３（ａ）地点に対応した地形データの例である。（ｂ）はワイヤーフレームであり、（ｃ）は、幾何学処理に用いる情報である。
図３（ｄ），（ｅ），（ｆ）は、表示手段１１２に表示された表示画面例である。
このように、携帯端末１１０の制御部１１１は、撮像した画像と、当該画像に対応する地形データとから、所望の地形を表示した画像を構築し、使用者に提示できる。このとき、自動的又は使用者の操作に応じて、必要に応じた画像加工を行えばよい。また、複数の作成した画像を切りかえれるようにしてもよい。

尚、位置取得手段１１３において、ＧＰＳや携帯電話システムからの電波を受けられずに、携帯端末１１０現時位置を取得できない場合は、取得できた位置からの携帯端末１１０の移動を加速度センサなどによって取得し、推定した現在位置で代替してもよい。また、携帯端末のレジストレーション（位置登録）情報から、おおよその現在位置を抽出して利用してもよい。
また、ＧＰＳ等が使用できない環境でも、カメラ撮影した周囲の景色を元に抽出した輪郭の情報と、サーバ内の地形データとを突き合わせることにより、位置の特定を行なってもよい。

次に、第２の実施形態を説明する。
第２の実施形態の地形表示システムでは、第１の実施形態のように携帯端末から地形データサーバに対して所定の地形データを送信させる要求を送ることに変えて、携帯端末で取得した画像（内容）とロケーション情報を送り、地形データサーバ側で該当する地形データを選定して携帯端末に送るように動作する。また、地形データを順次又はまとめて送信するようにしたことで、時間変化に追随して携帯端末の移動や方向転換を行なっても、地形データを反映した画面を表示し続けることが可能なように動作する。

図４は、第２の実施形態に係る地形表示システムの構成を示すブロック図である。尚、第１の実施形態と同様な部分には同一の番号を付し説明を省略する。
制御手段２１１は、携帯端末２１０の制御を司ると共に、利用者の行動などと共に変化する撮像した画像と取得したロケーション情報を、地形データサーバ２００に対して順次送信する。また、制御手段２１１は、地形データサーバ２００から取得した地形データを用いて、表示手段１１２に表示する画面を構築するように動作する。尚、地形データサーバ２００に送信する画像は、初回のみでも構わない。この場合は、ロケーション情報の変化に対応して地形データを送信すればよい。

地形データサーバ２００は、地形データ保存部１０１に加え、視点推定手段２０２を具備する。
視点推定手段２０２は、携帯端末２１０から送信されてきた画像（内容）とロケーション情報とから、携帯端末２１０（撮像手段）の周囲の状態を推定し、どの地点データを送信するか選択すると共に、地形データ保持部１０１から選定した地形データを取得し、携帯端末２１０に送信する。また、本実施形態では、時間変化に追随して順次画像を構築するので、それらに用いる地形データを順次又はまとめて送信する。

図５は、第２の実施形態に係る地形表示システムの動作を示すフローチャートである。尚、第１の実施形態に係る地形表示システムの動作と同様な部分に関しては記載を簡略化又は省力する。

携帯端末２１０の制御手段２１１は、撮像手段１１４を介して取得した画像を表示手段１１２に画像もしくはスルー画像として表示する状態から、順次画像を取得する（ステップＳ２０１）。
制御手段２１１は、ステップＳ２０１と同時的に、ロケーション情報を順次取得する（ステップＳ２０２）。
制御手段２１１は、撮像した画像と取得したロケーション情報を、地形データサーバ２００に送信する（ステップＳ２０３）。尚、送信する画像に変えて、画像を解析した結果や特徴量などを送信することとしてもよい。

地形データサーバ２００の視点推定手段２０２は、携帯端末２１０から順次送信されてくる情報から、携帯端末２１０の視点を推定する（ステップＳ２０４）。尚、この時点で、送られてきた画像などの情報を解析し、暗いなどの状態を識別するようにしてもよい。
視点推定手段２０２は、推定した視点に基づき、送信すべき地点データを地点データ保持部１０１から取得し、時間変化に追随可能なように地形データを順次又はまとめて送信する（ステップＳ２０５）。
制御手段２１１は、地形データを取得し、その地形データのみ、又は地形データとＳ２０１で取得した画像との組み合わせで、昼間と同様に使用者が周囲の状態を認識できる画面を構築する（ステップＳ２０６）。
制御手段２１１は、構築した画像を、表示手段１１２に表示する（ステップＳ２０７）。

このように動作することによって、第２の実施形態の地形表示システムは、被写体方向を特定し、携帯端末の向いている方向の地形を画面上に表示することを可能にできる。また、上記したように、地形データサーバ側で該当する地形データを選定して携帯端末に送信する為、情報処理をサーバ側に受持たすことが可能となる。また、携帯端末の画面上に、時間変化に追随するように変化する地形を表示できる。

次に、第３の実施形態を説明する。
第３の実施形態の地形表示システムでは、携帯端末で取得されたロケーション情報を、地形データサーバ内で、撮像手段からの取得データに基づき補正するように構成する。尚、当該処理を携帯端末内で行うことも可能である。

図６は、第３の実施形態に係る地形表示システムの構成を示すブロック図である。尚、他の実施形態と同様な部分には同一の番号を付し説明を省略する。

地形データサーバ３００に設けられる視点推定手段３０２は、送信されてくるロケーション情報を補正するロケーション情報補正手段３０３を有する。
ロケーション情報補正手段３０３は、携帯端末２１０から送信されてきた画像（内容）とロケーション情報を取得し、画像に含まれる情報から真の撮像手段１１４の撮像位置（真のロケーション情報）を取得する。これは、携帯端末２１０から送信されてきたロケーション情報には、位置取得手段１１３及び方位・傾き取得手段１１５の測定精度及び誤差、各種センサと撮像手段１１４との物理的位置差などが含まれるので、これらのズレを画像内容と地形データ保持部１０１に保持されている地形データとを突き合わせることで解消する。

視点推定手段３０２は、携帯端末２１０（撮像手段）の周囲の状態をロケーション情報を補正ししつつ推定し、どの地点データを送信するか選択すると共に、地形データ保持部１０１から選定した地形データを取得し、携帯端末２１０に送信する。

図７は、第３の実施形態に係る地形表示システムの動作を示すフローチャートである。尚、第２の実施形態に係る地形表示システムの動作と同様な部分に関しては記載を簡略化又は省力する。

携帯端末２１０の制御手段２１１は、撮像手段１１４を介して取得した画像を表示手段１１２に画像もしくはスルー画像として表示する状態から、順次画像を取得する（ステップＳ３０１）。制御手段２１１は、ステップＳ３０１と同時的に、ロケーション情報を順次取得する（ステップＳ３０２）。制御手段２１１は、撮像した画像と取得したロケーション情報を、地形データサーバ３００に送信する（ステップＳ３０３）。尚、送信する画像に変えて、画像を解析した結果や特徴量などを送信することとしてもよい。

地形データサーバ３００の視点推定手段３０２は、携帯端末２１０から順次送信されてくる情報から、ロケーション情報を補正する（ステップＳ３０４）。
視点推定手段３０２は、補正したロケーション情報などから、携帯端末２１０の視点を推定する（ステップＳ３０５）。
視点推定手段３０２は、推定した視点に基づき、送信すべき地点データを地形データ保持部１０１から取得し、時間変化に追随可能なように地形データを順次又はまとめて送信する（ステップＳ３０６）。

制御手段２１１は、地形データを取得し、その地形データのみ、又は地形データとＳ３０１で取得した画像との組み合わせで、昼間と同様に使用者が周囲の状態を認識できる画面を構築する（ステップＳ３０７）。制御手段２１１は、構築した画像を、表示手段１１２に表示する（ステップＳ３０８）。

このように動作することによって、第３の実施形態の地形表示システムは、被写体方向を特定し、携帯端末の向いている方向の地形を画面上に表示することを可能にできる。加えて、携帯端末における位置等の取得時に発生する誤差等を修正できる。尚、上記ロケーション情報の補正は、携帯端末の制御手段において行なってもよい。この場合は、補正に用いる地形データを、地形表示に先んじて取得して行なってもよいし、日中などに予め補正値を取得してもよい。

図８は、本実施形態に係る補正の例を明示的に示した説明図である。
図８（ａ）は、撮像手段１１４から取得した画像の一例である。当該画像は、辺りが暗く一部のモノしかよく認識できない画像であるとする。
図８（ｂ）は、地形データ保持部１０１に保持されている図８（ａ）を撮像した地点で取得されたロケーション情報に対応した地形データの例である。図示されているように、撮像した地点で取得されたロケーション情報は、右下方向にずれいている。従って、当該地形データをそのまま携帯端末による画像構築に使用すると、不一致点が生じる。そこで、図８（ｃ）に示すように、ロケーション情報補正手段によって、ロケーション情報を、撮像手段から撮像した画像（図８（ａ））に合わせるように補正する。
このように、携帯端末が取得したロケーション情報を補正することによって、図８（ｄ）に例示するように、撮像した画像と当該画像に真に対応する地形データとから、所望の地形を表示した画像を構築できる。

次に、第４の実施形態を説明する。
第４の実施形態の地形表示システムでは、地形データ保持部１０１に保持されている地形データを、地形データサーバ内で、撮像手段からの取得データに基づき補正するように構成する。尚、当該処理を携帯端末内で行うことも可能である。

図９は、第４の実施形態に係る地形表示システムの構成を示すブロック図である。尚、他の実施形態と同様な部分には同一の番号を付し説明を省略する。

地形データサーバ４００に設けられる視点推定手段４０２は、送信されてくるロケーション情報を補正するロケーション情報補正手段３０３と、地形データ補正手段４０４とを有する。ロケーション情報補正手段３０３は、携帯端末２１０から送信されてきた画像（内容）とロケーション情報を取得し、画像に含まれる情報から真の撮像手段１１４の撮像位置（真のロケーション情報）を取得する。

地形データ補正手段４０４は、携帯端末２１０から送信されてきた画像（内容）と携帯端末２１０に対して送信する地形データとを取得し、地形データに含まれる情報を画像に沿うように補正する。即ち、携帯端末２１０から送られてきた画像と地形データとのズレを、画像を主として地形データを修整や補完したりする。これによって、例えば、携帯端末の撮像手段に含まれるレンズの特性や、視点高さなどを解消できる。

視点推定手段４０２は、携帯端末２１０（撮像手段）の周囲の状態をロケーション情報を補正ししつつ推定し、どの地点データを送信するか選択すると共に、地形データ保持部１０１から選定した地形データを取得つつ補正しながら携帯端末２１０に送信する。尚、ロケーション情報補正手段３０３を有さずに、地形データ補正手段４０４のみを設ける構成としてもよい。この場合は、地形データ補正手段４０４で、ロケーション情報で指定された地形データの近傍を含めて補正を行えばよい。

図１０は、第４の実施形態に係る地形表示システムの動作を示すフローチャートである。尚、第３の実施形態に係る地形表示システムの動作と同様な部分に関しては記載を簡略化又は省力する。

携帯端末２１０の制御手段２１１は、撮像手段１１４を介して取得した画像を表示手段１１２に画像もしくはスルー画像として表示する状態から、順次画像を取得する（ステップＳ４０１）。制御手段２１１は、ステップＳ４０１と同時的に、ロケーション情報を順次取得する（ステップＳ４０２）。制御手段２１１は、撮像した画像と取得したロケーション情報を、地形データサーバ４００に送信する（ステップＳ４０３）。尚、送信する画像に変えて、画像を解析した結果や特徴量などを送信することとしてもよい。

地形データサーバ４００の視点推定手段４０２は、携帯端末２１０から順次送信されてくる情報から、ロケーション情報を補正する（ステップＳ４０４）。
視点推定手段４０２は、補正したロケーション情報などから、携帯端末２１０の視点を推定する（ステップＳ４０５）。
視点推定手段４０２は、推定した視点に基づき、送信すべき地点データを地点データ保持部１０１から取得し、取得した地点データを携帯端末２１０から受信した画像に合うように地形データを補正する（ステップＳ４０６）。
視点推定手段４０２は、時間変化に追随可能なように補正した地形データを順次又はまとめて送信する（ステップＳ４０７）。

制御手段２１１は、地形データを取得し、その地形データのみ、又は地形データとＳ２０１で取得した画像との組み合わせで、昼間と同様に使用者が周囲の状態を認識できる画面を構築する（ステップＳ４０８）。制御手段２１１は、構築した画像を、表示手段１１２に表示する（ステップＳ４０９）。

このように動作することによって、第４の実施形態の地形表示システムは、被写体方向を特定し、携帯端末の向いている方向の地形を画面上に表示することを可能にできる。加えて、地形データと撮像した画像間のズレ等を修正できる。尚、上記地形データ（群）の補正は、携帯端末の制御手段において行なってもよい。この場合は、地形データサーバは第１ないし第３の実施形態と同様の構成でよく、携帯端末が表示手段に表示する画像を構築する前に、地形データサーバから送られてきた地形データを補正すればよい。また、本実施形態で説明した地形データの補正に先立って、第３の実施形態で説明したロケーション情報を補正することによって、効果的に撮像した画像に合致した地形データが得られるが、本実施形態で説明した地形データの補正のみを行うようにしてもよい。

図１１は、本実施形態に係る補正を明示的に示した説明図である。
図１１（ａ）は、撮像手段１１４から取得した画像の一例である。当該画像は、辺りが暗く一部のモノしかよく認識できない画像であるとする。
図１１（ｂ）は、地形データ保持部１０１に保持されていることとする地形データの例である。
図示されているように、携帯端末に送信する地形データは、山を示す地形データと撮像した画像に含まれる山の高さが異なる。従って、当該地形データをそのまま携帯端末による画像構築に使用すると、不一致点が生じる。そこで、図１１（ｃ）に示すように、地形データ補正手段によって、送信する地形データを、撮像手段から撮像した画像（図１１（ａ））に合わせるように補正する。
このように、地形データ保持部に保持されている地形データを補正することによって、図１１（ｄ）のように、撮像した画像と当該画像に対応させた地形データとから、所望の地形を表示した画像を構築できる。

次に、第５の実施形態を説明する。
第５の実施形態の地形表示システムでは、地形データ保持部１０１に保持される地形データを、地形データサーバ内で、撮像手段からの取得データに基づき生成する構成を提供する。尚、地形表示システムとしては、第１ないし４の実施形態との差分のみを説明する。

図１２は、第５の実施形態に係る地形表示システムの構成を示すブロック図である。尚、他の実施形態と同様な部分には同一の番号を付し説明を省略する。

地形データサーバ５００に設けられる視点推定手段５０２は、地形データを、撮像手段１１４から取得した画像から生成する地形データ生成手段５０５を有する。
視点推定手段５０２は、例えば日中などに、携帯端末２１０（撮像手段）の周囲の状態をロケーション情報と共に受け取り、その画像内容が示している地点等を推定し、順次その指し示す先の地点データを生成、修正、補完する。
地形データ生成手段５０５おしては、携帯端末２１０から送信されてきた画像（内容）の指し示す地点として、その画像（内容）を画像認識処理し、有体物の形状や有体物の色、色彩や形状に対応付けられた社会ルールに基づく概念などを抽出する。また、撮像手段から立体データを取得可能な電気機器や携帯端末からは、その立体データとロケーション情報とから、蓄積する地形データのフォーマットを整合させて取得するようにしてもよい。また、このとき、地形データを取得した時間に対応付けて、時間経過に対応して変化する構造物の夫々の形状を取得してもよい。また、地形データは、仮想空間から取得するようにしてもよい。これは例えば時計や可動橋などの表示に有効に機能する。

尚、地形データとする有体物の形状や色彩などは、画像が鮮明な方が有効に取得できる。また、夜間などでは昼間同様の画像を構築できる地形データは取得しにくい。よって、日中に使用されることが多いＡＲ（Augmented Reality：拡張現実）を提供するサービスと共に、当該データを取得すると有効に地形データが収集できる。

図１３は、第５の実施形態に係る地形表示システムの動作を示すフローチャートである。
携帯端末５１０の制御手段５１１は、撮像手段１１４を介して取得した画像を表示手段１１２に画像もしくはスルー画像として表示する状態から、画像とロケーション情報を取得して、地形データサーバ５００に送信する（ステップＳ５０１〜Ｓ５０３）。

地形データサーバ５００は、携帯端末２１０から送信されてくる情報から、地形データを抽出し、地形データを生成、修正、補完して地形データ保持部１０１に保存する（ステップＳ５０４）。
このように動作することによって、第５の実施形態の地形表示システムは、携帯端末の向いている方向の地形を画面上に表示することに加え、被写体とした有体物などを地形データとして生成できる。これは、予め準備する地形データの作成や現実の変化に追随する補完などを容易に行なえる。

尚、上記地形データの生成は、携帯端末の制御手段において行なってもよい。この場合は、携帯端末で撮像した画像とロケーション情報とから地形データを生成して、地形データサーバから現在の地形データを取得して異なっていれば上書するようにすればよい。

次に、実施例を示して本発明を説明する。
図１４は、実施例における携帯端末装置１０００を示すブロック図である。図１４に例示した携帯端末装置１０００は、例えばスマートフォンである。
携帯端末装置１０００は、各種情報処理を行う制御部（ＣＰＵ）を始め、ＲＯＭ、ＲＡＭ（記憶部１１００）、入力部、表示部、通信部を備える。また、ＧＰＳ部、地磁気センサ部、カメラ部、ライト部を備える。
携帯端末装置１０００の記憶部１１００には、オペレーティングシステムを始め、各種機能・手段を実現させるアプリケーションプログラムなど、様々なプログラムが格納されており、必要に応じてＲＡＭに展開されて実行される。記憶部１１００は、フラッシュメモリやＲＡＭの空き記憶領域を利用してもよいし、他の記憶媒体でもよい。

尚、本実施例では、記憶部１１００に記録されている地形表示プログラム１１０１および地形データアッププログラム１１０２がＯＳと共にＲＡＭに展開され、制御部を制御手段などとして機能させ、カメラ部によって撮像された画像等から、地形データサーバと協働して、表示部に撮像した画像方向と同等の描写した画像を出力する。当該プログラムは、１つのアプリケーションプログラムとして構成してもよい。また、ＡＲサービスを受けるプログラムと組み合わせてもよい。
また、地形表示プログラム１１０１および地形データアッププログラム１１０２には、上記各実施形態で説明した補正手段が組み込まれており、端末側で各種補正を行う。

地形表示プログラム１１０１は、制御部を動作させ、カメラ部およびライト部により周囲の地形を撮影し、次にＧＰＳ部を使いＧＰＳ衛星からの電波を受信することにより現在の位置を特定し、撮影時に地磁気センサ部により携帯端末のカメラ部の向いている方角等を自動的に測定する。
地形表示プログラム１１０１は、制御部を動作させ、ＧＰＳ部により取得された現在位置、および地磁気センサ部により取得されたカメラ部の向いている方角等の情報を元に、地形データサーバに補正に用いる地形データを要求する。その後、制御部は、地形データを受けて、ロケーション情報を、撮像手段から撮像した画像に合わせるように補正する。

地形データサーバは、携帯端末１０００から送信されてきた補正されたロケーション情報を含む要求を受け、地形データ保存部より必要な情報を取得し、携帯端末１１００に送信する。
携帯端末１１００は、地形データサーバより受信した地形データを、カメラ部で取得した画像に対応するように補正し、補正後の地形データを用いて構築した画像を、表示部に表示する。

地形データの収集は、明るい時間帯に、地形データアッププログラム１１０２が、ＡＲサービスなどと共に、適時実空間の有体物の形状や色彩、横断歩道や標識などの社会ルールに基づく概念を示す形状及び色調、時計の位置などを含む画像、又はそれらの情報を取得し、地形データ保持サーバに送信する。
このとき、地形データ保持サーバは、画像解析等を実施し、順次地形データを補充してゆく。

このようにして、携帯端末１１００は、図１５に示すように、ロケーション情報に対応付けられた地形データを格納する地形データサーバと通信しながら、撮像した画像と、画像の撮像時に取得した位置、方位、および傾きなどに基づき、ロケーション情報に対応付けられた地形データを格納するサーバから該当位置の地形データを取得し、表示手段に表示することで、地形表示システムとして、周囲が暗い状態などでも、被写体方向を正確に特定し、携帯端末の向いている方向の地形を画面上に表示する。また、地形表示と共に、図示するようにＡＲサービスを提供することも可能である。

次に、図１６ないし１９に、携帯端末における画像構築の処理例を説明する。

図１６は、日中の風景である。図１７は、夜間の同一風景である。夜間の風景は、光量不足に起因して例えば木や建物、横断歩道の一部がカメラで捉えられていない。このような状態で、地形表示システムを動作させ、地形データ保持サーバから必要な地形データを取得する。

携帯端末の制御手段は、図１８に示すように、カメラによって取得した画像をスルー画像として表示し、取得した地形データをオーバレイして表示する。

このとき、携帯端末は、スルー画像に表れるはずの有体物等を地形データから取得し、それらの部分に点線と色彩などで、スルー画像上に表示する。

また、別の方法として、図１９に示すように、スルー画像と取得した地形データに基づく画像とを、カメラから取得した画像の明るさ（カメラの感度）に対応付けて、透過度を調整して表示してもよい。

また、補正や表示位置調整に用いる画像は、複数の撮影モードで連続的に撮影して、輪郭を取得しやすい画像を用いるようにしてもよい。スルー画像は、コントラスト比を高めにすると全体的に明るくなり、地形データとの合成に好適となる。

以上説明したように、本発明に係る地形表示システムによれば、周囲が暗い状態などでも、被写体方向を正確に特定し、携帯端末の向いている方向の地形を画面上に表示することを可能にできる。尚、明るい状態であっても、同様に動作するので、視力の補助具などとして使用できる。

また、本発明は、携帯端末が取得する撮像データとサーバに保存されている地形データに加え、ＡＲ（Augmented Reality：拡張現実）に記録されている情報とのズレを合わせて補正できる。

尚、地形データは、仮想現実と連動させるようにしてもよい。例えば、建物の入り口ゲートの状態や、店舗の営業時間と関連させて、携帯端末の画面上に表示する地形に関する部分を変更したり、時計の位置には、時間を表示したりしてもよい。

また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。

また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。
［付記１］
ロケーション情報に対応付けられた地形データを格納するサーバと、
ネットワークを介して前記サーバと通信する通信手段と、
画像を撮像する撮像手段と、
前記撮像手段の向いている方位、傾き、位置をロケーション情報として取得する手段と、
使用者に映像を提示する表示手段と、
撮像した画像と、前記画像の撮像時の位置、方位、および傾きに基づく、前記サーバから該当位置の地形データを取得し、前記表示手段に表示する制御手段と
を備える携帯端末と
で構成されることを特徴とする地形表示システム。

［付記２］
前記制御手段は、前記撮像手段から取得できる暗い状態の画像を、昼間同様の画像に構築して、前記表示手段に表示することを特徴とする上記付記記載の地形表示システム。

［付記３］
前記制御手段は、前記撮像手段から取得した情報と前記サーバから取得した前記地形データに基づき、昼間同様の画面を構築することを特徴とする上記付記記載の地形表示システム。

［付記４］
前記サーバは、
前記撮像手段からの取得データに基づき、取得したロケーション情報を、前記撮像手段から撮像した画像に合わせるように補正する補正手段を有する
ことを特徴とする上記付記記載の地形表示システム。

［付記５］
前記サーバは、
前記撮像手段からの取得データに基づき、表示に用いる前記地形データを、前記撮像手段から撮像した画像に合わせるように補正する補正手段を有する
ことを特徴とする上記付記記載の地形表示システム。

［付記６］
前記携帯端末は、
前記撮像手段からの取得データに基づき、取得したロケーション情報を、前記撮像手段から撮像した画像に合わせるように補正する補正手段を有する
ことを特徴とする上記付記記載の地形表示システム。

［付記７］
前記携帯端末は、
前記撮像手段からの取得データに基づき、表示に用いる前記地形データを、前記撮像手段から撮像した画像に合わせるように補正する補正手段を有する
ことを特徴とする上記付記記載の地形表示システム。

［付記８］
前記サーバは、
前記地形データを、前記撮像手段から取得した画像から生成する地形データ生成手段を有する
ことを特徴とする上記付記記載の地形表示システム。

［付記９］
前記携帯端末は、
前記地形データを、前記撮像手段から取得した画像から生成する地形データ生成手段を有する
ことを特徴とする上記付記記載の地形表示システム。

［付記１０］
前記地形データには、前記携帯端末が表示に用いる有体物の形状と共に、社会ルールに基づく概念に関する情報が含まれる
ことを特徴とする上記付記記載の地形表示システム。

［付記１１］
前記地形データには、仮想空間と連動して前記携帯端末に送信する地形データを変更する
ことを特徴とする上記付記記載の地形表示システム。

［付記１２］
前記携帯端末は、画像の取得時に点灯する赤外線ライトを備えることを特徴とする上記付記記載の地形表示システム。

［付記１３］
前記地形データには、時間変化と共に可動する構造物の夫々の形状が含まれる
ことを特徴とする上記付記記載の地形表示システム。

［付記１４］
前記地形データには、前記携帯端末が表示に用いる幾何学演算処理に伴い使用される情報が含まれる
ことを特徴とする上記付記記載の地形表示システム。

［付記１５］
前記地形データには、前記携帯端末が表示に用いるワイヤーフレーム情報が含まれる
ことを特徴とする上記付記記載の地形表示システム。

［付記１６］
前記ロケーション情報として、ＧＰＳによって位置情報を取得できない場合、撮像した画像認識、携帯電話システムによる測位、もしくは、レジストレーション情報に基づく位置予測のいずれか又は組み合わせによって、現在位置を推定する
ことを特徴とする上記付記記載の地形表示システム。

［付記１７］
ネットワークを介して、ロケーション情報に対応付けられた地形データを格納するサーバと通信する通信手段と、
画像を撮像する撮像手段と、
前記撮像手段の向いている方位、傾き、位置をロケーション情報として取得する手段と、
使用者に映像を提示する表示手段と、
撮像した画像と、前記画像の撮像時に取得した位置、方位、および傾きに基づき、前記サーバから該当位置の地形データを取得し、前記表示手段に表示する制御手段と
を備えることを特徴とする携帯端末。

［付記１８］
撮像手段を介して画像を撮像し、
当該撮像時の前記撮像手段の向いている方位、傾き、位置をロケーション情報として取得し、
前記撮像した画像と取得したロケーション情報とから、ネットワークを介して地形データを格納するサーバから、該当位置の地形データを取得し、
前記撮像した画像と前記画像の撮像時に取得した位置、方位、および傾きに基づき、使用者に映像を提示する表示手段に表示する画像を構築して表示する
ことを特徴とする携帯端末における地形表示方法。

［付記１９］
携帯端末装置の制御部を、
撮像手段を介して撮像した画像と、ロケーション情報として取得した前記撮像手段の向いている方位、傾き、位置とから、ネットワークを介して地形データを格納するサーバから、該当位置の地形データを取得し、
前記撮像した画像と前記画像の撮像時に取得した位置、方位、および傾きに基づき、使用者に映像を提示する表示手段に表示する画像を構築して表示する
ように動作させることを特徴とするプログラム。

［付記２０］
前記制御部を、前記撮像手段から取得できる暗い状態の画像を識別し、昼間同様の画像に構築して、前記表示手段に表示するように動作させることを特徴とする上記付記記載のプログラム。

［付記２１］
前記制御部を、前記撮像手段から取得した情報と前記サーバから取得した前記地形データに基づき、昼間同様の画面を構築するように動作させることを特徴とする上記付記記載のプログラム。

［付記２２］
前記制御部を、前記撮像手段からの取得データに基づき、取得したロケーション情報を、前記撮像手段から撮像した画像に合わせる補正を行なうように動作させることを特徴とする上記付記記載のプログラム。

［付記２３］
前記制御部を、前記撮像手段からの取得データに基づき、表示に用いる前記地形データを、前記撮像手段から撮像した画像に合わせる補正を行なうように動作させることを特徴とする上記付記記載のプログラム。

１００ 地形データサーバ
１１０ 携帯端末
１１１ 制御手段
１１２ 表示手段
１１３ 位置取得手段
１１４ 撮像手段
１１５ 方位・傾き取得手段
１１６ 光源出力手段
１２０ 通信網
２００ 地形データサーバ
２０２ 視点推定手段
２１０ 携帯端末
２１１ 制御手段
３００ 地形データサーバ
３０２ 視点推定手段
３０３ ロケーション情報補正手段
４００ 地形データサーバ
４０２ 視点推定手段
４０４ 地形データ補正手段
５００ 地形データサーバ
５０２ 視点推定手段
５０５ 地形データ生成手段
１０００ 携帯端末装置
１１００ 記憶部
１１０１ 地形表示プログラム
１１０２ 地形データアッププログラム

Claims (8)

1. ロケーション情報に対応付けられる地形データを格納するサーバと、
   ネットワークを介して前記サーバと通信する通信手段と、
   画像を撮像する撮像手段と、
   前記撮像手段の向いている方位、傾き、位置をロケーション情報として取得する手段と、
   使用者に映像を提示する表示手段と、
   前記撮像手段で撮像した画像と、該画像の撮像時の位置、方位、および傾きに基づく、前記サーバから取得した前記撮像手段で撮像されるアングルの該当地形データに基づいて、前記表示手段に前記該当地形データが反映された画像を表示する制御手段と
   を備える携帯端末と、
   を有し、
   前記制御手段は、前記撮像手段から取得できる暗い状態の画像を昼間同様の画像に撮像した前記画像に前記該当地形データを反映させることで構築して、前記表示手段に表示する
   ことを特徴とする地形表示システム。
2. 前記サーバ又は携帯端末は、
   前記撮像手段からの取得データに基づき、取得したロケーション情報もしくは表示に用いる前記該当地形データを、前記撮像手段から撮像した画像に合わせるように補正処理する補正手段を有する
   ことを特徴とする請求項１記載の地形表示システム。
3. 前記サーバ又は携帯端末は、
   前記サーバに蓄積される地形データを、前記携帯端末の前記撮像手段から取得された画像から生成する地形データ生成手段を有する
   ことを特徴とする請求項１又は２記載の地形表示システム。
4. 前記サーバに蓄積する前記地形データには、前記携帯端末が表示に用いる有体物の形状と共に、社会ルールに基づく概念に関する情報が含まれることを特徴とする請求項１ないし３の何れか一項に記載の地形表示システム。
5. 前記サーバ又は携帯端末は、前記表示手段に表示させるための前記該当地形データを、前記撮像手段で撮像されるアングルに含まれていた物体に対応する仮想空間内に含まれる物体の状態に連動させて変更することを特徴とする請求項１ないし４の何れか一項に記載の地形表示システム。
6. ネットワークを介して、ロケーション情報に対応付けられた地形データを格納するサーバと通信する通信手段と、
   画像を撮像する撮像手段と、
   前記撮像手段の向いている方位、傾き、位置をロケーション情報として取得する手段と、
   使用者に映像を提示する表示手段と、
   前記撮像手段で撮像した画像と、該画像の撮像時に取得した位置、方位、および傾きに基づき、前記サーバから取得した前記撮像手段で撮像されるアングルの該当地形データに基づいて、前記表示手段に前記該当地形データが反映された画像を表示する制御手段と
   を有し、
   前記制御手段は、前記撮像手段から取得できる暗い状態の画像を昼間同様の画像に撮像した前記画像に前記該当地形データを反映させることで構築して、前記表示手段に表示することを特徴とする携帯端末。
7. 撮像手段を介して画像を撮像し、
   当該撮像時の前記撮像手段の向いている方位、傾き、位置をロケーション情報として取得し、
   前記撮像した画像と取得したロケーション情報に基づく、ネットワークを介して地形データを格納するサーバから取得した前記撮像手段で撮像されるアングルの該当地形データに基づいて、使用者に映像を提示する表示手段に前記該当地形データが反映された画像を構築して表示し、
   前記撮像手段から取得できる暗い状態の画像を昼間同様の画像に撮像した前記画像に前記該当地形データを反映させることで構築して、前記表示手段に表示する
   ことを特徴とする携帯端末における地形表示方法。
8. 携帯端末装置の制御部を、
   撮像手段を介して撮像した画像と、ロケーション情報として取得した前記撮像手段の向いている方位、傾き、位置に基づく、地形データを格納するサーバから取得した前記撮像手段で撮像されるアングルの該当地形データに基づいて、使用者に映像を提示する表示手段に前記該当地形データが反映された画像を構築して表示し、
   前記撮像手段から取得できる暗い状態の画像を昼間同様の画像に撮像した前記画像に前記該当地形データを反映させることで構築して、前記表示手段に表示する
   ように動作させることを特徴とするプログラム。

Images