JP6624646B2 - 情報提示システム、情報提示方法及び情報提示プログラム - Google Patents

情報提示システム、情報提示方法及び情報提示プログラム Download PDF

Info

Publication number
JP6624646B2
JP6624646B2 JP2017020972A JP2017020972A JP6624646B2 JP 6624646 B2 JP6624646 B2 JP 6624646B2 JP 2017020972 A JP2017020972 A JP 2017020972A JP 2017020972 A JP2017020972 A JP 2017020972A JP 6624646 B2 JP6624646 B2 JP 6624646B2
Authority
JP
Japan
Prior art keywords
virtual
information
display
unit
display data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017020972A
Other languages
English (en)
Other versions
JP2018128815A (ja
Inventor
治 浅井
治 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2017020972A priority Critical patent/JP6624646B2/ja
Publication of JP2018128815A publication Critical patent/JP2018128815A/ja
Application granted granted Critical
Publication of JP6624646B2 publication Critical patent/JP6624646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示する情報提示システム、情報提示方法及び情報提示プログラムに関する。
近年、コンテンツを表示する情報処理の分野では、コンピューターグラフィックスにより仮想的な空間を構成する仮想現実(VR:Virtual Reality)、現実空間の映像をコンピューターで処理して情報を付加する拡張現実(AR;Augumented Reality)が注目されている。VR技術の応用としては、ヘッドマウントディスプレイを利用して、ユーザーの動きに合わせて表示情報を変化させる、製造、医療、ゲーム、日常生活など、ますます多くの分野への応用が期待されている。一方、AR技術の応用としては、カメラでキャプチャーした実空間の風景映像に観光情報等の付加情報を重畳して表示する展望鏡などが提案されている(例えば特許文献1)。この特許文献1に開示された展望鏡では、眺望対象の撮影映像に対し、対応する仮想映像を合成して表示することで、実際の現地風景と遺跡等の仮想イメージとを交互に頭で思い描く作業を強いることなく、建造物等の縮尺や地形上での位置関係が正確でリアリティに富んだ合成映像を利用者に提供することが可能となる。
特開2003−264740号公報
しかしながら、これまでのコンテンツの表示方式では、VR技術とAR技術とがそれぞれ別々の用途・目的のシステム及びサービスとして利用されていたため、それぞれの座標系で独立した描画を行い、それぞれの用途・目的に基づく映像を投影していた。このため、拡張現実(AR)と仮想現実(VR)を、それぞれ切離された別のコンテンツとして利用され、実空間と仮想空間との不連続性が生じ、その表現力には一定の限界があった。
そこで、本発明は、上記のような問題を解決するものであり、情報処理により提供されるコンテンツにおいて、従来、切離されて別個独立して扱われていた拡張現実と仮想現実とを融合することで、新しい見せ方や楽しみ方を実現できる情報提示システム、情報提示方法及び情報提示プログラムを提供することを目的とする。
上記課題を解決するために、本発明は、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示するシステムであって、
実空間の映像を撮像するカメラ部と、
前記実空間の座標系における位置及び方向を現在位置情報として取得する位置情報取得部と、
前記実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、
前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部と、
前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成する仮想現実表示データ生成部と、
前記実空間における座標系に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを、前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部と、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行する表示制御部と、
前記表示制御部により表示遷移処理された仮想表示データ及び拡張表示データを表示する表示部と
を備えることを特徴とする。
また、本発明は、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示する方法であって、
カメラ部が実空間の映像を撮像するとともに、位置情報取得部が前記実空間の座標系における位置及び方向を現在位置情報として取得する実空間情報取得ステップと、
前記実空間の座標系における地理情報を含む現実地図情報、及び前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得し、仮想表示データ生成部が、前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成するとともに、拡張表示データ生成部が、前記実空間における座標系に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する表示データ生成ステップと、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を表示制御部が実行する表示制御ステップと、
前記表示制御ステップにより表示遷移処理された仮想表示データ及び拡張表示データを表示制御部が表示する表示ステップと、
を含むことを特徴とする。
このような本発明によれば、拡張現実(AR)や仮想現実(VR)を表示する際、それぞれの座標系を統合することで、拡張現実(AR)と仮想現実(VR)を1つの座標系で共存させて混合することができる。この結果、ARを融合させることで、多様性に富み、臨場感が高い、仮想体験を演出することができる。
上記発明では、前記表示遷移処理を実行させる境界線又は境界面を、前記現実地図情報上又は前記仮想地図情報上に設定する遷移設定部と、前記現在位置情報に含まれる位置情報が、前記境界線又は境界面を通過したことを判定するトリガー判定部とをさらに備え、前記表示制御部は、前記トリガー判定部による判定結果に基づいて、前記表示遷移処理を実行することが好ましい。
この場合には、現実地図情報上又は仮想地図情報上に設定された境界線又は境界面を通過することで、ユーザーによる特別な操作を要することなく、拡張現実と仮想現実とを自動的に切り替えることができ、拡張現実から仮想現実へ、又は仮想現実から拡張現実へと自然に遷移させることができる。
上記発明では、前記表示遷移処理を実行させる時刻、場所、提示するオブジェクトの種類、及びそれらの出現順序を記述したシナリオデータを取得し管理するシナリオ管理部をさらに備え、前記表示制御部は、前記トリガー判定部による判定結果に基づき、前記シナリオデータ又はユーザー操作に従って前記表示遷移処理を実行することが好ましい。
この場合には、シナリオデータにより自動的に、又はユーザーによる任意の操作、或いはシナリオデータに従ったユーザー操作によって時刻、場所、提示するオブジェクトの種類、及びそれらの順序、タイミングで、拡張現実と仮想現実とを切り替えることができ、表現力の多様性を向上させ、様々な演出を可能になる。上記発明では、前記実空間の座標系に固定され、左右に回動可能及び上下に俯仰可能に設置された本体部をさらに備え、前記カメラ部は、前記本体部の先端に配置され、前記表示部は、前記本体部の後端に配置されていることが好ましい。この場合には、例えば観光地に設置された展望鏡の形態で本発明を実現することができ、展望鏡で観られる景色に仮想的又は拡張的な演出を加えることができる。
上記発明において前記オブジェクトは、開口部を有する板状の看板であることが好ましい。この場合には、例えば観光地に設置された「顔出し看板」のようなオブジェクトを仮想的又は拡張的に配置することができる。
なお、上述した本発明に係る情報提示システムや情報提示方法は、所定の言語で記述された本発明の情報提示プログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルPCその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのICチップ、メモリ装置にインストールし、CPU上で実行することにより、上述した各機能を有するシステムを構築して、不動産評価方法を実施することができる。
すなわち、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示するプログラムであって、コンピューターに、
実空間の映像を撮像するカメラ部と、
前記実空間の座標系における位置及び方向を現在位置情報として取得する位置情報取得部と、
前記実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、
前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部と、
前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成する仮想現実表示データ生成部と、
前記実空間における座標系に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを、前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部と、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行する表示制御部と、
前記表示制御部により表示遷移処理された仮想表示データ及び拡張表示データを表示する表示部、
として機能させることを特徴とする。
このような本発明の情報提示プログラムは、例えば、通信回線を通じて配布することが可能であり、また、コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。この記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはCD-ROMやDVD-ROM等の光ディスクの他、RAMカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述したシステム及び方法を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
以上述べたように、これらの発明によれば、情報処理により提供されるコンテンツにおいて、それぞれの座標系を統合し、拡張現実(AR)と仮想現実(VR)を1つの座標系で共存させ混合することで、従来、切離されて別個独立して扱われていた拡張現実と仮想現実とを融合することで、新しい見せ方や楽しみ方を実現できる。これにより、これまで未体験であったコンテンツ(実写/CG)を実現することができ、今後拡大が見込まれる産業用VRの分野や、ゲームやアトラクション等のアミューズメント分野で利用が促進されることが見込まれる。この結果、本発明によれば、多様性に富み、臨場感の高い仮想体験を演出することで、学習効果等を提供することができる。
実施形態に係るシステムの全体構成を示す概念図である。 実施形態に係る現実地図情報M1と仮想地図情報M2、及びオブジェクトの関係を示す説明図であり、(a)は仮想空間を示し、(b)は実空間を示し、(c)は拡張現実を示している。 実施形態に係る情報提示処理の概要を示すブロック図である。 実施形態に係る情報提示処理における動作を示すブロック図である。 実施形態に係るコンテンツ配信サーバーの内部構成を示すブロック図である。 実施形態に係るコンテンツ配信サーバーの内部構成を示すブロック図である。 実施形態に係る情報提示システムの動作を示すシーケンス図である。 実施形態に係る表示遷移処理の境界線に関する説明図である。 実施形態に係る表示遷移処理の境界面に関する説明図である。 実施形態に係る拡張現実表示を撮影した状況を示す概念図である。 実施形態に係る仮想現実表示を撮影した状況を示す概念図である。 実施形態に係る表示遷移処理におけるトリガー発生に関する説明図である。 変更例1に係る情報提示システムの概要を示す説明図である。 変更例2に係る情報提示システムの概要を示す説明図である。
(情報提示システムの全体構成)
以下に添付図面を参照して、本発明に係る情報提示システムの実施形態を詳細に説明する。図1は、本実施形態に係る情報提示システムの全体構成を示す概念図であり、図2は、本実施形態に係る現実地図情報M1と仮想地図情報M2及びオブジェクトの関係を示す説明図である。また、図3及び図4は、本実施形態に係る情報提示処理の概要及び動作を示すブロック図である。
本実施形態に係る情報提示システムは、ユーザーが使用するスマートフォン等の情報端末装置を通じて、図2に示すように、仮想現実映像(同図(a))と、実空間映像(同図(b))と、さらに拡張現実(同図(c))を切り替えて或いは重畳させて提示するシステムであり、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を、拡張現実(AR)や仮想現実(VR)として提示する。そして、本実施形態では、拡張現実や仮想現実を表示する際、それぞれの座標系を統合することで、拡張現実の実座標系と仮想現実の仮想座標系を1つの座標系で共存させて混合することができる。この結果、ARとVRとを融合させることで、多様性に富み、臨場感の高い仮想体験を演出することができる。
ここで、仮想現実と拡張現実の基本的な処理について説明すると、図2(a)に示す仮想現実(VR)は、図3に示すように、スマートフォンのカメラなどで撮影された実写である静止画や動画の背景及びオブジェクトに、3DCG(Three-dimensional computer graphics :三次元コンピューターグラフィックス)である静止画やCGアニメーションのオブジェクトOb1を実座標系(緯度、経度、高度)の現実地図情報M1に基づいて混合処理(可視/不可視/透過)して表示される。一方、図2(c)に示す拡張現実(AR)は、図3に示すように、3DCGである静止画やCGアニメーションの背景に、3DCGである静止画やCGアニメーションのオブジェクトOb1を仮想座標系(x、y、z)の仮想地図情報M2に基づいて混合処理(可視/不可視/透過)して表示される。
この混合処理に際しては、シナリオデータ及びユーザー操作に基づいて合成画像生成や表示遷移等を含む表示制御が行われ、表示制御に際しては、Layer制御、従属関係、グルーピング及び連動制御が行われる。また、拡張現実AR及び仮想現実VRの映像を生成する際には、スマートフォン1で取得される時間情報、現在位置や方位、照度等を参照して、カメラ位置、画角、ライティング及び環境光が、各座標系に基づいて設定される。
具体的に情報提示システムは、図1に示すように、複数のユーザー10が使用する携帯端末装置であるスマートフォン1と、インターネット2上に設置されたコンテンツ配信サーバー3とから概略構成される。なお、本実施形態では、スマートフォン1を情報処理端末装置の一例として説明する。
コンテンツ配信サーバー3は、本実施形態では、インターネット2を通じて、各ユーザー端末に情報を配信するコンテンツサーバーであり、単一のサーバー装置、又は複数のサーバー装置群により実現することができ、複数の機能モジュールをCPU上に仮想的に構築し、それぞれの機能モジュールが協動して処理を実行する。また、このコンテンツ配信サーバー3は、通信機能によりインターネット2を通じて、データ送受信を行うことができるとともに、Webサーバー機能によりブラウザソフトを通じてWebページの提示などを行うことができる。
スマートフォン1は、無線通信を利用した携帯可能な情報処理端末装置であり、CPU等の演算処理装置を備え、アプリケーションソフトを実行することによって種々の機能を提供する装置である。この情報処理端末装置としては、例えば、パーソナルコンピューター等の汎用コンピューターや機能を特化させた専用装置により実現することができ、スマートフォンの他、タブレットPCやモバイルコンピューター、携帯電話機、ウェアラブル端末装置、ゲーム機その他のモバイル端末等が含まれる。
また、スマートフォン1は、無線基地局22等の中継点と無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。この通話やデータ通信の通信方式としては、例えば、3G(3rd. Generation)方式、LTE(Long Term Evolution)方式、4G方式、FDMA方式、TDMA方式、CDMA方式、W−CDMAの他、PHS(Personal Handyphone System)方式等が挙げられる。また、このスマートフォン1は、デジタルカメラ機能、アプリケーションソフトの実行機能、GPS(Global Positioning System)などによる位置情報取得機能等、種々の機能が搭載され、タブレットPC等のモバイルコンピューターも含まれる。
なお、スマートフォン1に備えられた位置情報取得機能は、自機の位置を示す位置情報を取得して記録する機能であり、この位置情報取得機能としては、図1に示すように、例えば、GPSのように、衛星21からの信号によって自機の位置を検出する方法や、携帯電話の無線基地局22や、Wifi通信のアクセスポイントからの電波強度などによって位置を検出する方法が含まれる。
そして、このスマートフォン1は、情報を表示する液晶ディスプレイ等の表示部を備えるとともに、ユーザーが入力操作を行うための操作ボタン等の操作デバイスを備え、この操作デバイスとしては、液晶ディスプレイに重畳されて配置され、液晶ディスプレイ上の座標位置を指定するタッチ操作などによる操作信号を取得する入力部としてのタッチパネルが含まれる。具体的にこのタッチパネルは、ユーザーの指先やペンなどを用いたタッチ操作による圧力によって操作信号を入力する入力デバイスであり、グラフィックを表示する液晶ディスプレイと、この液晶ディスプレイに表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサーとが重畳されて構成されている。
(各装置の内部構造)
次いで、上述した情報提示システムを構成する各装置の内部構造について説明する。図5は、本実施形態に係るコンテンツ配信サーバー3の内部構成を示すブロック図であり、図6は、本実施形態に係るスマートフォン1の内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
(1)コンテンツ配信サーバー
先ず、コンテンツ配信サーバー3の内部構成について説明する。コンテンツ配信サーバー3は、インターネット2上に配置されたサーバー装置であり、インターネット2を通じて、各スマートフォン1とデータの送受信を行えるようになっている。
コンテンツ配信サーバー3は、インターネット2を通じてデータ通信を行う通信インターフェース31と、利用者や利用者端末の権限を認証する認証部33と、各利用者端末の位置情報を収集して管理する位置情報管理部32と、シナリオによるコンテンツ制御を実行する情報管理部36と、仮想地図情報を生成する仮想地図情報生成部37と、各ユーザーに対して各種情報を配信する34と種々のデータを蓄積するデータ蓄積部を備えている。
データ蓄積部には、現実世界における地理情報を含む現実地図情報を記憶する現実地図記憶部としての現実地図用データ35aと、利用者に関する情報を蓄積するユーザーデータ35bと、仮想地図情報、トリガー条件及びシナリオデータを蓄積する仮想コンテンツ用データ35cとが含まれる。これらの各データとしては、単一のテーブルデータとしてもよく、複数のデータベースに分割し、相互にリレーションを設定することで各データ同士を紐付けたリレーショナルデータベースとすることができる。
現実地図用データ35aは、現実世界における地理情報を含む現実地図情報を記憶する記憶装置であり、山や谷、河川等の自然的な地理的要素、建物や道路、鉄道などの人工物、地名や住所、交通規制などが記憶される。なお、この現実地図用データ35aは、コンテンツ配信サーバー3を運用するサービス提供者自身が所有・運用するものの他、他の地図サービス提供者が運用する地図データベースであってもよい。
ユーザーデータ35bに蓄積される情報としては、利用者又は利用者が使用している携帯端末装置を特定する識別子(ユーザーID、端末ID)と、パスワード等とを紐付けた認証情報が含まれユーザーIDに紐付けられた利用者の個人情報や、端末装置の機種なども含まれる。また、ユーザーデータ35bには、利用者毎或いは利用者端末毎の認証履歴(アクセス履歴)や、仮想コンテンツ用データ35cとのリレーションによりユーザー毎のシナリオデータに関する情報、コンテンツ提供サービスに関する決済情報等も蓄積される。
仮想コンテンツ用データ35cに蓄積される情報としては、仮想世界の地図情報、キャラクターやオブジェクトの特性、シナリオデータ、グラフィック情報などが仮想コンテンツデータとして含まれる。これらの仮想コンテンツデータと、現実地図に含まれる地理的要素や建物、道路、鉄道等とを関連づけ、表示遷移処理のトリガー条件である境界線・境界面の座標情報も含まれる。
認証部33は、通信インターフェース31を通じて、各スマートフォン1と通信セッションを確立させ、その確立された通信セッション毎に認証処理を行うモジュールである。この認証処理としては、アクセス者である利用者のスマートフォン1から認証情報を取得し、ユーザーデータ35bを参照して、利用者等を特定し、それらの権限を認証する。この認証部33による認証結果(ユーザーID、認証時刻、セッションID等)は、情報管理部36に送出されるとともに、ユーザーデータ35bに認証履歴として蓄積される。なお、本実施形態では、アクセス者を特定する認証部を設けたが、この認証部については省略することも可能であり、不特定のアクセス者にサービスを提供するようにしてもよい。
位置情報管理部32は、利用者端末装置側で取得されてコンテンツ配信サーバー3に送信される位置情報を取得するモジュールであり、位置情報管理部32は、認証部33による認証処理によって特定されたユーザーやユーザー端末装置の識別子(ユーザーID、端末ID等)と、それらの位置情報とを紐付けてユーザーデータ35bに利用履歴として蓄積する。
情報管理部36は、現実世界又は仮想世界において各ユーザーの移動により発生する表示遷移処理を管理するモジュールである。なお、情報管理部36は、本実施形態では、スマートフォン1側の表示制御部143と協働するようになっており、表示データ生成処理の一部をコンテンツ配信サーバー3側で行い、グラフィック処理やイベント処理の一部をスマートフォン1側の表示制御部143で実行するようにしている。例えば、コンテンツ配信サーバー3側で、オブジェクトの位置や境界線又は境界面の座標位置などに基づいて、発生し得る表示遷移処理を予測し、その発生条件をコンテンツ配信サーバー3側で発生させ、その条件をスマートフォン1側に送信し、実際の表示遷移処理の発生やそのためのグラフィック処理は、コンテンツ配信サーバー3から受信した発生条件に基づいてスマートフォン1側で実行する。
仮想地図情報生成部37は、ユーザーの現在位置やシナリオデータの設定に従って、現実地図情報M1上の地理情報に対応した仮想座標系に基づいたオブジェクトOb1等の座標情報、表示遷移発生条件となる境界線L1又は境界面F1を含む仮想地図情報M2を生成するモジュールである。詳述すると、仮想地図情報生成部37は、
に蓄積された現実地図情報M1に含まれる地理的要素や建物、道路、鉄道等を取得するとともに、仮想コンテンツ用データ35cに蓄積された情報を参照し、現実地図情報M1に対応した仮想世界の地図情報、オブジェクトの特性、表示遷移処理に関する情報、グラフィック情報などに基づいて仮想世界の地図情報を生成する。ここでは、図8及び図9に示すように、現実地図情報M1上の遺跡であるエリアP1に対応した座標位置(座標範囲)に、仮想的に復元された古城のオブジェクトOb1が配置されている。
情報配信部34は、ユーザーの現在位置に基づいて、仮想地図情報生成部37が生成した仮想世界のグラフィックや、現実地図用データ35aに蓄積された現実地図情報を、通信インターフェース31を通じて,各ユーザーに配信するモジュールである。
(2)スマートフォン1
次いで、スマートフォン1の内部構成について説明する。図6に示すように、スマートフォン1は、通信インターフェース11と、入力インターフェース12と、出力インターフェース13と、アプリケーション実行部14と、メモリ15とを備えている。
通信インターフェース11は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル、アダプタ手段等により接触(有線)通信をする機能を備えている。入力インターフェース12は、マウス、キーボード、操作ボタンやタッチパネル12aなどユーザー操作、カメラ部121で撮像された実空間の静止画や動画が入力されるデバイスである。また、出力インターフェース13は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特にこの出力インターフェース13には、液晶ディスプレイなどの表示部13aが含まれ、この表示部13aは、入力インターフェースであるタッチパネル12aに重畳されている。
メモリ15は、OS(Operating System)やファームウェア、各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ15内には、ユーザー又はスマートフォン1を識別する各種IDの他、コンテンツ配信サーバー3からダウンロードしたアプリケーションデータを蓄積するとともに、アプリケーション実行部14で処理された各種データが蓄積される。さらに、本実施形態に係るメモリ15には、コンテンツ配信サーバー3から取得した、仮想地図情報M2及び現実地図情報M1が格納されている。
アプリケーション実行部14は、一般のOSや各種アプリケーション、ブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はCPU等により実現される。このアプリケーション実行部14では、本発明に係る情報提示プログラムが実行されることで、情報取得部141と、表示データ生成部142と、表示制御部143と、シナリオ管理部144と、トリガー判定部145と、遷移設定部146と、位置情報取得部147とが仮想的に構築される。
情報取得部141は、実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、仮想空間の座標系における地理情報上に仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部の役割を果たすモジュールである。なお、この情報取得部141における情報の取得としては、メモリ15に蓄積されたデータを読み出す場合や、通信インターフェース11を通じてコンテンツ配信サーバー3からダウンロードする場合、また、スマートフォン1内で生成又は加工されたデータを読み込む場合のいずれも含まれる。この表示データ生成部142で生成された表示データの表示処理は、表示制御部143で制御される。
表示データ生成部142は、表示部13aに表示させるための表示データを生成するモジュールである。表示データは、3Dグラフィックデータの他、画像データや、文字データ、動画データ、音声その他のデータを組み合わせて生成されるデータである。特にこの表示データ生成部142は、実空間における座標系と共通化され、実空間の位置情報に対応付けられた仮想地図情報M2上に、3Dグラフィックである仮想オブジェクトOb1を配置した仮想表示データを生成する仮想現実表示データ生成部の役割を果たすモジュールである。また、表示データ生成部142は、実空間における座標系の位置情報に対応付けられた現実地図情報上に、3Dグラフィックである仮想オブジェクトOb1を配置した表示データを、カメラ部121が撮像した映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部の役割を果たす。
表示制御部143は、位置情報取得部147が取得した現在位置情報に応じて、仮想表示データと拡張表示データ0とを、選択的に切り替えて、或いは一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行するモジュールである。この表示制御部143により表示遷移処理された仮想表示データ又は拡張表示データは、出力インターフェース13を通じて表示部13aに表示される。
また、表示制御部143は、スマートフォン1側での処理と、コンテンツ配信サーバー3側での処理とを同期させる機能も備えている。具体的には、コンテンツ配信サーバー3側で、スマートフォン1の位置や、オブジェクトOb1の位置などに基づいて、発生し得る表示遷移処理を予測し、その表示遷移処理の発生条件であるトリガー条件を仮想地図情報に付加し、その仮想地図情報をスマートフォン1側に送信する。このトリガー条件は遷移設定部146で取得され、実際の表示遷移処理の発生やそのためのグラフィック処理は、コンテンツ配信サーバー3から受信したトリガー条件に基づいてスマートフォン1側のトリガー判定部145、表示データ生成部142及び表示制御部143で処理される。このトリガー判定部145及び表示制御部143で実行された表示遷移処理の結果は、コンテンツ配信サーバー3側の情報管理部36に通知され、その後の仮想地図情報生成部37における処理に反映される。
シナリオ管理部144は、表示遷移処理を実行させる時刻、場所、提示するオブジェクトの種類、及びそれらの出現順序を記述したシナリオデータを取得して管理するモジュールであり、表示制御部143は、トリガー判定部145による判定結果に基づき、シナリオデータ又はユーザー操作に従って表示遷移処理を実行するモジュールである。
位置情報取得部147は、実空間の座標系における位置及び方向を現在位置情報として取得するモジュールである。具体的にこの位置情報取得部147は、スマートフォン1に備えられた位置情報取得機能やジャイロセンサー、方位センサー、加速度センサー等から、GPSや周囲の電波環境に基づく自機の現在位置を緯度・経度、標高、自機が向いている方位、相対移動距離、相対回転角度を取得する。そして、実空間における座標位置と仮想空間における座標位置を相互に変換し、表示制御部143が拡張現実を表示しているときには実空間の座標位置をトリガー判定部145及び表示制御部143に送出し、表示制御部143が仮想現実を表示しているときには実空間の座標位置を仮想空間地図上の座標位置に変換してトリガー判定部145及び表示制御部143に送出する。
トリガー判定部145は、現在位置情報に含まれる位置情報が、実空間地図上又は仮想空間地図上に設定された境界線又は境界面を通過したことを判定するモジュールである。具体的には、図12に示すように、位置情報取得部147が取得した実空間上の現在位置又は仮想空間地図上における座標位置を参照し、表示制御部143が拡張現実を表示しているときには実空間の座標位置を監視し、ユーザーの移動が境界線L1或いは境界面F1を通過したときにトリガー信号出力して表示制御部143に送出し、一方、表示制御部143が仮想現実を表示しているときには実空間の座標位置を仮想空間地図上の座標系に変換した仮想的な座標位置を監視し、ユーザーの移動が仮想地図上の境界線L1或いは境界面F1を通過したときにトリガー信号出力して表示制御部143に送出する。
このとき、現実地図情報M1の座標系と、地図M2の座標系の縮尺が同等の場合には、図12(a)に示すように、実空間(拡張現実空間)内を移動した距離がそのまま仮想空間内における移動距離となり、実空間(仮想現実空間)上の境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移により仮想空間が表示され、実空間内を歩くことで、その移動距離がそのまま仮想空間内での移動距離となり、仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。
また、現実地図情報M1の縮尺と、地図M2の縮尺が異なる場合には、図12(b)又は(c)に示すように、実空間(拡張現実空間)内を移動した距離とは異なる距離が仮想空間内における移動距離となる。同図(b)では、例えばユーザーの身体が巨大化して実際に歩いた距離よりも拡大された距離を仮想空間内で移動し、この拡大された仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。同図(c)では、例えばユーザーの身体が縮小化して実際に歩いた距離よりも縮小された距離を仮想空間内で移動し、この縮小された仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。
また、仮想空間内で例えばユーザーが仮想的な乗り物に乗って移動するようなときには、図12(d)に示すように、仮想空間が表示されている間、ユーザーは移動せずに乗り物の運転・操縦を行うことにより仮想空間内で移動し、この仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。
遷移設定部146は、図8及び図9に示すような、表示遷移処理を実行させる境界線L1又は境界面F1を、現実地図情報M1上又は仮想地図情報M2上に設定するモジュールである。ここで、境界線とは図8(a)及び(b)に示すように二次元的な地図座標系上に表現された直線又は曲線であり、図9(a)及び(b)に示すように境界面とは3次元的な地図座標系上に表現された平面又は曲面である。図8では境界線L1によって囲まれてエリアP1やオブジェクトOb1の平面形状が画成されており、図9では、境界面F1によって囲まれて立体的なエリアP1やオブジェクトOb1の外表を構成するポリゴンが画成されている。
具体的に遷移設定部146は、情報取得部141が取得した現実地図情報M1上又は仮想地図情報M2上の境界線L1又は境界面F1を抽出し、境界線L1については3次元空間上における無限遠の高さを有する平面として設定し、一方、境界面F1については、現在位置の標高に従って2次元的な地図上における境界線として設定する。例えば、境界面F1が複数のフロアーを有する建物内の所定の階に設定されたものであるときなどには、現在位置の高さ(標高)に応じて、二次元的な平面地図上に表れる境界面F1の断面である境界線が、各フロアーの平面地図上に設定される。
表示制御部143は、トリガー判定部145による判定結果に基づいて表示遷移処理を実行するモジュールである。また、表示制御部143は、コンテンツ配信サーバー3側の情報管理部36と協働するようになっており、表示データの生成処理等の一部をコンテンツ配信サーバー3側で行い、グラフィック処理等の一部をスマートフォン1側の表示データ生成部142で実行するようにしている。例えば、表示遷移の条件や表示データなどをコンテンツ配信サーバー3側で生成し、その条件や表示データをスマートフォン1側に送信し、実際の表示遷移処理の発生やそのためのグラフィック処理は、スマートフォン1側で実行するようにしてもよい。
そして、このような構成を有するシステムでは、図2(a)に示す仮想現実(VR)は、図4に示すように、スマートフォンのカメラなどで撮影された実写である静止画や動画の背景及びオブジェクトに、3DCGである静止画やCGアニメーションのオブジェクトOb1を情報取得部141で取得し、表示データ生成部142で実写の背景及びオブジェクトに、3DCGのオブジェクトOb1を実座標系(緯度、経度、高度)の現実地図情報M1に基づいて、レイヤー毎の画像として生成される。このレイヤー毎の画像は、シナリオ管理部144によるレイヤー制御に基づいて、表示制御部143において混合処理され、タッチパネル12aに表示される。一方、図2(c)に示す拡張現実(AR)は、図4に示すように、3DCGである静止画やCGアニメーションの背景に、3DCGである静止画やCGアニメーションのオブジェクトOb1を情報取得部141で取得し、表示データ生成部142で3DCGである静止画やCGアニメーションの背景に、3DCGである静止画やCGアニメーションのオブジェクトOb1を仮想座標系(x、y、z)の仮想地図情報M2に基づいて、レイヤー毎の画像として生成される。このレイヤー毎の画像は、シナリオ管理部144によるレイヤー制御に基づいて、表示制御部143において混合処理され、タッチパネル12aに表示される。
この混合処理に際しては、シナリオ管理部144によって管理されているシナリオデータや、タッチパネル12a等のユーザーインターフェースを通じて取得されるユーザー操作に基づいて合成画像生成や表示遷移等を含む表示制御が行われ、表示制御に際しては、Layer制御、従属関係、グルーピング及び連動制御が行われる。また、拡張現実AR及び仮想現実VRの映像を生成する際には、スマートフォン1に備えられた各種センサー16や時計部で取得される時間情報、現在位置や方位、照度等を参照して、カメラ位置、画角、ライティング及び環境光が、各座標系に基づいて設定される。
(情報提示システムの動作)
以上説明した情報提示システムを動作させることによって、本発明の情報提示方法を実施することができる。図7は、情報提示システムの表示遷移処理に関する動作を示すシーケンス図である。
図10に示すように、例えば、現実地図情報M1上にある遺跡などの所定エリアP1などに接近し、その遺跡であるエリアP1に対応した仮想地図情報M2の座標上に形成された古城のオブジェクトOb1がカメラの視野に入った場合に、トリガー判定部145によって拡張現実表示が開始され、実際の風景を背景とした仮想的な建物であるオブジェクトOb1の外観が拡張現実として閲覧可能となる。
次いで、エリアP1にさらに接近し、図11に示すように、境界線L1又は境界面F1を通過してエリアP1内に進入した場合、トリガー条件が満たされたとして表示遷移処理が実行され、仮想的な建物であるオブジェクトOb1の内部が仮想現実として閲覧可能となる。
このような表示遷移処理について具体的に説明する。図7に示すように、先ず、情報提示に際し、周期的に各スマートフォン1において位置情報を取得してコンテンツ配信サーバー3に送信する(S201及びS101)。コンテンツ配信サーバー3側では、この送信された各ユーザーの現在位置に従って、発生させるべき表示遷移処理を予測し(S102)、その発生条件をスマートフォン1側に送信する(S103)。
詳述すると、コンテンツ配信サーバー3側で取得された各ユーザーの現在位置に基づいて、コンテンツ配信サーバー3の情報管理部36が、ユーザーの現在位置や、オブジェクトの位置などに基づいて、発生し得る表示遷移処理を予測し、その発生条件をコンテンツ配信サーバー3側で発生させ、その条件をスマートフォン1側に送信する。
スマートフォン1側では、このトリガー条件を遷移設定部146で取得する。そして、カメラ部121による撮影を開始すると(S203)、トリガー条件が満たされるタイミングをトリガー判定部145で監視する(S204)。具体的には、スマートフォン1側において表示遷移処理の発生条件であるトリガー条件と、位置情報取得部147が取得する自機の現在位置とを監視し、エリアP1内に進入するなどのトリガー条件が満たされたとき(S205の「Y」)に、表示遷移処理が実行される(S206)。一方、トリガー条件が満たされていない場合には(S205の「N」)、そのまま撮像処理(S203)及びトリガー条件の監視(S204)を継続する。
詳述すると、このトリガー条件の監視では、トリガー判定部145が、現在位置情報に含まれる位置情報が、実空間地図上又は仮想空間地図上に設定された境界線又は境界面を通過したことを判定する。例えば、図12に示すように、位置情報取得部147が取得した実空間上の現在位置又は仮想空間地図上における座標位置を参照し、表示制御部143が拡張現実を表示しているときには実空間の座標位置を監視し、ユーザーの移動が境界線L1或いは境界面F1を通過したときにトリガー信号出力して表示制御部143に送出する。一方、表示制御部143が仮想現実を表示しているときには実空間の座標位置を仮想空間地図上の座標系に変換した仮想的な座標位置を監視し、ユーザーの移動が仮想地図上の境界線L1或いは境界面F1を通過したときにトリガー信号出力して表示制御部143に送出する。
このとき、現実地図情報M1の座標系と、地図M2の座標系の縮尺が同等の場合には、図12(a)に示すように、実空間(拡張現実空間)内を移動した距離がそのまま仮想空間内における移動距離となり、実空間(仮想現実空間)上の境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移により仮想空間が表示され、実空間内を歩くことで、その移動距離がそのまま仮想空間内での移動距離となり、仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。
また、現実地図情報M1の縮尺と、地図M2の縮尺が異なる場合には、図12(b)又は(c)に示すように、実空間(拡張現実空間)内を移動した距離とは異なる距離が仮想空間内における移動距離となる。同図(b)では、例えばユーザーの身体が巨大化して実際に歩いた距離よりも拡大された距離を仮想空間内で移動し、この拡大された仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。同図(c)では、例えばユーザーの身体が縮小化して実際に歩いた距離よりも縮小された距離を仮想空間内で移動し、この縮小された仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。
また、仮想空間内で例えばユーザーが仮想的な乗り物に乗って移動するようなときには、図12(d)に示すように、仮想空間が表示されている間、ユーザーは移動せずに乗り物の運転・操縦を行うことにより仮想空間内で移動し、この仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。
その後、このスマートフォン1側で実行された表示遷移処理の結果は、表示制御部143を通じてコンテンツ配信サーバー3側の情報管理部36に通知され(S207)、コンテンツ配信サーバー3側で同期処理がなされ(S104)、その実行された表示遷移処理の結果が、シナリオ生成処理に反映される。
以上の処理は、アプリケーションが終了されるまで繰り返される。
(作用・効果)
以上説明した本実施形態によれば、拡張現実(AR)や仮想現実(VR)を表示する際、それぞれの座標系を統合することで、拡張現実(AR)と仮想現実(VR)を1つの座標系で共存させて混合することができる。この結果、ARを融合させることで、多様性に富み、臨場感が高い、仮想体験を演出することができる。
また、本実施形態によれば、現実地図情報上又は仮想地図情報上に設定された境界線又は境界面を通過することで、ユーザーによる特別な操作を要することなく、拡張現実と仮想現実とを自動的に切り替えることができ、拡張現実から仮想現実へ、又は仮想現実から拡張現実へと自然に遷移させることができる。
(変更例)
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。図13及び図14は、変更例1及び2に係る情報提示システムの概要を示す説明図である。
(1)変更例1
例えば、上述した実施形態では、カメラ部を備えた情報処理装置としてスマートフォン1を用いたが、このカメラ部を備えた装置として、図13に示すような、観光地に設置された展望鏡40を用いてもよい。この展望鏡40は、実空間の座標系に固定された基台部40bを有し、この基台部40bに対して左右に回動可能及び上下に俯仰可能に展望鏡本体40aが設置されている。上記カメラ部121は、展望鏡本体40aの先端に配置され、前記表示部13aは、展望鏡本体40aの後端側に配置されている。
この変更例1では、図13に示すような、実空間上の古城跡の遺跡であるエリアP1を、展望鏡40を通じて観ると、遺跡であるエリアP1に対応した座標位置(座標範囲)に、仮想的に復元された古城のオブジェクトOb1が実空間背景に合成された拡張現実映像を観ることができる。この拡張現実映像であるオブジェクトOb1は、展望鏡40で撮影できる実空間の背景の地形及び座標に適合されて三次元化されており、展望鏡本体40aを左右に回転させたり、上下に俯仰させることにより仮想的に復元された古城や、その周辺の背景を合成した立体映像を観ることができる。このとき、展望鏡の焦点距離の移動をもって境界線や境界面の通過を判断し、表示遷移のトリガー発生の条件としてもよい。このような本変更例1によれば、展望鏡で観られる実空間の景色に、復元された古城やその当時の風景など仮想的又は拡張的な演出を加えることができる。
(2)変更例2
また、仮想現実又は拡張現実に合成される3Dオブジェクトとして、図14に示すような、開口部を有する板状のいわゆる顔ハメ看板としてのオブジェクトOb2としてもよい。例えば、実空間上の古城跡の遺跡であるエリアP1をバックに被写体Sub1をスマートフォン1で撮影すると、被写体Sub1とスマートフォン1との間の座標位置に顔ハメ看板としてのオブジェクトOb2が拡張現実的に配置され、被写体Sub1の背後に古城のオブジェクトOb1が拡張現実的に配置される。
この顔ハメ看板としてのオブジェクトOb2は、コンテンツ配信サーバー3において現在位置に応じたオブジェクトを選択されて、コンテンツ配信サーバー3から配信される。このような本変更例2によれば、復元された古城やその当時の風景などとともに、ご当地固有のデザインがなされた顔ハメ看板などを静止画や動画に合成させて映し出すことができ、地位特有の仮想的又は拡張的な演出を加えることができる。
F1…境界面
L1…境界線
M2…仮想地図情報
M1…現実地図情報
P1…遺跡
1…スマートフォン
2…インターネット
3…コンテンツ配信サーバー
10…ユーザー
11…通信インターフェース
12…入力インターフェース
12a…タッチパネル
13…出力インターフェース
13a…表示部
14…アプリケーション実行部
15…メモリ
16…種センサー
21…衛星
22…無線基地局
31…通信インターフェース
32…位置情報管理部
33…認証部
34…情報配信部
35a…現実地図データ
35b…ユーザーデータ
35c…仮想コンテンツデータ
36…情報管理部
37…仮想地図情報生成部
40…展望鏡
40a…展望鏡本体
40b…基台部
121…カメラ部
141…情報取得部
142…表示データ生成部
143…表示制御部
144…シナリオ管理部
145…トリガー判定部
146…遷移設定部
147…位置情報取得部

Claims (7)

  1. 仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示するシステムであって、
    実空間の映像を撮像するカメラ部と、
    前記実空間の座標系における位置及び方向を現在位置情報として取得する位置情報取得部と、
    前記実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、
    前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部と、
    前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成する仮想現実表示データ生成部と、
    前記実空間における位置情報に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを、前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部と、
    前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行する表示制御部と、
    前記表示制御部により表示遷移処理された仮想表示データ及び拡張表示データを表示する表示部と
    を備えることを特徴とする情報提示システム。
  2. 前記表示遷移処理を実行させる境界線又は境界面を、前記現実地図情報上又は前記仮想地図情報上に設定する遷移設定部と、
    前記現在位置情報に含まれる位置情報が、前記境界線又は境界面を通過したことを判定するトリガー判定部と
    をさらに備え、
    前記表示制御部は、前記トリガー判定部による判定結果に基づいて前記表示遷移処理を実行する
    ことを特徴とする請求項1に記載の情報提示システム。
  3. 前記表示遷移処理を実行させる時刻、場所、提示するオブジェクトの種類、及びそれらの出現順序を記述したシナリオデータを取得して管理するシナリオ管理部をさらに備え、
    前記表示制御部は、前記トリガー判定部による判定結果に基づき、前記シナリオデータ又はユーザー操作に従って前記表示遷移処理を実行する
    ことを特徴とする請求項に記載の情報提示システム。
  4. 前記実空間の座標系に固定された基台部に、左右に回動可能及び上下に俯仰可能に設置された本体部をさらに備え、
    前記カメラ部は、前記本体部の先端に配置され、
    前記表示部は、前記本体部の後端に配置されている
    ことを特徴とする請求項1乃至3のいずれかに記載の情報提示システム。
  5. 前記オブジェクトは、開口部を有する板状の看板であることを特徴とする請求項1乃至4のいずれかに記載の情報提示システム。
  6. 仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示する方法であって、
    カメラ部が実空間の映像を撮像するとともに、位置情報取得部が前記実空間の座標系における位置及び方向を現在位置情報として取得する実空間情報取得ステップと、
    前記実空間の座標系における地理情報を含む現実地図情報、及び前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得し、仮想表示データ生成部が、前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成するとともに、拡張表示データ生成部が、前記実空間における位置情報に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する表示データ生成ステップと、
    前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を表示制御部が実行する表示制御ステップと、
    前記表示制御ステップにより表示遷移処理された仮想表示データ及び拡張表示データを表示制御部が表示する表示ステップと、
    を含むことを特徴とする情報提示方法。
  7. 仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示するプログラムであって、コンピューター
    実空間の映像を撮像するカメラ部と、
    前記実空間の座標系における位置及び方向を現在位置情報として取得する位置情報取得部と、
    前記実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、
    前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部と、
    前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成する仮想現実表示データ生成部と、
    前記実空間における位置情報に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを、前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部と、
    前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行する表示制御部と、
    前記表示制御部により表示遷移処理された仮想表示データ及び拡張表示データを表示する表示部、
    として機能させることを特徴とする情報提示プログラム。
JP2017020972A 2017-02-08 2017-02-08 情報提示システム、情報提示方法及び情報提示プログラム Active JP6624646B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017020972A JP6624646B2 (ja) 2017-02-08 2017-02-08 情報提示システム、情報提示方法及び情報提示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017020972A JP6624646B2 (ja) 2017-02-08 2017-02-08 情報提示システム、情報提示方法及び情報提示プログラム

Publications (2)

Publication Number Publication Date
JP2018128815A JP2018128815A (ja) 2018-08-16
JP6624646B2 true JP6624646B2 (ja) 2019-12-25

Family

ID=63172999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017020972A Active JP6624646B2 (ja) 2017-02-08 2017-02-08 情報提示システム、情報提示方法及び情報提示プログラム

Country Status (1)

Country Link
JP (1) JP6624646B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7160183B2 (ja) * 2019-03-28 2022-10-25 日本電気株式会社 情報処理装置、表示システム、表示方法、及びプログラム
JP7344084B2 (ja) * 2019-03-28 2023-09-13 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP6609078B1 (ja) * 2019-03-28 2019-11-20 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2020167654A (ja) * 2019-07-16 2020-10-08 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
TWI731430B (zh) * 2019-10-04 2021-06-21 財團法人工業技術研究院 資訊顯示方法與資訊顯示系統
CN112985372A (zh) * 2019-12-13 2021-06-18 南宁富桂精密工业有限公司 路径规划系统及其方法
WO2023100618A1 (ja) * 2021-11-30 2023-06-08 富士フイルム株式会社 画像ファイル、生成装置、及びデータ処理方法
WO2023228326A1 (ja) * 2022-05-25 2023-11-30 株式会社ビジョン&Itラボ デジタルツインの管理システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264740A (ja) * 2002-03-08 2003-09-19 Cad Center:Kk 展望鏡
JP2004102835A (ja) * 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP4378118B2 (ja) * 2003-06-27 2009-12-02 学校法人早稲田大学 立体映像呈示装置
EP2672458A3 (en) * 2012-06-06 2017-04-26 Samsung Electronics Co., Ltd Terminal, apparatus and method for providing an augmented reality service
JP2014115957A (ja) * 2012-12-12 2014-06-26 Hiroaki Ishihara 拡張現実型建物シミュレーション装置
JP6182734B2 (ja) * 2013-06-26 2017-08-23 国立大学法人佐賀大学 表示制御装置
JP2016110245A (ja) * 2014-12-03 2016-06-20 株式会社T.J.Promotion 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体

Also Published As

Publication number Publication date
JP2018128815A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6624646B2 (ja) 情報提示システム、情報提示方法及び情報提示プログラム
CN108601976B (zh) 游戏用图像处理系统以及程序
US11017235B2 (en) Augmented reality display system, program, and method
US10037627B2 (en) Augmented visualization system for hidden structures
Vidal Jr et al. MAGIS: mobile augmented-reality games for instructional support
CN103597524A (zh) 用于插入和增强当浏览辖地时显示给用户的消息的系统和方法
JP6665402B2 (ja) コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
JP2012141779A (ja) 拡張現実提供装置、拡張現実提供システム、拡張現実提供方法及びプログラム
US20150371449A1 (en) Method for the representation of geographically located virtual environments and mobile device
JPWO2019009163A1 (ja) 情報処理システム、プレイヤ側装置、制御方法、及びプログラム
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
CN117029815A (zh) 基于空间互联网的场景定位方法和相关设备
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
KR101533886B1 (ko) 문화 유적 가상 체험을 위한 증강 현실 생성 방법
JP7323689B1 (ja) 表示装置、表示方法、及び、表示プログラム
JP2009238029A (ja) 座標対応装置、座標対応方法およびプログラム
Neumann et al. Augmented Virtual Environments (AVE): for Visualization of Dynamic Imagery
KR20190006584A (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
Giannakidis et al. Hacking Visual Positioning Systems to Scale the Software Development of Augmented Reality Applications for Urban Settings
JP2023062983A (ja) 仮想鉄塔表示システム
JP2020098635A (ja) コンテンツ表示端末、コンテンツ提供方法、および、コンテンツ表示プログラム
Holweg et al. Augmented reality visualization of geospatial data
CN113450439A (zh) 一种虚实融合方法、设备及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191121

R150 Certificate of patent or registration of utility model

Ref document number: 6624646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250