JPWO2014017200A1 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JPWO2014017200A1
JPWO2014017200A1 JP2014526812A JP2014526812A JPWO2014017200A1 JP WO2014017200 A1 JPWO2014017200 A1 JP WO2014017200A1 JP 2014526812 A JP2014526812 A JP 2014526812A JP 2014526812 A JP2014526812 A JP 2014526812A JP WO2014017200 A1 JPWO2014017200 A1 JP WO2014017200A1
Authority
JP
Japan
Prior art keywords
dimensional space
image
viewpoint
information
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014526812A
Other languages
English (en)
Other versions
JP6090321B2 (ja
Inventor
丹下 明
明 丹下
利彦 河合
利彦 河合
淳 栗林
淳 栗林
めぐみ 菊池
めぐみ 菊池
重文 田村
重文 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014017200A1 publication Critical patent/JPWO2014017200A1/ja
Application granted granted Critical
Publication of JP6090321B2 publication Critical patent/JP6090321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】ユーザが見たい所望の光景の画像をユーザが自由に見ること、及び当該画像とユーザから実際に見える光景と対応関係をユーザが直感的に把握することを可能にする。【解決手段】端末装置の位置を示す位置情報及び上記端末装置の向きを示す向き情報に基づく、3次元空間の画像情報の生成を、制御する制御部と、上記画像情報の上記生成に関する変更の要求を取得する取得部と、を備え、上記制御部は、上記位置及び上記向きに対応する、上記3次元空間の第1の画像情報が生成されるように、上記生成を制御し、上記要求が取得されると、上記位置、上記向き及び上記変更に対応する、上記3次元空間の第2の画像情報が生成されるように、上記生成を制御する、情報処理装置が提供される。【選択図】図6

Description

本開示は、情報処理装置及びプログラムに関する。
近年、コンピュータによる画像処理技術が広く利用されている。当該画像処理技術の1つとして、3次元空間の画像を生成する技術がある。一例として、3次元コンピュータグラフィックスでは、シーンレイアウト設定により、モデリングされたオブジェクトが仮想的な3次元空間内に配置され、レンダリングにより、当該仮想的な3次元空間の画像が生成される。
3次元空間の画像を生成する技術は、例えば、ナビゲーションシステムでも利用されている。具体的には、ナビゲーションシステムの中には、ユーザから実際に見える光景と同様の画像を3次元地図として表示可能なものもある。このようなナビゲーションシステムについて、ユーザの利便性を高めるための様々な技術が提案されている。
例えば、特許文献1では、目標とする建物のような注目点とその周辺環境とを容易に把握できるように、注目点よりも手前にある構造物を、ワイヤーフレーム、半透明等の特殊な形式で描画する技術が、開示されている。
特開2004−333155号公報
しかし、構造物が特殊な手法で描画された画像は、ユーザから実際に見える光景と同様の画像ではないので、構造物が特殊な手法で描画された上記画像とユーザから実際に見える光景との対応関係を直感的に把握することが、ユーザにとって困難である場合もあり得る。そのため、注目点を把握できるように構造物が特殊な手法で描画されたにもかかわらず、ユーザが、実際の光景において注目点がどのあたりに存在するかを把握しにくくなることもあり得る。
そこで、ユーザが見たい所望の光景の画像をユーザが自由に見ること、及び当該画像とユーザから実際に見える光景と対応関係をユーザが直感的に把握することを可能にする仕組みが、提供されることが望ましい。
本開示によれば、端末装置の位置を示す位置情報及び上記端末装置の向きを示す向き情報に基づく、3次元空間の画像情報の生成を、制御する制御部と、上記画像情報の上記生成に関する変更の要求を取得する取得部と、を備え、上記制御部は、上記位置及び上記向きに対応する、上記3次元空間の第1の画像情報が生成されるように、上記生成を制御し、上記要求が取得されると、上記位置、上記向き及び上記変更に対応する、上記3次元空間の第2の画像情報が生成されるように、上記生成を制御する、情報処理装置が提供される。
また、本開示によれば、
コンピュータを、端末装置の位置を示す位置情報及び上記端末装置の向きを示す向き情報に基づく、3次元空間の画像情報の生成を、制御する制御部と、上記画像情報の上記生成に関する変更の要求を取得する取得部と、として機能させ、上記制御部は、上記位置及び上記向きに対応する、上記3次元空間の第1の画像情報が生成されるように、上記生成を制御し、上記要求が取得されると、上記位置、上記向き及び上記変更に対応する、上記3次元空間の第2の画像情報が生成されるように、上記生成を制御する、プログラムが提供される。
以上説明したように本開示によれば、ユーザが見たい所望の光景の画像をユーザが自由に見ること、及び当該画像とユーザから実際に見える光景と対応関係をユーザが直感的に把握することが、可能になる。
本開示の実施形態に係る情報処理システムの概略的な構成の一例を示す説明図である。 第1の実施形態に係るサーバの構成の一例を示すブロック図である。 第1の実施形態に係る端末装置の構成の一例を示すブロック図である。 第1の実施形態に係るサーバの情報処理の概略的な流れの一例を示すフローチャートである。 第1の実施形態に係る端末装置の情報処理の概略的な流れの一例を示すフローチャートである。 一部の領域において対象のオブジェクト以外のオブジェクトが削除された3次元空間の画像の一例を説明するための説明図である。 所定の高さを超えるオブジェクトが削除された3次元空間の画像の一例を説明するための説明図である。 一部に含まれるオブジェクトを別のオブジェクトに置き換えられた3次元空間の画像の一例を説明するための説明図である。 置き換えられた別のオブジェクトの中又は近傍から見た3次元空間の画像の一例を説明するための説明図である。図9を参照すると、変更画像23cと新たな画像25とが示されている。 個別のオブジェクトの一部が変更された3次元空間の画像の一例を説明するための説明図である。 現在の3次元空間から過去の3次元空間へと変更された3次元空間の画像の一例を説明するための説明図である。 一部の領域が維持されその他の領域が簡略化された3次元空間の地図情報の一例を説明するための説明図である。 第2の実施形態に係るサーバの構成の一例を示すブロック図である。 第2の実施形態に係る端末装置の構成の一例を示すブロック図である。 第2の実施形態に係るサーバの情報処理の概略的な流れの一例を示すフローチャートである。 3次元空間の平面地図から3次元空間の立体地図への画像の変更の第1の例を説明するための説明図である。 3次元空間の平面地図から3次元空間の立体地図への画像の変更の第2の例を説明するための説明図である。 端末装置があると想定される高さ付近の視点からより高くに位置する視点への視点変更時における画像の変更の一例を説明するための説明図である。 変更視点からさらに遷移する1つ以上の別の視点から見た3次元空間の画像の一例を説明するための説明図である。 変更視点からの視点の遷移のモードの例を説明するための説明図である。 本開示の実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。 本開示の実施形態に係る端末装置のハードウェア構成の一例を説明する。
以下に添付の図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理システムの概略的な構成
2.第1の実施形態
2.1.各装置の構成
2.1.1.サーバの構成
2.1.2.端末装置の構成
2.2.処理の流れ
2.3.3次元空間の変更の具体的な例
2.3.1.条件を満たすオブジェクトの削除又は追加
2.3.2.オブジェクトの置換
2.3.3.オブジェクトの一部変更
2.3.4.別の時間に対応する3次元空間への変更
2.3.5.行動履歴に応じたマップの作成
3.第2の実施形態
3.1.各装置の構成
3.1.1.サーバの構成
3.1.2.端末装置の構成
3.2.処理の流れ
3.3.視点の変更の具体的な例
3.3.1.2次元マップと3次元マップとの間での変更
3.3.2.ユーザと同様の視点とより高い視点との間での変更
4.ハードウェア構成
4.1.サーバのハードウェア構成
4.2.端末装置のハードウェア構成
<<<1.情報処理システムの概略的な構成>>>
まず、図1を参照して、本開示の実施形態に係る情報処理システムの概略的な構成を説明する。図1は、本開示の実施形態に係る情報処理システムの概略的な構成の一例を示す説明図である。図1を参照すると、情報処理システムは、サーバ100及び端末装置200を含む。
(サーバ100)
サーバ100は、3次元空間の画像情報の生成を制御する。一例として、当該画像情報は、3次元地図情報である。サーバ100は、例えば、自装置による制御に応じて上記画像情報を生成する。そして、サーバ100は、ネットワーク10を介して、生成された画像情報を端末装置200に提供する。ネットワーク10は、例えば、有線ネットワーク及び無線ネットワークを含む。
より具体的には、例えば、サーバ100は、端末装置200の位置を示す位置情報及び端末装置200の向きを示す向き情報を受信する。そして、サーバ100は、受信した位置情報及び向き情報に基づく、3次元空間の画像情報の生成を制御する。即ち、サーバ100は、上記画像情報を自ら生成する場合に、受信した位置情報及び向き情報に基づいて、3次元空間の画像情報(例えば、3次元地図情報)を生成する。そして、サーバ100は、ネットワーク10を介して、生成された画像情報を端末装置200に送信する。
(端末装置200)
端末装置200は、ユーザにより利用される装置である。一例として、端末装置200は、スマートフォンである。端末装置200は、サーバ100の制御により生成された画像情報を取得し、当該画像情報を用いて表示部に画像を表示する。一例として、当該画像情報は、上述したように3次元地図情報であり、上記画像は、3次元地図である。
より具体的には、例えば、端末装置200は、端末装置200の位置を示す位置情報及び端末装置200の向きを示す向き情報を検出し、これらの情報をサーバ100に送信する。そして、端末装置200は、上記位置情報及び上記向き情報に基づいて生成された画像情報(例えば、3次元地図情報)を受信する。そして、端末装置200は、当該画像情報を用いて表示部に画像(例えば、3次元地図)を表示する。一例として、このような画像は、ユーザから実際に見える光景と同様の画像である。
本開示に係る実施形態は、端末装置200のユーザが見たい所望の光景の画像を当該ユーザが自由に見ること、及び、上記画像と上記ユーザから実際に見える光景と対応関係を当該ユーザが直感的に把握することを、可能にする。以降、<<<2.第1の実施形態>>>、<<<3.第2の実施形態>>>において、その具体的な内容を説明する。
<<<2.第1の実施形態>>>
まず、本開示の第1の実施形態を説明する。本開示の第1の実施形態によれば、端末100の位置及び向きに対応する、3次元空間の第1の画像情報が、生成される。また、端末100の位置及び向きに対応する、一部又は全部が変更された3次元空間の第2の画像情報も、要求に応じて、生成される。これにより、端末装置200のユーザは、ユーザが見たい所望の光景の画像として、実空間と一部又は全体で異なる3次元空間、即ち編集された3次元空間の画像を自由に見ることが可能になる。また、端末装置200のユーザは、ユーザから実際に見える光景と同様の画像として、実空間と同様の3次元空間、即ち編集されていない3次元空間の画像も見ることが可能になる。そのため、端末装置200のユーザは、編集されていない3次元空間の画像を介して、編集された3次元空間の画像と、ユーザから実際に見える光景との対応関係を、直感的に把握することができるその結果、ユーザは、実空間に近い感覚で、編集された3次元空間の画像を見ることができる。
以下では、第1の実施形態を<<2.1.各装置の構成>>、<<2.2.処理の流れ>>、<<2.3.3次元空間の変更の具体的な例>>という順序で説明する。
<<2.1.各装置の構成>>
図2及び図3を参照して、第1の実施形態に係るサーバ100−1及び端末装置200−1の構成の一例を説明する。
<2.1.1.サーバの構成>
図2を参照して、第1の実施形態に係るサーバ100−1の構成の一例を説明する。図2は、第1の実施形態に係るサーバ100−1の構成の一例を示すブロック図である。図2を参照すると、サーバ100−1は、通信部110、記憶部120、処理部130を備える。
(通信部110)
通信部110は、他の装置と通信する。例えば、通信部110は、ネットワーク10を介して、端末装置200−1と通信する。
(記憶部120)
記憶部120は、サーバ100−1において一時的にまたは恒久的に保持すべき情報を記憶する。例えば、記憶部120は、サーバ100−1の動作のためのプログラム及びデータを記憶する。
また、記憶部120は、例えば、処理部130による3次元空間の画像情報の生成に必要な情報を記憶する。例えば、上記画像情報は、3次元コンピュータグラフィックス(以下、3DCG)の画像情報を含む。この場合に、記憶部120は、モデリングされたオブジェクトについての情報、仮想的な3次元空間における当該オブジェクトの配置についての情報等を記憶する。また、上記画像情報は、実空間での撮像により得られた画像情報、又は当該画像情報の加工により得られる画像情報を含んでもよい。この場合に、記憶部120は、撮像により得られた上記画像情報及びそれに関連する情報(例えば、撮像時のカメラの位置及び向き)を記憶してもよい。
また、記憶部120は、例えば、3次元空間の一部又は全体の変更についての情報を記憶する。例えば、上記画像情報は、3次元コンピュータグラフィックス(以下、3DCG)の画像情報を含む。この場合に、記憶部120は、例えば、上記変更により新たに配置されるオブジェクトについての情報(例えば、オブジェクトの情報、配置情報)、上記変更により削除されるオブジェクトについての情報(例えば、削除条件)、上記変更により変更されるオブジェクトについての情報(例えば、変更後のオブジェクトの情報)等を記憶する。
(処理部130)
処理部130は、サーバ100−1の様々な機能を提供する。処理部130は、情報取得部131、要求取得部133、画像情報生成部135及び生成制御部137を備える。
(情報取得部131)
情報取得部131は、端末装置200−1の位置を示す位置情報及び端末装置200−1の向きを示す向き情報を取得する。情報取得部131は、通信部110により位置情報及び向き情報が受信されると、当該位置情報及び当該向き情報を取得する。
上記位置情報は、例えば、端末装置200−1の経度情報及び緯度情報を含む。即ち、上記位置情報は、端末装置200−1の2次元の座標情報を含む。また、上記位置情報は、さらに、端末装置200−1の高度情報(垂直方向の高さの情報)を含んでもよい。即ち、上記位置情報は、端末装置200−1の3次元の座標情報を含んでもよい。
上記向き情報は、例えば、端末装置200−1の方位を示す情報を含む。即ち、上記向き情報は、端末装置200−1の2次元の向きの情報を含む。一例として、上記方位は、端末装置200−1のうちの、表示面の背面の方位である。端末装置200−1のユーザが表示面の正面に位置するという前提では、上記方位は、ユーザの視点の方位に相当する。また、上記向き情報は、端末装置200−1の垂直方向における傾きを示す情報を含んでもよい。即ち、上記向き情報は、端末装置200−1の3次元の向きの情報を含んでもよい。
(要求取得部133)
要求取得部133は、上記位置情報及び上記向き情報に基づく3次元空間の画像情報の生成に関する変更の要求(以下、「変更要求」)を取得する。より具体的には、例えば、端末装置200−1が、上記変更要求をサーバ100−1に送信すると、通信部110は、当該変更要求を受信する。そして、要求取得部133は、当該変更要求を取得する。
第1の実施形態において、上記変更は、3次元空間の一部又は全部の変更である。上記変更要求は、例えば、3次元空間の所定の変更をトリガする情報である。一例として、上記変更は、端末装置200−1の位置及び向きに応じて自動的に決まる3次元空間の範囲内にあるオブジェクトの削除であり、上記変更要求は、当該削除をトリガする。
また、例えば、変更前の3次元空間は、実空間と同様の3次元空間、即ち編集されていない3次元空間である。一方、変更後の3次元空間は、例えば、実空間と一部又は全体で異なる3次元空間、即ち編集された3次元空間である。即ち、3次元空間の変更は、編集されていない3次元空間を、編集された3次元空間にすることである。
また、例えば、要求取得部133は、上記変更の解除の要求(以下、「解除要求」)を取得してもよい。
なお、上記変更要求は、3次元空間の所定の変更をトリガするだけではなく、3次元空間の変更についての具体的な内容を指示する情報であってもよい。例えば、上記変更要求は、後述の<<2.3.3次元空間の変更の具体的な例>>において説明される様々な種類の3次元空間の変更の中のうちの1つを指示する情報であってもよい。また、上記変更要求は、ある種類の3次元空間の変更において具体的な変更内容を指示する情報であってもよい。例えば、上記変更が、3次元空間のオブジェクトの削除である場合に、上記変更要求は、具体的にどのオブジェクトを削除するかを指示する情報であってもよい。
また、上述した例とは逆に、変更後の3次元空間が、上記編集されていない3次元空間であり、変更前の3次元空間が、上記編集された3次元空間であってもよい。即ち、3次元空間の変更は、編集された3次元空間を、編集されていない3次元空間に変更する(戻す)ことであってもよい。
(画像情報生成部135)
画像情報生成部135は、生成制御部137による制御に応じて、画像情報を生成する。例えば、画像情報生成部135は、3次元空間の画像情報を生成する。
−3次元空間の画像情報−
3次元空間の画像情報は、例えば、所定の画像形式を有する、3次元空間についての2次元画像データである。当該画像形式は、例えば、JPEG(Joint Photographic Experts Group)、GIF(Graphics Interchange Format)、PNG(Portable Network Graphics)等の任意の画像形式である。
また、上記3次元空間は、例えば、実空間を模した仮想的な3次元空間である。そして、上記画像情報は、3DCGの2次元画像データを含む。画像情報生成部135は、例えば、モデリングされたオブジェクトが配置された仮想的な3次元空間にレンダリング用の視点(カメラ)を設定し、レンダリングを実行することにより、3DCGの2次元画像データを生成する。
また、上記画像情報は、3DCGの2次元画像データに加えて、実空間での撮像により得られた2次元画像データ(以下、撮像画像データ)、又は当該撮像画像データから生成される2次元画像データで含んでもよい。即ち、実空間を模した仮想的な3次元空間の画像情報として、撮像画像データ、又は当該撮像画像データから生成される2次元画像データが、3DCGの2次元画像データの代わりに用いられてもよい。この場合に、画像情報生成部135は、例えば、記憶される撮像画像データのうちの対応する撮像画像データを選択することにより、上記画像情報を生成する。または、画像情報生成部135は、例えば、記憶される撮像画像データのうちのいくつかの撮像画像データを選択し、モーフィング等の技術により加工することにより、上記画像情報を生成する。
また、上記画像情報は、3DCGの2次元画像データに加えて、実空間に関するその他の2次元画像データ(例えば、平面地図の2次元画像データ)を含んでもよい。即ち、実空間を模した仮想的な3次元空間の画像情報として、実空間に関するその他の2次元画像データが、3DCGの2次元画像データの代わりに用いられてもよい。この場合に、画像情報生成部135は、例えば、記憶される上記その他の2次元画像データを生成し又は選択することにより、上記画像情報を生成する。
以上、3次元空間の画像情報の例を説明したが、当然ながら、当該画像情報はこの例に限られない。
例えば、上記3次元空間は、実空間を模した仮想的な3次元空間ではなく、実空間であってもよい。即ち、実空間を模した3次元空間が用意されなくてもよい。そして、上記画像情報は、3DCGの2次元画像データを含まず、撮像画像データ、当該撮像画像データから生成される2次元画像データ、又は実空間に関する粗多野の2次元画像データであってもよい。
また、例えば、3次元空間の画像情報は、上記2次元画像データではなく、2次元データを生成するために必要なデータであってもよい。一例として、上記画像情報は、実空間を模した仮想的な3次元空間についてのレンダリング前のデータ(例えば、シーンレイアウト設定後の3次元空間データ)であってもよい。また、別の例として、上記画像情報は、モーフィング等の技術により加工する前の選択された撮像画像データであってもよい。
−標準画像情報の生成−
また、画像情報生成部135は、生成制御部137による制御に応じて、端末装置200−1の位置を示す位置情報及び端末装置200−1の向きを示す向き情報に基づいて、3次元空間の画像を生成する。例えば、画像情報生成部135は、端末装置200−1の位置及び向きに対応する、3次元空間の第1の画像情報(以下、「標準画像情報」と呼ぶ)を生成する。より具体的には、例えば、当該標準画像情報は、端末装置200−1の位置及び向きに対応する視点から見た3次元空間の画像情報である。
一例として、画像情報生成部135は、端末装置200の位置情報及び向き情報に基づいて、端末装置200の位置及び向きに該当する、実空間を模した仮想的な3次元空間内の位置及び向きを特定する。次に、画像情報生成部135は、特定された位置及び向きで、レンダリング用の視点(カメラ)を設定する。そして、画像情報生成部135は、レンダリングを実行することにより、画像情報として3DCGの2次元画像データを生成する。例えばこのように、端末装置200−1のユーザの視点と同様の視点から見た3次元空間の画像情報が生成される。
−変更画像情報の生成−
また、例えば、画像情報生成部135は、端末装置200−1の位置及び向き、並びに変更要求における変更に対応する、3次元空間の第2の画像情報(以下、「変更画像情報」)を生成する。第1の実施形態では、当該変更画像情報は、端末装置200−1の位置及び向きに対応する、変更後の3次元空間の画像情報である。また、より具体的には、例えば、上記変更画像情報は、端末装置200−1の位置及び向きに対応する視点から見た変更後の3次元空間の画像情報である。
一例として、画像情報生成部135は、3次元空間の一部又は全体を変更する。そして、画像情報生成部135は、上述した標準画像情報と同様に、例えば、変更画像情報として、端末装置200−1のユーザの視点と同様の視点から見た変更後の3次元空間の画像情報を生成する。なお、3次元空間が具体的にどのように変更されるかについては、後述の<<2.3.3次元空間の変更の具体的な例>>において説明する。
上述したように、例えば、変更前の3次元空間は、実空間と同様の3次元空間、即ち編集されていない3次元空間であり、変更後の3次元空間は、例えば、実空間と一部又は全体で異なる3次元空間、即ち編集された3次元空間である。この場合に、標準画像情報は、ユーザから実際に見える光景と同様の画像に対応し、変更画像情報は、ユーザが見たい所望の光景の画像に対応する。
なお、上述したように、変更後の3次元空間が、上記編集されていない3次元空間であり、変更前の3次元空間が、上記編集された3次元空間であってもよい。この場合には、標準画像情報は、ユーザが見たい所望の光景の画像に対応し、変更画像情報は、ユーザから実際に見える光景と同様の画像に対応してもよい。
(生成制御部137)
生成制御部137は、画像情報の生成を制御する。例えば、生成制御部137は、画像情報生成部135による、3次元空間の画像情報の生成を制御する。
より具体的には、生成制御部137は、端末装置200−1の位置を示す位置情報及び端末装置200−1の向きを示す向き情報に基づく、3次元空間の画像情報の生成を、制御する。例えば、生成制御部137は、位置情報及び向き情報が情報取得部131により取得されると、画像情報生成部135に、当該位置情報及び当該向き情報に基づいて3次元空間の画像情報を生成させる。
例えば、生成制御部137は、上記位置及び上記向きに対応する、3次元空間の第1の画像情報(即ち、上記標準画像情報)が生成されるように、上記生成を制御する。例えば、生成制御部137は、上記変更要求が取得されるまで、又は上記解除要求が取得されてからさらなる上記変更要求が取得されるまで、標準画像情報が生成されるように上記生成を制御する。なお、生成制御部137は、上記変更要求が取得されてから上記解除要求が取得されるまでは、標準画像情報を生成しなくてもよく、又は標準画像情報を生成してもよい。
また、例えば、生成制御部137は、上記変更要求が取得されると、端末装置200−1の位置及び向き並びに変更要求における変更に対応する、3次元空間の第2の画像情報(即ち、上記変更画像情報)が生成されるように、上記生成を制御する。例えば、生成制御部137は、上記変更要求が取得されてから上記解除要求が取得されるまで、変更画像情報が生成されるように上記生成を制御する。
上述したように、標準画像情報及び変更画像情報の一方は、ユーザから実際に見える光景と同様の画像に対応し、標準画像情報及び変更画像情報の他方は、ユーザが見たい所望の光景の画像に対応する。即ち、端末装置200−1のユーザは、当該ユーザから見える光景と同様の画像と、当該ユーザが見たい所望の光景の画像との両方を、要求により自由に見ることが可能になる。端末装置200−1のユーザは、当該ユーザから見える光景と、当該光景の画像とを見ることにより、ユーザから見える光景と当該光景と同様の画像との対応関係を直感的に把握することができる。そして、ユーザは、ユーザから見える光景と同様の画像とユーザが見たい所望の光景の画像とを切り替えて見ることで、ユーザが見たい所望の光景の画像とユーザから実際に見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、ユーザが見たい所望の光景の画像を見ることができる。
とりわけ、第1の実施形態では、端末装置200−1のユーザは、当該ユーザが見たい所望の光景の画像として、実空間と一部又は全体で異なる3次元空間、即ち編集された3次元空間の画像を自由に見ることが可能になる。即ち、ユーザは、実空間に近い感覚で、編集された3次元空間の画像を見ることができる。なお、3次元空間が具体的にどのように変更されるかについては、後述の<<2.3.3次元空間の変更の具体的な例>>において説明する。
なお、上述したように、上記変更要求は、例えば、3次元空間の所定の変更をトリガする情報である。この場合に、生成制御部137は、例えば、3次元空間の変更を画像情報生成部135に通知することにより、又は当該変更の解除を画像情報生成部135に通知することにより、上記生成を制御する。また、上記変更要求は、3次元空間の変更についての具体的な内容を指示する情報であってもよい。この場合に、生成制御部137は、例えば、3次元空間の変更についての具体的な内容を画像情報生成部135に指示することにより、上記生成を制御してもよい。
<2.1.2.端末装置の構成>>
図3を参照して、第1の実施形態に係る端末装置200−1の構成の一例を説明する。図3は、第1の実施形態に係る端末装置200−1の構成の一例を示すブロック図である。図3を参照すると、端末装置200−1は、通信部210、記憶部220、位置検出部230、向き検出部240、表示部250及び処理部260を備える。
(通信部210)
通信部210は、他の装置と通信する。例えば、通信部210は、ネットワーク10を介して、サーバ100−1と通信する。
(記憶部220)
記憶部220は、端末装置200−1において一時的にまたは恒久的に保持すべき情報を記憶する。例えば、記憶部220は、端末装置200−1の動作のためのプログラム及びデータを記憶する。
(位置検出部230)
位置検出部230は、端末装置200−1の位置を示す位置情報を検出する。上述したように、上記位置情報は、例えば、端末装置200−1の経度情報及び緯度情報を含む。即ち、上記位置情報は、端末装置200−1の2次元の座標情報を含む。
また、上述したように、上記位置情報は、さらに、端末装置200−1の高度情報(垂直方向の高さの情報)を含んでもよい。即ち、上記位置情報は、端末装置200−1の3次元の座標情報を含んでもよい。
(向き検出部240)
向き検出部240は、端末装置200−1の向きを示す向き情報を検出する。上述したように、上記向き情報は、例えば、端末装置200−1の方位を示す情報を含む。即ち、上記向き情報は、端末装置200−1の2次元の向きの情報を含む。一例として、上記方位は、端末装置200−1のうちの、表示面の背面の方位である。端末装置200−1のユーザが表示面の正面に位置するという前提では、上記方位は、ユーザの視点の方位に相当する。
また、上記向き情報は、端末装置200−1の垂直方向における傾きを示す情報を含んでもよい。即ち、上記向き情報は、端末装置200−1の3次元の向きの情報を含んでもよい。
(表示部250)
表示部250は、処理部260による制御に応じて、画像を表示する。例えば、表示部250は、処理部260による制御に応じて、サーバ100−1により生成された3次元空間の画像情報を用いて画像を表示する。
(処理部260)
処理部260は、端末装置200−1の様々な機能を提供する。
例えば、処理部260は、端末装置200−1の位置を示す位置情報及び端末装置200−1の向きを示す向き情報をサーバ100−1に提供する。より具体的には、処理部260は、位置検出部230から位置情報を取得し、向き検出部240から向き情報を取得する。そして、処理部260は、通信部210に、上記位置情報及び上記向き情報をサーバ100−1へ送信させる。
また、例えば、処理部260は、所定のユーザ操作が検出された場合に、上記変更要求を生成する。例えば、処理部260は、タッチパネル、ボタンのような入力部(図示せず)において所定のユーザ操作が検出された場合に、上記変更要求を生成する。または、処理部260は、ユーザが端末装置200−1を上下又は左右に振るようなユーザ操作がいずれかのセンサにより検出された場合に、上記変更要求を生成してもよい。このように、ユーザによる様々な操作が、上記所定のユーザ操作として適用され得る。そして、処理部260は、通信部210に、生成された上記変更要求をサーバ100−1へ送信させる。
上記変更要求は、上述したように、例えば、3次元空間の所定の変更をトリガする情報である。この場合に、処理部260は、例えば、変更要求として、予め定められた固定的な情報を生成する。
また、上記変更要求は、上述したように、3次元空間の変更についての具体的な内容を指示する情報であってもよい。この場合に、処理部260は、一例として、3次元空間の変更についての具体的な内容を含む変動的な情報を生成してもよい。3次元空間の変更についての具体的な内容は、例えば、変更の種類、及び/又は、ある種類の3次元空間の変更において具体的な変更内容である。処理部260は、例えば、ユーザ操作の検出結果に応じて、3次元空間の変更についての具体的な内容を決定する。
また、例えば、処理部260は、サーバ100−1により生成された画像情報を取得し、表示部250に、当該画像情報を用いて画像を表示させる。
例えば、上記変更要求がサーバ100−1に送信されるまで、又は上記解除要求がサーバ100−1へ送信されてからさらなる上記変更要求が送信されるまで、標準画像情報が、サーバ100−1から端末装置200−1へ送信される。処理部260は、標準画像情報を受信した通信部210から、当該標準画像情報を取得する。そして、処理部260は、表示部250に、標準画像情報を用いて画像を表示させる。
また、例えば、上記変更要求が送信されてから上記解除要求が送信されるまで、変更画像情報が、サーバ100−1から端末装置200−1へ送信される。処理部260は、変更画像情報を受信した通信部210から、当該変更画像情報を取得する。そして、処理部260は、表示部250に、変更画像情報を用いて画像を表示させる。
<<2.2.処理の流れ>>
次に、図4及び図5を参照して、第1の実施形態に係る情報処理の一例を説明する。
(サーバ100−1の処理)
図4は、第1の実施形態に係るサーバ100−1の情報処理の概略的な流れの一例を示すフローチャートである。
まず、ステップS301で、情報取得部131は、端末装置200−1の位置を示す位置情報及び端末装置200−1の向きを示す向き情報を取得する。そして、ステップS303で、生成制御部137は、変更要求も要求取得部133により取得されたかを判定する。当該変更要求は、3次元空間の一部又は全体の変更の要求である。変更要求が取得されていれば、処理はステップS307へ進む。そうでなければ、処理はステップS305へ進む。
ステップS305で、画像情報生成部135は、生成制御部137による制御に応じて、端末装置200−1の位置及び向きに対応する視点から見た3次元空間の画像情報(即ち、標準画像情報)を生成する。
ステップS307で、画像情報生成部135は、生成制御部137による制御に応じて、3次元空間の一部又は全体を変更する。そして、ステップS309で、画像情報生成部135は、端末装置200−1の位置及び向きに対応する視点から見た変更後の3次元空間の画像情報(即ち、変更画像情報)を生成する。
ステップS311で、通信部110は、生成された画像情報を端末装置200−1へ送信する。
ステップS313で、処理部130は、画像情報の生成を終了するかを判定する。画像情報の生成を終了する場合には、処理は終了する。そうでなければ、処理はステップS301へ戻る。
(端末装置200−1の処理)
図5は、第1の実施形態に係る端末装置200−1の情報処理の概略的な流れの一例を示すフローチャートである。
ステップS401で、処理部260は、位置検出部230から、端末装置200−1の位置を示す位置情報を取得する。また、ステップS403で、向き検出部240から、端末装置200−1の向きを示す向き情報を取得する。また、ステップS405で、処理部260は、変更要求に対応する所定のユーザ操作が検出されたかを判定する。当該所定のユーザ操作が検出された場合には、処理はステップS409へ進む。そうでなければ、処理はステップS407へ進む。
ステップS407で、処理部260は、通信部210に、上記位置情報及び上記向き情報をサーバ100−1へ送信させる。
ステップS409で、処理部260は、変更要求を生成する。当該変更要求は、3次元空間の一部又は全体の変更の要求である。そして、ステップS411で、処理部260は、通信部210に、上記位置情報、上記向き情報及び上記変更要求をサーバ100−1へ送信させる。
ステップS413で、通信部210は、サーバ100−1により生成された3次元空間の画像情報を受信する。そして、ステップS415で、処理部260は、上記画像情報を取得し、表示部250に、当該画像情報を用いて画像を表示させる。その結果、表示部250は、当該画像を表示する。
ステップS417で、処理部260は、画像の表示を終了するかを判定する。画像の表示を終了する場合には、処理は終了する。そうでなければ、処理はステップS401へ戻る。
<<2.3.3次元空間の変更の具体的な例>>
次に、図6〜図12を参照して、3次元空間の変更の第1〜第5の具体例を説明する。なお、3次元空間の変更は、例えば、上記3次元空間に含まれるオブジェクトを追加し、削除し、又は変更することであるが、当該変更の例は、第1〜第3の具体例として説明する。
<2.3.1.条件を満たすオブジェクトの削除又は追加>
第1の例として、3次元空間の変更は、3次元空間の一部又は全部に含まれるオブジェクトのうちの、条件を満たすオブジェクトを削除することである。当該オブジェクトは、例えば、建物に対応するオブジェクトを含む。
一例として、上記条件を満たすオブジェクトは、対象のオブジェクト以外のオブジェクトである。この場合の3次元空間の変更を、図6を参照して具体的に説明する。
図6は、一部の領域において対象のオブジェクト以外のオブジェクトが削除された3次元空間の画像の一例を説明するための説明図である。図6を参照すると、変更前の3次元空間の画像(以下、「標準画像」と呼ぶ)21aと、変更後の3次元空間の画像(以下、「変更画像」と呼ぶ)23aとが示されている。
この例では、変更前の3次元空間は、実空間と同様の3次元空間である。よって、標準画像21aは、例えば、ユーザから見える光景と同様の画像である。標準画像21aでは、ユーザから実際に見える光景と同様に、目的地である建物(即ち、対象の既存オブジェクト31a)が周囲の建物に隠されている。よって、端末装置200−1のユーザは、目的地である建物とその周辺環境を把握することできない。
一方、変更後の3次元空間は、一部のオブジェクトが削除された3次元空間である。変更画像23aでは、目的地である建物に対応する対象の既存オブジェクト31aの周辺のオブジェクト(又は、設定された視点から対象の既存オブジェクト31aとの間に位置するオブジェクト)が削除されている。よって、端末装置200−1のユーザは、目的地である建物とその周辺環境を把握することができる。このような変更画像23aは、ユーザが見たい所望の光景の画像の1つと言える。
このように、対象のオブジェクト以外のオブジェクトが削除されることで、端末装置200−1のユーザは、対象のオブジェクト(例えば、目的地)とその周辺環境を把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21aを介して、変更画像23aとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23aの中の対象のオブジェクト(例えば、目的地)とその周辺環境を見ることができる。
また、別の例として、上記条件を満たすオブジェクトは、所定の高さを超えるオブジェクトである。当該オブジェクトは、例えば、建物に対応するオブジェクトを含む。この場合の3次元空間の変更を、図7を参照して具体的に説明する。
図7は、所定の高さを超えるオブジェクトが削除された3次元空間の画像の一例を説明するための説明図である。図7を参照すると、標準画像21bと変更画像23bとが示されている。
この例では、変更前の3次元空間は、実空間と同様の3次元空間である。よって、標準画像21bは、例えば、ユーザから見える光景と同様の画像である。標準画像21bでは、ユーザから実際に見える光景と同様に、ユーザは、周囲に高い建物により遠方を見ることができない。よって、遠方の風景を把握することができない。
一方、変更後の3次元空間は、一部のオブジェクトが削除された3次元空間である。変更画像23bでは、高い建物(例えば、高さ10m以上の建物)に対応する既存オブジェクト31が削除されている。よって、端末装置200−1のユーザは、遠方の風景を把握することができる。このような変更画像23bは、ユーザが見たい所望の光景の画像の1つと言える。
このように、所定の高さを超えるオブジェクトが削除されることで、端末装置200−1のユーザは、遠方の景色を把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21bを介して、変更画像23bとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23bの中の遠方の景色を見ることができる。
以上、第1の例として、3次元空間の変更が、3次元空間の一部又は全部に含まれるオブジェクトのうちの、条件を満たすオブジェクトを削除することである場合を説明したが、第1の例はこれに限られない。例えば、変更前の3次元空間と変更後の3次元空間とが、上述した例とは逆であってもよい。即ち、第1の例として、3次元空間の変更は、条件を満たすオブジェクトが配置されていない3次元空間の一部又は全部に、当該条件を満たすオブジェクトを追加することであってもよい。このように、第1の例では、変更前の3次元空間及び変更後の3次元空間の一方が、条件を満たすオブジェクトが削除されていない3次元空間であり、他方が、条件を満たすオブジェクトが削除された3次元空間である。
<2.3.2.オブジェクトの置換>
第2の例として、3次元空間の変更は、3次元空間の一部に含まれるオブジェクトを、別のオブジェクトに置き換えることである。当該オブジェクトは、例えば、建物のオブジェクトを含む。この場合の3次元空間の変更を、図8を参照して具体的に説明する。
図8は、一部に含まれるオブジェクトを別のオブジェクトに置き換えられた3次元空間の画像の一例を説明するための説明図である。図8を参照すると、標準画像21cと変更画像23cとが示されている。
この例では、変更前の3次元空間は、実空間と同様の3次元空間である。よって、標準画像21cは、例えば、ユーザから見える光景と同様の画像である。標準画像21cには、ある領域において、既存の建物(例えば、オフィス用のビルディング)に対応する既存オブジェクト31がある。
一方、変更後の3次元空間は、一部に含まれるオブジェクトを別のオブジェクトに置き換えられた3次元空間である。変更画像23cでは、上記領域における上記既存オブジェクト31が、新たな建物(例えば、建設予定のマンション)に対応する新規オブジェクト33に置き換えられている。よって、端末装置200−1のユーザは、新たな建物が建設された場合の光景を把握することができる。このような変更画像23cは、ユーザが見たい所望の光景の画像の1つと言える。
このように、3次元空間の一部に含まれるオブジェクトが、別のオブジェクトに置き換えられることで、端末装置200−1のユーザは、想定される変更が実空間においてあった場合にどのように光景が変わるのかを把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21cを介して、変更画像23cとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23cの中の想定される変更の後の光景を見ることができる。
なお、当然ながら、図8を参照して説明した例とは逆に、変更後の3次元空間が、実空間と同様の3次元空間であり、変更前の3次元空間が、一部に含まれるオブジェクトを別のオブジェクトに置き換えられた3次元空間であってもよい。
また、生成制御部137は、置き換えられた上記別のオブジェクトの中又は近傍に位置する視点から見た変更後の3次元空間の画像情報の生成をさらに制御してもよい。この場合にユーザが見ることができる画像を、図9を参照して具体的に説明する。
図9は、置き換えられた別のオブジェクトの中又は近傍から見た3次元空間の画像の一例を説明するための説明図である。図9を参照すると、変更画像23cと新たな画像25とが示されている。
変更画像23cは図8を参照して説明したとおりであるが、この場合に、例えば、変更画像23cには、さらに表示する画像の選択肢が表示される。例えば、「○号室からの眺望を見る」とう選択肢がある。当該選択肢が選択されると、画像情報生成部135は、生成制御部137による制御に応じて、例えば、建設予定のマンションの○階に対応する、新規オブジェクト33の中の位置に、視点を設定する。そして、画像情報生成部135は、当該視点から見た3次元空間の画像情報を生成する。その結果、建設予定のマンションの○階から見える光景の新たな画像25が、端末装置200−1に表示される。
なお、「現在の街並みに戻る」というもう1つの選択肢が選択されると、端末装置200−1で解除要求が生成される。その結果、標準画像情報が生成され、その結果、図8に示される標準画像21cが端末装置200−1に表示される。また、新たな画像25にも選択肢があるが、「建設予定マンション表示に戻る」という選択肢が選択されると、端末装置200−1には、変更画像23cが表示される。また、「現在の街並みに戻る」という選択肢が選択されると、端末装置200−1には、標準画像21cが表示される。
<2.3.3.オブジェクトの一部変更>
第3の例として、3次元空間の変更は、3次元空間に含まれる個別のオブジェクトの一部を変更することである。当該オブジェクトは、例えば、建物のオブジェクトを含む。この場合の3次元空間の変更を、図10を参照して具体的に説明する。
図10は、個別のオブジェクトの一部が変更された3次元空間の画像の一例を説明するための説明図である。図10を参照すると、標準画像21dと変更画像23dとが示されている。
この例では、変更前の3次元空間は、実空間と同様の3次元空間である。よって、標準画像21dは、例えば、ユーザから見える光景と同様の画像である。標準画像21dには、既存の建物(例えば、家)に対応する既存オブジェクト31がある。
一方、変更後の3次元空間は、個別のオブジェクトの一部が変更された3次元空間である。変更画像23dでは、標準画像21dの上記既存オブジェクト31は、一部の変更により得られた変更オブジェクト35(例えば、リフォーム後の家)になっている。よって、端末装置200−1のユーザは、建物の一部が変更された場合の光景を把握することができる。このような変更画像23dは、ユーザが見たい所望の光景の画像の1つ(例えば、リフォーム後の光景の画像)と言える。
このように、3次元空間の個別のオブジェクトが一部変更されることで、端末装置200−1のユーザは、想定される変更が実空間においてあった場合にどのように光景が変わるのかを把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21aを介して、変更画像23aとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23aの中の想定される変更の後の光景を見ることができる。
なお、当然ながら、図10を参照して説明した例とは逆に、変更後の3次元空間が、実空間と同様の3次元空間であり、変更前の3次元空間が、個別のオブジェクトの一部が変更された3次元空間であってもよい。
<2.3.4.別の時間に対応する3次元空間への変更>
第4の例として、3次元空間の変更は、第1の時間に対応する3次元空間から、第2の時間に対応する3次元空間への、3次元空間の変更である。この場合の3次元空間の変更を、図11を参照して具体的に説明する。
図11は、現在の3次元空間から過去の3次元空間へと変更された3次元空間の画像の一例を説明するための説明図である。図11を参照すると、標準画像21eと変更画像23eとが示されている。
この例では、変更前の3次元空間は、実空間と同様の現在の3次元空間である。よって、標準画像21eは、例えば、ユーザから見える光景と同様の画像である。標準画像21eには、既存の建物等に対応する既存オブジェクト31がある。
一方、変更後の3次元空間は、過去の3次元空間である。当該過去の3次元空間は、例えば、過去の実空間を模した3次元空間である。よって、端末装置200−1のユーザは、過去の光景を把握することができる。このような変更画像23eは、ユーザが見たい所望の光景の画像の1つと言える。
このように、第1の時間に対応する3次元空間から第2の時間に対応する3次元空間へと3次元空間が変更されることで、端末装置200−1のユーザは、過去の光景がどのような光景であったのか、又は未来の光景がどのように変わるのかを把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21aを介して、変更画像23aとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23aの中の過去又は未来の光景を見ることができる。
なお、当然ながら、図11を参照して説明した例とは逆に、変更後の3次元空間が、実空間と同様の現在の3次元空間であり、変更前の3次元空間が、過去(又は未来)の3次元空間であってもよい。
<2.3.5.行動履歴に応じたマップの作成>
第5の例として、3次元空間の変更は、3次元空間のうちの、端末装置100の記位置に対応する位置を含む第1の領域(以下、「維持領域」と呼ぶ)を維持し、上記3次元空間のうちの、上記一部の領域以外の第2の領域(以下、「簡略化領域」と呼ぶ)を簡略化することである。そして、標準画像情報は、端末装置100の位置及び向きに対応する、3次元空間の地図情報であり、変更画像情報は、端末装置100の位置及び向きに対応する、変更後の3次元空間の地図情報である。また、上記維持領域は、例えば、蓄積された端末装置200−1の位置の履歴に基づいて決定される。この場合の3次元空間の変更を、図12を参照して具体的に説明する。
図12は、一部の領域が維持されその他の領域が簡略化された3次元空間の地図情報の一例を説明するための説明図である。図12を参照すると、変更前の3次元空間の地図情報41と変更後の3次元空間の地図情報43とが示されている。当該地図情報は、例えば、実空間を模した仮想的な3次元空間についてのレンダリング前のデータ(例えば、シーンレイアウト設定後の3次元空間データ)である。
この例では、変更前の3次元空間は、実空間と同様の3次元空間である。また、変更前の3次元空間の地図情報41は、全体に渡って細部まで見ることができる地図情報である。
一方、変更後の3次元空間は、維持領域以外の簡略化領域を簡略化された3次元空間である。よって、変更後の3次元空間の地図情報41は、維持領域では細部まで見ることができるが、簡略化領域では細部までは見ることができない地図情報である。
一例として、簡略化された領域では、ランドマークとなる場所、所定の幅以上の道等の主要なオブジェクトが残され、それ以外のオブジェクトは削除される。
ここで、例えば、サーバ100−1に、端末装置200の位置の履歴が蓄積されている。そして、当該履歴に基づいて、端末装置200の現在位置の周辺の領域のうち、履歴において頻繁に存在する位置を含む領域が、上記維持領域として決定される。その結果、変更後の地図情報は、端末装置200−1のユーザが頻繁に通る領域では細部まで見ることができ、あまり通過しない領域では細部まで見ることができない地図情報となる。
このように、実空間を模した3次元空間の地図情報が生成されることで、例えば、生成された地図情報をゲームに利用することができる。例えば、当該地図情報は、実空間を模した3次元空間を舞台とするゲーム用の地図情報として利用することができる。また、上記地図情報は、3次元空間データであり、当該3次元空間データをゲーム用の3次元空間データ(ゲーム用のステージ)として用いることができる。即ち、ユーザがよく知っている領域について詳細まで見ることができ、よく知らない領域については細部まで見ることができない、ゲーム用の地図情報及び/又はステージを、得ることが可能になる。これにより、ユーザの体験に基づいたよりリアルな体験を与えるゲームを提供できる。
なお、上述した変更後の地図情報は、上述した第1の実施形態とは独立して、生成されてもよい。例えば、変更後の地図情報は、変更前の地図情報の生成とは独立して生成され、さらに、端末装置200−1の現在の位置及び向きに関わらず生成されてもよい。例えば、蓄積された端末装置200−1の位置の履歴に基づいて、変更前の地図情報の中の維持領域と簡略化領域とが決定されてもよい。そして、当該維持領域が維持され、簡略化領域が簡略化された仮想的な3次元空間が生成され、当該3次元空間のデータが、変更後の地図情報として生成されてもよい。
<<<3.第2の実施形態>>>
続いて、本開示の第2の実施形態を説明する。本開示の第2の実施形態によれば、端末100の位置及び向きに対応する第1の視点から見た3次元空間の第1の画像情報が生成される。また、端末100の位置及び向きに対応する第2の視点から見た3次元空間の第2の画像情報が生成される。これにより、端末装置200のユーザは、ユーザから見える光景と同様の画像とは別に、ユーザの現在の位置及び向きに応じた別の視点からの光景の画像を、ユーザが見たい所望の光景の画像として、自由に見ることが可能になる。また、端末装置200のユーザは、ユーザから実際に見える光景と同様の画像も見ることが可能になる。そのため、端末装置200のユーザは、ユーザから実際に見える光景と同様の画像を介して、別の視点からの光景の画像と、ユーザから実際に見える光景との対応関係を、直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、別の視点からの光景の画像を見ることができる。
以下では、第2の実施形態を<<3.1.各装置の構成>>、<<3.2.処理の流れ>>、<<3.3.視点の変更の具体的な例>>という順序で説明する。
<<3.1.各装置の構成>>
図13及び図14を参照して、第2の実施形態に係るサーバ100−2及び端末装置200−2の構成の一例を説明する。
<3.1.1.サーバの構成>>
図13を参照して、第2の実施形態に係るサーバ100−2の構成の一例を説明する。図13は、第2の実施形態に係るサーバ100−2の構成の一例を示すブロック図である。図13を参照すると、サーバ100−2は、通信部110、記憶部120、処理部140を備える。
ここで、通信部110及び記憶部120については、第1の実施形態と第2の実施形態との間に差異はない。よって、ここでは、処理部140について、さらに具体的には、第1の実施形態の要求取得部133、画像情報生成部135及び生成制御部137と相違する要求取得部143、画像情報生成部145及び生成制御部147を説明する。
(要求取得部143)
要求取得部133は、上記位置情報及び上記向き情報に基づく3次元空間の画像情報の生成に関する変更の要求(即ち、変更要求)を取得する。より具体的には、第1の実施形態と同様に、例えば、端末装置200−2が、上記変更要求をサーバ100−2に送信すると、通信部110は、当該変更要求を受信する。そして、要求取得部143は、当該変更要求を取得する。
第2の実施形態において、上記変更は、3次元空間の画像情報を生成するための視点の変更である。上記変更要求は、例えば、予め定められた視点の変更をトリガする情報である。一例として、上記変更は、端末装置200−1の位置及び向きに応じて自動的に決まる視点への変更であり、上記変更要求は、当該視点への変更をトリガする。
また、例えば、変更前の視点は、端末装置200の位置及び向きに該当する視点、即ちユーザの視点と同様の視点である。一方、変更後の視点は、ユーザの現在の位置及び向きに応じた別の視点(例えば、端末装置200の位置及び向きに該当する視点よりも高くに位置する視点)である。即ち、上記変更は、端末装置200の位置及び向きに該当する視点を、ユーザの現在の位置及び向きに応じた別の視点に変更することである。
また、第1の実施形態と同様に、例えば、要求取得部143は、上記変更の解除の要求(以下、「解除要求」)を取得してもよい。
なお、上記変更要求は、予め定められた視点の変更をトリガするだけではなく、視点の変更についての具体的な内容を指示する情報であってもよい。例えば、上記変更要求は、後述の<<3.3.視点の変更の具体的な例>>において説明される様々な種類の視点の変更の中のうちの1つを指示する情報であってもよい。また、上記変更要求は、ある種類の視点の変更において具体的な変更内容を指示する情報であってもよい。例えば、上記変更が、視点の高さの変更である場合に、上記変更要求は、具体的にどの程度の高さの視点に変更するかを指示する情報であってもよい。
また、上述した例とは逆に、変更後の視点が、ユーザの視点と同様の視点であり、変更前の視点が、ユーザの現在の位置及び向きに応じた別の視点であってもよい。
(画像情報生成部145)
画像情報生成部145は、生成制御部147による制御に応じて、画像情報を生成する。例えば、画像情報生成部145は、3次元空間の画像情報を生成する。
−3次元空間の画像情報−
3次元空間の画像情報については、第1の実施形態で説明したとおりである。
−標準画像情報の生成−
例えば、画像情報生成部145は、生成制御部147による制御に応じて、端末装置200−2の位置を示す位置情報及び端末装置200−2の向きを示す向き情報に基づいて、3次元空間の画像を生成する。例えば、画像情報生成部145は、端末装置200−2の位置及び向きに対応する、3次元空間の第1の画像情報(即ち、標準画像情報)を生成する。当該標準画像情報は、例えば、端末装置200−2の位置及び向きに対応する第1の視点(以下、「標準視点」と呼ぶ)から見た3次元空間の画像情報である。
一例として、標準視点は、実空間を模した仮想的な3次元空間の上空に位置し、鉛直方向を向いた視点である。例えば、上記標準視点の2次元座標(平面座標)は、端末装置200−2の2次元座標に該当する。また、例えば、上記標準視点の向きは、端末装置200−2の向きに基づき決定される。即ち、上記標準視点の上下左右がどの方位になるかが、端末装置200−2の向きに基づいて決定される。
そして、標準視点が上述したような例のような場合に、画像情報生成部145は、標準画像情報として、平面地図の画像情報を生成する。当該平面地図の画像情報は、例えば、2次元画像として作成された平面地図の2次元画像データである。また、当該平面地図の画像情報は、上空写真のような撮像画像データ、又は当該撮像画像データをモーフィング等の技術により加工することにより得られる2次元画像データであってもよい。また、上記平面地図の画像情報は、上記標準視点をレンダリング用の視点(カメラ)として仮想的な3次元空間のレンダリングを実行することにより生成される3DCGの2次元画像データであってもよい。
別の例として、標準視点は、端末装置200−2があると想定される高さ付近の視点である。より具体的には、例えば、端末装置200の位置及び向きに該当する視点である。そして、画像情報生成部145は、当該視点から見た3次元空間の画像情報を生成する。即ち、画像情報生成部145は、ユーザから見える光景と同様の画像である。
以上の例のように、標準視点として様々な視点を設定することが可能である。なお、以上の例は、後述の<<3.3.視点の変更の具体的な例>>において説明する。
−変更画像情報の生成−
また、例えば、画像情報生成部145は、端末装置200−2の位置及び向き、並びに変更要求における変更に対応する、3次元空間の第2の画像情報(即ち、変更画像情報)を生成する。第2の実施形態では、当該変更画像情報は、例えば、端末装置200−2の位置及び向きに対応する第2の視点(以下、「変更視点」と呼ぶ)から見た3次元空間の画像情報である。また、より具体的には、例えば、上記標準視点と上記変更視点とは、異なる高さに位置する。
一例として、標準視点が、実空間を模した仮想的な3次元空間の上空に位置し、鉛直方向を向いた視点である場合に、変更視点は、標準視点よりも低い視点である。より具体的には、例えば、変更視点は、端末装置200−2があると想定される高さ付近の視点である。
また、別の例として、標準視点が、端末装置200−2があると想定される高さ付近の視点である場合に、変更視点は、標準視点よりも高い視点である。例えば、変更視点は、端末装置200の位置及び向きに該当する視点から、そのまま所定の高さだけ高くなった視点である。
以上の例のように、変更視点として様々な視点を設定することが可能である。なお、以上の例は、後述の<<3.3.視点の変更の具体的な例>>において説明する。
上述したように、例えば、標準視点及び変更視点の一方は、端末装置200−2があると想定される高さ付近の視点であり、他方は、標準視点よりも高い視点である。この場合に、標準画像情報は、ユーザから実際に見える光景と同様の画像に対応し、変更画像情報は、ユーザが見たい所望の光景の画像に対応する。
以上、標準画像情報及び変更画像情報の生成について説明したが、当然ながら、上述した具体例における標準視点及び変更視点は、互いに置き換えられてもよい。例えば、変更視点が、実空間を模した仮想的な3次元空間の上空に位置し、鉛直方向を向いた視点であり、標準視点が、端末装置200−2があると想定される高さ付近の視点であってもよい。また、例えば、変更視点が、端末装置200の位置及び向きに該当する視点から、そのまま所定の高さだけ高くなった視点であり、標準視点が、端末装置200−2があると想定される高さ付近の視点であってもよい。
−中間画像情報の生成−
また、例えば、画像情報生成部145は、標準視点から変更視点への遷移の際に経由する1つ以上の別の視点から見た3次元空間の画像情報(以下、「中間画像情報」と呼ぶ)をさらに生成する。より具体的には、例えば、画像情報生成部145は、標準視点から変更視点への遷移の際に経由する1つ以上の視点を決定する。当該1つ以上の視点は、標準視と変更視点とを通る直線上に位置してもよく、又は当該直線上には位置しなくてもよい。そして、画像情報生成部145は、標準画像情報を生成した後であって、変更画像情報を生成する前に、上記1つ以上の視点から見た3次元空間の画像情報、即ち1つ以上の中間画像情報を生成する。
なお、画像情報生成部145は、逆に、変更視点から標準視点への遷移の際に経由する1つ以上の別の視点から見た3次元空間の画像情報を中間画像情報としてさらに生成してもよい。
(生成制御部147)
生成制御部147は、画像情報の生成を制御する。例えば、生成制御部147は、画像情報生成部145による、3次元空間の画像情報の生成を制御する。
第2の実施形態の生成制御部147は、生成させる画像情報の内容、及び取り扱う変更要求の内容の相違を除き、第1の実施形態で説明された生成制御部137の動作と同様の動作を行う。
上述したように、標準画像情報及び変更画像情報の一方は、ユーザから実際に見える光景と同様の画像に対応し、標準画像情報及び変更画像情報の他方は、ユーザが見たい所望の光景の画像に対応する。即ち、端末装置200−2のユーザは、当該ユーザから見える光景と同様の画像と、当該ユーザが見たい所望の光景の画像との両方を、要求により自由に見ることが可能になる。端末装置200−2のユーザは、当該ユーザから見える光景と、当該光景の画像とを見ることにより、ユーザから見える光景と当該光景の画像との対応関係を直感的に把握することができる。そして、ユーザは、ユーザから見える光景と同様の画像とユーザが見たい所望の光景の画像とを切り替えて見ることで、ユーザが見たい所望の光景の画像とユーザから実際に見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、ユーザが見たい所望の光景の画像を見ることができる。
とりわけ、第2の実施形態では、端末装置200−2のユーザは、当該ユーザが見たい所望の光景の画像として、ユーザの現在の位置及び向きに該当する視点(即ち、ユーザの視点と同様の視点)とは別の視点(例えばユーザの視点よりも高い視点)からの光景の画像を自由に見ることが可能になる。即ち、ユーザは、実空間に近い感覚で、別の視点(例えばユーザの視点よりも高い視点)からの光景の画像を見ることができる。
そして、第2の実施形態では、第1の実施形態の生成制御部137の動作と同様の動作に加えて、生成制御部147は、例えば、標準視点から変更視点への遷移の際に経由する1つ以上の別の視点から見た3次元空間の画像情報(即ち、中間画像情報)の生成をさらに制御する。より具体的には、例えば、生成制御部147は、変更要求が取得されて、変更画像情報が生成される前に、画像情報生成部145に、中間画像情報を生成させる。なお、生成制御部147は、解除要求が取得されて、標準画像情報が生成される前にも、画像情報生成部145に、中間画像情報を生成させてもよい。
なお、上述したように、上記変更要求は、例えば、予め定められた視点の変更をトリガする情報である。この場合に、生成制御部147は、例えば、視点の変更を画像情報生成部145に通知することにより、又は当該変更の解除を画像情報生成部145に通知することにより、上記生成を制御する。また、上記変更要求は、視点の変更についての具体的な内容を指示する情報であってもよい。この場合に、生成制御部147は、例えば、視点の変更についての具体的な内容を画像情報生成部145に指示することにより、上記生成を制御してもよい。
<3.1.2.端末装置の構成>>
図14を参照して、第2の実施形態に係る端末装置200−2の構成の一例を説明する。図14は、第2の実施形態に係る端末装置200−2の構成の一例を示すブロック図である。図14を参照すると、端末装置200−2は、通信部210、記憶部220、位置検出部230、向き検出部240、表示部250及び処理部261を備える。
ここで、通信部210、記憶部220、位置検出部230、向き検出部240及び表示部250については、第1の実施形態と第2の実施形態との間に差異はない。よって、ここでは、処理部261について説明する。
(処理部261)
処理部261は、端末装置200−2の様々な機能を提供する。
例えば、処理部261は、所定のユーザ操作が検出された場合に、上記変更要求を生成する。第1の実施形態の処理部260と同様に、ユーザによる様々な操作が、上記所定のユーザ操作として適用され得る。そして、処理部261は、通信部210に、生成された上記変更要求をサーバ100−2へ送信させる。
上記変更要求は、上述したように、例えば、予め定められた視点の変更をトリガする情報である。この場合に、処理部261は、一例として、変更要求として、予め定められた固定的な情報を生成する。この場合には、変更要求を構成する具体的な情報は、第1の実施形態における変更要求を構成する具体的な情報と同様であってもよい。
上記変更要求は、上述したように、視点の変更についての具体的な内容を指示する情報であってもよい。この場合に、処理部261は、一例として、視点の変更についての具体的な内容を含む変動的な情報を生成してもよい。視点の変更についての具体的な内容は、例えば、視点の変更の種類、及び/又は、ある種類の視点の変更において具体的な変更内容である。処理部261は、例えば、ユーザ操作の検出結果に応じて、視点の変更についての具体的な内容を決定する。
また、例えば、処理部261は、端末装置200−2の位置を示す位置情報及び端末装置200−2の向きを示す向き情報をサーバ100−2に提供する。この点については、第1の実施形態の処理部260と同様である。
また、例えば、上記変更要求がサーバ100−2に送信されるまで、又は上記解除要求がサーバ100−2へ送信されてからさらなる上記変更要求が送信されるまで、標準画像情報が、サーバ100−2から端末装置200−2へ送信される。この点についても、第1の実施形態の処理部260と同様である。
また、例えば、上記変更要求が送信されてから上記解除要求が送信されるまで、変更画像情報が、サーバ100−2から端末装置200−2へ送信される。この点についても、第1の実施形態の処理部260と同様である。
<<3.2.処理の流れ>>
次に、図15を参照して、第2の実施形態に係る情報処理の一例を説明する。
(サーバ100−2の処理)
図15は、第2の実施形態に係るサーバ100−2の情報処理の概略的な流れの一例を示すフローチャートである。ここでは、第1の実施形態に係るサーバ100−1の情報処理の一例と、第2の実施形態に係るサーバ100−2の情報処理の一例との差分である、ステップS333、S335、S337、S339のみを説明する。
まず、ステップS333で、生成制御部147は、変更要求も要求取得部143により取得されたかを判定する。当該変更要求は、3次元空間の上記画像情報を生成するための視点の変更の要求である。変更要求が取得されていれば、処理はステップS337へ進む。そうでなければ、処理はステップS335へ進む。
ステップS335で、画像情報生成部145は、生成制御部147による制御に応じて、端末装置200−2の位置及び向きに対応する第1の視点(即ち、標準視点)から見た3次元空間の画像情報(即ち、標準画像情報)を生成する。
ステップS337で、画像情報生成部145は、生成制御部147による制御に応じて、端末装置200−2の位置及び向きに対応する第2の視点(即ち、変更視点)を算出する。そして、ステップS339で、生成制御部137による制御に応じて、上記変更視点から見た3次元空間の画像情報(即ち、変更画像情報)を生成する。
(端末装置200−2の処理)
第2の実施形態に係る端末装置200−2の情報処理の概略的な流れは、図5を参照して説明された第1の実施形態に係る端末装置200−1の情報処理の概略的な流れと同様である。
なお、変更要求が、予め定められた視点の変更をトリガする情報ではなく、視点の変更についての具体的な内容を指示する情報である場合もある。この場合には、第2の実施形態に係る端末装置200−2の情報処理の概略的な流れには、ステップS409の代わりに、別のステップが含まれてもよい。例えば、当該ステップで、処理部261は、視点の変更についての具体的な内容を指示する変更要求を生成してもよい。
<<3.3.視点の変更の具体的な例>>
次に、図16〜図20を参照して、3次元空間の画像情報を生成するための視点の変更の第1及び第2の具体例を説明する。
<3.3.1.2次元マップと3次元マップとの間での変更>
第1の例として、標準画像情報及び変更画像情報の一方は、3次元空間の平面地図の画像情報であり、標準画像情報及び変更画像情報の他方は、端末装置200−2があると想定される高さ付近の視点から見た3次元空間の立体地図の画像情報である。即ち、例えば、上記視点の変更は、実空間を模した仮想的な3次元空間の上空に位置し、鉛直方向を向いた視点と、端末装置200−2があると想定される高さ付近の視点との間での変更である。この場合の画像の変更を、図16及び図17を参照して具体的に説明する。
図16は、3次元空間の平面地図から3次元空間の立体地図への画像の変更の第1の例を説明するための説明図である。図16を参照すると、変更前の視点(即ち、標準視点)から見た3次元空間の画像(以下、「標準画像」と呼ぶ)21fと、変更後の視点(即ち、変更視点)から見た3次元空間の画像(以下、「変更画像」と呼ぶ)23fとが示されている。また、標準視点から変更視点への遷移の際に経由する別の視点から見た3次元空間の画像(以下、「中間画像」と呼ぶ)27fも示されている。
この例では、標準画像21fは、3次元空間の平面地図である。即ち、標準視点は、実空間を模した仮想的な3次元空間の上空に位置し、鉛直方向を向いた視点である。例えば、上記標準視点の2次元座標(平面座標)は、端末装置200−2の2次元座標に該当する。また、例えば、上記標準視点の向きは、端末装置200−2の向きに基づき決定される。即ち、上記標準視点の上下左右がどの方位になるかが、端末装置200−2の向きに基づいて決定される。
一方、変更画像23fは、端末装置200−2があると想定される高さ付近の視点から見た3次元空間の立体地図である。即ち、標準視点は、端末装置200−2があると想定される高さ付近の視点である。当該変更画像23fは、例えば、ユーザから見える光景と同様の画像である。
また、中間画像27fは、標準視点よりも変更視点の近くに位置する別の視点から見た3次元空間の立体地図である。
また、3次元空間の平面地図である標準画像21f、3次元空間の立体地図である変更画像23f、及び中間画像27fは、例えば、3DCGの2次元画像である。なお、標準視点、変更視点、又は上記別の視点に対応する撮像画像データがある場合には、標準画像21f、変更画像23f又は中間画像27fは、それぞれ、撮像画像であってもよい。例えば、標準画像21fは、上空写真のような撮像画像であってもよく、変更画像23fは、地上で撮像された撮像画像であってもよい。また、標準視点、変更視点、又は上記別の視点に対応する2次元画像を、モーフィング等の技術により撮像画像データから生成可能な場合に、標準画像21f、変更画像23f又は中間画像27fは、撮像画像データの加工により生成される2次元画像であってもよい。
このように、3次元空間の平面地図が提供されることにより、端末装置200−2のユーザは、自身の位置、自身の位置の周囲、目的地等を把握することが可能になる。また、上記平面地図は、対応する3次元空間の立体地図、即ちユーザから見える光景と同様の画像と切り替え可能に表示される。よって、ユーザは、対応する3次元空間の立体地図を介して、平面地図とユーザから見える実際の光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間において上空にいるかのように、3次元空間の平面地図を見ることができる。
また、平面地図と立体地図との間に中間画像も表示されるので、平面地図と立体地図との対応関係をより直感的に把握することができる。その結果、ユーザは、実空間において地上から上空に移動していくかのように、3次元空間の平面地図を見ることができ、上空から地上に移動していくかのように、3次元空間の立体地図を見ることができる。即ち、臨場感が高められる。
なお、当然ながら、図16を参照して説明した例とは逆に、変更画像が3次元空間の平面地図であり、標準画像が3次元空間の立体地図であってもよい。
次に、図17は、3次元空間の平面地図から3次元空間の立体地図への画像の変更の第2の例を説明するための説明図である。図17を参照すると、変更前の視点(即ち、標準視点)から見た3次元空間の画像(即ち、標準画像)21gと、変更後の視点(即ち、変更視点)から見た3次元空間の画像(即ち、変更画像)23gとが示されている。また、標準視点から変更視点への遷移の際に経由する別の視点から見た3次元空間の画像(即ち、中間画像)27gも示されている。
この例でも、標準画像21gは、3次元空間の平面地図である。即ち、標準視点は、実空間を模した仮想的な3次元空間の上空に位置し、鉛直方向を向いた視点である。また、3次元空間の平面地図である標準画像21gは、例えば、2次元画像として作成された平面地図である。
また、この例でも、変更画像23gは、端末装置200−2があると想定される高さ付近の視点から見た3次元空間の立体地図である。即ち、標準視点は、端末装置200−2があると想定される高さ付近の視点である。当該変更画像23gは、例えば、ユーザから見える光景と同様の画像である。また、3次元空間の立体地図である変更画像23fは、例えば、3DCGの2次元画像である。なお、標準視点に対応する撮像画像データがある場合には、標準画像21fは、地上で撮像された撮像画像であってもよい。また、標準視点に対応する2次元画像を、モーフィング等の技術により撮像画像データから生成可能な場合に、標準画像21fは、撮像画像データの加工により生成される2次元画像であってもよい。
また、中間画像27gは、標準視点よりも変更視点の近くに位置する別の視点から見た3次元空間の加工平面地図である。当該加工平面地図は、標準画像である通常の平面地図を加工することにより生成される。
また、標準画像21g、変更画像23g及び中間画像27gには、端末装置200−2の向き(即ち、ユーザの向き)を示す矢印51と、端末装置200−2の位置(即ち、ユーザの位置)から目的地への方向を示す矢印53とが示される。
図16を参照して説明した例と同様に、図17の例でも同様の効果が得られる。即ち、3次元空間の平面地図が提供されることにより、端末装置200−2のユーザは、自身の位置、自身の位置の周囲、目的地等を把握することが可能になる。また、上記平面地図は、対応する3次元空間の立体地図、即ちユーザから見える光景と同様の画像と切り替え可能に表示される。よって、ユーザは、対応する3次元空間の立体地図を介して、平面地図とユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間において上空にいるかのように、3次元空間の平面地図を見ることができる。
また、平面地図と立体地図との間に中間画像(加工平面地図)も表示されるので、平面地図と立体地図との対応関係もより直感的に把握することができる。その結果、ユーザは、実空間において地上から上空に移動していくかのように、3次元空間の平面地図を見ることができ、上空から地上に移動していくかのように、3次元空間の立体地図を見ることができる。即ち、臨場感が高められる。
また、ユーザの向きを示す矢印51と、ユーザの位置から目的地への方向を示す矢印53とが示されるので、平面地図で示されている方向が、立体地図でどのような方向になるか、即ちユーザから見える光景でどのような方向になるかを、直感的に把握することができる。
なお、当然ながら、図17を参照して説明した例とは逆に、変更画像が3次元空間の平面地図であり、標準画像が3次元空間の立体地図であってもよい。
<3.3.2.ユーザと同様の視点とより高い視点との間での変更>
第2の例として、標準視点及び変更視点の一方は、端末装置200−2があると想定される高さ付近の視点であり、標準視点及び変更視点の他方は、端末装置200−2があると想定される高さ付近の上記視点よりも高い視点である。この場合の画像の変更を、図18〜20を参照して具体的に説明する。
図18は、端末装置200−2があると想定される高さ付近の視点からより高くに位置する視点への視点変更時における画像の変更の一例を説明するための説明図である。図18を参照すると、変更前の視点(即ち、標準視点)から見た3次元空間の画像(即ち、標準画像)21hと、変更後の視点(即ち、変更視点)から見た3次元空間の画像(即ち、変更画像)23hとが示されている。また、標準視点から変更視点への遷移の際に経由する別の視点から見た3次元空間の画像(即ち、中間画像)27hも示されている。
この例では、標準画像21hは、端末装置200−2があると想定される高さ付近の視点から見た3次元空間の画像である。当該標準画像21hは、例えば、ユーザから見える光景と同様の画像である。
また、変更画像23hは、標準視点よりも高い視点から見た3次元空間の立体地図である。例えば、標準視点は、端末装置200−2があると想定される高さよりも所定の高さ(例えば、50メートル)だけ高い視点である。
また、中間画像27hは、標準視点と変更視点との間の高さの視点から見た3次元空間の画像である。
また、標準画像21h、変更画像23h及び中間画像27hは、例えば、3DCGの2次元画像である。なお、標準視点、変更視点、又は上記別の視点に対応する撮像画像データがある場合には、標準画像21h、変更画像23h又は中間画像27hは、それぞれ、撮像画像であってもよい。例えば、標準画像21hは、地上で撮像された撮像画像であってもよく、変更画像23hは、上空写真のような撮像画像であってもよい。また、標準視点、変更視点、又は上記別の視点に対応する2次元画像を、モーフィング等の技術により撮像画像データから生成可能な場合に、標準画像21h、変更画像23h又は中間画像27hは、撮像画像データの加工により生成される2次元画像であってもよい。
このように、端末装置200−2のユーザの視点よりもより高い視点から見える光景の画像が提供されることにより、ユーザは、当該画像の中で、現在位置から上空に飛び上がったような光景を見ることが可能になる。これにより、ユーザは、遠方の状況まで把握することが可能になる。また、より高い視点から見える光景の画像は、ユーザから見える光景と同様の画像と切り替え可能に表示される。よって、ユーザは、ユーザから見える光景と同様の画像を介して、より高い視点から見える光景の画像とユーザから見える実際の光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間において現在位置から上空に飛び上がるかのように、より高い視点から見える光景と同様の画像を見ることができる。
また、標準画像と変更画像との間に中間画像も表示されるので、ユーザから見える光景と同様の画像とより高い視点から見える光景の画像との対応関係をより直感的に把握することができる。その結果、ユーザは、実空間において地上から上空に徐々に上がっていくかのように、より高い視点から見える光景の画像を見ることができる。即ち、臨場感が高められる。
なお、生成制御部147は、変更視点からさらに遷移する1つ以上の別の視点から見た3次元空間の画像情報の生成をさらに制御してもよい。以下、この点について図19及び図20を参照してより具体的に説明する。
図19は、変更視点からさらに遷移する1つ以上の別の視点から見た3次元空間の画像の一例を説明するための説明図である。図19を参照すると、図18で説明された変更画像23hと、変更視点からさらに遷移した視点から見た3次元空間の画像(以下、追加遷移画像)29とが示されている。例えば、図19に示されるように、視点が変更視点からより前方に遷移して、遷移後の視点から見た3次元空間の画像情報が生成される。そして、当該画像情報が用いられて画像29が表示される。当該視点の遷移は、ユーザ操作に応じて決定されてもよく、又は自動的に決定されてもよい。
このような遷移により、例えば、端末装置200−2ユーザは、視点を自由に移動させて所望の光景の画像を見ることが可能になる。また、例えば、端末装置200−2のユーザは、擬似的な飛行体験を行うこともできる。当該飛行体験では、例えば、通常ではありえないような低空飛行の飛行体験も仮想的に実現可能になる。
図20は、変更視点からの視点の遷移のモードの例を説明するための説明図である。図20を参照すると、視点移動のモードの1つである回避飛行モードと、視点モードの1つである突入飛行モードが示されている。回避飛行モードでは、建物に対応する既存オブジェクト31を回避して視点60が遷移する。一方、突入飛行モードでは、建物に対応する既存オブジェクト31に突入して視点60が遷移する。このような突入モードが採用される場合には、例えば、既存オブジェクト31は、内装までモデリングされる。これにより、突入飛行モードでは、ユーザは、建物の中まで見ることができる。
<<<4.ハードウェア構成>>>
続いて、図21及び図22を参照して、本開示の実施形態に係るサーバ100及び端末装置200のハードウェア構成の一例を説明する。
<<4.1.サーバのハードウェア構成>>
図21を参照して、本開示の実施形態に係るサーバ100のハードウェア構成の一例を説明する。図21は、本開示の実施形態に係るサーバ100のハードウェア構成の一例を示すブロック図である。図21を参照すると、サーバ100は、CPU(Central Processing Unit)801、ROM(Read Only Memory)803、RAM(Random Access Memory)805、GPU(Graphics Processing Unit)807、バス809、記憶媒体811及び通信インターフェース813を備える。
CPU801は、演算処理装置および制御装置として機能し、ROM803、RAM805、又は記憶媒体811に記録された各種プログラムに従って、サーバ100内の動作全般またはその一部を制御する。ROM803は、CPU801が使用するプログラムや演算パラメータ等を記憶する。RAM1805は、CPU801が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。GPU807は、画像情報の生成に関する様々な処理を行う。バス809は、CPU801、ROM803、RAM805及びGPU807を相互に接続する。バス809には、さらに、記憶媒体811及び通信インターフェース813が接続される。
記憶媒体811は、例えば、OS(Operating System)などの基本ソフトウェアや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体811としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリ(nonvolatile memory)が挙げられるが、上記に限られない。
通信インターフェース813は、サーバ100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)外部装置と無線/有線で通信を行うための通信部として機能する。ここで、通信インターフェース813としては、例えば、通信アンテナおよびRF回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられるが、上記に限られない。
なお、サーバ100のうちの、通信部110は、通信インターフェース813により実装され得る。また、記憶部120は、記憶媒体811により実装され得る。また、処理部130及び140は、例えば、CPU801、ROM803、RAM805、GPU807により実装され得る。
<<4.2.端末装置のハードウェア構成>>
図22を参照して、本開示の実施形態に係る端末装置200のハードウェア構成の一例を説明する。図22は、本開示の実施形態に係る端末装置200のハードウェア構成の一例を示すブロック図である。図22を参照すると、端末装置200は、CPU901、ROM903、RAM905、GPU907、バス909、記憶媒体911、通信インターフェース913、GPSセンサ915、地磁気センサ917、加速度センサ919及びタッチパネル930を備える。
端末装置200のうち、CPU901、ROM903、RAM905、GPU907、記憶媒体911及び通信インターフェース913については、サーバ100のCPU801、ROM803、RAM805、GPU807、記憶媒体811及び通信インターフェース813と同様である。よって、ここでは、GPSセンサ915、地磁気センサ917、加速度センサ919及びタッチパネル930について説明する。
GPSセンサ915は、端末装置200の位置を示す位置情報を検出する。当該位置情報は、例えば、実空間における3次元の座標情報を含む。また、地磁気センサ917は、端末装置200の方位を検出する。また、加速度センサ919は、端末装置200の加速度を検出する。加速度センサ919は、例えば、水平2軸及び垂直1軸の加速度を検出する3軸加速度センサである。加速度センサ919は、重力加速度も検出できる。即ち、端末装置200の垂直方向における傾きを特定するための情報を出力する。
タッチパネル930は、タッチ検出面931及び表示面933を含む。
タッチ検出面931は、タッチパネル930におけるタッチ位置を検出する。より具体的には、例えば、ユーザが、タッチパネル930にタッチすると、タッチ検出面931は、当該タッチを感知し、当該タッチの位置に応じた電気信号を生成し、そして当該電気信号をタッチ位置の情報に変換する。タッチ検出面931は、例えば、静電容量方式、抵抗膜方式、光学式等の任意のタッチ検出方式に従って形成され得る。
表示面933は、端末装置200からの出力画像を表示する。表示面933は、例えば、液晶、有機EL(Organic Light-Emitting Diode:OLED)、CRT(Cathode Ray Tube)等を用いて実現され得る。
なお、端末装置200のうちの、通信部210は、例えば、通信インターフェース913により実装され得る。また、記憶部220は、例えば、記憶媒体911により実装され得る。また、位置検出部230は、例えば、GPSセンサ915により実装され得る。また、向き検出部240は、例えば、地磁気センサ917、加速度センサ919、並びに、CPU901、ROM903及びRAM905により実装され得る。また、表示部250は、例えば、タッチパネル930の表示面933により実装され得る。また、処理部260、例えば、261は、例えば、CPU901、ROM903、RAM905及びGPU907により実装され得る。
<<7.まとめ>>
ここまで、図1〜図22を用いて、本開示の実施形態に係る各装置及び情報処理を説明した。本開示に係る実施形態によれば、端末装置200の位置を示す位置情報及び端末装置200の向きを示す向き情報に基づく、3次元空間の画像情報の生成が、制御される。また、画像情報の上記生成に関する変更の要求(即ち、変更要求)が取得される。そして、端末装置200の位置及び向きに対応する、3次元空間の第1の画像情報(即ち、標準画像情報)が生成されるように、上記生成が制御される。また、変更要求が取得されると、端末装置200の位置、端末装置200の向き及び上記変更に対応する、3次元空間の第2の画像情報(即ち、変更画像情報)が生成されるように、上記生成が制御される。
標準画像情報及び変更画像情報の一方は、ユーザから実際に見える光景と同様の画像に対応し、標準画像情報及び変更画像情報の他方は、ユーザが見たい所望の光景の画像に対応する。即ち、端末装置200−2のユーザは、当該ユーザから見える光景と同様の画像と、当該ユーザが見たい所望の光景の画像との両方を、要求により自由に見ることが可能になる。端末装置200−2のユーザは、当該ユーザから見える光景と、当該光景の画像とを見ることにより、ユーザから見える光景と当該光景の画像との対応関係を直感的に把握することができる。そして、ユーザは、ユーザから見える光景と同様の画像とユーザが見たい所望の光景の画像とを切り替えて見ることで、ユーザが見たい所望の光景の画像とユーザから実際に見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、ユーザが見たい所望の光景の画像を見ることができる。
また、第1の実施形態によれば、端末100の位置及び向きに対応する、3次元空間の第1の画像情報が、生成される。また、端末100の位置及び向きに対応する、一部又は全部が変更された3次元空間の第2の画像情報も、要求に応じて、生成される。
これにより、端末装置200のユーザは、ユーザが見たい所望の光景の画像として、実空間と一部又は全体で異なる3次元空間、即ち編集された3次元空間の画像を自由に見ることが可能になる。また、端末装置200のユーザは、ユーザから実際に見える光景と同様の画像として、実空間と同様の3次元空間、即ち編集されていない3次元空間の画像も見ることが可能になる。そのため、端末装置200のユーザは、編集されていない3次元空間の画像を介して、編集された3次元空間の画像と、ユーザから実際に見える光景との対応関係を、直感的に把握することができるその結果、ユーザは、実空間に近い感覚で、編集された3次元空間の画像を見ることができる。
また、第1の実施形態において、3次元空間の変更の第1の具体例によれば、3次元空間の変更は、3次元空間の一部又は全部に含まれるオブジェクトのうちの、条件を満たすオブジェクトを削除すること、又は3次元空間の変更は、条件を満たすオブジェクトが配置されていない3次元空間の一部又は全部に、当該条件を満たすオブジェクトを追加することである。
例えば、上記条件を満たすオブジェクトは、対象のオブジェクト以外のオブジェクトである。これにより、端末装置200−1のユーザは、対象のオブジェクト(例えば、目的地)とその周辺環境を把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21aを介して、変更画像23aとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23aの中の対象のオブジェクト(例えば、目的地)とその周辺環境を見ることができる。
また、例えば、上記条件を満たすオブジェクトは、所定の高さを超えるオブジェクトである。これにより、端末装置200−1のユーザは、遠方の景色を把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21bを介して、変更画像23bとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23bの中の遠方の景色を見ることができる。
また、第1の実施形態において、3次元空間の変更の第3の具体例によれば、3次元空間の変更は、3次元空間の一部に含まれるオブジェクトを、別のオブジェクトに置き換えることである。
これにより、端末装置200−1のユーザは、想定される変更が実空間においてあった場合にどのように光景が変わるのかを把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21cを介して、変更画像23cとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23cの中の想定される変更の後の光景を見ることができる。
また、第1の実施形態において、3次元空間の変更の第4の具体例によれば、3次元空間の変更は、第1の時間に対応する3次元空間から、第2の時間に対応する3次元空間への、3次元空間の変更である。
これにより、例えば、端末装置200−1のユーザは、過去の光景がどのような光景であったのか、又は未来の光景がどのように変わるのかを把握することが可能になる。また、ユーザは、ユーザから見える光景と同様の画像である標準画像21aを介して、変更画像23aとユーザから見える光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、変更画像23aの中の過去又は未来の光景を見ることができる。
また、第1の実施形態において、3次元空間の変更の第5の具体例によれば、3次元空間の変更は、3次元空間のうちの、端末装置100の記位置に対応する位置を含む第1の領域(即ち、維持領域)を維持し、上記3次元空間のうちの、上記一部の領域以外の第2の領域(即ち、簡略化領域と呼ぶ)を簡略化することである。そして、標準画像情報は、端末装置100の位置及び向きに対応する、3次元空間の地図情報であり、変更画像情報は、端末装置100の位置及び向きに対応する、変更後の3次元空間の地図情報である。また、上記維持領域は、例えば、蓄積された端末装置200−1の位置の履歴に基づいて決定される。
これにより、例えば、実空間を模した3次元空間の地図情報が生成されることで、例えば、生成された地図情報をゲームに利用することができる。例えば、当該地図情報は、実空間を模した3次元空間を舞台とするゲーム用の地図情報として利用することができる。また、上記地図情報は、3次元空間データであり、当該3次元空間データをゲーム用の3次元空間データ(ゲーム用のステージ)として用いることができる。即ち、ユーザがよく知っている領域について詳細まで見ることができ、よく知らない領域については細部まで見ることができない、ゲーム用の地図情報及び/又はステージを、得ることが可能になる。これにより、ユーザの体験に基づいたよりリアルな体験を与えるゲームを提供できる。
また、第2の実施形態によれば、端末100の位置及び向きに対応する第1の視点(即ち、標準視点)から見た3次元空間の第1の画像情報が生成される。また、端末100の位置及び向きに対応する第2の視点(即ち、変更視点)から見た3次元空間の第2の画像情報が生成される。
これにより、端末装置200のユーザは、ユーザから見える光景と同様の画像とは別に、ユーザの現在の位置及び向きに応じた別の視点からの光景の画像を、ユーザが見たい所望の光景の画像として、自由に見ることが可能になる。また、端末装置200のユーザは、ユーザから実際に見える光景と同様の画像も見ることが可能になる。そのため、端末装置200のユーザは、ユーザから実際に見える光景と同様の画像を介して、別の視点からの光景の画像と、ユーザから実際に見える光景との対応関係を、直感的に把握することができる。その結果、ユーザは、実空間に近い感覚で、別の視点からの光景の画像を見ることができる。
また、第2の実施形態において、視点の変更の第1の具体例によれば、標準画像情報及び変更画像情報の一方は、3次元空間の平面地図の画像情報であり、標準画像情報及び変更画像情報の他方は、端末装置200−2があると想定される高さ付近の視点から見た3次元空間の立体地図の画像情報である。
これにより、3次元空間の平面地図が提供されることにより、端末装置200−2のユーザは、自身の位置、自身の位置の周囲、目的地等を把握することが可能になる。また、上記平面地図は、対応する3次元空間の立体地図、即ちユーザから見える光景と同様の画像と切り替え可能に表示される。よって、ユーザは、対応する3次元空間の立体地図を介して、平面地図とユーザから見える実際の光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間において上空にいるかのように、3次元空間の平面地図を見ることができる。
また、第2の実施形態において、視点の変更の第2の具体例によれば、標準視点及び変更視点の一方は、端末装置200−2があると想定される高さ付近の視点であり、標準視点及び変更視点の他方は、端末装置200−2があると想定される高さ付近の上記視点よりも高い視点である。
これにより、ユーザは、当該画像の中で、現在位置から上空に飛び上がったような光景を見ることが可能になる。これにより、ユーザは、遠方の状況まで把握することが可能になる。また、より高い視点から見える光景の画像は、ユーザから見える光景と同様の画像と切り替え可能に表示される。よって、ユーザは、ユーザから見える光景と同様の画像を介して、より高い視点から見える光景の画像とユーザから見える実際の光景との対応関係を直感的に把握することができる。その結果、ユーザは、実空間において現在位置から上空に飛び上がるかのように、より高い視点から見える光景と同様の画像を見ることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
例えば、情報処理システムの構成は、上述した例に限られない。例えば、サーバの機能は、端末装置に実装されてもよい。即ち、情報処理システムは、サーバを含まず、端末装置のみであってもよい。
また、例えば、サーバは、上述した例の構成に限られない。例えば、サーバは、要求取得部及び生成制御部を備え、情報取得部、画像情報生成部等の構成要素は、別の装置(例えば、端末装置、別のサーバ、等)に備えられてもよい。
また、例えば、端末装置は、スマートフォンに限られない。端末装置は、例えば、スマートフォン以外の携帯電話端末、PC(Personal Computer)、携帯情報端末(Personal Digital Assistant)、カーナビゲーションシステム、デジタルカメラ、ゲーム機器等の、ユーザにより使用される別の装置であってもよい。また、特開2008−67218号公報に開示されるような撮像表示装置、又はヘッドマウントディスプレイであってもよい。
また、例えば、端末装置の位置検出部、向き検出部及び表示部は、端末装置に内蔵されずに、外部接続装置であってもよい。
また、本明細書の情報処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、情報処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。
また、サーバ及び端末装置に内蔵されるCPU、ROM及びRAM等のハードウェアに、上記サーバ及び上記端末装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
端末装置の位置を示す位置情報及び前記端末装置の向きを示す向き情報に基づく、3次元空間の画像情報の生成を、制御する制御部と、
前記画像情報の前記生成に関する変更の要求を取得する取得部と、
を備え、
前記制御部は、前記位置及び前記向きに対応する、前記3次元空間の第1の画像情報が生成されるように、前記生成を制御し、前記要求が取得されると、前記位置、前記向き及び前記変更に対応する、前記3次元空間の第2の画像情報が生成されるように、前記生成を制御する、
情報処理装置。
(2)
前記変更は、前記3次元空間の一部又は全部の変更であり、
前記第2の画像情報は、前記位置及び前記向きに対応する、前記変更後の前記3次元空間の画像情報である、
前記(1)に記載の情報処理装置。
(3)
前記第1の画像情報は、前記位置及び前記向きに対応する視点から見た前記3次元空間の画像情報であり、
前記第2の画像情報は、前記視点から見た前記変更後の前記3次元空間の画像情報である、
前記(2)に記載の情報処理装置。
(4)
前記変更は、前記3次元空間に含まれるオブジェクトを追加し、削除し、又は変更することである、前記(3)に記載の情報処理装置。
(5)
前記変更は、前記3次元空間の一部又は全部に含まれるオブジェクトのうちの、条件を満たすオブジェクトを削除すること、又は、当該条件を満たすオブジェクトが配置されていない前記3次元空間の一部又は全部に、当該条件を満たすオブジェクトを追加すること、を含む、前記(4)に記載の情報処理装置。
(6)
前記条件を満たすオブジェクトは、対象のオブジェクト以外のオブジェクトである、前記(5)に記載の情報処理装置。
(7)
前記条件を満たすオブジェクトは、所定の高さを超えるオブジェクトである、前記(5)に記載の情報処理装置。
(8)
前記変更は、前記3次元空間の一部に含まれるオブジェクトを、別のオブジェクトに置き換えることを含む、前記(4)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、置き換えられた前記別のオブジェクトの中又は近傍に位置する視点から見た前記変更後の前記3次元空間の画像情報の生成をさらに制御する、前記(8)に記載の情報処理装置。
(10)
前記変更は、前記3次元空間に含まれる個別のオブジェクトの一部を変更することを含む、前記(4)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記オブジェクトは、建物に対応するオブジェクトを含む、前記(4)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記変更は、第1の時間に対応する前記3次元空間から、第2の時間に対応する前記3次元空間への、前記3次元空間の変更を含む、前記(3)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記第1の画像情報は、前記位置及び前記向きに対応する、前記3次元空間の地図情報であり、
前記変更は、前記3次元空間のうちの、前記位置に対応する位置を含む第1の領域を維持し、前記3次元空間のうちの、前記一部の領域以外の第2の領域を簡略化することであり、
前記第2の画像情報は、前記位置及び前記向きに対応する、前記変更後の前記3次元空間の地図情報である、
前記(2)に記載の情報処理装置。
(14)
前記第1の領域は、蓄積された前記端末装置の位置の履歴に基づいて決定される、前記(13)に記載の情報処理装置。
(15)
前記変更は、前記3次元空間の前記画像情報を生成するための視点の変更であり、
前記第1の画像情報は、前記位置及び前記向きに対応する第1の視点から見た前記3次元空間の画像情報であり、
前記第2の画像情報は、前記位置及び前記向きに対応する第2の視点から見た前記3次元空間の画像情報である、
前記(1)に記載の情報処理装置。
(16)
前記第1の視点と前記第2の視線とは、異なる高さに位置する、前記(15)に記載の情報処理装置。
(17)
前記第1の画像情報及び前記第2の画像情報の一方は、前記3次元空間の平面地図の画像情報であり、
前記第1の画像情報及び前記第2の画像情報の他方は、前記端末装置があると想定される高さ付近の視点から見た前記3次元空間の立体地図の画像情報である、
前記(16)に記載の情報処理装置。
(18)
前記第1の視点及び前記第2の視点の一方は、前記端末装置があると想定される高さ付近の視点であり、
前記第1の視点及び前記第2の視点の他方は、前記端末装置があると想定される高さ付近の前記視点よりも高い視点である、
前記(16)に記載の情報処理装置。
(19)
前記制御部は、前記第1の視点から前記第2の視点への遷移の際に経由する1つ以上の別の視点から見た前記3次元空間の画像情報の生成をさらに制御する、
前記(15)〜(18)のいずれか1項に記載の情報処理装置。
(20)
コンピュータを、
端末装置の位置を示す位置情報及び前記端末装置の向きを示す向き情報に基づく、3次元空間の画像情報の生成を、制御する制御部と、
前記画像情報の前記生成に関する変更の要求を取得する取得部と、
として機能させ、
前記制御部は、前記位置及び前記向きに対応する、前記3次元空間の第1の画像情報が生成されるように、前記生成を制御し、前記要求が取得されると、前記位置、前記向き及び前記変更に対応する、前記3次元空間の第2の画像情報が生成されるように、前記生成を制御する、
プログラム。
10 ネットワーク
21 標準画像
23 変更画像
31 既存オブジェクト
33 新規オブジェクト
35 変更オブジェクト
41 維持領域
43 簡略化領域
100 サーバ
110 通信部
120 記憶部
130、140 処理部
131 情報取得部
133、143 要求取得部
135、145 画像情報生成部
137、147 生成制御部
200 端末装置
210 通信部
220 記憶部
230 位置検出部
240 向き検出部
250 表示部
260、261 処理部

Claims (20)

  1. 端末装置の位置を示す位置情報及び前記端末装置の向きを示す向き情報に基づく、3次元空間の画像情報の生成を、制御する制御部と、
    前記画像情報の前記生成に関する変更の要求を取得する取得部と、
    を備え、
    前記制御部は、前記位置及び前記向きに対応する、前記3次元空間の第1の画像情報が生成されるように、前記生成を制御し、前記要求が取得されると、前記位置、前記向き及び前記変更に対応する、前記3次元空間の第2の画像情報が生成されるように、前記生成を制御する、
    情報処理装置。
  2. 前記変更は、前記3次元空間の一部又は全部の変更であり、
    前記第2の画像情報は、前記位置及び前記向きに対応する、前記変更後の前記3次元空間の画像情報である、
    請求項1に記載の情報処理装置。
  3. 前記第1の画像情報は、前記位置及び前記向きに対応する視点から見た前記3次元空間の画像情報であり、
    前記第2の画像情報は、前記視点から見た前記変更後の前記3次元空間の画像情報である、
    請求項2に記載の情報処理装置。
  4. 前記変更は、前記3次元空間に含まれるオブジェクトを追加し、削除し、又は変更することである、請求項3に記載の情報処理装置。
  5. 前記変更は、前記3次元空間の一部又は全部に含まれるオブジェクトのうちの、条件を満たすオブジェクトを削除すること、又は、当該条件を満たすオブジェクトが配置されていない前記3次元空間の一部又は全部に、当該条件を満たすオブジェクトを追加すること、を含む、請求項4に記載の情報処理装置。
  6. 前記条件を満たすオブジェクトは、対象のオブジェクト以外のオブジェクトである、請求項5に記載の情報処理装置。
  7. 前記条件を満たすオブジェクトは、所定の高さを超えるオブジェクトである、請求項5に記載の情報処理装置。
  8. 前記変更は、前記3次元空間の一部に含まれるオブジェクトを、別のオブジェクトに置き換えることを含む、請求項4に記載の情報処理装置。
  9. 前記制御部は、置き換えられた前記別のオブジェクトの中又は近傍に位置する視点から見た前記変更後の前記3次元空間の画像情報の生成をさらに制御する、請求項8に記載の情報処理装置。
  10. 前記変更は、前記3次元空間に含まれる個別のオブジェクトの一部を変更することを含む、請求項4に記載の情報処理装置。
  11. 前記オブジェクトは、建物に対応するオブジェクトを含む、請求項4に記載の情報処理装置。
  12. 前記変更は、第1の時間に対応する前記3次元空間から、第2の時間に対応する前記3次元空間への、前記3次元空間の変更を含む、請求項3に記載の情報処理装置。
  13. 前記第1の画像情報は、前記位置及び前記向きに対応する、前記3次元空間の地図情報であり、
    前記変更は、前記3次元空間のうちの、前記位置に対応する位置を含む第1の領域を維持し、前記3次元空間のうちの、前記一部の領域以外の第2の領域を簡略化することであり、
    前記第2の画像情報は、前記位置及び前記向きに対応する、前記変更後の前記3次元空間の地図情報である、
    請求項2に記載の情報処理装置。
  14. 前記第1の領域は、蓄積された前記端末装置の位置の履歴に基づいて決定される、請求項13に記載の情報処理装置。
  15. 前記変更は、前記3次元空間の前記画像情報を生成するための視点の変更であり、
    前記第1の画像情報は、前記位置及び前記向きに対応する第1の視点から見た前記3次元空間の画像情報であり、
    前記第2の画像情報は、前記位置及び前記向きに対応する第2の視点から見た前記3次元空間の画像情報である、
    請求項1に記載の情報処理装置。
  16. 前記第1の視点と前記第2の視線とは、異なる高さに位置する、請求項15に記載の情報処理装置。
  17. 前記第1の画像情報及び前記第2の画像情報の一方は、前記3次元空間の平面地図の画像情報であり、
    前記第1の画像情報及び前記第2の画像情報の他方は、前記端末装置があると想定される高さ付近の視点から見た前記3次元空間の立体地図の画像情報である、
    請求項16に記載の情報処理装置。
  18. 前記第1の視点及び前記第2の視点の一方は、前記端末装置があると想定される高さ付近の視点であり、
    前記第1の視点及び前記第2の視点の他方は、前記端末装置があると想定される高さ付近の前記視点よりも高い視点である、
    請求項16に記載の情報処理装置。
  19. 前記制御部は、前記第1の視点から前記第2の視点への遷移の際に経由する1つ以上の別の視点から見た前記3次元空間の画像情報の生成をさらに制御する、
    請求項15に記載の情報処理装置。
  20. コンピュータを、
    端末装置の位置を示す位置情報及び前記端末装置の向きを示す向き情報に基づく、3次元空間の画像情報の生成を、制御する制御部と、
    前記画像情報の前記生成に関する変更の要求を取得する取得部と、
    として機能させ、
    前記制御部は、前記位置及び前記向きに対応する、前記3次元空間の第1の画像情報が生成されるように、前記生成を制御し、前記要求が取得されると、前記位置、前記向き及び前記変更に対応する、前記3次元空間の第2の画像情報が生成されるように、前記生成を制御する、
    プログラム。
JP2014526812A 2012-07-25 2013-06-12 情報処理装置及びプログラム Active JP6090321B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012164581 2012-07-25
JP2012164581 2012-07-25
PCT/JP2013/066161 WO2014017200A1 (ja) 2012-07-25 2013-06-12 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2014017200A1 true JPWO2014017200A1 (ja) 2016-07-07
JP6090321B2 JP6090321B2 (ja) 2017-03-08

Family

ID=49997016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014526812A Active JP6090321B2 (ja) 2012-07-25 2013-06-12 情報処理装置及びプログラム

Country Status (5)

Country Link
US (1) US9600931B2 (ja)
EP (1) EP2879096A4 (ja)
JP (1) JP6090321B2 (ja)
CN (1) CN104471616A (ja)
WO (1) WO2014017200A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US9971470B2 (en) * 2015-09-30 2018-05-15 Apple Inc. Navigation application with novel declutter mode
JP6773316B2 (ja) * 2016-08-16 2020-10-21 Necソリューションイノベータ株式会社 案内支援装置、案内支援方法、及びプログラム
US11182950B2 (en) * 2017-05-23 2021-11-23 Sony Corporation Information processing device and information processing method
JP2020034844A (ja) * 2018-08-31 2020-03-05 パイオニア株式会社 画像制御プログラム、画像制御装置及び画像制御方法
WO2020238022A1 (zh) * 2019-05-28 2020-12-03 贝壳找房(北京)科技有限公司 三维空间视图显示方法、装置及存储介质
JP7305919B2 (ja) * 2019-06-26 2023-07-11 株式会社竹中工務店 建物設計支援装置及び建物設計支援プログラム
JP2020098635A (ja) * 2020-02-14 2020-06-25 凸版印刷株式会社 コンテンツ表示端末、コンテンツ提供方法、および、コンテンツ表示プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03136087A (ja) * 1989-10-23 1991-06-10 Nippon Telegr & Teleph Corp <Ntt> 目的地詳細型地図表示装置
JPH09171348A (ja) * 1995-12-19 1997-06-30 Honda Motor Co Ltd 車載用ナビゲーション装置
JPH09292830A (ja) * 1996-04-25 1997-11-11 Hitachi Ltd 電子地図表示方法及び電子地図表示装置
JP2001059734A (ja) * 1999-08-23 2001-03-06 Equos Research Co Ltd ナビゲーション装置
JP2001338037A (ja) * 2000-05-29 2001-12-07 Wall:Kk 三次元コンピュータグラフィック画像生成用サーバ
JP2002168634A (ja) * 2000-09-19 2002-06-14 Alpine Electronics Inc 車載用ナビゲーション装置の立体地図表示方法
JP2007156498A (ja) * 2005-11-14 2007-06-21 Art Core:Kk 広告宣伝や案内用広告媒体
JP2008058282A (ja) * 2006-09-04 2008-03-13 Mitsubishi Electric Corp ナビゲーションシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333155A (ja) 2003-04-30 2004-11-25 Sony Corp 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP4961914B2 (ja) 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
JP5299054B2 (ja) * 2009-04-21 2013-09-25 ソニー株式会社 電子機器、表示制御方法およびプログラム
CN102538802B (zh) * 2010-12-30 2016-06-22 上海博泰悦臻电子设备制造有限公司 三维导航显示方法以及相关装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03136087A (ja) * 1989-10-23 1991-06-10 Nippon Telegr & Teleph Corp <Ntt> 目的地詳細型地図表示装置
JPH09171348A (ja) * 1995-12-19 1997-06-30 Honda Motor Co Ltd 車載用ナビゲーション装置
JPH09292830A (ja) * 1996-04-25 1997-11-11 Hitachi Ltd 電子地図表示方法及び電子地図表示装置
JP2001059734A (ja) * 1999-08-23 2001-03-06 Equos Research Co Ltd ナビゲーション装置
JP2001338037A (ja) * 2000-05-29 2001-12-07 Wall:Kk 三次元コンピュータグラフィック画像生成用サーバ
JP2002168634A (ja) * 2000-09-19 2002-06-14 Alpine Electronics Inc 車載用ナビゲーション装置の立体地図表示方法
JP2007156498A (ja) * 2005-11-14 2007-06-21 Art Core:Kk 広告宣伝や案内用広告媒体
JP2008058282A (ja) * 2006-09-04 2008-03-13 Mitsubishi Electric Corp ナビゲーションシステム

Also Published As

Publication number Publication date
EP2879096A1 (en) 2015-06-03
JP6090321B2 (ja) 2017-03-08
CN104471616A (zh) 2015-03-25
EP2879096A4 (en) 2016-02-24
US9600931B2 (en) 2017-03-21
US20150213642A1 (en) 2015-07-30
WO2014017200A1 (ja) 2014-01-30

Similar Documents

Publication Publication Date Title
JP6090321B2 (ja) 情報処理装置及びプログラム
US10438401B2 (en) Caching in map systems for displaying panoramic images
US11783543B2 (en) Method and system for displaying and navigating an optimal multi-dimensional building model
JP7344974B2 (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
US11367257B2 (en) Information processing apparatus, information processing method, and storage medium
AU2015332046B2 (en) Street-level guidance via route path
US20130328867A1 (en) Apparatus and method for providing augmented reality information using three dimension map
US20130321461A1 (en) Method and System for Navigation to Interior View Imagery from Street Level Imagery
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US9990750B1 (en) Interactive geo-referenced source imagery viewing system and method
KR101212636B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
JP2012084146A (ja) 拡張現実(ar)を提供するユーザ装置及び方法
US20170046878A1 (en) Augmented reality mobile application
US9239892B2 (en) X-ray vision for buildings
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
CN113677412B (zh) 信息处理装置、信息处理方法和程序
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP6512679B2 (ja) 情報システム、上空地図情報出力方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170123

R151 Written notification of patent or utility model registration

Ref document number: 6090321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250