JP2024004019A

JP2024004019A - 制御装置及び制御システム

Info

Publication number: JP2024004019A
Application number: JP2022103446A
Authority: JP
Inventors: 勇貴小林; Yuki Kobayashi
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2022-06-28
Filing date: 2022-06-28
Publication date: 2024-01-16

Abstract

【課題】仮想空間において、アプリケーションを実行することによって表示されるアプリ画像の位置を、ユーザが俯瞰的に把握できる。【解決手段】建物の内部においてユーザＵの位置に応じた仮想空間ＶＳを示す画像を、表示装置１５に表示させる制御装置１０であって、建物の内部を３次元で表現した３次元地図ＴＭを生成する生成部１１２と、アプリケーションを実行することによって得られるアプリ画像Ｗが仮想空間ＶＳ上に配置される第１の位置と、アプリケーションに対応する対応画像Ｉが３次元地図ＴＭ上に配置される第２の位置とを対応付けて管理する管理部１１３と、仮想空間ＶＳ上の第１の位置にアプリ画像Ｗを表示装置１５に表示させると共に、ユーザＵの操作に応じて対応画像Ｉが第２の位置に配置された３次元地図ＴＭを表示装置１５に表示させる表示制御部１１５と、を備える。【選択図】図５

Description

本発明は、制御装置及び制御システムに関する。

ＶＲ（Virtual Reality）技術、ＡＲ（Augmented Reality）技術、及びＭＲ（Mixed Reality）技術といったＸＲ技術を用いることにより、ＸＲ空間における様々な場所に、各種の仮想オブジェクトが配置されることがある。そのため、ＸＲ空間を体験するユーザ自身が、各々の仮想オブジェクトの位置を把握することに困難性が伴う。

例えば特許文献１に記載されたゲーム装置は、３次元の仮想空間に対応する３次元モデルによって構成されるマップオブジェクトを生成する。このマップオブジェクトには、プレイヤーを示すプレイヤアイコンが配置される。即ち、従来のゲーム装置は、ゲームの状況をユーザに視認できるように、ゲームに登場するアイテム及びプレイヤアイコンを配置したマップオブジェクトを表示する。

特開２０２１－１０２０６６号公報

しかし、従来のゲーム装置が提供するマップオブジェクトは、ゲームの仮想空間を３次元で表現しているに過ぎないため、従来のゲーム装置は、現実空間に対応付けられた３次元地図と仮想オブジェクトの関係を表示できなかった。特に、仮想オブジェクトがアプリケーションを実行することによって表示されるアプリ画像である場合、アプリ画像を現実空間と対応付けて仮想的に仮想空間に配置した位置と、３次元地図上の位置とを対応付けて管理できなかった。

そこで、本発明は、仮想オブジェクトがアプリケーションを実行することによって表示されるアプリ画像である場合、アプリ画像を現実空間と対応付けて仮想的に仮想空間に配置した位置と、３次元地図上の位置とを対応付けて管理できる制御装置及び制御システムを提供することを目的とする。

本発明の好適な態様に係る制御装置は、建物の内部においてユーザの位置に応じた仮想空間を示す画像を、表示装置に表示させる制御装置であって、前記建物の内部を３次元で表現した３次元地図を生成する生成部と、アプリケーションを実行することによって得られるアプリ画像が前記仮想空間上に配置される第１の位置と、前記アプリケーションに対応する対応画像が前記３次元地図上に配置される第２の位置とを対応付けて管理する管理部と、前記仮想空間上の第１の位置に前記アプリ画像を前記表示装置に表示させると共に、前記ユーザの操作に応じて前記対応画像が前記第２の位置に配置された前記３次元地図を前記表示装置に表示させる表示制御部と、を備える制御装置である。

本発明によれば、仮想オブジェクトがアプリケーションを実行することによって表示されるアプリ画像である場合、アプリ画像を現実空間と対応付けて仮想的に仮想空間に配置した位置と、３次元地図上の位置とを対応付けて管理することが可能となる。

制御システム１の全体構成を示す図。３次元地図ＴＭの一例を示す図。ユーザＵ_Ｊが視認する仮想空間ＶＳを示す画像の一例を示す図。ＸＲグラス２０－Ｊの構成例を示すブロック図。端末装置１０－Ｊの構成例を示すブロック図。対応関係テーブルＴＢ１の一例を示す表。サーバ３０の構成例を示すブロック図。制御システム１に含まれる端末装置１０－Ｊの動作を示すフローチャート。

１：第１実施形態
以下、図１～図８を参照しつつ、本発明の第１実施形態に係る制御装置としての端末装置１０を含む制御システム１の構成について説明する。

１－１：第１実施形態の構成
１－１－１：全体構成
図１は、制御システム１の全体構成を示す図である。図１に示されるように、制御システム１は、端末装置１０－１、１０－２、…１０－Ｊ、…１０－Ｋ、…１０－Ｎ、ＸＲグラス２０－Ｊ、及びサーバ３０を備える。Ｎは１以上の整数である。Ｊは１以上Ｎ以下の整数である。Ｋは１以上Ｎ以下であると共に、Ｊとは異なる整数である。本実施形態において、端末装置１０－１～１０－Ｎは同一の構成である。但し、構成が同一でない端末装置が含まれても良い。なお、以下では端末装置１０－１～１０－Ｎを、「端末装置１０」として総称することがある。

制御システム１において、端末装置１０－１、１０－２、…１０－Ｊ、…１０－Ｋ、…１０－Ｎと、サーバ３０とは、通信網ＮＥＴを介して互いに通信可能に接続される。また、端末装置１０－ＪとＸＲグラス２０－Ｊとは互いに通信可能に接続される。なお、図１において、ユーザＵ_Ｊは、端末装置１０－ＪとＸＲグラス２０－Ｊとの組を利用するものとする。ユーザＵ_Ｋは、端末装置１０－Ｋを利用するものとする。なお、ユーザＵ_Ｋは、端末装置１０－Ｋに備わる後述のディスプレイ１５の代わりに、ユーザＵ_Ｊが使用するＸＲグラス２０－Ｊと同様のＸＲグラスを使用してもよい。また、図１において、端末装置１０－１～１０－Ｎのうち、端末装置１０－Ｊ及び端末装置１０－Ｋ以外の端末装置１０に、ＸＲグラス２０－Ｊと同様のＸＲグラスが接続されてもよく、接続されなくてもよい。なお、ユーザＵ_ＪとユーザＵ_Ｋとを含む一般的なユーザを、「ユーザＵ」と総称する。

サーバ３０は、通信網ＮＥＴを介して、端末装置１０－１～１０－Ｎに対して各種データ及びクラウドサービスを提供する。とりわけ、サーバ３０は、端末装置１０－１～１０－Ｎに対して、ＸＲ空間に表示される各種コンテンツを提供する。

端末装置１０－１～１０－Ｎは、当該端末装置１０－１～１０－Ｎに備わる、後述のディスプレイ１５、及び、端末装置１０－Ｊに接続され、ユーザＵ_Ｊが頭部に装着するＸＲグラス２０－Ｊに対して、仮想オブジェクトを含む仮想空間を表示させる。仮想オブジェクトは、例として、静止画像、動画、３ＤＣＧモデル、ＨＴＭＬファイル、及びテキストファイル等のデータを示す仮想オブジェクト、及びアプリケーションを示す仮想オブジェクトである。ここで、テキストファイルとしては、例として、メモ、及びソースコードが挙げられる。また、アプリケーションとしては、例として、ブラウザ、ＳＮＳを用いるためのアプリケーション、及びドキュメントファイルを生成するためのアプリケーションが挙げられる。なお、端末装置１０－１～１０－Ｎは、例として、スマートフォン、及びタブレット等の携帯端末装置であることが好適である。

ＸＲグラス２０－Ｊは、ユーザＵ_Ｊの頭部に装着するシースルー型のウェアラブルディスプレイである。すなわち、ユーザＵ_Ｊは、ＸＲグラス２０－Ｊを通して、外界を視認可能である。ＸＲグラス２０－Ｊは、端末装置１０－Ｊが制御することによって、両眼用のレンズの各々に設けられた表示パネルに仮想オブジェクトを表示させる。また、以下ではＸＲグラス２０－ＪがＭＲグラスである場合の例について説明する。しかし、ＸＲグラス２０－ＪがＭＲグラスであることはあくまで一例であり、ＸＲグラス２０－Ｊは、ＶＲグラス又はＡＲグラスであってもよい。

とりわけ本実施形態において、ＸＲグラス２０－Ｊを装着したユーザＵ_Ｊは、建物の内部において、ユーザＵ_Ｊの位置に応じた仮想空間を示す画像を、ＸＲグラス２０－Ｊ上で視認する。更に、ＸＲグラス２０－Ｊには、当該建物の内部を３次元で表現した３次元地図が表示される。

図２は、３次元地図ＴＭの一例を示す図である。また、図３は、ユーザＵ_Ｊが視認する仮想空間ＶＳを示す画像の一例を示す図である。

図２に示されるように、３次元地図ＴＭは、ユーザＵ_Ｊが位置する建物の内部を３次元で表現した３次元地図である。図２に例示される３次元地図ＴＭにおいて、当該建物には、第１寝室Ｂ１、第２寝室Ｂ２、リビングＬ１、及び玄関Ｅ１が含まれる。また、第１寝室Ｂ１に対応する空間には、アイコンＩ１が表示される。アイコンＩ１は、一例として、動画アプリケーションに対応するアイコンである。当該アイコンＩ１は、上記の建物の内部の現実空間に重畳する仮想空間ＶＳのうち、第１寝室Ｂ１に対応する位置において、動画アプリケーションを実行することによって得られるアプリ画像が配置されていることを示す。ここで、仮想空間ＶＳにおいて、動画アプリケーションを実行することによって得られるアプリ画像が配置される位置は、「第１の位置」の一例である。また、３次元地図ＴＭにおいて、アイコンＩ１が配置される位置は、「第２の位置」の一例である。

同様に、リビングＬ１に対応する空間には、アイコンＩ２が表示される。アイコンＩ２は、一例として、地図アプリケーションに対応するアイコンである。当該アイコンＩ２は、上記の建物の内部の現実空間に重畳する仮想空間ＶＳのうち、リビングＬ１に対応する位置において、地図アプリケーションを実行することによって得られるアプリ画像が配置されていることを示す。ここで、仮想空間ＶＳにおいて、地図アプリケーションを実行することによって得られるアプリ画像が配置される位置は、「第１の位置」の一例である。また、３次元地図ＴＭにおいて、アイコンＩ２が配置される位置は、「第２の位置」の一例である。

同様に、玄関Ｅ１に対応する空間には、アイコンＩ３が表示される。アイコンＩ３は、一例として、ＴｏＤｏリストアプリケーションに対応するアイコンである。当該アイコンＩ３は、上記の建物の内部の現実空間に重畳する仮想空間ＶＳのうち、玄関Ｅ１に対応する位置において、ＴｏＤｏリストアプリケーションを実行することによって得られるアプリ画像が配置されていることを示す。ここで、仮想空間ＶＳにおいて、ＴｏＤｏリストアプリケーションを実行することによって得られるアプリ画像が配置される位置は、「第１の位置」の一例である。また、３次元地図ＴＭにおいて、アイコンＩ３が配置される位置は、「第２の位置」の一例である。

図３に示されるように、ユーザＵ_Ｊは、自身の操作により、自らが視認する仮想空間ＶＳに、３次元地図ＴＭを表示させる。ユーザＵ_Ｊが、３次元地図ＴＭから動画アプリケーションに対応するアイコンＩ１を取り出す動作をすると、仮想空間ＶＳにおいて、当該アイコンＩ１に対応する動画アプリケーションを実行することによって得られるアプリ画像Ｗ１が、ユーザＵ_Ｊの眼前に表示される。同様に、ユーザＵ_Ｊが、３次元地図ＴＭから地図アプリケーションに対応するアイコンＩ２を取り出す動作をすると、仮想空間ＶＳにおいて、当該アイコンＩ２に対応する地図アプリケーションを実行することによって得られるアプリ画像Ｗ２が、ユーザＵ_Ｊの眼前に表示される。更に、ユーザＵ_Ｊが、３次元地図ＴＭからＴｏＤｏリストアプリケーションに対応するアイコンＩ３を取り出す動作をすると、仮想空間ＶＳにおいて、当該アイコンＩ３に対応するＴｏＤｏリストアプリケーションを実行することによって得られるアプリ画像Ｗ３が、ユーザＵ_Ｊの眼前に表示される。

なお、アイコンＩ１～Ｉ３は、「対応画像」の一例である。また以下では、本実施形態におけるアイコンＩ１～Ｉ３を含む一般的なアイコンを、「アイコンＩ」として総称することがある。更に以下では、本実施形態におけるアプリ画像Ｗ１～Ｗ３を含む一般的なアプリ画像を、「アプリ画像Ｗ」として総称することがある。

ここで、ユーザＵ_Ｊが、例えば第１寝室Ｂ１で、３次元地図ＴＭからアイコンＩ２を取り出した場合、すなわち、３次元地図ＴＭから、建物の内部の現実空間に重畳する仮想空間ＶＳのうち、第１寝室Ｂ１に対応する位置にアイコンＩ２を移動した場合、当該位置に、アプリ画像Ｗが配置される。当該位置は、「第３の位置」の一例である。なお、「第３の位置」は、上記の「第１の位置」と同一の位置であってもよい。

また、とりわけ、３次元地図ＴＭ上において、第１寝室Ｂ１と、元々アイコンＩ２が配置されていた第２の位置とが対応しない場合、アイコンＩ２は、第１寝室Ｂ１に対応する位置に配置し直される。アイコンＩ２が再度配置された位置は、「第４の位置」の一例である。なお、「第４の位置」は、上記の「第２の位置」と同一の位置であってもよい。

更に、ユーザＵ_Ｊは、当該地図アプリケーションの使用を中止した後、当該地図アプリケーションのアプリ画像Ｗ２を、３次元地図ＴＭに戻すと、３次元地図ＴＭに、地図アプリケーションに対応するアイコンＩ２が配置される。

ここで、ユーザＵ_Ｊが、例えば、３次元地図ＴＭにおける、第２寝室Ｂ２に対応する空間に、アプリ画像Ｗ２を移動した場合、３次元地図ＴＭに対してアプリ画像Ｗ２を移動した位置であり、３次元地図ＴＭにおいてアイコンＩ２が配置される位置は、「第５の位置」の一例である。なお、「第５の位置」は、上記の「第１の位置」及び「第３の位置」のうち少なくとも一方と同一の位置であってもよい。

この場合、上記の建物の内部の現実空間に重畳する仮想空間ＶＳのうち、第２寝室Ｂ２に対応する位置に、アプリ画像Ｗ２が配置される。仮想空間ＶＳにおいて、アプリ画像Ｗ２が配置される位置は、「第６の位置」の一例である。なお、「第６の位置」は、上記の「第２の位置」及び「第４の位置」のうち少なくとも一方と同一の位置であってもよい。

なお、ユーザＵ_Ｊは、ユーザＵ_Ｊと同じ建物の内部に位置する、１人以上の他のユーザＵ_Ｋと３次元地図ＴＭを共用できる。また、ユーザＵ_Ｊは、他のユーザＵ_Ｋと、ユーザＵ_Ｊが視認するアプリ画像Ｗ１～Ｗ３のうち、１つ以上のアプリ画像Ｗを共用できる。

この結果、例えばユーザＵ_Ｊが、第１寝室Ｂ１で、ＴｏＤｏリストアプリケーションを立ち上げてＴｏＤｏリストを作成し、作成したＴｏＤｏリストを、３次元地図ＴＭにおける玄関Ｅ１に対応する空間に配置した場合、他のユーザＵ_Ｋは、仮想空間ＶＳにおける玄関Ｅ１に対応する位置において、ユーザＵ_Ｊによって作成されたＴｏＤｏリストを確認できる。

１－１－２：ＸＲグラスの構成
図４は、ＸＲグラス２０－Ｊの構成例を示すブロック図である。ＸＲグラス２０－Ｊは、処理装置２１、記憶装置２２、視線検出装置２３、ＧＰＳ装置２４、動き検出装置２５、測距装置２６、撮像装置２７、通信装置２８、及びディスプレイ２９を備える。ＸＲグラス２０－Ｊが有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。

処理装置２１は、ＸＲグラス２０－Ｊの全体を制御するプロセッサである。処理装置２１は、例えば、単数又は複数のチップを用いて構成される。また、処理装置２１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成される。なお、処理装置２１が有する機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置３１は、各種の処理を並列的又は逐次的に実行する。

記憶装置２２は、処理装置２１による読取及び書込が可能な記録媒体である。また、記憶装置２２は、処理装置２１が実行する制御プログラムＰＲ２を含む複数のプログラムを記憶する。

視線検出装置２３は、ユーザＵ_Ｊの視線を検出して、検出結果を示す視線情報を生成する。視線検出装置２３による視線の検出は、どのような方法を用いてもよい。視線検出装置２３は、例えば、目頭の位置と虹彩の位置に基づいて視線情報を検出してもよい。視線情報はユーザＵ_Ｊの視線の方向を示す。視線検出装置２３は、視線情報を後述の処理装置３１に出力する。処理装置２１に出力された視線情報は、通信装置２８を介して、端末装置１０－Ｊに出力される。

ＧＰＳ装置２４は、複数の衛星からの電波を受信する。また、ＧＰＳ装置２４は、受信した電波から位置情報を生成する。位置情報は、ＸＲグラス２０－Ｊの位置を示す。位置情報は、位置を特定できるのであれば、どのような形式であってもよい。位置情報は、例えば、ＸＲグラス２０－Ｊの緯度と経度とを示す。一例として、位置情報はＧＰＳ装置２４から得られる。しかし、ＸＲグラス２０－Ｊは、どのような方法によって位置情報を取得してもよい。取得された位置情報は、処理装置２１に出力される。処理装置２１に出力された位置情報は、通信装置２８を介して、端末装置１０－Ｊに出力される。

動き検出装置２５は、ＸＲグラス２０－Ｊの動きを検出する。動き検出装置２５としては、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサが該当する。加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の加速度を検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸を回転の中心軸とする角加速度を検出する。動き検出装置２５は、ジャイロセンサの出力情報に基づいて、ＸＲグラス２０－Ｊの姿勢を示す姿勢情報を生成できる。また、動き検出装置２５は、加速度センサ及びジャイロセンサの出力情報に基づいて、ＸＲグラス２０－Ｊの動きを示す動き情報を生成できる。動き情報は、３軸の加速度を各々示す加速度データ及び３軸の角加速度を各々示す角加速度データを含む。動き検出装置２５は、ＸＲグラス２０－Ｊの動きに係る動き情報、及びＸＲグラス２０－Ｊの姿勢を示す姿勢情報を処理装置２１に出力する。処理装置２１に出力された動き情報及び姿勢情報は、通信装置２８を介して、端末装置１０－Ｊに出力される。

測距装置２６は、ＸＲグラス２０－Ｊと、当該ＸＲグラス２０－Ｊの周囲の物体との距離を計測して得られた距離情報を、処理装置２１に出力する。測距装置２６は、例えばＬＩＤＡＲ（Light Detection and Ranging）センサを含む。

撮像装置２７は、外界を撮像して得られた撮像情報を出力する。また、撮像装置２７は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅した上でＡＤ変換器に出力する。ＡＤ変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置２１に出力される。処理装置２１に出力された撮像情報は、通信装置２８を介して、端末装置１０－Ｊに出力される。

通信装置２８は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。また、通信装置２８は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置２８は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置２８は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。

ディスプレイ２９は、画像を表示するデバイスである。ディスプレイ２９は、処理装置２１による制御のもとで各種の画像を表示する。ディスプレイ２９は、左眼用のレンズ、左眼用の表示パネル、及び左眼用の光学部材、並びに右眼用のレンズ、右眼用の表示パネル、及び右眼用の光学部材を含む。表示パネルとしては、例えば、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルが好適に利用される。なお、ディスプレイ２９は、「表示装置」の一例である。

処理装置２１は、例えば、記憶装置２２から制御プログラムＰＲ２を読み出して実行することによって、取得部２１１、生成部２１２、出力部２１３、及び表示制御部２１４として機能する。

取得部２１１は、通信装置２８を介して、端末装置１０－ＪからＸＲグラス２０－Ｊに表示される画像を示す画像情報を取得する。また、取得部２１１は、通信装置２８を介して、端末装置１０－Ｊから、各種の制御信号を取得する。

また、取得部２１１は、視線検出装置２３から入力される視線情報、ＧＰＳ装置２４から入力される位置情報、動き検出装置２５から入力される動き情報及び姿勢情報、測距装置２６から入力される距離情報、並びに撮像装置２７から入力される撮像情報を取得する。

生成部２１２は、少なくとも、取得部２１１によって取得された動き情報、姿勢情報、及び距離情報を用いて、ユーザＵ_Ｊが位置する建物の内部を３次元で表現した構造情報を生成する。

具体的には、ユーザＵ_Ｊは、ＸＲグラス２０－Ｊを頭部に装着した状態で、ユーザＵ_Ｊが位置する建物の内部を、建物の内部の主要な箇所の全てを視野に入れながら移動する。この結果、ＸＲグラス２０－Ｊは、ユーザＵ_Ｊの移動に伴って、建物の内部をスキャンし続ける。生成部２１２は、ユーザＵ_Ｊの移動中の各々の時点における、動き情報、姿勢情報、及び距離情報を互いに対応付けながら、上記の構造情報を生成する。

出力部２１３は、通信装置２８を介して、端末装置１０－Ｊに対し、取得部２１１が取得した視線情報、位置情報、動き情報、姿勢情報、及び撮像情報、及び生成部２１２が生成した構造情報を出力する。

表示制御部２１４は、取得部２１１が端末装置１０－Ｊから取得した画像情報に基づいて、ディスプレイ２９に対して、当該画像情報によって示される画像を表示させる。とりわけ本実施形態において、表示制御部２１４は、ディスプレイ２９に対して、図２及び図３に例示される３次元地図ＴＭ、及びアプリ画像Ｗ１～Ｗ３を含む仮想空間ＶＳを示す画像を表示させる。

１－１－３：端末装置の構成
図５は、端末装置１０－Ｊの構成例を示すブロック図である。端末装置１０－Ｊは、処理装置１１、記憶装置１２、通信装置１３、撮像装置１４、ディスプレイ１５、入力装置１６、及び慣性センサ１７を備える。端末装置１０－Ｊが有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。

処理装置１１は、端末装置１０－Ｊの全体を制御するプロセッサである。また、処理装置１１は、例えば、単数又は複数のチップを用いて構成される。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置１１が有する機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。

記憶装置１２は、処理装置１１が読取及び書込が可能な記録媒体である。また、記憶装置１２は、処理装置１１が実行する制御プログラムＰＲ１を含む複数のプログラムを記憶する。

更に、記憶装置１２は、対応関係テーブルＴＢ１を記憶する。図６は、対応関係テーブルＴＢ１の一例を示す表である。図６に示されるように、対応関係ＩＤ、アプリ画像Ｗ、アプリ画像Ｗの仮想空間ＶＳ内での位置情報、アイコンＩ、及びアイコンＩの３次元地図ＴＭ内での位置情報が組となって、対応関係テーブルＴＢ１に格納される。例えば、対応関係ＩＤ＝１のデータセットとして、アプリ画像Ｗ１、アプリ画像Ｗ１の仮想空間ＶＳ内での位置情報である、仮想空間ＶＳ内の座標値（ｘ１，ｙ１，ｚ１）、アイコンＩ１、アイコンＩ１の３次元地図ＴＭ内での位置情報である、３次元地図ＴＭ内の座標値（ｐ１，ｑ１，ｒ１）が組となって、対応関係テーブルＴＢ１に格納される。なお、図５に例示される対応関係テーブルＴＢ１においては、対応関係ＩＤ＝１～ＵまでのＵ組のデータセットが格納される。しかし、Ｕ組のデータセットが対応関係テーブルＴＢ１に格納されることは一例であって、任意の組数のデータセットが対応関係テーブルＴＢ１に格納される。

説明を図５に戻すと、通信装置１３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置１３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置１３は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置１３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。

撮像装置１４は、外界を撮像して得られた撮像情報を出力する。また、撮像装置１４は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅した上でＡＤ変換器に出力する。ＡＤ変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置２１に出力される。処理装置１１に出力された撮像情報は、通信装置１３を介して、サーバ３０に出力される。なお、端末装置１０－ＪにＸＲグラス２０－Ｊが接続される場合、撮像装置１４は、必須の構成要素としなくてもよい。この場合、当該ＸＲグラス２０－Ｊが、撮像装置１４と同一の機能を更に有することとなる。

ディスプレイ１５は、画像及び文字情報を表示するデバイスである。ディスプレイ１５は、処理装置１１による制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ（Electro Luminescence）表示パネル等の各種の表示パネルがディスプレイ１５として好適に利用される。なお、端末装置１０－ＪにＸＲグラス２０－Ｊが接続される場合、ディスプレイ１５は、必須の構成要素としなくてもよい。この場合、当該ＸＲグラス２０－Ｊが、ディスプレイ１５と同一の機能を更に有することとなる。

入力装置１６は、ＸＲグラス２０－Ｊを頭部に装着したユーザＵ_Ｊからの操作を受け付ける。例えば、入力装置１６は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置１６は、タッチパネルを含んで構成される場合、ディスプレイ１５を兼ねてもよい。

慣性センサ１７は、慣性力を検出するセンサである。慣性センサ１７は、例えば、加速度センサ、角速度センサ、及びジャイロセンサのうち、１以上のセンサを含む。処理装置１１は、慣性センサ１７の出力情報に基づいて、端末装置１０－Ｊの姿勢を検出する。更に、処理装置１１は、端末装置１０－Ｊの姿勢に基づいて、仮想空間ＶＳにおいて、仮想オブジェクトの選択、文字の入力、及び指示の入力を受け付ける。例えば、ユーザＵ_Ｊが端末装置１０－Ｊの中心軸を仮想空間ＶＳの所定領域に向けた状態で、入力装置１６を操作することによって、所定領域に配置される仮想オブジェクトが選択される。入力装置１６に対するユーザＵ_Ｊの操作は、例えば、ダブルタップである。このようにユーザＵ_Ｊは端末装置１０－Ｊを操作することによって、端末装置１０－Ｊに備わる入力装置１６を見なくても仮想オブジェクトを選択できる。

処理装置１１は、記憶装置１２から制御プログラムＰＲ１を読み出して実行することによって、取得部１１１、生成部１１２、管理部１１３、受付部１１４、表示制御部１１５、及び出力部１１６として機能する。

取得部１１１は、通信装置１３を介して、ＸＲグラス２０－Ｊから、視線情報、位置情報、動き情報、姿勢情報、撮像情報、及び構造情報を取得する。また、取得部１１１は、通信装置１３を介して、サーバ３０から、ＸＲグラス２０－Ｊ又はディスプレイ１５に表示する仮想オブジェクトを示す画像情報を取得する。また、取得部１１１は、通信装置１３を介して、サーバ３０から、各種の制御信号を取得する。

生成部１１２は、取得部１１１が取得した、視線情報、位置情報、動き情報、姿勢情報、撮像情報、及び画像情報に基づいて、ユーザＵ_Ｊの位置に応じた仮想空間ＶＳであって、仮想オブジェクトを含む仮想空間ＶＳを示す画像を生成する。

とりわけ、生成部１１２は、取得部１１１が取得した構造情報に基づいて、ユーザＵ_Ｊが位置する建物の内部を３次元で表現した３次元地図ＴＭを生成する。更に、生成部１１２は、取得部１１１が取得した、少なくとも動き情報及び姿勢情報に基づいて、３次元地図ＴＭに、建物内の位置情報を紐づける。生成部１１２が生成する３次元地図ＴＭの一例は、上記のように、図２に例示される。

管理部１１３は、ユーザＵ_Ｊがアプリケーションを実行することによって得られるアプリ画像Ｗが仮想空間ＶＳに配置される位置と、アプリケーションに対応するアイコンＩが、３次元地図ＴＭ上に配置される位置とを、対応付けて管理する。ここで、アプリ画像Ｗが仮想空間ＶＳに配置される位置は、上記の「第１の位置」の一例である。一方で、アプリケーションに対応するアイコンＩが、３次元地図ＴＭ上に配置される位置は、上記の「第２の位置」の一例である。

管理部１１３は、例えば、仮想空間ＶＳに設定されるローカル座標系におけるアプリ画像Ｗの位置情報と、３次元地図ＴＭ上に設定される３次元地図ＴＭに設定される３次元座標系におけるアイコンＩの位置情報とを組として、記憶装置１２に記憶される対応関係テーブルＴＢ１格納する

この結果、アプリケーションを実行することによって得られるアプリ画像Ｗが仮想空間ＶＳ上に配置される第１の位置と、アプリケーションに対応するアイコンＩが３次元地図ＴＭ上に配置される第２の位置とが対応付けられるため、ユーザＵ_Ｊは、３次元地図ＴＭを視認するだけで、アプリ画像Ｗが配置されている仮想空間ＶＳ内での位置を把握できる。

受付部１１４は、ユーザＵ_Ｊによる操作を受け付ける。例えば、受付部１１４は、ユーザＵ_Ｊによって入力装置１６を介して入力される入力内容を、ユーザＵ_Ｊによる操作として受け付ける。あるいは、受付部１１４は、例えば、ユーザＵ_Ｊが端末装置１０－Ｊを移動させた場合、慣性センサ１７によって検出される端末装置１０－Ｊの姿勢に基づいて、ユーザＵ_Ｊの操作を受け付ける。ここで、ユーザＵ_Ｊによる操作は、例えば、仮想オブジェクトの選択、文字の入力、及び指示の入力である。

とりわけ本実施形態において、受付部１１４は、ＸＲグラス２０－ＪにアイコンＩが配置される３次元地図ＴＭが表示されている状態において、３次元地図ＴＭ上のアイコンＩを、仮想空間ＶＳ上の、上記の「第３の位置」に移動するユーザＵ_Ｊの操作を受け付ける。この場合、管理部１１３は、仮想空間ＶＳ上の第３の位置に、アプリ画像Ｗを配置し、当該第３の位置に対応する３次元地図ＴＭ上の、上記の「第４の位置」に、アイコンＩを配置する。

この結果、ユーザＵ_Ｊが、３次元地図ＴＭ上において、元々アイコンＩが配置されていた位置とは対応しない、仮想空間ＶＳ内の第３の位置にアプリ画像Ｗを取り出して用いることが可能となる。更に、ユーザＵ_Ｊは、３次元地図ＴＭ上でも、当該第３の位置に対応する第４の位置に、アイコンＩを配置し直すことが可能となる。この場合、ユーザＵ_Ｊは、元々アプリケーションを使用していた場所とは異なる場所で、継続して当該アプリケーションを使用できる。

また、本実施形態において、受付部１１４は、仮想空間ＶＳ上の第３の位置に配置されるアプリ画像Ｗを、３次元地図ＴＭ上の、上記の「第５の位置」に移動するユーザＵ_Ｊの操作を受け付ける。この場合、管理部１１３は、３次元地図ＴＭ上の第５の位置にアイコンＩを配置し、第５の位置に対応する仮想空間ＶＳ上の、上記の「第６の位置」にアプリ画像Ｗを配置する。

この結果、ユーザＵ_Ｊは、仮想空間ＶＳの中で、現時点においてアプリ画像Ｗを使用している位置とは異なる位置に対応する、３次元地図ＴＭ上の第５の位置に、アイコンＩを収めることが可能となる。更に、ユーザＵ_Ｊは、仮想空間ＶＳの中でも、当該第５の位置に対応する第６の位置に、アプリ画像Ｗを配置し直すことが可能となる。この場合、ユーザＵ_Ｊは、現在アプリケーションを使用している場所とは異なる場所で、継続して当該アプリケーションを使用できる。

表示制御部１１５は、生成部１１２が生成した、仮想オブジェクトを含む仮想空間ＶＳを示す画像を、ＸＲグラス２０－Ｊ又はディスプレイ１５に表示させる。

とりわけ本実施形態において、表示制御部１１５は、建物の内部におけるユーザＵ_Ｊの位置に応じて、アプリ画像Ｗが配置された仮想空間ＶＳを、ＸＲグラス２０－Ｊ又はディスプレイ１５に表示させる。この結果、ユーザＵ_Ｊは、建物の内部の現実空間に仮想空間ＶＳが重畳した拡張現実空間又は複合現実空間を認識できる。

また、本実施形態において、表示制御部１１５は、ユーザＵ_Ｊによる操作に応じて、ＸＲグラス２０－Ｊ又はディスプレイ１５に対して、仮想空間ＶＳ上の第１の位置にアプリ画像Ｗを表示させる。更に表示制御部１１５は、ユーザＵ_Ｊによる操作に応じて、ＸＲグラス２０－Ｊ又はディスプレイ１５に対して、アイコンＩが第２の位置に配置された３次元地図ＴＭを表示させる。

同様に、表示制御部１１５は、ユーザＵ_Ｊによる操作に応じて、ＸＲグラス２０－Ｊ又はディスプレイ１５に対して、仮想空間ＶＳ上の第３の位置にアプリ画像Ｗを表示させる。更に表示制御部１１５は、ユーザＵ_Ｊによる操作に応じて、ＸＲグラス２０－Ｊ又はディスプレイ１５に対して、アイコンＩが第４の位置に配置された３次元地図ＴＭを表示させる。

同様に、表示制御部１１５は、ユーザＵ_Ｊによる操作に応じて、ＸＲグラス２０－Ｊ又はディスプレイ１５に対して、仮想空間ＶＳ上の第５の位置にアプリ画像Ｗを表示させる。更に表示制御部１１５は、ユーザＵ_Ｊによる操作に応じて、ＸＲグラス２０－Ｊ又はディスプレイ１５に対して、アイコンＩが第６の位置に配置された３次元地図ＴＭを表示させる。

出力部１１６は、通信装置１３を介して、サーバ３０に対し、取得部１１１が取得した視線情報、位置情報、動き情報、姿勢情報、撮像情報、及び構造情報を出力する。また、出力部１１６は、通信装置１３を介して、端末装置１０－Ｊに対し、各種の制御信号を取得する。

１－１－４：サーバの構成
図７は、サーバ３０の構成例を示すブロック図である。サーバ３０は、処理装置３１、記憶装置３２、通信装置３３、ディスプレイ３４、及び入力装置３５を備える。サーバ３０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。

処理装置３１は、サーバ３０の全体を制御するプロセッサである。また、処理装置３１は、例えば、単数又は複数のチップを用いて構成される。処理装置３１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置３１が有する機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現してもよい。処理装置３１は、各種の処理を並列的又は逐次的に実行する。

記憶装置３２は、処理装置３１が読取及び書込が可能な記録媒体である。また、記憶装置３２は、処理装置３１が実行する制御プログラムＰＲ３を含む複数のプログラムを記憶する。

通信装置３３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置３３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置３３は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置３３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。

ディスプレイ３４は、画像及び文字情報を表示するデバイスである。ディスプレイ３４は、処理装置３１による制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルがディスプレイ３４として好適に利用される。

入力装置３５は、サーバ３０の管理者による操作を受け付ける機器である。例えば、入力装置３５は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置３５は、タッチパネルを含んで構成される場合、ディスプレイ３４を兼ねてもよい。

処理装置３１は、例えば、記憶装置３２から制御プログラムＰＲ３を読み出して実行することによって、取得部３１１、及び出力部３１２として機能する。

取得部３１１は、通信装置３３を介して、端末装置１０－Ｊから、視線情報、位置情報、動き情報、姿勢情報、撮像情報、及び構造情報を取得する。

出力部３１２は、通信装置３３を介して、端末装置１０－Ｊに対し、ＸＲグラス２０－Ｊ又はディスプレイ１５に表示する仮想オブジェクトを示す画像情報を出力する。また、出力部３１２は、通信装置３３を介して、端末装置１０－Ｊに対し、各種の制御信号を出力する。

とりわけ出力部３１２は、取得部３１１が取得した視線情報、位置情報、動き情報、姿勢情報、撮像情報、及び構造情報のうち、少なくとも１つの情報に応じて、端末装置１０－Ｊに対し、仮想オブジェクトを示す画像情報を出力する。

１－２：第１実施形態の動作
図８は、第１実施形態に係る制御システム１に含まれる端末装置１０－Ｊの動作を示すフローチャートである。以下、図８を参照しつつ、端末装置１０－Ｊの動作について説明する。なお、図８に示されるフローチャートにおいては、３次元地図ＴＭが既に生成されていることを前提とする。また、仮想空間ＶＳ上の「第１の位置」にアプリ画像Ｗが配置され、３次元地図ＴＭの「第２の位置」に、アプリ画像Ｗに対応するアイコンＩが配置されているものとする。

ステップＳ１において、端末装置１０－Ｊに備わる処理装置１１は、表示制御部１１５として機能する。処理装置１１は、ＸＲグラス２０－Ｊ又はディスプレイ１５に対して、３次元地図ＴＭを表示させる。

ステップＳ２において、端末装置１０－Ｊに備わる処理装置１１は、受付部１１４として機能する。処理装置１１が、３次元地図ＴＭからアイコンＩを移動する操作を受け付けた場合、すなわちステップＳ２においてＹＥＳの場合には、処理装置１１はステップＳ３の処理を実行する。処理装置１１が３次元地図ＴＭからアイコンＩを移動する操作を受け付けていない場合、すなわちステップＳ２においてＮＯの場合には、処理装置１１はステップＳ５の処理を実行する。

ステップＳ３において、端末装置１０－Ｊに備わる処理装置１１は、管理部１１３として機能する。処理装置１１は、ステップＳ２における操作対象であるアイコンＩに対応するアプリ画像Ｗを、仮想空間ＶＳ上の「第３の位置」に配置する。なお、当該「第３の位置」は、上記の「第１の位置」と同一の位置であってもよい。

ステップＳ４において、端末装置１０－Ｊに備わる処理装置１１は、管理部１１３として機能する。処理装置１１は、ステップＳ３における「第３の位置」に対応する３次元地図ＴＭ上の「第４の位置」にアイコンＩを配置する。なお、当該「第４の位置」は、上記の「第２の位置」と同一の位置であってもよい。

ステップＳ５において、端末装置１０－Ｊに備わる処理装置１１は、受付部１１４として機能する。処理装置１１が３次元地図ＴＭ上にアプリ画像Ｗを移動する操作を受け付けた場合、すなわちステップＳ５においてＹＥＳの場合には、処理装置１１はステップＳ６の処理を実行する。処理装置１１が３次元地図ＴＭにアプリ画像Ｗを移動する操作を受け付けていない場合、すなわちステップＳ５においてＮＯの場合には、処理装置１１はステップＳ１の処理を実行する。

ステップＳ６において、端末装置１０－Ｊに備わる処理装置１１は、管理部１１３として機能する。処理装置１１は、ステップＳ５における操作対象であるアプリ画像Ｗに対応するアイコンＩを、３次元地図ＴＭの「第５の位置」に配置する。なお、当該「第５の位置」は、上記の「第１の位置」と同一の位置であってもよい。

ステップＳ７において、端末装置１０－Ｊに備わる処理装置１１は、管理部１１３として機能する。処理装置１１は、ステップＳ６における「第５の位置」に対応する仮想空間ＶＳ上の「第６の位置」にアプリ画像Ｗを配置する。なお、当該「第６の位置」は、上記の「第２の位置」と同一の位置であってもよい。

１－３：第１実施形態が奏する効果
以上の説明によれば、本実施形態に係る制御装置としての端末装置１０は、建物の内部においてユーザＵの位置に応じた仮想空間ＶＳを示す画像を、表示装置としてのディスプレイ１５又は２９に表示させる制御装置である。端末装置１０は、生成部１１２、管理部１１３、及び表示制御部１１５を備える。生成部１１２は、建物の内部を３次元で表現した３次元地図ＴＭを生成する。管理部１１３は、アプリケーションを実行することによって得られるアプリ画像Ｗが仮想空間ＶＳ上に配置される第１の位置と、アプリケーションに対応する対応画像としてのアイコンＩが３次元地図ＴＭ上に配置される第２の位置とを対応付けて管理する。表示制御部１１５は、仮想空間ＶＳ上の第１の位置にアプリ画像Ｗを、ディスプレイ１５又は２９に表示させると共に、ユーザＵによる操作に応じてアイコンＩが第２の位置に配置された３次元地図ＴＭをディスプレイ１５又は２９に表示させる。

端末装置１０は上記の構成を有するので、仮想オブジェクトがアプリケーションを実行することによって表示されるアプリ画像である場合、アプリ画像Ｗを現実空間と対応付けて仮想的に仮想空間に配置した位置と、３次元地図ＴＭ上の位置とを対応付けて管理することが可能となる。

とりわけ、アプリケーションを実行することによって得られるアプリ画像Ｗが仮想空間ＶＳ上に配置される第１の位置と、アプリケーションに対応するアイコンＩが３次元地図ＴＭ上に配置される第２の位置とが対応付けられるため、ユーザＵは、３次元地図ＴＭを視認するだけで、アプリ画像Ｗが配置されている仮想空間ＶＳ内での位置を把握できる。

また以上の説明によれば、端末装置１０において、表示装置としてのディスプレイ１５又は２９は、ユーザＵが外界を視認可能なシースルータイプである。端末装置１０は、取得部１１１を更に備える。取得部１１１は、建物の内部を３次元で表現した構造情報を取得する。生成部１１２は、構造情報に基づいて３次元地図ＴＭを生成する。表示制御部１１５は、建物の内部におけるユーザＵの位置に応じてアプリ画像Ｗが配置された仮想空間ＶＳを、ディスプレイ１５又は２９に表示させることによって、建物の内部の現実空間に仮想空間ＶＳが重畳した拡張現実空間又は複合現実空間をユーザＵに認識させる。

端末装置１０は上記の構成を有するので、ユーザＵは、３次元地図ＴＭを視認するだけで、仮想空間ＶＳが重畳される現実空間において、アプリ画像Ｗがどこに位置するかを把握できる。

また以上の説明によれば、端末装置１０は、受付部１１４を更に備える。受付部１１４は、表示装置としてのディスプレイ１５又は２９に、対応画像としてのアイコンＩが配置される３次元地図ＴＭが表示されている状態において、３次元地図ＴＭ上のアイコンＩを仮想空間ＶＳ上の第３の位置に移動するユーザＵの操作を受け付ける。管理部１１３は、仮想空間ＶＳ上の第３の位置にアプリ画像Ｗを配置し、第３の位置に対応する３次元地図ＴＭ上の第４の位置に対応画像としてのアイコンＩを配置する。

端末装置１０は上記の構成を有するので、ユーザＵが、３次元地図ＴＭ上において、元々アイコンＩが配置されていた位置とは対応しない、仮想空間ＶＳ内の第３の位置にアプリ画像Ｗを取り出して用いることが可能である。更に、ユーザＵは、３次元地図ＴＭ上でも、当該第３の位置に対応する第４の位置に、アイコンＩを配置し直すことが可能となる。この場合、ユーザＵ_Ｊは、元々アプリケーションを使用していた場所とは異なる場所で、継続して当該アプリケーションを使用できる。

また以上の説明によれば、端末装置１０において、受付部１１４は、仮想空間ＶＳ上の第３の位置に配置されるアプリ画像Ｗを、３次元地図ＴＭ上の第５の位置に移動するユーザＵの操作を受け付ける。管理部１１３は、３次元地図ＴＭ上の第５の位置に対応画像としてのアイコンＩを配置し、第５の位置に対応する仮想空間ＶＳ上の第６の位置にアプリ画像Ｗを配置する。

端末装置１０は上記の構成を有するので、ユーザＵは、仮想空間ＶＳの中で、現時点においてアプリ画像Ｗを使用している位置とは異なる位置に対応する、３次元地図ＴＭ上の第５の位置に、アイコンＩを配置することが可能となる。更に、ユーザＵは、仮想空間ＶＳの中でも、当該第５の位置に対応する第６の位置に、アプリ画像Ｗを配置し直すことが可能となる。この場合、ユーザＵ_Ｊは、現在アプリケーションを使用している場所とは異なる場所で、継続して当該アプリケーションを使用できる。

また以上の説明によれば、本実施形態に係る制御システム１は、端末装置１０を複数台備える。複数台の端末装置１０は、仮想空間ＶＳにおいて、３次元地図ＴＭとアプリ画像Ｗとを共用する。

制御システム１は上記の構成を有するので、各々が端末装置１０を使用する複数のユーザＵ間で、３次元地図ＴＭ及びアプリ画像Ｗを共用できる。

２：変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

２－１：変形例１
上記の実施形態において、アプリケーションに対応する対応画像として、アイコンＩ１～Ｉ３を例示したが、当該対応画像はアイコンＩ１～Ｉ３に限定されない。例えば、当該対応画像は、アプリケーションを実行した場合に表示されるアプリ画像Ｗのサムネイル画像であってもよい。

２－２：変形例２
上記の実施形態において、端末装置１０－ＪにＸＲグラス２０－Ｊが接続される態様を示したが、端末装置１０－Ｊに接続される装置は、ＸＲグラス２０－Ｊに限定されない。例えば、ＸＲグラス２０－Ｊの代わりに、ＶＲ技術、ＡＲ技術、又はＭＲ技術を用いたビデオシースルー型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）が、端末装置１０－Ｊに接続されてもよい。

２－３：変形例３
上記の実施形態において、端末装置１０－ＪとＸＲグラス２０－Ｊとは別体として実現されるが、同一の筐体に含まれてもよい。すなわち、上記の実施形態に係る制御システム１は、別体となった端末装置１０－Ｊ及びＸＲグラス２０－Ｊの代わりに、一つの筐体内に端末装置１０－ＪとＸＲグラス２０－Ｊとが備わるユーザ装置を備えてもよい。

２－４：変形例４
上記の実施形態において、ＸＲグラス２０－Ｊに備わる生成部２１２が構造情報を生成するが、生成部２１２の代わりに、端末装置１０－Ｊに備わる生成部１１２が当該構造情報を生成してもよい。この場合、端末装置１０－Ｊに備わる取得部１１１は、ＸＲグラス２０－Ｊから、視線情報、位置情報、動き情報、及び撮像情報に加えて、上記の距離情報を取得する。生成部１１２は、ユーザＵ_Ｊの移動中の各々の時点における、動き情報、姿勢情報、及び距離情報を互いに対応付けながら、上記の構造情報を生成する。

３：その他
（１）上述した実施形態では、端末装置１０、ＸＲグラス２０－Ｊ、及びサーバ３０を例示したが、端末装置１０、ＸＲグラス２０－Ｊ、及びサーバ３０が備える記憶装置は、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、外部装置が実行するプログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。

（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

（６）図１～図８に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。

（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

（１０）上述した実施形態において、端末装置１０、及びサーバ３０は、移動局（ＭＳ：Mobile Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」等の用語は、互換的に使用され得る。

（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことが可能である。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることが可能である。

（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。

（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。

１…制御システム、１０…端末装置、１１…処理装置、１２…記憶装置、１３…通信装置、１４…撮像装置、１５…ディスプレイ、１６…入力装置、１７…慣性センサ、２０…ＸＲグラス、２１…処理装置、２２…記憶装置、２３…視線検出装置、２４…ＧＰＳ装置、２５…動き検出装置、２６…測距装置、２７…撮像装置、２８…通信装置、２９…ディスプレイ、３０…サーバ、３１…処理装置、３２…記憶装置、３３…通信装置、３４…ディスプレイ、３５…入力装置、３６…撮像装置、１１１…取得部、１１２…生成部、１１３…管理部、１１４…受付部、１１５…表示制御部、１１６…出力部、２１１…取得部、２１２…生成部、２１３…出力部、２１４…表示制御部、３１１…取得部、３１２…出力部、Ｂ１…第１寝室、Ｂ２…第２寝室、Ｅ１…玄関、Ｉ１，Ｉ２，Ｉ３…アイコン、Ｌ１…リビング、ＰＲ１，ＰＲ２，ＰＲ３…制御プログラム、ＴＢ１…対応関係テーブル、Ｗ１，Ｗ２，Ｗ３…アプリ画像

Claims

建物の内部においてユーザの位置に応じた仮想空間を示す画像を、表示装置に表示させる制御装置であって、
前記建物の内部を３次元で表現した３次元地図を生成する生成部と、
アプリケーションを実行することによって得られるアプリ画像が前記仮想空間上に配置される第１の位置と、前記アプリケーションに対応する対応画像が前記３次元地図上に配置される第２の位置とを対応付けて管理する管理部と、
前記仮想空間上の第１の位置に前記アプリ画像を前記表示装置に表示させると共に、前記ユーザの操作に応じて前記対応画像が前記第２の位置に配置された前記３次元地図を前記表示装置に表示させる表示制御部と、
を備える制御装置。
前記表示装置は、前記ユーザが外界を視認可能なシースルータイプであり、
前記建物の内部を３次元で表現した構造情報を取得する取得部を更に備え、
前記生成部は、前記構造情報に基づいて前記３次元地図を生成し、
前記表示制御部は、前記建物の内部における前記ユーザの位置に応じて前記アプリ画像が配置された前記仮想空間を前記表示装置に表示させることによって、前記建物の内部の現実空間に前記仮想空間が重畳した拡張現実空間又は複合現実空間を前記ユーザに認識させる、
請求項１に記載の制御装置。
前記表示装置に前記対応画像が配置される３次元地図が表示されている状態において、前記３次元地図上の前記対応画像を前記仮想空間上の第３の位置に移動する前記ユーザの操作を受け付ける受付部を更に備え、
前記管理部は、前記仮想空間上の前記第３の位置に前記アプリ画像を配置し、前記第３の位置に対応する前記３次元地図上の第４の位置に前記対応画像を配置する、
請求項１に記載の制御装置。
前記受付部は、前記仮想空間上の前記第３の位置に配置される前記アプリ画像を、前記３次元地図上の第５の位置に移動する前記ユーザの操作を受け付け、
前記管理部は、前記３次元地図上の第５の位置に前記対応画像を配置し、前記第５の位置に対応する前記仮想空間上の第６の位置に前記アプリ画像を配置する、
請求項３に記載の制御装置。
請求項１に記載の制御装置を複数台備える制御システムであって、
複数台の前記制御装置は、前記仮想空間において、前記３次元地図と前記アプリ画像とを共用する制御システム。