WO2024004306A1

WO2024004306A1 - 制御装置、システム、制御方法、プログラム

Info

Publication number: WO2024004306A1
Application number: PCT/JP2023/013780
Authority: WO
Inventors: 正人内原
Original assignee: キヤノン株式会社
Priority date: 2022-06-29
Filing date: 2023-04-03
Publication date: 2024-01-04
Also published as: JP2024004662A

Abstract

第１の現実空間における第１のユーザが装着する表示装置を制御する制御装置は、第２の現実空間における第２のユーザの位置に対応する前記第１の現実空間の位置に配置されたような仮想オブジェクトと、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲を示す範囲表示オブジェクトとを表示するように前記表示装置を制御する制御手段を有する。

Description

制御装置、システム、制御方法、プログラム

　本発明は、制御装置、システム、制御方法、プログラムに関する。

　互いに異なるリアル空間（現実空間）に位置する複数のユーザのヘッドマウントディスプレイ（ＨＭＤ）において、同一の仮想オブジェクト（ＡＲオブジェクト）が表示されることがある。また、第１のリアル空間に位置するユーザが装着したＨＭＤに、第２のリアル空間におけるユーザの位置に応じて配置された仮想人物（アバター）が表示される場合がある。この場合には、第１のリアル空間の大きさと第２のリアル空間の大きさとが異なれば、ＨＭＤにおいてアバターの配置に制約が生じる。

　特許文献１では、配置すべきでない位置に仮想オブジェクトが配置された場合に、配置すべきでない位置に仮想オブジェクトが配置されたことをユーザに通知する技術が開示されている。

特開２０１８－１０６２９８号公報

　このように、特許文献１では、配置すべきでない位置に仮想オブジェクトが配置された後に、仮想オブジェクトが配置すべきでない位置に配置されたことが通知される。このため、ユーザは、配置すべきでない位置に仮想オブジェクトが配置される可能性があったことを事前に把握できない。

　そこで、本発明は、ユーザの位置に従って仮想オブジェクトを配置する場合に、仮想オブジェクトが不適切な位置に配置される可能性を把握可能にする技術の提供を目的とする。

　本発明の１つの態様は、第１の現実空間における第１のユーザが装着する表示装置を制御する制御装置であって、第２の現実空間における第２のユーザの位置に対応する前記第１の現実空間の位置に配置されたような仮想オブジェクトと、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲を示す範囲表示オブジェクトとを表示するように前記表示装置を制御する制御手段を有する、ことを特徴とする制御装置である。

　本発明の１つの態様は、第１の現実空間における第１のユーザが装着する表示装置を制御する制御方法であって、第２の現実空間における第２のユーザの位置に対応する前記第１の現実空間の位置に配置されたような仮想オブジェクトと、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲を示す範囲表示オブジェクトとを表示するように前記表示装置を制御する制御ステップを有する、ことを特徴とする制御方法である。

　本発明によれば、ユーザの位置に従って仮想オブジェクトを配置する場合に、仮想オブジェクトが不適切な位置に配置される可能性を把握可能にすることができる。

図１は、実施形態１に係るシステムを説明する図である。図２Ａは、実施形態１に係るシステムの使用イメージを説明する図である。図２Ｂは、実施形態１に係るＨＭＤの表示例を示す図である。図２Ｃは、実施形態１に係るカメラが生成する合成画像を示す図である。図３Ａは、実施形態１に係るリアル空間の例を示す図である。図３Ｂは、実施形態１に係る課題を説明する図である。図４Ａおよび図４Ｂは、実施形態１に係るアバターの移動可能な範囲を説明する図である。図５は、実施形態１に係るビデオシースルー型のＨＭＤの構成図である。図６は、実施形態１に係る光学シースルー型のＨＭＤの構成図である。図７は、実施形態１に係るカメラの構成図である。図８は、実施形態１に係るユーザの位置を説明する図である。図９は、実施形態１に係る範囲情報の検出処理を示すフローチャートである。図１０は、実施形態１に係る障害オブジェクトに関するリストを示す図である。図１１は、実施形態１に係る有効範囲を説明する図である。図１２Ａおよび図１２Ｂは、実施形態１に係る有効範囲のグラデーション表示を説明する図である。図１３は、実施形態１に係る範囲情報を説明する図である。図１４は、実施形態２に係るシステムを説明する図である。

　本発明の好適な実施形態について、以下に図面を用いて説明する。

　まず、ＨＭＤ（ヘッドマウントディスプレイ）に関する技術について説明する。ＨＭＤ、スマートフォン、およびタブレット端末などでは、ＡＲまたはＭＲなどの技術が利用されている。ここで、ユーザの頭部に装着可能なＨＭＤは、ユーザの眼の前にディスプレイが配置されている。このため、ＨＭＤは、利用シーンに応じた有用な情報を表示すること、および、深い没入感をユーザに与えることができる。

　ＨＭＤには、透明（半透明）なディスプレイを使用した光学シースルー型のＨＭＤと、不透明なディスプレイを使用したビデオシースルー型のＨＭＤが存在する。

　光学シースルー型のＨＭＤでは、画像と外界からの入射光との両方を、ユーザが同時に視認することが可能である。つまり、光学シースルー型のＨＭＤでは、ユーザは、ディスプレイを透過して外部空間が視認可能である。光学シースルー型のＨＭＤを用いれば、例えば、ユーザは、或る場所でＨＭＤを介してイベント（コンサートまたは運動会など）を体感しながら、ユーザが注目している人や物に関する様々な情報をＨＭＤの表示から得ることができる。

　一方、ビデオシースルー型のＨＭＤは、ユーザの眼の前のディスプレイに仮想空間を表示すること、またはＨＭＤに搭載されたカメラが取得した画像をディスプレイに表示することができる。このことで、例えば、ＨＭＤは、ユーザが位置する現実空間（リアル空間）を撮像した画像に様々な情報を重ねて表示することができる。

＜実施形態１＞
　図１は、実施形態１に係るシステム１（表示システム；制御システム）を説明する図である。図１において、２つのリアル空間１０１（１０１Ａ，１０１Ｂ）は、２人のユーザ１００（１００Ａ，１００Ｂ）が位置する実際の空間（現実空間）である。

　システム１は、リアル空間１０１ＡにおいてＨＭＤ１０２Ａとカメラ１０３Ｂを有する。システム１は、リアル空間１０１ＢにおいてＨＭＤ１０２Ｂとカメラ１０３Ｂを有する。なお、ＨＭＤ１０２ＡとＨＭＤ１０２Ｂとは互いに同一の構成を有し、カメラ１０３Ａとカメラ１０３Ｂとは互いに同一の構成を有する。このため、以下では、ＨＭＤ１０２ＡとＨＭＤ１０２Ｂの一方について説明した内容を、他方については原則として説明しない。同様に、カメラ１０３Ａとカメラ１０３Ｂの一方について説明した内容を、他方については原則として説明しない。

　ＨＭＤ１０２Ａは、ユーザ１００Ａ（リアル空間１０１Ａに位置するユーザ）が装着するＨＭＤである。ＨＭＤ１０２Ａは、特に説明がない限り、ビデオシースルー型のＨＭＤであることを前提に説明する。

　カメラ１０３Ａは、リアル空間１０１Ａの固定位置に設置された撮像装置である。カメラ１０３Ａは、リアル空間１０１Ａ、およびリアル空間１０１Ａにおけるユーザ１００Ａを撮像する。カメラ１０３Ａは、ユーザ１００Ａ（リアル空間１０１Ａ）を撮像した画像（撮像画像）から、ユーザ１００Ａの位置、姿勢、および顔の表情（笑っている表情、怒っている表情、または、無表情など）を検出する。そして、カメラ１０３Ａは、検出結果（ユーザ１００Ａの位置、姿勢、および顔の表情）の情報を状態情報１０Ａとしてサーバー１０７に送信する。

　このとき、状態情報１０Ａは、サーバー１０７を介して、ＨＭＤ１０２Ｂに送信される。すると、ＨＭＤ１０２Ｂは、ディスプレイ（表示部）に表示するアバター（アバターの位置、姿勢、および表情など）を、受信した状態情報１０Ａに従って制御する。これにより、ＨＭＤ１０２Ｂを装着したユーザ１００Ｂは、ユーザ１００Ａ（相手ユーザ）の位置、姿勢、および表情の変化をリアルタイムで認識できる。

　さらに、カメラ１０３Ａは、リアル空間１０１Ａにおける、ユーザ１００Ａが移動可能であり、かつ、撮像画像からユーザ１００Ａを検出可能な範囲（有効範囲）を示す範囲情報２０Ａを検出する。そして、カメラ１０３Ａは、サーバー１０７を介して、範囲情報２０ＡをＨＭＤ１０２Ｂに送信する。この場合には、ＨＭＤ１０２Ｂは、受信した範囲情報２０Ａに基づき、アバターが移動可能な範囲をディスプレイに表示する。状態情報１０（１０Ａ，１０Ｂ）と範囲情報２０（２０Ａ，２０Ｂ）の詳細については後述する。

（システムの使用イメージについて）
　図２Ａ～図２Ｃを参照して、システム１の使用イメージを説明する。

　図２Ａは、２人のユーザ１００（１００Ａ，１００Ｂ）がそれぞれ異なるリアル空間１０１（リアル空間１０１Ａである部屋２０１と、リアル空間１０１Ｂである庭２０２）で、ＨＭＤ１０２（１０２Ａ，１０２Ｂ）を使用している状況を示している。

　カメラ１０３Ａは、部屋２０１の隅に配置されている。カメラ１０３Ｂは、庭２０２の隅に配置されている。また、部屋２０１には、テレビ２０９および観葉植物２１０が配置されている。庭２０２には、庭木２１１および犬２１２が配置されている。

　ここで、「ユーザ１００Ａの状態（位置、姿勢および顔の表情など）をユーザ１００Ａのアバターに反映する場合に、ユーザ１００Ａが部屋２０１内で移動できる範囲（ユーザ１００Ａの有効範囲）」を説明する。ユーザ１００Ａの有効範囲は、テレビ２０９および観葉植物２１０が配置された範囲を部屋２０１から除いた範囲であり、かつ、カメラ１０３Ａがユーザ１００Ａを検出可能な範囲である。また、ユーザ１００Ｂの有効範囲は、庭木２１１と犬２１２が配置された範囲を庭２０２から除いた範囲で、かつ、カメラ１０３Ｂがユーザ１００Ｂを検出可能な範囲である。

　図２Ｂは、ユーザ１００（１００Ａ、１００Ｂ）のＨＭＤ１０２（１０２Ａ，１０２Ｂ）に表示される画像の一例を示す。ＨＭＤ１０２Ａには、部屋２０１を背景として、ユーザ１００Ｂのアバター２２０Ｂが表示されている。また、ＨＭＤ１０２Ｂには、庭２０２を背景として、ユーザ１００Ａのアバター２２０Ａが表示されている。ＨＭＤ１０２に表示されるアバターは、他のユーザ（当該ＨＭＤ１０２を装着するユーザとは異なるユーザ）の状態変化に連動して、位置、姿勢および表情などが変化する。

　ここで、ＨＭＤ１０２Ａに表示される画像において、カメラ１０３Ｂに対するユーザ１００Ｂの相対位置と、カメラ１０３Ａに対するアバター２２０Ｂの相対位置とが一致するように、アバター２２０Ｂが配置されている。同様に、ＨＭＤ１０２Ｂに表示される画像において、カメラ１０３Ａに対するユーザ１００Ａの相対位置と、カメラ１０３Ｂに対するアバター２２０Ａの相対位置とが一致するように、アバター２２０Ａが配置されている。

　図２Ｃは、カメラ１０３（カメラ１０３Ａ、カメラ１０３Ｂ）が、リアル空間１０１を撮像した画像（撮像画像）にアバターを合成した画像の一例を示す。ここで、カメラ１０３（１０３Ａ，カメラ１０３Ｂ）は、ユーザと背景のみを撮像する。カメラ１０３は、アバター（他のユーザの状態情報に基づき生成されたアバター）と撮像画像を合成することにより、ユーザとアバターが同じリアル空間にいるような合成画像を生成する。このように生成された合成画像は、サーバー１０７に記録されたり、サーバー１０７を介して外部装置に配信されたりする。このことで、ユーザや、ユーザ以外の第三者は、ユーザとアバターが一緒に遊んでいるように見える合成画像を見ることができる。なお、以下では、カメラ１０３が生成する合成画像を「カメラ合成画像」と呼ぶ。

　また、カメラ１０３Ａが生成するカメラ合成画像において、カメラ１０３Ｂに対するユーザ１００Ｂの相対位置と、カメラ１０３Ａに対するアバター２２０Ｂの相対位置とが一致するように、アバター２２０Ｂが配置されている。同様に、カメラ１０３Ｂが生成するカメラ合成画像において、カメラ１０３Ａに対するユーザ１００Ａの相対位置と、カメラ１０３Ｂに対するアバター２２０Ａの相対位置とが一致するように、アバター２２０Ａが配置されている。

　このため、ユーザごとに位置するリアル空間１０１の広さが異なると、ＨＭＤ１０２に表示される画像およびカメラ合成画像が、不自然に見える場合がある。例えば、図３Ａに示すように、庭２０２においてユーザ１００Ｂが、部屋２０１の範囲（部屋２０１におけるユーザ１００Ａの有効範囲）外に相当するような、庭２０２の隅の位置に移動した場合を考える。この場合には、ユーザ１００ＡのＨＭＤ１０２Ａに表示される画像では、図３Ｂに示すように、ユーザ１００Ｂのアバター２２０Ｂが、ユーザ１００Ａの部屋２０１の外側に配置されてしまう。また、カメラ１０３Ａが生成するカメラ合成画像においても、図３Ｂに示すように、ユーザ１００Ｂのアバター２２０Ｂが部屋２０１の外側に配置されてしまう。

　なお、ユーザ１００Ｂは、ユーザ１００Ａの部屋２０１の状況を把握できていない。このため、ユーザ１００Ｂは、ＨＭＤ１０２Ａに表示された画像およびカメラ１０３Ａが生成するカメラ合成画像において、アバター２２０Ｂの配置が不自然であることに気づかない。つまり、ユーザ１００Ｂは、実際に部屋２０１を見るなどをして、部屋２０１の詳細を把握していないと、アバター２２０Ｂが不自然な位置に配置されない範囲（自身が動いてよい範囲）を把握できない。

　この問題を解決するために、実施形態１では、リアル空間１０１Ｂにおける範囲情報２０Ｂに基づき、アバター２２０Ｂが移動可能な範囲を、ユーザ１００Ａの移動が許容される範囲として表示するＨＭＤ１０２を説明する。

　図４Ａおよび図４Ｂは、ＨＭＤ１０２に表示されるアバターが移動可能な範囲の表示例を示す。図４Ａでは、ＨＭＤ１０２Ａにおいて、ユーザ１００Ｂのアバター２２０Ｂが移動可能な範囲をグラデーション表示（濃淡表示）により示す仮想オブジェクト（以下、「範囲表示オブジェクト」と呼ぶ）４０１が表示されている。図４Ｂでは、ＨＭＤ１０２Ｂにおいて、ユーザ１００Ａのアバター２２０Ａが移動可能な範囲をグラデーション表示により示す範囲表示オブジェクト４０３が表示されている。なお、後述するが、範囲表示オブジェクト４０３のうち暗い範囲ほど、当該範囲に対応するリアル空間１０１Ａの範囲においてユーザ１００Ａの状態の検出が精度よく行われるため、アバター２２０Ａがスムーズに動作する。また、範囲表示オブジェクト４０３は透過性を有し、ユーザ１００Ｂは、範囲表示オブジェクト４０３を透過して、リアル空間１０１Ｂ（リアル空間１０１Ｂの画像）を見ることができる。

　また、例えば、ユーザ１００Ａは、図４Ａに示すような範囲表示オブジェクト４０１をＨＭＤ１０２Ａの表示から認識して、グラデーション表示により示されたリアル空間１０１Ａの範囲内で行動するようにする。このことで、ＨＭＤ１０２Ｂに表示される画像および、カメラ１０３Ｂにより合成された合成画像において、アバター２２０Ａが不自然な位置に配置されることを回避できる。具体的には、範囲表示オブジェクト４０１の範囲がユーザ１００Ｂの有効範囲に対応するため、ユーザ１００Ａが範囲表示オブジェクト４０１の範囲内で移動すれば、アバター２２０Ａは、ユーザ１００Ｂの有効範囲内でのみ移動するようになる。

（ＨＭＤの構成について）
　続いて、ＨＭＤ１０２（１０２Ａ，１０２Ｂ）の内部構成について説明する。上記では、ＨＭＤ１０２は、ビデオシースルー型のＨＭＤであることを前提に説明した。しかし、ＨＭＤ１０２は、光学シースルー型のＨＭＤおよびビデオシースルー型のＨＭＤのいずれであってもよい。ここで、ＨＭＤ１０２の各構成は、制御部（不図示）によって制御される。つまり、制御部は、ＨＭＤ１０２（表示装置）の全体を制御する。

　まず、図５を用いて、ＨＭＤ１０２がビデオシースルー型のＨＭＤ５００である場合について説明する。ＨＭＤ５００は、撮像部５０１、取得部５０２、オブジェクト生成部５０３、重畳部５０４、表示部５０５を有する。以下では、ＨＭＤ５００は、ユーザ１００Ａが装着するＨＭＤ１０２Ａであることを前提に説明する。

　撮像部５０１は、ユーザ１００Ａの前方（前面）を撮像した画像（以下、「前方画像」と呼ぶ）を取得する撮像装置（カメラ）である。撮像部５０１には、一般的に、ユーザ１００Ａの視界に近い撮像画角（広角から標準の撮像画角）を有する撮像装置が用いられる。

　取得部５０２は、サーバー１０７を介して、ユーザ１００Ｂのカメラ１０３Ｂから、状態情報１０Ｂと範囲情報２０Ｂを取得する。取得部５０２は、状態情報１０Ｂと範囲情報２０Ｂをオブジェクト生成部５０３に送信する。

　状態情報１０Ｂが示すユーザ１００Ｂの位置は、カメラ１０３Ｂに対するユーザ１００Ｂの相対位置である。範囲情報２０Ｂは、ユーザ１００Ｂの有効範囲（リアル空間１０１Ｂにおいてユーザ１００Ｂが移動可能な範囲、かつ、カメラ１０３Ｂがユーザ１００Ｂを検出可能な範囲）を、カメラ１０３Ｂからの相対位置により示す情報である。また、範囲情報２０Ｂは、有効範囲の各位置におけるユーザ１００Ｂの状態の検出精度に応じた、当該位置のグラデーションレベル（濃度）の情報を含む。

　オブジェクト生成部５０３は、取得部５０２から受信した状態情報１０Ｂに基づき、アバター２２０Ｂ（アバター２２０Ｂの画像）を生成する。さらに、オブジェクト生成部５０３は、取得部５０２から受信した範囲情報２０Ｂに基づき、アバター２２０Ｂが移動可能な範囲を示す範囲表示オブジェクト（範囲表示オブジェクトの画像）を生成する。具体的には、オブジェクト生成部５０３は、範囲情報２０Ｂが示す有効範囲に対応するような前方画像（リアル空間１０１Ａ）の範囲を、覆うことができる範囲表示オブジェクトを生成する。また、オブジェクト生成部５０３は、範囲表示オブジェクトの各位置を、当該位置に対応する有効範囲の位置のグラデーションレベルに応じて着色する。

　重畳部５０４は、撮像部５０１が前方を撮像した画像（前方画像）に、アバター２２０Ｂ（アバター２２０Ｂの画像）と範囲表示オブジェクト（範囲表示オブジェクトの画像）を重畳した合成画像（図４Ａおよび図４Ｂ参照）を生成する。そして、重畳部５０４は、合成画像を表示部５０５に出力する。

　このとき、重畳部５０４は、状態情報１０Ｂが示すユーザ１００Ｂの位置に従った位置（前方画像における位置）にアバター２２０Ｂを配置する。具体的には、重畳部５０４は、カメラ１０３Ｂに対するユーザ１００Ｂの相対位置と、カメラ１０３Ａに対するアバター２２０Ｂの相対位置とが一致するように、アバター２２０Ｂが配置する。このため、例えば、重畳部５０４は、ＨＭＤ５００に対するカメラ１０３Ａの相対位置を予め取得しておき、その相対位置と状態情報１０Ｂに基づき、アバター２２０Ｂを配置する。

　表示部５０５は、ユーザの眼の前に備え付けられたディスプレイである。表示部５０５は、合成画像を表示する。

　図６を用いて、ＨＭＤ１０２が光学シースルー型のＨＭＤ６００である場合について説明する。ＨＭＤ６００は、取得部６０１、オブジェクト生成部６０２、投影部６０３を有する。以下では、ＨＭＤ６００は、ユーザ１００Ａが装着するＨＭＤ１０２Ａであることを前提に説明する。

　なお、光学シースルー型のＨＭＤ６００では、ユーザは、表示面（ディスプレイ；グラス）越しに直接リアル空間１０１Ａを視認できる。このため、ＨＭＤ６００は、撮像部５０１を有しない。

　取得部６０１は、サーバー１０７を介して、ユーザ１００Ｂのカメラ１０３Ｂから、状態情報１０Ｂと範囲情報２０Ｂを取得する。

　オブジェクト生成部６０２は、ビデオシースルー型のＨＭＤ５００と同様に、アバター２２０Ｂ（アバター２２０Ｂの画像）および範囲表示オブジェクトを生成する。

　投影部６０３は、アバター２２０Ｂおよび範囲表示オブジェクトを、ディスプレイ内に設置された光学素子（プリズムなど）に投影する。このとき、投影部６０３は、状態情報１０Ｂが示すユーザ１００Ｂの位置に従った位置（ディスプレイにおける位置）にアバター２２０Ｂを投影する（配置する）。これにより、ユーザは、リアル空間１０１Ａ内に、アバター２２０Ｂと範囲表示オブジェクトとが配置されている空間を見る（認識する）ことができる。

　なお、ＨＭＤ１０２が図５または図６に示す構成を含んでいれば、ＨＭＤ１０２の形状は、ゴーグル形状、メガネ形状、およびコンタクトレンズ形状など任意の形状であってよい。

（カメラの構成について）
　図７を参照して、カメラ１０３（１０３Ａ，１０３Ｂ）の内部構成について説明する。以下では、ユーザ１００Ａを撮像するカメラ１０３Ａについて説明するが、カメラ１０３Ｂもカメラ１０３Ａと同様の構成である。

　撮像部７０１は、リアル空間１０１Ａにおけるユーザ１００Ａを撮像する。撮像部７０１は、例えば、リアル空間１０１Ａの広範囲を撮像可能である。

　検出部７０２は、撮像部７０１がユーザ１００Ａを撮像した画像（撮像画像）に基づき、リアル空間１０１Ａにおけるユーザ１００Ａを検出する。そして、検出部７０２は、撮像画像に基づき、ユーザ１００Ａの情報（状態情報１０Ａと範囲情報２０Ａ）を取得する。なお、検出部７０２は、撮像画像に基づき範囲情報２０Ａを取得するのではなく、例えば、前回のカメラ１０３Ａの使用時に取得した範囲情報２０Ａを記録部７０７などから取得してもよい。

　状態情報１０Ａは、ユーザ１００Ａの状態（位置、姿勢、顔の向き、および顔の表情など）に関する情報である。ユーザ１００Ａの位置は、図８に示すように、リアル空間１０１Ａに置かれたカメラ１０３Ａの位置を原点（０，０，０）とする座標空間における、ユーザ１００Ａが検出された座標位置により表される。ユーザ１００Ａの姿勢については、図８に示す座標空間におけるユーザ１００Ａの四肢の座標位置に基づき、Ｄｅｅｐ　Ｌｅａｒｎｎｉｎｇなどの技術を用いて推定される。顔の向きについては、ユーザ１００Ａの顔がカメラ１０３Ａに正対している状態を「正面を向いている状態」であるとして、顔が上下左右のいずれを向いているかにより検出される。顔の表情については、ユーザ１００Ａの目の開き具合や口角の位置の検出結果から推定される。撮像部７０１がユーザ１００Ａを撮像している間には、検出部７０２は、一定のレート（周期）で、ユーザ１００Ａの位置、姿勢、顔の向き、および顔の表情を検出して、かつ、状態情報１０Ａを更新する。

　範囲情報２０Ａは、ユーザ１００Ａの有効範囲（リアル空間１０１Ａにおける、ユーザ１００Ａが移動できる範囲であり、かつ、カメラ１０３Ａによりユーザ１００Ａを検出可能な範囲）を示す情報である。範囲情報２０Ａの検出方法については、図９のフローチャートを用いて後述する。

　送信部７０３は、状態情報１０Ａと範囲情報２０Ａをサーバー１０７に送信する。送信部７０３は、通信装置である。また、送信部７０３は、重畳部７０６が生成したカメラ合成画像をサーバー１０７に送信する。

　取得部７０４は、サーバー１０７を介して、ユーザ１００Ｂの状態情報１０Ｂを取得する。取得部７０４は、通信装置である。

　オブジェクト生成部７０５は、状態情報１０Ｂに基づき、位置、姿勢、および表情などを制御したアバター２２０Ｂ（アバター２２０Ｂの画像）を生成する。

　重畳部７０６は、撮像部７０１がユーザ１００Ａを撮像した撮像画像に、アバター２２０Ｂを重畳して、カメラ合成画像を生成する。このとき、重畳部７０６は、状態情報１０Ｂに示すユーザ１００Ｂの位置に従った位置（撮像画像における位置）に、アバター２２０Ｂを配置する。具体的には、カメラ合成画像において、カメラ１０３Ｂに対するユーザ１００Ｂの相対位置と、カメラ１０３Ａに対するアバター２２０Ｂの相対位置とが一致するように、アバター２２０Ｂが配置される。

　記録部７０７は、カメラ合成画像（撮像画像にアバター２２０Ｂが重畳された画像）を格納する。また、記録部７０７は、検出部７０２が取得した状態情報１０Ａと範囲情報２０Ａを格納していてもよい。

（範囲情報の検出処理について）
　図９のフローチャートを参照して、検出部７０２が実行する範囲情報２０の検出処理について説明する。以下では、ユーザ１００Ａ（リアル空間１０１Ａ）を撮像するカメラ１０３Ａの検出部７０２が実行する処理について説明する。

　ステップＳ９０１では、検出部７０２は、撮像部７０１がユーザ１００Ａを撮像した画像（撮像画像）から、ユーザ１００Ａの移動の妨げとなる物体（障害オブジェクト）を検出する。図２Ａでは、障害オブジェクトは、部屋２０１におけるテレビ２０９および観葉植物２１０が該当する。また、障害オブジェクトは、庭２０２における庭木２１１および犬２１２が該当する。

　ここで、検出部７０２は、図８に示すように、リアル空間１０１Ａにおけるカメラ１０３Ａ位置を原点（０，０，０）とする３次元の座標空間を設定する。そして、検出部７０２は、当該座標空間における障害オブジェクトの位置と大きさ（幅Ｗと高さＨ）を検出する。なお、障害オブジェクトの検出精度を高めるために、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｉｇｅｎｃｅ）や、ＤＬ（ＤｅｅｐＬｅａｒｎｎｉｎｇ）などの一般的な認識技術を用いてもよい。

　そして、検出部７０２は、検出オブジェクトの検出結果に基づき、図１０に示すような障害オブジェクトそれぞれの位置および大きさ（Ｚ軸方向から見た場合の障害オブジェクトの縦、横の長さ）を示すリストを生成する。なお、障害オブジェクトの位置および大きさの情報は、予めユーザによって登録されていてもよい。

　ステップＳ９０２では、検出部７０２は、リアル空間１０１Ａのうちユーザ１００Ａが移動できて（障害オブジェクトに邪魔されずに移動できて）、かつ、カメラ１０３Ａによりユーザ１００Ａが検出可能（撮像可能）な範囲（有効範囲）を検出する。

　まず、検出部７０２は、図１１に示すように、リアル空間１０１Ａにおけるカメラ１０３Ａの位置を原点（０，０）とする２次元の座標空間（図８のＺ軸方向から見たリアル空間１０１Ａの２次元の座標空間）を設定する。そして、検出部７０２は、設定された座標空間におけるカメラ１０３Ａの撮像画角に含まれる範囲のうち、リアル空間１０１Ａの境界線１１００（ユーザ１００Ａが移動可能な範囲の境界線；壁など）よりカメラ１０３Ａ側の範囲を求める。そして、検出部７０２は、求めた範囲から、オブジェクト１１０３と死角範囲１１０４（オブジェクト１１０３の存在によってカメラ１０３Ａから視認できない範囲）とを取り除いた範囲を、有効範囲１１０５（斜線により表された範囲）として検出する。このため、有効範囲１１０５は、カメラ１０３Ａの撮像画角に含まれない左右の死角範囲１１０１，１１０２を含まない。なお、死角範囲１１０４は、図１０に示す障害オブジェクトそれぞれの位置および大きさ（つまり、オブジェクト１１０３の位置および大きさ）から、既知の方法により算出可能である。

　ステップＳ９０３では、検出部７０２は、カメラ１０３Ａの撮像画角内でのユーザ１００Ａの状態（ユーザ１００Ａの位置、姿勢、および表情など）の検出精度に関する情報を、ステップＳ９０２で検出された有効範囲に追加する。

　図１２Ａに示すように、有効範囲１１０５が検出されている場合には、ユーザ１００Ａは有効範囲１１０５の内側を自由に移動可能である。しかし、カメラ１０３Ａがユーザ１００Ａの状態（位置、姿勢および顔の表情など）を正確に検出するためには、ユーザ１００Ａの身体の全体を適切な大きさで撮像する必要がある。例えば、図１２Ａに示す範囲１２０１に位置するユーザ１００Ａを撮像する場合には、ユーザ１００Ａがカメラ１０３Ａに近すぎるため、ユーザ１００Ａの身体の一部しか撮像ができない。このため、検出部７０２によるユーザ１００Ａの状態の検出精度が低下する。また、範囲１２０２に位置するユーザ１００Ａを撮像する場合には、ユーザ１００Ａがカメラ１０３Ａから遠すぎるため、ユーザ１００Ａの全身が小さく撮像されてしまう。このため、この場合でも、ユーザ１００Ａの状態の検出精度が低下する。

　このように、ユーザ１００Ａの状態の検出精度は、撮像画像に写るユーザ１００Ａの大きさ、または／および、ユーザ１００Ａの全身のうち撮像画像に写る範囲に基づく値となる。このため、実際のユーザ１００Ａの状態の検出精度は、ユーザ１００Ａの位置とカメラ１０３Ａとの距離の変化に応じて、徐々に変化する。図１２Ｂは、図１２Ａの有効範囲１１０５の各座標に対応するユーザ１００Ａの状態の検出精度を、グラデーション表示により表している。グラデーションの色の濃い範囲は、ユーザ１００Ａが移動可能で、かつ、カメラ１０３Ａによるユーザ１００Ａの状態の検出精度も高い範囲である。グラデーションの色の薄い範囲は、ユーザ１００Ａが移動可能であるが、カメラ１０３Ａによるユーザ１００Ａの状態の検出精度が低い範囲である。このため、色の薄い範囲にユーザ１００Ａが位置していると、ＨＭＤ１０２Ｂに表示されるアバター２２０Ａの動きが停止する可能性または、アバター２２０Ａが正しい位置もしくは姿勢にならない可能性がある。

　そこで、検出部７０２は、ステップＳ９０２にて検出した有効範囲に、ユーザ１００Ａの状態の検出精度に関する情報を追加して、範囲情報２０Ａとして出力する。具体的には、検出部７０２は、図１３に示すような、それぞれの座標位置におけるユーザ１００Ａの状態の検出精度をグラデーションレベル（濃度）により表した情報を、範囲情報２０Ａとして出力する。ここで、図１３において、グラデーションレベルが特定の値（例えば、０）より大きい位置が有効範囲に含まれ、グラデーションレベルが特定の値以下である位置が有効範囲に含まれない。

　ステップＳ９０１～Ｓ９０３のように、検出部７０２は、リアル空間１０１Ａにおけるユーザ１００Ａの有効範囲を撮像画像から検出して、ユーザ１００ＢのＨＭＤ１０２Ｂおよびカメラ１０３Ｂに範囲情報２０Ａを送信する。すると、ＨＭＤ１０２Ｂは、範囲情報２０Ａに基づき、図８に示すように、リアル空間１０１Ｂに置かれたカメラ１０３Ｂの位置を原点とする座標空間を設定する。ＨＭＤ１０２Ｂは、有効範囲の各位置に対応する座標位置（リアル空間１０１Ｂの座標空間の座標位置）を、有効範囲の当該位置のグラデーションレベルに従って着色する（グラデーションレベルが高いほど濃く着色する）ような範囲表示オブジェクトを生成する。そして、ＨＭＤ１０２Ｂは、アバター２２０Ａとともに、範囲表示オブジェクトを表示する。

　このため、範囲表示オブジェクトの各位置は、当該位置に対応するリアル空間１０１Ａの座標位置におけるユーザ１００Ａの状態の検出精度に応じた表示形態で表示される。なお、範囲表示オブジェクトの各位置は、グラデーション表示により表されている必要はなく、例えば、検出精度に応じて異なる色で表示されてもよいし、検出精度に応じた模様で表示されてもよい。

　なお、本実施形態では、２次元の座標空間を表す範囲情報２０の検出処理を説明したが、リアル空間の高さ方向を加味した３次元座標空間を表す範囲情報２０が検出されてもよい。また、範囲情報２０の取得は、通常、アバター２２０の表示を開始するタイミングで１度だけ実施すればよい。

　以上、実施形態１によれば、ユーザ１００Ａは、他のユーザ１００Ｂのアバター２２０Ｂの移動範囲を示す情報（範囲表示オブジェクト）を見て、アバター２２０Ｂの移動範囲とユーザ１００Ｂの状態の検出精度を認識ができる。このため、ユーザ１００Ａは、不適切な位置にアバター２２０Ｂが配置される可能性を把握できる。そして、ユーザ１００Ａは、範囲表示オブジェクトが示す範囲内で行動することにより、ユーザ１００Ｂが見る画像において、ユーザ１００Ａのアバター２２０Ａが不自然な位置に配置されることを回避することができる。さらには、ユーザ１００Ａは、範囲表示オブジェクトのうちの、グラデーション表示の色の濃い範囲内で行動することにより、ユーザ１００Ｂが見る画像において、ユーザ１００Ａのアバター２２０Ａが不自然な動きをすることなどを回避することができる。

＜実施形態２＞
　実施形態２では、ＨＭＤ１０２は、そのＨＭＤ１０２を装着するユーザ１００自身の移動可能な範囲も表示する。以下では、ＨＭＤ１０２は、ユーザ１００Ａが装着するＨＭＤ１０２Ａであるとして説明する。

　実施形態１では、ユーザ１００Ｂのアバター２２０Ｂの移動可能な範囲が、ＨＭＤ１０２Ａに表示された。ここで、ビデオシースルー型のＨＭＤ１０２Ａが仮想空間（リアル空間ではない空間）の画像を表示する場合には、その仮想空間においてユーザ１００Ａがアバター２２０Ｂと遊ぶことや、これらが遊んでいるところが撮像されるような場合が考えられる。ＨＭＤ１０２Ａに仮想空間の画像が表示される場合には、ユーザ１００Ａは、現在自分が位置するリアル空間１０１Ａを肉眼で視認できなくなる。このため、ユーザ１００Ａは、ＨＭＤ１０２Ａを用いて、動きを伴うゲームなどを行う場合には、リアル空間１０１Ａに配置された障害オブジェクトに衝突する危険性がある。

　これを回避するために、ＨＭＤ１０２Ａは、ユーザ１００Ｂのアバター２２０Ｂの移動範囲だけでなく、カメラ１０３Ａが検出した範囲情報２０Ａに基づき、ユーザ１００Ａの移動可能な範囲をグラデーション表示により表示する（仮想空間の画像に重畳する）。つまり、ＨＭＤ１０２Ａは、リアル空間１０１Ａにおけるユーザ１００Ａ自身の移動可能な範囲に対応する範囲（仮想空間の画像における範囲）を示す範囲表示オブジェクトを表示する。なお、実施形態２における「ユーザ１００Ａの移動可能な範囲」とは、ユーザ１００Ａの有効範囲と同じ範囲であってもよい。「ユーザ１００Ａの移動可能な範囲」とは、ユーザ１００Ａの有効領域と、障害オブジェクトの存在によってカメラ１０３Ａから視認できない範囲（図１１の死角範囲１１０４）とを併せた範囲であってもよい。

　図１４は、実施形態２におけるシステム２の構成を示す。システム１は、基本的な構成については、実施形態１に係るシステム２と同様である。一方で、ＨＭＤ１０２Ａは、そのＨＭＤ１０２Ａを装着したユーザ１００Ａ自身の移動可能な範囲を知るために、そのユーザ１００Ａの範囲情報２０Ａも取得する。

　実施形態２に係るＨＭＤ１０２Ａは、シースルー型のＨＭＤ５００（図５）と同様であるが、オブジェクト生成部５０３は、２つの範囲情報２０Ａおよび２０Ｂそれぞれについて、移動可能な範囲を表す範囲表示オブジェクトを生成する。ＨＭＤ１０２Ａは、２つの範囲表示オブジェクトを、一定の時間間隔で個別に切り替えて表示してもよいし、異なる色のグラデーションで同時に表示してもよい。

　これにより、ユーザ１００Ａは、自分自身とアバター２２０Ｂの双方の移動可能な範囲を認識することができる。このため、ユーザ１００Ａは、障害オブジェクトに衝突するなどの危険を回避することができる。

　なお、実施形態２では、双方のユーザがビデオシースルー型のＨＭＤを用いて仮想空間にアバターが表示される例であるとするが、どちらか一方のユーザのＨＭＤのみがビデオシースルー型のＨＭＤであってもよい。

　なお、上記の各実施形態においてＨＭＤ（表示装置）は、ＨＭＤを制御する制御装置（例えば、ＨＭＤ５００から表示部５０５を除いた構成）と表示部（例えば、ＨＭＤ５００における表示部５０５）とから構成されてもよい。

　また、上記において、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」は、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」と読み替えてもよい。逆に、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」は、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」と読み替えてもよい。このため、矛盾が生じない限り、「Ａ以上」という表現は、「ＡまたはＡよりも大きい（高い；長い；多い）」と置き換えてもよいし、「Ａよりも大きい（高い；長い；多い）」と読み替えてよく、置き換えてもよい。一方で、「Ａ以下」という表現は、「ＡまたはＡよりも小さい（低い；短い；少ない）」と置き換えてもよいし、「Ａよりも小さい（低い；短い；少ない）」と置き換えても読み替えてもよい。そして、「Ａよりも大きい（高い；長い；多い）」は、「Ａ以上」と読み替えてもよく、「Ａよりも小さい（低い；短い；少ない）」は「Ａ以下」と読み替えてもよい。

　以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

　なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
　本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０２２年６月２９日提出の日本国特許出願特願２０２２－１０４３８２を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

　上記の実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
　第１の現実空間における第１のユーザが装着する表示装置を制御する制御装置であって、
　第２の現実空間における第２のユーザの位置に対応する前記第１の現実空間の位置に配置されたような仮想オブジェクトと、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲を示す範囲表示オブジェクトとを表示するように前記表示装置を制御する制御手段を有する、
ことを特徴とする制御装置。
（構成２）
　前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲は、前記第２の現実空間における撮像装置が撮像により取得した撮像画像に基づく範囲である、
ことを特徴とする構成１に記載の制御装置。
（構成３）
　前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲は、有効範囲に対応し、
　前記有効範囲は、前記第２の現実空間における、前記第２のユーザが移動可能な範囲であり、かつ、前記撮像画像から前記第２のユーザを検出可能な範囲である、
ことを特徴とする構成２に記載の制御装置。
（構成４）
　前記制御手段は、前記範囲表示オブジェクトでは、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲の各位置を、当該位置に対応する前記第２の現実空間の位置における前記第２のユーザの状態の検出精度に応じた表示形態で表示する、
ことを特徴とする構成３に記載の制御装置。
（構成５）
　前記第２のユーザの状態の検出精度は、前記第２のユーザの全身のうち前記撮像画像に写る範囲、および前記撮像画像における前記第２のユーザの大きさの少なくともいずれかに基づく精度である、
ことを特徴とする構成４に記載の制御装置。
（構成６）
　前記有効範囲を示す範囲情報を取得する取得手段と、
　前記範囲情報に基づき、前記範囲表示オブジェクトを生成する生成手段と、
をさらに有することを特徴とする構成３から５のいずれか１項に記載の制御装置。
（構成７）
　前記取得手段は、前記第２のユーザの位置を含む前記第２のユーザの状態を示す状態情報をさらに取得して、
　前記生成手段は、前記状態情報に基づき前記仮想オブジェクトを生成する、
を有する、
ことを特徴とする構成６に記載の制御装置。
（構成８）
　前記表示装置は、ディスプレイを透過して外部が視認可能である表示装置であり、
　前記制御手段は、前記仮想オブジェクトと前記範囲表示オブジェクトとを前記ディスプレイに表示するように、前記表示装置を制御する、
ことを特徴とする構成１から７のいずれか１項に記載の制御装置。
（構成９）
　前記制御手段は、前記第１のユーザの前方が撮像された画像に対して前記仮想オブジェクトと前記範囲表示オブジェクトとを合成した画像を表示するように、前記表示装置を制御する、
ことを特徴とする構成１から７のいずれか１項に記載の制御装置。
（構成１０）
　前記制御手段は、仮想空間の画像を表示するとともに、前記第１の現実空間における前記第１のユーザが移動可能な範囲に対応する範囲であって、前記仮想空間の画像における範囲を示す第３の画像をさらに表示するように、前記表示装置を制御する、
ことを特徴とする構成１から９のいずれか１項に記載の制御装置。
（構成１１）
　構成１から１０のいずれか１項に記載の制御装置と、
　前記第２の現実空間を撮像して撮像画像を取得する撮像装置と、
を有することを特徴とするシステム。
（構成１２）
　前記撮像画像に基づき、前記第２の現実空間における、前記第２のユーザが移動可能な範囲であり、かつ、前記撮像画像から前記第２のユーザを検出可能な範囲である有効範囲を検出する検出手段をさらに有し、
　前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲は、前記有効範囲に対応する範囲である、
ことを特徴とする構成１１に記載のシステム。
（制御方法）
　第１の現実空間における第１のユーザが装着する表示装置を制御する制御方法であって、
　第２の現実空間における第２のユーザの位置に対応する前記第１の現実空間の位置に配置されたような仮想オブジェクトと、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲を示す範囲表示オブジェクトとを表示するように前記表示装置を制御する制御ステップを有する、
ことを特徴とする制御方法。
（プログラム）
　コンピュータを、構成１から１０のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。

１：システム、１０２：ＨＭＤ（表示装置）、１０３：カメラ（撮像装置）

Claims

　第１の現実空間における第１のユーザが装着する表示装置を制御する制御装置であって、
　第２の現実空間における第２のユーザの位置に対応する前記第１の現実空間の位置に配置されたような仮想オブジェクトと、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲を示す範囲表示オブジェクトとを表示するように前記表示装置を制御する制御手段を有する、
ことを特徴とする制御装置。
　前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲は、前記第２の現実空間における撮像装置が撮像により取得した撮像画像に基づく範囲である、
ことを特徴とする請求項１に記載の制御装置。
　前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲は、有効範囲に対応し、
　前記有効範囲は、前記第２の現実空間における、前記第２のユーザが移動可能な範囲であり、かつ、前記撮像画像から前記第２のユーザを検出可能な範囲である、
ことを特徴とする請求項２に記載の制御装置。
　前記制御手段は、前記範囲表示オブジェクトでは、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲の各位置を、当該位置に対応する前記第２の現実空間の位置における前記第２のユーザの状態の検出精度に応じた表示形態で表示する、
ことを特徴とする請求項３に記載の制御装置。
　前記第２のユーザの状態の検出精度は、前記第２のユーザの全身のうち前記撮像画像に写る範囲、および前記撮像画像における前記第２のユーザの大きさの少なくともいずれかに基づく精度である、
ことを特徴とする請求項４に記載の制御装置。
　前記有効範囲を示す範囲情報を取得する取得手段と、
　前記範囲情報に基づき、前記範囲表示オブジェクトを生成する生成手段と、
をさらに有することを特徴とする請求項３から５のいずれか１項に記載の制御装置。
　前記取得手段は、前記第２のユーザの位置を含む前記第２のユーザの状態を示す状態情報をさらに取得して、
　前記生成手段は、前記状態情報に基づき前記仮想オブジェクトを生成する、
を有する、
ことを特徴とする請求項６に記載の制御装置。
　前記表示装置は、ディスプレイを透過して外部が視認可能である表示装置であり、
　前記制御手段は、前記仮想オブジェクトと前記範囲表示オブジェクトとを前記ディスプレイに表示するように、前記表示装置を制御する、
ことを特徴とする請求項１から５のいずれか１項に記載の制御装置。
　前記制御手段は、前記第１のユーザの前方が撮像された画像に対して前記仮想オブジェクトと前記範囲表示オブジェクトとを合成した画像を表示するように、前記表示装置を制御する、
ことを特徴とする請求項１から５のいずれか１項に記載の制御装置。
　前記制御手段は、仮想空間の画像を表示するとともに、前記第１の現実空間における前記第１のユーザが移動可能な範囲に対応する範囲であって、前記仮想空間の画像における範囲を示す第３の画像をさらに表示するように、前記表示装置を制御する、
ことを特徴とする請求項１から５のいずれか１項に記載の制御装置。
　請求項１から５のいずれか１項に記載の制御装置と、
　前記第２の現実空間を撮像して撮像画像を取得する撮像装置と、
を有することを特徴とするシステム。
　前記撮像画像に基づき、前記第２の現実空間における、前記第２のユーザが移動可能な範囲であり、かつ、前記撮像画像から前記第２のユーザを検出可能な範囲である有効範囲を検出する検出手段をさらに有し、
　前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲は、前記有効範囲に対応する範囲である、
ことを特徴とする請求項１１に記載のシステム。
　第１の現実空間における第１のユーザが装着する表示装置を制御する制御方法であって、
　第２の現実空間における第２のユーザの位置に対応する前記第１の現実空間の位置に配置されたような仮想オブジェクトと、前記第１の現実空間において前記仮想オブジェクトが移動可能な範囲を示す範囲表示オブジェクトとを表示するように前記表示装置を制御する制御ステップを有する、
ことを特徴とする制御方法。
　コンピュータを、請求項１から５のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。