JP6933849B1 - 体感型インターフェースシステム、及び、動作体感システム - Google Patents

Abstract

ＶＲシステムＳは、第１アバター及び第２アバターが存在する仮想空間を生成する仮想空間生成部１０、ユーザの動作に応じて第１アバターの動作を制御し、第１アバターの動作に応じて第２アバターの動作を制御するアバター制御部１５、仮想空間をユーザに認識させるＨＭＤ４、制御対象が実行可能な動作を認識する可能動作認識部１４及び第２アバターの動作に応じて、制御対象の動作を制御する対象制御部１７を備える。アバター制御部１５は、第２領域で制御対象が実行可能な動作に基づいて、第２アバターが実行可能な動作を制限する。

Description

本発明は、仮想空間を介して、現実空間でユーザが存在している領域と異なる領域に存在する制御対象の動作を制御するための体感型インターフェースシステム、及び、その制御対象が実行可能な動作を体感することができる動作体感システムに関する。

従来、ユーザに、ヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある。）を介して、サーバ等で生成した仮想空間の画像、及び、その仮想空間でユーザに対応するアバターの画像を認識させることによって、ユーザ自身がその仮想空間に存在していると認識させて仮想現実を体感させる、いわゆる没入型の仮想空間体感システムがある。

この種の仮想空間体感システムとしては、モーションキャプチャー装置等によって、現実空間におけるユーザの動作（例えば、身体の動作、座標の移動、姿勢の変化等）を認識し、その認識した動作に応じて、仮想空間のアバターの動作を制御するものがある（例えば、特許文献１参照）。

この特許文献１の仮想空間体感システムは、仮想空間に、ユーザに対応する第１のアバター、ゲームパッド型のオブジェクト、及び、所定のキャラクター型の第２のアバターを生成する。そして、このシステムは、ユーザの動作に応じて第１のアバターを動作させて、第１のアバターの動作に応じてゲームパッド型のオブジェクトを動作させて、ゲームパッド型のオブジェクトの動作に応じて第２のアバターを動作させる。

特開２０１９−０３３８８１号公報

ところで、２つの現実空間のインターフェースとして仮想空間を介在させ、仮想空間で、ユーザに対応する第１アバターの動作を介して第２アバターを動作させて、ユーザが存在している現実空間とは時間及び位置の少なくとも一方が異なる現実空間で、第２アバターに対応するロボット等の制御対象の動作を制御するインターフェースシステムが望まれる。

そのインターフェースシステムでは、実際にはユーザが進入すること等の難しい領域（例えば、廃炉作業中の原発等）に対応してつくられた仮想空間に、現実空間の所定の領域に存在しているユーザに対応する第１アバターと、ユーザが存在している領域とは異なる現実空間の領域に存在する制御対象（例えば、その原発の内部に存在するロボット等）に対応する第２アバターを生成する。

これによれば、ユーザは、仮想空間で自らに対応する第１アバターを介して制御対象に対応する第２アバターを動作させることによって、ユーザとは異なる領域に存在している制御対象の動作を、自らの手で直接触って動作させているかのように、制御することができるようになる。

ここで、そのようなインターフェースシステムを構築するに際し、特許文献１のシステムを利用することが考えられる。しかし、特許文献１のシステムにおいてユーザが制御するものは、仮想空間に存在しているアバターである。

そのため、特許文献１のシステムを利用して、そのようなインターフェースシステムを構築した場合、制御対象が現実空間に存在しているにもかかわらず、ユーザは、その制御対象に対応するアバターを、その現実空間における制約（例えば、制御対象の周辺環境、制御対象の機能等）を考慮せずに、動かそうとしてしまう場合が生じることがある。

本発明は以上の点に鑑みてなされたものであり、ユーザが、仮想空間を介して、現実空間で自らが存在している領域とは異なる領域に存在する制御対象の動作を、その異なる領域に即して制御することができるインターフェースシステム、及び、その制御対象が実行可能な動作を体感することができる動作体感システムを提供することを目的とする。

本発明の体感型インターフェースシステムは、
仮想空間を介して、現実空間の第１領域に存在しているユーザが、前記第１領域と時間及び位置の少なくとも一方が異なる現実空間の第２領域に存在する制御対象の動作を、制御するための体感型インターフェースシステムであって、
前記ユーザに対応する第１アバター、及び、前記制御対象に対応する第２アバターが存在する仮想空間を生成する仮想空間生成部と、
前記ユーザの前記第１領域における動作を認識するユーザ動作認識部と、
前記ユーザの動作に応じて前記第１アバターの動作を制御し、前記第１アバターの動作に応じて前記第２アバターの動作を制御するアバター制御部と、
前記第１アバターの状態及び前記第２アバターの状態に基づいて、前記ユーザに認識させる前記仮想空間の画像を決定する画像決定部と、
決定された前記仮想空間の画像を、前記ユーザに認識させる画像表示器と、
前記第２領域で前記制御対象が実行可能な動作を認識する可能動作認識部と、
前記第２アバターの動作に応じて、前記制御対象の動作を制御する対象制御部と、
前記第１領域の形状及び前記第２領域の形状を認識する空間認識部とを備え、
前記仮想空間生成部は、前記仮想空間の形状が前記第１領域の形状に対応するように、前記仮想空間を生成し、
前記アバター制御部は、前記第２領域で前記制御対象が実行可能な動作、及び、前記第１領域の形状と前記第２領域の形状との相違に基づいて、前記第２アバターが実行可能な動作を制限しつつ制御することを特徴とする。

このように、本発明の体感型インターフェースシステムは、ユーザの動作に応じて、ユーザに対応する第１アバターの動作を制御し、その第１アバターの動作に応じて第２アバターの動作を制御している。これにより、ユーザは、仮想空間で、自らに対応する第１アバターを介して第２アバターを動作させることによって、現実空間で、第２アバターに対応する制御対象を動作させることができるようになっている。

ただし、仮想空間における第２アバターの動作は、ユーザが存在している第１領域とは時間及び位置の少なくとも一方が異なる第２領域に存在する制御対象が実行可能な動作に基づいて、制限しつつ制御されている。すなわち、その動作は、その制御対象が存在する現実空間における制約（例えば、制御対象の周辺環境、制御対象の機能等）に基づいて、制限しつつ制御されている。

これにより、ユーザが第１アバターを介して第２アバターを動作させようとしても、その動作が、制御対象が実行不可能な動作に対応する動作（すなわち、現実空間における制約を無視したような動作）であった場合、ユーザは、その動作を、仮想空間であっても自然と実行させることができなくなる。例えば、第２アバターが、所定の動作を実行できなくなったり、所定のスピード以上で移動できなくなったりする。

したがって、本発明の体感型インターフェースシステムによれば、制御対象が実行不可能な動作に対応する第２アバターの動作は仮想空間であっても自然と実行できなくなるので、ユーザは、制御対象が存在する現実空間の第２領域における制約を考慮しなくても、第２領域における制御対象の動作を、第２領域に即して制御することができる。

また、本発明の体感型インターフェースシステムを使用する状況としては、第１領域の形状と第２領域の形状とを一致させることができない場合、又は、一致させることが難しい場合がある。例えば、第１領域は、自宅又はオフィスの一室のような狭い空間であり、第２領域は、工事現場のような広い空間であるような場合がある。

そのような場合、第２領域の形状に対応するように仮想空間を生成してしまうと、ユーザは、自らの動作可能な範囲を誤って認識してしまうことがある。ひいては、ユーザは、自らに対応する第１アバターを動作させようとした際に、自らが存在している第１領域で周辺環境（例えば、自室に設置されている家具等）に接触する等してしまうおそれがある。

そこで、このように、仮想空間の形状が第１領域の形状に対応するように仮想空間を生成すると、その仮想空間はもともとのユーザの動作可能な範囲に対応したものになるので、ユーザは、自らが動作可能な範囲の認識を誤ることがなく第１アバターを動作させることがでるようになる。これにより、ユーザは、第１領域の形状と第２領域の形状とが相違する場合であっても、第２領域における制御対象の動作を、第１領域にいながら第２領域に即して制御することができる。

しかし、仮想空間を第１領域の形状に基づいて生成するだけでは、ユーザが、制御対象が実行不可能な動作に対応する動作を、制御対象に対応する第２アバターにさせようとしやすくなってしまうおそれがある。例えば、第１領域が第２領域よりも広い場合、第２アバターの移動量に対する制御対象の移動量が大きくなるので、ユーザが、形状の相違がない場合と同様に第２アバターを移動させると、制御対象の移動速度の上限を超えてしまうおそれがある。

そこで、このように、第２領域で制御対象が実行可能な動作だけでなく、第１領域の形状と第２領域の形状との相違にも基づいて、第２アバターの動作を制限するようにすることが好ましい。

これにより、仮想空間を第１領域の形状に基づいて生成した場合でも、それによって制御対象が実行不可能になった動作に対応する第２アバターの動作を、自然に制限することができる。ひいては、そのような場合でも、ユーザは、第１領域の形状と第２領域の形状との相違を考慮しなくても、第２領域における制御対象の動作を、第２領域に即して制御することができる。

また、本発明の体感型インターフェースシステムにおいては、
前記仮想空間における前記第２アバターの動作可能期間である第１期間の長さ、及び、前記第２領域における前記制御対象の動作可能期間である第２期間の長さを認識する期間認識部と、
前記第２アバターの動作を記憶する動作記憶部とを備え、
前記アバター制御部は、前記第２領域で前記制御対象が実行可能な動作、及び、前記第１期間の長さと前記第２期間の長さとの相違に基づいて、前記第２アバターが実行可能な動作を制限しつつ制御し、
前記対象制御部は、前記第１期間に前記動作記憶部に記憶されていた前記第２アバターの動作に応じて、前記第２期間に前記制御対象を制御することが好ましい。

本発明の体感型インターフェースシステムを使用する状況としては、第２アバターの動作と制御対象の動作とを、リアルタイムで対応させなくてもよい状況もある。そのような状況においては、このように動作記憶部を設けておくと、ある時間帯における第２アバターの動作を記憶しておき（すなわち、制御対象の動作を設定しておき）、その動作に応じて、後の時間帯で制御対象に実際に動作をさせることができる。

ところで、仮想空間における第２アバターの動作可能期間である第１期間の長さと、第２領域における制御対象の動作可能期間である第２期間の長さとは、必ずしも一致させる必要はない。例えば、第１期間を第２期間よりも長く設定することによって、短時間で制御対象に実行させたい動作（例えば、ロボットによる手術等）を、事前に時間をかけて検証しつつ設定しておくというようなことができる。

しかし、第１期間の長さと第２期間の長さとが異なると、ユーザが、制御対象が実行不可能な動作に対応する動作を、その制御対象に対応する第２アバターにさせようとしやすくなってしまうおそれがある。例えば、第１期間が第２期間よりも長い場合、第２アバターの動作速度に対する制御対象の動作速度が速くなるので、ユーザが、期間の相違がない場合と同様に第２アバターを動作させると、制御対象の動作速度の上限を超えてしまうおそれがある。

そこで、このように、第２領域で制御対象が実行可能な動作だけでなく、第１期間の長さと第２期間の長さとの相違にも基づいて、第２アバターの動作を制限するようにすることが好ましい。

これにより、第１期間の長さと第２期間の長さとが異なる場合でも、それによって制御対象が実行不可能になった動作に対応する第２アバターの動作を、自然に制限することができる。ひいては、そのような場合でも、ユーザは、第１期間の長さと第２期間の長さとの相違を考慮しなくても、第２期間における制御対象の動作を、第２領域に即して制御することができる。

また、本発明の動作体感システムは、
仮想空間を介して、現実空間の第１領域に存在しているユーザが、前記第１領域と時間及び位置の少なくとも一方が異なる現実空間の第２領域に存在する制御対象が実行可能な動作を、体感するための動作体感システムであって、
前記ユーザに対応する第１アバター、及び、前記制御対象に対応する第２アバターが存在する仮想空間を生成する仮想空間生成部と、
前記ユーザの前記第１領域における動作を認識するユーザ動作認識部と、
前記ユーザの動作に応じて前記第１アバターの動作を制御し、前記第１アバターの動作に応じて前記第２アバターの動作を制御するアバター制御部と、
第１モードと第２モードとを切り換えるモード切換部と、
前記第１アバターの状態及び前記第２アバターの状態に基づいて、前記ユーザに認識させる前記仮想空間の画像を決定する画像決定部と、
決定された前記仮想空間の画像を、前記ユーザに認識させる画像表示器と、
前記制御対象が機能として実行可能な動作を認識する対象機能認識部と、
前記第２領域で前記制御対象が動作する際の制約を認識する制約認識部とを備え、
前記アバター制御部は、前記第１モードでは、前記制御対象の機能のみに基づいて、前記第２アバターが実行可能な動作を制御し、前記第２モードでは、前記制御対象の機能及び前記第２領域における制約に基づいて、前記第２アバターが実行可能な動作を制限しつつ制御することを特徴とする。

このように、本発明の動作体感システムは、切換可能なモードのいずれにおいても、ユーザの動作に応じて、ユーザに対応する第１アバターの動作を制御し、その第１アバターの動作に応じて第２アバターの動作を制御している。

このとき、第１モードでは、仮想空間で第２アバターが実行可能な動作は、制御対象の機能のみに基づいて、制御される。具体的には、第１モードでは、ユーザが存在している第１領域とは時間及び位置の少なくとも一方が異なり、制御対象が存在する第２領域の周辺環境等は、考慮されない。これにより、第１モードでは、ユーザは、制御対象が機能として実行可能な動作を、体感することができる。

なお、第１モードでは、制御対象を第２領域で実際に動作させると、制御対象が第２領域の周辺環境に接触してしまうような可能性が生じる。そのため、第２領域における制約がほぼ無いような場合を除き、原則として、第１モードでは、制御対象は実際に動作させないことが推奨される。

一方、第２モードでは、仮想空間で第２アバターが実行可能な動作は、制御対象の機能に基づくだけではなく、第２領域における制約にも基づいて、制限しつつ制御される。

すなわち、第２モードでは、第２アバターが実行可能な動作は、現実空間である第２領域で実際に制御対象が実行可能な動作に対応したものとなる。例えば、第２アバターが、所定の動作を実行できなくなったり、所定のスピード以上で移動できなくなったりする。これにより、第２モードでは、ユーザは、現実空間である第２領域で実際に制御対象が実行可能な動作を、体感することができる。

なお、第２モードでは、制御対象を第２領域で実際に動作させても、制御対象が第２領域の周辺環境に接触してしまうおそれがない。しかし、制御対象が実際に実行可能な動作を体感するという観点からは、必ずしも、制御対象を実際に動作させなくてもよい。そのため、第２モードでは、制御対象を実際に動作させてもよいし、動作させなくてもよい。

したがって、本発明の動作体感システムによれば、ユーザは、機能のみに基づいて制御対象が実行可能な動作と、機能及び第２領域における制約に基づいて制御対象が実行可能な動作とを、比較しつつ体感することができる。ひいては、このシステムによれば、ユーザは、所定の環境下において、制御対象の機能を十全に発揮させる動作を、感覚的に検証することができる。

実施形態に係るＶＲシステムの概略構成を示す模式図。 図１のＶＲシステムの処理部の構成を示すブロック図。 図１のＶＲシステムがユーザに認識させる仮想空間の模式図。 図１のＶＲシステムにおいて生成される仮想空間広さと、現実空間における第１領域広さ及び第２領域の広さとの関係を示す説明図。 図１のＶＲシステムでユーザの動作が実行された時間帯とアバター、オブジェクト及びドローンの動作を実行する時間帯との関係の一例を示すタイミングチャート。 図１のＶＲシステムが使用が開始された際に実行する処理を示すフローチャート。 図１のＶＲシステムがオブジェクトの実行可能な動作を認識する際に実行する処理のうち、認識済みの情報に基づいて実行される処理を示すフローチャート。 図１のＶＲシステムがオブジェクトの実行可能な動作を認識する際に実行する処理のうち、新たに認識された情報に基づいて実行される処理を示すフローチャート。 図１のＶＲシステムがオブジェクトを動作させた際、及び、ドローンを動作させる際に実行する処理を示すフローチャート。

以下、図面を参照して、実施形態に係るＶＲシステムＳ（体感型インターフェースシステム、動作体感システム）について説明する。

ＶＲシステムＳは、仮想空間にユーザＵ自身が存在していると認識させて、ユーザＵに仮想現実（いわゆるＶＲ（virtual reality））を体感させるシステムである。

また、ＶＲシステムＳは、その仮想空間を介して、ユーザＵが存在している現実空間の第１領域ＲＳ１と時間及び位置の少なくとも一方が異なる現実空間の第２領域ＲＳ２に存在する制御対象の動作を制御する、又は、その制御対象が実行可能な動作を、ユーザＵに体感させるためのシステムである。

なお、以下においては、ＶＲシステムＳを用いて、工事現場でドローンに所定の作業（例えば、荷物の搬送等）を実行させる場合について説明する。そこで、ユーザＵが存在しているユーザＵの自室を第１領域ＲＳ１とし、制御対象である第１ドローンＤ１及び第２ドローンＤ２（以下、総称する場合は、「ドローンＤ」という。）が存在し、第１領域ＲＳ１とは離れた場所に存在している工事現場を第２領域ＲＳ２としている。

しかし、本発明の第１領域及び第２領域並びに制御対象は、このような構成に限定されるものではない。第１領域は、ユーザが存在している現実空間の領域であればよく、第２領域は、制御対象が存在し又は存在する可能性があり、且つ、第１領域と時間及び位置の少なくとも一方が異なる現実空間の領域であればよい。また、制御対象は、ユーザが仮想空間を介して、その動作を制御又はその動作を検証するものであればよい。

そのため、例えば、本発明のシステムを小動物、昆虫等といった小さな生物の視点から自然を体感するサービスに適用する場合には、第１領域を、サービスを提供する部屋とし、第２領域を、その部屋よりも小さく小動物、昆虫等が実際に飼育されている飼育箱とし、制御対象を、飼育箱の内部で移動自在なカメラ付きのロボットとしてもよい。

また、例えば、本発明のシステムをロボットによる手術に適用する場合には、第１領域を、所定の時間帯における手術室とし、第２領域を、所定の時間帯よりも後の時間帯におけるその手術室とするとともに、制御対象を、実際に手術を行うロボットとしてもよい。

［システムの概略構成］
まず、図１及び図２を参照して、ＶＲシステムＳの概略構成について説明する。

図１に示すように、ＶＲシステムＳは、ユーザＵが存在している現実空間の第１領域ＲＳ１に存在している機器、ドローンＤが存在する第２領域ＲＳ２に存在している機器、及び、ＶＲシステムＳを用いたサービスの提供者等の設置しているサーバ１によって、構成されている。

なお、本発明のシステムは、このような構成に限定されるものではない。例えば、第１領域又は第２領域にサーバに代わる端末を設置してもよいし、複数のサーバ、端末等を用いて、本実施形態のサーバ１の機能（後述する処理部）を実現するようにしてもよい。

第１領域ＲＳ１に存在している機器としては、ユーザＵに取り付けられる複数の標識２と、ユーザＵ（厳密には、ユーザＵに取り付けられた標識２）を撮影する第１カメラ３と、仮想空間ＶＳ（図３参照）の画像及び音声をユーザＵに認識させるヘッドマウントディスプレイ（以下、「ＨＭＤ４」という。）と、ユーザＵが使用するコントローラ５（図１では不図示。図２参照。）が該当する。

標識２は、ユーザＵが装着するＨＭＤ４、手袋及び靴等を介して、ユーザＵの頭部、両手及び両足のそれぞれに取り付けられている。ただし、標識２は、後述するようにユーザＵの第１領域ＲＳ１における動作（例えば、身体の各部位の動作、座標の移動、姿勢の変化等）を認識するために用いられるものである。そのため、その取り付け位置は、ＶＲシステムＳを構成する他の機器等に応じて、適宜変更してもよい。

第１カメラ３は、ユーザＵそのもの、及び、第１領域ＲＳ１でユーザＵが動作可能な範囲を多方向から撮影可能なように、第１領域ＲＳ１に複数設置されている。なお、第１カメラ３は、第１カメラ３の性能、第１領域ＲＳ１の形状等に応じて、１つだけ設置してもよいし、その設置場所も、適宜変更してもよい。

ＨＭＤ４は、ユーザＵの頭部に装着される。図２に示すように、ＨＭＤ４は、ユーザＵに、サーバ１によって決定された仮想空間ＶＳの画像をユーザＵの認識させるためのモニタ４０（画像表示器）と、サーバ１によって決定された仮想空間ＶＳの音声をユーザＵに認識させるためのスピーカ４１（音声発生器）とを有している。

コントローラ５は、後述するモードの切り換え指示、及び、第１ドローンＤ１に対応する第１オブジェクトＯ１、及び、第２ドローンＤ２に対応する第２オブジェクトＯ２への動作指示を、サーバ１に送信するために用いられる。

このＶＲシステムＳを用いてユーザＵに仮想現実を体感させる場合、ユーザＵは、ＨＭＤ４によって、仮想空間ＶＳの画像と音声のみを認識させられて、ユーザＵ自身が後述するアバターＡ（図３参照）として仮想空間に存在していると認識させられる。すなわち、ＶＲシステムＳは、いわゆる没入型のシステムとして構成されている。

なお、ＶＲシステムＳでは、ユーザＵの第１領域ＲＳ１における動作を認識するシステムとして、標識２と第１カメラ３と用いて構成された、いわゆるモーションキャプチャー装置を採用している。

しかし、本発明のシステムは、このような構成に限定されるものではない。例えば、モーションキャプチャー装置を使用する場合には、上記の構成のものの他、標識及びカメラの数が上記構成とは異なる（例えば、それぞれ１つずつ設けられている）ものを用いてもよい。

また、例えば、モーションキャプチャー装置以外の装置を用いて、ユーザの現実空間の第１領域における動作を認識するようにしてもよい。具体的には、ユーザの装着するＨＭＤ、手袋及び靴等にＧＰＳ等のセンサを搭載し、そのセンサからの出力に基づいて、プレイヤーの動作を認識するようにしてもよい。また、そのようなセンサと、上記のようなモーションキャプチャー装置を併用してもよい。

また、例えば、現実空間ではコントローラを省略し、仮想空間でのみコントローラに対応するオブジェクト（例えば、本実施形態において後述する第５オブジェクトＯ５）を生成するようにしてもよい。また、そのようなコントローラ及びオブジェクトの両方を省略し、又は、その少なくとも一方と併用して、それらを用いて行われていた指示を、ユーザの声又はジェスチャーに基づいて認識するようにしてもよい。

第２領域ＲＳ２に存在している機器としては、第２領域ＲＳ２に設置されている第２カメラ６（図１では不図示。図２参照。）が該当する。なお、本実施形態においては省略しているが、第２領域ＲＳ２には、サーバ１から受信した指示に基づいて、ドローンＤを制御するための中継機器が設置されていてもよい。

第２カメラ６は、ドローンＤそのもの、及び、第２領域でそれらが動作可能な範囲を、多方向から撮影可能なように、複数設置されている。なお、第２カメラ６は、第２カメラ６の性能、第２領域ＲＳ２の形状等に応じて、１つだけ設置してもよいし、その設置場所も、適宜設定してもよい。

サーバ１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む１つ又は複数の電子回路ユニットにより構成されている。

サーバ１は、第１領域ＲＳ１に存在している第１カメラ３、ＨＭＤ４、及び、コントローラ５、並びに、第２領域ＲＳ１に存在している第２カメラ６と、近距離無線通信、有線による通信、インターネット網、公衆回線等を通じて、相互に情報通信可能に構成されている。また、サーバ１は、ドローンＤとも、同様に、相互に情報通信可能に構成されている。

［各処理部の構成］
次に、図１〜図５を用いて、サーバ１の備えている処理部の構成を詳細に説明する。

図２に示すように、サーバ１は、実装されたハードウェア構成又はプログラムにより実現される機能として、仮想空間生成部１０（空間認識部、制約認識部）と、ユーザ動作認識部１１と、モード切換部１２と、期間認識部１３と、可能動作認識部１４（対象機能認識部）と、アバター制御部１５と、出力情報決定部１６（画像決定部）と、対象制御部１７（動作記憶部）とを備えている。

仮想空間生成部１０は、仮想空間ＶＳ（厳密には、仮想空間ＶＳの背景）、並びに、その仮想空間ＶＳに存在するユーザＵに対応するアバターＡ（第１アバター）、及び、複数のオブジェクトの画像を生成する。また、仮想空間生成部１０は、それらの画像に関連する音声も生成する。

図１及び図３に示すように、仮想空間生成部１０が生成するオブジェクトには、第２領域ＲＳ２に存在する第１ドローンＤ１に対応する第１オブジェクトＯ１（第２アバター）、第２ドローンＤ２に対応する第２オブジェクトＯ２（第２アバター）、作業機械Ｗに対応する第３オブジェクトＯ３、及び、建築資材Ｍに対応する第４オブジェクトＯ４、並びに、第１領域ＲＳ１に存在しているコントローラ５に対応する第５オブジェトＯ５が含まれる。

また、仮想空間生成部１０（空間認識部）は、第１カメラ３の撮影した画像に基づいて、第１領域ＲＳ１の形状を認識するとともに、第２カメラ６の撮影した画像に基づいて、第２領域ＲＳ２の形状を認識する。そのうえで、仮想空間生成部１０は、仮想空間ＶＳの形状が第１領域ＲＳ１の形状に対応するように、仮想空間ＶＳを生成する。

具体的には、図４に示すように、例えば、第１領域ＲＳ１が平面視正方形の狭い空間であると認識され、第２領域ＲＳ２が平面視長方形の縦長の広い空間であると認識されたとする。その場合、仮想空間生成部１０は、仮想空間ＶＳの形状を、第１領域ＲＳ１の形状と一致するように生成する。一方で、仮想空間ＶＳの画像は、第２領域ＲＳ２の撮影画像に基づいた画像を、第１領域ＲＳ１の形状に合わせて縮小したものとして生成される。

このとき、第１領域ＲＳ１（すなわち、仮想空間ＶＳ）の平面視におけるアスペクト比は、第２領域ＲＳ２のアスペクト比とは異なっている。そのため、仮想空間ＶＳの画像の図面の縦方向と横方向における縮小の比率は、異なるものとなる。

なお、本発明のシステムは、このような構成に限定されるものではなく、第１領域の形状と第２領域の形状とが必ず一致する場合（例えば、時間のみが異なる場合等）には、仮想空間生成部は、第１領域の形状に基づいて第２領域の画像を変形する機能を含んでいなくてもよい。

また、仮想空間生成部１０（制約認識部）は、第１カメラ３の撮影した画像に基づいて、第１領域ＲＳ１でユーザＵ（ひいては、ユーザＵに対応するアバターＡ）が動作する際の制約を認識する。そのうえで、仮想空間生成部１０は、その制約を考慮して仮想空間ＶＳを生成する。

具体的には、例えば、図１、図３及び図４に示すように、仮想空間生成部１０は、第１領域ＲＳ１に存在している家具Ｆを認識するとともに、家具Ｆが第１領域ＲＳ１で存在している位置に対応する仮想空間ＶＳの位置に、アバターＡが進入できない第１制約エリアＬＡ１を生成する。なお、このとき、家具Ｆは、仮想空間ＶＳにゴーストとして、半透明の状態で生成される。

また、仮想空間生成部１０は、第２カメラ６の撮影した画像、及び、予め入力されていた作業機械Ｗの機能等に基づいて、第２領域ＲＳ２でドローンＤが動作する際の制約を認識する。そのうえで、仮想空間生成部１０は、その制約を考慮して仮想空間ＶＳを生成する。

具体的には、例えば、図１、図３及び図４に示すように、仮想空間生成部１０は、第２領域ＲＳ２に存在している建築資材Ｍを認識する。そのうえで、建築資材Ｍが第２領域ＲＳ２で存在している位置に対応する仮想空間ＶＳの位置に、第２制約エリアＬＡ２を生成する。第２制約エリアＬＡ２は、ドローンＤに対応する第１オブジェクトＯ１及び第２オブジェクトＯ２（以下、総称する場合は「対象オブジェクトＯ１，Ｏ２」という。）が進入不可能なエリアとなる。

同様に、仮想空間生成部１０は、第２領域ＲＳ２に存在している作業機械Ｗを認識する。そのうえで、作業機械Ｗが第２領域ＲＳ２で存在し得る領域（すなわち、作業機械Ｗが動作を行う領域）に対応する仮想空間ＶＳの領域に、第３制約エリアＬＡ３を生成する。第３制約エリアＬＡ３は、対象オブジェクトＯ１，Ｏ２の進入が禁止されるエリア（例えば、進入させることは可能だが警告が表示されるエリア）となる。

このように生成された第１制約エリアＬＡ１、第２制約エリアＬＡ２及び第３制約エリアＬＡ３は、例えば、図３に示すように、仮想空間ＶＳで半透明の立体物のようにして示される。

なお、仮想空間生成部１０は、第１領域ＲＳ１の形状及び第２領域ＲＳ２の形状、並びに、第１領域ＲＳ１及び第２領域ＲＳ２における制約を、必ずしも第１カメラ３及び第２カメラ６の画像に基づいて認識する必要はなく、ユーザＵ自身等によって別途入力されたモデル、数値等に基づいて認識してもよい。

図２に示すように、ユーザ動作認識部１１は、第１カメラ３が撮影した画像データに基づいて、ユーザＵの動作を認識する。具体的には、ユーザ動作認識部１１は、ユーザＵの画像データからユーザＵに取り付けられている標識２を抽出し、その抽出結果に基づいて、ユーザＵの身体の各部位の動作、座標の移動及び姿勢の変化を認識する。

モード切換部１２は、コントローラ５への入力等に基づいて、ユーザＵのモード変更の指示を認識し、その指示に基づいて、ＶＲシステムＳが実行するモードを変更する。

ＶＲシステムＳでは、リアルタイムでドローンＤを制御するモード（第２モード）と、対象オブジェクトＯ１，Ｏ２を動作させた時間帯よりも後の異なる時間帯でドローンＤを制御するモード（第２モード）と、ドローンＤを実際には制御せず、その動作を検証するモード（第１モード）の３つのモードのいずれかに変更可能となっている。

なお、本発明のシステムは、このような構成に限定されるものではなく、それらの３つのモードのうちの少なくとも１つを備えていればよい。そのため、１つのモードだけを実行するように構成する場合には、モード切換部は省略してもよい。

期間認識部１３は、コントローラ５への入力等に基づいて、仮想空間ＶＳにおける対象オブジェクトＯ１，Ｏ２の動作可能期間である第１期間の長さ及びその時間帯を認識する。すなわち、対象オブジェクトＯ１，Ｏ２を動作させるアバターＡ（ひいては、ユーザＵ）の動作可能期間を認識する。

また、期間認識部１３は、コントローラ５への入力等に基づいて、第２領域ＲＳ２におけるドローンＤの動作可能期間である第２期間の長さ及びその時間帯を認識する。

なお、本発明のシステムは、このような構成に限定されるものではなく、例えば、リアルタイムで制御対象を制御するモードのみを備えたものである場合には、期間認識部は、省略してもよい。

可能動作認識部１４（対象機能認識部）は、第２領域ＲＳ２で、ドローンＤが実行可能な動作を認識する。

具体的には、まず、可能動作認識部１４（対象機能認識部）は、ユーザＵ等によって予め入力された情報等に基づいて、ドローンＤが機能として実行可能な動作を認識する。

なお、機能として実行可能な動作は、ＶＲシステムＳを使用し始めた段階でのみ認識してもよいし、ＶＲシステムＳを使用している間に、ドローンＤからフィードバックされた情報に基づいて随時認識するようにしてもよい。

また、可能動作認識部１４は、期間認識部１３が認識した第２期間の時間帯、仮想空間生成部１０が認識した第２領域ＲＳ２の画像、第２領域ＲＳ２で実行される工事の計画、第２領域ＲＳ２の環境（天気等）等に基づいても、ドローンＤが実行可能な動作を認識する。

例えば、可能動作認識部１４は、別途入力された第２期間における作業機械Ｗの作業の予定を認識し、その期間内において、ドローンＤが機能としては実行可能ではあるが、作業機械Ｗとの接触を避けるうえで実行不可能となる動作を認識する。その後、可能動作認識部１４は、そのように認識された実行不可能となる動作を参照して、第２期間においてドローンＤが実行可能な動作を認識する。

アバター制御部１５は、ユーザＵの動作に応じて、アバターＡの動作を制御し、そのアバターＡの動作に応じて、対象オブジェクトＯ１，Ｏ２の動作を制御する。具体的には、図３に示すように、ユーザＵは、仮想空間ＶＳで、自らに対応するアバターＡの動作を介して、又は、コントローラ５に対応するオブジェクトＯ５を操作することによって、対象オブジェクトＯ１，Ｏ２の動作を制御する。

このとき、アバター制御部１５は、対象オブジェクトＯ１，Ｏ２の動作を、それらに対応するドローンＤが機能として実行可能な動作に基づいて制限する。

例えば、ユーザＵが、第１ドローンＤ１の実際に実現可能な移動速度を超えるような速度に対応する速度で、それに対応する第１オブジェクトＯ１を移動させようした場合には、第１オブジェクトＯ１の動作が制限される。具体的には、ユーザＵが、アバターＡの手で押すようにして、第１オブジェクトＯ１を移動させている場合、その移動速度が所定の速度以上となった場合には、アバターＡの手が第１オブジェクトＯ１を通り抜けてしまうといった処理が行われる。

また、アバター制御部１５は、対象オブジェクトＯ１，Ｏ２の動作を、それらに対応するドローンＤが第２領域ＲＳ２で実行可能な動作に基づいて制限する。

例えば、建築資材Ｍが第２領域ＲＳ２で存在している位置には、ドローンＤは進入することができない。そこで、その位置に対応する第２制約エリアＬＡ２には、対象オブジェクトＯ１，Ｏ２を移動させることができなくなる。

また、例えば、作業機械Ｗが第２領域ＲＳ２で存在し得る領域に、ドローンＤを移動させると、作業機械Ｗと接触してしまう可能性がある。そこで、その領域に対応する第３制約エリアＬＡ３には、対象オブジェクトＯ１，Ｏ２を移動させると、それらの色が変わるとともに、警告文章が仮想空間ＶＳのアバターＡの近傍に表示される。

また、アバター制御部１５は、対象オブジェクトＯ１，Ｏ２の動作を、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状との相違に基づいても、制限する。

例えば、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状とが異なる場合、仮想空間ＶＳは、第１領域ＲＳ１の形状に基づいて生成される。しかし、そのような仮想空間ＶＳでは、ユーザＵが、ドローンＤが実行不可能な動作に対応する動作を、それらに対応する対象オブジェクトＯ１，Ｏ２にさせようとしやすくなってしまうおそれがある。

具体的には、第１領域ＲＳ１よりも第２領域ＲＳ２が広い場合、仮想空間ＶＳが第１領域ＲＳ１の形状に基づいて生成されると、対象オブジェクトＯ１，Ｏ２の移動量に対するドローンＤの移動量が大きくなる。そのため、ユーザＵが対象オブジェクトＯ１，Ｏ２を移動させると、ドローンＤの移動速度の上限を超えてしまうおそれがある。

そこで、第１領域ＲＳ１よりも第２領域ＲＳ２が広い場合（すなわち、図４に示すように仮想空間ＶＳが第２領域ＲＳ２を縮小したものである場合）には、アバター制御部１５は、対象オブジェクトＯ１，Ｏ２の方向ごとの移動可能速度を、その縮小の度合いに応じて、方向ごとに制限する。

これにより、対象オブジェクトＯ１，Ｏ２は、方向ごとに定められた速度以下でしか移動することができなくなる。具体的には、対象オブジェクトＯ１，Ｏ２の図４の紙面上の縦方向における移動可能速度は、横方向における移動速度よりも遅くなる。

また、アバター制御部１５は、対象オブジェクトＯ１，Ｏ２の動作を、第１期間の長さと第２期間の長さとの相違に基づいても、制限する。

例えば、第１期間の長さと第２期間の長さとが異なる場合がある。しかし、そのような場合、ユーザＵが、ドローンＤが実行不可能な動作に対応する動作を、それらに対応する対象オブジェクトＯ１，Ｏ２にさせようとしやすくなってしまうおそれがある。

具体的には、第１期間が第２期間よりも長い場合、対象オブジェクトＯ１，Ｏ２の動作速度に対するドローンＤの動作速度が速くなる。そのため、ユーザＵが、期間の相違がない場合と同様に対象オブジェクトＯ１，Ｏ２を動作させると、ドローンＤの動作速度の上限を超えてしまうおそれがある。

そこで、第１期間が第２期間よりも長い場合には、アバター制御部１５は、対象オブジェクトＯ１，Ｏ２の移動可能速度を、その期間の差に応じて、全方向において一律に制限する。

これにより、対象オブジェクトＯ１，Ｏ２は、いずれの方向であっても定められた速度以下でしか移動することができなくなる。具体的には、対象オブジェクトＯ１，Ｏ２の移動可能速度は、通常の速度よりも遅くなる。

なお、本発明のシステムは、このような構成に限定されるものではない。例えば、第１領域の形状と第２領域の形状とが一致している場合には、アバター制御部は、第１領域の形状と第２領域の形状との相違に基づいて第２アバターの動作を制限しなくてもよい。また、例えば、システムがリアルタイムで制御対象を制御するモードのみを備えるように構成されている場合には、アバター制御部は、第１期間と第２期間との相違にも基づいて第２アバターの動作を制限しなくてもよい。

なお、リアルタイムでドローンＤを制御するモード、又は、異なる時間帯でドローンＤを制御するモードの場合には、前述のように、ドローンＤが第２領域ＲＳ２で周辺環境も加味して実行可能な動作、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状との相違、及び、第１期間の長さと第２期間の長さとの相違に基づいて、対象オブジェクトＯ１，Ｏ２の仮想空間ＶＳにおける動作が制限される。

一方、動作を検証するモードの場合には、それらのうち周辺環境、期間の相違に基づいては動作が制限されず、形状の相違とドローンＤの機能にのみ基づいて、対象オブジェクトＯ１，Ｏ２の仮想空間ＶＳにおける動作が制限される。

出力情報決定部１６（画像決定部）は、ＨＭＤ４を介してユーザＵに認識させる仮想空間ＶＳの画像及び音声を、決定する。

対象制御部１７（動作記憶部）は、仮想空間ＶＳにおける対象オブジェクトＯ１，Ｏ２の動作に応じて、それらに対応するドローンＤの第２領域ＲＳ２における動作を制御する。

また、対象制御部１７は、第１期間に実行された対象オブジェクトＯ１，Ｏ２の動作を記憶することが可能となっている。これにより、リアルタイムだけでなく、第１期間よりも後の期間（少なくとも開始時期のずれた期間）である第２期間に、ドローンＤを制御することが可能となっている。

さらに、対象制御部１７は、第１オブジェクトＯ１及び第２オブジェクトＯ２の各々の動作について、個別に記憶することが可能となっている。これにより、それらに対応する第１ドローンＤ１及び第２ドローンＤ２の第２領域ＲＳ２における動作を、異なる時間帯で、一人のユーザＵが制御することが可能となっている。

例えば、図５に示すように、まず、第１期間（ｔ１〜ｔ２の期間）において、ユーザが、アバターＡを介して第１オブジェクトＯ１を動作させたとする。その際の第１オブジェクトＯ１の動作は、対象制御部１７に記憶される。その後、第１期間よりも後の第２期間（ｔ４〜ｔ７の期間）において、第１ドローンＤ１は、対象制御部１７に記憶されていた第１オブジェクトＯ１の動作に応じて、動作される。

このとき、この場合における第１期間と第２期間との長さは、必ずしも一致している必要はない。これにより、例えば、第１期間を第２期間よりも長く設定することによって、短時間で制御対象に実行させたい動作（例えば、ロボットによる手術等）を、事前に時間をかけて検証しつつ設定しておくというようなことができる。逆に、第２期間を第１期間よりも長く設定することによって、第２領域の状況を加味してゆっくりと行わなければいけない動作を、短時間で設定しておくというようなこともできる。

また、例えば、まず、第１期間（ｔ３〜ｔ６の期間）において、ユーザが、アバターＡを介して第２オブジェクトＯ２を動作させたとする。その際の第２オブジェクトＯ２の動作は、対象制御部１７に記憶される。その後、第１期間よりも後の第２期間（ｔ５〜ｔ８の期間）において、第２ドローンＤ２は、対象制御部１７に記憶されていた第２オブジェクトＯ２の動作に応じて、動作される。

このように、第１オブジェクトＯ１についての第１期間（ｔ１〜ｔ２の期間）と、第２オブジェクトＯ２についての第１期間（ｔ３〜ｔ６の期間）とを異ならせることにより、一人のユーザＵが複数の制御対象を制御することができる。また、その第１期間（例えば、ｔ３〜ｔ６の期間）は、第２第２期間（例えば、ｔ５〜ｔ８の期間）と一部が重複していてもよい。これにより、ユーザＵは、ある程度リアルタイムで状況を加味しつつ、その後の動作を設定することができるようになっている。

なお、本発明のシステムは、このような構成に限定されるものではない。例えば、システムがリアルタイムで制御対象を制御するモードのみを備えるように構成されている場合には、動作記憶部は省略してもよい。

［各処理部で実行される処理］
次に、図２〜図８を参照して、ＶＲシステムＳの実行する処理について説明する。

なお、以下においては、対象オブジェクトＯ１，Ｏ２を動作させた時間帯よりも後の異なる時間帯でドローンＤを制御するモードにおける処理について、詳細に説明する。リアルタイムでドローンＤを制御するモードにおける処理、及び、ドローンＤを実際には制御せず、その動作を検証するモードにおける処理については、異なる時間帯でドローンＤを制御するモードにおける処理と相違する部分のみを説明する。

［使用が開始された際に実行される処理］
まず、図２、図３、図４及び図６を参照して、ＶＲシステムＳの各処理部が、ＶＲシステムＳの使用が開始された際に、実行する処理について説明する。

この処理においては、まず、仮想空間生成部１０が、第１カメラ３及び第２カメラ６の撮影した画像、予め入力されたモデル、数値等に基づいて、第１領域ＲＳ１の形状及び第２領域ＲＳの形状を認識する（図６／ＳＴＥＰ１００）。

次に、仮想空間生成部１０が、認識された第１領域ＲＳ１の形状と第２領域ＲＳ２の形状とが異なるか否かを判断する（図６／ＳＴＥＰ１０１）。

第１領域ＲＳ１の形状と第２領域ＲＳ２の形状とが異なっていた場合（ＳＴＥＰ１０１でＹＥＳの場合）、仮想空間生成部１０は、例えば、図４に示すように、第１領域ＲＳ１の形状に基づいて、第２領域ＲＳ２の画像を、第１領域ＲＳ１の形状に一致するように補正する（図６／ＳＴＥＰ１０２）。

次に、仮想空間生成部１０が、補正された第２領域ＲＳ２の画像に基づいて、仮想空間ＶＳ（厳密には、仮想空間ＶＳの背景となる画像）を生成する（図６／ＳＴＥＰ１０３）。

一方、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状とが一致していた場合（ＳＴＥＰ１０１でＮＯの場合）、仮想空間生成部１０が、第２領域ＲＳ２の画像を補正せずに、その補正されていない画像に基づいて、仮想空間ＶＳ（厳密には、仮想空間ＶＳの背景となる画像）を生成する（図６／ＳＴＥＰ１０４）。

次に、仮想空間生成部１０が、第１カメラ３及び第２カメラ６の撮影した画像、予め入力されたモデル、数値等に基づいて、ユーザＵの第１領域ＲＳ１における初期状態（座標、姿勢等）、及び、ドローンＤの第２領域ＲＳ２における初期状態（座標、姿勢等）を認識する（図６／ＳＴＥＰ１０５）。

なお、本実施形態においては、ユーザＵの初期状態は、第１期間における初期状態であり、現在の状態である。また、本実施形態においては、ドローンＤの初期状態とは、第２期間における初期状態であり、第２期間当初の状態である。

次に、仮想空間生成部１０が、仮想空間ＶＳに、アバターＡを、ユーザＵの初期状態に対応するようにして生成するとともに、対象オブジェクトＯ１，Ｏ２を、ドローンＤの初期状態に対応するようにして生成する（図６／ＳＴＥＰ１０６）。

次に、仮想空間生成部１０が、第１カメラ３及び第２カメラ６の撮影した画像、予め入力されたモデル、数値等に基づいて、第１領域ＲＳ１の及び第２領域ＲＳ２の周辺環境を認識する（図６／ＳＴＥＰ１０７）。

具体的には、仮想空間生成部１０が、第１領域ＲＳ１に存在している家具Ｆを、第１領域ＲＳ１の周辺環境として認識するとともに、第２領域ＲＳ２に存在している建築資材Ｍ及び作業機械Ｗを、第２領域ＲＳ２の周辺環境として認識する。

次に、仮想空間生成部１０が、認識された周辺環境に基づいて、仮想空間ＶＳに、それらに対応するオブジェクト及び制約エリアを生成する。
（図６／ＳＴＥＰ１０８）。

具体的には、仮想空間生成部１０が、家具Ｆが第１領域ＲＳ１で存在している位置に対応する仮想空間ＶＳの位置に、家具Ｆのゴースト及び第１制約エリアＬＡ１を生成する。また、仮想空間生成部１０が、建築資材Ｍ及び作業機械Ｗが第２領域ＲＳ２で存在している位置に対応する仮想空間ＶＳの位置に、建築資材Ｍ及び作業機械Ｗに対応する第３オブジェクトＯ３及び作業機械に対応する第４オブジェクトＯ４、並びに、第２制約エリアＬＡ２及び第３制約エリアＬＡ３を生成する。

次に、出力情報決定部１６が、アバターＡの状態に基づいて、ユーザに認識させる画像及び音声を決定する（図６／ＳＴＥＰ１０９）。

次に、出力情報決定部１６が、ユーザＵの装着しているＨＭＤ４のそのモニタ４０に決定された画像を表示させるとともに、そのスピーカ４１に決定された音声を発生させて（図６／ＳＴＥＰ１１０）、今回の処理を終了する。

以上の処理により、ＶＲシステムＳの使用が開始された直後においては、ユーザＵは、例えば、図３に示すような仮想空間ＶＳを、認識した状態になる。

［使用が開始された後にオブジェクトの実行可能な動作を認識する際に実行する処理］
次に、図２〜図４、図７を参照して、ＶＲシステムＳの各処理部が、ＶＲシステムＳの使用が開始された後、対象オブジェクトＯ１，Ｏ２の実行可能な動作を認識する際に、実行する処理について説明する。

この処理においては、まず、可能動作認識部１４が、ユーザＵ等によって予め入力された情報等に基づいて、対象オブジェクトＯ１，Ｏ２に対応するドローンＤが、第２領域ＲＳ２で機能として実行可能な動作を認識する（図７Ａ／ＳＴＥＰ２００）。

次に、期間認識部１３が、ユーザＵ等が予め入力した情報等に基づいて、第１期間及び第２期間を認識する（図７Ａ／ＳＴＥＰ２０１）。

次に、可能動作認識部１４が、第２期間における第２領域ＲＳ２の周辺環境を認識する（図７Ａ／ＳＴＥＰ２０２）。

具体的には、可能動作認識部１４が、第２期間において、第２領域ＲＳ２で変化する可能性のある周辺環境を認識する。本実施形態では、第２期間において、建築資材Ｍの量（すなわち、その配置スペース）、及び、作業機械Ｗの動作が変化する可能性がある。そのため、可能動作認識部１４が、ユーザＵ等によって予め入力された工事の計画等に基づいて、第２期間における各時点における建築資材Ｍ及び作業機械Ｗの状況を、第２領域ＲＳ２の周辺環境として認識する。

次に、可能動作認識部１４が、認識されたドローンＤの機能、及び、第２期間における第２領域ＲＳ１の周辺環境に基づいて、ドローンＤに対応する対象オブジェクトＯ１，Ｏ２が、仮想空間ＶＳで実行可能な動作を認識する（図７Ａ／ＳＴＥＰ２０３）。

次に、アバター制御部１５が、仮想空間生成部１０が認識した情報に基づいて、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状とが異なるか否かを判断する（図７Ａ／ＳＴＥＰ２０４）。

第１領域ＲＳ１の形状と第２領域ＲＳ２の形状とが異なっていた場合（ＳＴＥＰ２０４でＹＥＳの場合）、アバター制御部１５は、仮想空間ＶＳを生成する際に第２領域ＲＳ２の画像に対して行われた補正の内容を認識し、その内容に基づいて、仮想空間ＶＳの位置により制限される対象オブジェクトＯ１，Ｏ２の動作を認識する（図７Ａ／ＳＴＥＰ２０５）。

具体的には、図４に示すように、例えば、第１領域ＲＳ１が平面視正方形の狭い空間であり、第２領域ＲＳ２が平面視長方形の縦長の広い空間であって、仮想空間生成部１０が、仮想空間ＶＳの画像を、第２領域ＲＳ２の画像を、第１領域ＲＳ１の形状に合わせて縮小するように補正したとする。

その場合、アバター制御部１５が、対象オブジェクトＯ１，Ｏ２の方向ごとの移動可能速度を、その縮小の度合いに応じて、方向ごとに制限する。これにより、対象オブジェクトＯ１，Ｏ２の図４の紙面上の縦方向における移動可能速度は、横方向における移動速度よりも遅くなる。

第１領域ＲＳ１の形状と第２領域ＲＳ２の形状との相違に基づく制限を認識した後、又は、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状とが一致していた場合（ＳＴＥＰ２０４でＮＯの場合）、アバター制御部１５は、第１期間の長さと第２期間の長さとが異なるか否かを判断する（図７Ａ／ＳＴＥＰ２０６）。

第１期間の長さと第２期間の長さとが異なっていた場合（ＳＴＥＰ２０６でＹＥＳの場合）、アバター制御部１５は、その相違量に基づいて、対象オブジェクトＯ１，Ｏ２の各動作の実行限度となる速度を認識する（図７Ａ／ＳＴＥＰ２０７）。

具体的には、ドローンＤが第２期間において機能として実行可能な速度を、第１期間の長さと第２期間と長さとの比率に基づいて、一律に加速又は減速する。

ここまでの処理が、ユーザＵが、アバターＡを介して対象オブジェクトＯ１，Ｏ２の動作をさせ始める前までに（すなわち、第１期間の開始前までに）実行される処理である。以下に説明する処理は、ユーザＵが、アバターＡを介して対象オブジェクトＯ１，Ｏ２の動作させ始めた後に（すなわち、第１期間の開始後に）実行される処理である。

第１期間の長さと第２期間の長さとの相違に基づく制限を認識した後、又は、第１期間の長さと第２期間の長さとが一致していた場合（ＳＴＥＰ２０６でＮＯの場合）、仮想空間生成部１０が、現時点（すなわち、第１期間の所定の時点）に対応する第２期間の時点において、第２領域ＲＳ２におけるドローンＤの周辺環境が、変化しているか否かを判断する（図７Ｂ／ＳＴＥＰ２０８）。

周辺環境が変化していた場合（ＳＴＥＰ２０８でＹＥＳの場合）、仮想空間生成部１０が、第２領域ＲＳ１の周辺環境の変化に基づいて、第２制約エリアＬＡ２又は第３制約エリアＬＡ３を修正する（図７Ｂ／ＳＴＥＰ２０９）。

具体的には、例えば、建築資材Ｍの量が図３に示した状態よりも減少していた場合には、仮想空間生成部１０が、建築資材Ｍに対応する第２制約エリアＬＡ２を、その減少に応じて縮小させる。また、例えば、作業機械Ｗが動作した結果として図３の状態とは姿勢等が変化していた場合には、仮想空間生成部１０が、作業機械Ｗに対応する第３制約エリアＬＡ３を、その変化に応じて変形させる。

次に、アバター制御部１５が、第２制約エリアＬＡ２又は第３制約エリアＬＡ３の修正に基づいて、その修正の結果新たに制限される対象オブジェクトＯ１，Ｏ２の動作を認識する（図７Ｂ／ＳＴＥＰ２１０）。

新たに制限される対象オブジェクトＯ１，Ｏ２の動作を認識した後、又は、周辺環境が変化していなかった場合（ＳＴＥＰ２０８でＮＯの場合）、可能動作認識部１４は、ドローンＤの状態が変化したか否かを判断する（図７Ｂ／ＳＴＥＰ２１１）。

ドローンＤの状態が変化していた場合（ＳＴＥＰ２１１でＹＥＳの場合）、アバター制御部１５は、ドローンＤの状態の変化に基づいて、改めて対象オブジェクトＯ１，Ｏ２が実行可能な動作を認識する（図７Ｂ／ＳＴＥＰ２１２）。

具体的には、例えば、ドローンＤの状態が、単なる飛行状態から、建築資材Ｍを搬送している状態に変化していたとする。その場合には、ドローンＤは、その状態の変化に伴って移動可能速度、移動可能領域が変化する。そこで、アバター制御部１５は、そのような変化が生じた場合には、その状態の変化に伴って、ドローンＤに対応する対象オブジェクトＯ１，Ｏ２の実行可能な動作も変更する。

改めて対象オブジェクトＯ１，Ｏ２の実行可能な動作を認識した後、又は、ドローンＤの状態が変化していなかった場合（ＳＴＥＰ２１１でＮＯの場合）、ＶＲシステムＳが、ユーザＵからの終了の指示があったか否かを判断する（図７Ｂ／ＳＴＥＰ２１３）。

終了の指示がなかった場合（ＳＴＥＰ２１３でＮＯの場合）、ＳＴＥＰ２０８に戻り、ＳＴＥＰ２０８〜ＳＴＥＰ２１３の処理を再度実行する。

一方、終了の指示があった場合（ＳＴＥＰ２１３でＹＥＳの場合）、ＶＲシステムＳは、今回の処理を終了する。

［オブジェクトを動作させた際、及び、ドローンを動作させる際に実行する処理］
次に、図２及び図８を参照して、ＶＲシステムＳの各処理部が、ユーザＵがアバターＡを介して対象オブジェクトＯ１，Ｏ２を動作させた際に実行する処理、及び、ドローンＤを動作させる際に実行する処理について説明する。

この処理においては、まず、ユーザ動作認識部１１が、ユーザＵが動作したか否かを判断する（図８／ＳＴＥＰ３００）。

ユーザが動作していなかった場合（ＳＴＥＰ３００でＮＯの場合）、所定の制御周期でＳＴＥＰ３００の判断を再度実行する。

一方、ユーザが動作していた場合（ＳＴＥＰ３００でＹＥＳの場合）、アバター制御部１５は、ユーザＵの動作に基づいて、アバターＡを動作させる（図８／ＳＴＥＰ３０１）。

次に、アバター制御部１５が、アバターＡの動作が対象オブジェクトＯ１，Ｏ２を動作させるような動作であるか否かを判断する（図８／ＳＴＥＰ３０２）。

具体的には、アバターＡの動作が、手等の身体を用いてドローンＤに対応する対象オブジェクトＯ１，Ｏ２を移動させるような動作であるか、コントローラ５に対応する第５オブジェクトＯ５を用いて、対象オブジェクトＯ１，Ｏ２に対して所定の操作をするような動作であるか等を、アバター制御部１５が判断する。

アバターＡの動作が対象オブジェクトＯ１，Ｏ２を動作させるような動作であった場合（ＳＴＥＰ３０２でＹＥＳの場合）、アバター制御部１５が、アバターＡの動作に基づいて、対象オブジェクトＯ１，Ｏ２を動作させる（図８／ＳＴＥＰ３０３）。

次に、対象制御部１７が、対象オブジェクトＯ１，Ｏ２の動作を記憶する（図８／ＳＴＥＰ３０４）。

対象オブジェクトＯ１，Ｏ２の動作を記憶した後、又は、アバターＡの動作が対象オブジェクトＯ１，Ｏ２を動作させるような動作でなかった場合（ＳＴＥＰ３０２でＮＯの場合）、出力情報決定部１６が、ユーザＵに認識させる画像及び音声を、アバターＡ及び対象オブジェクトＯ１，Ｏ２の状態に基づいて決定する（図８／ＳＴＥＰ３０５）。

次に、出力情報決定部１６が、ユーザＵの装着しているＨＭＤ４のそのモニタ４０に決定された画像を表示させるとともに、そのスピーカ４１に決定された音声を発生させる（図８／ＳＴＥＰ３０６）。

次に、ＶＲシステムＳが、ユーザＵからの終了の指示があったか否かを判断する（図８／ＳＴＥＰ３０７）。

終了の指示がなかった場合（ＳＴＥＰ３０７でＮＯの場合）、ＳＴＥＰ３００に戻り、ＳＴＥＰ３００〜ＳＴＥＰ３０７の処理を再度実行する。

一方、終了の指示があった場合（ＳＴＥＰ３０７でＹＥＳの場合）、対象制御部１７は、第２期間が開始されたか否かを判断する（図８／ＳＴＥＰ３０８）

第２期間が開始されていなかった場合（ＳＴＥＰ３０８でＮＯの場合）、所定の制御周期でＳＴＥＰ３０８の判断を再度実行する。

一方、第２期間が開始された場合（ＳＴＥＰ３０８でＹＥＳの場合）、対象制御部１７が、記憶された対象オブジェクトＯ１，Ｏ２の動作に基づいて、ドローンＤの動作を制御して（図８／ＳＴＥＰ３０９）、今回の処理を終了する。

［異なる時間帯で制御するモードとリアルタイムで制御するモードとの相違］
以上においては、対象オブジェクトＯ１，Ｏ２を動作させた時間帯よりも後の異なる時間帯でローンＤを制御するモードにおける処理について、詳細に説明した。

この異なる時間帯でドローンＤを制御するモードに対し、リアルタイムでドローンＤを制御するモードは、対象オブジェクトＯ１，Ｏ２の動作を記憶する処理（図８／ＳＴＥＰ３０４）、及び、第２期間の開始を判断する処理（図８／ＳＴＥＰ３０８）が省略されるとともに、終了を判断する処理（図８／ＳＴＥＰ３０７）の前に、ドローンＤを制御する処理（図８／ＳＴＥＰ３０９）が実行される点で異なる。

そして、異なる時間帯でドローンＤを制御するモード及びリアルタイムでドローンＤを制御するモードのいずれにおいても、ＶＲシステムＳは、体感型インターフェースシステムとして、ユーザＵの動作に応じて、ユーザＵに対応するアバターＡの動作を制御し、そのアバターＡの動作に応じて対象オブジェクトＯ１，Ｏ２の動作を制御している。

これにより、ユーザＵは、仮想空間ＶＳで、自らに対応するアバターＡを介して対象オブジェクトＯ１，Ｏ２を動作させることによって、第２領域ＲＳ２で、対象オブジェクトＯ１，Ｏ２に対応するドローンＤを動作させることができるようになっている。

ただし、仮想空間ＶＳにおける対象オブジェクトＯ１，Ｏ２の動作は、ユーザＵが存在している第１領域ＲＳ１とは時間及び位置の少なくとも一方が異なる第２領域ＲＳ２に存在するドローンＤが実行可能な動作に基づいて、制限しつつ制御されている。すなわち、その動作は、そのドローンＤが存在する現実空間における制約（例えば、ドローンＤの周辺環境、ドローンＤの機能等）に基づいて、制限しつつ制御されている。

これにより、ユーザＵがアバターＡを介して対象オブジェクトＯ１，Ｏ２を動作させようとしても、その動作が、ドローンＤが実行不可能な動作に対応する動作（すなわち、現実空間における制約を無視したような動作）であった場合、ユーザＵは、その動作を、仮想空間ＶＳであっても自然と実行させることができなくなる。

したがって、ＶＲシステムＳによれば、ドローンＤが実行不可能な動作に対応する対象オブジェクトＯ１，Ｏ２の動作は仮想空間ＶＳであっても自然と実行できなくなるので、ユーザＵは、ドローンＤが存在する現実空間の第２領域ＲＳ２における制約を考慮しなくても、第２領域ＲＳ２におけるドローンＤの動作を、第２領域ＲＳ２に即して制御することができる。

また、ＶＲシステムＳでは、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状等が相違する場合には、仮想空間ＶＳの形状が、第１領域ＲＳ１の形状に対応するように生成される。これにより、そのような場合であってもその仮想空間ＶＳはもともとのユーザＵの動作可能な範囲に対応したものになるので、ユーザＵは、自らが動作可能な範囲の認識を誤ることがなく（例えば、第１領域ＲＳ１に存在している家具Ｆへ接触すること等が抑制されて）、アバターＡを動作させることがでるようになる。

さらに、そのような場合、ＶＲシステムＳでは、第２領域ＲＳ２でドローンＤが実行可能な動作だけでなく、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状との相違にも基づいて、対象オブジェクトＯ１，Ｏ２の動作を制限している。

これにより、そのような場合でも、それによってドローンＤが実行不可能になった動作に対応する対象オブジェクトＯ１，Ｏ２の動作を、自然に制限することができる。ひいては、そのような場合でも、ユーザＵは、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状との相違を考慮しなくても、第２領域ＲＳ２におけるドローンＤの動作を、第２領域ＲＳ２に即して制御することができる。

また、ＶＲシステムＳでは、動作記憶部１７を備えることによって、仮想空間ＶＳにおけるアバターＡの動作可能期間である第１期間の長さと、第２領域ＲＳ２における対象オブジェクトＯ１，Ｏ２の動作可能期間である第２期間の長さとが異なる場合であっても、ドローンＤの動作を制御することができるようになっている。

さらに、そのような場合、ＶＲシステムＳでは、第２領域ＲＳ２でドローンＤが実行可能な動作だけでなく、第１期間の長さと第２期間の長さとの相違にも基づいて、対象オブジェクトＯ１，Ｏ２の動作を制限している。

これにより、そのような場合でも、それによってドローンＤが実行不可能になった動作に対応する対象オブジェクトＯ１，Ｏ２の動作を、自然に制限することができる。ひいては、そのような場合でも、ユーザＵは、第１期間の長さと第２期間の長さとの相違を考慮しなくても、第２期間におけるドローンＤの動作を、第２領域ＲＳ２に即して制御することができる。

［異なる時間帯で制御するモードと動作を検証するモードとの相違］
また、詳細に説明した異なる時間帯でドローンＤを制御するモードに対し、ドローンＤを実際には制御せず、その動作を検証するモードは、第１領域ＲＳ１及び第２領域ＲＳ２の周辺環境、第１期間及び第２期間を考慮する処理（図６／ＳＴＥＰ１０７，１０８、図７Ａ／ＳＴＥＰ２０１，２０２，２０４〜２０７、図７Ｂ／ＳＴＥＰ２０８〜２０１３）、及び、実際にドローンＤを制御する処理（図８／ＳＴＰ３０４，３０８，３０９）が省略される点で異なる。

そして、動作を検証するモードでは、ＶＲシステムＳは、動作体感システムとして、対象オブジェクトＯ１，Ｏ２が実行可能な動作を、第１領域ＲＳ１の形状と第２領域ＲＳ２の形状との相違、及び、ドローンＤの機能のみに基づいて、制御する。すなわち、ドローンＤが存在する第２領域ＲＳ２の周辺環境、第１期間の長さと第２期間の長さとの相違等は考慮されない。

これにより、動作を検証するモードでは、ユーザＵは、ドローンＤが機能として実行可能な動作を、体感することができる。

一方、動作を検証するモード以外のモードでは、仮想空間ＶＳで対象オブジェクトＯ１，Ｏ２が実行可能な動作は、ド第２領域ＲＳ２の周辺環境、第１期間の長さと第２期間の長さとの相違等に起因する制約にも基づいて、制限しつつ制御される。すなわち、動作を検証するモード以外のモードでは、対象オブジェクトＯ１，Ｏ２が実行可能な動作は、第２領域ＲＳ２で実際に対象オブジェクトＯ１，Ｏ２が実行可能な動作に対応したものとなる。

これにより、動作を検証するモード以外のモードでは、ユーザＵは、第２領域ＲＳ２で実際にドローンＤが実行可能な動作を、体感することができる。なお、ドローンＤが実際に実行可能な動作を体感するという観点からは、必ずしも、ドローンＤを実際に動作させなくてもよい。そのため、動作を体感することのみを目的としている場合には、ドローンＤを実際に動作させてもよいし、動作させなくてもよい。

したがって、ＶＲシステムＳによれば、ユーザＵは、動作を検証するモードと、実際にドローンＤの動作を制御するモードとを切り替えることによって、対象オブジェクトＯ１，Ｏ２（ひいては、ドローンＤ）の動作を、比較しつつ体感することができる。ひいては、ＶＲシステムＳによれば、ユーザＵは、所定の環境下において、ドローンＤの機能を十全に発揮させる動作を、感覚的に検証することができる。

なお、ユーザＵによっては、ドローンＤが機能として実行可能な動作について、十分な知識を有している場合もある。そのような場合には、リアルタイムでドローンＤを制御するモードと、対象オブジェクトＯ１，Ｏ２を動作させた時間帯よりも後の異なる時間帯でドローンＤを制御するモードの少なくとも一方のみを備える場合であっても、ＶＲシステムＳを、動作体感システムとして利用することができる。

さらに、例えば、複数種類のドローンが存在しており、それらのうちから第２領域ＲＳ２で動作させやすいドローンを選択するために各ドローンが実行可能な動作を検証する場合等には、候補となる各ドローンの機能のみに基づいて、仮想空間ＶＳに対応するオブジェクトを生成し、それによって、各オブジェクト（ひいては、候補となる各ドローン）が実行可能な動作を検証するために、ＶＲシステムＳを利用してもよい。

そのような場合には、必ずしも第２領域ＲＳ２で候補となる各ドローンを実際には動作させる必要はない。これは、そのような場合には、ドローンを第２領域で実際に動作させると、ドローンが第２領域の周辺環境に接触してしまうような可能性が生じるためである。そのため、第２領域における制約がほぼ無いような場合を除き、原則として、このような場合には、ドローンは実際に動作させないことが推奨される。

１…サーバ、２…標識、３…第１カメラ、４…ＨＭＤ、５…コントローラ、６…第２カメラ、１０…仮想空間生成部（空間認識部、制約認識部）、１１…ユーザ動作認識部、１２…モード切換部、１３…期間認識部、１４…可能動作認識部（対象機能認識部）、１５…アバター制御部、１６…出力情報決定部（画像決定部）、１７…対象制御部（動作記憶部）、４０…モニタ（画像表示器）、４１…スピーカ（音声発生器）、Ａ…アバター（第１アバター）、Ｄ１…第１ドローン、Ｄ２…第２ドローン、Ｆ…家具、ＬＡ１…第１制約エリア、ＬＡ２…第２制約エリア、ＬＡ３…第３制約エリア、Ｍ…建築資材、Ｏ１…第１オブジェクト（第２アバター）、Ｏ２…第２オブジェクト（第２アバター）、Ｏ３…第３オブジェクト、Ｏ４…第４オブジェクト、Ｏ５…第５オブジェクト、ＲＳ１…第１領域、ＲＳ２…第２領域、Ｓ…ＶＲシステム、Ｕ…ユーザ、ＶＳ…仮想空間、Ｗ…作業機械。

Claims (3)

1. 仮想空間を介して、現実空間の第１領域に存在しているユーザが、前記第１領域と時間及び位置の少なくとも一方が異なる現実空間の第２領域に存在する制御対象の動作を、制御するための体感型インターフェースシステムであって、
   前記ユーザに対応する第１アバター、及び、前記制御対象に対応する第２アバターが存在する仮想空間を生成する仮想空間生成部と、
   前記ユーザの前記第１領域における動作を認識するユーザ動作認識部と、
   前記ユーザの動作に応じて前記第１アバターの動作を制御し、前記第１アバターの動作に応じて前記第２アバターの動作を制御するアバター制御部と、
   前記第１アバターの状態及び前記第２アバターの状態に基づいて、前記ユーザに認識させる前記仮想空間の画像を決定する画像決定部と、
   決定された前記仮想空間の画像を、前記ユーザに認識させる画像表示器と、
   前記第２領域で前記制御対象が実行可能な動作を認識する可能動作認識部と、
   前記第２アバターの動作に応じて、前記制御対象の動作を制御する対象制御部と、
   前記第１領域の形状及び前記第２領域の形状を認識する空間認識部とを備え、
   前記仮想空間生成部は、前記仮想空間の形状が前記第１領域の形状に対応するように、前記仮想空間を生成し、
   前記アバター制御部は、前記第２領域で前記制御対象が実行可能な動作、及び、前記第１領域の形状と前記第２領域の形状との相違に基づいて、前記第２アバターが実行可能な動作を制限しつつ制御することを特徴とする体感型インターフェースシステム。
2. 請求項１に記載の体感型インターフェースシステムにおいて、
   前記仮想空間における前記第２アバターの動作可能期間である第１期間の長さ、及び、前記第２領域における前記制御対象の動作可能期間である第２期間の長さを認識する期間認識部と、
   前記第２アバターの動作を記憶する動作記憶部とを備え、
   前記アバター制御部は、前記第２領域で前記制御対象が実行可能な動作、及び、前記第１期間の長さと前記第２期間の長さとの相違に基づいて、前記第２アバターが実行可能な動作を制限しつつ制御し、
   前記対象制御部は、前記第１期間に前記動作記憶部に記憶されていた前記第２アバターの動作に応じて、前記第２期間に前記制御対象を制御することを特徴とする体感型インターフェースシステム。
3. 仮想空間を介して、現実空間の第１領域に存在しているユーザが、前記第１領域と時間及び位置の少なくとも一方が異なる現実空間の第２領域に存在する制御対象が実行可能な動作を、体感するための動作体感システムであって、
   前記ユーザに対応する第１アバター、及び、前記制御対象に対応する第２アバターが存在する仮想空間を生成する仮想空間生成部と、
   前記ユーザの前記第１領域における動作を認識するユーザ動作認識部と、
   前記ユーザの動作に応じて前記第１アバターの動作を制御し、前記第１アバターの動作に応じて前記第２アバターの動作を制御するアバター制御部と、
   第１モードと第２モードとを切り換えるモード切換部と、
   前記第１アバターの状態及び前記第２アバターの状態に基づいて、前記ユーザに認識させる前記仮想空間の画像を決定する画像決定部と、
   決定された前記仮想空間の画像を、前記ユーザに認識させる画像表示器と、
   前記制御対象が機能として実行可能な動作を認識する対象機能認識部と、
   前記第２領域で前記制御対象が動作する際の制約を認識する制約認識部とを備え、
   前記アバター制御部は、前記第１モードでは、前記制御対象の機能のみに基づいて、前記第２アバターが実行可能な動作を制御し、前記第２モードでは、前記制御対象の機能及び前記第２領域における制約に基づいて、前記第２アバターが実行可能な動作を制限しつつ制御することを特徴とする動作体感システム。

Images