JP7276334B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7276334B2
JP7276334B2 JP2020522571A JP2020522571A JP7276334B2 JP 7276334 B2 JP7276334 B2 JP 7276334B2 JP 2020522571 A JP2020522571 A JP 2020522571A JP 2020522571 A JP2020522571 A JP 2020522571A JP 7276334 B2 JP7276334 B2 JP 7276334B2
Authority
JP
Japan
Prior art keywords
user
information
display
space
existing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020522571A
Other languages
English (en)
Other versions
JPWO2019230852A1 (ja
Inventor
祐介 阪井
龍正 小池
晴夫 大場
元輝 東出
大輔 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019230852A1 publication Critical patent/JPWO2019230852A1/ja
Application granted granted Critical
Publication of JP7276334B2 publication Critical patent/JP7276334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、技術や技能の伝承を効果的に実現するための様々な技術が開発されている。例えば、以下の特許文献１には、事前に収録された、作業の手本となる仮想オブジェクトを作業中のユーザに対して提示することで当該作業に関する技術や技能をより効果的に伝承することが可能な装置が開示されている。
ここで、技術や技能の伝承をより効果的なものとするためには、特許文献１のように収録された仮想オブジェクトを手本として提示するのではなく、同一の空間に位置する指導者と生徒がリアルタイムにコミュニケーションをとることがより好ましい。しかし、指導者と生徒が遠隔に位置する場合、互いに同一空間に位置するために両者が移動することは容易ではない。
ここで、遠隔に位置するユーザ同士のコミュニケーションを支援するシステムとして、従来から、テレビ電話を用いた会議システムなどが提案されており、指導者は、当該会議システムなどを用いて生徒の指導を行うこともできる。
国際公開第２０１７／０３０１９３号
しかしながら、従来の会議システムは、互いの様子の確認や資料データの共有などを実現することは可能であるが、互いに異なる空間に位置する複数のユーザがあたかも同一の空間で作業をしているかのように感じさせることは不可能であった。そのため、従来の会議システムなどによって、技術や技能の伝承を行うことは容易ではない。
そこで、本開示では、互いに異なる空間に位置する複数のユーザに対して、各ユーザがあたかも同一の空間で作業をしているかのような感覚を提供することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報と、前記第１の空間に存在する物体に関する情報を含む第１の環境情報、または前記第２の空間に存在する物体に関する情報を含む第２の環境情報と、を取得する取得部と、前記第１の身体情報または前記第２の身体情報と、前記第１の環境情報または前記第２の環境情報と、に基づいて仮想空間を生成する仮想空間生成部と、前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、前記仮想空間における前記第１のユーザおよび前記第２のユーザの位置関係の変化に基づいて動作モードを切り替える動作モード制御部と、前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させる制御部と、を備え、前記位置関係は、前記第１のユーザおよび前記第２のユーザが正対して位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で一方が背後から他方に被さるように位置する関係のうちの少なくともいずれか１つを含む、情報処理装置が提供される。
また、本開示によれば、第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報と、前記第１の空間に存在する物体に関する情報を含む第１の環境情報、または前記第２の空間に存在する物体に関する情報を含む第２の環境情報と、を取得することと、前記第１の身体情報または前記第２の身体情報と、前記第１の環境情報または前記第２の環境情報と、に基づいて仮想空間を生成することと、前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、前記仮想空間における前記第１のユーザおよび前記第２のユーザの位置関係の変化に基づいて動作モードを切り替えることと、前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させることと、を有し、前記位置関係は、前記第１のユーザおよび前記第２のユーザが正対して位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で一方が背後から他方に被さるように位置する関係のうちの少なくともいずれか１つを含む、コンピュータにより実行される情報処理方法が提供される。
また、本開示によれば、第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報と、前記第１の空間に存在する物体に関する情報を含む第１の環境情報、または前記第２の空間に存在する物体に関する情報を含む第２の環境情報と、を取得することと、前記第１の身体情報または前記第２の身体情報と、前記第１の環境情報または前記第２の環境情報と、に基づいて仮想空間を生成することと、前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、前記仮想空間における前記第１のユーザおよび前記第２のユーザの位置関係の変化に基づいて動作モードを切り替えることと、前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させることと、をコンピュータに実現させ、前記位置関係は、前記第１のユーザおよび前記第２のユーザが正対して位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で一方が背後から他方に被さるように位置する関係のうちの少なくともいずれか１つを含む、ためのプログラムが提供される。
以上説明したように本開示によれば、互いに異なる空間に位置する複数のユーザに対して、各ユーザがあたかも同一の空間で作業をしているかのような感覚を提供することが可能になる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成例を示すブロック図である。 第１の空間１００Ａおよび第２の空間１００Ｂにおける機器配置などについて説明するための図である。 第１の空間１００Ａおよび第２の空間１００Ｂにおける機器配置などについて説明するための図である。 サーバ装置２００によって生成される仮想空間について説明するための図である。 第１の空間１００Ａおよび第２の空間１００Ｂにおける機器配置などのバリエーションについて説明するための図である。 正対モードについて説明するための図である。 左右逆転モードについて説明するための図である。 横並びモードについて説明するための図である。 憑依モードについて説明するための図である。 動作モードの切り替え時における各機器の連動の具体例について説明するための図である。 動作モードの切り替え時における各機器の連動の具体例について説明するための図である。 動作モードの切り替え時における各機器の連動の具体例について説明するための図である。 動作モードの切り替え時における各機器の連動のバリエーションについて説明するための図である。 動作モードの切り替え時における各機器の連動のバリエーションについて説明するための図である。 動作モードの切り替え時における各機器の連動のバリエーションについて説明するための図である。 各機器を用いた情報伝達について説明するための図である。 各機器を用いた情報伝達について説明するための図である。 各機器を用いた情報伝達について説明するための図である。 撮像画像からの物体の抽出処理について説明するための図である。 第１の空間１００または第２の空間１００Ｂの構成例を示すブロック図である。 カメラ１２３の態様について説明するための図である。 カメラ１２３の態様について説明するための図である。 サーバ装置２００の機能構成例を示すブロック図である。 ディスプレイの表示態様について説明するための図である。 サーバ装置２００の処理フローの一例を示すフローチャートである。 サーバ装置２００の処理フローの一例を示すフローチャートである。 第１の空間１００Ａが複数存在しユーザＡが複数人存在する場合におけるウィンドウディスプレイ１３３Ｂの表示例を示す図である。 第１の空間１００Ａが複数存在しユーザＡが複数人存在する場合におけるテーブルディスプレイ１３１Ｂの表示例を示す図である。 複数のユーザＡの中の少なくとも一人に対してのみ各種出力が行われる場合の例を説明するための図である。 複数のユーザＡの中の少なくとも一人に対してのみ各種出力が行われる場合の例を説明するための図である。 覗き見モードについて説明するための図である。 サーバ装置２００またはクライアント装置１１０を具現する情報処理装置９００のハードウェア構成例を示すブロック図である。 本開示に係る情報処理システムの適用例について説明するための図である。 本開示に係る情報処理システムの適用例について説明するための図である。 本開示に係る情報処理システムの適用例について説明するための図である。 本開示に係る情報処理システムの適用例について説明するための図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．概要
２．詳細
３．構成例
４．処理フロー例
５．変形例
６．ハードウェア構成例
７．まとめ
＜１．概要＞
まず、本開示の概要について説明する。
上記のとおり、技術や技能の伝承をより効果的なものとするためには、特許文献１のように収録された仮想オブジェクトを手本として提示するのではなく、同一の空間に位置する指導者と生徒がリアルタイムにコミュニケーションをとることがより好ましい。しかし、指導者と生徒が遠隔に位置する場合、互いに同一空間に位置するために両者が移動することは容易ではない。例えば、生徒が全世界に点在している場合、指導者は各地を移動しながら指導を行うことが求められるため、指導の効果は限定的となる。
また、遠隔に位置するユーザ同士のコミュニケーションを支援するシステムとして、従来から、テレビ電話を用いた会議システムなどが提案されており、指導者は、当該会議システムなどを用いて生徒の指導を行うこともできる。
しかしながら、従来の会議システムは、互いの様子の確認や資料データの共有などを実現することは可能であるが、互いに異なる空間に位置する複数のユーザがあたかも同一の空間で作業をしているかのように感じさせることは不可能であった。例えば、指導者と生徒が同一空間に位置する場合、生徒が指導者の視点に立って指導者の手元の作業を観察したり、指導者が生徒の手を取りながら指導を行ったりすることができるところ、会議システムはこのような伝承方法を実現することができない。そのため、従来の会議システムなどによって、技術や技能の伝承を行うことは容易ではない。
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示に係る情報処理装置は、第１の空間に存在する第１のユーザ（例えば、指導者）の第１の身体情報、または第２の空間に存在する第２のユーザ（例えば、生徒）の第２の身体情報を取得し、第１の身体情報または第２の身体情報に基づいて仮想空間を生成する。より具体的には、情報処理装置は、第１のユーザおよび第２のユーザの位置関係を再現した仮想空間を生成する。
そして、第１のユーザまたは第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、情報処理装置は動作モードを切り替え、当該動作モードの切り替えと、第１の空間または第２の空間に備えられる少なくとも１台の機器（例えば、ディスプレイやスピーカなど）を連動させる。例えば、情報処理装置は、カメラ１２３によって取得された撮像画像を編集した情報または仮想空間の一部の情報を第１の空間または第２の空間に備えられるディスプレイやスピーカに反映させる。
これによって、情報処理装置は、互いに異なる空間に存在する第１のユーザまたは第２のユーザに対して、各ユーザがあたかも同一の空間で作業をしているかのような感覚を提供することができる。
＜２．詳細＞
上記では、本開示の概要について説明した。続いて、本開示の詳細について説明する。
（２．１．システム構成例）
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの構成例について説明する。
図１に示すように、本実施形態に係る情報処理システムには、第１の空間１００Ａおよび第２の空間１００Ｂが存在し、それぞれの空間にクライアント装置１１０と、入力機器群１２０と、出力機器群１３０と、が備えられている。また、本実施形態に係る情報処理システムには、ネットワーク３００を介して各空間のクライアント装置１１０と通信可能なサーバ装置２００も備えられている。
サーバ装置２００は、上記で説明した「情報処理装置」として機能する装置である。より具体的には、サーバ装置２００は、第１の空間１００Ａに存在する第１のユーザの第１の身体情報、または第２の空間１００Ｂに存在する第２のユーザの第２の身体情報のそれぞれを、クライアント装置１１０Ａとクライアント装置１１０Ｂからの各種入力情報を解析することで取得し、第１の身体情報または第２の身体情報を用いて仮想空間を生成する。「身体情報（第１の身体情報または第２の身体情報を含む。以降、便宜的に「第１の身体情報または第２の身体情報」を単に「身体情報」と呼称する場合がある）」とは、各ユーザの身体の部位の位置情報を含む概念である。そのため、サーバ装置２００は、身体情報に基づいて各ユーザの位置関係（および体勢）を仮想空間上に再現することができる。
また、サーバ装置２００は、第１の空間１００Ａに存在する物体に関する情報を含む第１の環境情報、または第２の空間１００Ｂに存在する物体に関する情報を含む第２の環境情報を、クライアント装置１１０Ａまたはクライアント装置１１０Ｂからの各種入力情報を解析することで取得し、身体情報だけでなく第１の環境情報または第２の環境情報も用いて仮想空間を生成してもよい。「環境情報（第１の環境情報または第２の環境情報を含む。以降、便宜的に「第１の環境情報または第２の環境情報」を単に「環境情報」と呼称する場合がある）」とは、各空間に存在する物体（入力機器群１２０や出力機器群１３０を含む）の各部分の位置情報を含む概念である。そのため、サーバ装置２００は、身体情報だけでなく環境情報にも基づいて仮想空間を生成することで、各物体の位置関係や、各物体と各ユーザの位置関係を仮想空間上に再現することができる。
そして、所定のトリガが発生した場合、サーバ装置２００は、動作モードを切り替え、当該動作モードに基づいて制御情報を生成し、クライアント装置１１０Ａまたはクライアント装置１１０Ｂへ提供することで、出力機器群１３０Ａまたは出力機器群１３０Ｂを連動して制御することができる。なお、サーバ装置２００は、入力機器群１２０Ａまたは入力機器群１２０Ｂを制御してもよい。
クライアント装置１１０Ａは、第１の空間１００Ａに備えられる機器（入力機器群１２０Ａや出力機器群１３０Ａ）を統括的に制御する装置である。例えば、クライアント装置１１０Ａは、入力機器群１２０Ａから各種入力情報を取得してサーバ装置２００へ提供したり、サーバ装置２００から提供される制御情報に基づいて出力機器群１３０Ａを制御したりする。
入力機器群１２０Ａは、各種入力情報を取得する機器群であり、例えば、カメラ、マイク、または任意のセンサなどを含み得る。入力機器群１２０Ａの内容および設置態様は特に限定されない。詳細については後述する。
出力機器群１３０Ａは、第１のユーザに対して各種出力を行う機器群であり、例えば、ディスプレイ（後述するテーブルディスプレイ１３１やウィンドウディスプレイ１３３を含む）、スピーカ、または触覚提示機器などを含み得る。出力機器群１３０Ａの内容および設置態様は特に限定されない。詳細については後述する。
なお、第２の空間１００Ｂに備えられるクライアント装置１１０Ｂ、入力機器群１２０Ｂ、および出力機器群１３０Ｂについては、第１の空間１００Ａに備えられる上記の構成と同様のことが言えるため説明を省略する。
以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、サーバ装置２００の機能の全部または一部は、クライアント装置１１０またはその他の外部装置に備えられてもよい。また、逆に、クライアント装置１１０の機能の全部または一部は、サーバ装置２００またはその他の外部装置に備えられてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。また、第２の空間１００Ｂの構成は、第１の空間１００Ａの構成と同一でなくてもよい。
（２．２．各空間における機器配置など）
上記では、本実施形態に係る情報処理システムの構成例について説明した。続いて、第１の空間１００Ａおよび第２の空間１００Ｂにおける機器配置などについて説明する。
第１の空間１００Ａにおける機器配置などについてより具体的に説明すると、第１の空間１００Ａには、例えば図２に示すように、ユーザＡ（第１のユーザ）が存在し、表示面がテーブル（作業台として用いられるテーブル）の天板部分に設けられ、地表面に対して略平行に位置するテーブルディスプレイ１３１Ａ（第２のディスプレイ）と、テーブルディスプレイ１３１Ａ上の一端に略垂直に設けられ、表示面が地表面に対して略垂直に位置するウィンドウディスプレイ１３３Ａ（第１のディスプレイ）とが出力機器群１３０の一例として備えられる。また、第２の空間１００Ｂにおいては、図３に示すようにユーザＢ（第２のユーザ）が存在し、基本的に第１の空間１００Ａと同様にテーブルディスプレイ１３１Ａおよびウィンドウディスプレイ１３３Ａなどが配置されている。重複した説明を避けるために以降では第１の空間１００Ａを一例として説明する。なお、図３には、各ユーザが立っている状態が示されているが、各ユーザの体勢はこれに限定されない。例えば、各ユーザは椅子に座っている状態であってもよい。
第１の空間１００Ａのウィンドウディスプレイ１３３Ａには、第２の空間１００Ｂに存在するユーザＢおよびその他の物体（第２の空間１００Ｂのテーブルディスプレイ１３１Ｂなどが含まれてもよい）が表示されている。そして、ウィンドウディスプレイ１３３Ａは、ユーザＡが第２の空間１００Ｂの様子をよく認識できる程度に広い面積（所定の長さ以上の横幅と縦幅）を有しており、第１の空間１００Ａと略同一の縮尺（換言すると、現尺または実物大）かつ、略同一の高さで（換言すると、地表面の高さを揃えた状態で）ユーザＢおよびその他の物体をリアルタイムに表示する。
より具体的に説明すると、サーバ装置２００は、クライアント装置１１０Ａまたはクライアント装置１１０Ｂからの各種入力情報を解析することで、ユーザＡの第１の身体情報またはユーザＢの第２の身体情報や、第１の空間１００Ａに存在する物体に関する第１の環境情報または第２の空間１００Ｂに存在する物体に関する第２の環境情報を取得し、これらの身体情報または環境情報（または、少なくとも身体情報）に基づいて仮想空間を生成する。例えば、サーバ装置２００は、図４に示すように、テーブル（テーブルディスプレイ１３１に相当するテーブル）を挟んでユーザＡとユーザＢが会話を行っていることを再現した仮想空間を生成する。そして、サーバ装置２００は、仮想空間の一部の情報を切り出してクライアント装置１１０Ａへ提供し、ウィンドウディスプレイ１３３Ａおよびテーブルディスプレイ１３１Ａがクライアント装置１１０経由で当該情報を取得し表示することで、ユーザＡは、ユーザＢと同一の空間に位置しているような感覚を得ることができる。
より具体的に説明すると、例えば、（会議システムのように）ディスプレイにユーザＢの顔部分のみが拡大表示されたり縮小表示されたりする場合、表示内容が現実とかけ離れているため、ユーザＡは、ユーザＢと同一の空間に位置しているような感覚を得ることができない。一方、上記のように、広い面積を有するウィンドウディスプレイ１３３Ａに、略同一の縮尺、かつ、略同一の高さでユーザＢなどがリアルタイムに表示された場合には、表示内容が現実的であるため、ユーザＡは、ユーザＢと同一の空間に位置しているという感覚を得ることができる。特に、略同一の縮尺、かつ、略同一の高さでユーザＢなどがリアルタイムに表示されることによって、ユーザＡはユーザＢと視線を合わせているような感覚を得ることができる。なお、サーバ装置２００は、仮想空間に完全に一致させた映像をディスプレイに表示させる必要はなく、適宜変更した映像をディスプレイに表示させてもよい。例えば、ユーザＡおよびユーザＢの視線が合いにくい状況が発生した場合、サーバ装置２００は、ディスプレイにおける映像の表示位置などを変更してもよい。また、サーバ装置２００は、現実を再現するために、各入力機器群１２０（例えば、カメラ１２３など）によって取得された入力情報（例えば、カメラ１２３によって取得された撮像画像など）を編集した情報（例えば、エフェクト加工が施された画像、他の画像と合成された画像など）をクライアント装置１１０へ提供してもよい。
なお、図５に示すように、図２に比べて横幅がより狭いウィンドウディスプレイ１３３Ａ、またはテーブルディスプレイ１３１Ａが用いられてもよい。この場合でも、例えば、ウィンドウディスプレイ１３３Ａの縦幅を広くすることで、ユーザＡは、第２の空間１００Ｂの様子をよく認識できるため上記と同様に、ユーザＢと同一の空間に位置しているような感覚を得ることができる。また、ウィンドウディスプレイ１３３Ａは、両ユーザが同一の空間に位置していることを強調することが可能な任意の画像処理（例えば、背景の色彩の変更処理や、ぼかし処理など）が施された後の映像を表示してもよい。
図２や図５などに示すように、テーブルディスプレイ１３１には、表示画像２０が表示されている。表示画像２０は、アプリケーションからのインタラクションを示す表示オブジェクトであって、例えば静止画、動画（映像）、メニュー画面、又はコントロール画面といった各種ＵＩなどである。また、表示画像２０は、２次元画像であってもよいし、３次元画像であってもよい。表示画像２０に対するユーザによる操作入力は、各種センサにより検出されるため、ユーザは、表示画像２０上で操作体、例えば手を接触又は近接させて動かすことで、表示画像２０に対して各種の操作入力を行うことができる。例えば、ユーザは、テーブルディスプレイ１３１上を指でなぞることによって自由記述した内容をテーブルディスプレイ１３１に表示させることができる（図中には、自由記述によって円形状を有する表示画像２１が生成されている）。
テーブルディスプレイ１３１の表示画像２０（または、表示画像２１）に対する操作入力は、例えばテーブルディスプレイ１３１に設けられたタッチセンサや、周囲に設けられたデプスカメラ、サーモカメラ、ＲＧＢカメラ、または超音波センサなどの入力機器群１２０により検出され得る。例えば、サーバ装置２００は、入力機器群１２０によって取得された撮像画像やデプス情報を解析することで、テーブルディスプレイ１３１の表示画面上に位置するユーザの手や指の位置や深度情報（換言すると、三次元情報）を取得し、高さ方向におけるテーブルディスプレイ１３１へのユーザの手の接触若しくは近接、およびテーブルディスプレイ１３１からの手の離脱を検出する。
本明細書では、ユーザＡおよびユーザＢの両者が操作可能なオブジェクト（表示画像２０や表示画像２１）を「共有オブジェクト」と称す。サーバ装置２００、一方のテーブルディスプレイ１３１に表示された共有オブジェクトに対するユーザからの操作入力を、他方のテーブルディスプレイ１３１に表示されている対応する共有オブジェクトにも（リアルタイムで）反映させることで、共同作業の利便性をさらに向上させることができる。より具体的には、例えば、テーブルディスプレイ１３１Ａとテーブルディスプレイ１３１Ｂに同一の共有オブジェクトが同一の配置で表示されているときに、ユーザＡがテーブルディスプレイ１３１Ａ上においてある共有オブジェクトを移動させた場合、サーバ装置２００は、テーブルディスプレイ１３１Ｂ上の対応する共有オブジェクトも同様に移動させる。
（２．３．動作モードの種類）
本実施形態に係る情報処理システムにおいては、ユーザＡ（第１のユーザ）およびユーザＢ（第２のユーザ）に提供される視聴覚効果について複数の動作モードが設けられる。そして、所定のトリガが発生した場合に、サーバ装置２００は、動作モードを切り替えて、ユーザＡおよびユーザＢに与える視聴覚効果を変更することによって、ユーザＡおよびユーザＢに対して互いの位置関係（および体勢）を知覚させることができる。
技術や技能の伝承に関しては、指導者と生徒が互いの位置関係を適宜変えながら双方向のコミュニケーションを行うことがより有用である。例えば、指導者が生徒と正対した状態で授業を行うだけでなく、適宜指導者が生徒の位置まで移動して近くで技術や技能の実演などを行うことで生徒の理解度が高まる。
そこで、続いて、本実施形態に係る情報処理システムにおいて用いられる動作モードの種類について説明する。例えば、図６に示すように、ユーザＡおよびユーザＢが正対して位置し、かつ、実際の位置関係の通りに出力（例えば、ディスプレイによる表示や、スピーカによる音声出力など）が行われる動作モード（以降、便宜的に「正対モード」と呼称する）が設けられ得る。正対モードにおいては、サーバ装置２００は、各空間のカメラ１２３によって取得された撮像画像を編集することで生成した別の画像（例えば、エフェクト加工が施された画像、他の画像と合成された画像など）を各ディスプレイに表示させる。なお、上記のとおり、サーバ装置２００は、身体情報または環境情報に基づいて生成した仮想空間から切り出した情報を各ディスプレイに表示させてもよい（なお、サーバ装置２００は、仮想空間から切り出した情報を適宜加工してもよい）。これによって、図６に示すように、ユーザＢが右手を挙げている場合、正対しているユーザＡには、ユーザＢが右手を挙げているように見える。正対モードは、例えば、指導者が生徒と正対した状態で授業を行う場合などに適用され得る。
また、図７に示すように、ユーザＡおよびユーザＢが正対して位置し、かつ、実際の位置関係とは左右が逆転した状態で出力される動作モード（以降、便宜的に「左右逆転モード」と呼称する）が設けられ得る。左右逆転モードにおいては、サーバ装置２００は、各空間のカメラ１２３によって取得された撮像画像を編集することで生成した別の画像（例えば、撮像画像の左右を逆転させた画像、エフェクト加工が施された画像、他の画像と合成された画像など）を各ディスプレイに表示させる。なお、上記のとおり、サーバ装置２００は、身体情報または環境情報に基づいて生成した仮想空間の一部の情報を切り出し、当該情報における位置関係の左右を逆転させた状態で各ディスプレイに表示させてもよい。これによって、図７に示すように、ユーザＢが右手を挙げている場合、正対しているユーザＡには、ユーザＢが左手を挙げているように見える。左右逆転モードも、正対モードと同様に、例えば、指導者が生徒と正対した状態で授業を行う場合などに適用され得る。
また、図８に示すように、ユーザＡおよびユーザＢが略同一の方向を向き、かつ、横に並んで位置する状態で出力される動作モード（以降、便宜的に「横並びモード」と呼称する）が設けられる。横並びモードにおいては、例えば、第１の空間１００Ａのテーブルディスプレイ１３１Ａに、ユーザＢの手の表示画像２２Ｂ（図８の例では、ユーザＢの右手の画像）がユーザＡの左側に表示されることで、ユーザＡは、ユーザＢが左側に位置していることを知覚することができる。一方、第２の空間１００Ｂのテーブルディスプレイ１３１Ｂに、ユーザＡの手の表示画像２２Ａ（図８の例では、ユーザＡの両手の画像）がユーザＢの右側に表示されることで、ユーザＢは、ユーザＡが右側に位置していることを知覚することができる。横並びモードは、例えば、指導者が生徒の横に移動して作業の見本を見せる場合（またはその逆）などに適用され得る。
また、図９に示すように、ユーザＡおよびユーザＢが略同一の方向を向き、かつ、一方が背後から他方に被さるように位置する状態で出力される動作モード（一方が他方に憑依しているような感覚を生じさせるため、以降、便宜的に「憑依モード」と呼称する）が設けられる。憑依モードにおいては、例えば、第１の空間１００Ａのテーブルディスプレイ１３１Ａに、ユーザＢの手の表示画像２２Ｂ（図９の例では、ユーザＢの両手の画像）がユーザＡの両横に表示されることで、ユーザＡは、ユーザＢが背後に位置して自らに被さっていることを知覚することができる（なお、ユーザＢの両手の画像は、必ずしもユーザＡの両横に表示されなくてもよい）。一方、第２の空間１００Ｂのテーブルディスプレイ１３１Ｂに、ユーザＡの手の表示画像２２Ａ（図９の例では、ユーザＡの両手の画像）がユーザＢの両手の間に表示されることで、ユーザＢは、自らがユーザＡの背後に位置してユーザＡに被さっていることを知覚することができる。なお、ユーザＡおよびユーザＢの位置関係次第では、第２の空間１００Ｂのテーブルディスプレイ１３１Ｂに、ユーザＡの後頭部が表示されてもよい。憑依モードは、例えば、指導者が生徒の背後から生徒に被さった状態で作業の見本を見せる場合（換言すると、指導者が生徒に憑依する場合）や、生徒が指導者の背後に移動して指導者の作業を確認する場合（換言すると、生徒が指導者に憑依する場合）などに適用され得る。
なお、上記（図６～図９）では、主にディスプレイへの表示制御について説明したが、サーバ装置２００は、各動作モードにおいて、出力機器群１３０に含まれるディスプレイ以外の機器を制御することで、ユーザＡおよびユーザＢに対して互いの位置関係（および体勢）を知覚させてもよい。例えば、サーバ装置２００は、出力機器群１３０に含まれるスピーカを制御して実空間に音像を定位させることで、ユーザＡおよびユーザＢに対して互いの位置関係（および体勢）を知覚させてもよい。
また、本実施形態に係る情報処理システムにおいて設けられる動作モードの種類は上記に限定されない。より具体的には、サーバ装置２００は、各ユーザ同士の位置関係の変化に基づいて動作モードを適宜新設したり、変更したりしてもよい。
（２．４．動作モードの切り替え）
上記では、本実施形態に係る情報処理システムにおいて用いられる動作モードの種類について説明した。続いて、動作モードの切り替えについて説明する。
サーバ装置２００は、所定のトリガが発生した場合、上記で説明した動作モードを切り替えることで第１の空間１００Ａまたは第２の空間１００Ｂに備えられる少なくとも１台の機器（例えば、ディスプレイやスピーカなど）を連動させる。
ここで、動作モードの切り替えに用いられる「所定のトリガ」とは、ユーザＡ（第１のユーザ）またはユーザＢ（第２のユーザ）の少なくともいずれか一方に起因するトリガであることを想定している。例えば、所定のトリガとは、ユーザＡまたはユーザＢによる所定の動作（例えば、椅子から立ち上がる動作、または椅子に座ったまま移動する動作など）、所定の発言（例えば、「そちらに行きますね。」という発言、または「こちらに来てください」という発言など）、または所定の操作入力など（例えば、テーブルディスプレイ１３１へのタッチ、またはボタンの押下など）を含む。なお、所定のトリガの内容はこれらに限定されない。
動作モードの切り替えの際、サーバ装置２００は、上記のように各機器を連動させることによって、ユーザＡおよびユーザＢの位置関係（および体勢）が同一空間中で変化したという感覚を各ユーザに与えることができる。すなわち、ユーザＡおよびユーザＢは、互いの位置関係（および体勢）を自由かつ自然に変更することができる。
続いて、図１０～図１２を参照して、動作モードの切り替え時における各機器の連動の具体例について説明する。図１０～図１２は、正対モードから憑依モードへの切り替え時におけるウィンドウディスプレイ１３３Ａおよびテーブルディスプレイ１３１Ａの表示動作の具体例を示す図である。
例えば、図１０のＡのウィンドウディスプレイ１３３Ａには、椅子に座ったユーザＢが表示されており、テーブルディスプレイ１３１Ａには、ユーザＡとユーザＢが共有している共有オブジェクトが表示されている。これによって、ユーザＡは、共有オブジェクトが載せられたテーブルを挟んでユーザＢと正対していることを知覚している。
その後、所定のトリガとして、ユーザＢが椅子から立ち上がるなどの動作を検出したサーバ装置２００は一連の動作モードの切り替え処理を行う。例えば、サーバ装置２００は、図１０のＢに示すように、ユーザＢを引きつつ（縮小させつつ）ウィンドウディスプレイ１３３Ａに表示させる。なお、このとき、サーバ装置２００は、ウィンドウディスプレイ１３３Ａ全体をぼかしながらユーザＢを表示させてもよい。
図１１のＣでは、サーバ装置２００は、ユーザＢをユーザＡに対して横方向に回転させた状態でウィンドウディスプレイ１３３Ａに表示させる。図１１のＤでは、サーバ装置２００は、ユーザＢを直進させることでウィンドウディスプレイ１３３Ａから退場させる。なお、図１１のＣおよびＤにおいても、サーバ装置２００は、ウィンドウディスプレイ１３３Ａ全体をぼかしながらユーザＢを表示させてもよい。
図１２のＥでは、サーバ装置２００は、ユーザＢがユーザＡの背後へ移動するために要する時間の経過後に、ユーザＢが移動してきた方向側（この例では、左方向側）に位置するユーザＢの手（この例では、左手）の表示画像２２Ｂを、手前方向からテーブルディスプレイ１３１に表示させる。その後、図１２のＦでは、サーバ装置２００がもう一方の手（この例では、右手）の表示画像２２ＢをユーザＡの右手前方向からテーブルディスプレイ１３１に表示させる。
図１０～図１２に示した一連の表示動作によって、サーバ装置２００は、ユーザＢがユーザＡの左方向から回り込んでユーザＡの背後に移動したような感覚を、各ユーザに提供することができる。
続いて、図１３～図１５を参照して、正対モードから憑依モードへの切り替え時におけるウィンドウディスプレイ１３３Ａおよびテーブルディスプレイ１３１Ａの表示動作のバリエーションを説明する。
図１３に示すように、テーブルディスプレイ１３１Ａには、ユーザＡとユーザＢが共有している共有オブジェクトではなく、ユーザＡが使用している資料の表示画像２３Ａが表示されている（換言すると、ユーザＡとユーザＢが使用している資料が異なる）。その他は図１０のＡと同様である。
その後、所定のトリガとして、ユーザＢが椅子から立ち上がるなどの動作を検出したサーバ装置２００は一連の動作モードの切り替え処理を行う。例えば、サーバ装置２００は、図１３のＢに示すように、テーブルディスプレイ１３１Ａに表示されている表示画像２３Ａを徐々に黒く変化（ブラックアウト）させていく。その他は図１０のＢと同様である。
図１４のＣおよびＤでは、サーバ装置２００は、テーブルディスプレイ１３１Ａを完全にブラックアウトさせた状態にする。その他は図１１のＣおよびＤと同様である。図１５のＥでは、サーバ装置２００は、ユーザＢがユーザＡの背後へ移動するために要する時間の経過後に、ユーザＢが移動してきた方向（この例では、左上方向）からユーザＢが使用している資料の表示画像２３Ｂをテーブルディスプレイ１３１に表示させる。その後、図１５のＦでは、サーバ装置２００が表示画像２３Ｂをテーブルディスプレイ１３１全体に表示させる。
図１３～図１５に示した一連の表示動作によって、サーバ装置２００は、ユーザＢがユーザＡの左方向から回り込んでユーザＡの背後に移動し、ユーザＡのテーブルにユーザＢが使用している資料を置いたような感覚を、各ユーザに提供することができる。そして、その後、ユーザＢは、資料の表示画像２３Ｂを用いてユーザＡに対して情報の伝達などを行うことができる。
図１０～図１５の例では、サーバ装置２００は、各入力機器群１２０（例えば、カメラ１２３など）によって取得された入力情報（例えば、カメラ１２３によって取得された撮像画像など）を編集した情報（例えば、エフェクト加工が施された画像、他の画像と合成された画像など）、または仮想空間から切り出した情報を適宜加工して各機器（ウィンドウディスプレイ１３３やテーブルディスプレイ１３１など）に出力させることで、ユーザＡおよびユーザＢの位置関係（および体勢）が同一空間中で変化したという感覚を各ユーザに提供している。より具体的には、サーバ装置２００は、各入力機器群１２０によって取得された入力情報を編集した情報、または仮想空間から切り出した情報（例えば、ユーザＢの画像）に対して、各種画像処理（例えば、縮小処理、ぼかし処理、回転処理、および位置変更（移動）処理）を施したものを各機器に出力させている。すなわち、本開示の大きなポイントの一つは、各ユーザの位置関係（および体勢）が同一空間中で変化したという感覚を各ユーザに提供することにあり、その方法として、サーバ装置２００は、各入力機器群１２０によって取得された入力情報を編集した情報、または仮想空間から切り出した情報をそのまま各機器に出力させてもよいし、これらの情報を加工した上で各機器に出力させてもよい。なお、これらの情報の加工方法は上記の例に限定されない。
また、サーバ装置２００は、各入力機器群１２０によって取得された入力情報を編集した情報以外の情報、または仮想空間から切り出した情報以外の情報を各機器に出力させてもよい。例えば、サーバ装置２００は、各ユーザの身体情報や任意の物体情報（例えば、形状や色彩などを含む、各ユーザの身体や任意の物体の特徴に関する情報など）を保持している場合、これらの情報を用いて各ディスプレイの表示内容を編集してもよい。これによって、例えば、サーバ装置２００は、現実を再現した仮想空間から各ユーザを除去した上で、所望の状態（体勢）のユーザや所望の物体を仮想空間に重畳させることで、現実と全く異なる映像を各ディスプレイに表示させることができる。現実を再現した仮想空間の情報だけでは、各ユーザが同一空間中に存在する感覚が十分に創出されない可能性がある。その点サーバ装置２００は、上記のように、各入力機器群１２０によって取得された入力情報を編集した情報以外の情報、または仮想空間から切り出した情報以外の情報も用いて各機器の出力を制御することで、各ユーザが同一空間中に存在する感覚を妨げる要因を適宜除去することができる。
（２．５．各機器を用いた情報伝達のバリエーション）
上記では、動作モードの切り替えについて説明した。続いて、各機器を用いた情報伝達のバリエーションについて説明する。
技術や技能の伝承に関しては、指導者と生徒が直接接しながら情報伝達を行うことがより有用であると言える。例えば、指導者が直接生徒に触れながら身体の動かし方などを指導することで、技術や技能に対する生徒の理解度が高まる。
そこで、本開示に係る情報処理システムは、上記で説明した、各ユーザの位置関係が同一空間中で変化したかのような感覚を各ユーザに提供するだけでなく、各ユーザが互いに接しながら情報伝達を行っているかのような感覚を各ユーザに提供することを可能にする。
例えば、図１６を参照して、ユーザＡ（生徒）がユーザＢ（指導者）から手術に関する指導を受けている場合を一例として説明する。図１６の例では、ユーザＡがユーザＢに対して憑依する憑依モードが設定されており、第１の空間１００Ａにおけるテーブルディスプレイ１３１Ａには、ユーザＢの身体の一部、およびユーザＢが使用している教材（手術に使用する器具、および人体の一部を模した手術対象物）の表示画像２４が表示されている。ユーザＡは、自ら把持した器具と、テーブルディスプレイ１３１Ａに表示された手術対象物を用いて手術のトレーニングを受けている。
このとき、サーバ装置２００は、ユーザＡ（第１のユーザ）による入力に基づいて第１の空間１００Ａまたは第２の空間１００Ｂ（または、少なくとも第２の空間１００Ｂ）に存在する少なくとも１台の機器を制御する（なお、サーバ装置２００は、逆にユーザＢ（第２のユーザ）による入力に基づいて第１の空間１００Ａまたは第２の空間１００Ｂ（または、少なくとも第１の空間１００Ａ）に存在する少なくとも１台の機器を制御してもよい）。例えば、ユーザＡは、入力機器群１２０Ａを用いて各種入力を行うことで、表示画像２４内の一部分を指し示す表示画像２５、および文字列が含まれる吹き出しの表示画像２６（図１６の例では、吹き出しに「この部分を詳しく教えてください」という文字列が含まれている）を、第１の空間１００Ａまたは第２の空間１００Ｂ（または、少なくとも第２の空間１００Ｂ）のテーブルディスプレイ１３１に表示させることができる。これによって、ユーザＡは、ユーザＢに直接接しながら技術や技能に関するより詳細な質問を行っているような感覚を得ることができる。なお、逆に、ユーザＢが、入力機器群１２０Ｂを用いて各種入力を行うことで重要な部分をユーザＡに対して伝達してもよい。
続いて、図１７に示すように、ユーザＡ（生徒）がユーザＢ（指導者）から手工芸に関する指導を受けている場合を一例として説明する。図１７の例では、ユーザＢがユーザＡに対して憑依する憑依モードが設定されている。また、プロジェクションマッピングを可能とするプロジェクター、およびユーザＡの手に装着されユーザＡの手に対して触覚を提示可能な触覚提示機器が出力機器群１３０Ａに含まれているとする。
このとき、ユーザＢは、入力機器群１２０Ｂを用いて各種入力を行うことで、ユーザＡの身体および対象物の一部分に対して、文字列が含まれる吹き出しの表示画像２７を重畳的に投影させつつ、触覚提示機器を制御してユーザＡの手に対して様々な触覚を提示してもよい。例えば、図１７の例では、ユーザＢは、ユーザＡの身体および対象物の一部分に対して、「しっかり持ってください」、および「中指に力を入れてください」という文字列が含まれる吹き出しの表示画像２７Ａおよび表示画像２７Ｂを重畳的に投影させつつ、各吹き出しの内容に対応する触覚（例えば、対象物を強く握るような触覚、および中指を折り曲げるような触覚など）を提示する。これによって、ユーザＡは、ユーザＢに直接接してもらいながら技術や技能に関するより詳細な情報を伝達してもらっているような感覚を得ることができる。なお、このとき、ユーザＢには、ユーザＡに対して提供される触覚に対応する別の触覚（例えば、ユーザＡに対して触覚が提供されることで生じる別の触覚）が提示されてもよい。
また、図１７の例では、吹き出しの表示画像２７の投影を行っているユーザＢを示す表示画像２８が併せて投影されている。これによって、ユーザＡは、ユーザＢによって投影が行われていることを直感的に認識することができる。このように、情報の発信元が示されることは、３人以上のユーザが本開示に係る情報処理システムを用いてコミュニケーションを行う場合に特に有用である。３人以上のユーザが本開示に係る情報処理システムを用いてコミュニケーションを行う場合の具体例については後述する。
ここで、各ユーザまたは対象物の一部分を指し示す表示画像（例えば、図１６で示した表示画像２４内の一部分を指し示す表示画像２５、および図１７で示したユーザＡの身体および対象物の一部分に対して重畳的に投影される吹き出しの表示画像２７）は、当該一部分に追随して表示され続けることが好ましい。
より具体的には、ユーザの親指を指し示す表示画像２９が表示された場合、ユーザの手の姿勢が図１８のＡ～Ｃに示すように変化しても、当該表示画像２９は、手の姿勢の変化に追随するように表示され続けることが好ましい。これによって、各ユーザは、互いの位置関係や体勢を変化させることで様々な角度から重要な部分についての情報を伝達することができる。
（２．６．撮像画像からの実物体の抽出処理）
上記では、各機器を用いた情報伝達のバリエーションについて説明した。続いて、撮像画像からの実物体の抽出処理について説明する。
例えば、図１９のＡに示すように、第１の空間１００Ａの入力機器群１２０Ａに含まれるカメラ１２３Ａがテーブルディスプレイ１３１Ａの上部に、テーブルディスプレイ１３１Ａ上の物体を撮像可能な態様で設置されている場合について考える。この場合、サーバ装置２００が、カメラ１２３Ａによって撮像された撮像画像をそのまま用いて仮想空間を生成し、その一部を第２の空間１００Ｂのテーブルディスプレイ１３１Ｂに反映させると、図１９のＢに示すように、ユーザＡの手の表示画像３０ＡだけでなくユーザＢの手の表示画像３０Ｂ（第１の空間１００Ａのテーブルディスプレイ１３１Ａに表示された表示画像３０Ｂが撮像されたもの）も表示されてしまう。このように、テーブルディスプレイ１３１に表示された表示画像が再度テーブルディスプレイ１３１に表示されるという事象が無限に繰り返されてしまう（便宜的に図１９のＢには示していないが、表示画像３０Ａおよび表示画像３０Ｂが無限に重畳されて表示されてしまう）。なお、カメラ１２３の設置態様によっては、テーブルディスプレイ１３１だけでなくウィンドウディスプレイ１３３にも画像が無限に繰り返されて表示され得る。
そこで、サーバ装置２００は、カメラ１２３Ａによって生成された撮像画像を解析し、テーブルディスプレイ１３１Ａに表示されている画像（図１９のＡの例では、表示画像３０Ｂ）を除去することで、テーブルディスプレイ１３１Ａ上に実在する物体（図１９のＡの例では、ユーザＡの手）を抽出する。換言すると、サーバ装置２００は、ユーザＡ（第１のユーザ）の身体情報の少なくとも一部、および第１の空間１００Ａに存在するテーブルディスプレイ１３１Ａ（第２のディスプレイ）の表示画像が撮像された撮像画像を解析することで、ユーザＡ（第１のユーザ）の身体情報の少なくとも一部を撮像画像から抽出する。なお、逆に、サーバ装置２００は、ユーザＢ（第２のユーザ）の身体情報の少なくとも一部、および第２の空間１００Ｂに存在するテーブルディスプレイ１３１Ｂ（第２のディスプレイ）の表示画像が撮像された撮像画像を解析することで、ユーザＢ（第２のユーザ）の身体情報の少なくとも一部を撮像画像から抽出してもよい。
例えば、サーバ装置２００は、カメラ１２３Ａによって生成された撮像画像を所定の期間にわたって保存しておき、テーブルディスプレイ１３１Ａ上に何らかの物体が置かれた場合、最新の撮像画像と、保存している過去の撮像画像を比較することで当該物体を抽出する（例えば、サーバ装置２００は、背景差分処理を行うことで当該物体を抽出する）。
その後、サーバ装置２００は、抽出結果を用いて仮想空間を生成し、その一部を第２の空間１００Ｂのテーブルディスプレイ１３１Ｂに反映させることで、図１９のＣに示すように、ユーザＡの手の表示画像３０Ａのみをテーブルディスプレイ１３１Ｂに表示することができる。なお、テーブルディスプレイ１３１Ａ上に実在する物体の抽出方法は上記に限定されず、公知の画像解析処理が用いられ得る。また、この場合でも、サーバ装置２００は、仮想空間の一部を切り出すのではなくカメラ１２３によって取得された撮像画像を編集した情報を各ディスプレイに表示させてもよい。
＜３．構成例＞
上記では、撮像画像からの物体の抽出処理について説明した。続いて、本実施形態に係る各空間の構成例および各装置の機能構成例について説明する。
（３．１．第１の空間１００または第２の空間１００Ｂの構成例）
まず、図２０を参照して、第１の空間１００または第２の空間１００Ｂの構成例について説明する。図２０に示すように、第１の空間１００または第２の空間１００Ｂには、クライアント装置１１０と、入力機器群１２０と、出力機器群１３０と、が備えられる。
（クライアント装置１１０）
クライアント装置１１０は、上記のとおり、入力機器群１２０および出力機器群１３０を統括的に制御する装置である。図２０に示すように、クライアント装置１１０は、制御部１１１と、通信部１１３と、記憶部１１５と、を備える。
（制御部１１１）
制御部１１１は、クライアント装置１１０が行う処理全般を統括的に制御する機能構成である。例えば、制御部１１１は、入力機器群１２０から提供される各種入力情報を取得すると、当該入力情報をサーバ装置２００へ提供する処理を制御する。なお、このとき、制御部１１１は、入力情報をそのままサーバ装置２００へ提供するのではなく、入力情報を解析し、その解析結果をサーバ装置２００へ提供することでサーバ装置２００の処理負荷を低減させたり通信データ量を削減したりすることができる。
また、制御部１１１は、サーバ装置２００からの制御情報を出力機器群１３０へ提供することで出力機器群１３０の処理を制御する。なお、制御部１１１の制御内容はこれらに限定されない。例えば、制御部１１１は、汎用コンピュータ、ＰＣ（Personal Computer）、タブレットＰＣ、またはスマートフォンなどにおいて一般的に行われる処理（例えば、ＯＳ（Operating System）に関する処理など）を制御してもよい。
（通信部１１３）
通信部１１３は、サーバ装置２００、入力機器群１２０、および出力機器群１３０を含む外部装置と各種通信を行う機能構成である。例えば、通信部１１３は、入力機器群１２０から入力情報を受信したり、サーバ装置２００へ当該入力情報を送信したりする。また、通信部１１３は、サーバ装置２００から出力機器群１３０を制御するための制御情報を受信したり、出力機器群１３０へ当該制御情報を送信したりする。なお、通信部１１３が通信する情報および通信するケースはこれらに限定されない。また、通信部１１３の通信方式は特に限定されない。
（記憶部１１５）
記憶部１１５は、各種情報を記憶する機能構成である。例えば、記憶部１１５は、入力機器群１２０から提供された入力情報、またはサーバ装置２００から提供された制御情報などを記憶する。また、記憶部１１５は、クライアント装置１１０の処理に使用される各種プログラム、または各種パラメータなどを記憶する。なお、記憶部１１５が記憶する情報はこれらに限定されない。
（入力機器群１２０）
入力機器群１２０は、各種入力情報を生成する機器群である。図２０に示すように、入力機器群１２０は、センサ部１２１と、カメラ１２３と、マイク１２５と、を備える。なお、入力機器群１２０の構成はこれらに限定されず、入力情報を生成可能な機器であれば如何なる機器が入力機器群１２０に備えられてもよい。
（センサ部１２１）
センサ部１２１は、任意のセンサを備える構成である。例えば、センサ部１２１は、タッチセンサ、圧力センサ、近接センサ、赤外線受光部、超音波センサ、デプスカメラ、サーモカメラ、またはＲＧＢカメラなどを備えていてもよいし、また、ボタン、スイッチ、コントローラ（例えば、スティック型コントローラなど）、およびレバーなど物理的構成により形成される操作入力部を備えていてもよい。
（カメラ１２３）
カメラ１２３は、ユーザおよびユーザの作業対象物などを撮像することで撮像画像を生成する構成である。なお、カメラ１２３の設置態様は特に限定されない。例えば、図２１のＡに示すように、ユーザがセンサ部１２１に備えられているスティック型コントローラに対して操作入力を行うことで、図２１のＢに示すように、カメラ１２３の撮像方向が変更されるような態様でカメラ１２３が設置されてもよい。これによって、例えば、各ユーザが同一の空間で作業をしているかのような感覚が創出され易いように撮像範囲が調整され得る。また、図２２に示すように、複数のカメラ１２３が天球状に設置されてもよい。これによって、物体（ユーザの身体を含む）が様々な角度から撮像された撮像画像が生成されるため、各ユーザが同一の空間で作業をしているかのような感覚が創出され易いように撮像範囲を調整することや、身体情報または環境情報を取得することがより容易になる。
（マイク１２５）
マイク（マイクロホン）１２５は、ユーザの発話音声などをセンシングする構成である。なお、マイク１２５の設置態様は特に限定されない。
（出力機器群１３０）
出力機器群１３０は、上記のとおり、ユーザＡ（第１のユーザ）、またはユーザＢ（第２のユーザ）に対して各種出力を行う機器群である。図２０に示すように、出力機器群１３０は、テーブルディスプレイ１３１と、ウィンドウディスプレイ１３３と、スピーカ１３５と、触覚提示機器１３７と、を備える。なお、出力機器群１３０の構成はこれらに限定されず、各種出力を行うことができる機器であれば如何なる機器が出力機器群１３０に備えられてもよい。
（テーブルディスプレイ１３１）
テーブルディスプレイ１３１は、表示面がテーブルの天板部分に設けられ、地表面に対して略平行に位置するディスプレイである。なお、ディスプレイの種類は特に限定されない。
（ウィンドウディスプレイ１３３）
ウィンドウディスプレイ１３３は、テーブルディスプレイ１３１上の一端に略垂直に設けられ、表示面が地表面に対して略垂直に位置するディスプレイである。なお、ディスプレイの種類は特に限定されない。
（スピーカ１３５）
スピーカ１３５は、音声を出力する構成である。また、例えば、複数台のスピーカ１３５が互いに連携することなどによって実空間に音像が定位されてもよい。これによって、各ユーザは、他のユーザの位置および体勢などを直感的に認識することができるため、各ユーザが同一空間中に存在する感覚がより強調され得る。なお、スピーカ１３５の種類は特に限定されない。
（触覚提示機器１３７）
触覚提示機器１３７は、ユーザに対して触覚を提示する構成である。例えば、触覚提示機器１３７は、ユーザが装着するウェアラブル機器（例えば、グラス型、時計型、グローブ型、または衣服型のウェアラブル装置など）や、ユーザの身体に接触する外部機器などである。触覚提示機器１３７は、例えば、振動を提示するアクチュエータ（例えば、ＥＲＭ（偏心モータ）、ＬＲＡ（リニア共振アクチュエータ）、またはＶＣＭ（ボイスコイルモータ）など）、力覚を提示する電気素子、または温度感覚を提示する温度変化素子など（例えば、ペルチェ素子など）を備えている。なお、触覚提示機器１３７が提示する触覚は特に限定されない。
以上、第１の空間１００または第２の空間１００Ｂの構成例について説明した。なお、図２０を用いて説明した上記の構成はあくまで一例であり、各空間の構成は係る例に限定されない。例えば、クライアント装置１１０、入力機器群１２０、または出力機器群１３０は、図２０に示す構成の全てを必ずしも備えなくてもよい。また、各空間の構成は、仕様や運用に応じて柔軟に変形可能である。また、クライアント装置１１０は、ユーザに対して仮想現実を提供可能な装置（例えば、遮蔽型のヘッドマウントディスプレイなど）であってもよい。この場合、テーブルディスプレイ１３１およびウィンドウディスプレイ１３３は用いられず、クライアント装置１１０は、サーバ装置２００から提供される制御情報に基づいてヘッドマウントディスプレイの表示を制御する。
（３．２．サーバ装置２００の機能構成例）
続いて、図２３を参照して、サーバ装置２００の機能構成例について説明する。図２３に示すように、サーバ装置２００は、制御部２１０と、通信部２２０と、記憶部２３０と、を備える。
（制御部２１０）
制御部２１０は、サーバ装置２００が行う処理全般を統括的に制御する機能構成である。例えば、制御部２１０は、ユーザによって入力機器群１２０を用いて行われる入力などに基づいて各種処理の開始や停止を制御する。なお、制御部２１０の制御内容は特に限定されない。例えば、制御部２１０は、汎用コンピュータ、ＰＣ、タブレットＰＣまたはスマートフォンなどにおいて一般的に行われる処理（例えば、ＯＳに関する処理など）を制御してもよい。
図２３に示すように、制御部２１０は、入力情報解析部２１１と、仮想空間生成部２１３と、表示制御部２１５と、音声出力制御部２１７と、触覚提示制御部２１９と、を備える。
（入力情報解析部２１１）
入力情報解析部２１１は、各空間に備えられる入力機器群１２０から取得された入力情報を解析する機能構成である（入力情報解析部２１１は、解析部としても機能する）。例えば、入力情報解析部２１１は、入力情報を解析することで、身体情報または環境情報を取得する取得部として機能する。上記のとおり、身体情報とは各ユーザの身体の部位の位置情報を含む概念であり、環境情報とは各空間に存在する物体（入力機器群１２０や出力機器群１３０を含む）の各部分の位置情報を含む概念である。なお、入力情報解析部２１１が入力情報を解析することで環境情報を取得する処理は、上記で説明した、撮像画像から実物体を抽出する処理を含む概念であることに留意されたい。
また、入力情報解析部２１１は、入力情報を解析することで、ユーザが行ったジェスチャやユーザが発した音声の内容などを認識する。ここで、ジェスチャとは、例えばユーザの手の動き、腕の動き、姿勢（例えばボーン情報）、視線、タッチ操作（具体的には、タッチ、タップ、ダブルタップ、スワイプ、またはドラッグ）などを含む。例えば、入力情報解析部２１１は、テーブルディスプレイ１３１に対するタッチ操作や、ウィンドウディスプレイ１３３に対する指差し操作などを、ジェスチャとして認識する。また、入力情報解析部２１１は、マイク（マイクロホン）１２５により取得されたユーザの音声を解析することで、ユーザによって発話された内容を認識する。
さらに、入力情報解析部２１１は、上記の解析結果に基づいて動作モードの切り替え（または設定）を行う動作モード制御部としても機能する。すなわち、入力情報解析部２１１は、上記の解析結果に基づいて、正対モード、左右逆転モード、横並びモード、および憑依モードの中からいずれかを選択することで動作モードの切り替え（または設定）を行う。
（仮想空間生成部２１３）
仮想空間生成部２１３は、入力情報解析部２１１によって取得された身体情報または環境情報（または、少なくとも身体情報）に基づいて仮想空間を生成する機能構成である。仮想空間生成部２１３は、身体情報または環境情報に基づいて各ユーザまたは各物体の位置関係を仮想空間上に再現することができる。仮想空間生成部２１３は、クライアント装置１１０から随時提供される入力情報に基づいて仮想空間を更新していく。
（表示制御部２１５）
表示制御部２１５は、各空間に備えられるディスプレイによる表示処理を制御する機能構成である。図２３に示すように、表示制御部２１５は、テーブルディスプレイ表示制御部２１５ａと、ウィンドウディスプレイ表示制御部２１５ｂと、を備える。
（テーブルディスプレイ表示制御部２１５ａ）
テーブルディスプレイ表示制御部２１５ａは、各空間に備えられるテーブルディスプレイ１３１による表示処理を制御する機能構成である。より具体的には、テーブルディスプレイ表示制御部２１５ａは、入力情報解析部２１１により認識された入力の内容、入力情報解析部２１１により設定された動作モード、仮想空間生成部２１３により生成された仮想空間などに基づいてテーブルディスプレイ１３１による表示処理を制御する。
ここで、テーブルディスプレイ表示制御部２１５ａは、テーブルディスプレイ１３１中に複数の表示領域を設けてもよい。例えば、図２４に示すように、テーブルディスプレイ表示制御部２１５ａは、テーブルディスプレイ１３１Ａ中に表示領域３１を設けてもよい。そして、テーブルディスプレイ表示制御部２１５ａは、ユーザＡによる操作入力などに応じて、表示領域３１の位置をテーブルディスプレイ１３１中で変更してもよいし、ウィンドウディスプレイ表示制御部２１５ｂと連携することによって、表示領域３１の位置をウィンドウディスプレイ１３３に変更してもよい。これによって、ユーザＡは、より作業し易い所望の位置に表示領域３１の位置を変更することができる。
テーブルディスプレイ表示制御部２１５ａは、テーブルディスプレイ１３１による表示内容を含む制御情報を生成し、通信部２２０を介してクライアント装置１１０へ提供することでテーブルディスプレイ１３１の表示処理を制御する。
（ウィンドウディスプレイ表示制御部２１５ｂ）
ウィンドウディスプレイ表示制御部２１５ｂは、各空間に備えられるウィンドウディスプレイ１３３による表示処理を制御する機能構成である。より具体的には、ウィンドウディスプレイ表示制御部２１５ｂは、入力情報解析部２１１により認識された入力の内容、入力情報解析部２１１により設定された動作モード、仮想空間生成部２１３により生成された仮想空間などに基づいてウィンドウディスプレイ１３３による表示処理を制御する。
ここで、テーブルディスプレイ表示制御部２１５ａと同様に、ウィンドウディスプレイ表示制御部２１５ｂも、ウィンドウディスプレイ１３３中に複数の表示領域３１を設けてもよい。そして、ウィンドウディスプレイ表示制御部２１５ｂも、ユーザによる操作入力などに応じて表示領域３１の位置をウィンドウディスプレイ１３３中で変更してもよいし、テーブルディスプレイ表示制御部２１５ａと連携することによって、表示領域３１の位置をテーブルディスプレイ１３１に変更してもよい。
ウィンドウディスプレイ表示制御部２１５ｂは、ウィンドウディスプレイ１３３による表示内容を含む制御情報を生成し、通信部２２０を介してクライアント装置１１０へ提供することでウィンドウディスプレイ１３３の表示処理を制御する。
（音声出力制御部２１７）
音声出力制御部２１７は、各空間に備えられるスピーカ１３５による音声出力処理を制御する機能構成である。例えば、音声出力制御部２１７は、ユーザＡの音声をユーザＢへ（または、ユーザＢの音声をユーザＡへ）伝達する。音声出力制御部２１７は、マイク１２５によって取得されたユーザの音声情報に基づいて生成した制御情報を生成し、通信部２２０を介してクライアント装置１１０へ提供することでスピーカ１３５の音声出力処理を制御する。その際、音声出力制御部２１７は、仮想空間生成部２１３によって生成された仮想空間（各ユーザの位置関係）および入力情報解析部２１１により設定された動作モードに基づいて制御情報を生成することで、実空間に音像を定位させて各ユーザに互いの位置関係を知覚させてもよい。
（触覚提示制御部２１９）
触覚提示制御部２１９は、各空間に備えられる触覚提示機器１３７による触覚提示処理を制御する機能構成である。より具体的には、触覚提示制御部２１９は、入力情報解析部２１１により認識された入力の内容、入力情報解析部２１１により設定された動作モード、仮想空間生成部２１３により生成された仮想空間などに基づいて触覚提示機器１３７の触覚提示処理を制御する。触覚提示制御部２１９は、触覚提示機器１３７による触覚提示の内容を含む制御情報を生成し、通信部２２０を介してクライアント装置１１０へ提供することで触覚提示機器１３７の触覚提示処理を制御する。
（通信部２２０）
通信部２２０は、クライアント装置１１０を含む外部装置との各種通信を行う機能構成である。例えば、通信部２２０は、クライアント装置１１０との通信において、入力機器群１２０によって取得された入力情報を受信したり、出力機器群１３０を制御するための制御情報を送信したりする。なお、通信部２２０が通信する情報および通信するケースはこれらに限定されない。また、通信部２２０の通信方式は特に限定されない。
ここで、制御部２１０は、クライアント装置１１０へ送信する制御情報に対して優先度を設け、通信部２２０は、当該優先度に応じて通信に用いられる各種パラメータ（例えば、符号化方式または伝送帯域など）を決定してもよい。より具体的に説明すると、設定される動作モードの種類や、各ユーザが行っている作業の内容などに応じて出力機器群１３０の各機器による出力の優先度は変わる。例えば、横並びモードや憑依モードが設定されている場合、図８や図９に示したように、ウィンドウディスプレイ１３３には基本的に背景のみ表示されている（もちろん、これに限定されない）。したがってこの場合、制御部２１０は、ウィンドウディスプレイ１３３についての制御情報の優先度を他の機器に比べて低く設定してもよい。これによって、通信部２２０は、当該優先度に基づいて通信に用いられる各種パラメータを決定することで通信量を削減することができる。なお、優先度の設定方法は上記に限定されない。例えば、ユーザの注視点などに基づいて優先度が設定されてもよい（例えば、ユーザが注視しているディスプレイについての制御情報の優先度がより高く設定されるなど）。
（記憶部２３０）
記憶部２３０は、各種情報を記憶する機能構成である。例えば、記憶部２３０は、入力情報、入力情報解析部２１１による解析の結果、仮想空間生成部２１３によって生成された仮想空間、表示制御部２１５、音声出力制御部２１７、および触覚提示制御部２１９によって生成された制御情報などを記憶する。また、記憶部２３０は、サーバ装置２００の処理に使用される各種プログラム、または各種パラメータなどを記憶する。なお、記憶部２３０が記憶する情報はこれらに限定されない。
以上、サーバ装置２００の機能構成例について説明した。なお、図２３を用いて説明した上記の機能構成はあくまで一例であり、サーバ装置２００の機能構成は係る例に限定されない。例えば、サーバ装置２００は、図２３に示す機能構成の全てを必ずしも備えなくてもよい。また、サーバ装置２００の機能構成は、仕様や運用に応じて柔軟に変形可能である。また、サーバ装置２００は、個々のユーザの視聴覚特性も考慮して、クライアント装置１１０に提供する制御情報を生成してもよい。例えば、ユーザの属性（例えば、年齢、または性別など）、またはユーザの身体的特徴など（例えば、身長、体重、ＢＭＩ、または身体障害の有無など）によって各ユーザの視聴覚特性は互いに異なる。そこで、サーバ装置２００の表示制御部２１５、音声出力制御部２１７および触覚提示制御部２１９は、ユーザの属性や身体的特徴などを何らかの方法（例えば、ユーザによる事前入力、または入力情報の解析など）で取得することで当該ユーザの視聴覚特性を推定し、その推定結果に基づいてユーザ毎に最適化された制御情報を生成してもよい。
＜４．処理フロー例＞
上記では、本実施形態に係る各空間の構成例および各装置の機能構成例について説明した。続いて、図２５を参照して、サーバ装置２００の処理フローの一例について説明する。
ステップＳ１０００では、サーバ装置２００の通信部２２０が、各空間に備えられるクライアント装置１１０から各種入力情報を受信する。ステップＳ１００４では、入力情報解析部２１１が各種入力情報を解析することで身体情報または環境情報を取得したり、入力の内容を認識したりする。ステップＳ１００８では、仮想空間生成部２１３が、身体情報または環境情報に基づいて仮想空間を生成する。ステップＳ１０１２では、出力機器群１３０の出力制御に関する処理が行われる。具体例については後述する。サーバ装置２００は、クライアント装置１１０から終了指示を受信するまで（ステップＳ１０１６／Ｎｏ）、ステップＳ１０００～ステップＳ１０１２の処理を継続する。サーバ装置２００は、クライアント装置１１０から終了指示を受信した場合に（ステップＳ１０１６／Ｙｅｓ）、一連の処理を終了する。
続いて、図２５のステップＳ１０１２にて行われる出力制御に関する処理のフローの一例を、図２６を参照して説明する。
図２６のステップＳ１１００では、サーバ装置２００の入力情報解析部２１１は、各種入力情報の解析結果に基づいて動作モード切り替えのための入力が行われたか否かを確認する。動作モード切り替えのための入力が行われた場合（ステップＳ１１００／Ｙｅｓ）、入力情報解析部２１１は、その入力に応じて動作モードの切り替えを行う。動作モード切り替えのための入力が行われなかった場合（ステップＳ１１００／Ｎｏ）、ステップＳ１１０４の動作モード切り替え処理は行われない。
その後、ステップＳ１１０８にてテーブルディスプレイ表示制御部２１５ａが、ステップＳ１１１２にてウィンドウディスプレイ表示制御部２１５ｂがそれぞれ、入力の内容（例えば、撮像画像など）、仮想空間、および設定された動作モードなどに基づいて制御情報を生成する。例えば、テーブルディスプレイ表示制御部２１５ａおよびウィンドウディスプレイ表示制御部２１５ｂは、ユーザＡおよびユーザＢの位置関係の変化（または、位置関係自体）に基づいて各ユーザの視点からの映像を各ディスプレイへ表示させるための制御情報を生成する。
ステップＳ１１１６では、音声出力制御部２１７が、入力の内容、仮想空間、および設定された動作モードなどに基づいて制御情報を生成する。例えば、音声出力制御部２１７は、マイク１２５によって取得されたユーザの発話音声に基づいて他のユーザが使用しているスピーカ１３５に音声出力をさせるための制御情報を生成する。
ステップＳ１１２０では、触覚提示制御部２１９が入力の内容、仮想空間、および設定された動作モードなどに基づいて制御情報を生成する。例えば、触覚提示制御部２１９は、センサ部１２１によって取得されたユーザの入力に基づいて、他のユーザが装着しているウェアラブル機器などを制御するための制御情報を生成する。ステップＳ１１２４では、通信部２２０が、生成された各種制御情報を両クライアント装置１１０へ送信することで一連の出力制御に関する処理が終了する。
なお、上記で説明した図２５および図２６のフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
＜５．変形例＞
上記では、サーバ装置２００の処理フローの一例について説明した。続いて、本開示の変形例について説明する。
上記で説明した実施形態においては、ユーザＡ（第１のユーザ）およびユーザＢ（第２のユーザ）がそれぞれ１人ずつ存在していた。本開示の変形例においては、第１の空間１００Ａが複数存在し、ユーザＡ（第１のユーザ）が複数人存在する場合について考える。例えば、生徒である複数人のユーザＡが、指導者である１人のユーザＢから指導を受ける場合について考える。この場合、サーバ装置２００は、ウィンドウディスプレイ１３３（第１のディスプレイ）またはテーブルディスプレイ１３１（第２のディスプレイ）に対して、複数人のユーザＡ（第１のユーザ）の身体情報（第１の身体情報）の少なくとも一部を表示させることができる。
なお、第２の空間１００Ｂが複数存在し、ユーザＢ（第２のユーザ）が複数人存在する場合についても同様のことが言える点に留意されたい（以降で説明する内容についても同様である）。すなわち、サーバ装置２００は、ウィンドウディスプレイ１３３（第１のディスプレイ）またはテーブルディスプレイ１３１（第２のディスプレイ）に対して、複数人のユーザＢ（第２のユーザ）の身体情報（第２の身体情報）の少なくとも一部を表示させてもよい。
図２７のＡに示すように、ユーザＡ－１～ユーザＡ－６が存在する場合（図２７のＡでは、各ユーザが一人ずつウィンドウディスプレイ１３３Ｂに表示された場合を示している）、サーバ装置２００は、各ユーザＡの上半身部分を抽出し、図２７のＢに示すようにウィンドウディスプレイ１３３Ｂに１以上の列に並べて表示させてもよい。また、サーバ装置２００は、図２８のＢに示すようにユーザＡの人数分に分割したテーブルディスプレイ１３１Ｂに各ユーザＡの手元を表示させてもよい。その際、サーバ装置２００は、各ユーザＡの識別に用いられる情報（図２８のＢの例では、「UserA-1」など）を併せて分割されたテーブルディスプレイ１３１Ｂに表示させてもよい。図２７のＢおよび図２８のＢの表示方法によって、ユーザＢは、より効率的に複数人のユーザＡの状況を認識することができる。なお、図２７および図２８では、ユーザＡが複数人でありユーザＢが１人である場合を一例として示したが、これに限定されない。より具体的には、ユーザＡが１人でありユーザＢが複数人であってもよいし、ユーザＡおよびユーザＢが複数人であってもよい。
変形例においても、サーバ装置２００は、ユーザＡまたはユーザＢの少なくともいずれか一方に対して、各ユーザがあたかも同一の空間で作業をしているかのような感覚を提供することができる。例えば、サーバ装置２００は、ユーザＢには図２７のＢおよび図２８のＢに示した非現実的な画像を提供する一方で、各ユーザＡにはユーザＢと正対しているような画像を提供することでユーザＢと同一の空間で作業をしているかのような感覚を提供することができる。また、サーバ装置２００は、例えば、所定の背景画像における所定の位置（例えば、教室の背景画像における各席の位置など）に、縮尺を調整しつつ全ユーザＡの一部を表示させることで、ユーザＢに対しても、全ユーザＡと同一の空間で作業をしているかのような感覚（例えば、教室で全ユーザＡに対して授業を行っているかのような感覚）を提供してもよい。
ここで、サーバ装置２００は、各ユーザが視線を合わせることを可能にする。より具体的には、サーバ装置２００は、ユーザＢが使用しているディスプレイにおける各ユーザＡの表示位置に基づいて、ユーザＡが使用しているディスプレイにおけるユーザＢの表示位置を調整する（例えば、ユーザＢのウィンドウディスプレイ１３３Ｂの右上に一人のユーザＡが表示されている場合、当該ユーザＡのウィンドウディスプレイ１３３Ａの右下にユーザＢが表示される）。これによって、ユーザＢが一人のユーザＡと視線を合わせた場合、当該ユーザＡもウィンドウディスプレイ１３３Ａを介してユーザＢと視線が合ったことを知覚可能である。なお、サーバ装置２００は、上記のようにユーザＡおよびユーザＢの位置合わせをするのではなく、ユーザＡまたはユーザＢの眼部（または眼部付近）の画像を加工することなどによって各ユーザが視線を合わせることを可能にしてもよい。
変形例において、サーバ装置２００は、複数人のユーザＡ（第１のユーザ）それぞれの第１の身体情報を解析することで、各ユーザＡの作業に関する評価を行ってもよい（もちろん、サーバ装置２００は、逆に、複数人のユーザＢ（第２のユーザ）それぞれの第２の身体情報を解析することで、各ユーザＢの作業に関する評価を行ってもよい）。より具体的には、サーバ装置２００は、予め登録された、作業の手本が撮像された撮像画像と各ユーザＡの作業の様子が撮像された撮像画像とを比較し類似度を算出することで各ユーザＡの作業の正確さ、またはスピードなどの要素を評価してもよい（また、サーバ装置２００は、これらの要素に基づく総合的な評価として習熟度を出力してもよい）。
そして、サーバ装置２００は、撮像画像を解析することで、特異なユーザＡ（例えば、他のユーザＡに比べて作業が特に正確であり、速いユーザＡなど）を検出した場合、ユーザＢの出力機器群１３０（例えば、テーブルディスプレイ１３１Ｂやウィンドウディスプレイ１３３Ｂなど）に対して所定の出力（例えば、ディスプレイに写る該当者をハイライト表示するなど）を行うことでユーザＢにその旨を通知してもよい。なお、ユーザＢに対する通知の内容はこれに限定されない。例えば、サーバ装置２００は、各ユーザＡの進捗状況を所定の方法（例えば、数値、プログレスバー、音声出力、またはランプ点灯など）でユーザＢに通知してもよい。
さらに、サーバ装置２００は、所定の機械学習手法やＡＩ（人工知能）を用いて各ユーザＡの作業状況を解析することで、作業の正確さや、スピードの平均値などを全ユーザＡ（例えば、クラス全体）で算出したり、属性（例えば、年齢、性別、または血液型など）による分類ごとで算出したりすることができる。これによって、ユーザＢは、全ユーザＡや、分類ごとの傾向分析をより容易に行うことができるため、指導をより適切に行うことができる。
また、サーバ装置２００は、ユーザＢ（第２のユーザ）による入力に基づいて、複数人のユーザＡ（第１のユーザ）の中の少なくとも一人を特定し、当該ユーザＡに対してのみ各種出力を行うことができる（なお、サーバ装置２００は、逆にユーザＡ（第１のユーザ）による入力に基づいて、複数人のユーザＢ（第２のユーザ）の中の少なくとも一人を特定し、当該ユーザＢに対してのみ各種出力を行ってもよい）。例えば、図２９に示すように、サーバ装置２００は、ユーザＢが撮像された撮像画像を解析することでユーザＢがあるユーザＡに対して視線を送っていることを認識した場合（図２９の例では、ユーザＢはユーザＡ－６に対して視線を送っている）について考える。この場合、図３０のＡに示すように、サーバ装置２００は、ユーザＡ－６が使用しているウィンドウディスプレイ１３３Ａをハイライトさせることで、ユーザＢがユーザＡ－６に対して視線を送っていることをユーザＡ－６に通知してもよい。このとき、図３０のＢに示すように、ユーザＢが視線を送っていないユーザＡ－１～ユーザＡ－５が使用しているウィンドウディスプレイ１３３Ａはハイライトされない。
さらに、この状態でユーザＡが何らかの発言をした場合、サーバ装置２００は、ユーザＡ－６のみに対してマイク１２５を用いて当該発言を通知してもよい（図２９および図３０の例では、ユーザＢは「いいね」と発言している）。このとき、図３０のＢに示すように、ユーザＢが視線を送っていないユーザＡ－１～ユーザＡ－５には当該発言が通知されない。
ここで、指導者が複数の生徒に対して何らかの指導を行う場合、一部の生徒に対して個別に注意やアドバイスなどを行うことが重要であると一般的に考えられている。例えば、注意やアドバイスを受ける一部の生徒は、他の生徒に聞かれていることによる羞恥心を抱くことがないため、より容易に注意やアドバイスを受け入れることができる。したがって、上記のように、サーバ装置２００は、複数人のユーザＡの中の一人に対してのみ各種出力を行うことで、より円滑な指導を実現することができる。もちろん、指導者が生徒に対してポジティブなメッセージを通知する場合などにおいては、サーバ装置２００は、全てのユーザＡに対して当該通知を行ってもよい。
また、ユーザＡ（第１のユーザ）が複数人存在する場合、ユーザＡが、ユーザＢ（第２のユーザ）と他のユーザＡとのコミュニケーションの様子を視聴することができる動作モードが新たに設けられてもよい。以降、あるユーザＡがユーザＢと他のユーザＡとのコミュニケーションの様子を視聴可能な動作モードを「覗き見モード」と呼称する。覗き見モードによっては、図３１に示すように、ユーザＡ－１は、ユーザＢとユーザＡ－２が正対した状態でコミュニケーションをとっているところを別の視点から視聴することなどができる。したがって、ユーザＡ－１は、自分とユーザＢとのコミュニケ―ションだけでなく、ユーザＡ－２とユーザＢとのコミュニケーションによってやり取りされる情報を取得することができるため、より効果的に学習などを行うことができる。
他の動作モードから覗き見モードへの切り替えに用いられるトリガは、上記の実施形態と同様に特に限定されない。より具体的には、覗き見モードへの切り替えに用いられるトリガとは、ユーザＡ（第１のユーザ）またはユーザＢ（第２のユーザ）の少なくともいずれか一方に起因するトリガであることを想定している。例えば、覗き見モードへの切り替えに用いられるトリガとは、ユーザＡまたはユーザＢによる所定の行動（例えば、仮想空間においてユーザＢとユーザＡ－２がコミュニケーションをとっている様子を視認可能な位置へユーザＡ－１が実際に移動するなど）、所定の発言（例えば、ユーザＡ－１による「そちらに行きますね。」という発言など）、または所定の操作入力など（例えば、ユーザＡ－１によるテーブルディスプレイ１３１Ａへのタッチ、またはボタンの押下など）を含む。例えば、サーバ装置２００によって生成された仮想空間がディスプレイに表示されることで、ユーザＡは、当該仮想空間上の任意の位置と方向を選択することで覗き見を行う位置と方向を選択できてもよい。なお、覗き見モードへの切り替えに用いられるトリガの内容はこれらに限定されない。
なお、本開示の変形例においてもクライアント装置１１０およびサーバ装置２００の各機能構成が有する機能の内容は特に変わらない。例えば、本開示の変形例においても、サーバ装置２００の入力情報解析部２１１が入力情報（例えば、撮像画像など）の解析を行い、表示制御部２１５、音声出力制御部２１７および触覚提示制御部２１９が各ユーザへの出力の制御を行う（例えば、表示制御部２１５が、複数人のユーザＡ（第１のユーザ）の身体情報（第１の身体情報）の一部を並べてディスプレイに表示させるなど）。
＜６．ハードウェア構成例＞
上記では、本開示の変形例について説明した。続いて、図３２を参照して、サーバ装置２００またはクライアント装置１１０のハードウェア構成例について説明する。
図３２は、サーバ装置２００またはクライアント装置１１０を具現する情報処理装置９００のハードウェア構成例を示すブロック図である。情報処理装置９００は、ＣＰＵ（Central Processing Unit）９０１と、ＲＯＭ（Read Only Memory）９０２と、ＲＡＭ（Random Access Memory）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置（ＨＤＤ）９１０と、ドライブ９１１と、通信装置９１２とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。当該ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、サーバ装置２００の制御部２１０またはクライアント装置１１０の制御部１１１の各機能が実現される。
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００を使用するユーザは、該入力装置９０８を操作することにより、各装置に対して各種のデータを入力したり処理動作を指示したりすることができる。上記ではクライアント装置１１０の外部に入力機器群１２０が設けられる場合を一例として説明したが、入力機器群１２０の一部がクライアント装置１１０に備えられる場合、当該入力装置９０８によって入力機器群１２０が具現され得る。
出力装置９０９は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置およびランプなどの表示装置を含む。また、出力装置９０９は、スピーカおよびヘッドホンなどの音声出力装置を含む。さらに、出力装置９０９は、任意のウェアラブル装置（例えば、グラス型、時計型、グローブ型、または衣服型のウェアラブル装置など）を含む。上記ではクライアント装置１１０の外部に出力機器群１３０が設けられる場合を一例として説明したが、出力機器群１３０の一部がクライアント装置１１０に備えられる場合、当該出力装置９０９によって出力機器群１３０が具現され得る。
ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Hard Disk Drive）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。当該ストレージ装置９１０によって、サーバ装置２００の記憶部２３０またはクライアント装置１１０の記憶部１１５の機能が実現される。
ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１３に情報を書き込むこともできる。
通信装置９１２は、例えば、通信網９１４に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１２によって、サーバ装置２００の通信部２２０またはクライアント装置１１０の通信部１１３の機能が実現される。
＜７．まとめ＞
以上で説明してきたように、本開示に係る情報処理装置（サーバ装置２００）は、第１の空間１００Ａに存在する第１のユーザ（例えば、指導者）の第１の身体情報、または第２の空間１００Ｂに存在する第２のユーザ（例えば、生徒）の第２の身体情報を取得し、第１の身体情報または第２の身体情報に基づいて仮想空間を生成する。より具体的には、情報処理装置は、第１のユーザまたは第２のユーザの位置関係を再現した仮想空間を生成する。なお上記のとおり、情報処理装置は、第１の空間１００Ａに存在する物体に関する第１の環境情報、または第２の空間１００Ｂに存在する物体に関する第２の環境情報も用いることで各空間に存在する物体についても仮想空間に再現してもよい。
そして、第１のユーザまたは第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、情報処理装置は動作モードを切り替え、当該動作モードの切り替えと、第１の空間１００Ａまたは第２の空間１００Ｂに備えられる少なくとも１台の機器（例えば、テーブルディスプレイ１３１、ウィンドウディスプレイ１３３、スピーカ１３５、または触覚提示機器１３７など）を連動させる。例えば、情報処理装置は、カメラ１２３によって取得された撮像画像を編集した情報または仮想空間の一部の情報を第１の空間１００Ａまたは第２の空間１００Ｂに備えられるディスプレイなどに反映させる。
これによって、情報処理装置は、互いに異なる空間に存在する第１のユーザまたは第２のユーザに対して、各ユーザがあたかも同一の空間で作業をしているかのように感じさせることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと解される。
例えば、上記（図１６および図１７）では、本開示に係る情報処理システムが手術および手工芸に関する指導に用いられる場合を一例として説明したが、本開示に係る情報処理システムの用途はこれに限定されない。
例えば、本開示に係る情報処理システムは、図３３に示すように料理に関する指導、図３４に示すように書道に関する指導、図３５に示すように楽器演奏に関する指導、または図３６に示すように資料を用いて行われる面談や会議などのように、複数のユーザによって行われる様々なコミュニケーションのために用いられ得る。複数のユーザが互いの位置関係や体勢を変化させながらコミュニケーションをとることができるという特長から、本開示に係る情報処理システムは、繊細な作業が要求される用途について特に有用であると言える。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報を取得する取得部と、
前記第１の身体情報または前記第２の身体情報に基づいて仮想空間を生成する仮想空間生成部と、
前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替える動作モード制御部と、
前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させる制御部と、を備える、
情報処理装置。
（２）
前記取得部は、前記第１の空間に存在する物体に関する情報を含む第１の環境情報、または前記第２の空間に存在する物体に関する情報を含む第２の環境情報をさらに取得し、
前記仮想空間生成部は、前記第１の環境情報または前記第２の環境情報にも基づいて前記仮想空間を生成する、
前記（１）に記載の情報処理装置。
（３）
前記動作モード制御部は、前記仮想空間における前記第１のユーザおよび前記第２のユーザの位置関係の変化に基づいて前記動作モードを切り替える、
前記（２）に記載の情報処理装置。
（４）
前記位置関係は、前記第１のユーザおよび前記第２のユーザが正対して位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で一方が他方に被さるように位置する関係のうちの少なくともいずれか１つを含む、
前記（３）に記載の情報処理装置。
（５）
前記機器は、少なくとも１台のディスプレイを含む、
前記（１）から（４）のいずれか１項に記載の情報処理装置。
（６）
前記機器は、表示面が地表面に対して略垂直に位置する第１のディスプレイ、および表示面が地表面に対して略平行に位置する第２のディスプレイを含む、
前記（５）に記載の情報処理装置。
（７）
前記第２のディスプレイは、前記第１のユーザまたは前記第２のユーザの作業台としても使用される、
前記（６）に記載の情報処理装置。
（８）
前記制御部は、前記第１の空間に存在する前記第１のディスプレイまたは前記第２のディスプレイに対して、前記第２の身体情報の少なくとも一部を表示させる、
前記（７）に記載の情報処理装置。
（９）
前記第２の身体情報の少なくとも一部、および前記第２の空間に存在する前記第２のディスプレイの表示画像が撮像された撮像画像を解析することで、前記第２の身体情報の少なくとも一部を前記撮像画像から抽出する解析部をさらに備える、
前記（８）に記載の情報処理装置。
（１０）
前記第２の空間が複数存在し、前記第２のユーザが複数人存在する場合、
前記制御部は、前記第１のディスプレイまたは前記第２のディスプレイに対して、複数人の前記第２のユーザそれぞれの前記第２の身体情報の少なくとも一部を表示させる、
前記（９）に記載の情報処理装置。
（１１）
前記解析部は、複数人の前記第２のユーザそれぞれの前記第２の身体情報を解析することで、前記第２のユーザそれぞれの作業に関する評価を行う、
前記（１０）に記載の情報処理装置。
（１２）
前記制御部は、前記第１のユーザによる入力に基づいて前記第２の空間に存在する少なくとも１台の機器を制御する、
前記（１）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記第２の空間が複数存在し、前記第２のユーザが複数人存在する場合、
前記制御部は、前記第１のユーザによる入力に基づいて複数の前記第２の空間のうちの少なくともいずれか１つを特定し、特定された前記第２の空間に存在する少なくとも１台の機器を制御する、
前記（１２）に記載の情報処理装置。
（１４）
前記機器は、スピーカまたは触覚提示機器を含む、
前記（１）から（１３）のいずれか１項に記載の情報処理装置。
（１５）
第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報を取得することと、
前記第１の身体情報または前記第２の身体情報に基づいて仮想空間を生成することと、
前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、
前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させることと、を有する、
コンピュータにより実行される情報処理方法。
（１６）
第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報を取得することと、
前記第１の身体情報または前記第２の身体情報に基づいて仮想空間を生成することと、
前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、
前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させることと、
をコンピュータに実現させるためのプログラム。
１００Ａ 第１の空間
１００Ｂ 第２の空間
１１０ クライアント装置
１１１ 制御部
１１３ 通信部
１１５ 記憶部
１２０ 入力機器群
１２１ センサ部
１２３ カメラ
１２５ マイク
１３０ 出力機器群
１３１ テーブルディスプレイ
１３３ ウィンドウディスプレイ
１３５ スピーカ
１３７ 触覚提示機器
２００ サーバ装置
２１０ 制御部
２１１ 入力情報解析部
２１３ 仮想空間生成部
２１５ 表示制御部
２１５ａ テーブルディスプレイ表示制御部
２１５ｂ ウィンドウディスプレイ表示制御部
２１７ 音声出力制御部
２１９ 触覚提示制御部
２２０ 通信部
２３０ 記憶部
３００ ネットワーク

Claims (13)

  1. 第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報と、前記第１の空間に存在する物体に関する情報を含む第１の環境情報、または前記第２の空間に存在する物体に関する情報を含む第２の環境情報と、を取得する取得部と、
    前記第１の身体情報または前記第２の身体情報と、前記第１の環境情報または前記第２の環境情報と、に基づいて仮想空間を生成する仮想空間生成部と、
    前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、前記仮想空間における前記第１のユーザおよび前記第２のユーザの位置関係の変化に基づいて動作モードを切り替える動作モード制御部と、
    前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させる制御部と、を備え、
    前記位置関係は、前記第１のユーザおよび前記第２のユーザが正対して位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で一方が背後から他方に被さるように位置する関係のうちの少なくともいずれか１つを含む、
    情報処理装置。
  2. 前記機器は、少なくとも１台のディスプレイを含む、
    請求項１に記載の情報処理装置。
  3. 前記機器は、表示面が地表面に対して略垂直に位置する第１のディスプレイ、および表示面が地表面に対して略平行に位置する第２のディスプレイを含む、
    請求項２に記載の情報処理装置。
  4. 前記第２のディスプレイは、前記第１のユーザまたは前記第２のユーザの作業台としても使用される、
    請求項３に記載の情報処理装置。
  5. 前記制御部は、前記第１の空間に存在する前記第１のディスプレイまたは前記第２のディスプレイに対して、前記第２の身体情報の少なくとも一部を表示させる、
    請求項４に記載の情報処理装置。
  6. 前記第２の身体情報の少なくとも一部、および前記第２の空間に存在する前記第２のディスプレイの表示画像が撮像された撮像画像を解析することで、前記第２の身体情報の少なくとも一部を前記撮像画像から抽出する解析部をさらに備える、
    請求項５に記載の情報処理装置。
  7. 前記第２の空間が複数存在し、前記第２のユーザが複数人存在する場合、
    前記制御部は、前記第１のディスプレイまたは前記第２のディスプレイに対して、複数人の前記第２のユーザそれぞれの前記第２の身体情報の少なくとも一部を表示させる、
    請求項６に記載の情報処理装置。
  8. 前記解析部は、複数人の前記第２のユーザそれぞれの前記第２の身体情報を解析することで、前記第２のユーザそれぞれの作業に関する評価を行う、
    請求項７に記載の情報処理装置。
  9. 前記制御部は、前記第１のユーザによる入力に基づいて前記第２の空間に存在する少なくとも１台の機器を制御する、
    請求項１に記載の情報処理装置。
  10. 前記第２の空間が複数存在し、前記第２のユーザが複数人存在する場合、
    前記制御部は、前記第１のユーザによる入力に基づいて複数の前記第２の空間のうちの少なくともいずれか１つを特定し、特定された前記第２の空間に存在する少なくとも１台の機器を制御する、
    請求項９に記載の情報処理装置。
  11. 前記機器は、スピーカまたは触覚提示機器を含む、
    請求項１に記載の情報処理装置。
  12. 第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報と、前記第１の空間に存在する物体に関する情報を含む第１の環境情報、または前記第２の空間に存在する物体に関する情報を含む第２の環境情報と、を取得することと、
    前記第１の身体情報または前記第２の身体情報と、前記第１の環境情報または前記第２の環境情報と、に基づいて仮想空間を生成することと、
    前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、前記仮想空間における前記第１のユーザおよび前記第２のユーザの位置関係の変化に基づいて動作モードを切り替えることと、
    前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させることと、を有し、
    前記位置関係は、前記第１のユーザおよび前記第２のユーザが正対して位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で一方が背後から他方に被さるように位置する関係のうちの少なくともいずれか１つを含む、
    コンピュータにより実行される情報処理方法。
  13. 第１の空間に存在する第１のユーザの第１の身体情報、および第２の空間に存在する第２のユーザの第２の身体情報と、前記第１の空間に存在する物体に関する情報を含む第１の環境情報、または前記第２の空間に存在する物体に関する情報を含む第２の環境情報と、を取得することと、
    前記第１の身体情報または前記第２の身体情報と、前記第１の環境情報または前記第２の環境情報と、に基づいて仮想空間を生成することと、
    前記第１のユーザまたは前記第２のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、前記仮想空間における前記第１のユーザおよび前記第２のユーザの位置関係の変化に基づいて動作モードを切り替えることと、
    前記動作モードの切り替えと、前記第１の空間に存在する少なくとも１台の機器、または前記第２の空間に存在する少なくとも１台の機器を連動させることと、
    をコンピュータに実現させ、
    前記位置関係は、前記第１のユーザおよび前記第２のユーザが正対して位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第１のユーザおよび前記第２のユーザが略同一の方向を向いた状態で一方が背後から他方に被さるように位置する関係のうちの少なくともいずれか１つを含む、
    ためのプログラム。
JP2020522571A 2018-06-01 2019-05-29 情報処理装置、情報処理方法、およびプログラム Active JP7276334B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018105824 2018-06-01
JP2018105824 2018-06-01
PCT/JP2019/021432 WO2019230852A1 (ja) 2018-06-01 2019-05-29 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019230852A1 JPWO2019230852A1 (ja) 2021-07-08
JP7276334B2 true JP7276334B2 (ja) 2023-05-18

Family

ID=68698274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020522571A Active JP7276334B2 (ja) 2018-06-01 2019-05-29 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11366631B2 (ja)
JP (1) JP7276334B2 (ja)
CN (1) CN112166602B (ja)
DE (1) DE112019002798T5 (ja)
WO (1) WO2019230852A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021220494A1 (ja) * 2020-04-30 2021-11-04 塁 佐藤 通信端末装置、通信方法、およびソフトウェアプログラム
WO2022097271A1 (ja) * 2020-11-06 2022-05-12 株式会社Abal 仮想空間体感システム
JP2023066988A (ja) * 2021-10-29 2023-05-16 学校法人同志社 映像シェアシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145883A (ja) 2007-11-20 2009-07-02 Rissho Univ 学習システム、記憶媒体及び学習方法
WO2017030193A1 (ja) 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018073093A (ja) 2016-10-28 2018-05-10 キヤノン株式会社 表示制御システム、画像処理装置、表示制御方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5845211B2 (ja) * 2013-06-24 2016-01-20 キヤノン株式会社 画像処理装置、画像処理方法
US10019059B2 (en) * 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
JP6541497B2 (ja) * 2015-07-31 2019-07-10 キヤノン株式会社 コミュニケーションシステム、その制御方法及びプログラム
JP2018019338A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 遠隔コミュニケーションシステム、その制御方法、及びプログラム
JP2018092313A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20190212901A1 (en) * 2018-01-08 2019-07-11 Cisco Technology, Inc. Manipulation of content on display surfaces via augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145883A (ja) 2007-11-20 2009-07-02 Rissho Univ 学習システム、記憶媒体及び学習方法
WO2017030193A1 (ja) 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018073093A (ja) 2016-10-28 2018-05-10 キヤノン株式会社 表示制御システム、画像処理装置、表示制御方法、及びプログラム

Also Published As

Publication number Publication date
US11366631B2 (en) 2022-06-21
US20210157541A1 (en) 2021-05-27
CN112166602B (zh) 2023-12-05
CN112166602A (zh) 2021-01-01
WO2019230852A1 (ja) 2019-12-05
JPWO2019230852A1 (ja) 2021-07-08
DE112019002798T5 (de) 2021-04-22

Similar Documents

Publication Publication Date Title
LaViola Jr et al. 3D user interfaces: theory and practice
Cao et al. An exploratory study of augmented reality presence for tutoring machine tasks
Sallnäs et al. Supporting presence in collaborative environments by haptic force feedback
US11734906B2 (en) Automatic transparency of VR avatars
JP7276334B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101563312B1 (ko) 시선 기반 교육 콘텐츠 실행 시스템
Köpsel et al. Effects of auditory, haptic and visual feedback on performing gestures by gaze or by hand
US11442685B2 (en) Remote interaction via bi-directional mixed-reality telepresence
US20230152961A1 (en) Method and System for Gesture and Displaying Sideline Operation
Camporesi et al. The effects of avatars, stereo vision and display size on reaching and motion reproduction
Pusch et al. Augmented reality for operator training on industrial workplaces–Comparing the Microsoft hololens vs. small and big screen tactile devices
Tran et al. Wearable Augmented Reality: Research Trends and Future Directions from Three Major Venues
Semwal et al. Virtual environments for visually impaired
Pedro et al. Towards higher sense of presence: a 3D virtual environment adaptable to confusion and engagement
Takacs How and Why Affordable Virtual Reality Shapes the Future of Education.
Chapoulie et al. Evaluation of direct manipulation using finger tracking for complex tasks in an immersive cube
Scavarelli et al. Exploring Selection and Search Usability Across Desktop, Tablet, and Head-Mounted Display WebXR Platforms
Vaidyanathan et al. “Will Use It, Because I Want to Look Cool” A Comparative Study of Simple Computer Interactions Using Touchscreen and In-Air Hand Gestures
He Enhancing Collaboration and Productivity for Virtual and Augmented Reality
US11983837B2 (en) Cheating deterrence in VR education environments
Gerhard et al. Virtual Reality Usability Design
Tesfazgi Survey on behavioral observation methods in virtual environments
Neale et al. RelicPad: A hands-on, mobile approach to collaborative exploration of virtual museum artifacts
ALEZ Authoring Tools for Augmented Reality Scenario Based Training Experiences
Nishio et al. Body Ownership Transfer by Social Interaction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151