WO2018225149A1

WO2018225149A1 - 複合現実表示システム及び複合現実表示端末

Info

Publication number: WO2018225149A1
Application number: PCT/JP2017/020951
Authority: WO
Inventors: 直之神田
Original assignee: マクセル株式会社
Priority date: 2017-06-06
Filing date: 2017-06-06
Publication date: 2018-12-13
Also published as: CN110520820A; US10775897B2; EP3650984A1; US20210311558A1; US11068072B2; JP7384971B2; EP4137918A1; CN116841395A; JP2021101345A; JP7116206B2; JP2024010215A; JP6845322B2; EP3650984A4; CN110520820B; JPWO2018225149A1; EP3650984B1; JP2022153551A; US20200371602A1; US20200241647A1

Abstract

複合現実表示システム１０は、サーバ１と複数の複合現実表示端末（以下、端末）３ａ，３ｂとがネットワーク２を介して接続され、現実空間に仮想物体を複合させて表示する。仮想物体には、複数の端末に対し操作権限が与えられた共有仮想物体と、特定の端末のみに対し操作権限が与えられた個人仮想物体とがある。サーバは、各端末に対し仮想物体を表示させるための仮想物体属性情報２３９を有し、各端末には、共有仮想物体と個人仮想物体とを切り替えるためのユーザの動作を検知する動作検知部を備える。サーバは、端末から動作検知部による検知結果を受けると、仮想物体が共有仮想物体か個人仮想物体かによって仮想物体属性情報を更新し、更新後の仮想物体のデータを各端末に送信する。

Description

複合現実表示システム及び複合現実表示端末

　本発明は、仮想的に生成された映像・音声等と現実世界の映像・音声等を組み合わせた複合現実空間を生成、表示し、当該複合現実空間の中でユーザが仮想的に生成された物体を操作することが可能な複合現実表示システム及び複合現実表示端末に関する。

　本技術分野の背景技術として、特許文献１には、複合現実環境において共有仮想オブジェクトおよびプライベート仮想オブジェクトを表示するシステムが開示されている。共有仮想オブジェクトは複数の使用者が共に協力してインタラクトすることができ、プライベート仮想オブジェクトは単一の使用者に対し可視とするものである。そして、プライベート仮想オブジェクトを設けることで、複数人での共有仮想オブジェクトに対する協力的なインタラクションを容易にすることができると記載されている。

特表２０１６－５２５７４１号公報

　共有仮想オブジェクト（以下、共有仮想物体と呼ぶ）とプライベート仮想オブジェクト（以下、個人仮想物体と呼ぶ）の具体的な使用法として次のような例がある。

　第１の例は、試作製品の模型等を複合現実空間に共有仮想物体として表示し、その模型のデザインについての検討を行うような場合である。仮想物体を複数のデザイナーで共有することで、複数のデザイナーによる議論を円滑に行うことができる。一方で、共有仮想物体に対しては、そのデザインを変更する権限が全てのデザイナーに与えられるため、個々のデザイナーが個別に修正を検討したいような場合には不向きである。そのような場合には、特定のデザイナーに修正の権限が与えられる個人仮想物体への切り替えができると便利である。これを円滑に行うためには、表示されている共有仮想物体を、特定のユーザにとっての個人仮想物体としてコピーする操作と、逆に特定のユーザにとっての個人仮想物体を、共有仮想物体とマージするような操作が可能であることが望まれる。

　第２の例は、仮想のチラシ置き場のように、広告物を共有仮想物体として表示する場合である。この場合、複合現実空間内の複数のユーザに対し、同一の場所に広告物が表示されているような体験を提供する。その際、現実のチラシ置き場でのユーザ動作から類推されるように、あるユーザは広告物を個人のものとしてコピーしたいという要求が発生する。このような場合にも、共有仮想物体を、そのユーザにとっての個人仮想物体に切り替える操作が可能であることが望まれる。すなわち、共有仮想物体と個人仮想物体との切り替え操作（ここでは、コピーする操作やマージする操作を意味する）が必要になる。

　しかしながら、特許文献１に記載の発明では、上述のようにある仮想物体について共有の状態（共有仮想物体）と個人の状態（個人仮想物体）を交互に切り替えることは考慮されていない。また、共有仮想物体と個人仮想物体の切り替えを行うにしても、これを円滑に行うためには次のような課題がある。

　（１）各ユーザは、当該仮想物体が共有仮想物体であるか個人仮想物体であるかを記憶して使い分ける必要があり、それらを記憶していないユーザは混乱してしまう。
  （２）個人仮想物体がある特定のユーザＡにだけ表示されて、他のユーザＢからは見えない場合には（例えば特許文献１の場合）、その見えない個人仮想物体に対する操作は他のユーザＢからは認知されないため、ユーザＢはユーザＡがどのような操作を行っているか分からず混乱してしまう。
  （３）ユーザが共有仮想物体と個人仮想物体の切り替え（コピー操作やマージ操作）を容易に行うための、簡便な手段が必要になる。
  （４）ユーザＡが個人仮想物体を用いて共有仮想物体を操作している場合に、その操作内容がユーザＡの手に隠れて他のユーザＢからは見えないことがある。

　本発明の目的は、複合現実空間において、共有仮想物体と個人仮想物体との切り替えを、ユーザが混乱することなく円滑に行うことができる複合現実表示システム及び複合現実表示端末を提供することにある。

　本発明は、サーバと、複数のユーザがそれぞれ使用する複数の複合現実表示端末とがネットワークを介して接続され、現実空間に仮想物体を複合させて表示する複合現実表示システムであって、前記仮想物体には、複数の複合現実表示端末に対し操作権限が与えられた共有仮想物体と、特定の複合現実表示端末のみに対し操作権限が与えられた個人仮想物体とがある。前記サーバは、前記複数の複合現実表示端末に対し前記仮想物体を表示させるための仮想物体属性情報を有し、前記複数の複合現実表示端末には、それぞれ、前記共有仮想物体と前記個人仮想物体とを切り替えるためのそれぞれのユーザの動作を検知する動作検知部を備える。前記サーバは、前記複合現実表示端末から前記動作検知部による検知結果を受けると、前記仮想物体が前記共有仮想物体か前記個人仮想物体かによって前記仮想物体属性情報を更新し、更新後の前記仮想物体のデータを前記複数の複合現実表示端末に送信する構成とする。

　本発明によれば、複合現実空間において、共有仮想物体と個人仮想物体との切り替えを、ユーザが混乱することなく円滑に行うことができる。

実施例１に係る複合現実表示システムの全体構成を示すブロック図。共有仮想物体と個人仮想物体が混在した複合現実空間の一例を示す図。複合現実表示端末３ａ，３ｂのハードウェア構成を示す図。複合現実表示端末３ａ，３ｂのソフトウェア構成を示す図。サーバ１のハードウェア構成を示す図。サーバ１のソフトウェア構成を示す図。仮想物体属性情報２３９の例を示すデータテーブル。ユーザ認証情報２４０の例を示すデータテーブル。機器管理情報２４１の例を示すデータテーブル。実施例１における動作シーケンスを示す図。仮想物体の個人化動作を示す図（操作中のユーザから見た図）。仮想物体の個人化動作を示す図（他のユーザから見た図）。個人化動作における仮想物体の表示状態を示す図（操作中のユーザから見た図、表示パターンＰ１）。個人化動作における仮想物体の表示状態を示す図（操作中のユーザから見た図、表示パターンＰ２）。個人化動作における仮想物体の表示状態を示す図（他のユーザから見た図、表示パターンＰ３）。個人化動作における仮想物体の表示状態を示す図（他のユーザから見た図、表示パターンＰ４）。個人仮想物体の表示位置の違いを説明する図（表示パターンＰ３、Ｐ４）。仮想物体の共有化動作を示す図（操作中のユーザから見た図）。仮想物体の共有化動作を示す図（他のユーザから見た図）。共有化動作における仮想物体の表示状態を示す図（操作中のユーザから見た図、表示パターンＰ１）。共有化動作における仮想物体の表示状態を示す図（他のユーザから見た図、表示パターンＰ３）。共有化動作における仮想物体の表示状態を示す図（他のユーザから見た図、表示パターンＰ４）。共有化動作における仮想物体の形状決定を説明する図。実施例２に係る複合現実表示システムの全体構成を示すブロック図。複合現実表示端末（サーバ機能内蔵）３ｃのハードウェア構成を示す図。複合現実表示端末（サーバ機能内蔵）３ｃのソフトウェア構成を示す図。実施例２における動作シーケンスを示す図。

　以下、本発明の実施形態について、図面を参照しながら説明する。

　図１Ａは、実施例１に係る複合現実表示システムの全体構成を示すブロック図である。本実施例の複合現実表示システム１０は、サーバ１とユーザ用の複数の複合現実表示端末３ａ、３ｂがネットワーク２に接続されて構成される。ここでは、複合現実表示端末は２台としたが、もちろん２台以上の複数で構成しても良い。複合現実表示端末としては、例えばユーザの頭部に装着して使用するヘッドマウントディスプレイ（ＨＭＤ）がある。以下、複合現実表示端末を単に「端末」と呼ぶことにする。

　サーバ１は仮想物体の属性情報を保持する機能と、機器認証を行う機能と、ユーザ認証を行う機能を備えている。また通信Ｉ／Ｆを備えており、ネットワーク２を通して、複合現実表示端末（端末）３ａ、３ｂと通信を行う機能を有する。サーバ１は映像・音声出力機能を備えており、サーバの保持する仮想物体の属性情報を端末３ａ、３ｂに出力するとともに、入力機能を備え、サーバ内部のプログラムや機能などを修正することができる。

　一方複合現実表示端末（端末）３ａ、３ｂは、通信Ｉ／Ｆを備えており、ネットワーク２を通してサーバ１からのユーザ認証を受け、さらに、サーバ１に保持された仮想物体のデータおよびユーザ認証情報を受信する。端末３ａ、３ｂは、映像出力部と音声出力部を備え、サーバ１から受信した仮想物体のデータに基づき、仮想物体の映像および音声を出力表示し、さらに修正する機能を有している。

　その際、出力する映像および音声をユーザが知覚した場合に、あたかも現実空間の特定の位置に、仮想物体や仮想音声が存在するかのような知覚を得ることができるように、映像および音声を適切に調整して出力する機能を有する。このために、端末３ａ、３ｂは、その位置や加速度情報を検知する手段を有しており、当該位置・加速度情報を用いて映像および音声を動的に生成する機能を有している。

　図１Ｂは、図１の複合現実表示システム１０が提供する共有仮想物体と個人仮想物体が混在した複合現実空間の一例を示す図である。ここでは、２人のユーザ４ａ、４ｂがそれぞれ端末（ＨＭＤ）３ａ，３ｂを頭部に装着し、複合現実空間において仮想物体を操作している状況を表している。ユーザ４ａの視野５ａには端末３ａを通して共有仮想物体７や個人仮想物体８が映し出されている。またユーザ４ｂの視野５ｂには端末３ｂを通して、やはり共有仮想物体７や個人仮想物体８が映し出されている。そしてユーザ４ａは、個人仮想物体８に対して何らかの操作を行っている状態である。

　次に、複合現実表示端末３ａ，３ｂとサーバ１の内部構成について説明する。
［複合現実表示端末の内部構成］
図２Ａは、複合現実表示端末３ａ，３ｂのハードウェア構成を示す図である。ここでは、端末３ａと端末３ｂは同一構成として説明するが、必ずしも同一の構成である必要はない。

　距離センサ２００は、ユーザの手の動作や、現実空間上の物体との距離を検知する。ジャイロセンサ２０１や加速度センサ２０２は、端末の位置や加速度を正確に計測する。通信Ｉ／Ｆ２０３は、ネットワーク２を通してサーバ１と通信する。さらに、インカメラ２０４はユーザの視線方向を検知し、アウトカメラ２０５は現実空間を撮影する。

　制御部２０９は、ストレージ２１１に保持された各種データ２１２やプログラム２１３を、メモリ２１０に備えた各種プログラム機能部２１４を通して読み出すことにより、前述の各種センサやカメラ映像を統合し、仮想的な物体の映像および音声を生成する。そして、当該仮想物体の映像および音声を現実空間の特定の位置、方向に存在するように調整する。

　生成された仮想物体の映像および音声は、映像出力部２０６及び音声出力部２０７から出力表示される。入力手段２０８は、ユーザからの触覚あるいは音声による操作入力を受け付ける。上記の各ブロックは、バス２１５によって接続されている。

　これにより、端末３ａ，３ｂの映像を見た、もしくは音声を聞いたユーザは、あたかも現実空間上の特定の位置に仮想物体や仮想音声が存在しているかのような知覚を得ることができる。なお、仮想物体の映像および音声を、現実空間の特定の位置、方向に存在するように生成する技術（複合現実、ＭＲ＝Mixed Reality）については、従来より多くの技術が発表されており、一例として特許文献１にも開示されている。

　図２Ｂは、複合現実表示端末３ａ，３ｂのソフトウェア構成を示す図である。ここには、図２Ａにおけるメモリ２１０とストレージ２１１の構成を示している。

　ストレージ２１１は、各種データ３０２、視線方向検知プログラム３０３、顔位置・方向検知プログラム３０４、映像生成プログラム３０５、音声生成プログラム３０６、通信制御プログラム３０７を格納している。これらのデータおよびプログラムは、メモリ２１０に備えられた機器制御部３０１によってそれぞれメモリに呼び出され、各種の機能が実現される。なお、これらのデータおよびプログラムは予めメモリ２１０に格納されていてもよい。

　以下の説明では、簡単のために、機器制御部３０１が各プログラムを実行して実現する各種機能を、各種プログラム機能部が主体となって実現するものとして説明する。

　視線方向検知プログラム３０３は、インカメラ２０４から得られた画像情報に基づき、ユーザの視線方向を検出する。以下、視線方向検知プログラム３０３とインカメラ２０４とを「視線検知部」とも呼ぶ。

　動作検知プログラム３０８は、距離センサ２００やアウトカメラ２０５などから得られた情報に基づき、ユーザが現実空間で行っている動作を検知する。ここでの動作とは、例えば、特定の位置から特定の位置に手を移動する、手を閉じる、手を開くなどの動作である。距離センサ情報やカメラ情報からユーザの動作を検知する方法は、従来から多数の方法が知られており、一例として参考文献１に開示される。

　［参考文献１］
Zhou Ren, et al. “Robust hand gesture recognition with kinect sensor.” Proceedings of the 19th ACM international conference on Multimedia. ACM, 2011.
　動作検知プログラム３０８は、さらに、入力手段２０８に入力された音声の音量や発話内容などから「音声動作」として検知する機能を備えていても良い。なお音声から発話内容を検知する方法としては、音声認識技術を利用できる。音声認識技術は従来から多数の方法が知られており、一例として参考文献２に開示される。

　［参考文献２］
Lawrence R. Rabiner and Biing-Hwang Juang. “Fundamentals of speech recognition.”(1993).
以下、距離センサ２００、アウトカメラ２０５、入力手段２０８、及び動作検知プログラム３０８を「動作検知部」とも呼ぶ。

　顔位置・方向検知プログラム３０４は、ジャイロセンサ２０１や加速度センサ２０２の信号に基づき、当該空間内でのユーザの顔の位置や方向を検出する。これらの情報は、映像生成プログラム３０５や音声生成プログラム３０６において、仮想物体や仮想音声を生成する際に利用される。

　映像生成プログラム３０５は、顔位置・方向検知プログラム３０４により得られた顔の位置や方向の情報、インカメラ２０５から得られた画像に応じて、映像出力部２０６から出力するための映像を生成する。この映像は、それを知覚したユーザがあたかも現実空間の特定の位置に仮想物体が存在するかのように知覚されるよう調整される。

　音声生成プログラム３０６は、顔位置・方向検知プログラム３０４により得られた顔の位置や方向の情報、インカメラ２０５から得られた画像に応じて、音声出力部２０７から出力するための音声を生成する。この音声は、それを知覚したユーザがあたかも現実空間の特定の位置に仮想物体が存在するかのように知覚されるよう調整される。

　通信制御プログラム３０７は、通信Ｉ／Ｆ２０３を通じてサーバ１と通信を行う。ここで通信される内容は仮想物体の属性情報（データ）およびユーザ認証情報などであるが、これ以外の情報が含まれていてもよい。

　［サーバの内部構成］
図３Ａは、サーバ１のハードウェア構成を示す図である。
ストレージ２３５は、当該サーバを動作させるための各種データ２３７、プログラム２３８、および端末３ａ，３ｂを制御するための仮想物体属性情報２３９、ユーザ認証情報２４０および機器管理情報２４１を格納する。当該データ及びプログラム群は、制御部２３３により、メモリ２３４に備えた各種プログラム機能部２３６を通してメモリに読み出され、実行される。

　通信Ｉ／Ｆ２３１は、ネットワーク２を通して端末３ａ，３ｂと通信を行う。ここで通信される内容は、仮想物体属性情報２３９のデータやユーザ認証情報２４０であるが、これ以外のデータが含まれていてもよい。

　入力手段２３２は、ユーザの操作入力を受け付けるとともに、ユーザ入力によって、サーバ１の内部データを修正することもできる。映像出力部２４２と音声出力部２４３は、サーバ１の内部データ（仮想物体属性情報２３９等）をユーザに表示するものである。上記の各ブロックはバス２４４によって接続されている。

　［サーバのソフトウェア構成］
図３Ｂは、サーバ１のソフトウェア構成を示す図である。ここには、図３Ａにおけるメモリ２３４とストレージ２３５の構成を示している。
ストレージ２３５は、各種データ３３５、ユーザ位置・方向検知プログラム３３６、通信制御プログラム３３７、仮想物体属性情報２３９、ユーザ認証情報２４０、機器管理情報２４１を格納している。またメモリ２３４には、機器制御部３３１、仮想物体管理部３３２、ユーザ管理部３３３、機器管理部３３４を格納する。

　仮想物体管理部３３２は、ストレージ２３５に格納された仮想物体属性情報２３９に基づき、複合現実空間における仮想物体の位置、方向、形、ユーザの操作権限などの管理を行う。そして、通信Ｉ／Ｆ２３１にて得られた各端末３ａ，３ｂからの情報に基づき、仮想物体属性情報２３９を修正する。また、入力手段２３２からのユーザの操作に基づき、仮想物体属性情報２３９を修正することも可能である。さらに仮想物体属性情報２３９に記述された情報を、映像出力部２４２や音声出力部２４３からユーザに表示することもできる。

　ユーザ管理部３３３は、ユーザ毎に認証を行うためのユーザ認証情報２４０と、ユーザが所有する端末を認証するための機器認証情報２４１を管理する。これらの情報２４０，２４１は、ストレージ２３５に格納されている。ユーザ管理部３３３は、通信Ｉ／Ｆ２３１を通して各端末３ａ，３ｂ（入力手段２０８）におけるユーザ入力からユーザ名およびパスワードなどのユーザ認証情報を取得し、正規の登録ユーザであるかどうかを確認する。もし、ユーザ認証情報が正しくなかった場合は、エラー情報を返信する。なお、ユーザ名やパスワードは予め各端末３ａ，３ｂのストレージ２１１に格納され、ユーザが毎回入力を行うことなく認証を行うことも可能である。

　機器管理部３３４は、ストレージ２３５に格納された機器管理情報２４１に応じて、端末３ａ，３ｂとの通信に必要な情報を、通信制御プログラム３３７に送る。

　ストレージ２３５に格納された各データやプログラムは、メモリ２３４に格納された機器制御部３３１の制御によって、メモリ２３４に読み出されて実行される。なお、ストレージ２３５に格納された各データやプログラムは、予めメモリ２３４に格納されていてもよい。

　以後の説明では、簡単のために、機器制御部３３１が各プログラムを実行して実現する各種機能を、各種プログラム機能部が主体となって実現するものとして説明する。

　ユーザ位置・方向検知プログラム３３６は、通信Ｉ／Ｆ２３１を通して各端末３ａ、３ｂから得られた情報に基づき、各端末３ａ、３ｂの位置および方向を検知する。これらの情報は各端末３ａ、３ｂに伝達してもよい。

　通信制御プログラム３３７は、端末３ａ、３ｂとの通信を制御する。ここで通信される内容は、仮想物体属性情報２３９およびユーザ認証情報２４０であるが、それ以外の情報が含まれていてもよい。

　［データ形式］
以下、サーバ１にて格納する各種情報のデータ形式について説明する。
図４Ａは、サーバ１の仮想物体管理部３３２が管理する仮想物体属性情報２３９の例を示すデータテーブルである。仮想物体属性情報２３９には、仮想物体ＩＤ４０１、仮想物体名４０２、仮想物体の方向４０３、仮想物体の位置４０４、仮想物体の色・形状４０５、仮想物体間のコピー関係を表すコピー元４０６およびコピー先４０７、ユーザの操作権限４０８などの情報が記述されている。なお、共有／個人の項目４０９は説明用のものである。

　仮想物体名４０２、仮想物体の方向４０３、仮想物体の位置４０４、仮想物体の色・形状４０５は、端末３ａ，３ｂにて仮想物体を表示させるためのデータである。またこの例では、仮想物体ＩＤ＝２，３は操作権限４０８がユーザ全員または特定のグループに与えられる「共有」仮想物体である。仮想物体ＩＤ＝１，４は操作権限４０８が特定のユーザ１に与えられる「個人」仮想物体である。また、個人仮想物体ＩＤ＝４は、共有仮想物体ＩＤ＝３からコピーしたものであることを示す。

　図４Ｂは、サーバ１のユーザ管理部３３３が管理するユーザ認証情報２４０の例を示すデータテーブルである。ユーザ認証情報２４０には、ユーザＩＤ（管理番号）４１１、パスワード４１２などが記述されている。なおこの他に、ユーザ名、氏名、住所および連絡先などを記述してもよい。また、パスワード４１２によるユーザ認証の他に、指静脈や指紋、音声、顔画像、虹彩等の一般的生体認証などであってもよく、その場合には適宜ユーザ認証情報２４０の項目を変更する。

　図４Ｃは、サーバ１の機器管理部３３４が管理する機器管理情報２４１の例を示すデータテーブルである。機器管理情報２４１には、各端末の機器ＩＤ（管理番号）４２１、機器名４２２、機器パスワード４２３、機器ＩＰアドレス４２４などが記述されている。

　［動作シーケンス］
図５は、実施例１における動作シーケンスを示す図である。ここでは仮想物体の「個人化動作」と「共有化動作」を行う際の、サーバ１と端末３ａ（ユーザ４ａ）、端末３ｂ（ユーザ４ｂ）の間の通信を説明する。ここに個人化動作とは、共有仮想物体をコピーして個人仮想物体を生成することで、特定のユーザのみが操作権限を有する仮想物体に切り替えることである。一方「共有化動作」とは、個人仮想物体を共有仮想物体にマージして、各ユーザが操作権限を有する新たな共有仮想物体に切り替えることである。

　サーバ１、複合現実表示端末３ａ、複合現実表示端末３ｂが起動すると、サーバ１内では、仮想物体属性情報２３９に従った仮想物体データが生成される（シーケンスＳ１０１）。端末３ａ（ユーザ４ａ）からユーザ認証情報（または機器管理情報）がサーバ１へ送られると、サーバ１内のユーザ認証情報２４０（または機器管理情報２４１）と照合が行われる。認証が成功すると、仮想物体データが端末３ａに送信される。端末３ａでは、受信した仮想物体データに基づき、映像生成プログラム３０５および音声生成プログラム３０６により仮想物体の映像および音声を生成し、映像出力部２０６および音声出力部２０７から出力表示する（シーケンスＳ１０２）。

　一方、端末３ｂ（ユーザ４ｂ）に関しても同様にユーザ認証を行い、認証が成功すると、端末３ｂにおいても仮想物体の映像および音声が出力表示される（シーケンスＳ１０３）。ここで表示される仮想物体は、ユーザ４ａとユーザ４ｂがともに操作権限のある共有仮想物体である。

　次に、仮想物体が表示された状態で、ユーザ４ａが、仮想物体に対し例えば手元に引き寄せるアクションを行うと、端末３ａの動作検知部（アウトカメラ２０５などのセンサと動作検知プログラム３０８）は当該動作を個人化動作として検知する（シーケンスＳ１０４）。そして端末３ａは、個人化動作を検知したことをサーバ１に伝達する。サーバ１では、個人化動作に従い仮想物体属性情報２３９を更新し、共有仮想物体をコピーして新たな個人仮想物体のデータを生成する（シーケンスＳ１０５）。ここで生成する個人仮想物体は、ユーザ４ａ（端末３ａ）のみが操作権限を有するものである。

　新たな個人仮想物体のデータは端末３ａと端末３ｂに送信され、それぞれの端末３ａ，３ｂでは、受信した仮想物体データに基づき、現在表示中の仮想物体の表示状態を修正する（シーケンスＳ１０６、Ｓ１０７）。後述するように、端末３ａと端末３ｂでは仮想物体に対する表示状態が異なり、それらはサーバ１の仮想物体属性情報２３９にて管理されている。

　さらに、仮想物体が表示された状態で、ユーザ４ａが、個人仮想物体を共有仮想物体に近付けるようなアクションを行うと、端末３ａの動作検知部が当該動作を共有化動作として検知する（シーケンスＳ１０８）。そして端末３ａは、共有化動作を検知したことをサーバ１に伝達する。サーバ１では、共有化動作に従い仮想物体属性情報２３９を更新し、個人仮想物体と共有仮想物体をマージして新たな共有仮想物体のデータを生成する（シーケンスＳ１０９）。ここで生成する共有仮想物体は、ユーザ４ａとユーザ４ｂの両方が操作権限を有するものである。

　新たな共有仮想物体のデータは端末３ａと端末３ｂに送信され、それぞれの端末３ａ，３ｂでは、受信した仮想物体データに基づき、現在表示中の仮想物体の表示状態を修正する（シーケンスＳ１１０、Ｓ１１１）。

　［共有仮想物体の個人化］
以下では、個人化動作（図５、Ｓ１０４）がなされた場合の挙動について図６、７、８を用いて説明する。

　図６Ａおよび図６Ｂは、複合現実空間において、共有仮想物体５０１を個人仮想物体５０２に切り替える個人化動作を示す図である。ここでは、ユーザ４ａが共有仮想物体５０１に対して個人化動作を行うことにより、共有仮想物体５０１から個人仮想物体５０２をコピーする例を示す。本実施例でいう個人化動作とは、共有仮想物体５０１はそのまま残しつつ、ユーザ４ａのみに操作権限のある個人仮想物体５０２を生成することである。

　複合現実表示端末３ａ，３ｂの動作検知部（距離センサ２００、アウトカメラ２０５、入力手段２０８）は、ユーザが例えば次のような特定の動作を行ったとき個人化動作と判定する。
・指で特定の形を作りながら共有仮想物体を引き寄せる動作をする。一例として、人差し指と親指をつけた状態で共有仮想物体を引き寄せる。
・特定のハンドジェスチャをしてから、共有仮想物体を引き寄せる動作をする。一例として、共有仮想物体の外周を１周回るように手を動かしてから引き寄せる。
・「コピー」と発声してから、共有仮想物体を引き寄せる動作をする。
・共有仮想物体を引き寄せてから、「コピー」と発声する。
・共有仮想物体を引き寄せている動作の最中に、「コピー」と発声する。

　個人化動作を行う際の、特定の動作をユーザが登録できる仕組みを用意してもよい。なお、共有仮想物体５０１が、上記動作によって個人仮想物体５０２にコピーされるかどうか（コピーを許可するかどうか）を仮想物体属性情報２３９に記述しておいても良い。そして、当該コピー許可情報に従って、仮想物体を個人化するかどうかを制御しても良い。

　図６Ａは、個人化操作中のユーザ４ａが端末３ａを通して見える複合現実空間５ａを示す。一方図６Ｂは、他のユーザ４ｂが端末３ｂを通して見える複合現実空間５ｂを示す。図６Ａと図６Ｂで示されるように、共有仮想物体５０１とこれからコピーされた個人仮想物体５０２は、いずれのユーザ４ａ，４ｂでも見ることができるが、ユーザ４ａとユーザ４ｂに対して異なる見え方（例えば色、形状、距離、音声など）で表示する。これにより、ユーザ４ａ，４ｂは共有仮想物体５０１と個人仮想物体５０２とを容易に識別することができる。以下、共有仮想物体５０１から個人仮想物体５０２へ移行する際の具体的な表示状態を図７Ａ～図７Ｄで説明する。

　図７Ａと図７Ｂは、共有仮想物体５０１から個人仮想物体５０２へ移行する際の、操作中のユーザ４ａから見た仮想物体の表示状態を示す。ここでは共有仮想物体５０１から仮想音声５０３が出力されているものとする。また、図においてタイミング（１）、（２）、（３）の順に表示状態が移行するものとする。図中の矢印は、ユーザの手の動き（白色矢印）と、仮想物体の表示位置の移動（灰色矢印）を示している。

　図７Ａは＜表示パターンＰ１＞に従う場合である。この場合は、個人化移行中、共有仮想物体５０１の表示位置は元の位置に固定されている。タイミング（１）においてユーザ４ａは共有仮想物体５０１に手を添える。タイミング（２）において、ユーザ４ａが共有仮想物体５０１を手元に引き寄せるアクションを行うと、端末３ａの動作検知部は個人化動作と判定してサーバ１に伝達する。サーバ１では、共有仮想物体５０１をコピーして新たな個人仮想物体５０２を生成して端末３ａに送る。端末３ａでは個人仮想物体５０２を表示するが、その表示位置は、動作検知部によって検知された手の位置に合わせて調整される。最後にタイミング（３）において、個人仮想物体５０２がユーザ４ａの手元に引き寄せられるように表示する。

　タイミング（１）から（３）への過程において、共有仮想物体５０１は徐々に色が薄くなり、かつ、その仮想音声５０３の音量は小さくなる。一方で、新たに生成された個人仮想物体５０２は徐々に色が濃くなり、かつ仮想音声５０３の音量も大きくなるように調整する。これによりユーザ４ａは、共有仮想物体５０１を個人仮想物体５０２に容易に切り替えるとともに、共有仮想物体５０１とこれから生成された個人仮想物体５０２を容易に識別することが可能となる。

　図７Ｂは＜表示パターンＰ２＞に従う場合である。この場合は、ユーザ４ａの手の位置と共有仮想物体５０１の距離に応じて、共有仮想物体５０１の表示位置を移動させるようにしている。図７Ａの＜表示パターンＰ１＞と相違する点について説明する。

　タイミング（２）において、ユーザ４ａが個人化動作を行うと、端末３ａでは、サーバ１が生成した個人仮想物体５０２をユーザ４ａの手の位置に合わせて表示する。この時共有仮想物体５０１については、共有仮想物体５０１の元の位置と手の位置の中間に移動させて表示する（すなわち元の位置から手の位置へ接近させる）。

　タイミング（３）において、手の位置が共有仮想物体５０１の元の位置から一定以上離れると、共有仮想物体５０１を元の位置に戻して表示する。個人仮想物体５０２は、図７Ａと同様にユーザ４ａの手元に引き寄せられたように表示する。

　図７Ｃと図７Ｄは、共有仮想物体５０１から個人仮想物体５０２へ移行する際の、操作中のユーザ４ａ以外の他のユーザ４ｂから見た表示状態を示す。図におけるタイミング（１）、（２）、（３）は、図７Ａ，図７Ｂにおけるタイミング（１）、（２）、（３）にそれぞれ対応している。

　図７Ｃは＜表示パターンＰ３＞に従う場合である。この場合は、生成された個人仮想物体５０２に関し、他のユーザ４ｂに見える位置はユーザ４ａに見える位置と同じにする。ユーザ４ｂに見える複合現実空間５ｂにおいては、タイミング（２）（３）でユーザ４ａにより生成された個人仮想物体５０２は半透明で表示されており、かつ仮想音声も出力されない。タイミング（３）において、共有仮想物体５０１から個人仮想物体５０２までの距離をｄ３とすると、ユーザ４ａに見える位置（図７Ａまたは図７Ｂにおける距離ｄ１）に等しい。

　一方、共有仮想物体５０１はタイミング（１）（２）では通常の表示となっているが、ユーザ４ａにより個人仮想物体５０２が生成された後のタイミング（３）の段階では、通常の表示とは異なり、例えば通常の色よりも濃い色で表示する。これにより他のユーザ４ｂは、個人仮想物体５０２は共有仮想物体５０１からコピーされたものであることを容易に認識でき、混乱することがなくなる。

　なお、タイミング（３）で共有仮想物体５０１の色を変化させるというのはあくまで一例であり、これに限定されない。その他、輪郭線を赤く表示する、点滅させる、コピーを表す印を表示する、輝度を変化させるなど、様々な表示状態が可能である。

　図７Ｄは＜表示パターンＰ４＞に従う場合である。この場合は、生成された個人仮想物体５０２に関し、他のユーザ４ｂに見える位置とユーザ４ａに見える位置とを異ならせる。すなわち、タイミング（３）において、ユーザ４ａが生成した個人仮想物体５０２を、ユーザ４ａの手の位置から離れた位置に表示する。このときの共有仮想物体５０１から個人仮想物体５０２までの距離をｄ４とする。これにより、ユーザ４ｂにとっては個人仮想物体５０２が中空にあるように知覚される。

　図８は、図７Ｃと図７Ｄにおける個人仮想物体５０２の表示位置の違いを説明する図である。横軸は、操作中のユーザ４ａから見た個人仮想物体５０２の表示位置（共有仮想物体５０１からの距離ｄ１）、縦軸は、他のユーザ４ｂから見た個人仮想物体５０２の表示位置（共有仮想物体５０１からの距離ｄ３、ｄ４）である。

　図７Ｃの＜表示パターンＰ３＞では、他のユーザ４ｂから見た個人仮想物体５０２の表示位置（ｄ３）は操作中のユーザ４ａから見た個人仮想物体５０２の表示位置（ｄ１）に等しい。これに対し図７Ｄの＜表示パターンＰ４＞では、他のユーザ４ｂから見た個人仮想物体５０２の表示位置（ｄ３）は操作中のユーザ４ａから見た個人仮想物体５０２の表示位置（ｄ１）よりも小さくする。

　図７Ｄの＜表示パターンＰ４＞によれば、ユーザ４ａが個人仮想物体５０２を生成したタイミング（３）において、ユーザ４ａにとっては手元にある個人仮想物体５０２が、ユーザ４ｂにとっては中空にあるように知覚される。

　＜表示パターンＰ４＞の表示方法の利点は、ユーザ４ａが個人仮想物体５０２を手元で操作している間、ユーザ４ｂは、ユーザ４ａの手に隠れることなく個人仮想物体５０２を観測することができる点である。加えて、個人仮想物体５０２が共有仮想物体５０１からコピーされて生成されたものであることを、より容易に識別でき、混乱することがない。

　図７Ｃや図７Ｄにおいて、共有仮想物体５０１が個人仮想物体５０２へ切り替わったことを他のユーザ４ｂに確実に知らせるためには、次のような方法がある。

　ユーザ４ａが個人化動作を行った時刻に、ユーザ４ｂが別の方向を見ていることがある。この場合、ユーザ４ｂの端末３ｂに備わった視線検知部（インカメラ２０４、視線検知プログラム３０３）によりユーザ４ｂの視線方向を検知し、ユーザ４ｂの視線が共有仮想物体５０１に置かれたタイミングで共有仮想物体５０１の表示状態（例えば色）を切り替えるのが良い。これによりユーザ４ｂは、共有仮想物体５０１の個人化切り替わりについて見逃すことがなくなる。

　また、ユーザ４ａが個人化動作を行った位置とユーザ４ｂの位置とが離れている場合、距離センサ２００により共有仮想物体５０１と端末３ｂとの距離を検知し、当該距離が所定の距離に近づいたタイミングで共有仮想物体５０１の表示状態（例えば色）を切り替えるのが良い。これによりユーザ４ｂは、共有仮想物体５０１の個人化切り替わりについて見逃すことがなくなる。

　また、ユーザ４ｂ（端末３ｂ）が共有仮想物体５０１に近づいている速度または加速度を加速度センサ２０２により検知し、所定の速度または所定の加速度を超えた場合に表示状態（例えば色）を切り替えるのが良い。これによりユーザ４ｂは、共有仮想物体５０１に近づいた際に、当該仮想物体が個人仮想物体に切り替わったことを見逃すことがなくなる。

　［個人仮想物体の共有化］
以下では、共有化動作検知（図５、Ｓ１０８）がなされた場合の挙動について図９、１０、１１を用いて説明する。

　図９Ａおよび図９Ｂは、複合現実空間において、個人仮想物体６０１を共有仮想物体６０２に切り替える共有化動作を示す図である。ここでは、ユーザ４ａが個人仮想物体６０１に対して共有化動作を行うことにより、個人仮想物体６０１を共有仮想物体６０２にマージする例を示す。本実施例でいう共有化動作とは、個人仮想物体６０１と共有仮想物体６０２から新たな１つの共有仮想物体６０２を生成することで、個人仮想物体６０１の特徴を反映させ、かつ共有化により他のユーザ４ｂにも操作権限を与えることである。

　複合現実表示端末３ａ，３ｂの動作検知部は、ユーザが例えば次のような特定の動作を行ったとき共有化動作と判定する。
・指で特定の形を作りながら個人仮想物体を共有仮想物体に近付ける動作をする。一例として、人差し指と親指をつけた状態で個人仮想物体を近付ける。
・特定のハンドジェスチャをしてから、個人仮想物体を共有仮想物体に近付ける動作をする。一例として、個人仮想物体の外周を１周回るように手を動かしてから共有仮想物体に近付ける。
・「マージ」と発声してから、個人仮想物体を共有仮想物体に近付ける動作をする。
・個人仮想物体を共有仮想物体に近づけてから、「マージ」と発声する。
・個人仮想物体を共有仮想物体に近付ける動作の最中に、「マージ」と発声する。
共有化動作を行う際の、特定の動作をユーザが登録できる仕組みを用意してもよい。

　図９Ａは、共有化操作中のユーザ４ａが端末３ａを通して見える複合現実空間５ａを示す。一方図９Ｂは、他のユーザ４ｂが端末３ｂを通して見える複合現実空間５ｂを示す。図９Ａと図９Ｂでは、個人仮想物体６０１を共有仮想物体６０２に近付ける動作を行うことにより、当該２つの仮想物体をマージする操作を示している。ここでも、個人仮想物体６０１と共有仮想物体６０２は、ユーザ４ａとユーザ４ｂに対して異なる見え方（例えば色、形状、距離、音声など）で表示する。これによりユーザ４ａ，４ｂは、個人仮想物体６０１と共有仮想物体６０２とを容易に識別することができる。以下、個人仮想物体６０１から共有仮想物体６０２へ移行する際の具体的な表示状態を図１０Ａ～図１０Ｃで説明する。

　図１０Ａは、個人仮想物体６０１から共有仮想物体６０２へ移行する際の、操作中のユーザ４ａから見た仮想物体の表示状態を示す。ここでは共有仮想物体６０１から仮想音声６０３が出力されているものとする。また、図においてタイミング（１）、（２）、（３）の順に表示状態が移行するものとする。図中の矢印は、ユーザの手の動き（白色矢印）と、仮想物体の表示位置の移動（灰色矢印）を示している。この表示パターンは、図７Ａの＜表示パターン１＞に対応している。

　タイミング（１）において、ユーザ４ａは個人仮想物体６０１に手を添える。タイミング（２）において、ユーザ４ａが個人仮想物体６０１を共有仮想物体６０２に近付けるようなアクションを行うと、端末３ａの動作検知部は共有化動作と判定してサーバ１に伝達する。サーバ１では、個人仮想物体６０１とそのコピー元である共有仮想物体６０２とをマージして新たな共有仮想物体６０２を生成し端末３ａに送る。タイミング（３）では、端末３ａにより新たな共有仮想物体６０２が元々の表示状態（濃い色）で表示される。

　タイミング（１）から（３）への過程において、共有仮想物体６０２は徐々に色が濃くなり、かつ、その仮想音声６０４の音量は大きくなる。一方で、個人仮想物体６０１は徐々に色が薄くなっていき、かつ仮想音声６０３の音量も小さくなるように調整する。これによりユーザ４ａは、個人仮想物体６０１を共有仮想物体６０２に容易に切り替えることが可能となる。

　図１０Ｂと図１０Ｃは、個人仮想物体６０１から共有仮想物体６０２へ移行する際の、他のユーザ４ｂから見た仮想物体の表示状態を示す。図におけるタイミング（１）、（２）、（３）は、図１０Ａにおけるタイミング（１）、（２）、（３）にそれぞれ対応している。

　図１０Ｂは＜表示パターンＰ３＞に従う場合である。この場合は、図８で説明したように、個人仮想物体６０１に関し、他のユーザ４ｂに見える位置はユーザ４ａに見える位置と同じにする。

　タイミング（１）では、ユーザ４ｂに見える複合現実空間５ｂにおいては、ユーザ４ａの個人仮想物体６０１は半透明で、共有仮想物体６０２は濃い色で表示されている。すなわち、共有仮想物体６０２から個人仮想物体６０１までの距離ｄ３は、ユーザ４ａに見える位置（図１０Ａにおける距離ｄ１）に等しい。タイミング（２）において、ユーザ４ａが個人仮想物体６０１を共有仮想物体６０２に近付ける動作を行うことにより、タイミング（３）において両者の仮想物体がマージされ、新たな共有仮想物体６０２は通常の色で表示される。

　これによりユーザ４ｂは、個人仮想物体６０１と共有仮想物体６０２とを容易に識別し、個人仮想物体６０１から共有仮想物体６０２がマージされたものであることを容易に認識でき、混乱することがなくなる。

　図１０Ｃは、＜表示パターンＰ４＞に従う場合である。この場合は、図８で説明したように、個人仮想物体６０１に関し、他のユーザ４ｂに見える位置とユーザ４ａに見える位置とを異ならせる。すなわちタイミング（１）において、共有仮想物体６０２から個人仮想物体６０１までの距離ｄ４は、ユーザ４ａに見える位置（図１０Ａにおける距離ｄ１）よりも小さくする。これにより、ユーザ４ｂにとっては個人仮想物体６０１が中空にあるように知覚される。よってユーザ４ｂは、ユーザ４ａの手に隠れることなく個人仮想物体６０１を観測することができる。

　図１１は、共有化動作における仮想物体の形状決定を説明する図である。一般に、個人仮想物体６０１とこれをマージする共有仮想物体６０２とは形状が異なっている。よって、これらの仮想物体をマージする際には、それぞれの仮想物体の形状の差分のうち、互いに包摂しない箇所に対し、新たな共有仮想物体に採用（結合）するか否かをユーザ４ａが順次確認できるようにした。

　タイミング（１）において、個人仮想物体６０１は共有仮想物体６０２からコピーされたものとする。コピーの後、ユーザ４ａの操作により、新たに個人仮想物体６０１ａと個人仮想物体６０１ｂが生成され、個人仮想物体６０１と結合されている。ここで個人仮想物体６０１、６０１ａ、６０１ｂの集合体を、コピー元の共有仮想物体６０２にマージする操作を行う。

　タイミング（２）では、第１の差分である個人仮想物体６０１ａを共有仮想物体６０２に結合するかどうかをユーザ４ａが選択する。ここでの選択処理には、ハンドジェスチャ、音声認識などの方法が用いられる。例えば、個人仮想物体６０１ａを共有仮想物体６０２に結合することを選択したとする。続いてタイミング（３）では、第２の差分である個人仮想物体６０１ｂを共有仮想物体６０２に結合するかどうかを選択する。ここでユーザ４ａが個人仮想物体６０１ｂの結合を却下したとする。その結果、最終的にタイミング（４）のように、共有仮想物体６０２には個人仮想物体６０１ａが結合された新たな共有仮想物体の集合体が生成される。

　なお、図１１においては、新たに生成した個人仮想物体を結合する場合について説明したが、個人仮想物体自身に変更を加えた場合においても、同様の手順で個人仮想物体を共有仮想物体にマージするか否かの選択操作を行うことが可能である。

　このように実施例１によれば、複合現実空間において、共有仮想物体と個人仮想物体との切り替えを、操作中のユーザだけでなく他のユーザを含めて、混乱することなく円滑に行うことができる。

　実施例２では、実施例１においてサーバ１が行っていた全ての機能を、複合現実表示端末内に内蔵する構成とした。そのため実施例１におけるサーバ１は不要としている。以下、実施例１と異なる点について説明する。

　図１２は、実施例２に係る複合現実表示システムの全体構成を示すブロック図である。本実施例の複合現実表示システム１０’は、ネットワーク２、ユーザ用の複数の複合現実表示端末３ｃ、３ｂから構成される。このうち複合現実表示端末３ｃはサーバ機能を内蔵した端末である。

　図１３Ａは、複合現実表示端末（サーバ機能内蔵）３ｃのハードウェア構成を示す図である。なお、端末３ｂについては実施例１の図２Ａの構成と同じである。端末３ｃにおいては、サーバ１に備えられていた仮想物体属性情報２３９、ユーザ認証情報２４０、機器管理情報２４１が、ストレージ２１１に追加して格納される。それぞれのブロックの役割は実施例１の図３Ａで説明した通りである。

　図１３Ｂは、複合現実表示端末（サーバ機能内蔵）３ｃのソフトウェア構成を示す図である。なお、端末３ｂについては実施例１の図２Ｂの構成と同じである。ここでは、図１３Ａにおけるメモリ２１０とストレージ２１１の構成を示している。

　端末３ｃにおいては、サーバ１に備えられていた仮想物体管理部３３２、ユーザ管理部３３３、機器管理部３３４が、メモリ２１０に追加して格納される。加えて、サーバ１に備えられていたユーザ位置・方向検知プログラム３３６、仮想物体属性情報２３９、ユーザ認証情報２４０、機器管理情報２４１が、ストレージ２１１に追加して格納される。それぞれのブロックの役割は実施例１の図３Ｂで説明した通りである。

　図１４は、実施例２における動作シーケンスを示す図である。この動作シーケンスでは、端末３ｃが、実施例１におけるサーバ１の役割を兼務している。そのため、実施例１（図５）で存在した、端末３ａとサーバ１の間の通信が省略されている。すなわち、端末３ｃにて個人化動作（Ｓ１０４）や共有化動作（Ｓ１０８）が行われると、内蔵する仮想物体属性情報２３９を更新し（Ｓ１０５，Ｓ１０９）、自身で表示している仮想物体の表示状態を修正する（Ｓ１０６，Ｓ１１０）。また、端末３ｂに対して更新後の仮想物体データを送信する。それ以外の動作については実施例１（図５）と同一である。

　なお、図１４では端末３ｃにて個人化動作や共有化動作を行う場合を示しているが、端末３ｂにて個人化動作や共有化動作を行った場合には、個人化動作や共有化動作の検知情報は端末３ｃに送られ、上記と同様に、端末３ｃにて内蔵する仮想物体属性情報２３９が更新される。

　実施例２によれば、複合現実表示端末がネットワークに接続されていれば、複数のユーザで同一の複合現実空間を共有することができ、仮想物体に対する協力操作を簡易に行うことが可能になる。

　また上記の実施例では１台の複合現実表示端末３ｃがサーバの役割を果たしたが、全ての複合現実表示端末がそれぞれサーバの役割を発揮し、仮想物体属性情報を共通して所持するような構成でも良い。

　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　１：サーバ、
　２：ネットワーク、
　３ａ，３ｂ：複合現実表示端末（端末）、
　３ｃ：複合現実表示端末（サーバ機能内蔵）、
　４ａ，４ｂ：ユーザ、
　７，８，５０１，５０２，６０１，６０２：仮想物体、
　１０，１０’：複合現実表示システム、
　２００：距離センサ、
　２０３，２３１：通信Ｉ／Ｆ、
　２０４：インカメラ、
　２０５：アウトカメラ、
　２０６，２４２：映像出力部、
　２０７，２４３：音声出力部、
　２０８：入力手段、
　２０９，２３３：制御部、
　２１０，２３４：メモリ、
　２２１，２３５：ストレージ、
　２３９：仮想物体属性情報、
　３３２：仮想物体管理部。

Claims

　サーバと、複数のユーザがそれぞれ使用する複数の複合現実表示端末とがネットワークを介して接続され、現実空間に仮想物体を複合させて表示する複合現実表示システムにおいて、
　前記仮想物体には、複数の複合現実表示端末に対し操作権限が与えられた共有仮想物体と、特定の複合現実表示端末のみに対し操作権限が与えられた個人仮想物体とがあり、
　前記サーバは、前記複数の複合現実表示端末に対し前記仮想物体を表示させるための仮想物体属性情報を有し、
　前記複数の複合現実表示端末には、それぞれ、前記共有仮想物体と前記個人仮想物体とを切り替えるためのそれぞれのユーザの動作を検知する動作検知部を備え、
　前記サーバは、前記複合現実表示端末から前記動作検知部による検知結果を受けると、前記仮想物体が前記共有仮想物体か前記個人仮想物体かによって前記仮想物体属性情報を更新し、更新後の前記仮想物体のデータを前記複数の複合現実表示端末に送信することを特徴とする複合現実表示システム。
　請求項１に記載の複合現実表示システムにおいて、
　前記動作検知部は、前記ユーザの手の動作または音声入力動作を検知し、前記共有仮想物体をコピーして前記個人仮想物体を生成する個人化動作か、あるいは前記個人仮想物体をコピー元の前記共有仮想物体にマージする共有化動作かを判定することを特徴とする複合現実表示システム。
　請求項１に記載の複合現実表示システムにおいて、
　前記複数の複合現実表示端末のうち、前記ユーザにより前記仮想物体の切り替え動作を受けた複合現実表示端末と、前記ユーザにより前記仮想物体の切り替え動作を受けていない複合現実表示端末とでは、それぞれの複合現実表示端末にて表示する同一の仮想物体に対する前記仮想物体属性情報が異なり、同一の仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システム。
　請求項３に記載の複合現実表示システムにおいて、
　前記動作検知部により検知した前記ユーザによる切り替え動作の過程において、前記複数の複合現実表示端末では、それぞれ、同一の仮想物体に対して表示する色、または輝度、または形状、または音声を徐々に変化させて表示することを特徴とする複合現実表示システム。
　請求項３に記載の複合現実表示システムにおいて、
　前記ユーザにより前記仮想物体の切り替え動作を受けた複合現実表示端末と、前記ユーザにより前記仮想物体の切り替え動作を受けていない複合現実表示端末とでは、さらに、前記仮想物体と前記ユーザとの距離に応じて、同一の仮想物体を異なる位置に表示することを特徴とする複合現実表示システム。
　請求項３に記載の複合現実表示システムにおいて、
　前記複数の複合現実表示端末には、それぞれ、前記ユーザの視線方向を検知する視線検知部を備え、
　前記複合現実表示端末では、前記視線検知部により前記ユーザの視線が前記仮想物体に置かれたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対する表示状態を切り替えることを特徴とする複合現実表示システム。
　請求項３に記載の複合現実表示システムにおいて、
　前記複数の複合現実表示端末には、それぞれ、前記仮想物体との距離を検知する距離検知部を備え、
　前記複合現実表示端末では、前記距離検知部により当該複合現実表示端末が前記仮想物体と所定の距離に近づいたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システム。
　請求項３に記載の複合現実表示システムにおいて、
　前記複数の複合現実表示端末には、それぞれ、前記仮想物体に近づく速度または加速度を検知する速度検知部を備え、
　前記複合現実表示端末では、前記速度検知部により当該複合現実表示端末が前記仮想物体に所定の速度または加速度を超えて距離に近づいたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システム。
　請求項２に記載の複合現実表示システムにおいて、
　前記動作検知部が前記ユーザの動作を前記共有化動作と判定したとき、前記サーバは前記個人仮想物体を前記共有仮想物体にマージする際、それぞれの仮想物体の形状の差分のうち、互いに包摂しない箇所に対し、新たな共有仮想物体に結合するか否かを前記ユーザに確認することを特徴とする複合現実表示システム。
　他の複合現実表示端末とネットワークを介して接続され、現実空間に仮想物体を複合させて表示する複合現実表示システムにおける複合現実表示端末であって、
　前記仮想物体には、複数の複合現実表示端末に対し操作権限が与えられた共有仮想物体と、特定の複合現実表示端末のみに対し操作権限が与えられた個人仮想物体とがあり、
　当該複合現実表示端末及び前記他の複合現実表示端末に対し前記仮想物体を表示させるための仮想物体属性情報を格納するストレージと、
　前記他の複合現実表示端末と通信を行うための通信部と、
　前記仮想物体属性情報に従い当該複合現実表示端末にて表示する前記仮想物体を生成するとともに、前記通信部を介して前記他の複合現実表示端末へ前記仮想物体のデータを送信する制御部と、
　前記制御部で生成した前記仮想物体の映像および音声を出力する出力部と、
　前記共有仮想物体と前記個人仮想物体とを切り替えるためのユーザの動作を検知する動作検知部と、を備え、
　前記制御部は、前記動作検知部による検知結果を受けた場合、あるいは前記通信部を介して前記他の複合現実表示端末から前記共有仮想物体と前記個人仮想物体との切り替えの情報を受けた場合には、前記仮想物体が前記共有仮想物体か前記個人仮想物体かによって、前記仮想物体属性情報を更新するとともに、更新後の前記仮想物体のデータを前記他の複合現実表示端末に送信することを特徴とする複合現実表示端末。