JP2024010215A - 複合現実表示システム - Google Patents
複合現実表示システム Download PDFInfo
- Publication number
- JP2024010215A JP2024010215A JP2023191359A JP2023191359A JP2024010215A JP 2024010215 A JP2024010215 A JP 2024010215A JP 2023191359 A JP2023191359 A JP 2023191359A JP 2023191359 A JP2023191359 A JP 2023191359A JP 2024010215 A JP2024010215 A JP 2024010215A
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- mixed reality
- reality display
- user
- display terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 28
- 210000003811 finger Anatomy 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/101—Collaborative creation, e.g. joint development of products or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】共有仮想物体と個人仮想物体との切り替えを、ユーザが混乱することなく円滑に行うことを提供する。【解決手段】複合現実表示システムは、サーバ1と複数の複合現実表示端末(以下、端末)3a、3bとがネットワークを介して接続され、現実空間に仮想物体を複合させて表示する。仮想物体には、複数の端末に対し操作権限が与えられた共有仮想物体と、特定の端末のみに対し操作権限が与えられた個人仮想物体とがある。サーバは、各端末に対し仮想物体を表示させるための仮想物体属性情報を有する。各端末は、共有仮想物体と個人仮想物体とを切り替えるためのユーザの動作を検知する動作検知部を備える。サーバは、端末から動作検知部による検知結果を受信すると、仮想物体が共有仮想物体か個人仮想物体かによって仮想物体属性情報を更新し、更新後の仮想物体のデータを各端末に送信する。【選択図】図5
Description
本発明は、仮想的に生成された映像・音声等と現実世界の映像・音声等を組み合わせた複合現実空間を生成、表示し、当該複合現実空間の中でユーザが仮想的に生成された物体を操作することが可能な複合現実表示システム及び複合現実表示端末に関する。
本技術分野の背景技術として、特許文献1には、複合現実環境において共有仮想オブジェクトおよびプライベート仮想オブジェクトを表示するシステムが開示されている。共有仮想オブジェクトは複数の使用者が共に協力してインタラクトすることができ、プライベート仮想オブジェクトは単一の使用者に対し可視とするものである。そして、プライベート仮想オブジェクトを設けることで、複数人での共有仮想オブジェクトに対する協力的なインタラクションを容易にすることができると記載されている。
共有仮想オブジェクト(以下、共有仮想物体と呼ぶ)とプライベート仮想オブジェクト(以下、個人仮想物体と呼ぶ)の具体的な使用法として次のような例がある。
第1の例は、試作製品の模型等を複合現実空間に共有仮想物体として表示し、その模型のデザインについての検討を行うような場合である。仮想物体を複数のデザイナーで共有することで、複数のデザイナーによる議論を円滑に行うことができる。一方で、共有仮想物体に対しては、そのデザインを変更する権限が全てのデザイナーに与えられるため、個々のデザイナーが個別に修正を検討したいような場合には不向きである。そのような場合には、特定のデザイナーに修正の権限が与えられる個人仮想物体への切り替えができると便利である。これを円滑に行うためには、表示されている共有仮想物体を、特定のユーザにとっての個人仮想物体としてコピーする操作と、逆に特定のユーザにとっての個人仮想物体を、共有仮想物体とマージするような操作が可能であることが望まれる。
第2の例は、仮想のチラシ置き場のように、広告物を共有仮想物体として表示する場合である。この場合、複合現実空間内の複数のユーザに対し、同一の場所に広告物が表示されているような体験を提供する。その際、現実のチラシ置き場でのユーザ動作から類推されるように、あるユーザは広告物を個人のものとしてコピーしたいという要求が発生する。このような場合にも、共有仮想物体を、そのユーザにとっての個人仮想物体に切り替える操作が可能であることが望まれる。すなわち、共有仮想物体と個人仮想物体との切り替え操作(ここでは、コピーする操作やマージする操作を意味する)が必要になる。
しかしながら、特許文献1に記載の発明では、上述のようにある仮想物体について共有の状態(共有仮想物体)と個人の状態(個人仮想物体)を交互に切り替えることは考慮されていない。また、共有仮想物体と個人仮想物体の切り替えを行うにしても、これを円滑に行うためには次のような課題がある。
(1)各ユーザは、当該仮想物体が共有仮想物体であるか個人仮想物体であるかを記憶して使い分ける必要があり、それらを記憶していないユーザは混乱してしまう。
(2)個人仮想物体がある特定のユーザAにだけ表示されて、他のユーザBからは見えない場合には(例えば特許文献1の場合)、その見えない個人仮想物体に対する操作は他のユーザBからは認知されないため、ユーザBはユーザAがどのような操作を行っているか分からず混乱してしまう。
(3)ユーザが共有仮想物体と個人仮想物体の切り替え(コピー操作やマージ操作)を容易に行うための、簡便な手段が必要になる。
(4)ユーザAが個人仮想物体を用いて共有仮想物体を操作している場合に、その操作内容がユーザAの手に隠れて他のユーザBからは見えないことがある。
(2)個人仮想物体がある特定のユーザAにだけ表示されて、他のユーザBからは見えない場合には(例えば特許文献1の場合)、その見えない個人仮想物体に対する操作は他のユーザBからは認知されないため、ユーザBはユーザAがどのような操作を行っているか分からず混乱してしまう。
(3)ユーザが共有仮想物体と個人仮想物体の切り替え(コピー操作やマージ操作)を容易に行うための、簡便な手段が必要になる。
(4)ユーザAが個人仮想物体を用いて共有仮想物体を操作している場合に、その操作内容がユーザAの手に隠れて他のユーザBからは見えないことがある。
本発明の目的は、複合現実空間において、共有仮想物体と個人仮想物体との切り替えを、ユーザが混乱することなく円滑に行うことができる複合現実表示システム及び複合現実表示端末を提供することにある。
本発明は、サーバと、複数のユーザがそれぞれ使用する複数の複合現実表示端末とがネットワークを介して接続され、現実空間に仮想物体を複合させて表示する複合現実表示システムであって、前記仮想物体には、複数の複合現実表示端末に対し操作権限が与えられた共有仮想物体と、特定の複合現実表示端末のみに対し操作権限が与えられた個人仮想物体とがある。前記サーバは、前記複数の複合現実表示端末に対し前記仮想物体を表示させるための仮想物体属性情報を有し、前記複数の複合現実表示端末には、それぞれ、前記共有仮想物体と前記個人仮想物体とを切り替えるためのそれぞれのユーザの動作を検知する動作検知部を備える。前記サーバは、前記複合現実表示端末から前記動作検知部による検知結果を受けると、前記仮想物体が前記共有仮想物体か前記個人仮想物体かによって前記仮想物体属性情報を更新し、更新後の前記仮想物体のデータを前記複数の複合現実表示端末に送信する構成とする。
本発明によれば、複合現実空間において、共有仮想物体と個人仮想物体との切り替えを、ユーザが混乱することなく円滑に行うことができる。
以下、本発明の実施形態について、図面を参照しながら説明する。
図1Aは、実施例1に係る複合現実表示システムの全体構成を示すブロック図である。本実施例の複合現実表示システム10は、サーバ1とユーザ用の複数の複合現実表示端末3a、3bがネットワーク2に接続されて構成される。ここでは、複合現実表示端末は2台としたが、もちろん2台以上の複数で構成しても良い。複合現実表示端末としては、例えばユーザの頭部に装着して使用するヘッドマウントディスプレイ(HMD)がある。以下、複合現実表示端末を単に「端末」と呼ぶことにする。
サーバ1は仮想物体の属性情報を保持する機能と、機器認証を行う機能と、ユーザ認証を行う機能を備えている。また通信I/Fを備えており、ネットワーク2を通して、複合現実表示端末(端末)3a、3bと通信を行う機能を有する。サーバ1は映像・音声出力機能を備えており、サーバの保持する仮想物体の属性情報を端末3a、3bに出力するとともに、入力機能を備え、サーバ内部のプログラムや機能などを修正することができる。
一方複合現実表示端末(端末)3a、3bは、通信I/Fを備えており、ネットワーク2を通してサーバ1からのユーザ認証を受け、さらに、サーバ1に保持された仮想物体のデータおよびユーザ認証情報を受信する。端末3a、3bは、映像出力部と音声出力部を備え、サーバ1から受信した仮想物体のデータに基づき、仮想物体の映像および音声を出力表示し、さらに修正する機能を有している。
その際、出力する映像および音声をユーザが知覚した場合に、あたかも現実空間の特定の位置に、仮想物体や仮想音声が存在するかのような知覚を得ることができるように、映像および音声を適切に調整して出力する機能を有する。このために、端末3a、3bは、その位置や加速度情報を検知する手段を有しており、当該位置・加速度情報を用いて映像および音声を動的に生成する機能を有している。
図1Bは、図1の複合現実表示システム10が提供する共有仮想物体と個人仮想物体が混在した複合現実空間の一例を示す図である。ここでは、2人のユーザ4a、4bがそれぞれ端末(HMD)3a,3bを頭部に装着し、複合現実空間において仮想物体を操作している状況を表している。ユーザ4aの視野5aには端末3aを通して共有仮想物体7や個人仮想物体8が映し出されている。またユーザ4bの視野5bには端末3bを通して、やはり共有仮想物体7や個人仮想物体8が映し出されている。そしてユーザ4aは、個人仮想物体8に対して何らかの操作を行っている状態である。
次に、複合現実表示端末3a,3bとサーバ1の内部構成について説明する。
[複合現実表示端末の内部構成]
図2Aは、複合現実表示端末3a,3bのハードウェア構成を示す図である。ここでは、端末3aと端末3bは同一構成として説明するが、必ずしも同一の構成である必要はない。
[複合現実表示端末の内部構成]
図2Aは、複合現実表示端末3a,3bのハードウェア構成を示す図である。ここでは、端末3aと端末3bは同一構成として説明するが、必ずしも同一の構成である必要はない。
距離センサ200は、ユーザの手の動作や、現実空間上の物体との距離を検知する。ジャイロセンサ201や加速度センサ202は、端末の位置や加速度を正確に計測する。通信I/F203は、ネットワーク2を通してサーバ1と通信する。さらに、インカメラ204はユーザの視線方向を検知し、アウトカメラ205は現実空間を撮影する。
制御部209は、ストレージ211に保持された各種データ212やプログラム213を、メモリ210に備えた各種プログラム機能部214を通して読み出すことにより、前述の各種センサやカメラ映像を統合し、仮想的な物体の映像および音声を生成する。そして、当該仮想物体の映像および音声を現実空間の特定の位置、方向に存在するように調整する。
生成された仮想物体の映像および音声は、映像出力部206及び音声出力部207から出力表示される。入力手段208は、ユーザからの触覚あるいは音声による操作入力を受け付ける。上記の各ブロックは、バス215によって接続されている。
これにより、端末3a,3bの映像を見た、もしくは音声を聞いたユーザは、あたかも現実空間上の特定の位置に仮想物体や仮想音声が存在しているかのような知覚を得ることができる。なお、仮想物体の映像および音声を、現実空間の特定の位置、方向に存在するように生成する技術(複合現実、MR=Mixed Reality)については、従来より多くの技術が発表されており、一例として特許文献1にも開示されている。
図2Bは、複合現実表示端末3a,3bのソフトウェア構成を示す図である。ここには、図2Aにおけるメモリ210とストレージ211の構成を示している。
ストレージ211は、各種データ302、視線方向検知プログラム303、顔位置・方向検知プログラム304、映像生成プログラム305、音声生成プログラム306、通信制御プログラム307を格納している。これらのデータおよびプログラムは、メモリ210に備えられた機器制御部301によってそれぞれメモリに呼び出され、各種の機能が実現される。なお、これらのデータおよびプログラムは予めメモリ210に格納されていてもよい。
以下の説明では、簡単のために、機器制御部301が各プログラムを実行して実現する各種機能を、各種プログラム機能部が主体となって実現するものとして説明する。
視線方向検知プログラム303は、インカメラ204から得られた画像情報に基づき、ユーザの視線方向を検出する。以下、視線方向検知プログラム303とインカメラ204とを「視線検知部」とも呼ぶ。
動作検知プログラム308は、距離センサ200やアウトカメラ205などから得られた情報に基づき、ユーザが現実空間で行っている動作を検知する。ここでの動作とは、例えば、特定の位置から特定の位置に手を移動する、手を閉じる、手を開くなどの動作である。距離センサ情報やカメラ情報からユーザの動作を検知する方法は、従来から多数の方法が知られており、一例として参考文献1に開示される。
[参考文献1]
Zhou Ren, et al. “Robust hand gesture recognition with kinect sensor.” Proceedings of the 19th ACM international conference on Multimedia. ACM, 2011.
動作検知プログラム308は、さらに、入力手段208に入力された音声の音量や発話内容などから「音声動作」として検知する機能を備えていても良い。なお音声から発話内容を検知する方法としては、音声認識技術を利用できる。音声認識技術は従来から多数の方法が知られており、一例として参考文献2に開示される。
Zhou Ren, et al. “Robust hand gesture recognition with kinect sensor.” Proceedings of the 19th ACM international conference on Multimedia. ACM, 2011.
動作検知プログラム308は、さらに、入力手段208に入力された音声の音量や発話内容などから「音声動作」として検知する機能を備えていても良い。なお音声から発話内容を検知する方法としては、音声認識技術を利用できる。音声認識技術は従来から多数の方法が知られており、一例として参考文献2に開示される。
[参考文献2]
Lawrence R. Rabiner and Biing-Hwang Juang. “Fundamentals of speech recognitio
n.”(1993).
以下、距離センサ200、アウトカメラ205、入力手段208、及び動作検知プログラム308を「動作検知部」とも呼ぶ。
Lawrence R. Rabiner and Biing-Hwang Juang. “Fundamentals of speech recognitio
n.”(1993).
以下、距離センサ200、アウトカメラ205、入力手段208、及び動作検知プログラム308を「動作検知部」とも呼ぶ。
顔位置・方向検知プログラム304は、ジャイロセンサ201や加速度センサ202の信号に基づき、当該空間内でのユーザの顔の位置や方向を検出する。これらの情報は、映像生成プログラム305や音声生成プログラム306において、仮想物体や仮想音声を生成する際に利用される。
映像生成プログラム305は、顔位置・方向検知プログラム304により得られた顔の位置や方向の情報、インカメラ204から得られた画像に応じて、映像出力部206から出力するための映像を生成する。この映像は、それを知覚したユーザがあたかも現実空間の特定の位置に仮想物体が存在するかのように知覚されるよう調整される。
音声生成プログラム306は、顔位置・方向検知プログラム304により得られた顔の位置や方向の情報、インカメラ204から得られた画像に応じて、音声出力部207から出力するための音声を生成する。この音声は、それを知覚したユーザがあたかも現実空間の特定の位置に仮想物体が存在するかのように知覚されるよう調整される。
通信制御プログラム307は、通信I/F203を通じてサーバ1と通信を行う。ここで通信される内容は仮想物体の属性情報(データ)およびユーザ認証情報などであるが、これ以外の情報が含まれていてもよい。
[サーバの内部構成]
図3Aは、サーバ1のハードウェア構成を示す図である。
ストレージ235は、当該サーバを動作させるための各種データ237、プログラム238、および端末3a,3bを制御するための仮想物体属性情報239、ユーザ認証情報240および機器管理情報241を格納する。当該データ及びプログラム群は、制御部233により、メモリ234に備えた各種プログラム機能部236を通してメモリに読み出され、実行される。
図3Aは、サーバ1のハードウェア構成を示す図である。
ストレージ235は、当該サーバを動作させるための各種データ237、プログラム238、および端末3a,3bを制御するための仮想物体属性情報239、ユーザ認証情報240および機器管理情報241を格納する。当該データ及びプログラム群は、制御部233により、メモリ234に備えた各種プログラム機能部236を通してメモリに読み出され、実行される。
通信I/F231は、ネットワーク2を通して端末3a,3bと通信を行う。ここで通信される内容は、仮想物体属性情報239のデータやユーザ認証情報240であるが、これ以外のデータが含まれていてもよい。
入力手段232は、ユーザの操作入力を受け付けるとともに、ユーザ入力によって、サーバ1の内部データを修正することもできる。映像出力部242と音声出力部243は、サーバ1の内部データ(仮想物体属性情報239等)をユーザに表示するものである。上記の各ブロックはバス244によって接続されている。
[サーバのソフトウェア構成]
図3Bは、サーバ1のソフトウェア構成を示す図である。ここには、図3Aにおけるメモリ234とストレージ235の構成を示している。
ストレージ235は、各種データ335、ユーザ位置・方向検知プログラム336、通信制御プログラム337、仮想物体属性情報239、ユーザ認証情報240、機器管理情報241を格納している。またメモリ234には、機器制御部331、仮想物体管理部332、ユーザ管理部333、機器管理部334を格納する。
図3Bは、サーバ1のソフトウェア構成を示す図である。ここには、図3Aにおけるメモリ234とストレージ235の構成を示している。
ストレージ235は、各種データ335、ユーザ位置・方向検知プログラム336、通信制御プログラム337、仮想物体属性情報239、ユーザ認証情報240、機器管理情報241を格納している。またメモリ234には、機器制御部331、仮想物体管理部332、ユーザ管理部333、機器管理部334を格納する。
仮想物体管理部332は、ストレージ235に格納された仮想物体属性情報239に基づき、複合現実空間における仮想物体の位置、方向、形、ユーザの操作権限などの管理を行う。そして、通信I/F231にて得られた各端末3a,3bからの情報に基づき、仮想物体属性情報239を修正する。また、入力手段232からのユーザの操作に基づき、仮想物体属性情報239を修正することも可能である。さらに仮想物体属性情報239に記述された情報を、映像出力部242や音声出力部243からユーザに表示することもできる。
ユーザ管理部333は、ユーザ毎に認証を行うためのユーザ認証情報240と、ユーザが所有する端末を認証するための機器管理情報241を管理する。これらの情報240,241は、ストレージ235に格納されている。ユーザ管理部333は、通信I/F231を通して各端末3a,3b(入力手段208)におけるユーザ入力からユーザ名およびパスワードなどのユーザ認証情報を取得し、正規の登録ユーザであるかどうかを確認する。もし、ユーザ認証情報が正しくなかった場合は、エラー情報を返信する。なお、ユーザ名やパスワードは予め各端末3a,3bのストレージ211に格納され、ユーザが毎回入力を行うことなく認証を行うことも可能である。
機器管理部334は、ストレージ235に格納された機器管理情報241に応じて、端末3a,3bとの通信に必要な情報を、通信制御プログラム337に送る。
ストレージ235に格納された各データやプログラムは、メモリ234に格納された機器制御部331の制御によって、メモリ234に読み出されて実行される。なお、ストレージ235に格納された各データやプログラムは、予めメモリ234に格納されていてもよい。
以後の説明では、簡単のために、機器制御部331が各プログラムを実行して実現する各種機能を、各種プログラム機能部が主体となって実現するものとして説明する。
ユーザ位置・方向検知プログラム336は、通信I/F231を通して各端末3a、3bから得られた情報に基づき、各端末3a、3bの位置および方向を検知する。これらの情報は各端末3a、3bに伝達してもよい。
通信制御プログラム337は、端末3a、3bとの通信を制御する。ここで通信される内容は、仮想物体属性情報239およびユーザ認証情報240であるが、それ以外の情報が含まれていてもよい。
[データ形式]
以下、サーバ1にて格納する各種情報のデータ形式について説明する。
図4Aは、サーバ1の仮想物体管理部332が管理する仮想物体属性情報239の例を示すデータテーブルである。仮想物体属性情報239には、仮想物体ID401、仮想物体名402、仮想物体の方向403、仮想物体の位置404、仮想物体の色・形状405、仮想物体間のコピー関係を表すコピー元406およびコピー先407、ユーザの操作権限408などの情報が記述されている。なお、共有/個人の項目409は説明用のものである。
以下、サーバ1にて格納する各種情報のデータ形式について説明する。
図4Aは、サーバ1の仮想物体管理部332が管理する仮想物体属性情報239の例を示すデータテーブルである。仮想物体属性情報239には、仮想物体ID401、仮想物体名402、仮想物体の方向403、仮想物体の位置404、仮想物体の色・形状405、仮想物体間のコピー関係を表すコピー元406およびコピー先407、ユーザの操作権限408などの情報が記述されている。なお、共有/個人の項目409は説明用のものである。
仮想物体名402、仮想物体の方向403、仮想物体の位置404、仮想物体の色・形状405は、端末3a,3bにて仮想物体を表示させるためのデータである。またこの例では、仮想物体ID=2,3は操作権限408がユーザ全員または特定のグループに与えられる「共有」仮想物体である。仮想物体ID=1,4は操作権限408が特定のユーザ1に与えられる「個人」仮想物体である。また、個人仮想物体ID=4は、共有仮想物体ID=3からコピーしたものであることを示す。
図4Bは、サーバ1のユーザ管理部333が管理するユーザ認証情報240の例を示すデータテーブルである。ユーザ認証情報240には、ユーザID(管理番号)411、ユーザパスワード412などが記述されている。なおこの他に、ユーザ名、氏名、住所および連絡先などを記述してもよい。また、パスワード412によるユーザ認証の他に、指静脈や指紋、音声、顔画像、虹彩等の一般的生体認証などであってもよく、その場合には適宜ユーザ認証情報240の項目を変更する。
図4Cは、サーバ1の機器管理部334が管理する機器管理情報241の例を示すデータテーブルである。機器管理情報241には、各端末の機器ID(管理番号)421、機器名422、機器パスワード423、機器IPアドレス424などが記述されている。
[動作シーケンス]
図5は、実施例1における動作シーケンスを示す図である。ここでは仮想物体の「個人化動作」と「共有化動作」を行う際の、サーバ1と端末3a(ユーザ4a)、端末3b(ユーザ4b)の間の通信を説明する。ここに個人化動作とは、共有仮想物体をコピーして個人仮想物体を生成することで、特定のユーザのみが操作権限を有する仮想物体に切り替えることである。一方「共有化動作」とは、個人仮想物体を共有仮想物体にマージして、各ユーザが操作権限を有する新たな共有仮想物体に切り替えることである。
図5は、実施例1における動作シーケンスを示す図である。ここでは仮想物体の「個人化動作」と「共有化動作」を行う際の、サーバ1と端末3a(ユーザ4a)、端末3b(ユーザ4b)の間の通信を説明する。ここに個人化動作とは、共有仮想物体をコピーして個人仮想物体を生成することで、特定のユーザのみが操作権限を有する仮想物体に切り替えることである。一方「共有化動作」とは、個人仮想物体を共有仮想物体にマージして、各ユーザが操作権限を有する新たな共有仮想物体に切り替えることである。
サーバ1、複合現実表示端末3a、複合現実表示端末3bが起動すると、サーバ1内では、仮想物体属性情報239に従った仮想物体データが生成される(シーケンスS101)。端末3a(ユーザ4a)からユーザ認証情報(または機器管理情報)がサーバ1へ送られると、サーバ1内のユーザ認証情報240(または機器管理情報241)と照合が行われる。認証が成功すると、仮想物体データが端末3aに送信される。端末3aでは、受信した仮想物体データに基づき、映像生成プログラム305および音声生成プログラム306により仮想物体の映像および音声を生成し、映像出力部206および音声出力部207から出力表示する(シーケンスS102)。
一方、端末3b(ユーザ4b)に関しても同様にユーザ認証を行い、認証が成功すると、端末3bにおいても仮想物体の映像および音声が出力表示される(シーケンスS103)。ここで表示される仮想物体は、ユーザ4aとユーザ4bがともに操作権限のある共有仮想物体である。
次に、仮想物体が表示された状態で、ユーザ4aが、仮想物体に対し例えば手元に引き寄せるアクションを行うと、端末3aの動作検知部(アウトカメラ205などのセンサと動作検知プログラム308)は当該動作を個人化動作として検知する(シーケンスS104)。そして端末3aは、個人化動作を検知したことをサーバ1に伝達する。サーバ1では、個人化動作に従い仮想物体属性情報239を更新し、共有仮想物体をコピーして新たな個人仮想物体のデータを生成する(シーケンスS105)。ここで生成する個人仮想物体は、ユーザ4a(端末3a)のみが操作権限を有するものである。
新たな個人仮想物体のデータは端末3aと端末3bに送信され、それぞれの端末3a,3bでは、受信した仮想物体データに基づき、現在表示中の仮想物体の表示状態を修正する(シーケンスS106、S107)。後述するように、端末3aと端末3bでは仮想物体に対する表示状態が異なり、それらはサーバ1の仮想物体属性情報239にて管理されている。
さらに、仮想物体が表示された状態で、ユーザ4aが、個人仮想物体を共有仮想物体に近付けるようなアクションを行うと、端末3aの動作検知部が当該動作を共有化動作として検知する(シーケンスS108)。そして端末3aは、共有化動作を検知したことをサーバ1に伝達する。サーバ1では、共有化動作に従い仮想物体属性情報239を更新し、個人仮想物体と共有仮想物体をマージして新たな共有仮想物体のデータを生成する(シーケンスS109)。ここで生成する共有仮想物体は、ユーザ4aとユーザ4bの両方が操作権限を有するものである。
新たな共有仮想物体のデータは端末3aと端末3bに送信され、それぞれの端末3a,3bでは、受信した仮想物体データに基づき、現在表示中の仮想物体の表示状態を修正する(シーケンスS110、S111)。
[共有仮想物体の個人化]
以下では、個人化動作(図5、S104)がなされた場合の挙動について図6、7、8を用いて説明する。
以下では、個人化動作(図5、S104)がなされた場合の挙動について図6、7、8を用いて説明する。
図6Aおよび図6Bは、複合現実空間において、共有仮想物体501を個人仮想物体502に切り替える個人化動作を示す図である。ここでは、ユーザ4aが共有仮想物体501に対して個人化動作を行うことにより、共有仮想物体501から個人仮想物体502をコピーする例を示す。本実施例でいう個人化動作とは、共有仮想物体501はそのまま残しつつ、ユーザ4aのみに操作権限のある個人仮想物体502を生成することである。
複合現実表示端末3a,3bの動作検知部(距離センサ200、アウトカメラ205、入力手段208)は、ユーザが例えば次のような特定の動作を行ったとき個人化動作と判定する。
・指で特定の形を作りながら共有仮想物体を引き寄せる動作をする。一例として、人差し指と親指をつけた状態で共有仮想物体を引き寄せる。
・特定のハンドジェスチャをしてから、共有仮想物体を引き寄せる動作をする。一例として、共有仮想物体の外周を1周回るように手を動かしてから引き寄せる。
・「コピー」と発声してから、共有仮想物体を引き寄せる動作をする。
・共有仮想物体を引き寄せてから、「コピー」と発声する。
・共有仮想物体を引き寄せている動作の最中に、「コピー」と発声する。
・指で特定の形を作りながら共有仮想物体を引き寄せる動作をする。一例として、人差し指と親指をつけた状態で共有仮想物体を引き寄せる。
・特定のハンドジェスチャをしてから、共有仮想物体を引き寄せる動作をする。一例として、共有仮想物体の外周を1周回るように手を動かしてから引き寄せる。
・「コピー」と発声してから、共有仮想物体を引き寄せる動作をする。
・共有仮想物体を引き寄せてから、「コピー」と発声する。
・共有仮想物体を引き寄せている動作の最中に、「コピー」と発声する。
個人化動作を行う際の、特定の動作をユーザが登録できる仕組みを用意してもよい。なお、共有仮想物体501が、上記動作によって個人仮想物体502にコピーされるかどうか(コピーを許可するかどうか)を仮想物体属性情報239に記述しておいても良い。そして、当該コピー許可情報に従って、仮想物体を個人化するかどうかを制御しても良い。
図6Aは、個人化操作中のユーザ4aが端末3aを通して見える複合現実空間5aを示す。一方図6Bは、他のユーザ4bが端末3bを通して見える複合現実空間5bを示す。図6Aと図6Bで示されるように、共有仮想物体501とこれからコピーされた個人仮想物体502は、いずれのユーザ4a,4bでも見ることができるが、ユーザ4aとユーザ4bに対して異なる見え方(例えば色、形状、距離、音声など)で表示する。これにより、ユーザ4a,4bは共有仮想物体501と個人仮想物体502とを容易に識別することができる。以下、共有仮想物体501から個人仮想物体502へ移行する際の具体的な表示状態を図7A~図7Dで説明する。
図7Aと図7Bは、共有仮想物体501から個人仮想物体502へ移行する際の、操作中のユーザ4aから見た仮想物体の表示状態を示す。ここでは共有仮想物体501から仮想音声503が出力されているものとする。また、図においてタイミング(1)、(2)、(3)の順に表示状態が移行するものとする。図中の矢印は、ユーザの手の動き(白色矢印)と、仮想物体の表示位置の移動(灰色矢印)を示している。
図7Aは<表示パターンP1>に従う場合である。この場合は、個人化移行中、共有仮想物体501の表示位置は元の位置に固定されている。タイミング(1)においてユーザ4aは共有仮想物体501に手を添える。タイミング(2)において、ユーザ4aが共有仮想物体501を手元に引き寄せるアクションを行うと、端末3aの動作検知部は個人化動作と判定してサーバ1に伝達する。サーバ1では、共有仮想物体501をコピーして新たな個人仮想物体502を生成して端末3aに送る。端末3aでは個人仮想物体502を表示するが、その表示位置は、動作検知部によって検知された手の位置に合わせて調整される。最後にタイミング(3)において、個人仮想物体502がユーザ4aの手元に引き寄せられるように表示する。
タイミング(1)から(3)への過程において、共有仮想物体501は徐々に色が薄くなり、かつ、その仮想音声503の音量は小さくなる。一方で、新たに生成された個人仮想物体502は徐々に色が濃くなり、かつ仮想音声503の音量も大きくなるように調整する。これによりユーザ4aは、共有仮想物体501を個人仮想物体502に容易に切り替えるとともに、共有仮想物体501とこれから生成された個人仮想物体502を容易に識別することが可能となる。
図7Bは<表示パターンP2>に従う場合である。この場合は、ユーザ4aの手の位置と共有仮想物体501の距離に応じて、共有仮想物体501の表示位置を移動させるようにしている。図7Aの<表示パターンP1>と相違する点について説明する。
タイミング(2)において、ユーザ4aが個人化動作を行うと、端末3aでは、サーバ1が生成した個人仮想物体502をユーザ4aの手の位置に合わせて表示する。この時共有仮想物体501については、共有仮想物体501の元の位置と手の位置の中間に移動させて表示する(すなわち元の位置から手の位置へ接近させる)。
タイミング(3)において、手の位置が共有仮想物体501の元の位置から一定以上離れると、共有仮想物体501を元の位置に戻して表示する。個人仮想物体502は、図7Aと同様にユーザ4aの手元に引き寄せられたように表示する。
図7Cと図7Dは、共有仮想物体501から個人仮想物体502へ移行する際の、操作中のユーザ4a以外の他のユーザ4bから見た表示状態を示す。図におけるタイミング(1)、(2)、(3)は、図7A,図7Bにおけるタイミング(1)、(2)、(3)にそれぞれ対応している。
図7Cは<表示パターンP3>に従う場合である。この場合は、生成された個人仮想物体502に関し、他のユーザ4bに見える位置はユーザ4aに見える位置と同じにする。ユーザ4bに見える複合現実空間5bにおいては、タイミング(2)(3)でユーザ4aにより生成された個人仮想物体502は半透明で表示されており、かつ仮想音声も出力されない。タイミング(3)において、共有仮想物体501から個人仮想物体502までの距離をd3とすると、ユーザ4aに見える位置(図7Aまたは図7Bにおける距離d1)に等しい。
一方、共有仮想物体501はタイミング(1)(2)では通常の表示となっているが、ユーザ4aにより個人仮想物体502が生成された後のタイミング(3)の段階では、通常の表示とは異なり、例えば通常の色よりも濃い色で表示する。これにより他のユーザ4bは、個人仮想物体502は共有仮想物体501からコピーされたものであることを容易に認識でき、混乱することがなくなる。
なお、タイミング(3)で共有仮想物体501の色を変化させるというのはあくまで一例であり、これに限定されない。その他、輪郭線を赤く表示する、点滅させる、コピーを表す印を表示する、輝度を変化させるなど、様々な表示状態が可能である。
図7Dは<表示パターンP4>に従う場合である。この場合は、生成された個人仮想物体502に関し、他のユーザ4bに見える位置とユーザ4aに見える位置とを異ならせる。すなわち、タイミング(3)において、ユーザ4aが生成した個人仮想物体502を、ユーザ4aの手の位置から離れた位置に表示する。このときの共有仮想物体501から個人仮想物体502までの距離をd4とする。これにより、ユーザ4bにとっては個人仮想物体502が中空にあるように知覚される。
図8は、図7Cと図7Dにおける個人仮想物体502の表示位置の違いを説明する図である。横軸は、操作中のユーザ4aから見た個人仮想物体502の表示位置(共有仮想物体501からの距離d1)、縦軸は、他のユーザ4bから見た個人仮想物体502の表示位置(共有仮想物体501からの距離d3、d4)である。
図7Cの<表示パターンP3>では、他のユーザ4bから見た個人仮想物体502の表示位置(d3)は操作中のユーザ4aから見た個人仮想物体502の表示位置(d1)に等しい。これに対し図7Dの<表示パターンP4>では、他のユーザ4bから見た個人仮想物体502の表示位置(d3)は操作中のユーザ4aから見た個人仮想物体502の表示位置(d1)よりも小さくする。
図7Dの<表示パターンP4>によれば、ユーザ4aが個人仮想物体502を生成したタイミング(3)において、ユーザ4aにとっては手元にある個人仮想物体502が、ユーザ4bにとっては中空にあるように知覚される。
<表示パターンP4>の表示方法の利点は、ユーザ4aが個人仮想物体502を手元で操作している間、ユーザ4bは、ユーザ4aの手に隠れることなく個人仮想物体502を観測することができる点である。加えて、個人仮想物体502が共有仮想物体501からコピーされて生成されたものであることを、より容易に識別でき、混乱することがない。
図7Cや図7Dにおいて、共有仮想物体501が個人仮想物体502へ切り替わったことを他のユーザ4bに確実に知らせるためには、次のような方法がある。
ユーザ4aが個人化動作を行った時刻に、ユーザ4bが別の方向を見ていることがある。この場合、ユーザ4bの端末3bに備わった視線検知部(インカメラ204、視線検知プログラム303)によりユーザ4bの視線方向を検知し、ユーザ4bの視線が共有仮想物体501に置かれたタイミングで共有仮想物体501の表示状態(例えば色)を切り替えるのが良い。これによりユーザ4bは、共有仮想物体501の個人化切り替わりについて見逃すことがなくなる。
また、ユーザ4aが個人化動作を行った位置とユーザ4bの位置とが離れている場合、距離センサ200により共有仮想物体501と端末3bとの距離を検知し、当該距離が所定の距離に近づいたタイミングで共有仮想物体501の表示状態(例えば色)を切り替えるのが良い。これによりユーザ4bは、共有仮想物体501の個人化切り替わりについて見逃すことがなくなる。
また、ユーザ4b(端末3b)が共有仮想物体501に近づいている速度または加速度を加速度センサ202により検知し、所定の速度または所定の加速度を超えた場合に表示状態(例えば色)を切り替えるのが良い。これによりユーザ4bは、共有仮想物体501に近づいた際に、当該仮想物体が個人仮想物体に切り替わったことを見逃すことがなくなる。
[個人仮想物体の共有化]
以下では、共有化動作検知(図5、S108)がなされた場合の挙動について図9、10、11を用いて説明する。
以下では、共有化動作検知(図5、S108)がなされた場合の挙動について図9、10、11を用いて説明する。
図9Aおよび図9Bは、複合現実空間において、個人仮想物体601を共有仮想物体602に切り替える共有化動作を示す図である。ここでは、ユーザ4aが個人仮想物体601に対して共有化動作を行うことにより、個人仮想物体601を共有仮想物体602にマージする例を示す。本実施例でいう共有化動作とは、個人仮想物体601と共有仮想物体602から新たな1つの共有仮想物体602を生成することで、個人仮想物体601の特徴を反映させ、かつ共有化により他のユーザ4bにも操作権限を与えることである。
複合現実表示端末3a,3bの動作検知部は、ユーザが例えば次のような特定の動作を行ったとき共有化動作と判定する。
・指で特定の形を作りながら個人仮想物体を共有仮想物体に近付ける動作をする。一例として、人差し指と親指をつけた状態で個人仮想物体を近付ける。
・特定のハンドジェスチャをしてから、個人仮想物体を共有仮想物体に近付ける動作をする。一例として、個人仮想物体の外周を1周回るように手を動かしてから共有仮想物体に近付ける。
・「マージ」と発声してから、個人仮想物体を共有仮想物体に近付ける動作をする。
・個人仮想物体を共有仮想物体に近づけてから、「マージ」と発声する。
・個人仮想物体を共有仮想物体に近付ける動作の最中に、「マージ」と発声する。
共有化動作を行う際の、特定の動作をユーザが登録できる仕組みを用意してもよい。
・指で特定の形を作りながら個人仮想物体を共有仮想物体に近付ける動作をする。一例として、人差し指と親指をつけた状態で個人仮想物体を近付ける。
・特定のハンドジェスチャをしてから、個人仮想物体を共有仮想物体に近付ける動作をする。一例として、個人仮想物体の外周を1周回るように手を動かしてから共有仮想物体に近付ける。
・「マージ」と発声してから、個人仮想物体を共有仮想物体に近付ける動作をする。
・個人仮想物体を共有仮想物体に近づけてから、「マージ」と発声する。
・個人仮想物体を共有仮想物体に近付ける動作の最中に、「マージ」と発声する。
共有化動作を行う際の、特定の動作をユーザが登録できる仕組みを用意してもよい。
図9Aは、共有化操作中のユーザ4aが端末3aを通して見える複合現実空間5aを示す。一方図9Bは、他のユーザ4bが端末3bを通して見える複合現実空間5bを示す。図9Aと図9Bでは、個人仮想物体601を共有仮想物体602に近付ける動作を行うことにより、当該2つの仮想物体をマージする操作を示している。ここでも、個人仮想物体601と共有仮想物体602は、ユーザ4aとユーザ4bに対して異なる見え方(例えば色、形状、距離、音声など)で表示する。これによりユーザ4a,4bは、個人仮想物体601と共有仮想物体602とを容易に識別することができる。以下、個人仮想物体601から共有仮想物体602へ移行する際の具体的な表示状態を図10A~図10Cで説明する。
図10Aは、個人仮想物体601から共有仮想物体602へ移行する際の、操作中のユーザ4aから見た仮想物体の表示状態を示す。ここでは個人仮想物体601から仮想音声603が出力されているものとする。また、図においてタイミング(1)、(2)、(3)の順に表示状態が移行するものとする。図中の矢印は、ユーザの手の動き(白色矢印)と、仮想物体の表示位置の移動(灰色矢印)を示している。この表示パターンは、図7Aの<表示パターン1>に対応している。
タイミング(1)において、ユーザ4aは個人仮想物体601に手を添える。タイミング(2)において、ユーザ4aが個人仮想物体601を共有仮想物体602に近付けるようなアクションを行うと、端末3aの動作検知部は共有化動作と判定してサーバ1に伝達する。サーバ1では、個人仮想物体601とそのコピー元である共有仮想物体602とをマージして新たな共有仮想物体602を生成し端末3aに送る。タイミング(3)では、端末3aにより新たな共有仮想物体602が元々の表示状態(濃い色)で表示される。
タイミング(1)から(3)への過程において、共有仮想物体602は徐々に色が濃くなり、かつ、その仮想音声604の音量は大きくなる。一方で、個人仮想物体601は徐々に色が薄くなっていき、かつ仮想音声603の音量も小さくなるように調整する。これによりユーザ4aは、個人仮想物体601を共有仮想物体602に容易に切り替えることが可能となる。
図10Bと図10Cは、個人仮想物体601から共有仮想物体602へ移行する際の、他のユーザ4bから見た仮想物体の表示状態を示す。図におけるタイミング(1)、(2)、(3)は、図10Aにおけるタイミング(1)、(2)、(3)にそれぞれ対応している。
図10Bは<表示パターンP3>に従う場合である。この場合は、図8で説明したように、個人仮想物体601に関し、他のユーザ4bに見える位置はユーザ4aに見える位置と同じにする。
タイミング(1)では、ユーザ4bに見える複合現実空間5bにおいては、ユーザ4aの個人仮想物体601は半透明で、共有仮想物体602は濃い色で表示されている。すなわち、共有仮想物体602から個人仮想物体601までの距離d3は、ユーザ4aに見える位置(図10Aにおける距離d1)に等しい。タイミング(2)において、ユーザ4aが個人仮想物体601を共有仮想物体602に近付ける動作を行うことにより、タイミング(3)において両者の仮想物体がマージされ、新たな共有仮想物体602は通常の色で表示される。
これによりユーザ4bは、個人仮想物体601と共有仮想物体602とを容易に識別し、個人仮想物体601から共有仮想物体602がマージされたものであることを容易に認識でき、混乱することがなくなる。
図10Cは、<表示パターンP4>に従う場合である。この場合は、図8で説明したように、個人仮想物体601に関し、他のユーザ4bに見える位置とユーザ4aに見える位置とを異ならせる。すなわちタイミング(1)において、共有仮想物体602から個人仮想物体601までの距離d4は、ユーザ4aに見える位置(図10Aにおける距離d1)よりも小さくする。これにより、ユーザ4bにとっては個人仮想物体601が中空にあるように知覚される。よってユーザ4bは、ユーザ4aの手に隠れることなく個人仮想物体601を観測することができる。
図11は、共有化動作における仮想物体の形状決定を説明する図である。一般に、個人仮想物体601とこれをマージする共有仮想物体602とは形状が異なっている。よって、これらの仮想物体をマージする際には、それぞれの仮想物体の形状の差分のうち、互いに包摂しない箇所に対し、新たな共有仮想物体に採用(結合)するか否かをユーザ4aが順次確認できるようにした。
タイミング(1)において、個人仮想物体601は共有仮想物体602からコピーされたものとする。コピーの後、ユーザ4aの操作により、新たに個人仮想物体601aと個人仮想物体601bが生成され、個人仮想物体601と結合されている。ここで個人仮想物体601、601a、601bの集合体を、コピー元の共有仮想物体602にマージする操作を行う。
タイミング(2)では、第1の差分である個人仮想物体601aを共有仮想物体602に結合するかどうかをユーザ4aが選択する。ここでの選択処理には、ハンドジェスチャ、音声認識などの方法が用いられる。例えば、個人仮想物体601aを共有仮想物体602に結合することを選択したとする。続いてタイミング(3)では、第2の差分である個人仮想物体601bを共有仮想物体602に結合するかどうかを選択する。ここでユーザ4aが個人仮想物体601bの結合を却下したとする。その結果、最終的にタイミング(4)のように、共有仮想物体602には個人仮想物体601aが結合された新たな共有仮想物体の集合体が生成される。
なお、図11においては、新たに生成した個人仮想物体を結合する場合について説明したが、個人仮想物体自身に変更を加えた場合においても、同様の手順で個人仮想物体を共有仮想物体にマージするか否かの選択操作を行うことが可能である。
このように実施例1によれば、複合現実空間において、共有仮想物体と個人仮想物体との切り替えを、操作中のユーザだけでなく他のユーザを含めて、混乱することなく円滑に行うことができる。
実施例2では、実施例1においてサーバ1が行っていた全ての機能を、複合現実表示端末内に内蔵する構成とした。そのため実施例1におけるサーバ1は不要としている。以下、実施例1と異なる点について説明する。
図12は、実施例2に係る複合現実表示システムの全体構成を示すブロック図である。本実施例の複合現実表示システム10’は、ネットワーク2、ユーザ用の複数の複合現実表示端末3c、3bから構成される。このうち複合現実表示端末3cはサーバ機能を内蔵した端末である。
図13Aは、複合現実表示端末(サーバ機能内蔵)3cのハードウェア構成を示す図である。なお、端末3bについては実施例1の図2Aの構成と同じである。端末3cにおいては、サーバ1に備えられていた仮想物体属性情報239、ユーザ認証情報240、機器管理情報241が、ストレージ211に追加して格納される。それぞれのブロックの役割は実施例1の図3Aで説明した通りである。
図13Bは、複合現実表示端末(サーバ機能内蔵)3cのソフトウェア構成を示す図である。なお、端末3bについては実施例1の図2Bの構成と同じである。ここでは、図13Aにおけるメモリ210とストレージ211の構成を示している。
端末3cにおいては、サーバ1に備えられていた仮想物体管理部332、ユーザ管理部333、機器管理部334が、メモリ210に追加して格納される。加えて、サーバ1に備えられていたユーザ位置・方向検知プログラム336、仮想物体属性情報239、ユーザ認証情報240、機器管理情報241が、ストレージ211に追加して格納される。それぞれのブロックの役割は実施例1の図3Bで説明した通りである。
図14は、実施例2における動作シーケンスを示す図である。この動作シーケンスでは、端末3cが、実施例1におけるサーバ1の役割を兼務している。そのため、実施例1(図5)で存在した、端末3aとサーバ1の間の通信が省略されている。すなわち、端末3cにて個人化動作(S104)や共有化動作(S108)が行われると、内蔵する仮想物体属性情報239を更新し(S105,S109)、自身で表示している仮想物体の表示状態を修正する(S106,S110)。また、端末3bに対して更新後の仮想物体データを送信する。それ以外の動作については実施例1(図5)と同一である。
なお、図14では端末3cにて個人化動作や共有化動作を行う場合を示しているが、端末3bにて個人化動作や共有化動作を行った場合には、個人化動作や共有化動作の検知情報は端末3cに送られ、上記と同様に、端末3cにて内蔵する仮想物体属性情報239が更新される。
実施例2によれば、複合現実表示端末がネットワークに接続されていれば、複数のユーザで同一の複合現実空間を共有することができ、仮想物体に対する協力操作を簡易に行うことが可能になる。
また上記の実施例では1台の複合現実表示端末3cがサーバの役割を果たしたが、全ての複合現実表示端末がそれぞれサーバの役割を発揮し、仮想物体属性情報を共通して所持するような構成でも良い。
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1:サーバ、
2:ネットワーク、
3a,3b:複合現実表示端末(端末)、
3c:複合現実表示端末(サーバ機能内蔵)、
4a,4b:ユーザ、
7,8,501,502,601,602:仮想物体、
10,10’:複合現実表示システム、
200:距離センサ、
203,231:通信I/F、
204:インカメラ、
205:アウトカメラ、
206,242:映像出力部、
207,243:音声出力部、
208:入力手段、
209,233:制御部、
210,234:メモリ、
221,235:ストレージ、
239:仮想物体属性情報、
332:仮想物体管理部。
2:ネットワーク、
3a,3b:複合現実表示端末(端末)、
3c:複合現実表示端末(サーバ機能内蔵)、
4a,4b:ユーザ、
7,8,501,502,601,602:仮想物体、
10,10’:複合現実表示システム、
200:距離センサ、
203,231:通信I/F、
204:インカメラ、
205:アウトカメラ、
206,242:映像出力部、
207,243:音声出力部、
208:入力手段、
209,233:制御部、
210,234:メモリ、
221,235:ストレージ、
239:仮想物体属性情報、
332:仮想物体管理部。
Claims (9)
- サーバと、複数のユーザがそれぞれ使用する複数の複合現実表示端末とがネットワークを介して接続され、現実空間に仮想物体を複合させて表示する複合現実表示システムを構成する複合現実表示端末であって、
制御部と、
前記サーバと前記ネットワークを介して通信を行う通信インターフェースと、を備え、
前記複合現実表示システムにおいて、
前記仮想物体には、属性情報により操作権限が与えられた共有仮想物体と、属性情報により特定の複合現実表示端末のみに対し操作権限が与えられた個人仮想物体とがあり、
前記制御部は、ユーザの入力に基づいて前記共有仮想物体と前記個人仮想物体を切替える切替操作指示を生成し、
前記通信インターフェースは、前記サーバに対し、それぞれの複合現実表示端末における仮想物体の表示および操作に必要な仮想物体の属性情報に対する前記切替操作指示に関する情報を送信し、前記切替操作指示に関する情報に基づき更新された属性情報を前記サーバから受信し、
前記制御部は、前記通信インターフェースが前記サーバから受信した属性情報に基づいて制御することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項1に記載の複合現実表示端末において、
前記切替操作指示は、前記共有仮想物体をコピーして前記個人仮想物体を生成する個人化指示か、あるいは前記個人仮想物体をコピー元の前記共有仮想物体にマージする共有化指示かを判定することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項1に記載の複合現実表示端末において、
前記複数の複合現実表示端末のうち、前記ユーザにより前記仮想物体の切り替え動作を受けた複合現実表示端末と、前記ユーザにより前記仮想物体の切り替え動作を受けていない複合現実表示端末とでは、それぞれの複合現実表示端末にて表示する同一の仮想物体に対する前記仮想物体属性情報が異なり、同一の仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記動作検知部により検知した前記ユーザによる切り替え動作の過程において、前記複数の複合現実表示端末では、それぞれ、同一の仮想物体に対して表示する色、または輝度、または形状、または音声を徐々に変化させて表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記ユーザにより前記仮想物体の切り替え動作を受けた複合現実表示端末と、前記ユーザにより前記仮想物体の切り替え動作を受けていない複合現実表示端末とでは、さらに、前記仮想物体と前記ユーザとの距離に応じて、同一の仮想物体を異なる位置に表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記複数の複合現実表示端末には、それぞれ、前記ユーザの視線方向を検知する視線検知部を備え、
前記複合現実表示端末では、前記視線検知部により前記ユーザの視線が前記仮想物体に置かれたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対する表示状態を切り替えることを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記複数の複合現実表示端末には、それぞれ、前記仮想物体との距離を検知する距離検知部を備え、
前記複合現実表示端末では、前記距離検知部により当該複合現実表示端末が前記仮想物体と所定の距離に近づいたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記複数の複合現実表示端末には、それぞれ、前記仮想物体に近づく速度または加速度を検知する速度検知部を備え、
前記複合現実表示端末では、前記速度検知部により当該複合現実表示端末が前記仮想物体に所定の速度または加速度を超えて距離に近づいたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項2に記載の複合現実表示端末において、
前記動作検知部が前記ユーザの動作を前記共有化動作と判定したとき、前記サーバは前記個人仮想物体を前記共有仮想物体にマージする際、それぞれの仮想物体の形状の差分のうち、互いに包摂しない箇所に対し、新たな共有仮想物体に結合するか否かを前記ユーザに確認することを特徴とする複合現実表示システムの複合現実表示端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023191359A JP2024010215A (ja) | 2017-06-06 | 2023-11-09 | 複合現実表示システム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019523238A JP6845322B2 (ja) | 2017-06-06 | 2017-06-06 | 複合現実表示システム |
PCT/JP2017/020951 WO2018225149A1 (ja) | 2017-06-06 | 2017-06-06 | 複合現実表示システム及び複合現実表示端末 |
JP2021028862A JP7116206B2 (ja) | 2017-06-06 | 2021-02-25 | 複合現実表示システム |
JP2022120064A JP7384971B2 (ja) | 2017-06-06 | 2022-07-28 | 複合現実表示システム |
JP2023191359A JP2024010215A (ja) | 2017-06-06 | 2023-11-09 | 複合現実表示システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022120064A Division JP7384971B2 (ja) | 2017-06-06 | 2022-07-28 | 複合現実表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024010215A true JP2024010215A (ja) | 2024-01-23 |
Family
ID=64567088
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523238A Active JP6845322B2 (ja) | 2017-06-06 | 2017-06-06 | 複合現実表示システム |
JP2021028862A Active JP7116206B2 (ja) | 2017-06-06 | 2021-02-25 | 複合現実表示システム |
JP2022120064A Active JP7384971B2 (ja) | 2017-06-06 | 2022-07-28 | 複合現実表示システム |
JP2023191359A Pending JP2024010215A (ja) | 2017-06-06 | 2023-11-09 | 複合現実表示システム |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523238A Active JP6845322B2 (ja) | 2017-06-06 | 2017-06-06 | 複合現実表示システム |
JP2021028862A Active JP7116206B2 (ja) | 2017-06-06 | 2021-02-25 | 複合現実表示システム |
JP2022120064A Active JP7384971B2 (ja) | 2017-06-06 | 2022-07-28 | 複合現実表示システム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10775897B2 (ja) |
EP (2) | EP3650984B1 (ja) |
JP (4) | JP6845322B2 (ja) |
CN (2) | CN110520820B (ja) |
WO (1) | WO2018225149A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7475620B2 (ja) | 2018-08-23 | 2024-04-30 | オージー技研株式会社 | 運動機能回復訓練装置 |
US11651567B2 (en) | 2018-12-13 | 2023-05-16 | Maxell, Ltd. | Display terminal, display control system and display control method |
CN111784271B (zh) * | 2019-04-04 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 基于虚拟对象的用户引导方法、装置、设备及存储介质 |
CN113994335A (zh) * | 2019-05-29 | 2022-01-28 | 麦克赛尔株式会社 | 个人信息显示装置及其处理方法 |
CN111984114B (zh) * | 2020-07-20 | 2024-06-18 | 深圳盈天下视觉科技有限公司 | 基于虚拟空间的多人交互系统及其多人交互方法 |
US11449131B2 (en) * | 2020-07-28 | 2022-09-20 | Qualcomm Incorporated | Obfuscated control interfaces for extended reality |
US11694413B2 (en) * | 2020-08-25 | 2023-07-04 | Spatial Systems Inc. | Image editing and sharing in an augmented reality system |
WO2022060555A1 (en) * | 2020-09-16 | 2022-03-24 | Sterling Labs Llc | Merging computer-generated objects based on extremity tracking data |
CN112330819B (zh) * | 2020-11-04 | 2024-02-06 | 腾讯科技(深圳)有限公司 | 基于虚拟物品的交互方法、装置及存储介质 |
CN112957689A (zh) * | 2021-02-05 | 2021-06-15 | 北京唐冠天朗科技开发有限公司 | 一种训练远程指导系统和方法 |
WO2022230267A1 (ja) * | 2021-04-26 | 2022-11-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 作業支援方法、作業支援装置、および、プログラム |
CN113961082B (zh) * | 2021-12-21 | 2022-10-18 | 潍坊幻视软件科技有限公司 | Ar/mr技术中同步专属虚拟内容的系统和同步方法 |
CN114879885B (zh) * | 2022-04-18 | 2024-03-22 | 上海星阑信息科技有限公司 | 虚拟对象分组控制方法、装置、设备及存储介质 |
WO2024047720A1 (ja) * | 2022-08-30 | 2024-03-07 | 京セラ株式会社 | 仮想画像共有方法および仮想画像共有システム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038746A (ja) * | 2002-07-05 | 2004-02-05 | Toshiba Corp | 画像編集方法および画像編集システム |
SE0601216L (sv) * | 2006-05-31 | 2007-12-01 | Abb Technology Ltd | Virtuell arbetsplats |
US8175420B2 (en) * | 2007-05-14 | 2012-05-08 | Google Inc. | System and method for in-browser photo editing |
JP2010061290A (ja) * | 2008-09-02 | 2010-03-18 | Konica Minolta Holdings Inc | 情報処理方法、情報処理装置およびプログラム |
JP2011070511A (ja) * | 2009-09-28 | 2011-04-07 | Sony Corp | 端末装置、サーバ装置、表示制御方法、及びプログラム |
US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US8866898B2 (en) * | 2011-01-31 | 2014-10-21 | Microsoft Corporation | Living room movie creation |
JP5776201B2 (ja) * | 2011-02-10 | 2015-09-09 | ソニー株式会社 | 情報処理装置、情報共有方法、プログラム及び端末装置 |
US20130335405A1 (en) * | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
US20140368537A1 (en) * | 2013-06-18 | 2014-12-18 | Tom G. Salter | Shared and private holographic objects |
US9398059B2 (en) * | 2013-11-22 | 2016-07-19 | Dell Products, L.P. | Managing information and content sharing in a virtual collaboration session |
WO2015125375A1 (ja) * | 2014-02-18 | 2015-08-27 | ソニー株式会社 | 情報処理装置、制御方法、プログラム、およびシステム |
JP2016045623A (ja) | 2014-08-21 | 2016-04-04 | ソニー株式会社 | 情報処理装置および制御方法 |
US10437938B2 (en) * | 2015-02-25 | 2019-10-08 | Onshape Inc. | Multi-user cloud parametric feature-based 3D CAD system |
EP3062219A1 (en) * | 2015-02-25 | 2016-08-31 | BAE Systems PLC | A mixed reality system and method for displaying data therein |
US20170034227A1 (en) * | 2015-07-31 | 2017-02-02 | Cisco Technology, Inc. | System and methods for an online conference session |
US9818228B2 (en) * | 2015-08-07 | 2017-11-14 | Microsoft Technology Licensing, Llc | Mixed reality social interaction |
-
2017
- 2017-06-06 EP EP17913032.3A patent/EP3650984B1/en active Active
- 2017-06-06 EP EP22196187.3A patent/EP4137918A1/en active Pending
- 2017-06-06 CN CN201780089714.6A patent/CN110520820B/zh active Active
- 2017-06-06 JP JP2019523238A patent/JP6845322B2/ja active Active
- 2017-06-06 US US16/606,797 patent/US10775897B2/en active Active
- 2017-06-06 WO PCT/JP2017/020951 patent/WO2018225149A1/ja unknown
- 2017-06-06 CN CN202310807562.6A patent/CN116841395A/zh active Pending
-
2020
- 2020-08-11 US US16/990,027 patent/US11068072B2/en active Active
-
2021
- 2021-02-25 JP JP2021028862A patent/JP7116206B2/ja active Active
- 2021-06-16 US US17/349,117 patent/US20210311558A1/en active Pending
-
2022
- 2022-07-28 JP JP2022120064A patent/JP7384971B2/ja active Active
-
2023
- 2023-11-09 JP JP2023191359A patent/JP2024010215A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US10775897B2 (en) | 2020-09-15 |
CN116841395A (zh) | 2023-10-03 |
EP4137918A1 (en) | 2023-02-22 |
EP3650984A4 (en) | 2021-01-06 |
CN110520820B (zh) | 2023-07-21 |
EP3650984A1 (en) | 2020-05-13 |
US20200371602A1 (en) | 2020-11-26 |
US20200241647A1 (en) | 2020-07-30 |
JP6845322B2 (ja) | 2021-03-17 |
JPWO2018225149A1 (ja) | 2020-05-28 |
US20210311558A1 (en) | 2021-10-07 |
JP7384971B2 (ja) | 2023-11-21 |
JP2021101345A (ja) | 2021-07-08 |
JP2022153551A (ja) | 2022-10-12 |
CN110520820A (zh) | 2019-11-29 |
EP3650984B1 (en) | 2022-10-26 |
US11068072B2 (en) | 2021-07-20 |
JP7116206B2 (ja) | 2022-08-09 |
WO2018225149A1 (ja) | 2018-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7384971B2 (ja) | 複合現実表示システム | |
CN110832441B (zh) | 用于虚拟、增强和混合现实显示系统的键盘 | |
US10722800B2 (en) | Co-presence handling in virtual reality | |
US11511199B2 (en) | Systems and methods for creating and sharing virtual and augmented experiences | |
JP2023540874A (ja) | 人工現実協働作業環境 | |
US20220092862A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
Carmigniani et al. | Augmented reality technologies, systems and applications | |
Schmitz et al. | A survey of human-computer interaction design in science fiction movies | |
CN117724630A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
CN114402290A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
KR20220012990A (ko) | 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅 | |
US10296359B2 (en) | Interactive system control apparatus and method | |
CN107924234B (zh) | 透视眼镜的辅助物品选择 | |
WO2022169668A1 (en) | Integrating artificial reality and other computing devices | |
US20230254448A1 (en) | Camera-less representation of users during communication sessions | |
EP3062221A1 (en) | Interactive system control apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |