WO2022029959A1 - 仮想現実共有方法及びシステム - Google Patents

仮想現実共有方法及びシステム Download PDF

Info

Publication number
WO2022029959A1
WO2022029959A1 PCT/JP2020/030202 JP2020030202W WO2022029959A1 WO 2022029959 A1 WO2022029959 A1 WO 2022029959A1 JP 2020030202 W JP2020030202 W JP 2020030202W WO 2022029959 A1 WO2022029959 A1 WO 2022029959A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
virtual reality
image
viewer
camera
Prior art date
Application number
PCT/JP2020/030202
Other languages
English (en)
French (fr)
Inventor
治 川前
万寿男 奥
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to CN202080102659.1A priority Critical patent/CN115867944A/zh
Priority to PCT/JP2020/030202 priority patent/WO2022029959A1/ja
Priority to US18/019,898 priority patent/US20230290081A1/en
Priority to EP20948339.5A priority patent/EP4195159A4/en
Priority to JP2022541045A priority patent/JPWO2022029959A1/ja
Publication of WO2022029959A1 publication Critical patent/WO2022029959A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

仮想現実共有システムは、同一の現実空間を異なる視点で撮影して得られた複数のカメラ撮影映像を合成してＶＲ映像を作成するＶＲサーバと、ＡＲオブジェクト（ＡＲＯ）を作画するＡＲサーバと、ＶＲ映像及びＡＲＯを受信し、ＶＲ映像にＡＲＯを重畳表示する視聴者用仮想現実共有端末（端末）とが、ネットワークを介して通信接続されて構成され、端末の入力デバイスが、ＶＲ映像を取り込む視聴者視点の設定入力操作を受け付けると、端末からＶＲサーバ及びＡＲサーバに対して視聴者視点の位置及び向きを示すデータを送信し、視聴者視点から見たＶＲ映像をＶＲサーバから受信すると共に、視聴者視点から見たＡＲＯの描画データをＡＲサーバから受信し、視聴者視点から見たＶＲ映像に描画データに基づくＡＲオブジェクトを重畳して端末のディスプレイに表示する。

Description

仮想現実共有方法及びシステム
　本発明は、仮想現実共有方法及びシステムに係り、現実空間と仮想空間（ＡＲオブジェト：Ａｒｇｕｍｅｎｔ　Ｒｅａｌｉｔｙオブジェクトとも記す）とから成る複合現実（ＭＲ：Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）空間を複数の人で共有する方法及びシステムに関する。
　特許文献１には、「第１のユーザが装着している第１ステレオ撮影部のステレオ映像と、前記第１ステレオ撮影部の位置姿勢に基づく仮想物体画像とに基づく第１ステレオ画像を取得する第１画像取得工程と、前記第１のユーザが存在する空間に設置されている第２ステレオ撮影部のステレオ映像と、前記第２ステレオ撮影部の位置姿勢に基づく仮想物体画像とに基づく第２ステレオ画像を第２画像取得工程と、前記第１ステレオ画像及び前記第２ステレオ画像から、前記第２のユーザの指示に応じた画像を選択する選択工程と、前記選択された画像を前記第２のユーザに提示する提示工程を有する（要約抜粋）」技術が開示されている。
特開２００６－２９３６０４号公報
　特許文献１によれば、リモートサイトにいる視聴者がＭＲ空間を共有するために、体験者（作業者）のＨＭＤに加えて、現実空間に配置した固定カメラを用いて、視聴者の視線を体験者のＨＭＤ、及び固定カメラのいずれから選択し、選択した視線からＭＲ空間を共有することができる。
　しかしながら特許文献１では、リモートサイトにいる視聴者は、体験者のＨＭＤ、あるいは固定カメラのいずれかの固定した視線でしかＭＲ空間を共有できない。したがって、視聴者は限られた視線でしかＭＲ空間を共有できないという課題がある。
　本発明は上記課題に鑑みてなされたものであり、視聴者がＭＲ空間を共有する視線の選択自由度を増やすことにある。
　上記課題を解決するために、本発明は特許請求の範囲に記載の構成を備える。その一例をあげるならば、仮想現実共有方法は、第１仮想現実共有端末の第１視点で現実空間を撮影して生成した第１カメラ撮影映像を取得するステップと、前記第１仮想現実共有端末に対して前記現実空間に重畳するＡＲオブジェクトを表示させる第１表示ステップと、前記第１視点とは異なる第２視点で前記現実空間を撮影して生成された第２カメラ撮影映像を取得するステップと、前記第１カメラ撮影映像及び前記第２カメラ撮影映像を合成してＶＲ映像を生成するＶＲ映像作成ステップと、第２仮想現実共有端末において受け付けた、前記ＶＲ映像を取り込む視聴者視点の設定入力情報を取得する視点取得ステップと、前記視聴者視点から見た前記ＶＲ映像に、前記視聴者視点から見た前記ＡＲオブジェクトを重畳して前記第２仮想現実共有端末に表示させる第２表示ステップと、を含むことを特徴とする。
　本発明によれば、視聴者がＭＲ空間を共有する視線の選択自由度を増やすことができる。上記した以外の目的、構成、効果については、以下の実施形態において明らかにされる。
第１実施形態に係る仮想現実共有システムの概略図 仮想現実共有端末である体験者用ＨＭＤ及び参加者用ＨＭＤの外観図 仮想現実共有端末である視聴者用ＨＭＤの外観図 体験者用ＨＭＤのブロック図 参加者用ＨＭＤのブロック図 視聴者用ＨＭＤのブロック図 ＶＲサーバのブロック図 ＡＲサーバのブロック図 体験者及び参加者用ＨＭＤの位置検出の例を説明する図 ＶＲ映像の生成について説明する図 ＶＲ映像の正規化処理を説明する図 ＭＲ体験プログラムのフローチャート ＭＲ参加プログラムのフローチャート ＡＲオブジェクトの位置に関する補足説明する図 ＭＲ視聴プログラムのフローチャート ＶＲ作成プログラムのフローチャート ＡＲ作画プログラムのフローチャート 視聴者が視点の位置を選択する方法の一例を示した図 第２実施形態の仮想現実共有システムの概略図 第２実施形態の仮想現実共有システムの変形例の概略図 第３実施形態の仮想現実共有システムの参加者用ＨＭＤのブロック図 第３実施形態のＭＲ参加プログラムのフローチャート 第４実施形態の仮想現実共有システムの概略図 第４実施形態のＡＲ作画プログラムのフローチャート
　以下、図面を参照しながら、本発明の実施形態について説明する。全図において同一の構成、ステップには同一の符号を付し、重複説明を省略する。
　カメラで撮影する現実空間の背景映像にＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で作成したＡＲオブジェクトを付与することが、ゲームや遠隔医療、保守作業等のコンテンツに用いられている。ＡＲオブジェクトを付与するために、ＡＲトリガーあるいはマーカと呼ばれる現実物体の映像を背景映像と同時にカメラで撮影して、ＡＲトリガーあるいはマーカに紐付けられたＡＲオブジェクトを背景映像に合成する。
　特に複合現実（ＭＲ：Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）では、カメラとディスプレイとが一体化されたＨＭＤ（ヘッドマウントディスプレイ）を用いて、ＨＭＤに装備したカメラで撮影する背景映像、あるいはＨＭＤを透過して見る背景映像に重ねて、ＨＭＤの位置及びＨＭＤの向き等に応じて描画するＡＲオブジェクトを、仮想空間の映像としてＨＭＤに表示する。
　本実施形態は、仮想空間の映像のうち、ＨＭＤを装着した人の動きに合わせて超広域（例えば３６０°）空間の画像を連続して表示するＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）により、映像による疑似体験を提供し、その疑似体験を複数人で共有する態様である。
［第１実施形態］
（システム構成とＨＭＤ）
　図１は、第１実施形態に係る仮想現実共有システム１００の概略図である。
　仮想現実共有システム１００は、ＡＲオブジェクト４ｂの操作権を有する体験者１１と、体験者１１と同一の現実空間に存在してＡＲオブジェクト４ｂを視認する参加者１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ｅと、体験者１１、及び参加者１２ａ～１２ｅとは異なる現実空間（リモートサイト）に存在する視聴者１３ａ、１３ｂ、１３ｃとの間で、ＭＲ空間６を含む仮想空間を共有するシステムである。同一の現実空間に存在する体験者１１と参加者１２ａ～１２ｅだけでなく、リモートサイトにいる視聴者１３ａ～１３ｃもＭＲ空間６を含む仮想現実を共有して体験できる点に特徴がある。
　ＭＲ空間６では、現実物体４ａに、これをＡＲマーカとして紐づけられたＡＲオブジェクト４ｂが重畳表示される。図１は、現実物体４ａは新商品の非操作機器であり、ＡＲオブジェクト４ｂは、操作手段である。そしてＡＲオブジェクト４ｂで新商品の操作方法を、体験者１１が実演しながら説明している例である。
　体験者１１が装着する体験者用ＨＭＤ１（以下、「ＨＭＤ１」と略記することがある。）と、参加者１２ａ～１２ｅのそれぞれが装着する参加者用ＨＭＤ２ａ～２ｅ（以下、「ＨＭＤ２ａ～２ｅ」と略記することがある。）のそれぞれとは、ＭＲ空間６に設置されたアクセスポイント５ａ～５ｃとの間でネットワーク信号１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ、１０ｇ、１０ｈ、１０ｉを送受信する。体験者用ＨＭＤ１及び参加者用ＨＭＤ２ａ～２ｅは仮想現実共有端末である。
　視聴者１３ａが操作する視聴者用情報端末３ａ（以下「情報端末３ａ」と略記することがある。）と、視聴者１３ｂ、１３ｃのそれぞれが装着する視聴者用ＨＭＤ３ｂ、３ｃ（以下、「ＨＭＤ３ｂ、３ｃ」と略記することがある。）とは、アクセスポイント５ｄ、５ｅとの間でネットワーク信号１０ｊ、１０ｋ、１０ｌ、１０ｍ、１０ｎを送受信する。視聴者用情報端末３ａ、視聴者１３ｂ、１３ｃも仮想現実共有端末である。
　アクセスポイント５ａ～５ｃは、ＭＲ空間６の外のネットワーク７に接続され、ネットワーク７上に置かれているＶＲサーバ８、ＡＲサーバ９と、ＨＭＤ１、２ａ～２ｅとが通信する仲介媒体となる。またネットワーク７上には、リモートサイトのアクセスポイント５ｄ、５ｅも置かれ、ＶＲサーバ８、ＡＲサーバ９と、視聴者用ＨＭＤ３ｂ、３ｃ、及び情報端末３ａとが通信する仲介媒体となる。
　ＡＲオブジェクト４ｂは、ＨＭＤ１、２ａ～２ｅ、３ｂ、３ｃでは３次元表示されるので、現実物体４ａとＡＲオブジェクト４ｂの前後等の位置関係が反映された現実感のある表示が実現できる。
　図２Ａは、仮想現実共有端末である体験者用ＨＭＤ１及び参加者用ＨＭＤ２ａ～２ｅの外観図、図２Ｂは、仮想現実共有端末である視聴者用ＨＭＤ３ｂ、３ｃの外観図である。
　はじめに、体験者用ＨＭＤ１、参加者用ＨＭＤ２ａ～２ｅ、及び視聴者用ＨＭＤ３ｂ、３ｃに共通する構成について説明する。体験者用ＨＭＤ１、参加者用ＨＭＤ２ａ～２ｅ、及び視聴者用ＨＭＤ３ｂ、３ｃのそれぞれは、左プロジェクタ２２ａ、右プロジェクタ２２ｂ、スクリーン２３、ノーズパッド２４、プロセッサ２５、スピーカ２６、マイク２７、左つる２８ａ、右つる２８ｂ、ブリッジ２８ｃを含む。左つる２８ａ、右つる２８ｂ、ブリッジ２８ｃを総称してフレーム筐体２８ともいう。装着者は、フレーム筐体２８とノーズパッド２４で、ＨＭＤを自身の顔部に装着する。
　また体験者用ＨＭＤ１、参加者用ＨＭＤ２ａ～２ｅは、カメラ２１及び測距カメラ２９を更に備える。カメラ２１はＨＭＤ装着者の視線前方の現実空間である背景映像を撮影するように取り付けられており、測距カメラ２９は背景映像の一部として捉える現実物体４ａまでの距離を測定する。
　体験者用ＨＭＤ１、参加者用ＨＭＤ２ａ～２ｅでは、ＨＭＤ装着者は、前方の現実空間の背景映像を、スクリーン２３を透過して見る、もしくは装着しているカメラ２１で撮影した背景映像をスクリーン２３に映してして見る。また左プロジェクタ２２ａ及び右プロジェクタ２２ｂは、ＡＲオブジェクト４ｂを、左目で確認する映像と右目で確認する映像として、スクリーン２３に投影して、あたかも現実空間の所定の距離にＡＲオブジェクト４ｂがあるように立体的に表示する。視聴者用ＨＭＤ３ｂ、３ｃでは、後記するＶＲ映像とＡＲオブジェクト４ｂを重畳して表示する。
　ＨＭＤでの表示では、現実物体４ａとＡＲオブジェクト４ｂの距離の前後関係に基づき、現実物体４ａの一部分がＡＲオブジェクト４ｂの一部分の前にある関係にある時、現実物体４ａの一部分にＡＲオブジェクト４ｂの一部分が隠されて見えるように、ＡＲオブジェクトの描画データを加工するオクルージョン処理を行い、現実感を増したＭＲ空間の映像を表示する。
　プロセッサ２５、カメラ２１、スピーカ２６、マイク２７は、フレーム筐体２８に配置される。なお、配置場所は図２Ａ、図２Ｂの通りでなくてもよい。
（３次元仮想現実表示装置のブロック図）
　図３は、体験者用ＨＭＤ１のブロック図である。図３にて、プロセッサ２５は破線で囲った部分であり、プロセッサ２５に、カメラ２１、測距カメラ２９、左プロジェクタ２２ａ、右プロジェクタ２２ｂ、スクリーン２３、スピーカ２６、マイク２７、方位センサ２５０、ジャイロセンサ２５１、加速度センサ２５２のそれぞれが接続される。
　プロセッサ２５は、ＣＰＵ２５４、ＲＡＭ２５５、映像ＲＡＭ２５６、ＦＲＯＭ２５７、特徴抽出プロセッサ２６０、距離算出プロセッサ２６１、方位センサ２５０、ジャイロセンサ２５１、加速度センサ２５２、及び内部バス２６２含み、各要素が内部バス２６２を介して互いに接続される。なお方位センサ２５０、ジャイロセンサ２５１、加速度センサ２５２はプロセッサ２５に含まれない構成の場合もある。
　左プロジェクタ２２ａ及び右プロジェクタ２２ｂのそれぞれは、左目の画像と右目の画像を独立にスクリーン２３に投影させ、映像の三次元表示を行う。別態様として、ホログラフィックレンズを用いた光学系のような三次元表示できる他の表示デバイスであっても良い。
　無線通信器２５３は、４Ｇ、５Ｇ等のモバイル通信、ワイアレスＬＡＮ等の幾つかの通信処理の中から適切な処理を選択して、アクセスポイント５ａ、５ｂ、５ｃのいずれかを介してＨＭＤ１をネットワーク７に接続する。
　ＦＲＯＭ２５７には、処理プログラムとして、基本プログラム２５８、及びＭＲ体験プログラム２５９が含まれる。これら処理プログラムは、ＣＰＵ２５４がＲＡＭ２５５に展開して実行する。更にＦＲＯＭ２５７には、処理プログラムを実行するのに必要なデータを格納する。ＦＲＯＭ２５７は、図示した様にひとつのメモリ媒体であっても、複数のメモリ媒体で構成しても良い。更にはＦｌａｓｈ　ＲＯＭ以外の不揮発性のメモリ媒体であっても良い。
　また左プロジェクタ２２ａ及び右プロジェクタ２２ｂに送出する映像データは、ＣＰＵ２５４が映像ＲＡＭ２５６に格納し、ＣＰＵ２５４が映像ＲＡＭ２５６から読み出して左プロジェクタ２２ａ及び右プロジェクタ２２ｂからスクリーン２３に投射する。
　特徴抽出プロセッサ２６０は、カメラ２１で撮影する背景映像から現実物体の輪郭（エッジ）を抽出し、輪郭の変曲点や頂点を特徴点とする処理を行う。これらの特徴点に対して、距離算出プロセッサ２６１で得る距離データを組み合わせる。輪郭を構成する特徴点データの集合は、背景映像に紐づける。
　方位センサ２５０、ジャイロセンサ２５１、加速度センサ２５２は、ＨＭＤ１の位置やカメラの撮影方向（体験者１１の視線に等しい）のトレース等に用いる。後記する配置位置が既知のアクセスポイント５ａ、５ｂ，５ｃを使って得る位置と、方位センサ２５０、加速度センサ２５２で得る上下、左右の視線方向を得、ジャイロセンサ２５１等でＨＭＤ１の動きをトレースして、ＨＭＤ１の装着者（体験者１１）が動いたことによる位置及び方向の変化を検知する。
　図４は、参加者用ＨＭＤ２ａ～２ｅのブロック図である。図４では、ＦＲＯＭ２５７に基本プログラム２５８とＭＲ参加プログラム２６３を格納する。ＨＭＤ２ａ～２ｅは、ハードウェアとしてはＨＭＤ１と同じで、ＨＭＤ１のＭＲ体験プログラム２５９に代えて応用プログラムであるＭＲ参加プログラム２６３を格納する点において異なる。
　図５は、視聴者用ＨＭＤ３ｂ、３ｃのブロック図である。図５では、カメラ２１と測距カメラ２９が省かれており、ＦＲＯＭ２６４に基本プログラム２６５とＭＲ視聴プログラム２６６が格納される。また、左プロジェクタ２２ａ、右プロジェクタ２２ｂ、スクリーン２３に代わり、没入型（非透過型・遮蔽型）のディスプレイ３０を備える。
　図６は、ＶＲサーバ８のブロック図である。図６にて、ＶＲサーバ８は、有線ＬＡＮ等のネットワークインターフェース（ネットワークＩＦ）８１、ＣＰＵ８２、ＲＡＭ８３、ストレージ８４、内部バス８７を含み、各構成要素が内部バス８７を介して互いに接続される。
　ストレージ８４はＦｌａｓｈ　ＲＯＭのほか、ハードディスクドライブ等で構成してもよい。ストレージ８４は、処理プログラムとして、ＶＲ作成プログラム８５を含み、ＣＰＵ８２がＲＡＭ８３に展開して実行する。更にストレージ８４はＶＲデータ８６を含み、処理プログラムを実行するのに必要なデータを格納する。
　図７は、ＡＲサーバ９のブロック図である。図７にて、ＡＲサーバ９は、有線ＬＡＮ等のネットワークＩＦ９１、ＣＰＵ９２、ＲＡＭ９３、ストレージ９４、及び内部バス９７を含み、各構成要素が内部バス９７を介して互いに接続される。
　ストレージ９４はＦｌａｓｈ　ＲＯＭのほか、ハードディスクドライブ等で構成してもよい。ストレージ９４は、処理プログラムとして、ＡＲ作画プログラム９５を含み、ＣＰＵ９２がＲＡＭ９３に展開して実行する。更にストレージ９４はＡＲデータ９６を含み、処理プログラムを実行するのに必要なデータを格納する。またＡＲデータ９６として、過去に作成したＡＲオブジェクトをアーカイブしておき、処理プログラムの実行中に体験者に利用を促すようにしてもよい。
（ＶＲ映像の生成）
　図８は、体験者１１及び参加者１２ａ～１２ｅが装着するＨＭＤ１、２ａ～２ｅの位置検出方法の例を説明する図である。図８にて、ＨＭＤ１、２ａ～２ｅの位置検出するために、ＭＲ空間６に設置されていて、設置位置が既知のアクセスポイント５ａ～５ｃを用いる。ＨＭＤ１、２ａ～２ｅの位置算出方法は同じなので、以下ではＨＭＤ１を例に挙げて説明する。
　Ｐ点の位置にＨＭＤ１がある時、アクセスポイント５ａ～５ｃからネットワーク信号１０ｇ～ｉを受信し、その強度からアクセスポイント５ａ～５ｃとの距離を算出する。図８では、アクセスポイント５ａまでの距離がｒ１、アクセスポイント５ｂまでの距離がｒ２、アクセスポイント５ｃまでの距離がｒ３であり、アクセスポイント５ａから距離がｒ１の球面、アクセスポイント５ｂから距離がｒ２の球面、アクセスポイント５ｃから距離がｒ３の球面が交差する面上の１ポイントがＰ点となり、ＭＲ空間６内の存在範囲が絞られる。これらの受信強度の情報に加えて、ＨＭＤ１を搭載している頭部の高さや、カメラ２１から見える画像、各種センサからの情報により、Ｐ点の位置を特定することができる。
　ＨＭＤ１がＰ点にある時、ＨＭＤ１の向く方法、すなわち体験者１１の視線方向は、方位センサ２５０により左右方向が、加速度センサ２５２により上下方向が決まる。
　体験者１１は、ＭＲ体験中に位置を移動し、頭部を動かして視線を変える。これらの変化は、加速度センサ２５２、ジャイロセンサ２５１等により移動をトレースする。移動後ＨＭＤ１が静止状態にあることを検出した時、再度アクセスポイント５ａ～５ｃを用いた位置検出等を行い、センサによるトレースでの累積誤差をリセットしてもよい。
　ＨＭＤ１の位置や方向の算出方法としては、上記の方法に限定させるものではない。例えばアクセスポイント５ａ～５ｃに変え映像マーカを利用し、装備するカメラ２１に加え、測距カメラ２９を併用し、映像マーカをカメラ２１で捉え、測距カメラ２９で映像マーカまでの距離を得る方法、カメラ２１で捉える映像マーカの変化から移動を算出する方法等を利用してもよい。
　図９は、ＶＲ映像の生成方法を説明する図である。
　ＶＲ映像は、体験者用ＨＭＤ１及び参加者用ＨＭＤ２ａ～２ｅのカメラで撮影する映像を、半径Ｒの上半天球面に貼り付けることにより生成する。体験者用ＨＭＤ１及び参加者用ＨＭＤ２ａ～２ｅのうち、Ｅ点の位置にあるいずれかのＨＭＤが上半天球面のＰＥ点を向いて撮影しているときに、ＰＥ点を中心とする領域にカメラ撮影映像を貼り付ける。同様にＦ点の位置にあるＨＭＤが上半天球面のＰＦ点を向いて撮影しているときに、ＰＦ点を中心とする領域にカメラ撮影映像を貼り付ける。２つの領域が重なっている部分では、カメラ撮影映像に写っている物体の境界で領域を接合して、連続したＶＲ映像とする。この処理を体験者用ＨＭＤ１、参加者用ＨＭＤ２ａ～２ｅすべてに対して行う。この結果、上半天球の全域ではなくても、体験者１１、参加者１２ａ～１２ｅの視線のある領域に対して映像が貼り付けられたＶＲ映像を得ることができる。
　なお、重なっている２つの領域を接合するとき、境界にある物体の大きさや位置が整合するように、ＨＭＤの位置、方向を微調整するように修正して、修正結果をＨＭＤの位置、方向データとして用い、ＨＭＤの位置、方向の精度を向上させることができる。
　図１０は、ＶＲ映像の正規化について説明する図である。
　図１０では、Ｈ点からＫ点を撮影している場合と、Ｇ点からＫ点を撮影している場合とを示している。２つの場合において、カメラ２１の撮影画角は同一であるため、距離の近いＧ点から撮影する方が、撮影領域は狭くなる。逆に言えば、同一の被写体であれば、撮影画面の中で大きく写っている。ＧＫ間距離をｄ２、ＨＫ間距離をｄ１とすると、Ｇ点から撮影した映像Ｐ２を、Ｋ点を中心とする領域に貼り付ける場合、あたかも上半天球面のＨ点から撮影した映像に変換することにより視聴者用ＶＲ映像を生成する。２つの撮影範囲の比率はｄ２／ｄ１であり、この比率でＧ点から撮影した映像Ｐ２を正規化して、正規化した映像を得る。正規化した映像Ｐ２の表示領域は、Ｈ点から実際に撮影して得る映像の領域Ｐ１に比べて小さなものとなる。
（ＭＲ体験プログラム）
　図１１は、ＭＲ体験プログラム２５９のフローチャートである。
　ＨＭＤ１が起動し、ＭＲ空間６の共有のために、ユーザ管理処理にログインする（Ｓ１０１）。ユーザ管理処理は図１のシステム構成には図示されていないが、独立にサーバを設けてもいいし、ＶＲサーバ８やＡＲサーバ９にその機能を備えさせてもよい。ユーザ管理処理にログインすると、ＶＲサーバ８やＡＲサーバ９に体験者１１として登録される。
　ＨＭＤ１のカメラ２１及び測距カメラ２９で撮影を開始する（Ｓ１０２）。カメラ撮影映像には、現実物体への距離データが含まれる。カメラ撮影は、例えば３０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）で動画撮影をして、撮影映像をキャプチャするようにしてよく、以降のステップは、カメラ撮影周期に同期して実行してもよい。
　ＨＭＤ１は、ＭＲ空間６内のＨＭＤ１の位置を検出する（Ｓ１０３）。
　ＨＭＤ１は、ＨＭＤ１のカメラ２１の撮影方向を検出する（Ｓ１０４）。ＨＭＤ１の位置情報及び検出した撮影方向はカメラ撮影映像のメタデータとなる。
　Ｓ１０５とＳ１１１からは、２つのプロセスに分かれて並列処理される。Ｓ１０５～Ｓ１１０はＡＲサーバ９との処理に関するプロセスであり、Ｓ１１１～Ｓ１１３はＶＲサーバ８との処理に関するプロセスである。
　Ｓ１０５では、ＨＭＤ１の位置と撮影方向のデータをＨＭＤ１からＡＲサーバ９に送信する。
　ＨＭＤ１は、ＭＲ体験に使用するＡＲオブジェクトを、例えばＡＲサーバ９に保存されているリストから選択し、表示するデータとして生成する（Ｓ１０６）。
　ＨＭＤ１は、選択したＡＲオブジェクトの描画データを受信し、ＨＭＤ１のスクリーン２３に表示させる（Ｓ１０７）。
　体験者１１が表示されたＡＲオブジェクト４ｂに対して操作を行うと（Ｓ１０８）、行った操作内容を示すＭＲ空間６内の配置位置、大きさ、向きなどのパラメータを設定する。配置位置、方向等のパラメータは、ＨＭＤ１の位置、及び方向を基準として相対的な値である。ＨＭＤ１は、設定したパラメータをＡＲサーバ９に送信し、ＡＲサーバ９は、パラメータが反映されたＡＲオブジェクト４ｂの描画データをＨＭＤ１に送信する。
　ＨＭＤ１は、設定したパラメータが反映されたＡＲオブジェクト４ｂの描画データを受信し、表示する（Ｓ１０９）。ＨＭＤ１は、表示に際し、現実物体４ａとＡＲオブジェクト４ｂの距離関係に基づき、現実物体４ａの一部分がＡＲオブジェクト４ｂの一部分の前にある関係にある時、現実物体４ａの一部分にＡＲオブジェクト４ｂの一部分が隠されて見えるように、ＡＲオブジェクト４ｂの描画データを加工する処理を行う。
　複数のＡＲオブジェクトは一つのステップで処理をしてもよく、一つのステップで限られた数のＡＲオブジェクトを処理するようにして、カメラ撮影周期の複数周期に渡って、全体のＡＲオブジェクトの処理を行ってもよい。一度生成されたＡＲオブジェクトは、体験者１１が取り消しを行わない限り、ＭＲ空間６に留まる。体験者１１が移動して、位置や方向が変化した場合は、Ｓ１０９で受信する描画されたＡＲオブジェクトのデータは、既に生成されたＡＲオブジェクトのすべてを含むものである。Ｓ１１０でカメラ撮影の周期（Ｔｉｍｅ）の到来を判定し、未到来（Ｓ１１０：Ｎｏ）でＳ１０６に戻り、到来（Ｓ１１０：Ｙｅｓ）では、プログラムの終了を判定する（Ｓ１１４）。
　Ｓ１０５～Ｓ１１０と並行して、ＨＭＤ１は、ＨＭＤ１の位置と撮影方向のデータと（Ｓ１１１）、カメラ撮影映像データをＶＲサーバ８に送信する（Ｓ１１２）。カメラ撮影映像データは、カメラ２１で撮影した背景映像と、測距カメラ２９で測定した現実物体４ａとの距離データである。
　ＨＭＤ１は、カメラ撮影周期を判定し（Ｓ１１３）、到来を待って（Ｓ１１３：Ｙｅｓ）、プログラムの終了を確認し（Ｓ１１４）、終了しない場合は（Ｓ１１４：Ｎｏ）、次のカメラ周期でＳ１０３からのステップを継続する。終了する場合（Ｓ１１４：Ｙｅｓ）では、一連の処理を終了する。
　図１２は、ＭＲ参加プログラム２６３のフローチャートである。図１２の処理は、参加者用ＨＭＤ２ａ～２ｅにおいて実行される。以下では、ＨＭＤ２ａを例に挙げて説明する。
　参加者用ＨＭＤ２ａを装着する参加者２ａは、ＭＲ体験共有のために、ユーザ管理処理にログインする（Ｓ１２１）。ユーザ管理処理にログインすると、ＶＲサーバ８やＡＲサーバ９に参加者として登録される。
　ＨＭＤ２ａは、ＨＭＤ２ａに搭載されたカメラ２１でカメラ撮影を開始する（Ｓ１２２）。以降のステップは、カメラ撮影周期に同期して行ってもよい。
　ＨＭＤ２ａは、ＭＲ空間６内のＨＭＤ２ａの位置を検出する（Ｓ１２３）。
　またＨＭＤ２ａは、ＨＭＤ２ａのカメラ撮影方向（参加者の視線）を検出し（Ｓ１２４）、カメラ撮影映像と紐付ける。
　Ｓ１２５～Ｓ１２７はＡＲサーバ９との処理に関するプロセスであり、Ｓ１２８～Ｓ１２９はＶＲサーバ８との処理に関するプロセスである。
　ＨＭＤ２ａは、ＡＲサーバ９にＨＭＤ２ａの位置と方向のデータを送信し（Ｓ１２５）、体験者が生成したＡＲオブジェクトの描画データをＡＲサーバ９から受信し（Ｓ１２６）、ＨＭＤ２ａのスクリーン２３に表示させる（Ｓ１２７）。
　受信するＡＲオブジェクト４ｂの描画データは、Ｓ１２５で送信したＨＭＤ２ａの位置と方向のデータに基づいて、参加者用ＨＭＤ２ａに合わせて描画したデータである。
　表示に際し、ＨＭＤ２ａは、現実物体４ａとＡＲオブジェクト４ｂの距離関係に基づき、現実物体４ａの一部分がＡＲオブジェクト４ｂの一部分の前にある関係にある時、現実物体４ａの一部分にＡＲオブジェクト４ｂの一部分が隠されて見えるように、ＡＲオブジェクト４ｂの描画データを加工する処理を行う。
　図１３は、ＡＲオブジェクト４ｂの位置に関する補足説明する図である。
　体験者１１がＴの位置にいて、Ｕの位置にＡＲオブジェクト４ｂを生成する。Ｔ点からＵ点までのベクトルＶｔｕの大きさが体験者１１とＡＲオブジェクト４ｂの距離である。この時、参加者１２ａがＳの位置にいてＡＲオブジェクト４ｂを観測するとする。体験者１１の位置Ｔと参加者１２ａの位置Ｓとの間のベクトルをＶｔｓとすると、参加者１２ａの位置ＳとＡＲオブジェクト４ｂの位置Ｕとの間のベクトルＶｓｕは、（ベクトルＶｔｕ－ベクトルＶｔｓ）で与えられる。したがって、参加者１２ａとＡＲオブジェクト４ｂの距離は、ベクトルＶｓｕ大きさで求められ、参加者用ＨＭＤ２ａの表示では、ベクトルＶｓｕ大きさで得るＡＲオブジェクト４ｂの距離と測距カメラ２９で得る現実物体までの距離の前後関係を評価する。
　Ｓ１２５～Ｓ１２７と並行して、ＨＭＤ２ａは、ＨＭＤ２ａの位置と撮影方向のデータと（Ｓ１２８）、カメラ撮影映像データをＶＲサーバ８に送信する（Ｓ１２９）。
　ＨＭＤ２ａは、カメラ撮影周期を判定し（Ｓ１３０）、到来を待って（Ｓ１３０：Ｙｅｓ）、プログラムの終了を確認し（Ｓ１３１）、終了しない場合は（Ｓ１３１：Ｎｏ）、次のカメラ周期でＳ１２３からのステップを継続する。プログラムを終了すると（Ｓ１３１：Ｙｅｓ）、一連の処理が終了する。
（ＭＲ視聴プログラム）
　図１４は、ＭＲ視聴プログラム２６６のフローチャートである。図１４の処理は、視聴者用情報端末３ａ、視聴者用ＨＭＤ３ｂ、３ｃにおいて実行される。以下では、ＨＭＤ３ｂを例に挙げて説明する。
　視聴者用ＨＭＤ３ｂを装着する視聴者１３ｂは、ＭＲ体験共有のために、ユーザ管理処理にログインする（Ｓ１４１）。ユーザ管理処理にログインすると、ＶＲサーバ８やＡＲサーバ９に視聴者として登録される。
　ＨＭＤ３ｂは、ＡＲオブジェクト４ｂの描画データ（ＡＲオブジェクト４ｂの初期データ）をＡＲサーバ９から受信する。それと並行して、ＨＭＤ３ｂは、ＶＲ映像データ（ＶＲの初期データ）をＶＲサーバ８から受信する（Ｓ１４３）。
　ＨＭＤ３ｂは、ＡＲオブジェクト４ｂとＶＲ映像をＨＭＤ３ｂのディスプレイ３０に表示する（Ｓ１４４）。
　これらのステップのＡＲオブジェクト４ｂ、及びＶＲ映像は、例えば、ＨＭＤ３ｂをデフォルトの起点、例えば上半天球面上で、体験者１１と対抗する位置、方向にあるものとして表示する。
　ＶＲ映像データには、現実物体４ａごとに、撮影したＨＭＤ１、２ａ～２ｅの位置と方向のメタデータと現実物体４ａまでの距離データが含まれる。ＶＲサーバ８は、撮影したＨＭＤ１、２ａ～２ｅの位置と視聴者用ＨＭＤ３ｂの視聴者用視点の視点位置（視点位置は、視聴者の頭部の動きを検知して得る）との関係から、現実物体４ａまでの距離を算出する。
　そして、ＡＲサーバ９は、ＡＲオブジェクト４ｂの位置と現実物体４ａと視聴者用ＨＭＤ３ｂの視点位置との関係からＡＲオブジェクト４ｂとの距離を修正する。その際、現実物体４ａの一部分がＡＲオブジェクト４ｂの一部分の前にある関係にある時、現実物体４ａの一部分にＡＲオブジェクト４ｂの一部分が隠されて見えるように、ＡＲサーバ９は、ＡＲオブジェクト４ｂの描画データの加工処理を行う。
　なお、ＨＭＤ３ｂのデフォルトの位置と方向は、視聴者１３ｂが設定する位置と方向に変更して、ＭＲ視聴プログラムの立ち上げに際し、変更された位置と方向を起点として用いてもよい。
　視聴者１３ｂは、ＶＲ映像を見ながら頭部を動かすことによって、視点及び視線を移動させる。頭部を左に回転させたことをＨＭＤ３ｂが検出すると、ＶＲサーバ８は、相対的にＶＲ映像を右にシフトさせる。頭部を前に動かしたことをＨＭＤ３ｂが検出すると、ＨＭＤ３ｂはＶＲ映像を拡大表示する。これにより、視聴者１３ｂがあたかも近づいたようなＭＲ体験が演出できる。
　ＨＭＤ３ｂは、視聴者１３ｂの頭部の動きを、方位センサ２５０、ジャイロセンサ２５１、加速度センサ２５２等から検出する。検出した動き情報を、ＡＲサーバ９に送信すると共に（Ｓ１４６）、ＶＲサーバ８にも送信する（Ｓ１４８）。
　ＨＭＤ３ｂは、送信した動き情報をもとに、視聴者１３ｂのＨＭＤ３ｂの視点の位置、方向から見るＡＲオブジェクト４ｂの更新データを受信する（Ｓ１４７）。一方、ＨＭＤ３ｂは、視聴者１３ｂのＨＭＤ３ｂの視点の位置、方向から見るＶＲ映像の更新データをＶＲサーバ８から受信する（Ｓ１４９）。
　ＨＭＤ３ｂは、Ｓ１４４と同様に、現実物体４ａとＡＲオブジェクト４ｂの距離関係を考慮して、ＡＲオブジェクト４ｂとＶＲ映像を重畳表示する（Ｓ１５０）。これにより視聴者１３ｂは、ＭＲ体験の視聴を行う。
　画像フレームの更新単位（フレームレート）から表示周期を判定し（Ｓ１５１）、到来を待って（Ｓ１５１：Ｙｅｓ）、ＭＲ視聴プログラムの終了を確認し（Ｓ１５２）、終了しない場合は（Ｓ１５２：Ｎｏ）、次の表示周期でＳ１４５からのステップを継続する。ＭＲ視聴プログラムを終了する場合（Ｓ１５２：Ｙｅｓ）は、一連の処理を終了する。
　図１５は、ＶＲ作成プログラム８５のフローチャートである。
　登録された体験者１１、参加者１２ａ～１２ｅと視聴者１３ａ～１３ｃの情報端末３ａ及びＨＭＤ３ｂ、３ｃに対して各種処理が提供される。ＶＲ作成プログラム８５による処理は、Ｓ１６１～Ｓ１６５の受信プロセスとＳ１６５～Ｓ１７１の送信プロセスから成る。
　受信プロセスは、ＶＲサーバ８が体験者１１、及び参加者１２ａ～１２ｅのＨＭＤ１、２ａ～２ｅに対して提供する。
　ＶＲサーバ８は、ＨＭＤ１、２ａ～２ｅのカメラ撮影映像データを受信し（Ｓ１６１）、合わせて各カメラ撮影映像を生成したＨＭＤの位置、方向データを受信する（Ｓ１６２）。
　ＶＲサーバ８は、受信したカメラ撮影映像データの正規化を行って（Ｓ１６３）、上半天球面上に貼り付けてＶＲ映像データに追記する（Ｓ１６４）。
　ＶＲサーバ８は、カメラ撮影映像データの受信要求があるＨＭＤに切り替えて（Ｓ１６５：Ｙｅｓ）、Ｓ１６１に戻る。受信要求をしているＨＭＤがない場合（Ｓ１６５：Ｎｏ）、ＶＲサーバ８は、終了判定を行う（Ｓ１７２）。
　送信プロセスは、ＶＲサーバ８が視聴者１３ａ～１３ｃの情報端末３ａ及びＨＭＤ３ｂ、３ｃに対して提供する。
　ＶＲサーバ８は、送信提供対象が新規なデバイスかを判定し（Ｓ１６６）、新規の場合（Ｓ１６６：Ｙｅｓ）は、送信提供対象の起点データを得て、ＶＲ映像の初期データを送信する(Ｓ１６７)。
　新規でない場合（Ｓ１６６：Ｎｏ）またはＶＲ映像初期データの送信後（Ｓ１６７）、ＶＲサーバ８は、送信提供対象ＨＭＤから当該送信提供対象ＨＭＤの動きを示す動きデータを受信(Ｓ１６８)する。
　ＶＲサーバ８は、動きデータを基に送信提供対象ＨＭＤ等の位置と方向を算出し、上半天球面のＶＲ映像データから一部の領域を切り出し（Ｓ１６９）、切り出したＶＲ映像データ（ＶＲ映像更新データ）を送信提供対象ＨＭＤに対して送信する（Ｓ１７０）。
　ＶＲサーバ８は、ＶＲ映像データを送信要求している他のＨＭＤまたは情報端末がある場合は（Ｓ１７１：Ｙｅｓ）、他の送信提供対象ＨＭＤ（または情報端末）に切り替えてＳ１６６に戻る。送信要求している他のＨＭＤまたは情報端末がない場合（Ｓ１７１：Ｎｏ）、ＶＲサーバ８は終了判定を行い（Ｓ１７２）、終了の指示（例えばＭＲ体験の終了を、体験者１１のＨＭＤ１から受信した場合など）があれば（Ｓ１７２：Ｙｅｓ）、ＶＲサーバ８での処理を終了する。
　また終了の指示がなければ（Ｓ１７２：Ｎｏ）、ＶＲサーバ８の処理のスタート直後に戻り、Ｓ１６１とＳ１６６との処理を継続する。
（ＡＲ作画プログラム）
　図１６は、ＡＲ作画プログラム９５のフローチャートである。
　ＡＲサーバ９は、登録された体験者１１、参加者１２ａ～１２ｅと視聴者１３ａ～１３ｃのＨＭＤ１、２ａ～２ｅ、３ｂ、３ｃ及び情報端末３ａに対して各種処理を提供する。ＡＲサーバ９が行う処理は主にＳ１８１～Ｓ１８７の体験者用ＨＭＤ１に提供するプロセス、Ｓ１８８～Ｓ１９１の参加者用ＨＭＤ２ａ～２ｅに提供するプロセスと、Ｓ１９２～Ｓ１９７の視聴者用ＨＭＤ３ｂ、３ｃ、及び情報端末３ａに提供するプロセスから成る。
　Ｓ１８１では、ＡＲサーバ９は、体験者用ＨＭＤ１からの要求の有無、及び種類を判別する。要求がない場合（Ｓ１８１：Ｎｏ）要求を待つ。
　新規の要求では（Ｓ１８１：新規）、ＡＲサーバ９は、ＨＭＤ１からＡＲオブジェクトの選択データを受信し（Ｓ１８２）、選択されたＡＲオブジェクトのデフォルトの描画データを送信する（Ｓ１８３）。その後、ステップＳ１８７へ進む。
　操作の要求では（Ｓ１８１：操作）、ＡＲサーバ９は、ＨＭＤ１から操作パラメータのデータを受信し（Ｓ１８４）、ＡＲサーバ９は、操作パラメータに合わせてＡＲオブジェクトを再描画し（Ｓ１８５）、再描画したＡＲオブジェクトのデータをＨＭＤ１に送信する（Ｓ１８６）。その後、ステップＳ１８７へ進む。
　Ｓ１８７では、ＡＲサーバ９は、次の要求があるかを判定する。次の要求があれば（Ｓ１８７：Ｙｅｓ）継続し、なければ（Ｓ１８７：Ｎｏ）終了判定（Ｓ１９８）に進む。
　Ｓ１８８では、参加者用ＨＭＤ２ａ～２ｅのうち、登録された一台（送信対象参加者用ＨＭＤ）の位置と方向データを受信する。そして、体験者１１のＨＭＤ１が選択しているＡＲオブジェクト４ｂをＳ１８８で受信した位置と方向データに合わせて再描画を行い（Ｓ１８９）、再描画したＡＲオブジェクトのデータを送信対象参加者用ＨＭＤに送信する（Ｓ１９０）。
　Ｓ１９１では、未処理の登録された参加者用ＨＭＤ２ａ～２ｅが残されている場合、もしくは登録された参加者の位置や方向に変化があった場合（Ｓ１９１：Ｙｅｓ）、Ｓ１８８に戻り、すべての登録された参加者用ＨＭＤａ～２ｅの処理を済ませている場合には（Ｓ１９１：Ｎｏ）、終了判定（Ｓ１９８）に進む。
　Ｓ１９２では、ＡＲサーバ９は、送信提供対象が視聴者１３ａの情報端末３ａまたは視聴者用ＨＭＤ３ｂまたは３ｃが新規かを判定し（Ｓ１９２）、新規の場合（Ｓ１９２：Ｙｅｓ）は、ＡＲオブジェクト４ｂの初期データを送信する（Ｓ１９３）。初期データとは、ＶＲ映像の場合と同じく、例えば上半天球面上で、体験者１１のＨＭＤ１と対抗する位置と方向を仮定して描画したデータである。
　新規でない場合（Ｓ１９２：Ｎｏ）やＡＲＯ描画データ（初期）を送信した後（Ｓ１９３）では、ＡＲサーバ９は、送信提供対象の視聴者用端末、例えばＨＭＤ３ｂの動き情報のデータを受信し（Ｓ１９４）、送信提供対象の視聴者用端末の位置と方向を算出する。そして、ＡＲサーバ９は、ＡＲオブジェクト４ｂを受信した動きデータに合わせて再描画し（Ｓ１９５）、再描画したＡＲオブジェクトのデータを送信提供対象の視聴者用端末に送信する（Ｓ１９６）。
　ＡＲサーバ９は、未処理の送信提供対象の視聴者用端末が残されているかを判定し、残っていれば場合（Ｓ１９７：Ｙｅｓ）、Ｓ１９２に戻り、全ての送信提供対象の視聴者用端末についての処理を済ませている場合には（Ｓ１９７：Ｎｏ）、終了判定（Ｓ１９８）に進む。
　ＡＲサーバ９は、終了判定（Ｓ１９８）を行い、終了の指示があれば（Ｓ１９８：Ｙｅｓ）、ＡＲサーバ９による一連の処理を終了する。終了の指示がなければ（Ｓ１９８：Ｎｏ）、Ｓ１８０へ戻り、処理を継続する。
　なお以上の説明では、現実物体４ａとＡＲオブジェクト４ｂの距離関係に基づき、現実物体４ａの一部分がＡＲオブジェクト４ｂの一部分の前にある関係にある時、現実物体４ａの一部分にＡＲオブジェクト４ｂの一部分が隠されて見えるように、ＡＲオブジェクト４ｂの描画データを加工する処理を、各ＨＭＤ１、２ａ～２ｅ、３ｂ、３ｃ、及び情報端末３ａ側で行う場合について説明したが、ＡＲサーバ９側で行わせるようにしてもよい。この場合各ＨＭＤ１、２ａ～２ｅ、３ｂ、３ｃ、及び情報端末３ａには、位置、方向のデータに加え、ＶＲサーバ８から得るＶＲ映像データに含まれる現実物体４ａのデータ、より詳しくは、各ＨＭＤを基準とする位置データと方向データ”を用いて多数の撮影データの合成映像から、現実物体４ａがどのように見えるかという視点で作られた映像データをＡＲサーバ９へ送信するステップが追加され、ＡＲサーバ９には、各ＨＭＤ１、２ａ～２ｅ、３ｂ、３ｃ、及び情報端末３ａからこれらデータを受信するステップが追加される。
　図１７は、視聴者１３ａ～１３ｃがＶＲ映像を視聴する視点の位置(視聴者用視点)を選択する方法の一例を示した図である。特に現実物体４ａとＡＲオブジェクト４ｂを観察する視点を定めることで現実物体４ａとＡＲオブジェクト４ｂを視聴者の好みの視点で観察できる。
　立体矢印３０１、３０２は、視点位置と視線方向を選択するためのポインタの一例である。立体矢印３０１、３０２を操作して、ＭＲ空間６内のどの位置の視点からのＶＲ映像を見るかを選択する。この時、破線により、どの方向の視線を選択するかも指定することが可能である。また、ＭＲ空間６自体を回転させることにより、３次元的に立体矢印３０１、３０２の位置や方向を決めることができる。立体矢印３０１、３０２のように、自由な位置や方向を選択できるようなポインタにより、視点位置と視線方向を選択することが可能となる。立体矢印３０１、３０２のように、自由な位置や方向を選択する処理を2段階に分けて、まず、立体矢印３０１、３０２の位置を決めて、次に立体矢印３０１、３０２の視線方向を変えるには、例えば、点線の先端の矢印部を掴んで動かす動作で、方向を決めても良い。
　視聴者用ＨＭＤ３ｂ、３ｃまたは情報端末３ａは、入力デバイス、例えば音声入力であればマイク２７またスイッチ（図５では不図示）でポインタが表示される視線このように視線位置と視線方向を選択するためのモードになると、立体矢印が表示され、そのモードが終了すると、立体矢印は消去され、その代わり、選択された視線位置と視線方向からの映像に切り替わる。
　第１実施形態の仮想現実共有システム１００によれば、リモートサイトにいる視聴者１３ａ～１３ｃは、体験者１１及び参加者１２ａ～１２ｅのカメラ撮影映像から生成するＶＲ映像を利用してＭＲ体験を視聴することができる。そのため、ＶＲ映像は、様々な角度から見たカメラ撮影映像をもとに生成できるので、視聴者１３ａ～１３ｃは視線を連続的にかつおおよそ任意に選択することができる。
　また、体験者１１用及び参加者１２ａ～１２ｅ用の仮想現実共有端末（ＨＭＤ１、２ａ～２ｅ）は、ＶＲ映像の生成に寄与し、また視聴者１３ａ～１３ｃ用の仮想現実共有端末（情報端末３ａ及びＨＭＤ３ｂ、ｃ）は、ＶＲ映像によるＭＲ体験を共有できる。
［第２実施形態］
　図１８は、第２実施形態の仮想現実共有システム１００ａの概略図である。図１に示した第１実施形態に係る仮想現実共有システム１００と異なる点は、固定カメラ１４が配置されている。固定カメラ１４の撮影映像は、ネットワーク信号１０ｐによって、ＶＲサーバ８に提供され、体験者１１用、及び参加者１２ａ～１２ｅ用の仮想現実共有端末が撮影したカメラ撮影映像と共に、ＶＲ映像を作成するための映像データとなる。
　固定カメラ１４として、例えば３６０°カメラを用いて、上半天球映像を得ることにより、体験者１１用、及び参加者１２ａ～１２ｅ用の仮想現実共有端末でカバーできない領域の映像を提供できる。これにより、生成されるＶＲ映像は切れ間がない上半天球映像として生成できるので、視聴者１３ａ～１３ｃの仮想現実共有端末からは、切れ目のないＶＲ映像を背景映像として観測できるようになる。また、体験者１１用、及び参加者１２ａ～１２ｅ用の仮想現実共有端末が３６０°カメラより部分的に高精細な画像を撮影できる場合には、それらの画像を組み合わせることで、高画質なＶＲ映像を提供することが可能となる。
　図１９は、の仮想現実共有システム１００ｂの変形例の概略図である。仮想現実共有システム１００ｂが仮想現実共有システム１００ａと異なる点は、３６０°カメラからなる固定カメラ１４ａに替えて、画角に制限がある固定カメラ１４ｂと１４ｃが配置されていることにある。
　図１９では、固定カメラ１４ｂ、１４ｃのみが記されているが、好ましくはＭＲ空間６の四隅に配置して、ＭＲ空間全体の撮影をカバーする。もしくは、撮影する対象物の全体を多方面から撮影できるように固定カメラを配置する。固定カメラ１４ｂ、１４ｃの撮影映像は、それぞれネットワーク信号１０ｑ、１０ｒによってＶＲサーバ８に提供され、体験者１１用、及び参加者１２ａ～１２ｅ用の仮想現実共有端末が撮影したカメラ撮影映像と共に、ＶＲ映像を作成するための映像データとなる。
　仮想現実共有システム１００ｂによれば、仮想現実共有システム１００ａに比べ、比較的高画質なＶＲ映像が得られる。
　また、仮想現実共有システム１００ａのでは、上半球面の内側に映像が貼り付けられたような映像が得られ、視聴者１３ａ～１３ｃは内側を視点とした映像を得ることができるのに対し、仮想現実共有システム１００ｂでは、ＡＲオブジェクト４ｂを中心としてその外側を視点とした映像を得ることが可能となる。
　以上説明したように、第２実施形態によれば、少ない設備追加で、第１実施形態と同様の効果を持つと共に、上半天球面全域に映像が貼り付けられ内側を視点としたＶＲ映像や、対象物を中心とした外側からの視点のＶＲ映像が得られ、視聴者１３ａ～１３ｃ用の仮想現実共有端末からＭＲ空間６全体の把握が容易になる。
［第３実施形態］
　図２０は、第３実施形態の仮想現実共有システムの参加者用ＨＭＤ２ｈのブロック図である。第３実施形態では、図１、図１８、図１９に記載の仮想現実共有システム１００、１００ｂ、１００ｃにおいて、第１、第２実施形態の参加者用ＨＭＤ２ａ～２ｅに代えて参加者用ＨＭＤ２ｆを用いる。
　参加者用ＨＭＤ２ｆのスクリーン２３は、シャッタ２３１、ハーフミラー２３２を含む点で第１、第２実施形態の参加者用ＨＭＤ２ａ～２ｅと異なる。
　シャッタ２３１を開状態に制御した場合、参加者用ＨＭＤ２ｆは、透過型のＨＭＤとして機能する。すなわち、ハーフミラー２３２上に、現実空間の背景映像と、プロジェクタ２２（左プロジェクタ２２ａ及び右プロジェクタ２２ｂの総称）から投射されるＡＲオブジェクト４ｂとを見ることができる。
　一方、シャッタ２３１を閉に制御した場合には、プロジェクタ２２からはＡＲオブジェクト４ｂとＶＲ映像とが重畳されて投射される。この場合は、参加者用ＨＭＤ２ｆは没入型のＨＭＤとして機能する。その結果、参加者１２ａ～１２ｅは視聴者１３a～１３ｃと同様に自由な視点位置と視線方向を選択したＭＲの視聴体験ができるようになる。
　図２１は、ＭＲ参加プログラム２６３ａのフローチャートである。
　ＨＭＤ２ｆは、起動後、ＭＲ体験共有のためにユーザ管理処理にログインする（Ｓ２１１）。ユーザ管理処理にログインすると、ＶＲサーバ８やＡＲサーバ９に参加者として登録される。
　ＨＭＤ２ｆは、カメラ撮影を開始する（Ｓ２１２）。以降のステップは、カメラ撮影周期に同期して行ってもよい。
　ＨＭＤ２ｆは、ＭＲ空間内のＨＭＤ位置を検出し（Ｓ２１３）、ＨＭＤ２ｆのカメラ撮影方向を検出し（Ｓ２１４）、カメラ撮影映像のメタデータとして関連付ける。
　Ｓ２１８では、ＨＭＤ２ｆは、ＡＲサーバ９にＨＭＤ２ｆの位置と方向のデータを送信する。ＨＭＤ２ｆは、体験者１１が生成したＡＲオブジェクト４ｂの描画データを受信し（Ｓ２１９）。
　一方、ＨＭＤ２ｆは、シャッタ２３１が閉じていれば（Ｓ２１５：Ｙｅｓ）、ＨＭＤ２ｆを没入型ＨＭＤとして使用することと同義であるため、ＶＲサーバ８にＨＭＤ２ｆの動き情報を送信し（Ｓ２１６）、ＶＲサーバから動き情報に合ったＶＲ映像データを受信すし（Ｓ２１７）、ステップＳ２２２へ進む。
　ＨＭＤ２ｆは、シャッタ２３１が開いていたら（Ｓ２１５：Ｎｏ）、ＨＭＤ２ｆを透過型ＨＭＤとして使用することと同義であるので、ＶＲ映像データは不要である。よって、ステップＳ２２２へと進む。
　Ｓ２２２では、Ｓ２１７で受信したＶＲ映像にＡＲオブジェクト４ｂを重畳表示する、または、透過型ＨＭＤとして使用する際にはスクリーン２３に投射するのはＡＲオブジェクト４ｂのみであり、シャッタ２３１、ハーフミラー２３２を透過して見る背景映像と重ね合わせられる。その後ステップＳ２２３へ進む。
　ここで、ＨＭＤ２ｆがアクセスポイント５ａ～５ｃとの距離を用いてＭＲ空間６の内外のどちらにいるかを判断する。ＨＭＤ２ｆがＭＲ空間６内に居る時には、没入型か透過型かのどちらかを選択することが可能であり、入力デバイスからユーザが選択操作を行う。また、ＨＭＤ２ｆがＭＲ空間６の外にいると判断した場合には、自動的に没入型に切り替わる（シャッタ２３１を閉じる）。
　Ｓ２２０では、ＨＭＤ２ｆの位置と方向のデータ（Ｓ２２０）及びカメラ撮影映像データ（Ｓ２２１）をＶＲサーバ８に送信する。その後ステップＳ２２３へ進む。
　ＨＭＤ２ｆはカメラ撮影周期を判定し（Ｓ２２３）、到来を待って（Ｓ２２３：Ｙｅｓ）、ＭＲ参加プログラムの終了を確認し、終了しない場合は（Ｓ２２４：Ｎｏ）、次のカメラ周期でＳ２１３からのステップを継続する。終了する場合（Ｓ２２４：Ｙｅｓ）は、ＭＲ参加プログラムの処理を終了する。
　以上説明したように、第３実施形態によれば、第１実施形態、第２実施形態と同様の効果を持つと共に、参加者２ａ～２ｅが、視聴者１３ａ～１３ｃと同じ形で、ＭＲ空間６のＡＲ視聴とＶＲ視聴を切り替えて行える。
［第４実施形態］
　図２２は、第４実施形態の仮想現実共有システム１００ｃの概略図である。
　図２２の仮想現実共有システム１００ｃでは、体験者１１ａ～１１ｆ、参加者１２ｆ～１２ｉがＭＲ空間６に存在する。
　体験者１１ａ～１１ｆと参加者１２ｆ～１２ｉは、頭部にＨＭＤを装着しており、ＨＭＤからネットワーク信号が送受されているが、図面の煩雑さを避けるために、図示を省略している。
　仮想現実共有システム１００ｃでは、体験者１１ａ～１１ｆは複数人おり、左サイドの体験者１１ａ～１１ｃと右サイドの体験者１１ｄ～１１ｆに分かれている。体験者１１ａ～１１ｆのそれぞれは、それぞれ操作コントローラ１５ａ～１５ｆを保持しており、各操作コントローラ１５ａ～１５ｆを用いて、ＡＲオブジェクト４ｃ～４ｅを生成し、操作する。操作コントローラ１５ａ～１５ｆのそれぞれには、その動きを検知するためのセンサが内蔵されており、その動きに応じて、ＡＲオブジェクト４ｃ～４ｅ生成し、動かす。
　仮想現実共有システム１００ｃでは、操作コントローラ１５ａ～１５ｆで生成されるＡＲオブジェクト４ｃ～４ｅは、逆サイドにいる体験者１１ａ～１１ｃまたは１１ｄ～１１ｆを攻撃するための仮想の攻撃物体であり、攻撃物体を逆サイドの体験者１１ａ～１１ｃまたは１１ｄ～１１ｆに命中させることにより、命中させられた体験者１１ａ～１１ｆを退場させ、一定時間内に退場させた体験者数を競うＭＲ空間６を利用したｅスポーツである。
　参加者１２ｆ～１２ｉが第３実施形態の参加者用ＨＭＤ２ｆを用い、装着するＨＭＤを透過型として用いる場合には、両サイドの体験者１１ａ～１１ｆをＭＲ空間６で捉えながら、ＡＲオブジェクト４ｃ～４ｅを重ねて見ることができ、装着するＨＭＤを没入型として用いる場合には、自身があたかも体験者１１ａ～１１ｆであるがごとく、ＶＲ映像とＡＲオブジェクトを重ねて見ることができる。また、これまでの実施例と同様に、視聴者１３ａ、１３ｂ、１３ｃは、視点位置と視線方向を自由に選択して、ＭＲ空間６内を見ることができる。
　図２３は、ＡＲ作画プログラム９５のフローチャートである。
　ＡＲサーバ９は、Ｓ２３１～Ｓ２３６の体験者用ＨＭＤ１に提供するプロセスと、図１６で示したＳ１８８～Ｓ１９１の参加者用ＨＭＤ２ａ～２ｆに提供するプロセスと、同Ｓ１９２～Ｓ１９７の視聴者用ＨＭＤ３ｂ、３ｃ、及び情報端末３ａに提供するプロセスとを実行する。
　ＡＲサーバ９は、体験者用ＨＭＤ１が把持する操作コントローラ１５ａ～１５ｆのいずれか（送信要求端末）からの要求の有無、及び種類を判別する。要求がない場合（Ｓ２３１：Ｎｏ）には要求を待つ。
　設定の要求がされた場合（Ｓ２３１：設定）、送信要求端末からＡＲオブジェクト４ｃ～４ｅの少なくとも一つの設定データを受信し（Ｓ２３２）、体験者用ＨＭＤ１を装着した者が把持する１台の操作コントローラ１５ａ～１５ｆで生成するＡＲオブジェクト４ｃ～４ｅの一つとパラメータを設定する。“ＡＲオブジェクトの設定”モードで操作コントローラ１５ａ～１５ｆを所定のパターンで動かすと、ＡＲオブジェクト４ｃ～４ｅが自動的に生成される。
　操作の要求がされた場合（Ｓ２３１：操作）、操作コントローラ１５ａ～１５ｆの動きデータを受信し（Ｓ２３３）、その動きデータに合わせてＡＲオブジェクト４ｃ～４ｅの一つを描画し（Ｓ２３４）、描画したＡＲオブジェクト４ｃ～４ｅの一つのデータを送信する（Ｓ２３５）。
　ＡＲサーバ９は、次の要求があるかを判定して、継続する（Ｓ２３６：Ｙｅｓ）か、終了判定Ｓ１９８に進む（Ｓ２３６：Ｎｏ）かを判断する。Ｓ２３４とＳ２３５の破線で示されたループは、ＡＲオブジェクト４ｃ～４ｅの描画、送信の繰り返しである。操作コントローラを操作し発生させたＡＲオブジェクト４ｃ～４ｅは、自走するためのパラメータを持つ。攻撃物体として発生させられたＡＲオブジェクト４ｃ～４ｅは、一度発生すると、決められたスピードパターンで、相手側の体験者に向けて自走する。ＡＲオブジェクト４ｃ～４ｅが体験者に当るか、所定の範囲かＭＲ空間６の外に出るかした時、自動的に消滅する。
　Ｓ１９８では終了判定を行うが、終了の指示があれば終了し（Ｓ１９９：Ｙｅｓ）、指示がなければ（Ｓ１９９：Ｎｏ）、Ｓ２３１、Ｓ１８８、Ｓ１９２へ戻り、処理を継続する。
　以上説明したように、第４実施形態によれば、第１実施形態～第３の実施形態と同様の効果を持つと共に、複数の体験者のいる仮想現実共有システムも共有可能となる。
　以上、図１から図２３で説明した上記実施形態が、これらに限られるものではない。例えば、上記では、ＭＲ空間６内に存在する複数の仮想現実共有端末のカメラ撮影映像を張り合わせてＶＲ映像を作成したが、１台の仮想現実共有端末が異なる時間に異なる位置や視点から撮影したカメラ撮影映像を貼り合わせてＶＲ映像を作成してもよい。
　また、ＭＲ空間６内に存在する複数の仮想現実共有端末の全てが体験者用ＨＭＤであってもよい。
　更に、一端ＶＲ映像を作成してＶＲサーバ８に格納しておくと、視聴者１３ａ～１３ｃは、体験者１１や参加者１２ａ～１２ｅとリアルタイムに仮想現実を共有するだけでなく、後から作成されたＶＲ映像を読みだして仮想現実を共有することができる。
　また本発明は、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、更に文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。
　また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。
１　　　　：体験者用ＨＭＤ
２ａ～２ｆ：参加者用ＨＭＤ
３ａ　　　：視聴者用情報端末
３ｂ、３ｃ：視聴者用ＨＭＤ
４ａ　　　：現実物体
４ｂ～４ｄ：ＡＲオブジェクト
５ａ～５ｅ：アクセスポイント
６　　　　：ＭＲ空間
７　　　　：ネットワーク
８　　　　：ＶＲサーバ
９　　　　：ＡＲサーバ
１０ａ～１０ｒ　　　：ネットワーク信号
１１、１１ａ～１１ｆ：体験者
１２ａ～１２ｉ　　　：参加者
１３a～１３ｃ　　　：視聴者
１４、１４ａ～１４ｃ：固定カメラ
１５ａ～１５ｆ　　　：操作コントローラ
２１　　　：カメラ
２２　　　：プロジェクタ
２２ａ　　：左プロジェクタ
２２ｂ　　：右プロジェクタ
２３　　　：スクリーン
２４　　　：ノーズパッド
２５　　　：プロセッサ
２６　　　：スピーカ
２７　　　：マイク
２８　　　：フレーム筐体
２８ｃ　　：ブリッジ
２９　　　：測距カメラ
３０　　　：ディスプレイ
８２　　　：ＣＰＵ
８３　　　：ＲＡＭ
８４　　　：ストレージ
８５　　　：ＶＲ作成プログラム
８６　　　：ＶＲデータ
８７　　　：内部バス
９１　　　：ネットワークＩＦ
９２　　　：ＣＰＵ
９３　　　：ＲＡＭ
９４　　　：ストレージ
９５　　　：ＡＲ作画プログラム
９６　　　：ＡＲデータ
９７　　　：内部バス
１００、１００ａ～１００ｃ：仮想現実共有システム
２３１　　：シャッタ
２３２　　：ハーフミラー
２５０　　：方位センサ
２５１　　：ジャイロセンサ
２５２　　：加速度センサ
２５３　　：無線通信器
２５４　　：ＣＰＵ
２５５　　：ＲＡＭ
２５６　　：映像ＲＡＭ
２５８、２６５　　　：基本プログラム
２５９　　：ＭＲ体験プログラム
２６０　　：特徴抽出プロセッサ
２６１　　：距離算出プロセッサ
２６２　　：内部バス
２６３、２６３ａ　　：ＭＲ参加プログラム
２６６　　：ＭＲ視聴プログラム
３０１、３０２　　　：立体矢印
Ｐ１　　　：領域
Ｐ２　　　：映像
 

Claims (10)

  1. 　第１仮想現実共有端末の第１視点で現実空間を撮影して生成した第１カメラ撮影映像を取得するステップと、
    　前記第１仮想現実共有端末に対して前記現実空間に重畳するＡＲオブジェクトを表示させる第１表示ステップと、
    　前記第１視点とは異なる第２視点で前記現実空間を撮影して生成された第２カメラ撮影映像を取得するステップと、
    　前記第１カメラ撮影映像及び前記第２カメラ撮影映像を合成してＶＲ映像を生成するＶＲ映像作成ステップと、
    　第２仮想現実共有端末において受け付けた、前記ＶＲ映像を取り込む視聴者視点の設定入力情報を取得する視点取得ステップと、
    　前記視聴者視点から見た前記ＶＲ映像に、前記視聴者視点から見た前記ＡＲオブジェクトを重畳して前記第２仮想現実共有端末に表示させる第２表示ステップと、
    　を含むことを特徴とする仮想現実共有方法。
  2. 　請求項１に記載の仮想現実共有方法において、
    　前記視点取得ステップにおいて、前記視聴者視点の視点位置及び視線方向を示すポインタを前記第２仮想現実共有端末に表示させ、前記ポインタを用いた入力操作を受け付ける、
    　ことを特徴とする仮想現実共有方法。
  3. 　請求項２に記載の仮想現実共有方法において、
    　前記視点取得ステップにおいて、前記第２仮想現実共有端末が視点設定モードで実行中に当該第２仮想現実共有端末の表示領域に前記ポインタが表示され、当該視点設定モードが終了すると前記第２表示ステップへ遷移し、
    　前記第２表示ステップにおいて、前記表示領域から前記ポインタが非表示となると共に、前記視聴者視点から見たＶＲ映像の表示に切り替わる、
    　ことを特徴とする仮想現実共有方法。
  4. 　請求項１に記載の仮想現実共有方法において、
    　前記第１カメラ撮影映像は、前記ＡＲオブジェクトの表示トリガーとなる現実物体の前記第１視点から見た相対位置を示すメタデータを含み、
    　前記第２カメラ撮影映像は、前記現実物体の前記第２視点から見た相対位置を示すメタデータを含み、
    　前記ＶＲ映像作成ステップにおいて、前記第１視点から見た相対位置と前記第２視点から見た相対位置とを付加した前記ＶＲ映像を作成し、
    　前記第２表示ステップにおいて、前記視聴者視点から前記ＶＲ映像に撮影された前記現実物体の位置と、前記視聴者視点から見た前記ＡＲオブジェクトの位置とを比較し、前記現実物体が前記ＡＲオブジェクトよりも近くにあるときは、前記現実物体により前記ＡＲオブジェクトの少なくとも一部を隠して表示し、前記現実物体が前記ＡＲオブジェクトよりも遠くにあるときは、前記ＡＲオブジェクトにより前記現実物体の少なくとも一部を隠して表示する、
    　ことを特徴とする仮想現実共有方法。
  5. 　同一の現実空間を異なる視点で撮影して得られた複数のカメラ撮影映像を合成してＶＲ映像を作成するＶＲサーバと、
    　ＡＲオブジェクトを作画するＡＲサーバと、
    　前記ＶＲ映像及び前記ＡＲオブジェクトを受信し、当該ＶＲ映像に前記ＡＲオブジェクトを重畳表示する視聴者用仮想現実共有端末とが、ネットワークを介して通信接続されて構成される仮想現実共有システムであって、
    　前記視聴者用仮想現実共有端末は、
    　ディスプレイ、入力デバイス、通信器、及びプロセッサを備え、
    　前記プロセッサは、
    　前記入力デバイスが、前記ＶＲ映像を取り込む視聴者視点の設定入力操作を受け付けると、前記通信器から前記ＶＲサーバ及び前記ＡＲサーバに対して前記視聴者視点の位置及び向きを示すデータを送信し、
    　前記通信器を介して、前記ＶＲサーバから前記視聴者視点から見た前記ＶＲ映像を受信すると共に、前記ＡＲサーバから前記視聴者視点から見た前記ＡＲオブジェクトの描画データを受信し、
    　前記視聴者視点から見た前記ＶＲ映像に前記描画データに基づく前記ＡＲオブジェクトを重畳して前記ディスプレイに表示する、
    　ことを特徴とする仮想現実共有システム。
  6. 　請求項５に記載の仮想現実共有システムにおいて、
    　前記プロセッサは、前記視聴者視点の視点位置及び視線方向を示すポインタを前記ディスプレイに表示し、前記入力デバイスは前記ポインタを用いた入力操作を受け付ける、
    　ことを特徴とする仮想現実共有システム。
  7. 　請求項６に記載の仮想現実共有システムにおいて、
    　前記プロセッサは、視点設定モード又は視聴モードのいずれかを実行し、
    　前記視点設定モードでは、前記ディスプレイに前記ポインタを表示し、
    　前記視聴モードでは、前記ディスプレイから前記ポインタを非表示にして前記視聴者視点から見た前記ＶＲ映像に前記ＡＲオブジェクトを重畳して表示する、
    　ことを特徴とする仮想現実共有システム。
  8. 　請求項５に記載の仮想現実共有システムにおいて、
    　前記複数のカメラ撮影映像は、第１カメラ撮影映像及び第２カメラ撮影映像を含み、
    　前記第１カメラ撮影映像は、前記ＡＲオブジェクトの表示トリガーとなる現実物体を第１視点から見た相対位置を示すメタデータを含み、
    　前記第２カメラ撮影映像は、前記現実物体を第２視点から見た相対位置を示すメタデータを含み、
    　前記ＶＲサーバは、前記第１視点から見た相対位置と前記第２視点から見た相対位置とを付加した前記ＶＲ映像を作成し、
    　前記視聴者用仮想現実共有端末において、
    　前記プロセッサは、前記視聴者視点から見た前記ＶＲ映像に撮影された前記現実物体の位置と、前記視聴者視点から見た前記ＡＲオブジェクトの位置とを比較し、前記現実物体が前記ＡＲオブジェクトよりも近くにあるときは、前記現実物体により前記ＡＲオブジェクトの少なくとも一部を隠して表示し、前記現実物体が前記ＡＲオブジェクトよりも遠くにあるときは、前記ＡＲオブジェクトにより前記現実物体の少なくとも一部を隠して前記ディスプレイに表示する、
    　ことを特徴とする仮想現実共有システム。
  9. 　請求項５に記載の仮想現実共有システムにおいて、
    　前記ＶＲサーバは、第１仮想現実共有端末が前記現実空間を第１視点から撮影して生成した第１カメラ撮影映像と、前記第１仮想現実共有端末が前記第１カメラ撮影映像を撮影したときと同じときに前記第１仮想現実共有端末とは異なる第２仮想現実共有端末が前記現実空間を第２視点から撮影して生成した第２カメラ撮影映像とを合成して前記ＶＲ映像を作成する、
    　ことを特徴とする仮想現実共有システム。
  10. 　請求項５に記載の仮想現実共有システムにおいて、
    　前記ＶＲサーバは、第１仮想現実共有端末が前記現実空間を第１視点から撮影して生成した第１カメラ撮影映像と、前記第１カメラ撮影映像を撮影したときとは異なるときに前記第１仮想現実共有端末が前記現実空間を第２視点から撮影して生成した第２カメラ撮影映像とを合成して前記ＶＲ映像を作成する、
    　ことを特徴とする仮想現実共有システム。
PCT/JP2020/030202 2020-08-06 2020-08-06 仮想現実共有方法及びシステム WO2022029959A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202080102659.1A CN115867944A (zh) 2020-08-06 2020-08-06 虚拟现实共享方法和系统
PCT/JP2020/030202 WO2022029959A1 (ja) 2020-08-06 2020-08-06 仮想現実共有方法及びシステム
US18/019,898 US20230290081A1 (en) 2020-08-06 2020-08-06 Virtual reality sharing method and system
EP20948339.5A EP4195159A4 (en) 2020-08-06 2020-08-06 METHOD AND SYSTEM FOR SHARING VIRTUAL REALITY
JP2022541045A JPWO2022029959A1 (ja) 2020-08-06 2020-08-06

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/030202 WO2022029959A1 (ja) 2020-08-06 2020-08-06 仮想現実共有方法及びシステム

Publications (1)

Publication Number Publication Date
WO2022029959A1 true WO2022029959A1 (ja) 2022-02-10

Family

ID=80117798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030202 WO2022029959A1 (ja) 2020-08-06 2020-08-06 仮想現実共有方法及びシステム

Country Status (5)

Country Link
US (1) US20230290081A1 (ja)
EP (1) EP4195159A4 (ja)
JP (1) JPWO2022029959A1 (ja)
CN (1) CN115867944A (ja)
WO (1) WO2022029959A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293604A (ja) 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2016167688A (ja) * 2015-03-09 2016-09-15 富士通株式会社 画像生成方法、システム、装置、及び端末
JP2016224810A (ja) * 2015-06-02 2016-12-28 キヤノン株式会社 システム、システムの制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2691936A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
WO2018175335A1 (en) * 2017-03-24 2018-09-27 Pcms Holdings, Inc. Method and system for discovering and positioning content into augmented reality space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293604A (ja) 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2016167688A (ja) * 2015-03-09 2016-09-15 富士通株式会社 画像生成方法、システム、装置、及び端末
JP2016224810A (ja) * 2015-06-02 2016-12-28 キヤノン株式会社 システム、システムの制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4195159A4

Also Published As

Publication number Publication date
EP4195159A4 (en) 2024-01-17
EP4195159A1 (en) 2023-06-14
US20230290081A1 (en) 2023-09-14
CN115867944A (zh) 2023-03-28
JPWO2022029959A1 (ja) 2022-02-10

Similar Documents

Publication Publication Date Title
US11666825B2 (en) Mixed reality gaming system
CN104380347B (zh) 视频处理设备、视频处理方法和视频处理系统
US9268406B2 (en) Virtual spectator experience with a personal audio/visual apparatus
EP2979127B1 (en) Display method and system
TW202004421A (zh) 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染
US20100103196A1 (en) System and method for generating a mixed reality environment
US20060038881A1 (en) Stereoscopic image display
WO2013155217A1 (en) Realistic occlusion for a head mounted augmented reality display
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
US20210304509A1 (en) Systems and methods for virtual and augmented reality
JP2007042055A (ja) 画像処理方法、画像処理装置
CN103732299A (zh) 利用虚拟触摸的三维装置及三维游戏装置
US20240046903A1 (en) Systems and methods for virtual and augmented reality
WO2021261346A1 (ja) 情報処理装置、方法、プログラム及び情報処理システム
JP2011212123A (ja) プログラム、情報記憶媒体、及び端末
WO2020218131A1 (ja) 画像生成装置および情報提示方法
JP2021530816A (ja) 角検出のための方法および装置
JP6161749B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
WO2022029959A1 (ja) 仮想現実共有方法及びシステム
GB2558283A (en) Image processing
US20220405996A1 (en) Program, information processing apparatus, and information processing method
JP2024019911A (ja) ヘッドマウントディスプレイおよび画像表示方法
JPWO2022029959A5 (ja)
WO2017163649A1 (ja) 画像処理装置
TWM555001U (zh) 類全息影像顯示系統、提供類全息影像之飛行載具以及穿戴裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20948339

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022541045

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2020948339

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE