JP6663111B2 - Information processing system, its control method and program, and information processing apparatus, its control method and program - Google Patents
Information processing system, its control method and program, and information processing apparatus, its control method and program Download PDFInfo
- Publication number
- JP6663111B2 JP6663111B2 JP2016171834A JP2016171834A JP6663111B2 JP 6663111 B2 JP6663111 B2 JP 6663111B2 JP 2016171834 A JP2016171834 A JP 2016171834A JP 2016171834 A JP2016171834 A JP 2016171834A JP 6663111 B2 JP6663111 B2 JP 6663111B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- virtual
- virtual space
- head
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、複合現実感(Mixed Reality)技術に関し、特に第1の仮想空間上の所望の位置を、第1のヘッドマウントディスプレイの視線によって特定することにより、第2のヘッドマウントディスプレイで識別可能に表示させることが可能な情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラムに関する。 The present invention relates to a Mixed Reality technology, and more particularly to a technique for specifying a desired position in a first virtual space by a line of sight of a first head-mounted display, thereby enabling the second head-mounted display to identify the desired position. The present invention relates to an information processing system capable of being displayed on a computer, a control method thereof, and a program, an information processing apparatus, a control method thereof, and a program.
従来、カメラで撮影することで得られる現実空間の画像とコンピュータで生成された仮想空間の画像(仮想オブジェクト)とを重畳させて、ヘッドマウントディスプレイ(HMD)やスマートフォンに表示させる技術が存在する。例えば、複合現実感(Mixed Reality、以下、MR)技術や拡張現実感(Augmented Reality、以下、AR)技術などがある。 2. Description of the Related Art Conventionally, there is a technique of superimposing an image of a real space obtained by photographing with a camera and an image of a virtual space (virtual object) generated by a computer and displaying the image on a head-mounted display (HMD) or a smartphone. For example, there are Mixed Reality (hereinafter, MR) technology and Augmented Reality (hereinafter, AR) technology.
特にMR技術は、ユーザが装着したHMDに現実空間の画像と仮想空間の画像とを重畳させてリアルタイムに表示するので、あたかも現実空間の中に仮想空間の画像が表示されているかのように見え、臨場感が非常に高い。このため、MR技術を用いた様々な活用が考えられている。 In particular, the MR technology superimposes the real space image and the virtual space image on the HMD worn by the user and displays the image in real time, so that it looks as if the virtual space image is displayed in the real space. Very realistic. For this reason, various applications using MR technology are being considered.
一方、ユーザがHMDを通して見ている仮想オブジェクトはHMDを装着していれば複数人がそれぞれの位置で仮想オブジェクトを見る(共有する)ことができる。そして共有している間に、例えば一人のユーザが仮想オブジェクトに対して位置を1m移動させる指示を行うと、他のユーザの見ている仮想オブジェクトも1m移動したように表示させるような制御を行うことができる。 On the other hand, as for the virtual object that the user views through the HMD, a plurality of persons can view (share) the virtual object at each position if the HMD is worn. Then, during sharing, for example, if one user gives an instruction to move the position by 1 m with respect to the virtual object, control is performed so that the virtual object viewed by another user is displayed as if it has moved by 1 m. be able to.
下記の特許文献1では、視点が異なる複数の画像データからなる自由視点画像に対して、説明情報を付与する位置を指定すると、当該指定された場所にアノテーションが付与され、新たな自由視点画像に切り替わっても前記説明情報が指定された場所に表示される仕組みが開示されている。
In
また、東京(A地点)と大阪(B地点)間というように遠隔地間でMR空間を共有するということが行われている。これにより、遠隔地であっても同じ仮想オブジェクトの配置を共有することができ、例えば仮想オブジェクトからなるショールームなどを遠隔地間で共有しながら会議などを行うことが可能になる。 In addition, the MR space is shared between remote locations such as between Tokyo (point A) and Osaka (point B). Thus, the same arrangement of the virtual objects can be shared even in a remote place. For example, a conference or the like can be held while sharing a show room or the like made up of virtual objects between remote places.
このような状況においても、A地点で仮想オブジェクトを移動させるとB地点でも当該仮想オブジェクトの位置をA地点と同期して移動させるように表示されるように制御される。 Even in such a situation, when the virtual object is moved at the point A, control is performed so that the position of the virtual object is also moved at the point B in synchronization with the point A.
この時、遠隔地間で共有されるのは仮想オブジェクトの座標情報だけであって、現実空間の画像データは共有されないため、B地点のユーザが仮想オブジェクトを移動させたい位置を指などでA地点のユーザに対して指示したとしても、A地点のユーザにはB地点のユーザの姿を見ることができないため、B地点のユーザが指示している位置が分からないという課題が生じる。 At this time, only the coordinate information of the virtual object is shared between the remote locations, and the image data of the real space is not shared. Even if the user at the point B is instructed, the user at the point A cannot see the image of the user at the point B, so that there is a problem that the position designated by the user at the point B cannot be understood.
そこで、前述した特許文献の方法を用いてアノテーションを付与することで位置を指定する方法が考えられる。すなわち、B地点のユーザが、仮想オブジェクトを移動させたい位置にアノテーションを付与する必要があるが、仮想オブジェクトを移動させたい位置の指定のためには一度MR体験をするために装着したHMDを頭部から外して、PCの画面上で仮想空間上の位置を指定するという操作が必要となる。HMDを装着したまま、PCの操作を行うことも考えられるが、HMDの視野は広いものではないので、PCの操作はしづらいものとなる。 Therefore, a method of specifying a position by giving an annotation using the method of the above-mentioned patent document is conceivable. That is, the user at the point B needs to annotate the position where the virtual object is to be moved, but in order to specify the position where the virtual object is to be moved, the user must first mount the HMD attached for the MR experience. It is necessary to remove the unit from the unit and specify a position in the virtual space on the screen of the PC. It is conceivable to operate the PC while the HMD is mounted. However, since the field of view of the HMD is not wide, it is difficult to operate the PC.
本発明は、仮想オブジェクトの位置をアノテーションオブジェクトの位置に容易に移動させることを目的とする。 An object of the present invention is to easily move the position of a virtual object to the position of an annotation object .
上記の目的を達成するために、本発明の情報処理システムは、ヘッドマウントディスプレイの仮想空間を管理する情報処理システムであって、前記仮想空間におけるアノテーションオブジェクトの位置と仮想オブジェクトの位置とを取得する取得手段と、前記取得手段で取得した前記仮想空間におけるアノテーションオブジェクトの位置と仮想オブジェクトの位置との距離が所定値以下である場合に、前記仮想空間における仮想オブジェクトの位置を、前記アノテーションオブジェクトの位置に移動させるよう制御する移動制御手段とを備えることを特徴とする。 In order to achieve the above object, an information processing system of the present invention is an information processing system for managing a virtual space of a head-mounted display, and acquires a position of an annotation object and a position of a virtual object in the virtual space. Acquiring means for, when the distance between the position of the annotation object in the virtual space acquired by the acquiring means and the position of the virtual object is equal to or less than a predetermined value, the position of the virtual object in the virtual space, the position of the annotation object; And a movement control means for controlling the movement.
本発明によれば、仮想オブジェクトの位置をアノテーションオブジェクトの位置に容易に移動させることの可能な効果を奏する。
According to the present invention, there is an effect that the position of the virtual object can be easily moved to the position of the annotation object .
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の情報処理システムは、情報処理装置200、HMD100(ヘッドマウントディスプレイ)、光学式センサ104、選択デバイス105等から構成され、同一の構成を持つ複数の情報処理システムからなるものである。情報処理装置200とHMD100、光学式センサ104、選択デバイス105は、図1に示すLAN101や、USB(Universal Serial Bus)等を介して相互にデータ通信可能に接続されている。尚、本実施例では拠点Aと拠点Bにそれぞれ情報処理装置200が設置されている構成となっているが、1つの拠点Aに複数の情報処理装置200を設置しても構わないし、1つの拠点Aに一つの情報処理装置200を設置し、複数のHMD100を接続し、それぞれのMR空間を構築することで本発明を実施することもできる。一つの情報処理装置200で実施する場合には、情報処理装置200に複数のグラフィックボードを備える必要がある。
FIG. 1 shows an information processing system according to the present invention, which includes an
情報処理装置200は、外部メモリ211内に、MR空間に配置して表示する仮想オブジェクトであり、複数の情報処理装置200に共通の仮想オブジェクトを記憶している。情報処理装置200は、HMD100から受信した現実画像に仮想オブジェクトを重畳した複合現実画像(MR画像)を生成して、HMDに送信する。MR技術の仕組みの詳細については、前述した従来技術の通りである。HMDは頭部装着式のものであってもよいし、メガネ式のものであってもよい。
The
情報処理装置200にはセカンダリの情報処理装置200−Aとプライマリの情報処理装置200−Bがある。情報処理装置200−Bは情報処理装置200−Aから受け付けた仮想オブジェクトの位置座標の変更(例えば、選択デバイス105に基づく仮想オブジェクトの移動指示)を受信し、他の情報処理装置200に当該位置座標の変更を通知する役割を担う。これにより、例えば場所を異とする遠隔地間でのMR空間の共有であっても、共有しているユーザは共通の仮想空間とそれぞれの現実空間とを重畳した画像をHMD100を通して視認することが可能となる。情報処理装置200−Aと情報処理装置200−Bの機能は同じものとし、本実施例は便宜的に情報処理装置200−Bをプライマリとしたが、どちらの情報処理装置200でもプライマリの役割を行うことが可能である。よって情報処理装置200−Aと情報処理装置200−Bとそれぞれの用途が限定されることはない。
The
HMD100は、右目・左目ビデオカメラ221で撮影することにより得られた現実空間の画像データを情報処理装置200に送信する。そして情報処理装置200から受信した複合現実画像を右目・左目ディスプレイ222に表示する。
The HMD 100 transmits to the
選択デバイス105は、MR空間上に配置された仮想オブジェクトを選択して、移動するためのデバイスである。例えば、図10に示す選択デバイス105である。選択デバイス105は選択ボタン1001と光学式マーカ103を備える。選択ボタン1001の押下を受け付けると、情報処理装置200は選択デバイス105の位置から一定の範囲(図10で示す1002の範囲内)にある仮想オブジェクトの位置座標を選択デバイス105の位置座標と同期させる。これによりユーザは選択ボタン1001を押下することで選択デバイス105の一定の距離にある仮想オブジェクトを移動させることを可能にする。選択ボタン1001の押下が検知されなくなるのを検知すると、仮想オブジェクトと選択デバイス105の位置座標の同期を中止する。
The selection device 105 is a device for selecting and moving a virtual object arranged in the MR space. For example, the selection device 105 shown in FIG. The selection device 105 includes a
HMD100と選択デバイス105には、それぞれ光学式マーカ103が設置されており、光学式センサ104が当該光学式マーカ103を撮影(検知・検出)することで、HMD100と選択デバイス105の位置向き(座標X,Y,Z)を特定し、情報処理装置200に送信することができる。
An optical marker 103 is installed on each of the
尚、現実空間とMR空間(原点座標X,Y,Z=0,0,0を原点として、仮想オブジェクトを配置した仮想空間)との位置合わせ(キャリブレーション)は既に行われているものとして、以下、本発明の実施形態について説明する。 It is assumed that the alignment (calibration) between the real space and the MR space (the virtual space in which the virtual objects are arranged with the origin coordinates X, Y, Z = 0, 0, 0 as the origin) has already been performed. Hereinafter, embodiments of the present invention will be described.
図2は、情報処理装置200のハードウェア構成を示す図である。尚、図2の情報処理装置200のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。
FIG. 2 is a diagram illustrating a hardware configuration of the
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
The
また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。RAM203は、CPU201の主メモリ、ワークエリア等として機能する。
The
CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、入力コントローラ(入力C)205は、キーボードやマウス等のポインティングデバイス(入力デバイス209)からの入力を制御する。 The input controller (input C) 205 controls input from a pointing device (input device 209) such as a keyboard or a mouse.
ビデオコントローラ(VC)206は、HMD100が備える右目・左目ディスプレイ222等の表示器への表示を制御する。右目・左目ディスプレイ222に対しては、例えば外部出力端子(例えば、Digital Visual Interface)を用いて出力される。また、右目・左目ディスプレイ222は、右目用のディスプレイと左目用のディスプレイとから構成されている。
A video controller (VC) 206 controls display on a display such as a right-eye / left-
メモリコントローラ(MC)207は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフレキシブルディスク(FD)或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ211へのアクセスを制御する。
The memory controller (MC) 207 is an adapter for a hard disk (HD), a flexible disk (FD), or a PCMCIA card slot that stores a boot program, browser software, various applications, font data, user files, edited files, various data, and the like. The access to the
通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。また、通信I/Fコントローラ208は、ギガビットイーサネット(登録商標)等を通じて光学式センサ104との通信も制御する。
A communication I / F controller (communication I / FC) 208 connects and communicates with external devices via a network, and executes communication control processing on the network. For example, Internet communication using TCP / IP is possible. The communication I /
汎用バス212は、HMD100の右目・左目ビデオカメラ221からの映像を取り込むために使用される。右目・左目ビデオカメラ221からは、外部入力端子(例えば、IEEE1394端子)を用いて入力される。右目・左目ビデオカメラ221は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。
The general-
尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ上での表示を可能としている。また、CPU201は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本発明の情報処理装置200が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ211に格納されている。
Various programs and the like used by the
次に図3を用いて情報処理装置200の機能構成について説明する。
Next, a functional configuration of the
情報処理装置200は、通信制御部301、仮想オブジェクト記憶部302、HMD情報取得部303、現実空間画像取得部304、HMD視線特定部305、距離特定部306、複合現実画像生成部307、仮想空間管理部308、表示制御部309、HMD視界判定部310を備えている。
The
通信制御部301は、通信可能に接続されているHMD100や光学式センサ104、および他の情報処理装置200との通信を制御することが可能な機能部である。通信制御部301は、前述したビデオコントローラ206、通信I/Fコントローラ208、汎用バス212等を通じてこれらの装置と情報の送受信を行う。
The
仮想オブジェクト記憶部302は、HMD100で現実画像と重畳するための仮想オブジェクトを記憶する機能部である。
The virtual
HMD情報取得部303はHMD100の現実空間における位置及び向きを示す情報を光学式センサ104から取得する機能部である。現実空間画像取得部304は、HMD100の右目・左目ビデオカメラ221から現実空間画像を取得する機能部である。
The HMD
HMD視線特定部305は、HMD情報取得部303で取得したHMD100の現実空間における位置及び向きからHMD100を装着しているユーザの視線を特定する機能部である。
The HMD line-of-
距離特定部306は、HMD100と指定ポイントモデルとの距離を算出することで特定したり、移動対象となった仮想オブジェクトと指定ポイントモデルとの距離を算出する機能部である。なお、距離の算出の仕方は仮想空間上の2点間の座標を用いて計算する従来技術を用いるものとする。
The
複合現実画像生成部307は、HMD100の右目・左目ビデオカメラ221から送信される現実空間の画像とHMD情報取得部303から取得したHMD100の位置向きに基づく仮想空間の画像とを重畳した画像を生成する機能部である。
The mixed reality
仮想空間管理部308は、仮想空間における仮想オブジェクトの座標情報を管理する機能部である。情報処理装置200がプライマリの情報処理装置200であれば、セカンダリの情報処理装置200から送信される共通の仮想オブジェクトの座標情報を他のセカンダリの情報処理装置200に対して、通信制御部301を用いて制御するなどの管理を行う。情報処理装置200がセカンダリの情報処理装置200であれば仮想オブジェクトの移動指示をユーザから検知すると、当該移動指示による仮想オブジェクトの座標情報をプライマリの情報処理装置200に対して送信する。
The virtual
表示制御部309は、HMD100の右目・左目ディスプレイ222に対して表示の制御を行う機能部である。
The
次に、本発明の実施形態におけるプライマリ機である情報処理装置200−B、セカンダリ機である情報処理装置200−Aによって行われる一連の処理について、図4に示すフローチャートを用いて説明する。 Next, a series of processes performed by the information processing device 200-B as the primary device and the information processing device 200-A as the secondary device in the embodiment of the present invention will be described with reference to the flowchart shown in FIG.
ステップS401では、情報処理装置200−AのCPU201は、ユーザからのMRアプリケーションの起動指示を受け付けることにより、MRアプリケーションを起動させる。MRアプリケーションを起動したのち、処理をステップS402に移す。
In step S401, the
ステップS402では、情報処理装置200−AのCPU201は、別の情報処理装置である情報処理装置200−Aに対して接続要求の送信を行う。
In step S402, the
ステップS403では、情報処理装置200−BのCPU201は、ステップS402で情報処理装置200−Aから送信された接続要求を受信する。
In step S403, the
ステップS404では、情報処理装置200−BのCPU201は、接続要求の送信元の情報処理装置200−Aに対して、仮想オブジェクトのデータをすべて送信する。例えば、図9に示すオブジェクトテーブル900と、ファイルパス905に示すファイルとを送信する。これにより、仮想オブジェクトの座標情報のやり取りだけで、仮想オブジェクトのリアルタイムな表示制御を行うことを可能にする。
In step S404, the
図9に示すオブジェクトテーブル900は、オブジェクトID901、属性902、座標903、サイズ904、ファイルパス905、選択中フラグ906、選択禁止フラグ907とが格納されている。
The object table 900 illustrated in FIG. 9 stores an
オブジェクトID901は、各仮想オブジェクトのデータの識別情報である。属性902は、各仮想オブジェクトが、選択デバイス105に対応する仮想オブジェクト(選択デバイス)か、選択デバイス105の仮想オブジェクトに接触することで選択される選択対象の仮想オブジェクト(被選択)か、HMDの視線と仮想オブジェクトとの交点に設置される指定ポイントか、を示す情報である。
The
座標903は、各仮想オブジェクトの、MR空間上の配置位置(X.Y.Z=000.000.000 を原点とするXYZ座標)を示す。図9によれば、オブジェクトID=M111の座標903=XX1.YY1.ZZ1のため、オブジェクトID=M111の仮想オブジェクトは、MR空間上の当該座標が示す座標に配置されていることとなる。原点は前述したキャリブレーションの時に設定されるものとする。各座標903の座標値は、各仮想オブジェクトの中心点の座標であるものとする。
The
尚、選択デバイス105の座標903は、光学式センサにより補足されており、例えばユーザが選択デバイス105を移動させることで、当該座標903がリアルタイムに更新される。当該更新に用いる選択デバイス105のリアルタイムの座標903の情報は、光学式センサ104から情報処理装置200に送信され、情報処理装置200が、当該光学式センサ104から受信した座標の情報を、選択デバイス105の座標903に上書きすることで更新を行う。
The
サイズ(スケール)904は、各仮想オブジェクトの大きさを示す。ファイルパス905は、各仮想オブジェクトのファイルが記憶されている記憶領域上のアドレスを示す。
The size (scale) 904 indicates the size of each virtual object. The
選択中フラグ906は、被選択用の仮想オブジェクトが選択デバイス105により選択されている状態か否かを示すフラグである。選択中フラグ906=0の場合、選択されていない状態であり、選択中フラグ906=1の場合、選択中であることを示す。
The selected
選択禁止フラグ907は、被選択用の仮想オブジェクトが選択デバイス105による選択を受け付けないように制御するためのフラグである。選択禁止フラグ907=0の場合、選択デバイス105の選択を受け付けることを可能とし、選択禁止フラグ907=1の場合には、選択デバイス105による選択を受け付けないように制御する。これにより、選択デバイス105で選択行為を行ったとしても、被選択用の仮想オブジェクトの移動を不可能とする効果がある。
The
ステップS405では、情報処理装置200−BのCPU201は、ステップS403で受信をした接続要求の送信元の情報処理装置200−Aに対して接続の許可を行う。これにより、情報処理装置200−Aと情報処理装置200−Bは相互に共通の仮想オブジェクトを表示し、情報処理装置200−Bで仮想オブジェクトの移動指示を選択デバイス105により行われたとしてもリアルタイムで情報処理装置―Aで当該仮想オブジェクトの移動を表示可能にする。
In step S405, the
ステップS406では、情報処理装置200−AのCPU201は、ステップS404で情報処理装置200−Bから送信されたオブジェクトテーブル900と、ファイルパス905に示すファイルとを受信する。
In step S406, the
ステップS407では、情報処理装置200−AのCPU201は、光学式センサ104を用いてHMD100−Aに付された光学式マーカを検知し、MR空間上のHMD100−Aの位置や向き(位置情報及び向き情報)を取得する(取得手段)。取得したHMD100−Aの位置や向きは、HMD情報テーブル800に格納する。例えば図8に示すHMD情報テーブル800である。HMD情報テーブル800には、HMD位置・向き801が格納されている。HMD位置・向き801は、HMDのMR空間上の座標情報と、向き情報(向き)を記憶している。向き情報(向き)はユーザの視線方向と同一の向きを示す情報(視線情報)を格納する。
In step S407, the
ステップS408では、情報処理装置200−AのCPU201は、HMD100−Aの右目・左目ビデオカメラ221から送信される現実空間画像を、取得し、RAM203等に記憶する。右目・左目ビデオカメラ221は、ユーザの右目に相当するビデオカメラと左目に相当するビデオカメラとの2つが存在するため、右目用と左目用の現実空間画像を取得する。
In step S408, the
ステップS409では、情報処理装置200−AのCPU201は、仮想空間画像(仮想空間の画像)を取得しRAM203等に記憶する。より具体的には、ステップS407で格納したHMD100−Aの位置・向き801を読み出し、当該HMD位置・向きに対応する仮想空間上のHMD100−Aの位置及び向きを特定する。そして、特定した仮想空間上の位置及び向きで仮想空間上に仮想のカメラ(視点)を設置し、当該カメラにより仮想空間を撮像する。これにより、仮想空間画像を生成する。尚、前述した現実空間画像と同様に、HMD100−Aの右目・左目ディスプレイ222のそれぞれに表示するために右目用の仮想空間画像と左目用の仮想空間画像の2枚を取得する。
In step S409, the
ステップS410では、情報処理装置200−AのCPU201は、ステップS408で取得した現実空間画像とステップS409で取得した仮想空間画像とをRAM203等から読み出し、複合現実画像生成部307を用いて当該現実空間画像に当該仮想空間画像を重畳し、複合現実画像を生成する。生成した複合現実画像はRAM203等に記憶する。前述したとおり、現実空間画像と仮想空間画像にはそれぞれ右目用と左目用の2枚ずつの画像がRAM203等に記憶されている。そして右目用の現実空間画像に右目用の仮想空間画像を重畳し、左目用の現実空間画像に左目用の仮想空間画像を重畳することで、より没入感の高い視覚をユーザは得ることができる。
In step S410, the
ステップS411では、情報処理装置200−AのCPU201は、ステップS410で生成した右目用の複合現実画像と左目用の複合現実画像とをRAM203等から読み出し、HMD100−Aの右目・左目ディスプレイ222に表示させるように制御する。前述したように、右目用の複合現実画像を右目・左目ディスプレイ222の右目のディスプレイに表示するよう制御し、左目用の複合現実画像を右目・左目ディスプレイ222の左目のディスプレイに表示するよう制御する。
In step S411, the
ステップS412では、情報処理装置200−AのCPU201は、ユーザから事前に視線による指定ポイントモデルを表示させるか否かの指示を受け付けたか否かに応じて、指定ポイントモデルの表示指示を受け付けたか否かを判定する。例えば図15に示す指定ポイントモデル表示指示受付画面1500のような画面をディスプレイ210に表示させ、はいボタン1501の押下を受け付けた場合には指定ポイントモデルの表示指示を受け付けたと判定し、いいえボタン1502の押下を受け付けた場合には、指定ポイントモデルの非表示指示を受け付けたと判定する。指定ポイントモデルの表示指示を受け付けたと判定した場合には処理をステップS413に進め、指定ポイントモデルの表示指示を受け付けなかったと判定した場合には処理をステップS415に進める。
In step S412, the
ステップS413では、情報処理装置200−AのCPU201は、情報処理装置200−Aに接続されたHMD100−Aと情報処理装置200−Bに接続されたHMD100−Bのそれぞれの、右目・左目ディスプレイに指定ポイントモデルを表示させるための処理である指定ポイントモデル表示処理を行う。指定ポイントモデル表示処理の詳細は後の図5で詳細に説明を行う。指定ポイントモデル表示処理を行ったあと、処理をステップS415に進め、情報処理装置200−BはステップS414の処理を行う。
In step S413, the
ステップS414では、情報処理装置200−BのCPU201は、仮想オブジェクトをステップS413で表示された指定ポイントモデルの位置まで移動させる処理である仮想オブジェクト移動処理を行う。仮想オブジェクト移動処理の詳細は後の図6にて詳細に説明を行う。仮想オブジェクト移動処理を行った後、処理をステップS415に進める。
In step S414, the
ステップS415では、情報処理装置200−AのCPU201は、ユーザからMRアプリケーションの終了指示を受け付けたか否かを判定する。例えばアプリケーション終了ボタンの押下を受け付けるなど、ユーザからのアプリケーション終了指示を受け付けたと判定された場合には処理を終了させ、ユーザからのアプリケーション終了指示を受け付けなかったと判定された場合には処理をステップS407に戻す。
In step S415, the
以上により、例えば遠隔地にいるユーザなどの他のユーザを視認することができない状態であっても、HMD100−Aを装着したユーザAの視線によりユーザAが仮想空間上のどこを見ているのかを把握することができるという効果をもたらす。更にHMD100−Bを装着したユーザBはHMD100−Aを装着したユーザAの視線をもとにして、指定ポイントモデルを視認することが可能になるため、仮想オブジェクトの指定ポイントモデルへの移動を容易にすることが可能な仕組みを提供している。 As described above, even in a state in which another user such as a user at a remote place cannot be visually recognized, where the user A looks in the virtual space from the line of sight of the user A wearing the HMD 100-A This has the effect of being able to ascertain. Further, since the user B wearing the HMD 100-B can visually recognize the designated point model based on the line of sight of the user A wearing the HMD 100-A, it is easy to move the virtual object to the designated point model. It provides a mechanism that can be used.
次に、図4に示す指定ポイントモデル表示処理の詳細を図5に示すフローチャートを用いて説明する。 Next, details of the designated point model display processing shown in FIG. 4 will be described with reference to the flowchart shown in FIG.
ステップS501では、情報処理装置200−AのCPU201は、ステップS407で取得しRAM203等に記憶されたHMD100−Aの視線を読み込む。例えば図8に示すHMD位置・向き801に格納された、向きを示す情報である。
In step S501, the
ステップS502では、情報処理装置200−AのCPU201は、ステップS501っで読み込んだHMD100−Aの視線により、仮想空間上に配置された仮想オブジェクトを特定する。HMD100−Aから延びる視線が最初に突き当たった(交差した)仮想オブジェクトのオブジェクトID901を特定する。
In step S502, the
ステップS503では、情報処理装置200−AのCPU201は、HMD100−Aから延びる視線が最初に突き当たった仮想オブジェクトとの交点の座標(仮想空間上の位置座標)を算出し取得する(特定手段)。取得した交点の座標はRAM203等に記憶しておく。
In step S503, the
なお、仮想オブジェクトの当たり判定を示す領域を実際の仮想オブジェクトの大きさより少し大きめにして規定しておき、仮想オブジェクトを容易に特定できるようにしてもよい。 Note that the area indicating the collision determination of the virtual object may be defined to be slightly larger than the size of the actual virtual object, so that the virtual object can be easily specified.
ステップS504では、情報処理装置200−AのCPU201は、ステップS501で読み込んだHMD100−AのHMD位置・向き801の情報と、ステップS503で取得した交点の座標を情報処理装置200−Bに対して送信する。これらの情報を情報処理装置200−Bに対して送信することにより、情報処理装置200−Bでも指定ポイントモデルを表示することが可能になる。
In step S504, the
ステップS505では、情報処理装置200−AのCPU201は、ステップS501で読み込んだHMD100−AのHMD位置・向き801の情報と、ステップS503で取得した交点の座標をもとにして仮想空間画像上に指定ポイントモデルを表示する。表示は、ステップS410のように現実空間の画像に仮想空間画像を重畳することで表示をさせる。指定ポイントモデルは、オブジェクトテーブル900のオブジェクトID901=M444の指定ポイントモデルを使用する。ステップS503で取得した交点の座標が座標903に格納されることにより、ステップS503で取得した交点の座標に対して指定ポイントモデルを表示する。ステップS407で取得しRAM203等に記憶されたHMD100−Aの視線の向きで指定ポイントモデルを表示するように制御するものとする。なお、指定ポイントモデルの表示位置の特定は光学式マーカ103を設けた物理的なオブジェクトを光学式センサ104で検知することで特定する方法もある。
In step S505, the
例えば、図11に示す指定ポイントモデルイメージ1100である。指定ポイントモデルイメージ1100には情報処理装置200−Aが生成するMR空間(拠点A)と情報処理装置200−Bが生成するMR空間(拠点B)のイメージが描画されている。交点1103に対してHMD100−Aの視線の向きで表示された指定ポイントモデルが、図11に示す指定ポイントモデル1102である。視線の向きを表示することにより、他のユーザがどの方向から仮想オブジェクトのどの部分を見ているのかを容易に通知することができる。
For example, a designated point model image 1100 shown in FIG. In the designated point model image 1100, an image of the MR space (base A) generated by the information processing device 200-A and an image of the MR space (base B) generated by the information processing device 200-B are drawn. A designated point model displayed in the direction of the line of sight of the HMD 100-A with respect to the
ステップS506では、情報処理装置200−BのCPU201は、ステップS504で情報処理装置200−Aから送信されたHMD100−AのHMD位置・向き801の情報と、交点の座標とを受信する。受信したのち、処理をステップS507に進める。
In step S506, the
ステップS507では、情報処理装置200−BのCPU201は、ステップS506で受信したHMD位置・向き801と、交点の座標とを情報処理装置200−A以外のセカンダリ機の情報処理装置200に対して配信する。これにより複数のセカンダリ機の情報処理装置200でも情報処理装置200−Aでの指定ポイントモデルの位置を共有することができる。
In step S507, the
ステップS508では、情報処理装置200−BのCPU201は、ステップS506で受信したHMD100−AのHMD位置・向き801の情報と、交点の座標をもとに、指定ポイントモデルを仮想空間画像上に重畳表示する(表示制御手段)。重畳表示することで仮想オブジェクトを識別可能に表示する。指定ポイントモデルの表示方法は、ステップS505と同様であるので割愛する。図11に示す指定ポイントモデルイメージ1100の拠点Bに示す図が指定ポイントモデルの表示イメージである。拠点Bには仮想オブジェクトを指し示すように指定ポイントモデル1104が表示される。指定ポイントモデル1104が表示されることで、指定ポイントモデル1104が指す仮想オブジェクトをユーザに識別可能に視認させることを可能とする効果もある。指定ポイントモデル1104は、本実施例では矢印状のものとしたが、仮想オブジェクトを識別可能とする方法はこれに限定されない。視線との交点を持つ仮想オブジェクトの色を変えたり、当該仮想オブジェクト以外を半透明にしたりするなど様々な方法が含まれるものである。
In step S508, the
なお、指定ポイントモデルはHMD100から仮想オブジェクトまでのベクトルを示す矢印状の仮想オブジェクトとしたが、HMD100の視線と仮想オブジェクトとの交点を識別表示するような構成としてもよい。詳細は後の第2の実施形態で説明する。
Note that the designated point model is an arrow-shaped virtual object indicating a vector from the
本発明は常時ユーザの視線を取得することでリアルタイムに指定ポイントモデルを表示する構成となっているが、ユーザの手が仮想オブジェクトに接触したことを検知し、接触を検知した時点でのユーザの視線に基づいて指定ポイントモデルを表示させるような仕組みにしても構わない。 The present invention has a configuration in which the designated point model is displayed in real time by constantly acquiring the user's line of sight, but detects that the user's hand has contacted the virtual object, and the user's hand at the time of detecting the contact is detected. A mechanism for displaying the designated point model based on the line of sight may be adopted.
以上の処理によると、HMD100−Aを装着したユーザAの視線に基づいて仮想空間上の位置を特定し、特定した位置を基にしてユーザAがどこを見ているのかをHMD100−Bを装着したユーザBが把握することができるという効果がある。 According to the above processing, the position in the virtual space is specified based on the line of sight of the user A wearing the HMD 100-A, and where the user A is looking is mounted on the HMD 100-B based on the specified position. There is an effect that the user B who has performed can grasp.
次に図4に示す仮想オブジェクト移動処理の詳細を図6に示すフローチャートを用いて説明する。 Next, details of the virtual object moving process shown in FIG. 4 will be described using a flowchart shown in FIG.
ステップS601では、情報処理装置200−BのCPU201は、選択デバイス105からの仮想オブジェクトの移動指示である移動操作信号を選択デバイス105から受け付ける(移動指示受付手段)。具体的には、図10に示す選択デバイス105の選択ボタン1001の押下を受け付けることで、移動操作信号を受信する。
In step S601, the
ステップS602では、情報処理装置200−BのCPU201は、ステップS601で移動操作信号を受け付けた時の選択デバイス105の現実空間上の座標情報を取得する。取得した選択デバイス105の現実空間上の座標情報はRAM203に記憶しておく。選択デバイス105の座標情報の取得方法は前述したとおり、光学式センサ104を用いる。
In step S602, the
ステップS603では、情報処理装置200−BのCPU201は、ステップS602で取得した選択デバイス105の現実空間上の座標情報に基づいて、当該座標情報に対応する仮想空間上の所定の領域内に仮想オブジェクトがあるか否かを判定する。具体的には、所定の領域とはオブジェクトテーブル900のサイズ904に示す領域であって、選択デバイス105の座標903を基準とするサイズ904に示す範囲を所定の領域とする。この所定の領域内に仮想オブジェクトが接触していると判定された場合には処理をステップS604に進め、所定の領域内に仮想オブジェクトが接触していないと判定された場合には処理をステップS601に戻す。
In step S603, the
ステップS604では、情報処理装置200−BのCPU201は、ステップS603で接触していると判定された仮想オブジェクトのオブジェクトID901を特定し、当該オブジェクトID901に対応する選択中フラグ906を0から1にする。
In step S604, the
ステップS605では、情報処理装置200−BのCPU201は、ステップS604で特定したオブジェクトID901に対応する座標903の値を、選択デバイス105の座標903と同期させる。例えばオブジェクトID901=M222が特定された場合には、M222に対応する座標903をM444の座標903(XX4、YY4、ZZ4)として上書きする。これにより、選択デバイス105と移動対象の仮想オブジェクトの座標が一致するためユーザの選択デバイス105の挙動に合わせて仮想オブジェクトが移動しているようにHMD100−Bで表示することが可能である。
In step S605, the
また、選択デバイス105で仮想オブジェクトが移動されると、移動された仮想オブジェクトの座標903をプライマリ機の情報処理装置200に送信し、プライマリ機の情報処理装置200はセカンダリ機の情報処理装置200に対して配信する。これにより、1つの情報処理装置200で仮想オブジェクトの移動指示が行われたとしても複数の情報処理装置200の間でも当該仮想オブジェクトの位置座標の同期を行うことが可能になる。
When the virtual object is moved by the selection device 105, the
ステップS606では、情報処理装置200−BのCPU201は、HMD100−Bの座標を取得する。具体的には、ステップS407と同様に光学式センサ104を用いてHMD100−Bに付された光学式マーカを検知し、MR空間上のHMD100−Bの位置や向きを取得する。取得した情報は、HMD情報テーブル800のHMD位置・向き801に格納する。
In step S606, the
ステップS607では、情報処理装置200−BのCPU201は、ステップS606で取得したHMD100−Bの座標情報とステップS506で受信した指定ポイントモデルの座標情報に基づいて、2つの座標情報が示す2点間の距離(a)を算出する(距離特定手段)。算出した距離(a)はRAM203等に記憶しておく。
In step S607, the
ステップS608では、情報処理装置200−BのCPU201は、ステップS607で取得した距離(a)が閾値以内か否かを判定する。閾値以内か否かの判定は図16に示している事前に設定された閾値テーブル1600のHMDの閾値1601に基づいて判定する。図16のHMDの閾値1601では5メートルという値が設定されているので、HMD100−Bと指定ポイントモデルの座標が示す距離が5メートル以内かを判定する。HMD100−Bと指定ポイントモデルの座標が示す距離閾値を超えると判定された場合には処理をステップS609に進め、閾値以内であると判定された場合には、処理をステップS610に進める。これにより、ユーザが指定ポイントモデルに近づくことで矢印ではなく距離で指定ポイントモデルとの間隔を図ることが可能になる。
In step S608, the
ステップS609では、情報処理装置200−BのCPU201は、距離(a)の値をHMD100−Bで表示する。表示は、ステップS410のように現実空間の画像に仮想空間画像を重畳することで表示をさせる。例えば図12に示す距離表示イメージ1200である。閾値以内の範囲であればユーザは指定ポイントモデルを視認することが可能のため、指定ポイントモデルまでの距離を表示することで、ユーザは指定ポイントモデルまでの距離を把握することが可能になる。
In step S609, the
ステップS610では、情報処理装置200−BのCPU201は、ステップS606で取得したHMD100−Bの座標情報と、ステップS506で受信した指定ポイントモデルの座標情報との2点からなるベクトルを特定する(ベクトル特定手段)。
In step S610, the
ステップS611では、情報処理装置200−BのCPU201は、ステップS610で特定したベクトルに基づいて、矢印を表示させる。表示は、ステップS410のように現実空間の画像に仮想空間画像を重畳することで表示をさせる。矢印はオブジェクトテーブル900に格納されている仮想オブジェクトである矢印オブジェクトを用いるものとする。矢印オブジェクトを、ステップS610で特定したベクトル方向の向きにし、ステップS410のように仮想空間画像として更に重畳させ複合現実画像を生成し、HMD100−Bで表示させるように制御する。例えば図13に示す矢印表示イメージ1300である。矢印表示イメージ1300には図示してあるように矢印1301が表示されている。これにより、ユーザは指定ポイントモデルまでの距離が遠く離れていたとしても、矢印に沿って移動することで指定ポイントモデルまで到達することができる。
In step S611, the
ステップS612では、情報処理装置200−BのCPU201は、指定ポイントモデルへの仮想オブジェクトの移動処理を行う。詳細は後の図7に示すフローチャートを用いて説明を行う。
In step S612, the
以上の処理により、所定の距離に応じて指定ポイントモデルまでの矢印か距離の表示を切り替えることでユーザに適切な誘導を行うことを可能とする。 With the above processing, it is possible to perform appropriate guidance to the user by switching the display of the arrow or the distance to the designated point model according to the predetermined distance.
次に図7を用いて、図6に示す指定ポイントへの到達処理の詳細について説明を行う。 Next, the process of reaching the designated point shown in FIG. 6 will be described in detail with reference to FIG.
ステップS701では、情報処理装置200−BのCPU201は、ステップS602で取得した選択デバイス105の座標情報と、ステップS506で受信した指定ポイントモデルの座標情報に基づいて、2つの座標情報が示す2点間の距離(b)を算出する(距離特定手段)。距離(b)を算出したのち、処理をステップS702に進める。
In step S701, the
ステップS702では、情報処理装置200−BのCPU201は、ステップS701で算出した値(b)と、外部メモリ211に記憶される閾値テーブル1600の仮想オブジェクトの閾値1602とを比較する。(b)が外部メモリ211に記憶される閾値テーブル1600の仮想オブジェクトの閾値1602以内であると判定された場合には処理をステップS705に移す。(b)が外部メモリ211に記憶される閾値テーブル1600の仮想オブジェクトの閾値1602以内ではないと判定された場合には処理をステップS703に移す。例えば、図14に示す仮想オブジェクト移動イメージ1400を用いて説明する。選択デバイス105で選択され移動中の仮想オブジェクトが、所定の領域1201に接した場合に、選択デバイス105との同期が解消され、指定ポイントモデルのある位置に仮想オブジェクトが設置される。
In step S702, the
ステップS703では、情報処理装置200−BのCPU201は、選択デバイス105から解除信号を受信したか否かを判定する。解除信号は例えば選択ボタン1001の押下が検知されなくなるなどによって受け付ける。選択デバイス105から解除信号を受信したと判定した場合には処理をステップS704に進め、選択デバイス105から解除信号を受信しなかったと判定した場合には処理をステップS606に戻す。
In step S703, the
ステップS704では、情報処理装置200−BのCPU201は、選択デバイス105と座標を同期している仮想オブジェクト(選択中フラグ906が1の仮想オブジェクト)の座標903の選択デバイス105との同期を解除する。
In step S704, the
ステップS705では、情報処理装置200−BのCPU201は、選択中フラグ906が「1」の仮想オブジェクトの座標903を指定ポイントモデルの座標903と同期させる。これにより、指定ポイントモデルの座標に仮想オブジェクトを固定することができる。
In step S705, the
ステップS706では、情報処理装置200−BのCPU201は、ステップS705で指定ポイントモデルの座標903と同期させた仮想オブジェクトのオブジェクトID901に対応する選択禁止フラグ907を1にし、選択中フラグ906を1から0とする。(移動制御手段)
In step S706, the
前述したとおり、選択禁止フラグ907がたっている間は選択デバイス105による選択を受け付けない。
As described above, selection by the selection device 105 is not accepted while the
ステップS707では、情報処理装置200−BのCPU201は、事前に設定した所定時間(所定の時間)経過したか否かを判定する。事前に設定した所定時間を経過したと判定された場合には、処理をステップS708に進める。事前に設定した所定時間を経過しないと判定された場合には、処理をステップS707に戻す。
In step S707, the
ステップS708では、情報処理装置200−BのCPU201は、ステップS706で立てた選択禁止フラグ907を0に戻す。
In step S708, the
以上で本発明の第1の実施形態の説明を終了する。次に本発明の第2の実施形態の説明を開始する。 This concludes the description of the first embodiment of the present invention. Next, the description of the second embodiment of the present invention will be started.
第1の実施形態では、HMD100−Aを装着したユーザAの視線に基づいて仮想空間上の位置を特定し、特定した位置とユーザAのHMD100−Aの位置の2点に基づいて矢印状の仮想オブジェクトを表示した。これにより、どの方向からユーザAが特定した位置を覗いているのかを他のユーザが把握することができる。 In the first embodiment, a position in the virtual space is specified based on the line of sight of the user A wearing the HMD 100-A, and an arrow-shaped position is determined based on the specified position and the position of the user A's HMD 100-A. Displayed virtual objects. This allows other users to know from which direction the user A is looking into the specified position.
第2の実施形態の特徴は以下の通りである。第2の実施形態は、HMD100−Aを装着したユーザAの視線に基づいて特定した仮想空間上の位置に、方向の概念を持たない仮想オブジェクト(マーク状の仮想オブジェクト)を、重畳表示させることを特徴としている。さらに、視線方向を読み込んだHMD100では視線を示す指定ポイントモデルを表示させないことでHMD100の視認性を向上させることを特徴としている。また、HMD100の視線方向の最も近い仮想オブジェクトが指定ポイントモデルを表示すべき仮想オブジェクトか否かを判定することにより、指定ポイントモデルの表示を制御させることを特徴としている。
The features of the second embodiment are as follows. In the second embodiment, a virtual object having no concept of a direction (a mark-shaped virtual object) is superimposed and displayed at a position in the virtual space specified based on the line of sight of the user A wearing the HMD 100-A. It is characterized by. Further, the
第2の実施形態では、システム構成、ハードウェア構成、機能構成、画面例、テーブルは第1の実施形態と下記の変更点を除き同様とする。変更点としては、図5を図17に変更、図9を図19に変更、図11を図18に変更したものである。
これより図17と図18の説明を行う。
In the second embodiment, the system configuration, hardware configuration, functional configuration, screen example, and table are the same as those in the first embodiment except for the following changes. 5 are changed to FIG. 17, FIG. 9 is changed to FIG. 19, and FIG. 11 is changed to FIG.
17 and 18 will now be described.
図17は、本発明の第2の実施形態における指定ポイントモデル表示処理の詳細な処理の流れを説明するフローチャートである。 FIG. 17 is a flowchart illustrating the detailed processing flow of the designated point model display processing according to the second embodiment of the present invention.
ステップS1701からステップS1702までは図5に示すステップS501からステップS502と同様の処理であるため、説明を省略する。 Steps S1701 to S1702 are the same as steps S501 to S502 shown in FIG.
図17のフローチャートでは、図5のステップS505に対応する処理を削除している。これにより、拠点Aのユーザ(本実施形態であればHMD100−Aを装着しているユーザA)のHMD100に、指定ポイントモデルを表示させないことにより、ユーザの視界に不要な指定ポイントモデルを表示させないことを可能とするものである。拠点Bのユーザが装着するHMD100−Bでは、拠点Aのユーザの視線から特定される指定ポイントモデルが表示される。
In the flowchart of FIG. 17, the process corresponding to step S505 of FIG. 5 is deleted. Accordingly, the designated point model is not displayed on the
また、第2の実施形態では指定ポイントモデルをマーク状のものとしたが、識別表示することができれば第1の実施形態のように矢印状のものを用いてもよい。 Further, in the second embodiment, the designated point model is a mark-shaped model, but an arrow-shaped model as in the first embodiment may be used as long as identification and display can be performed.
ステップS1703では、情報処理装置200−AのCPU201は、図19のオブジェクトテーブル1900を参照する。オブジェクトテーブル1900は図9に示すオブジェクトテーブル900に視線表示フラグ1908を追加したものである。視線表示フラグ1908は事前に設定されているものであり、視線表示フラグ1908が「0」であれば指定ポイントモデルを表示しない仮想オブジェクトであることを示しており、「1」であれば指定ポイントモデルを表示する仮想オブジェクトであることを示すものである。
In step S1703, the
ステップS1704では、情報処理装置200−AのCPU201は、ステップS1702で特定した仮想オブジェクトの視線表示フラグ1908を確認し、視線表示フラグ1908が「0」であれば処理をステップS1702に戻し、視線表示フラグ1908が「1」であれば処理をステップS1705に進める。
In step S1704, the
このように、仮想オブジェクトごとに設定を設けることで、仮想オブジェクトによっては指定ポイントモデルを表示させないことが可能となる効果がある。 As described above, by providing the setting for each virtual object, there is an effect that the designated point model may not be displayed depending on the virtual object.
ステップS1705からステップS1708までの処理はステップS503乃至504、ステップS506乃至507と同様のため、説明を省略する。上述したようにステップS505は削除している。 Steps S1705 to S1708 are the same as steps S503 to 504 and steps S506 to 507, and thus description thereof is omitted. As described above, step S505 has been deleted.
ステップS1709では、情報処理装置200−BのCPU201は、ステップS1705で受信した交点の座標(視点と交差する仮想オブジェクト上の座標)に所定の指定ポイントモデル(仮想オブジェクト)を重畳して表示する。
In step S1709, the
例えば図18に示すイメージである。図18は識別表示イメージ1800である。視線をもとに仮想オブジェクトの位置座標を特定した(他のHMDに見ている対象を通知する)HMD100−Aには指定ポイントモデル1801を表示せず、HMD100−Aとは異なるHMD100であるHMD100−Bでは指定ポイントモデル1801を表示する。指定ポイントモデル1801が表示されることにより仮想オブジェクトを識別可能に表示させることができる。指定ポイントモデル1801は図18のイメージに限定されず、仮想オブジェクトと視線との交点を識別可能にできればこれに限定されない。また、仮想オブジェクトを識別可能にする効果もある。
これにより、HMD100−Aを装着するユーザの視認性向上をもたらす効果がある。
An example is the image shown in FIG. FIG. 18 shows an identification display image 1800. The designated
This has the effect of improving the visibility of the user wearing the HMD 100-A.
第2の実施形態では、矢印状の指定ポイントモデル以外の表示形態で記載をしたが、矢印状の指定ポイントモデルで上述の処理を実施してもよい。 In the second embodiment, the display is described in a display mode other than the arrow-shaped designated point model. However, the above-described processing may be performed using an arrow-shaped designated point model.
以上の処理により、指定ポイントモデルの所定の範囲内に選択デバイス105で選択し移動中の仮想オブジェクトが近づいた時には、ユーザが簡単に指定ポイントモデルのある座標に仮想オブジェクトを配置することを可能とする。さらに所定時間選択禁止にすることでユーザは選択デバイス105による選択解除指示を行わなくとも、指定ポイントモデルのある座標に仮想オブジェクトを配置することを可能としている。 With the above processing, when the moving virtual object selected by the selection device 105 and approaching within the predetermined range of the designated point model approaches, the user can easily arrange the virtual object at a certain coordinate of the designated point model. I do. Further, by prohibiting the selection for a predetermined time, the user can arrange the virtual object at a certain coordinate of the designated point model without giving the selection instruction by the selection device 105.
以上、本実施例により、第1の仮想空間上の所望の位置を、第1のヘッドマウントディスプレイの視線によって特定することにより、第2のヘッドマウントディスプレイで識別可能に表示させることの可能な効果を奏する。 As described above, according to the present embodiment, the desired position in the first virtual space is specified by the line of sight of the first head-mounted display, so that the second head-mounted display can be displayed in an identifiable manner. Play.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。 The present invention is, for example, possible as an embodiment as a system, an apparatus, a method, a program, a storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. You may apply to the apparatus which consists of three apparatuses.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 Note that the present invention includes a program that directly or remotely supplies a software program that realizes the functions of the above-described embodiments to a system or an apparatus. The present invention also includes a case where the present invention is also achieved by a computer of the system or the apparatus reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, the program code itself installed in the computer to implement the functional processing of the present invention by the computer also implements the present invention. That is, the present invention includes the computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In this case, as long as it has the function of the program, it may be in the form of an object code, a program executed by an interpreter, script data supplied to the OS, or the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, an MO, a CD-ROM, a CD-R, and a CD-RW. Further, there are a magnetic tape, a nonvolatile memory card, a ROM, a DVD (DVD-ROM, DVD-R), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another method of supplying the program, a browser on a client computer is used to connect to a homepage on the Internet. The computer program of the present invention or a compressed file including an automatic installation function can be supplied from the home page by downloading the file to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 Also, the present invention can be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. In other words, the present invention also includes a WWW server that allows a plurality of users to download a program file for implementing the functional processing of the present invention on a computer.
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせても実行可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and downloaded to a user who satisfies predetermined conditions from a homepage via the Internet to download key information for decryption. Let it. It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 The functions of the above-described embodiments are implemented when the computer executes the read program. In addition, the OS or the like running on the computer performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written to a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on instructions of the program, a CPU or the like provided in the function expansion board or the function expansion unit performs part or all of actual processing, and the functions of the above-described embodiments are also realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiment is merely an example of the embodiment for carrying out the present invention, and the technical scope of the present invention should not be interpreted in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features.
100 HMD
101 LAN
103 光学式マーカ
104 光学式センサ
105 選択デバイス
200 情報処理装置
201 CPU
202 ROM
203 RAM
204 システムバス
205 入力コントローラ
206 ビデオコントローラ
207 メモリコントローラ
208 通信I/Fコントローラ
209 入力デバイス
210 ディスプレイ
211 外部メモリ
212 汎用バス
221 右目・左目ビデオカメラ
222 右目・左目ディスプレイ
100 HMD
101 LAN
103
202 ROM
203 RAM
204
Claims (9)
前記仮想空間におけるアノテーションオブジェクトの位置と仮想オブジェクトの位置とを取得する取得手段と、
前記取得手段で取得したアノテーションオブジェクトの位置と仮想オブジェクトの位置との距離が所定値以下である場合に、仮想オブジェクトの位置を、前記アノテーションオブジェクトの位置に移動させるよう制御する移動制御手段と
を備え、
前記取得手段は、前記第2のヘッドマウントディスプレイの位置情報及び向き情報に基づいて、前記アノテーションオブジェクトの位置を取得することを特徴とする情報処理システム。 An information processing system for managing a virtual space of a first head-mounted display, which is a common virtual space, and a virtual space of a second head-mounted display different from the virtual space of the first head-mounted display,
Acquiring means for acquiring the position of the annotation object and the position of the virtual object in the virtual space;
When the distance between the position of the annotation object and the position of the virtual object acquired by the acquisition unit is equal to or less than a predetermined value, the control unit moves the position of the virtual object to the position of the annotation object. ,
The information processing system according to claim 1, wherein the acquisition unit acquires the position of the annotation object based on position information and orientation information of the second head mounted display.
を備えることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。 4. The information processing system according to claim 1, further comprising a display control unit configured to control the display of the annotation object. 5.
前記仮想空間におけるアノテーションオブジェクトの位置と仮想オブジェクトの位置とを取得する取得ステップと、
前記取得ステップで取得したアノテーションオブジェクトの位置と仮想オブジェクトの位置との距離が所定値以下である場合に、仮想オブジェクトの位置を、前記アノテーションオブジェクトの位置に移動させるよう制御する移動制御ステップと
を備え、
前記取得ステップは、前記第2のヘッドマウントディスプレイの位置情報及び向き情報に基づいて、前記アノテーションオブジェクトの位置を取得することを特徴とする情報処理システムの制御方法。 In common is a virtual space, the virtual space of the first head-mounted display, a control method of an information processing system for managing a virtual space of the different from the first head-mounted display of the virtual space the second head mount display So,
An obtaining step of obtaining a position of the annotation object and a position of the virtual object in the virtual space;
If the distance between the position and the position of the virtual object in the annotation object obtained by the obtaining step is equal to or smaller than a predetermined value, the position of the virtual object, movement control for controlling so as to move to the position of the annotation object Steps and
With
The control method of an information processing system , wherein the obtaining step obtains a position of the annotation object based on position information and orientation information of the second head mounted display .
前記仮想空間におけるアノテーションオブジェクトの位置と仮想オブジェクトの位置とを取得する取得手段と、
前記取得手段で取得したアノテーションオブジェクトの位置と仮想オブジェクトの位置との距離が所定値以下である場合に、仮想オブジェクトの位置を、前記アノテーションオブジェクトの位置に移動させるよう制御する移動制御手段と
を備え、
前記取得手段は、前記第2のヘッドマウントディスプレイの位置情報及び向き情報に基づいて、前記アノテーションオブジェクトの位置を取得することを特徴とする情報処理装置。 Is a virtual space in common, an information processing apparatus for managing a virtual space of the first head-mounted display, a virtual space of the different from the first head-mounted display of the virtual space second head-mounted display,
Acquiring means for acquiring the position of the annotation object and the position of the virtual object in the virtual space;
If the distance between the positions of the virtual objects annotation object acquired by the acquisition unit is less than the predetermined value, the position of the virtual object, movement control for controlling so as to move to the position of the annotation object Means
With
The information processing apparatus according to claim 1, wherein the obtaining unit obtains a position of the annotation object based on position information and orientation information of the second head mounted display .
前記仮想空間におけるアノテーションオブジェクトの位置と仮想オブジェクトの位置とを取得する取得ステップと、
前記取得ステップで取得したアノテーションオブジェクトの位置と仮想オブジェクトの位置との距離が所定値以下である場合に、仮想オブジェクトの位置を、前記アノテーションオブジェクトの位置に移動させるよう制御する移動制御ステップと
を備え、
前記取得ステップは、前記第2のヘッドマウントディスプレイの位置情報及び向き情報に基づいて、前記アノテーションオブジェクトの位置を取得することを特徴とする情報処理装置の制御方法。 In common is a virtual space, the virtual space of the first head-mounted display, a method of controlling an information processing apparatus for managing a virtual space of the different from the first head-mounted display of the virtual space the second head mount display So,
An obtaining step of obtaining a position of the annotation object and a position of the virtual object in the virtual space;
If the distance between the position and the position of the virtual object in the annotation object obtained by the obtaining step is equal to or smaller than a predetermined value, the position of the virtual object, movement control for controlling so as to move to the position of the annotation object Steps and
With
The control method of an information processing device , wherein the obtaining step obtains a position of the annotation object based on position information and orientation information of the second head mounted display .
前記仮想空間におけるアノテーションオブジェクトの位置と仮想オブジェクトの位置とを取得する取得手段と、
前記取得手段で取得したアノテーションオブジェクトの位置と仮想オブジェクトの位置との距離が所定値以下である場合に、仮想オブジェクトの位置を、前記アノテーションオブジェクトの位置に移動させるよう制御する移動制御手段として機能させ、
前記取得手段を、前記第2のヘッドマウントディスプレイの位置情報及び向き情報に基づいて、前記アノテーションオブジェクトの位置を取得する手段として機能させるためのプログラム。 A common virtual space, the virtual space of the first head-mounted display, a computer that manages the virtual space of the first second head-mounted display that is different from the head mounted display of the virtual space,
Acquiring means for acquiring the position of the annotation object and the position of the virtual object in the virtual space;
If the distance between the positions of the virtual objects annotation object acquired by the acquisition unit is less than the predetermined value, the position of the virtual object, movement control for controlling so as to move to the position of the annotation object Function as a means,
A program for causing the acquisition unit to function as a unit that acquires a position of the annotation object based on position information and orientation information of the second head-mounted display .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020020515A JP6978701B2 (en) | 2014-07-31 | 2020-02-10 | Information processing system, its control method, and program, and information processing device, its control method, and program. |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014156900 | 2014-07-31 | ||
JP2014156900 | 2014-07-31 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015123556A Division JP6004051B2 (en) | 2014-07-31 | 2015-06-19 | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020020515A Division JP6978701B2 (en) | 2014-07-31 | 2020-02-10 | Information processing system, its control method, and program, and information processing device, its control method, and program. |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017033575A JP2017033575A (en) | 2017-02-09 |
JP2017033575A5 JP2017033575A5 (en) | 2019-02-28 |
JP6663111B2 true JP6663111B2 (en) | 2020-03-11 |
Family
ID=55523535
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015123556A Active JP6004051B2 (en) | 2014-07-31 | 2015-06-19 | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
JP2016171834A Active JP6663111B2 (en) | 2014-07-31 | 2016-09-02 | Information processing system, its control method and program, and information processing apparatus, its control method and program |
JP2020020515A Active JP6978701B2 (en) | 2014-07-31 | 2020-02-10 | Information processing system, its control method, and program, and information processing device, its control method, and program. |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015123556A Active JP6004051B2 (en) | 2014-07-31 | 2015-06-19 | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020020515A Active JP6978701B2 (en) | 2014-07-31 | 2020-02-10 | Information processing system, its control method, and program, and information processing device, its control method, and program. |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6004051B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017191701A1 (en) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | Display control device, display control method, and program |
JP6661756B2 (en) * | 2016-05-02 | 2020-03-11 | 株式会社ソニー・インタラクティブエンタテインメント | Image generation apparatus, image generation method, and program |
JP2018117970A (en) * | 2017-01-27 | 2018-08-02 | 株式会社スクウェア・エニックス | Game system, game execution method, and computer device |
JP6807455B2 (en) * | 2017-06-08 | 2021-01-06 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and image generation method |
EP3736666A4 (en) * | 2018-01-04 | 2021-03-03 | Sony Corporation | Information processing device, information processing method and program |
US20240005619A1 (en) * | 2020-11-30 | 2024-01-04 | Maxell, Ltd. | Augmented reality processing system, information display device, and augmented reality processing method |
EP4174773A1 (en) | 2021-06-23 | 2023-05-03 | 3I Inc. | Depth map image generation method and computing device for same |
WO2023026798A1 (en) * | 2021-08-23 | 2023-03-02 | 株式会社Nttドコモ | Display control device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002319037A (en) * | 2001-04-18 | 2002-10-31 | Ricoh Co Ltd | Work support device, work support method, program and recording medium, and virtual work support system |
JP4065507B2 (en) * | 2002-07-31 | 2008-03-26 | キヤノン株式会社 | Information presentation apparatus and information processing method |
SE0203908D0 (en) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
JP2005174021A (en) * | 2003-12-11 | 2005-06-30 | Canon Inc | Method and device for presenting information |
JP5472056B2 (en) * | 2010-11-19 | 2014-04-16 | コニカミノルタ株式会社 | Display system, display processing apparatus, display method, and display program |
-
2015
- 2015-06-19 JP JP2015123556A patent/JP6004051B2/en active Active
-
2016
- 2016-09-02 JP JP2016171834A patent/JP6663111B2/en active Active
-
2020
- 2020-02-10 JP JP2020020515A patent/JP6978701B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6004051B2 (en) | 2016-10-05 |
JP2016035742A (en) | 2016-03-17 |
JP2020102232A (en) | 2020-07-02 |
JP2017033575A (en) | 2017-02-09 |
JP6978701B2 (en) | 2021-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6663111B2 (en) | Information processing system, its control method and program, and information processing apparatus, its control method and program | |
JP6618681B2 (en) | Information processing apparatus, control method and program therefor, and information processing system | |
JP6920057B2 (en) | Image processing equipment, image processing method, computer program | |
JP2015125641A (en) | Information processing device, control method therefor, and program | |
JP6677890B2 (en) | Information processing system, its control method and program, and information processing apparatus, its control method and program | |
JP2016122392A (en) | Information processing apparatus, information processing system, control method and program of the same | |
JP6409861B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP7060778B2 (en) | Information processing system, information processing system control method and program | |
JP6871501B2 (en) | Information processing equipment, information processing system, its control method and program | |
JP6730577B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP6725827B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP6011567B2 (en) | Information processing apparatus, control method thereof, and program | |
JP6376251B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
US20220207832A1 (en) | Method and apparatus for providing virtual contents in virtual space based on common coordinate system | |
JP6164177B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP6820469B2 (en) | Information processing equipment, information processing system, its control method and program | |
JP2018124746A (en) | Information processing device, information processing system, information processing method and program | |
JP2016115230A (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP6810342B2 (en) | Information processing equipment, information processing system, its control method and program | |
JP6683919B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP2014174643A (en) | Image processing system, control method therefor, image processing device, and image processing method | |
JP2015121892A (en) | Image processing apparatus, and image processing method | |
JP6741939B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP7029087B2 (en) | Information processing equipment, information processing system, its control method and program | |
JP6734537B2 (en) | Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180618 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200127 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6663111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |