JP6810342B2 - Information processing equipment, information processing system, its control method and program - Google Patents

Information processing equipment, information processing system, its control method and program Download PDF

Info

Publication number
JP6810342B2
JP6810342B2 JP2016201805A JP2016201805A JP6810342B2 JP 6810342 B2 JP6810342 B2 JP 6810342B2 JP 2016201805 A JP2016201805 A JP 2016201805A JP 2016201805 A JP2016201805 A JP 2016201805A JP 6810342 B2 JP6810342 B2 JP 6810342B2
Authority
JP
Japan
Prior art keywords
viewpoint
movement instruction
user
virtual object
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016201805A
Other languages
Japanese (ja)
Other versions
JP2018063590A (en
Inventor
翔 松田
翔 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2016201805A priority Critical patent/JP6810342B2/en
Publication of JP2018063590A publication Critical patent/JP2018063590A/en
Application granted granted Critical
Publication of JP6810342B2 publication Critical patent/JP6810342B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

本発明は、情報処理装置、情報処理システム、その制御方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing system, a control method and a program thereof.

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。複合現実の技術を用いて、ヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザに対し、現実画像にＣＧモデルを配置した複合現実画像を提供し、現実と仮想を複合した複合現実の世界を体験させることができる。複合現実画像を生成するにあたり、ＨＭＤの位置とＣＧモデルの位置とを、センサや二次元マーカを用いて特定する手法が取られている。 In recent years, mixed reality (hereinafter referred to as MR) technology has become widespread. Using mixed reality technology, a user wearing a head-mounted display (HMD) is provided with a mixed reality image in which a CG model is placed on the real image, and the user is allowed to experience the mixed reality world in which real and virtual are combined. Can be done. In generating a mixed reality image, a method of specifying the position of the HMD and the position of the CG model by using a sensor or a two-dimensional marker is adopted.

特許文献１には、ＨＭＤで撮影された画像の中に写る二次元マーカを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。また、特許文献２には、磁気センサを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。 Patent Document 1 describes a technique for specifying the position and orientation of an HMD by using a two-dimensional marker appearing in an image taken by the HMD and providing a mixed reality image. Further, Patent Document 2 describes a technique of specifying the position and orientation of the HMD by using a magnetic sensor and providing a mixed reality image.

また、特許文献３には、撮影した複合現実画像と、その時点での時刻とＨＭＤの位置姿勢を対応付けて記憶することが記載されている。特許文献４には、画像の撮影地点にサムネイル画像を配置した仮想空間画像を提供する技術が記載されている。特許文献５には、視線によるユーザの選択操作に基づいてユーザの視点位置を変更することが記載されている。 Further, Patent Document 3 describes that the captured mixed reality image is stored in association with the time at that time and the position and orientation of the HMD. Patent Document 4 describes a technique for providing a virtual space image in which a thumbnail image is arranged at a shooting point of an image. Patent Document 5 describes that the viewpoint position of the user is changed based on the selection operation of the user by the line of sight.

特開２００３−３０８５１４号公報Japanese Unexamined Patent Publication No. 2003-308514 特開２００３−２４０５３２号公報Japanese Unexamined Patent Publication No. 2003-240532 特開２００５−２６０７２４号公報Japanese Unexamined Patent Publication No. 2005-260724 特開２０１０−９３７１３号公報Japanese Unexamined Patent Publication No. 2010-93713 特開２００８−２９３３５７号公報Japanese Unexamined Patent Publication No. 2008-293357

複数人でＭＲを体験する場合、他者が見ていた場所や物を見たい場面が想定される。例えば、記録された複合現実画像に対応する位置を指定することで、当該指定された仮想空間上の位置に自身の視点位置を移動させ、他者が撮影時点で見ていたＣＧモデルを、他者が見ていた場所から確認できると考えられる。 When multiple people experience MR, it is assumed that they want to see the places and things that others have seen. For example, by designating the position corresponding to the recorded mixed reality image, the position of one's own viewpoint is moved to the designated position in the virtual space, and the CG model seen by another person at the time of shooting can be changed to another. It is thought that it can be confirmed from the place where the person was looking.

複合現実の場合、体験者の身長や体勢によってＨＭＤの高さが変わる。上記の方法では、移動直後の体験者の頭の位置に移動先にあるＣＧモデルが重なってしまうような場合、体験者はＣＧによっていきなり視界を塞がれてしまうため、自身の状態を把握できなくなり混乱してしまうことがある。 In the case of mixed reality, the height of the HMD changes depending on the height and posture of the experiencer. With the above method, if the CG model at the destination overlaps with the position of the experiencer's head immediately after movement, the experiencer suddenly blocks the field of vision due to CG, so that the experiencer can grasp his / her own condition. It may disappear and be confused.

また、たとえＣＧから頭部を抜け出して画像が撮影された場所により近付いたとしても、周囲の状況が分からず、他者が撮影していた画像がどこをどのような方向や角度で撮影したものなのか分からなくなることがある。 Also, even if you get out of the CG and get closer to the place where the image was taken, you do not know the surrounding situation, and the image taken by another person was taken in what direction and angle. Sometimes I don't know what it is.

本発明は、撮影場所に近付いたユーザに対して、撮影された画像の撮影時の方向を案内することが可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of guiding a user who approaches a shooting place to the direction of a shot image at the time of shooting.

本発明は、装着型の表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて、前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置であって、前記表示装置のユーザの現在の視点位置を、前記位置姿勢記憶手段に記憶されている過去の位置に移動する指示を受け付ける移動指示受付手段と、前記移動指示受付手段により視点位置の移動指示を受け付けたユーザの視点位置が、移動指示を受け付けた先の位置から所定距離内にあるか判定する判定手段と、前記判定手段により、移動指示を受け付けたユーザの視点位置が移動指示を受け付けた先の位置から所定距離内にあると判定された場合に、前記移動指示を受け付けた先の位置で撮影された画像の撮影の方向にかかる案内を表示制御する案内表示制御手段と、を備えることを特徴とする。 The present invention comprises a position / orientation storage means for storing a viewpoint position and posture in a virtual space indicating a user's viewpoint of a wearable display device, and a virtual object storage means for storing a virtual object and the position / orientation of the virtual object in the virtual space. An information processing device including, and a generation means for generating an image of the virtual object when viewed from the viewpoint of the display device, based on the position and orientation of the display device and the position and orientation of the virtual object. A movement instruction receiving means for receiving an instruction to move the current viewpoint position of the user of the display device to a past position stored in the position / posture storage means, and a movement instruction receiving means for receiving a movement instruction for the viewpoint position. A determination means for determining whether the viewpoint position of the user is within a predetermined distance from the position where the movement instruction is received, and a determination means for the viewpoint position of the user who has received the movement instruction by the determination means. It is characterized by including a guidance display control means for displaying and controlling guidance in the shooting direction of an image shot at a position at a destination where the movement instruction is received when it is determined that the vehicle is within a predetermined distance from the position. And.

本発明によれば、撮影場所に近付いたユーザに対して、撮影された画像の撮影時の方向を案内することが可能な仕組みを提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a mechanism capable of guiding a user who approaches a shooting location to a direction when a shot image is shot.

本発明の実施形態における、情報処理システム構成図の一例を示す図である。It is a figure which shows an example of the information processing system block diagram in embodiment of this invention. 本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of various devices in embodiment of this invention. 本発明の実施形態における、各種装置の機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of various devices in embodiment of this invention. 本発明の実施形態における、各種装置のモジュール構成の一例を示す処理図である。It is a processing figure which shows an example of the module structure of various devices in embodiment of this invention. 本発明の実施形態における、複合現実画像の生成及び表示処理の一例を示す処理図である。It is a processing figure which shows an example of the generation and display processing of a mixed reality image in embodiment of this invention. 本発明の実施形態における、各種データ構成の一例を示す図である。It is a figure which shows an example of various data structures in embodiment of this invention. 本発明の実施形態における、現実空間及び仮想空間におけるカメラの様子と、ＭＲ画像の一例を示す図である。It is a figure which shows the state of the camera in the real space and the virtual space, and an example of an MR image in embodiment of this invention. 本発明の実施形態における、撮影画像の記録処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the recording process of the photographed image in embodiment of this invention. 本発明の実施形態における、視点移動の処理の概要を示すフローチャートである。It is a flowchart which shows the outline of the process of moving a viewpoint in embodiment of this invention. 本発明の実施形態における、視点移動先の位置決定及び案内処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the position determination and guidance processing of the viewpoint moving destination in embodiment of this invention. 本発明の実施形態における、各種データ構成の一例を示す図である。It is a figure which shows an example of various data structures in embodiment of this invention. 本発明の実施形態における、視点移動の様子とＭＲ画像の一例を示す図である。It is a figure which shows the state of viewpoint movement, and an example of MR image in embodiment of this invention. 従来の、直接撮影場所に視点移動した場合の様子とＭＲ画像の一例を示す図である。It is a figure which shows the state when the viewpoint is moved directly to the shooting place and an example of an MR image in the conventional manner. 本発明の実施形態における、視点移動の様子の一例を示す図である。It is a figure which shows an example of the state of viewpoint movement in embodiment of this invention. 本発明の実施形態における、画像の撮影場所における案内処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the guidance processing at the image taking place in embodiment of this invention. 従来の、撮影場所でのユーザの様子とＭＲ画像の一例を示す図である。It is a figure which shows the state of the user at a conventional shooting place, and an example of an MR image. 本発明の実施形態における、画像の撮影場所における案内の様子を示す図である。It is a figure which shows the state of the guidance in the place where the image was taken in the embodiment of this invention. ＨＭＤの方向、角度の例を示す図である。It is a figure which shows the example of the direction and angle of HMD.

図１を参照して、本発明の実施形態における情報処理システムの構成の一例について説明する。 An example of the configuration of the information processing system according to the embodiment of the present invention will be described with reference to FIG.

図１に示すように、本発明における情報処理システムの各種装置はネットワーク１５０を介して通信可能に接続されている。例えばＰＣ１００は、ＨＭＤ１０１（ＨＭＤ１０１Ａ〜ＨＭＤ１０１Ｃの総称）と通信可能に接続されている。ＨＭＤ１０１は、頭部装着型のディスプレイ（ヘッドマウントディスプレイ）である。 As shown in FIG. 1, various devices of the information processing system of the present invention are communicably connected via the network 150. For example, the PC 100 is communicably connected to the HMD 101 (collective term for the HMD 101A to HMD 101C). The HMD 101 is a head-mounted display (head-mounted display).

ＰＣ１００には、ＨＭＤ１０１により撮影される現実画像に重畳する３次元モデル（ＣＧモデル／仮想オブジェクト／仮想物体）が記憶されている。 The PC 100 stores a three-dimensional model (CG model / virtual object / virtual object) superimposed on the real image captured by the HMD 101.

また、ＰＣ１００は、自機の管理するＨＭＤ１０１（図１におけるＨＭＤ１０１Ａ〜１０１Ｃ）より現実画像を取得して、記憶部に記憶する。また、ＰＣ１００はＨＭＤ１０１の位置姿勢を特定し、記憶する。ＨＭＤ１０１の位置姿勢の特定方法は、特許文献１に記載されている、ＨＭＤ１０１の撮影した現実画像中の二次元マーカを用いて特定可能である。また、特許文献２に記載されている、センサ（図１における光学センサ１０４）がＨＭＤ１０１に設置された光学式マーカの位置姿勢をＨＭＤ１０１の位置姿勢として検出し、それをＰＣ１００が取得することで特定可能である。本実施形態においては、特許文献２に記載の方法用いてＨＭＤ１０１の位置姿勢を特定するものとする。 Further, the PC 100 acquires a real image from the HMD 101 (HMD 101A-101C in FIG. 1) managed by the PC 100 and stores it in the storage unit. Further, the PC 100 identifies and stores the position and orientation of the HMD 101. The method for specifying the position and orientation of the HMD 101 can be specified by using the two-dimensional marker in the real image taken by the HMD 101, which is described in Patent Document 1. Further, the sensor (optical sensor 104 in FIG. 1) described in Patent Document 2 detects the position and orientation of the optical marker installed on the HMD 101 as the position and orientation of the HMD 101, and the PC 100 acquires the position and orientation to identify the position and orientation. It is possible. In the present embodiment, the position and orientation of the HMD 101 shall be specified by using the method described in Patent Document 2.

ＰＣ１００では、ＨＭＤ１０１の位置姿勢と、記憶部に記憶されている３次元モデル及び３次元モデルの位置姿勢の情報を用いて、現実画像に３次元モデルを重畳した複合現実画像を生成する。そして、当該複合現実画像をＨＭＤ１０１のディスプレイに表示させるべく、ＨＭＤ１０１に送信する。ＨＭＤ１０１は受信した複合現実画像をディスプレイに表示する。以上が図１の説明である。
次に図２を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。 The PC 100 uses the position and orientation of the HMD 101 and the position and orientation information of the three-dimensional model and the three-dimensional model stored in the storage unit to generate a mixed reality image in which the three-dimensional model is superimposed on the real image. Then, the mixed reality image is transmitted to the HMD 101 so as to be displayed on the display of the HMD 101. The HMD 101 displays the received mixed reality image on the display. The above is the description of FIG.
Next, an example of the hardware configuration of various devices according to the embodiment of the present invention will be described with reference to FIG.
The CPU 201 comprehensively controls each device and controller connected to the system bus 204.

また、ＲＯＭ２０２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。 Further, the ROM 202 stores various programs necessary for realizing the functions executed by the BIOS (Basic Input / Output System) which is the control program of the CPU 201, the operating system (OS), and other various devices.

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。 The RAM 203 functions as a main memory, a work area, and the like of the CPU 201. The CPU 201 realizes various operations by loading a program or the like necessary for executing a process into the RAM 203 and executing the program.

本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２０９）からの入力を制御する。 Various programs and the like used by the PC 100 of the present invention to execute various processes described later are recorded in the external memory 211, and are executed by the CPU 201 by being loaded into the RAM 203 as needed. Further, the definition file and various information tables used by the program according to the present invention are stored in the external memory 211.
The input controller (input C) 205 controls the input from a pointing device (input device 209) such as a keyboard or a mouse.

また、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。なお、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよいこととする。 Further, when the input device 209 is a touch panel, the user can give various instructions by pressing (touching with a finger or the like) the icon, the cursor, or the button displayed on the touch panel. The touch panel may be a touch panel such as a multi-touch screen that can detect the position touched by a plurality of fingers.

ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０１が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。また、入力コントローラ（入力Ｃ）２０５は、ＰＣ１００の備えるディスプレイ２１０（ＣＲＴディスプレイ等）の表示器への表示を制御する。なお、図２では、表示器はＣＲＴディスプレイだけでなく、液晶ディスプレイ等の他の表示器であってもよい。 The video controller (VC) 206 controls the display on the display such as the right-eye / left-eye display 222 included in the HMD 101. For the right-eye / left-eye display 222, for example, an external output terminal (for example, Digital Visual Interface) is used for output. The right-eye / left-eye display 222 is composed of a display for the right eye and a display for the left eye. Further, the input controller (input C) 205 controls the display on the display of the display 210 (CRT display or the like) included in the PC 100. In FIG. 2, the display may be not only a CRT display but also another display such as a liquid crystal display.

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。 The memory controller (MC) 207 is an adapter to a hard disk (HD), a flexible disk (FD), or a PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, editing files, various data, and the like. Controls access to an external memory 211 such as a card-type memory connected via.

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学センサ１０４との通信も制御する。 The communication I / F controller (communication I / FC) 208 connects and communicates with an external device via a network, and executes communication control processing on the network. For example, Internet communication using TCP / IP is possible. The communication I / F controller 208 also controls communication with the optical sensor 104 via Gigabit Ethernet (registered trademark) or the like.

汎用バス２１２は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。 The general-purpose bus 212 is used to capture images from the right-eye / left-eye video camera 221 of the HMD 101. Input is performed from the right-eye / left-eye video camera 221 using an external input terminal (for example, an IEEE1394 terminal). The right-eye / left-eye video camera 221 is composed of a video camera for the right eye and a video camera for the left eye.

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図２の説明である。 The CPU 201 can display the outline font on the display by executing the outline font expansion (rasterization) process on the display information area in the RAM 203, for example. Further, the CPU 201 enables a user instruction with a mouse cursor or the like (not shown) on the display. The above is the description of FIG.

次に図３を参照して、本発明の実施形態における各種装置の機能構成の一例について説明する。 Next, an example of the functional configuration of various devices according to the embodiment of the present invention will be described with reference to FIG.

撮影画像送信部３０１は、カメラで撮影した撮影画像（現実画像）をＰＣ１００に送信する。 The captured image transmission unit 301 transmits the captured image (real image) captured by the camera to the PC 100.

撮影画像受信部３１１は、撮影画像を受信して随時ＲＡＭ上に記憶する。位置姿勢記憶部３１２は、光学センサにより取得したＨＭＤ１０１の位置姿勢を記憶する。 The captured image receiving unit 311 receives the captured image and stores it in the RAM at any time. The position / attitude storage unit 312 stores the position / attitude of the HMD 101 acquired by the optical sensor.

ＭＲ画像生成部３１３は、現実に仮想物体の画像を重畳した重畳画像であるＭＲ画像を生成する。ＭＲ画像送信部３１４は、生成したＭＲ画像をＨＭＤ１０１において表示させるべく出力する。 The MR image generation unit 313 generates an MR image which is a superposed image in which an image of a virtual object is actually superimposed. The MR image transmission unit 314 outputs the generated MR image so as to be displayed on the HMD 101.

ＭＲ画像記憶部３１５は、ＨＭＤ１０１に設置されている不図示のレリーズボタンの押下を受け付けることにより、ＨＭＤ１０１で表示中のＭＲ画像を、レリーズボタン押下時のＨＭＤ１０１の位置姿勢と対応付けて外部メモリに記憶する。レリーズボタンの押下＝表示中のＭＲ画像の撮影及び保存指示である。 The MR image storage unit 315 receives the press of the release button (not shown) installed in the HMD 101, so that the MR image displayed on the HMD 101 is associated with the position and orientation of the HMD 101 when the release button is pressed and stored in the external memory. Remember. Pressing the release button = an instruction to take and save the displayed MR image.

ＭＲ画像一覧表示部３０２は、ＭＲ画像記憶部３１５に記憶されているＭＲ画像の一覧を選択可能に表示する。 The MR image list display unit 302 displays a list of MR images stored in the MR image storage unit 315 in a selectable manner.

ＭＲ画像選択受付部３１６は、ＭＲ画像一覧表示部３０２によりＨＭＤ１０１に表示されたＭＲ画像の一覧から、ＭＲ画像の選択を受け付ける。例えばＨＭＤ１０１に設置されているボタンを複数回押下することで選択中のＭＲ画像を切り替え、ボタンの長押しを受け付けることでＭＲ画像の選択確定をする。 The MR image selection reception unit 316 accepts the selection of an MR image from the list of MR images displayed on the HMD 101 by the MR image list display unit 302. For example, the selected MR image is switched by pressing the button installed on the HMD 101 a plurality of times, and the selection of the MR image is confirmed by accepting the long press of the button.

撮影場所特定部３１７は、選択確定したＭＲ画像の撮影指示がされた場所（位置）を特定する。移動先決定部３１８は、特定した撮影場所から所定距離又は時間離れた場所を、ＨＭＤ１０１の視点を移動させる位置として決定する。 The shooting location specifying unit 317 specifies a place (position) where a shooting instruction is given for the selected and confirmed MR image. The moving destination determination unit 318 determines a place that is a predetermined distance or a time away from the specified shooting place as a position to move the viewpoint of the HMD 101.

視点移動処理部８１９は、移動先決定部３１８によって決定された位置に、ＨＭＤ１０１の視点を移動させる。 The viewpoint movement processing unit 819 moves the viewpoint of the HMD 101 to a position determined by the movement destination determination unit 318.

視点を移動させるとは、現実空間におけるＨＭＤ１０１の動きと連動して移動・方向転換する仮想空間上の仮想のカメラの位置を、他の仮想空間上の位置に移動させるということである。 Moving the viewpoint means moving the position of the virtual camera in the virtual space, which moves and changes direction in conjunction with the movement of the HMD 101 in the real space, to a position in another virtual space.

現実空間のＨＭＤ１０１の視点が移動するわけではなく、仮想空間上の仮想の視点が移動だけであるため、現実の映像に重畳する仮想物体（ＣＧ）の表示のみが移動先の位置から見た仮想物体の表示に変更されることとなる。 Since the viewpoint of the HMD 101 in the real space does not move, and the virtual viewpoint in the virtual space is only the movement, only the display of the virtual object (CG) superimposed on the real image is the virtual seen from the position of the movement destination. It will be changed to the display of the object.

ＭＲ画像送信部３１４は、視点移動後のＭＲ画像を生成してＨＭＤ１０１に送信する。 The MR image transmission unit 314 generates an MR image after the viewpoint is moved and transmits it to the HMD 101.

ＭＲ画像受信部３０３は、当該ＭＲ画像を受信し、表示部３０４は当該ＭＲ画像を表示する。 The MR image receiving unit 303 receives the MR image, and the display unit 304 displays the MR image.

なお、本実施形態においては、３１１〜３１９の各機能部の備える機能をＰＣ１００が備えているが、例えばこれらの構成をＨＭＤ１０１が備えるよう構成してもよいものとする。以上が図３の説明である。 In the present embodiment, the PC 100 has the functions provided by each of the functional units 31 to 1919, but for example, the HMD 101 may be configured to have these configurations. The above is the description of FIG.

次に図４を参照して、本発明の実施形態における、各種装置のモジュール構成の一例について説明する。 Next, with reference to FIG. 4, an example of the module configuration of various devices according to the embodiment of the present invention will be described.

ＰＣ１００は、オペレーティングシステム４０１（ＯＳ）、グラフィックエンジン４０２、複合現実感プラットフォーム４０３（ＭＲプラットフォームともいう）、複合現実感アプリケーション４０４（ＭＲアプリケーションやビューアアプリケーションともいう）で構成され、ＣＰＵ２０１により制御されている。 The PC 100 is composed of an operating system 401 (OS), a graphic engine 402, a mixed reality platform 403 (also referred to as an MR platform), and a mixed reality application 404 (also referred to as an MR application or a viewer application), and is controlled by the CPU 201. ..

オペレーティングシステム４０１は、ＨＭＤ１０１の入出力を制御しカメラ２２１から入力インターフェースを介して得られた現実画像を複合現実感プラットフォーム４０３へ受け渡す。またグラフィックエンジン４０２で描画された複合現実画像を、出力インターフェースを介して、ディスプレイ２２２へ出力する。 The operating system 401 controls the input / output of the HMD 101 and passes the reality image obtained from the camera 221 via the input interface to the mixed reality platform 403. Further, the mixed reality image drawn by the graphic engine 402 is output to the display 222 via the output interface.

グラフィックエンジン４０２は、外部メモリ２１１に記憶されている３次元モデルから描画する画像を生成し、現実画像に重畳し、合成する。描画に利用するエンジンは、例えば、ＯｐｅｎＧＬやＤｉｒｅｃｔＸなどの広く利用されているグラフィックエンジンでも、独自に開発したグラフィックエンジンでもよい。なお、本実施形態ではグラフィックライブラリとしてＯｐｅｎＧＬを利用するものとする。 The graphic engine 402 generates an image to be drawn from the three-dimensional model stored in the external memory 211, superimposes the image on the real image, and synthesizes the image. The engine used for drawing may be a widely used graphic engine such as OpenGL or DirectX, or a graphic engine originally developed. In this embodiment, OpenGL is used as the graphic library.

複合現実感プラットフォーム４０３は、光学センサ１０４からＨＭＤに付与された複数の光マーカの位置姿勢を受信することでＨＭＤ１０１の位置姿勢を特定し、現実空間と仮想空間の位置合わせを行う。 The mixed reality platform 403 identifies the position and orientation of the HMD 101 by receiving the position and orientation of a plurality of optical markers given to the HMD from the optical sensor 104, and aligns the real space and the virtual space.

なお、位置姿勢や位置合わせの技術は、既知の技術として開示されている、特開２００２−３２７８４、特開２００６−０７２９０３、特開２００７−１６６４２７等を用いて実現することが可能である。 The position-orientation and alignment techniques can be realized by using JP-A-2002-32784, JP-A-2006-072933, JP-A-2007-166427, etc., which are disclosed as known techniques.

なお、二次元マーカを使用せずに、ＨＭＤ１０１に位置センサを備え、この位置センサを用いて三角測量により計測された位置をもとに、ＨＭＤ１０１の位置や姿勢を特定して実現することも可能である。 It is also possible to equip the HMD 101 with a position sensor without using a two-dimensional marker, and to specify and realize the position and orientation of the HMD 101 based on the position measured by triangulation using this position sensor. Is.

複合現実感アプリケーション４０４は、複合現実感プラットフォーム４０３からＨＭＤ１０１の位置姿勢、３次元モデルの形状の情報、位置姿勢の情報を受け付け、グラフィックエンジン４０２に対して、３次元モデルの描画命令を発行する。この時、ＯｐｅｎＧＬのＡＰＩを用いて、描画する３次元モデルの識別情報、位置姿勢の情報を設定した命令を発行する。以上が図４の説明である。 The mixed reality application 404 receives the position / orientation of the HMD 101, the shape information of the three-dimensional model, and the position / orientation information from the mixed reality platform 403, and issues a drawing command of the three-dimensional model to the graphic engine 402. At this time, the API of OpenGL is used to issue an instruction in which the identification information and the position / orientation information of the three-dimensional model to be drawn are set. The above is the description of FIG.

次に図５を参照して、本発明の実施形態における複合現実画像の生成及び表示処理について説明する。 Next, with reference to FIG. 5, the generation and display processing of the mixed reality image in the embodiment of the present invention will be described.

ＨＭＤ１０１は、不図示のユーザ操作を受け付けることにより、ステップＳ５０１で複合現実アプリケーション起動し、カメラ２２１の機能を用いて現実画像の撮影を開始する（ステップＳ５０２）。そして、撮影処理によって取得した現実画像をＰＣ１００に送信する（ステップＳ５０３）。 By accepting a user operation (not shown), the HMD 101 starts the mixed reality application in step S501 and starts taking a real image using the function of the camera 221 (step S502). Then, the real image acquired by the shooting process is transmitted to the PC 100 (step S503).

当該複合現実アプリケーションの起動及び撮影開始は、例えばＰＣ１００におけるユーザ操作を受け付けることによっても実行可能である。 The activation of the mixed reality application and the start of shooting can also be executed, for example, by accepting a user operation on the PC 100.

ＰＣ１００のＣＰＵ２０１はＨＭＤ１０１より現実画像を受信し（ステップＳ５０４）、受信した現実画像を外部メモリ２１１に記憶する（ステップＳ５０５）。例えば、図６の現実画像テーブル６３０に示すように、現実画像の送信元のＨＭＤ１０１の識別情報であるＨＭＤ ＩＤ６３１と、現実画像６３２とを対応付けて記憶する。 The CPU 201 of the PC 100 receives a real image from the HMD 101 (step S504), and stores the received real image in the external memory 211 (step S505). For example, as shown in the real image table 630 of FIG. 6, the HMD ID 631 which is the identification information of the HMD 101 which is the transmission source of the real image and the real image 632 are stored in association with each other.

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置姿勢を取得して（ステップＳ５０６）、外部メモリ２１１に記憶する（ステップＳ５０７）。例えば、図６のＨＭＤ情報６１０に示すように、ＨＭＤ１０１の識別情報であるＨＭＤ ＩＤ６１１と、当該ＨＭＤの位置６１２（Ｘ，Ｙ，Ｚ座標）、姿勢（方向６１３及び角度６１４）を記憶する。 The CPU 201 of the PC 100 acquires the position and orientation of the HMD 101 (step S506) and stores it in the external memory 211 (step S507). For example, as shown in the HMD information 610 of FIG. 6, the HMD ID 611, which is the identification information of the HMD 101, the position 612 (X, Y, Z coordinates) of the HMD, and the posture (direction 613 and angle 614) are stored.

方向６１３及び角度６１４の例を図１８に示す。方向６１３は、ＨＭＤ１０１の視線方向である。方向６１３は、図１８の１８００に示すように、３次元空間のＸＹＺ方向の軸に基づく球１８０１上の、視線方向と交差する点のＸＹＺ座標によって示される。 An example of the direction 613 and the angle 614 is shown in FIG. The direction 613 is the line-of-sight direction of the HMD 101. The direction 613 is indicated by the XYZ coordinates of the points intersecting the line-of-sight direction on the sphere 1801 based on the axis in the XYZ direction of the three-dimensional space, as shown in 1800 in FIG.

角度６１４は、図１８の１８１０に示すような、ＨＭＤ１０１の左右の傾きの角度である。ＨＭＤ１０１が床面と平行な状態を角度６１４＝０度とする。ＨＭＤ１０１を装着した状態で頭部を左に傾けると＋ｎ度となり、ＨＭＤ１０１を装着した状態で頭部を右に傾けると−ｎ度となる。 The angle 614 is the angle of inclination of the HMD 101 to the left and right as shown in 1810 of FIG. The state in which the HMD 101 is parallel to the floor surface is defined as an angle of 614 = 0 degrees. Tilt the head to the left with the HMD101 attached to + n degrees, and tilt the head to the right with the HMD101 attached to -n degrees.

ＰＣ１００のＣＰＵ２０１は、外部メモリ２１１から仮想物体（ここでは３Ｄモデル）の情報を取得し、ＨＭＤ１０１から受信した現実画像に重畳して複合現実画像を生成して（ステップＳ５０８）、ＨＭＤ１０１に送信する（ステップＳ５０９）。 The CPU 201 of the PC 100 acquires information on a virtual object (here, a 3D model) from the external memory 211, superimposes it on the real image received from the HMD 101 to generate a mixed reality image (step S508), and transmits it to the HMD 101 (step S508). Step S509).

３Ｄモデルの情報は、例えば図６のモデル情報６２０に示す情報である（仮想オブジェクト記憶手段に該当）。モデル情報６２０は、予めＰＣ１００の外部メモリ２１１に記憶されている情報である。モデルＩＤ６２１は３Ｄモデルの識別情報である。 The information of the 3D model is, for example, the information shown in the model information 620 of FIG. 6 (corresponding to the virtual object storage means). The model information 620 is information stored in advance in the external memory 211 of the PC 100. Model ID 621 is the identification information of the 3D model.

モデル名６２２は、３Ｄモデルのファイル名である。ファイルパス６２３は、ファイルが記憶されている場所を示す。位置６２４、姿勢（方向６２５、角度６２６）は、３Ｄモデルの位置姿勢を示す。 The model name 622 is the file name of the 3D model. File path 623 indicates where the file is stored. The position 624 and the posture (direction 625, angle 626) indicate the position and posture of the 3D model.

ＰＣ１００のＣＰＵ２０１は、ＨＭＤの現在の位置姿勢から、ＨＭＤ１０１と同じ画角を持つカメラが、モデル情報６２０の位置姿勢の３Ｄモデルを撮影した場合の、当該３Ｄモデルの画像を描画データ６４０として生成する。一例として、レンダリング済みのモデル画像とする。 The CPU 201 of the PC 100 generates an image of the 3D model as drawing data 640 when a camera having the same angle of view as the HMD 101 takes a 3D model of the position and orientation of the model information 620 from the current position and orientation of the HMD. .. As an example, let's assume a rendered model image.

そして、当該描画データを現実画像と合成することで、図６のＭＲ画像テーブル６５０に示すＭＲ画像（複合現実画像）を生成する。ＭＲ画像は、現実に仮想物体の画像を重畳した重畳画像である。 Then, by synthesizing the drawing data with the real image, the MR image (mixed reality image) shown in the MR image table 650 of FIG. 6 is generated. The MR image is a superposed image in which an image of a virtual object is actually superimposed.

図７に現実空間及び仮想空間におけるカメラの様子と、ＭＲ画像の一例を示す。図７において、７００は現実空間、７１０は仮想空間、７２０は現実空間と仮想空間を複合した複合現実空間（ＭＲ空間）である。 FIG. 7 shows the state of the camera in the real space and the virtual space, and an example of the MR image. In FIG. 7, 700 is a real space, 710 is a virtual space, and 720 is a mixed reality space (MR space) in which a real space and a virtual space are combined.

現実空間７００と仮想空間７１０は、例えば同じ大きさの空間であり、７０３を原点として位置合わせがされている。つまり、現実空間における位置（ＸＹＺ座標）及び姿勢と、仮想空間における位置姿勢は同じである。 The real space 700 and the virtual space 710 are, for example, spaces of the same size, and are aligned with 703 as the origin. That is, the position (XYZ coordinates) and posture in the real space and the position / posture in the virtual space are the same.

現実空間７００においてＨＭＤ１０１の位置姿勢が光学センサ１０４によって特定される。７０２は現実物体であり、７００においてはＨＭＤ１０１のカメラ装置によって現実物体７０２の一部が撮影されている。撮影された現実画像（図６の６３２）の一例を７０１に示す。 The position and orientation of the HMD 101 in the real space 700 is specified by the optical sensor 104. Reference numeral 702 is a real object, and in 700, a part of the real object 702 is photographed by the camera device of the HMD 101. 701 shows an example of the captured real image (632 in FIG. 6).

仮想空間７１０において、仮想カメラ７１３は、ＨＭＤ１０１の現実空間上の位置姿勢と同じ仮想空間上の位置姿勢で、仮想空間上に仮想的に配置される。仮想カメラはＨＭＤ１０１ごとに対応づけられて存在する。 In the virtual space 710, the virtual camera 713 is virtually arranged in the virtual space in the same position and orientation in the virtual space as the position and orientation in the real space of the HMD 101. Virtual cameras exist in association with each HMD 101.

ＨＭＤ１０１のカメラ装置と仮想カメラ７１３の画角は同じである。ＰＣ１００のＣＰＵ２０１は、仮想カメラ７１３の位置姿勢を、ＨＭＤ１０１の現実空間上の位置姿勢に連動させて変更する。 The angle of view of the camera device of the HMD 101 and the virtual camera 713 is the same. The CPU 201 of the PC 100 changes the position and orientation of the virtual camera 713 in conjunction with the position and orientation of the HMD 101 in the real space.

仮想カメラ７１３は、仮想空間７１０の画像（動画）を撮影している。例えば仮想空間７１０には仮想物体７１２が配置されており、ＨＭＤ１０１と同じ位置姿勢の仮想カメラ７１３は、仮想物体７１２を撮影している。７１１は仮想カメラ７１３が仮想空間７１０を撮影した仮想画像であり、７１１における７１２は、描画データ６４０の一例である。 The virtual camera 713 captures an image (moving image) of the virtual space 710. For example, a virtual object 712 is arranged in the virtual space 710, and the virtual camera 713 having the same position and orientation as the HMD 101 is photographing the virtual object 712. Reference numeral 711 is a virtual image taken by the virtual camera 713 in the virtual space 710, and reference numeral 712 in 711 is an example of drawing data 640.

ＰＣ１００のＣＰＵ２０１は、現実画像７０１と仮想画像７１１（仮想画像７１１の中の描画データ）を重畳して、ＭＲ画像７２１（複合現実画像）を生成する。 The CPU 201 of the PC 100 superimposes the real image 701 and the virtual image 711 (drawing data in the virtual image 711) to generate the MR image 721 (mixed reality image).

また、ＭＲ画像テーブル６５０の、ＭＲ画像を生成するために用いた現実画像の送信元のＨＭＤ（ＨＭＤ ＩＤ６５１）と対応付けて記憶する。その後、ＨＭＤ ＩＤ６５１の示すＨＭＤ１０１に、複合現実画像６５２を送信する（ステップＳ５０９）。 Further, the MR image table 650 is stored in association with the HMD (HMD ID 651) of the transmission source of the real image used for generating the MR image. Then, the mixed reality image 652 is transmitted to the HMD 101 indicated by the HMD ID 651 (step S509).

ＨＭＤ１０１は、ＰＣ１００から複合現実画像を受信し（ステップＳ５１０）、表示画面に表示する（ステップＳ５１１）。ＨＭＤ１０１及びＰＣ１００は、複合現実アプリケーションの終了指示を受け付けるまで、ステップＳ５０２〜Ｓ５１１の処理を繰り返し実行する。以上が図５の説明である。 The HMD 101 receives the mixed reality image from the PC 100 (step S510) and displays it on the display screen (step S511). The HMD 101 and the PC 100 repeatedly execute the processes of steps S502 to S511 until the end instruction of the mixed reality application is received. The above is the description of FIG.

次に図８を参照して、本発明の実施形態における、撮影画像の記録処理の流れについて説明する。 Next, with reference to FIG. 8, the flow of recording processing of captured images in the embodiment of the present invention will be described.

ステップＳ８０１では、ＰＣ１００のＣＰＵ２０１は指示を受け付け、受け付けた指示がＨＭＤ１０１に表示中のＭＲ画像の撮影・保存指示か判定する。 In step S801, the CPU 201 of the PC 100 receives the instruction and determines whether the received instruction is an instruction to capture / save the MR image displayed on the HMD 101.

例えば、ＨＭＤ１０１に設置された不図示のレリーズボタンの押下を受け付けた旨をＰＣ１００が検知した場合に、ＨＭＤ１０１に表示中の画像の保存指示を受け付けたと判定する。ここでいう表示中の画像とはサーバ２００によって生成されたＭＲ画像である。 For example, when the PC 100 detects that the press of the release button (not shown) installed in the HMD 101 has been accepted, it is determined that the instruction to save the image displayed on the HMD 101 has been accepted. The image being displayed here is an MR image generated by the server 200.

ここでは、画像の保存の操作（レリーズボタンの押下）を受け付けたのはＨＭＤ１０１Ａであるものとする。 Here, it is assumed that the HMD101A has accepted the operation of saving the image (pressing the release button).

画像の保存指示を受け付けた場合、ＰＣ１００のＣＰＵ２０１は、ステップＳ８０２で保存指示がされた時点でＨＭＤ１０１に表示していた画像を、保存指示がされた時点のＨＭＤ１０１の位置姿勢と対応付けて記憶する。 When the image save instruction is received, the CPU 201 of the PC 100 stores the image displayed on the HMD 101 at the time when the save instruction is given in step S802 in association with the position and orientation of the HMD 101 at the time when the save instruction is given. ..

保存指示された画像は、共有画像情報１１００に記憶されることで他のＨＭＤ１０１からも参照可能となる。つまり、複数のＨＭＤ１０１によって共有される共有画像として記憶される（撮影画像記憶手段に該当）。 The image instructed to be saved can be referred to by another HMD 101 by being stored in the shared image information 1100. That is, it is stored as a shared image shared by a plurality of HMD 101s (corresponding to the captured image storage means).

例えば、図１１の共有画像情報１１００に撮影した画像の情報を記憶する。画像ＩＤ１１０１には、ステップＳ８０２で画像の保存指示がされた時点でＨＭＤ１０１に表示していたＭＲ画像を記憶する。撮影者１１０２には、画像の保存指示がされた、画像ＩＤ１１０１の画像を表示していたＨＭＤのＩＤを記憶する。また、画像の撮影日時を、撮影日時１１０６に記憶する。 For example, the shared image information 1100 of FIG. 11 stores the information of the captured image. The image ID 1101 stores the MR image displayed on the HMD 101 at the time when the image storage instruction is given in step S802. The photographer 1102 stores the ID of the HMD displaying the image of the image ID 1101, which is instructed to save the image. Further, the shooting date and time of the image is stored in the shooting date and time 1106.

ステップＳ８０３で、ＰＣ１００のＣＰＵ２０１は、当該画像と対応付けて、ＨＭＤ１０１の画像撮影当初の位置姿勢を、共有画像情報１１００の１１０３〜１１０５に記憶する。 In step S803, the CPU 201 of the PC 100 stores the position and orientation of the HMD 101 at the time of image capture in 1103 to 1105 of the shared image information 1100 in association with the image.

位置１１０３には、画像の保存指示がされた時点の、撮影者１１０２の示すＨＭＤ１０１の位置を記憶する。 The position 1103 stores the position of the HMD 101 indicated by the photographer 1102 at the time when the image storage instruction is given.

方向１１０４、角度１１０５には、画像の保存指示がされた時点の、撮影者１１０２の示すＨＭＤ１０１の向いている方向と、角度を記憶する。以上が図８の説明である。 In the direction 1104 and the angle 1105, the direction and the angle of the HMD 101 indicated by the photographer 1102 at the time when the image storage instruction is given are stored. The above is the description of FIG.

次に図９を参照して、本発明の実施形態における、視点移動の処理の概要について説明する。 Next, with reference to FIG. 9, an outline of the viewpoint movement process in the embodiment of the present invention will be described.

ステップＳ９０１では、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１に設置された不図示のボタンの押下を受け付けることで、共有画像情報１１００に記憶されているＭＲ画像のデータ（共有画像の情報）をメモリから取得し、当該ボタンの押下を受け付けたＨＭＤ１０１に一覧表示する。 In step S901, the CPU 201 of the PC 100 receives the press of a button (not shown) installed in the HMD 101 to acquire the MR image data (shared image information) stored in the shared image information 1100 from the memory. A list is displayed on the HMD 101 that has received the pressing of the button.

ステップＳ９０２で、ＰＣ１００のＣＰＵ２０１は、共有画像の選択を受け付ける。例えばＨＭＤ１０１に設置されているボタンを複数回押下することで選択中の共有画像を切り替え、ボタンの長押しを受け付けることで共有画像の選択確定をする。 In step S902, the CPU 201 of the PC 100 accepts the selection of the shared image. For example, the shared image being selected is switched by pressing the button installed on the HMD 101 a plurality of times, and the selection of the shared image is confirmed by accepting the long press of the button.

ここでは、当該共有画像の選択を行ったのはＨＭＤ１０１Ｂであるものとする。 Here, it is assumed that the shared image is selected by the HMD101B.

共有画像の選択決定は、選択された共有画像の撮影位置への視点の移動指示である（移動指示受付手段に該当）。 The decision to select the shared image is an instruction to move the viewpoint to the shooting position of the selected shared image (corresponding to the means for receiving the movement instruction).

ＰＣ１００のＣＰＵ２０１は、ステップＳ９０３で、視点移動先の位置決定及び案内処理を実行し、ステップＳ９０４で、撮影場所における案内処理を行う。 The CPU 201 of the PC 100 executes the position determination and the guidance process of the viewpoint moving destination in step S903, and performs the guidance process at the shooting location in step S904.

視点移動先の位置決定及び案内処理の詳細は図１０の説明で後述する。 Details of the position determination and guidance processing of the viewpoint moving destination will be described later in the description of FIG.

撮影場所における案内処理の詳細は図１５の説明で後述する。以上が図８の説明である。 Details of the guidance process at the shooting location will be described later in the description of FIG. The above is the description of FIG.

図１０を参照して、本発明の実施形態における、視点移動先の位置決定及び案内処理について説明する。 The position determination and guidance processing of the viewpoint moving destination in the embodiment of the present invention will be described with reference to FIG.

ステップＳ１００１では、ＰＣ１００のＣＰＵ２０１は、ステップＳ９０２で選択を受け付けた共有画像を撮影したＨＭＤ１０１を特定する。つまり、選択された画像の画像ＩＤ１１０１に対応する撮影者１１０２を特定する。 In step S1001, the CPU 201 of the PC 100 identifies the HMD 101 that captured the shared image for which selection was accepted in step S902. That is, the photographer 1102 corresponding to the image ID 1101 of the selected image is specified.

そして、当該撮影者１１０２の位置姿勢の履歴（過去の位置姿勢の情報）をメモリより取得する。つまり、当該撮影者１１０２と同じＩＤを持つ撮影者１１１１（ここではＨＭＤ１０１Ａとする）の位置姿勢履歴１１１０を取得する。 Then, the history of the position / orientation of the photographer 1102 (information on the past position / orientation) is acquired from the memory. That is, the position / posture history 1110 of the photographer 1111 (here, HMD101A) having the same ID as the photographer 1102 is acquired.

ステップＳ１１０２で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１００１で取得した位置姿勢履歴の示す位置１１１２の履歴の中から、共有画像を選択したＨＭＤ１０１Ｂのユーザの視点を移動する移動先の位置を選出し、決定する。 In step S1102, the CPU 201 of the PC 100 selects and determines the position of the destination to move the viewpoint of the user of the HMD 101B who has selected the shared image from the history of the position 1112 indicated by the position / posture history acquired in step S1001. ..

視点の移動処理とは、図１２に示すように、ＨＭＤ１０１Ｂに対応する仮想カメラ７１３の位置を、仮想空間において移動させる処理である。 As shown in FIG. 12, the viewpoint movement process is a process of moving the position of the virtual camera 713 corresponding to the HMD101B in the virtual space.

選択された共有画像の位置に視点を移動させることで、視点を移動したユーザは、共有画像を撮影したユーザが見ていた仮想物体と同じ仮想物体を見ることができる。 By moving the viewpoint to the position of the selected shared image, the user who has moved the viewpoint can see the same virtual object as the virtual object that the user who took the shared image was looking at.

なお、ＨＭＤ１０１を装着するユーザによって身長は異なると考えられる。身長１７０ｃｍのユーザの視点を身長１５０ｃｍのユーザの視点に変更すると、仮想空間における地面と視点位置との距離が短くなるため（仮想空間における視点位置が低くなるため）、ユーザが現実空間において歩いている地面と視点との距離と、仮想空間における地面と視点との距離に差が生じてしまい、ユーザに違和感を与えてしまう。 It is considered that the height differs depending on the user who wears the HMD 101. When the viewpoint of a user with a height of 170 cm is changed to the viewpoint of a user with a height of 150 cm, the distance between the ground and the viewpoint position in the virtual space becomes shorter (because the viewpoint position in the virtual space becomes lower), so that the user walks in the real space. There is a difference between the distance between the ground and the viewpoint and the distance between the ground and the viewpoint in the virtual space, which gives the user a sense of discomfort.

また、図１３の１３００に示すように、ユーザが屈んだ状態保存した共有画像１３０２を選択し、その位置に視点を移動する場合、屈んだ状態の視点の高さに、立った状態のユーザの視点の高さを合わせてしまうと、ユーザに違和感を与えてしまう。 Further, as shown in 1300 of FIG. 13, when the user selects the shared image 1302 saved in the bent state and moves the viewpoint to that position, the user standing at the height of the viewpoint in the bent state. Matching the height of the viewpoint gives the user a sense of discomfort.

よって、視点の移動は、仮想カメラの地面に対して平行な方向（ＸＹ軸方向）に対してのみ行うものとする。高さ方向（Ｚ軸方向）に対する、地面から視点位置までの距離の変更・移動は行わない。 Therefore, the viewpoint is moved only in the direction parallel to the ground of the virtual camera (XY axis direction). The distance from the ground to the viewpoint position is not changed or moved with respect to the height direction (Z-axis direction).

しかし、高さ方向の位置の変更を行わないまま、ＨＭＤ１０１Ｂのユーザの視点を、撮影場所の位置に直接移動してしまうと、移動直後にＨＭＤ１０１に表示される画像は、必ずしも選択された共有画像とは一致しない。 However, if the user's viewpoint of the HMD101B is moved directly to the position of the shooting location without changing the position in the height direction, the image displayed on the HMD101 immediately after the movement is not necessarily the selected shared image. Does not match.

例えば図１３においては、視点を移動したユーザの視界が仮想物体１３０１に覆われてしまっている。共有画像の撮影時とは異なる画像１３１１が目前に表示されてしまっており、視点を移動したユーザが混乱してしまうことが考えられる。 For example, in FIG. 13, the field of view of the user who has moved the viewpoint is covered with the virtual object 1301. An image 1311 different from that at the time of shooting the shared image is displayed in front of the user, which may confuse the user who has moved the viewpoint.

よって、本実施形態においては、共有画像の位置から離れた位置を、視点の移動先として決定する。例えば、共有画像の撮影場所から、所定距離以上離れた位置を、移動先の位置として決定する。 Therefore, in the present embodiment, a position away from the position of the shared image is determined as the movement destination of the viewpoint. For example, a position separated from the shooting location of the shared image by a predetermined distance or more is determined as the moving destination position.

本実施形態における所定距離は５ｍであるものとする。当該所定距離の情報はＰＣ１００の外部メモリに予め記憶されており、ユーザ操作により任意に設定・変更可能である。 The predetermined distance in this embodiment is assumed to be 5 m. The information of the predetermined distance is stored in advance in the external memory of the PC 100, and can be arbitrarily set and changed by user operation.

具体的には、ＰＣ１００のＣＰＵ２０１は、ステップＳ１００２において、選択された共有画像の撮影日時１１０６より前のＨＭＤ１０１Ａの位置姿勢履歴１１１０の中から、撮影時点の位置１１０３より５ｍ以上離れた位置１１０３のレコードを抽出し、撮影日時１１０６に最も近い日時の位置を取得して、当該取得した位置をＨＭＤ１０１Ｂの視点の移動先の位置として決定し、ＨＭＤ１０１Ｂの視点位置（ＨＭＤ１０１Ｂに対応する仮想カメラの位置）を当該移動先の位置に変更する。 Specifically, in step S1002, the CPU 201 of the PC 100 records the position 1103, which is 5 m or more away from the position 1103 at the time of shooting, from the position / posture history 1110 of the HMD 101A before the shooting date / time 1106 of the selected shared image. Is extracted, the position of the date and time closest to the shooting date and time 1106 is acquired, the acquired position is determined as the position of the movement destination of the viewpoint of the HMD101B, and the viewpoint position of the HMD101B (the position of the virtual camera corresponding to the HMD101B) is determined. Change to the position of the destination.

なお、移動後のユーザの視線方向（仮想カメラの方向）は、共有画像が撮影された時点の、ＨＭＤ１０１Ａが当該共有画像を撮影した時点の方向とする決定を行う。また、角度はＨＭＤ１０１Ｂの角度をそのまま適用するものとする。 The direction of the user's line of sight (direction of the virtual camera) after movement is determined to be the direction at the time when the shared image is taken and when the HMD101A takes the shared image. Further, it is assumed that the angle of HMD101B is applied as it is.

ステップＳ１００３では、ＰＣ１００のＣＰＵ２０１は、ステップＳ１００１で取得したＨＭＤ１０１Ａの位置姿勢履歴１１１０を参照して、視点の移動先の位置から撮影場所までの経路を可視化した仮想物体である経路モデルを生成し、位置決定する。 In step S1003, the CPU 201 of the PC 100 refers to the position / orientation history 1110 of the HMD 101A acquired in step S1001 to generate a path model which is a virtual object that visualizes the path from the position where the viewpoint moves to the shooting location. Position it.

経路モデルの一例を図１４の１４２１及び１４２２に示す。ＰＣ１００のＣＰＵ２０１は、移動先に決定された位置１１０３を持つＨＭＤ１０１Ａの位置姿勢履歴１１１０のレコードから、撮影日時１１０６までのＨＭＤ１０１Ａの位置姿勢履歴１１１０のレコードを抽出する。 An example of the route model is shown in 1421 and 1422 in FIG. The CPU 201 of the PC 100 extracts the record of the position / posture history 1110 of the HMD 101A up to the shooting date / time 1106 from the record of the position / posture history 1110 of the HMD 101A having the position 1103 determined at the destination.

ＰＣ１００のＣＰＵ２０１は、移動先の位置のレコードより後の日時のレコードで、移動先の位置から所定距離（例えば５０ｃｍ）以上離れた直近のレコードを抽出して位置を特定する。また、当該抽出した位置のレコードより後の日時のレコードで、当該位置から所定距離以上離れた直近のレコードを抽出して位置を特定する。当該位置の特定処理を、特定される位置が撮影場所の位置から所定距離内（例えば５０ｃｍ以内）になるまで繰り返す。 The CPU 201 of the PC 100 extracts the latest record that is a record date and time after the record at the destination position and is separated from the destination position by a predetermined distance (for example, 50 cm) or more to specify the position. In addition, the record of the date and time after the record of the extracted position is extracted and the latest record separated from the position by a predetermined distance or more is extracted to specify the position. The process of specifying the position is repeated until the specified position is within a predetermined distance (for example, within 50 cm) from the position of the photographing place.

ＰＣ１００のＣＰＵ２０１は、特定したそれぞれの位置に、図１４の１４２１に示す経路モデルの一部となる仮想物体をそれぞれ配置する。つまり、１４２１の位置を、特定したそれぞれの位置に決定する。 The CPU 201 of the PC 100 arranges virtual objects that are a part of the path model shown in 1421 of FIG. 14 at the specified positions. That is, the position of 1421 is determined at each specified position.

また、移動先の位置の位置から撮影場所までに特定した１４２１の位置を撮影日時１１０６の順に繋ぐ経路モデル１４２２を生成して配置する。つまり、１４２２の位置を、移動先の位置の位置から撮影場所までに特定した各位置を始点及び終点とする位置に決定する。 In addition, a route model 1422 that connects the positions of 1421 specified from the position of the moving destination to the shooting location in the order of the shooting date and time 1106 is generated and arranged. That is, the position of 1422 is determined to be a position where each position specified from the position of the moving destination to the shooting location is the start point and the end point.

ＰＣ１００のＣＰＵ２０１は、図５のステップＳ５０８で、ＨＭＤ１０１Ｂのカメラ装置によって撮影されている最新の現実画像と、移動先の位置（１４２１と同じＸＹ座標の位置）及び姿勢から撮影した仮想画像とを合成し、複合現実画像を生成して記憶する。 The CPU 201 of the PC 100 synthesizes the latest real image taken by the camera device of the HMD 101B and the virtual image taken from the moving destination position (the position of the same XY coordinates as 1421) and the posture in step S508 of FIG. Then, a mixed reality image is generated and stored.

移動先の位置に移動後のユーザの視点における複合現実画像の一例を図１４の１４２４に示す。 An example of a mixed reality image from the user's viewpoint after moving to the moving destination position is shown in 1424 of FIG.

ＰＣ１００のＣＰＵ２０１は、図５のステップＳ５０９で、当該複合現実画像をＨＭＤ１０１Ｂに送信し、ＨＭＤ１０１Ｂが当該複合現実画像を受信して表示する（案内表示制御手段に該当）。以上が図１０の説明である。 The CPU 201 of the PC 100 transmits the mixed reality image to the HMD 101B in step S509 of FIG. 5, and the HMD 101B receives and displays the mixed reality image (corresponding to the guidance display control means). The above is the description of FIG.

図１０の発明によれば、適切な位置にユーザの視点を移動させることが可能な仕組みを提供することができる。 According to the invention of FIG. 10, it is possible to provide a mechanism capable of moving the user's viewpoint to an appropriate position.

例えば、撮影場所に移動した場合に、ユーザの視界が確保できるか否かに応じて、適切な位置にユーザの視点を移動させるようにしてもよい。 For example, when the user moves to the shooting location, the user's viewpoint may be moved to an appropriate position depending on whether or not the user's field of view can be secured.

具体的には、ステップＳ１００１の次に、ＨＭＤ１０１Ｂ（共有画像の選択を受け付けたＨＭＤ）の地面高さ方向の位置（仮想空間における床からの高さ）を取得する。そして、取得した高さを維持したまま、撮影場所にＨＭＤ１０１Ｂのユーザの視点が移動した場合に、移動したユーザの視点位置と仮想物体が重なるか判定する。つまり、移動後のユーザの視点位置付近に仮想物体が位置するか判定する（仮想オブジェクト位置判定手段に該当）。 Specifically, after step S1001, the position (height from the floor in the virtual space) of the HMD 101B (HMD that accepts the selection of the shared image) in the ground height direction is acquired. Then, when the viewpoint of the user of the HMD101B moves to the shooting location while maintaining the acquired height, it is determined whether the viewpoint position of the moved user and the virtual object overlap. That is, it is determined whether or not the virtual object is located near the user's viewpoint position after movement (corresponding to the virtual object position determination means).

移動したユーザの視点位置と仮想物体が重なる場合は、共有画像選択後にいきなり撮影場所に視点を移動させると例えばユーザの視界いっぱいに仮想物体が広がることとなり視界が十分に確保できないと判断し、処理をステップＳ１００２に進める。 When the viewpoint position of the moved user overlaps with the virtual object, if the viewpoint is suddenly moved to the shooting location after selecting the shared image, for example, the virtual object expands to fill the user's field of view, and it is judged that the field of view cannot be sufficiently secured. To step S1002.

一方、移動したユーザの視点位置と仮想物体が重ならない場合は、共有画像選択後にいきなり撮影場所に視点を移動させた場合であっても、ユーザの視界を十分に確保でき、移動直後にユーザの混乱を引き起こす可能性が低いと判断し、選択された共有画像の撮影場所を視点を移動させる位置として決定し、視点を移動させる処理を実行する。 On the other hand, if the viewpoint position of the moved user does not overlap with the virtual object, even if the viewpoint is suddenly moved to the shooting location after selecting the shared image, the user's field of view can be sufficiently secured, and the user's field of view can be sufficiently secured immediately after the movement. Judging that it is unlikely to cause confusion, the shooting location of the selected shared image is determined as the position to move the viewpoint, and the process of moving the viewpoint is executed.

ここでは、移動したユーザの視点位置と仮想物体が重なるか判定するものとしたが、例えば、移動後のユーザの視点位置から所定距離内（所定範囲内）に仮想物体があるか判定し、所定距離内に仮想物体がある場合には移動後のユーザの視界を十分に確保できないと判断し、処理をステップＳ１００２へ、所定距離内に仮想物体がない場合には移動後のユーザの視界を十分に確保できると判断し、撮影場所にユーザの視点位置を移動させる処理を行うようにしてもよい。 Here, it is determined whether or not the viewpoint position of the moved user and the virtual object overlap. For example, it is determined whether or not the virtual object is within a predetermined distance (within a predetermined range) from the viewpoint position of the moved user, and a predetermined value is determined. If there is a virtual object within the distance, it is determined that the user's view after movement cannot be sufficiently secured, and the process proceeds to step S1002. If there is no virtual object within the predetermined distance, the user's view after movement is sufficient. It may be determined that the image can be secured, and the process of moving the user's viewpoint position to the shooting location may be performed.

また、例えば、選択された共有画像の撮影された高さとユーザの視点位置の高さに応じて、適切な位置にユーザの視点を移動させるようにしてもよい。 Further, for example, the user's viewpoint may be moved to an appropriate position according to the captured height of the selected shared image and the height of the user's viewpoint position.

具体的には、ステップＳ１００１の次に、ＨＭＤ１０１Ｂ（共有画像の選択を受け付けたＨＭＤ）の地面高さ方向の位置（仮想空間における床からの高さ）を取得する。そして、選択された共有画像の撮影時の高さ方向の位置（床からの高さ）を取得する。 Specifically, after step S1001, the position (height from the floor in the virtual space) of the HMD 101B (HMD that accepts the selection of the shared image) in the ground height direction is acquired. Then, the position (height from the floor) in the height direction at the time of shooting the selected shared image is acquired.

この２つの高さ方向の位置に所定距離以上開きがある場合、つまり、撮影時の高さと移動後のユーザの視点位置の高さに所定以上差がある場合、共有画像選択後にいきなり撮影場所に視点を移動させると、ユーザは撮影場所に移動していると認識しているにもかかわらず、共有画像と移動後の視界の画像に差があり混乱を生じさせてしまう。 If there is a difference of more than a predetermined distance between these two height positions, that is, if there is a difference of more than a predetermined distance between the height at the time of shooting and the height of the user's viewpoint position after movement, the shooting location is suddenly changed after selecting the shared image. When the viewpoint is moved, there is a difference between the shared image and the image of the field of view after the movement even though the user recognizes that the image is moving to the shooting location, which causes confusion.

よって、ＰＣ１００のＣＰＵ２０１は、ステップＳ１００１の後、共有画像撮影時の高さ位置と、移動先への移動指示をしたユーザの視点の高さ位置との間が所定距離以上離れているか判定し（高さ位置判定手段に該当）、所定距離以上離れていると判定した場合には、移動後のユーザの混乱を軽減すべく、処理をステップＳ１００２に移行する。 Therefore, after step S1001, the CPU 201 of the PC 100 determines whether the height position at the time of taking the shared image and the height position of the viewpoint of the user who has instructed to move to the moving destination are separated by a predetermined distance or more ( When it is determined that the distance is more than a predetermined distance (corresponding to the height position determination means), the process proceeds to step S1002 in order to reduce the confusion of the user after the movement.

所定距離以上離れていないと判定した場合には、視点位置を撮影場所に直接移動した場合であっても混乱は少ないと判断し、指定された共有画像の撮影場所を移動先として決定し、当該撮影場所にユーザの視点位置を移動させる処理を行う If it is determined that the distance is not more than a predetermined distance, it is judged that there is little confusion even if the viewpoint position is moved directly to the shooting location, and the shooting location of the specified shared image is determined as the moving destination. Performs processing to move the user's viewpoint position to the shooting location

また、例えば、ユーザに応じて、適切な位置にユーザの視点を移動させるようにしてもよい。 Further, for example, the user's viewpoint may be moved to an appropriate position according to the user.

例えば、共有画像の撮影者と、共有画像を選択したユーザの身長が近い場合、当該ユーザの視点を撮影場所に直接移動しても、子どもと大人のように身長差が激しいユーザ同士に比べて移動後に見える景色は撮影者と近いと考えられるため、撮影者と移動したいユーザの組み合わせによっては、撮影場所に直接視点を移動させてもよい。 For example, if the photographer of the shared image and the user who selected the shared image are close in height, even if the user's viewpoint is moved directly to the shooting location, the height difference between users such as children and adults is large. Since the scenery seen after the movement is considered to be close to the photographer, the viewpoint may be moved directly to the shooting location depending on the combination of the photographer and the user who wants to move.

例えば、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１Ａ、ＨＭＤ１０１Ｂ、ＨＭＤ１０１Ｃの各ユーザの視点位置の高さの情報を、ＨＭＤ１０１ごとに予め記憶しておく。例えば、ＨＭＤ１０１を装着し、ステップＳ５０１で複合現実アプリケーションを起動して、ＨＭＤ１０１を装着したユーザがＭＲの体験を開始した時点の高さ位置をＨＭＤ１０１のＩＤと対応付けて記憶しておく。ここでは、複合現実アプリケーション起動時においてユーザは起立しているものとする。 For example, the CPU 201 of the PC 100 stores information on the height of the viewpoint position of each user of the HMD 101A, HMD 101B, and HMD 101C in advance for each HMD 101. For example, the HMD 101 is attached, the mixed reality application is started in step S501, and the height position at the time when the user wearing the HMD 101 starts the MR experience is stored in association with the ID of the HMD 101. Here, it is assumed that the user stands up when the mixed reality application is started.

また、高さ位置が記憶された時点で、当該ＨＭＤ１０１のユーザと身長の近いユーザをグルーピングして記憶する。例えば視点の高さが１５６〜１６５ｃｍを同一グループとし、１６６〜１７４ｃｍを同一グループとして登録する。 Further, when the height position is memorized, the user who is close in height to the user of the HMD 101 is grouped and memorized. For example, 156 to 165 cm in height of the viewpoint is registered as the same group, and 166 to 174 cm is registered as the same group.

ＰＣ１００のＣＰＵ２０１は、ステップＳ１００１の後、ＨＭＤ１０１ＡのＩＤを取得し、ＨＭＤ１０１ＢのＩＤを取得する。ＨＭＤ１０１ＡとＨＭＤ１０１Ｂが同一のグループに属しているか判定し、同一のグループに属していない場合は処理をステップＳ１００２に移行し、同一のグループに属している場合は、ＨＭＤ１０１Ｂの視点位置を撮影場所に直接移動する。 After step S1001, the CPU 201 of the PC 100 acquires the ID of the HMD 101A and acquires the ID of the HMD 101B. It is determined whether HMD101A and HMD101B belong to the same group, if they do not belong to the same group, the process proceeds to step S1002, and if they belong to the same group, the viewpoint position of HMD101B is directly moved to the shooting location. Moving.

つまり、撮影者と撮影場所に移動したいユーザの組み合わせによって（選択された共有画像のユーザが所定のユーザである場合に）、撮影場所に直接視点を移動させるべき組み合わせか否かを判定し、撮影場所に直接視点を移動させるべき組み合わせの場合にはＨＭＤ１０１Ｂの視点位置を撮影場所に直接移動させ、撮影場所に直接視点を移動させるべき組み合わせでない場合には処理をステップＳ１００２に移行する。 That is, depending on the combination of the photographer and the user who wants to move to the shooting location (when the user of the selected shared image is a predetermined user), it is determined whether or not the combination should move the viewpoint directly to the shooting location, and the shooting is performed. In the case of a combination in which the viewpoint should be moved directly to the place, the viewpoint position of the HMD101B is moved directly to the shooting place, and in the case of a combination in which the viewpoint should not be moved directly to the shooting place, the process proceeds to step S1002.

なお、上述した実施形態においては、共有画像として記憶するデータは静止画である画像として説明したが、例えば動画像であってもよい。動画の撮影場所＝動画の撮影が開始された時点（録画開始時点）の撮影者のＨＭＤの位置とする（動画記憶手段に該当）。 In the above-described embodiment, the data stored as the shared image has been described as an image that is a still image, but may be, for example, a moving image. Video shooting location = the position of the photographer's HMD at the time when video shooting is started (recording start time) (corresponding to video storage means).

よって、動画である共有画像の選択を受け付けた場合、ステップＳ１００２では、動画の撮影開始時点の場所より所定距離離れた位置を移動先として決定する。 Therefore, when the selection of the shared image which is a moving image is accepted, in step S1002, a position separated by a predetermined distance from the place at the start of shooting the moving image is determined as the moving destination.

また、上述した実施形態においては、撮影場所から所定距離離れた位置を移動先の位置として決定したが、これは床と水平方向の距離である。 Further, in the above-described embodiment, a position separated from the photographing location by a predetermined distance is determined as the moving destination position, which is the horizontal distance from the floor.

また、例えば、撮影場所から所定距離以上移動した場所を、撮影場所から所定距離離れた位置とし、移動先として決定してもよい。 Further, for example, a place moved by a predetermined distance or more from the shooting place may be set as a position separated from the shooting place by a predetermined distance, and may be determined as a moving destination.

具体的には、撮影者（ＨＭＤ１０１Ａ）の位置姿勢の履歴を取得し、共有画像の撮影時の位置から、１つ前のレコードの位置までの距離を取得する。また、当該取得した１つ前の更に１つ前のレコードを取得し、レコード間の距離を取得する。このレコードの取得及び距離の加算処理を繰り返していき、加算していった距離の合計が所定距離に達した場合に、取得した最後のレコードの位置を移動先の位置として決定する。 Specifically, the history of the position and posture of the photographer (HMD101A) is acquired, and the distance from the position at the time of shooting the shared image to the position of the previous record is acquired. In addition, the record immediately before the acquired one is acquired, and the distance between the records is acquired. The acquisition of the record and the addition process of the distance are repeated, and when the total of the added distance reaches a predetermined distance, the position of the last acquired record is determined as the position of the movement destination.

つまり、撮影場所までの撮影者の移動経路及び距離を所定距離分だけ遡った位置を移動先の位置として決定する。 That is, the position where the photographer's movement path and distance to the shooting location are traced back by a predetermined distance is determined as the movement destination position.

以上説明したように、本発明によれば、適切な位置にユーザの視点を移動させることが可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of moving the user's viewpoint to an appropriate position.

次に図１５を参照して、本発明の実施形態における、画像の撮影場所における案内処理の流れについて説明する。 Next, with reference to FIG. 15, the flow of the guidance process at the image capturing location in the embodiment of the present invention will be described.

例えば図１６の１６００に示すようにＨＭＤ１０１Ａのユーザが、１１０１の仮想物体を見て、１６０２に示す画像を撮影して共有画像として記憶したとする。 For example, suppose that a user of HMD101A sees a virtual object of 1101 as shown in 1600 of FIG. 16, takes an image shown in 1602, and stores it as a shared image.

共有画像を選択したＨＭＤ１０１Ｂのユーザは１６１０に示すように、仮想物体１３０１に視界を覆われてしまい、１６１１のような画像を見ることになる。よって自分がどこにいるのか分からなくなり、混乱してしまう。 As shown in 1610, the user of the HMD 101B who has selected the shared image will be covered by the virtual object 1301 and will see an image such as 1611. Therefore, I don't know where I am and I get confused.

また、たとえ仮想物体１３０１から頭部を抜け出し、画像が撮影された場所により近付いたとしても、１６２０に示すように、周囲の状況が分からず、共有画像がどこを撮影したものなのか分からなくなることがある。 Also, even if you get out of the head from the virtual object 1301 and get closer to the place where the image was taken, as shown in 1620, you do not know the surrounding situation and you do not know where the shared image was taken. There is.

また、撮影場所までの経路案内を受けた場合であっても、例えば１６２０に示すように物体が多数配置されている場合は、共有画像がどのような姿勢で撮影されたのか分かり難いことがある。 In addition, even when the route guidance to the shooting location is received, it may be difficult to understand the posture in which the shared image was shot when a large number of objects are arranged as shown in 1620, for example. ..

図１５の処理によれば、撮影場所に近付いたユーザに対して、撮影された画像の撮影時の姿勢（方向や角度）を案内することができる。 According to the process of FIG. 15, it is possible to guide the user who approaches the shooting location to the posture (direction and angle) at the time of shooting the shot image.

ステップＳ１５０１で、ＰＣ１００のＣＰＵ２０１は、ステップＳ９０２で選択を受け付けた共有画像の撮影者の、撮影時点の位置姿勢を取得する。 In step S1501, the CPU 201 of the PC 100 acquires the position and orientation of the photographer of the shared image whose selection has been accepted in step S902 at the time of shooting.

ステップＳ１５０２で、ＰＣ１００のＣＰＵ２０１は、各ＨＭＤ１０１の現在の位置姿勢を取得し、ステップＳ１５０３で、当該撮影場所に近いＨＭＤ１０１があるか判定する。つまり、撮影場所から所定距離内にいるＨＭＤ１０１が存在するか判定する。 In step S1502, the CPU 201 of the PC 100 acquires the current position and orientation of each HMD 101, and in step S1503, determines whether there is an HMD 101 close to the shooting location. That is, it is determined whether or not the HMD 101 within a predetermined distance from the shooting location exists.

撮影場所に近いＨＭＤ１０１がない場合は図１５の処理を終了する。撮影場所に近いＨＭＤ１０１がある場合は処理をステップＳ１５０４に移行する。 If there is no HMD101 near the shooting location, the process of FIG. 15 ends. If there is an HMD 101 near the shooting location, the process proceeds to step S1504.

ステップＳ１５０４で、ＰＣ１００のＣＰＵ２０１は、撮影場所に近い位置にあるＨＭＤ１０１が、撮影場所の指定を受け付けたＨＭＤ１０１（本実施形態におけるＨＭＤ１０１Ｂ）か判定する。 In step S1504, the CPU 201 of the PC 100 determines whether the HMD 101 located near the shooting location is the HMD 101 (HMD101B in the present embodiment) that has accepted the designation of the shooting location.

撮影場所に近い位置にあるＨＭＤ１０１が撮影場所の指定を受け付けたＨＭＤ１０１である場合（例えばＨＭＤ１０１Ｂである場合）は、当該ＨＭＤ１０１の装着者であるユーザに撮影時の姿勢の案内をすべく、処理をステップＳ１５０５に移行する。撮影場所に近い位置にあるＨＭＤ１０１が撮影場所の指定を受け付けたＨＭＤ１０１でない場合（例えばＨＭＤ１０１Ｃである場合）は、撮影時の姿勢の案内は不要であるため、図１５の処理を終了する。 If the HMD 101 located near the shooting location is the HMD 101 that has accepted the designation of the shooting location (for example, if it is the HMD 101B), the process is performed so as to guide the user who wears the HMD 101 to the posture at the time of shooting. The process proceeds to step S1505. If the HMD 101 located near the shooting location is not the HMD 101 that has accepted the designation of the shooting location (for example, if it is the HMD 101C), the posture guidance at the time of shooting is unnecessary, so the process of FIG. 15 is terminated.

ステップ１５０５で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１Ｂを姿勢を案内するＨＭＤとして特定し、当該ＨＭＤ１０１Ｂの現在の位置姿勢を特定する。 In step 1505, the CPU 201 of the PC 100 identifies the HMD 101B as an HMD that guides the posture, and identifies the current position and posture of the HMD 101B.

ステップ１５０６で、ＰＣ１００のＣＰＵ２０１は、姿勢案内用の矢印の仮想物体（ＣＧ）をメモリ上に生成する。矢印の仮想物体の一例を図１７の１７０１に示す。 In step 1506, the CPU 201 of the PC 100 generates a virtual object (CG) of an arrow for posture guidance on the memory. An example of the virtual object of the arrow is shown in 1701 of FIG.

ステップ１５０７で、ＰＣ１００のＣＰＵ２０１は、矢印の仮想物体の位置姿勢を決定する。具体的には、ＨＭＤ１０１Ｂの位置からＨＭＤ１０１Ｂの視線方向に所定距離（例えば２０ｃｍ）離れた位置を始点として位置決定し、共有画像の撮影時点のＨＭＤ１０１Ａの位置から、共有画像の撮影時点のＨＭＤ１０１Ａの視線方向に向けて所定距離離れた位置（例えば３０ｃｍ離れた位置）を終点とするよう位置決定して、矢印の仮想物体のサイズを変更する。 In step 1507, the CPU 201 of the PC 100 determines the position and orientation of the virtual object indicated by the arrow. Specifically, the position is determined starting from a position separated from the position of HMD101B in the line-of-sight direction of HMD101B by a predetermined distance (for example, 20 cm), and the line of sight of HMD101A at the time of shooting the shared image is determined from the position of HMD101A at the time of shooting the shared image. The size of the virtual object indicated by the arrow is changed by determining the position so that the end point is a position separated by a predetermined distance in the direction (for example, a position separated by 30 cm).

ＰＣ１００のＣＰＵ２０１は、図５のステップＳ５０８で、ＨＭＤ１０１Ｂのカメラ装置によって撮影されている最新の現実画像と、仮想空間上の視点位置から仮想カメラで撮影した、サイズ決定及び位置決定された矢印の仮想物体の描画データとを重畳した複合現実画像を生成する。生成した複合現実画像の一例を図１７の１７０２に示す。 The CPU 201 of the PC 100 has the latest real image taken by the camera device of the HMD 101B in step S508 of FIG. 5, and the virtual size-determined and position-determined arrows taken by the virtual camera from the viewpoint position in the virtual space. Generates a mixed reality image that is superimposed on the drawing data of an object. An example of the generated mixed reality image is shown in 1702 of FIG.

ＰＣ１００のＣＰＵ２０１は、図５のステップＳ５０９で、当該複合現実画像をＨＭＤ１０１Ｂに送信し、ＨＭＤ１０１Ｂが当該複合現実画像を受信して表示する（案内表示制御手段に該当）。 The CPU 201 of the PC 100 transmits the mixed reality image to the HMD 101B in step S509 of FIG. 5, and the HMD 101B receives and displays the mixed reality image (corresponding to the guidance display control means).

ステップＳ１５０８で、ＰＣ１００のＣＰＵ２０１は、現在のＨＭＤ１０１Ｂの姿勢が、共有画像撮影時のＨＭＤ１０１Ａの姿勢に所定以上近付いたか判定する。 In step S1508, the CPU 201 of the PC 100 determines whether the current posture of the HMD 101B is closer than a predetermined posture to the posture of the HMD 101A at the time of taking a shared image.

具体的には、ＨＭＤ１０１Ｂの方向が共有画像の方向１１０４からＸＹＺの値が所定値以内の方向となり、且つ、ＨＭＤ１０１Ｂの角度が共有画像の角度１１０５から所定角度（例：５度）以内の角度になっている場合に、現在のＨＭＤ１０１Ｂの姿勢が、共有画像撮影時のＨＭＤ１０１Ａの姿勢に所定以上近付いたと判定する。 Specifically, the direction of the HMD101B is a direction in which the value of XYZ is within a predetermined value from the direction 1104 of the shared image, and the angle of the HMD101B is within a predetermined angle (example: 5 degrees) from the angle 1105 of the shared image. If so, it is determined that the current posture of the HMD101B is closer than a predetermined position to the posture of the HMD101A at the time of taking the shared image.

現在のＨＭＤ１０１Ｂの姿勢が、共有画像撮影時のＨＭＤ１０１Ａの姿勢に所定以上近付いていないと判定された場合、ＰＣ１００のＣＰＵ２０１は、処理をステップＳ１５０５に戻し、現在のＨＭＤ１０１Ｂの位置姿勢を取得して、姿勢案内の処理を継続する。 When it is determined that the current posture of the HMD101B is not closer than the predetermined posture of the HMD101A at the time of taking the shared image, the CPU 201 of the PC100 returns the process to step S1505, acquires the current position and posture of the HMD101B, and obtains the current position and posture of the HMD101B. Continue the posture guidance process.

現在のＨＭＤ１０１Ｂの姿勢が、共有画像撮影時のＨＭＤ１０１Ａの姿勢に所定以上近付いたと判定された場合、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１Ｂのユーザが目的の撮影対象（選択された共有画像の被写体）を視認したと判断し、姿勢案内用の矢印ＣＧを非表示状態に変更する。例えば、矢印のＣＧを記憶装置から削除する。以上が図１５の説明である。 When it is determined that the current posture of the HMD 101B is closer than a predetermined position to the posture of the HMD 101A at the time of shooting the shared image, the CPU 201 of the PC 100 visually recognizes the target shooting target (subject of the selected shared image) by the user of the HMD 101B. Judging that, the arrow CG for posture guidance is changed to the hidden state. For example, the arrow CG is deleted from the storage device. The above is the description of FIG.

図１５の処理によれば、撮影場所に近付いたユーザに対して、撮影された画像の撮影時の姿勢を案内することができる。 According to the process of FIG. 15, it is possible to guide the user who approaches the shooting location to the posture at the time of shooting the shot image.

また、撮影場所の選択をしていないユーザを混乱させないよう、撮影場所に近付いたユーザのうち、撮影場所の選択をしていないユーザには姿勢の案内をすることなく、撮影場所の選択をしたユーザに対して姿勢の案内をすることができる。 Also, in order not to confuse users who have not selected the shooting location, among the users who approached the shooting location, the user who did not select the shooting location was selected without giving posture guidance. It is possible to guide the posture to the user.

なお、上述した実施形態においては、ＨＭＤ１０１Ｂの姿勢が共有画像撮影当初のＨＭＤ１０１Ａの姿勢と所定以上異なる場合に姿勢の案内の表示を制御し（ステップＳ１５０５、Ｓ１５０６）、ＨＭＤ１０１Ｂの姿勢が共有画像撮影当初のＨＭＤ１０１Ａの姿勢に所定以上近付いている場合に案内の表示を取りやめるものとしたが、例えば、更に高さ方向の位置の情報を用いて案内の表示の要否を決定してもよい。 In the above-described embodiment, when the posture of the HMD101B is different from the posture of the HMD101A at the time of taking the shared image by a predetermined value or more, the display of the posture guidance is controlled (steps S1505 and S1506), and the posture of the HMD101B is at the beginning of the shared image shooting. The guidance display is canceled when the posture of the HMD101A is closer than a predetermined value. However, for example, the necessity of the guidance display may be determined by using the position information in the height direction.

具体的には、ＨＭＤ１０１Ｂの高さ方向の位置又は姿勢が共有画像撮影当初のＨＭＤ１０１Ａの高さ方向の位置及び姿勢と所定以上異なる場合に姿勢の案内の表示を制御し、ＨＭＤ１０１Ｂの高さ方向の位置及び姿勢が共有画像撮影当初のＨＭＤ１０１Ａの高さ方向の位置及び姿勢に所定以上近付いている場合に異なる場合に案内の表示を取りやめるようにしてもよい。 Specifically, when the position or posture in the height direction of the HMD101B differs from the position and posture in the height direction of the HMD101A at the time of taking the shared image by a predetermined value or more, the display of the posture guidance is controlled to control the display of the posture guidance in the height direction of the HMD101B. The guidance display may be canceled when the position and posture are different from the position and posture in the height direction of the HMD 101A at the time of taking the shared image when they are closer than a predetermined value.

高さ方向の位置が撮影当初から離れていることを以って案内を表示することで、どの高さから共有画像が撮影されたのかをユーザに確認させることができる。 By displaying the guidance based on the fact that the position in the height direction is far from the beginning of shooting, it is possible to let the user confirm from which height the shared image was shot.

当該案内の表示（矢印のＣＧ）は、案内対象のＨＭＤ１０１Ｂに対してのみ表示するようにしている。その他のＨＭＤでＭＲを体験しているユーザに余計な情報を見せることなく、案内を必要としているユーザに案内の表示を限定するためである。 The display of the guidance (CG of the arrow) is displayed only for the HMD101B to be guided. This is to limit the display of guidance to users who need guidance without showing extra information to users who are experiencing MR in other HMDs.

しかし、案内を表示するＨＭＤ（ユーザ）を限定した場合、その他のＨＭＤを装着しているユーザには、案内表示中のＨＭＤのユーザが何をしようとしているのか分からない。 However, when the HMD (user) that displays the guidance is limited, other users wearing the HMD do not know what the HMD user who is displaying the guidance is trying to do.

例えばＨＭＤ１０１Ｂに案内表示中の場合、ＨＭＤ１０１Ｂのユーザは矢印のＣＧを追いかけて首を振ったり、頭の角度を変えて何かを覗き込んだりする動きをすることが考えられますが、ＨＭＤ１０１Ａ及びＨＭＤ１０１Ｃのユーザには、ＨＭＤ１０１Ｂがなぜそのような行動を取っているか分からない。 For example, when the guidance is displayed on the HMD101B, the user of the HMD101B may follow the CG of the arrow and shake his head, or change the angle of his head to look into something, but the HMD101A and HMD101C may be used. The user does not know why the HMD101B is doing so.

よって、例えば案内表示中のＨＭＤ１０１Ｂに対応付けてＨＭＤ１０１Ｂのユーザが共有画像の撮影場所及び姿勢の案内中であることを、ＨＭＤ１０１Ａ及びＨＭＤ１０１Ｃ（他のＨＭＤ）に表示するようにしてもよい。 Therefore, for example, the HMD101A and the HMD101C (another HMD) may display that the user of the HMD101B is guiding the shooting location and posture of the shared image in association with the HMD101B being displayed.

具体的には、案内表示中のＨＭＤ１０１ＢからＸＹＺ軸方向に所定距離離れた位置に、「撮影場所・姿勢案内中」というテキストのＣＧを配置する。 Specifically, a CG with the text "shooting location / posture guidance in progress" is arranged at a position separated from the HMD101B in the guidance display by a predetermined distance in the XYZ axis direction.

また、当該テキストと合わせて、撮影場所および角度を案内中の共有画像を、ＨＭＤ１０１ＢからＸＹＺ軸方向に所定距離離れた位置に配置して表示することで、どの共有画像の撮影場所及び姿勢が案内されるか他のＨＭＤのユーザに認識可能としてもよい。 In addition, by displaying the shared image that is guiding the shooting location and angle together with the text at a position separated by a predetermined distance in the XYZ axis direction from the HMD101B, the shooting location and posture of which shared image is guided. It may be made recognizable by other HMD users.

また、上述した実施形態においては、共有画像の撮影場所及び姿勢を案内するものとしたが、例えば共有画像に写っている、ＨＭＤ１０１Ａにおいて撮影された仮想物体の位置を案内するようにしてもよい。 Further, in the above-described embodiment, the shooting location and posture of the shared image are guided, but for example, the position of the virtual object photographed by the HMD 101A shown in the shared image may be guided.

具体的には、共有画像撮影時に、ＨＭＤ１０１Ａの画角内に含まれる仮想物体のＩＤを、共有画像と対応付けて記憶しておき、ＰＣ１００のＣＰＵ２０１が、例えばステップＳ１５０７の後に、ＨＭＤ１０１Ｂで選択された共有画像に対応する仮想物体のＩＤを特定して、特定された各仮想物体の輪郭線の色を変えて強調表示（識別表示）する。 Specifically, at the time of taking a shared image, the ID of the virtual object included in the angle of view of the HMD 101A is stored in association with the shared image, and the CPU 201 of the PC 100 is selected by the HMD 101B after, for example, step S1507. The ID of the virtual object corresponding to the shared image is specified, and the outline color of each identified virtual object is changed to highlight (identify display).

これにより、共有画像によって撮影された何が撮影されていたか（撮影されていた仮想物体）を、ＨＭＤ１０１Ｂのユーザに案内することが可能である。 This makes it possible to guide the user of the HMD 101B what was captured by the shared image (the virtual object that was captured).

また、そもそも選択された共有画像によって撮影されていた仮想物体が、撮影場所への視点位置の移動指示をしたＨＭＤ（ＨＭＤ１０１Ｂ）の仮想カメラが存在する仮想空間に存在しない場合、撮影場所や姿勢を案内して撮影場所・姿勢を再現したとしても、共有画像に写っていた物体を捉えることができない。 In addition, if the virtual object that was originally shot by the selected shared image does not exist in the virtual space where the virtual camera of HMD (HMD101B) that has instructed to move the viewpoint position to the shooting location exists, the shooting location and posture are changed. Even if you guide and reproduce the shooting location and posture, you cannot capture the object in the shared image.

つまり、ＨＭＤ１０１Ｂのユーザに、案内に沿って移動したり視線方向を変えたりしたりと無駄に労力を消費させてしまうことになる。 That is, the user of the HMD101B is wasted labor such as moving along the guide or changing the line-of-sight direction.

よて、例えば選択された共有画像で撮影された物体が存在するか否かに応じて、案内の表示を行うか否かを決定するようにしてもよい。 Therefore, for example, it may be decided whether or not to display the guidance depending on whether or not there is an object captured by the selected shared image.

具体的には、図１５のステップＳ１５０５の後に、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１Ｂの仮想カメラの配置されている仮想空間において、ＨＭＤ１０１Ｂにおいて選択された共有画像に写っている仮想物体が配置されているか（仮想空間に配置するモデルとして、モデル情報６２０に記憶されているか）判定する。 Specifically, after step S1505 of FIG. 15, in the CPU 201 of the PC 100, in the virtual space where the virtual camera of the HMD 101B is arranged, is the virtual object shown in the shared image selected in the HMD 101B arranged? (Whether it is stored in the model information 620 as a model to be arranged in the virtual space) is determined.

配置されていない場合は図１５の処理を終了し、配置されている場合は処理をステップＳ１５０６に移行することで、共有画像を選択したユーザが、共有画像の撮影場所に視点を移動させれば共有画像の被写体を確認することができるという場合に、案内を表示することができる。 If it is not arranged, the process of FIG. 15 is terminated, and if it is arranged, the process proceeds to step S1506, so that the user who has selected the shared image moves the viewpoint to the shooting location of the shared image. Guidance can be displayed when the subject of the shared image can be confirmed.

また、共有画像情報１１００を不図示のサーバに記憶するようにしてもよい。例えば複数のＰＣ１００を準備し、ＨＭＤ１０１ごとに個別にＰＣ１００を接続する。各ＰＣ１００と不図示のサーバをネットワーク１５０を介して接続し、ＰＣ１００に記憶された共有画像情報１１００をサーバにアップロードして、サーバが当該共有画像情報１１００の更新がされたことを他のＰＣ１００に通知する。ＰＣ１００は、通知に応じて更新後の共有画像情報１１００をサーバより取得して自機のメモリに記憶する。 Further, the shared image information 1100 may be stored in a server (not shown). For example, a plurality of PC 100s are prepared, and the PC 100s are individually connected to each HMD 101. Each PC 100 and a server (not shown) are connected via the network 150, the shared image information 1100 stored in the PC 100 is uploaded to the server, and the server notifies the other PC 100 that the shared image information 1100 has been updated. Notice. The PC 100 acquires the updated shared image information 1100 from the server in response to the notification and stores it in its own memory.

以上、本発明の実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 Although the embodiments of the present invention have been described above, the present invention can be implemented as, for example, a system, an apparatus, a method, a program, a recording medium, or the like. Specifically, it may be applied to a system composed of a plurality of devices, or may be applied to a device composed of one device.

例えば、図２に示すＰＣ１００の構成を全て備えるＨＭＤ１０１が、自機の機能をＣＰＵ２０１で実行して、上述した実施形態においてＰＣ１００の実行するものとして説明した処理の全てを、実行するようにしてもよい。 For example, even if the HMD 101 having all the configurations of the PC 100 shown in FIG. 2 executes the functions of its own machine by the CPU 201 and executes all the processes described as those executed by the PC 100 in the above-described embodiment. Good.

具体的には、ＨＭＤ１０１とＰＣ１００が一体であり、１つ筐体として、ＨＭＤ１０１のＣＰＵ２０１が、ステップＳ５０４〜Ｓ５０９の処理及びその他の図のフローチャートに記載の処理を実行するよう構成してもよい。この場合、ＰＣ１００の機能は各ＨＭＤ１０１に備わり、各ＨＭＤ１０１の記憶装置に、光学センサ１０４から取得された各ＨＭＤ１０１の位置姿勢が記憶されるものとする。 Specifically, the HMD 101 and the PC 100 may be integrated, and the CPU 201 of the HMD 101 may be configured to execute the processes of steps S504 to S509 and other processes described in the flowchart of the figure as one housing. In this case, it is assumed that the function of the PC 100 is provided in each HMD 101, and the position / orientation of each HMD 101 acquired from the optical sensor 104 is stored in the storage device of each HMD 101.

なお、上述した実施形態においては、複合現実における視点移動と案内について説明したが、例えば視点移動及び経路案内の表示を、仮想現実や拡張現実の技術を用いて実現するようにしてもよい。 In the above-described embodiment, the viewpoint movement and guidance in mixed reality have been described, but for example, the display of viewpoint movement and route guidance may be realized by using a technique of virtual reality or augmented reality.

また、上述した実施形態においては、現実画像と仮想物体の描画データを重畳することで複合現実画像を生成するものとしたが、例えば透過型（シースルー型）のＨＭＤ１０１を採用し、透過率１００％の現実画像に透過率０％の描画データを重ね合わせてディスプレイに表示し、現実の情報はディスプレイ越しに肉眼で確認できるような複合現実画像を生成・表示するようにしてもよい。 Further, in the above-described embodiment, the mixed reality image is generated by superimposing the drawing data of the real image and the virtual object. For example, a transparent type (see-through type) HMD101 is adopted and the transmission rate is 100%. The drawing data having a transparency of 0% may be superimposed on the real image of the above and displayed on the display, and the real information may be generated and displayed as a mixed reality image that can be visually confirmed through the display.

また、本発明におけるプログラムは、各図に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各図の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各図の各装置の処理方法ごとのプログラムであってもよい。 Further, the program in the present invention is a program in which a computer can execute the processing method of the flowchart shown in each figure, and the storage medium of the present invention stores a program in which the computer can execute the processing method in each figure. The program in the present invention may be a program for each processing method of each device in each figure.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、本発明の目的が達成されることは言うまでもない。 As described above, the recording medium on which the program that realizes the functions of the above-described embodiment is recorded is supplied to the system or the device, and the computer (or CPU or MPU) of the system or the device stores the program in the recording medium. Needless to say, the object of the present invention can be achieved by reading and executing.

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。 Recording media for supplying programs include, for example, flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, DVD-ROMs, magnetic tapes, non-volatile memory cards, ROMs, EEPROMs, and silicon. A disk, solid state drive, etc. can be used.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the function of the above-described embodiment is realized, but also the OS (operating system) or the like running on the computer is actually operated based on the instruction of the program. Needless to say, there are cases where a part or all of the processing is performed and the processing realizes the functions of the above-described embodiment.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, and then the function expansion board is based on the instruction of the program code. It goes without saying that there are cases where the CPU or the like provided in the function expansion unit performs a part or all of the actual processing, and the processing realizes the functions of the above-described embodiment.

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Further, the present invention may be applied to a system composed of a plurality of devices or a device composed of one device. It goes without saying that the present invention can also be applied when it is achieved by supplying a program to a system or device. In this case, by reading the recording medium in which the program for achieving the present invention is stored into the system or device, the system or device can enjoy the effect of the present invention.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Further, by downloading and reading a program for achieving the present invention from a server, database, or the like on the network by a communication program, the system or device can enjoy the effect of the present invention.

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 It should be noted that all the configurations in which the above-described embodiments and modifications thereof are combined are also included in the present invention.

１００ ＰＣ
１０１Ａ ＨＭＤ
１０１Ｂ ＨＭＤ
１０１Ｃ ＨＭＤ
１０３ 光学式マーカ
１０４ 光学センサ
１５０ ネットワーク 100 PC
101A HMD
101B HMD
101C HMD
103 Optical Marker 104 Optical Sensor 150 Network

Claims (10)

装着型の表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて、前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置であって、
前記表示装置のユーザの現在の視点位置を、前記位置姿勢記憶手段に記憶されている過去の位置に移動する指示を受け付ける移動指示受付手段と、
前記移動指示受付手段により視点位置の移動指示を受け付けたユーザの視点位置が、移動指示を受け付けた先の位置から所定距離内にあるか判定する判定手段と、
前記判定手段により、移動指示を受け付けたユーザの視点位置が移動指示を受け付けた先の位置から所定距離内にあると判定された場合に、前記移動指示を受け付けた先の位置で撮影された画像の撮影の方向にかかる案内を表示制御する案内表示制御手段と、
を備えることを特徴とする情報処理装置。 The position / orientation storage means for storing the viewpoint position and posture of the virtual space indicating the user's viewpoint of the wearable display device, the virtual object storage means for storing the virtual object and the position / orientation of the virtual object in the virtual space, and the display. An information processing device including a generation means for generating an image of the virtual object when viewed from the viewpoint of the display device based on the position and orientation of the device and the position and orientation of the virtual object.
A movement instruction receiving means for receiving an instruction to move the current viewpoint position of the user of the display device to a past position stored in the position / posture storage means.
A determination means for determining whether the viewpoint position of the user who has received the movement instruction of the viewpoint position by the movement instruction receiving means is within a predetermined distance from the position where the movement instruction is received.
When the determination means determines that the viewpoint position of the user who has received the movement instruction is within a predetermined distance from the position where the movement instruction is received, the image taken at the position where the movement instruction is received. Guidance display control means for displaying and controlling guidance in the shooting direction of
An information processing device characterized by being equipped with. 前記案内表示制御手段は、前記判定手段により、移動指示を受け付けたユーザの視点位置が移動指示を受け付けた先の位置から所定距離内にあると判定された場合に、前記移動指示を受け付けた先の位置で撮影された画像の撮影位置の高さ方向にかかる案内を表示制御することを特徴とする請求項１に記載の情報処理装置。 When the determination means determines that the viewpoint position of the user who has received the movement instruction is within a predetermined distance from the position where the movement instruction has been received, the guidance display control means receives the movement instruction. The information processing apparatus according to claim 1, wherein the guidance applied in the height direction of the shooting position of the image shot at the position of is displayed and controlled. 前記案内表示制御手段によって、案内の表示制御がされている前記表示装置に対応付けて、前記表示装置のユーザが何の案内をされているかを示す情報を表示すべく制御する表示制御手段
を備えることを特徴とする請求項１又は２に記載の情報処理装置。 A display control means for controlling to display information indicating what guidance is being given by the user of the display device is provided in association with the display device whose guidance display is controlled by the guidance display control means. The information processing apparatus according to claim 1 or 2. 前記案内表示制御手段は、前記移動指示を受け付けた先の位置で撮影された仮想オブジェクトを案内すべく識別表示することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 3, wherein the guidance display control means identifies and displays a virtual object photographed at a position where the movement instruction is received to guide the virtual object. .. 前記案内表示制御手段は、前記移動指示を受け付けた先の位置で撮影された画像の撮影時と同一の仮想オブジェクトが前記仮想空間上に配置されている場合に、前記案内の表示制御を行うことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。 The guidance display control means controls the display of the guidance when the same virtual object as at the time of shooting the image taken at the position where the movement instruction is received is arranged in the virtual space. The information processing apparatus according to any one of claims 1 to 4. 装着型の表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて、前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置の制御方法であって、
前記表示装置のユーザの現在の視点位置を、前記位置姿勢記憶手段に記憶されている過去の位置に移動する指示を受け付ける移動指示受付工程と、
前記移動指示受付工程により視点位置の移動指示を受け付けたユーザの視点位置が、移動指示を受け付けた先の位置から所定距離内にあるか判定する判定工程と、
前記判定工程により、移動指示を受け付けたユーザの視点位置が移動指示を受け付けた先の位置から所定距離内にあると判定された場合に、前記移動指示を受け付けた先の位置で撮影された画像の撮影の方向にかかる案内を表示制御する案内表示制御工程と、
を含むことを特徴とする情報処理装置の制御方法。 The position / orientation storage means for storing the viewpoint position and posture of the virtual space indicating the user's viewpoint of the wearable display device, the virtual object storage means for storing the virtual object and the position / orientation of the virtual object in the virtual space, and the display. A control method for an information processing device including a generation means for generating an image of the virtual object when viewed from the viewpoint of the display device based on the position and orientation of the device and the position and orientation of the virtual object.
A movement instruction receiving process for receiving an instruction to move the current viewpoint position of the user of the display device to a past position stored in the position / posture storage means.
A determination step of determining whether the viewpoint position of the user who has received the movement instruction of the viewpoint position by the movement instruction receiving process is within a predetermined distance from the position where the movement instruction is received.
When it is determined by the determination step that the viewpoint position of the user who has received the movement instruction is within a predetermined distance from the position where the movement instruction is received, the image taken at the position where the movement instruction is received. The guidance display control process that displays and controls the guidance related to the shooting direction of
A control method for an information processing device, which comprises. 装着型の表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて、前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置で実行が可能なプログラムであって、
前記情報処理装置を、
前記表示装置のユーザの現在の視点位置を、前記位置姿勢記憶手段に記憶されている過去の位置に移動する指示を受け付ける移動指示受付手段と、
前記移動指示受付手段により視点位置の移動指示を受け付けたユーザの視点位置が、移動指示を受け付けた先の位置から所定距離内にあるか判定する判定手段と、
前記判定手段により、移動指示を受け付けたユーザの視点位置が移動指示を受け付けた先の位置から所定距離内にあると判定された場合に、前記移動指示を受け付けた先の位置で撮影された画像の撮影の方向にかかる案内を表示制御する案内表示制御手段として機能させることを特徴とする情報処理装置のプログラム。 The position / orientation storage means for storing the viewpoint position and posture of the virtual space indicating the user's viewpoint of the wearable display device, the virtual object storage means for storing the virtual object and the position / orientation of the virtual object in the virtual space, and the display. It is a program that can be executed by an information processing device including a generation means for generating an image of the virtual object when viewed from the viewpoint of the display device based on the position and orientation of the device and the position and orientation of the virtual object. hand,
The information processing device
A movement instruction receiving means for receiving an instruction to move the current viewpoint position of the user of the display device to a past position stored in the position / posture storage means.
A determination means for determining whether the viewpoint position of the user who has received the movement instruction of the viewpoint position by the movement instruction receiving means is within a predetermined distance from the position where the movement instruction is received.
When the determination means determines that the viewpoint position of the user who has received the movement instruction is within a predetermined distance from the position where the movement instruction is received, the image taken at the position where the movement instruction is received. A program of an information processing device characterized in that it functions as a guidance display control means for displaying and controlling guidance in the direction of shooting. 装着型の表示装置と、前記表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて、前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置と、を含む情報処理システムであって、
前記表示装置のユーザの現在の視点位置を、前記位置姿勢記憶手段に記憶されている過去の位置に移動する指示を受け付ける移動指示受付手段と、
前記移動指示受付手段により視点位置の移動指示を受け付けたユーザの視点位置が、移動指示を受け付けた先の位置から所定距離内にあるか判定する判定手段と、
前記判定手段により、移動指示を受け付けたユーザの視点位置が移動指示を受け付けた先の位置から所定距離内にあると判定された場合に、前記移動指示を受け付けた先の位置で撮影された画像の撮影の方向にかかる案内を表示制御する案内表示制御手段と、
を備えることを特徴とする情報処理システム。 A wearable display device, a position / posture storage means for storing a viewpoint position and posture in a virtual space indicating a user's viewpoint of the display device, and a virtual object storage for storing a virtual object and the position / posture of the virtual object in the virtual space. An information processing device including means and a generation means for generating an image of the virtual object when viewed from the viewpoint of the display device based on the position and orientation of the display device and the position and orientation of the virtual object. Information processing system including
A movement instruction receiving means for receiving an instruction to move the current viewpoint position of the user of the display device to a past position stored in the position / posture storage means.
A determination means for determining whether the viewpoint position of the user who has received the movement instruction of the viewpoint position by the movement instruction receiving means is within a predetermined distance from the position where the movement instruction is received.
When the determination means determines that the viewpoint position of the user who has received the movement instruction is within a predetermined distance from the position where the movement instruction is received, the image taken at the position where the movement instruction is received. Guidance display control means for displaying and controlling guidance in the shooting direction of
An information processing system characterized by being equipped with. 装着型の表示装置と、前記表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて、前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置と、を含む情報処理システムの制御方法であって、
前記表示装置のユーザの現在の視点位置を、前記位置姿勢記憶手段に記憶されている過去の位置に移動する指示を受け付ける移動指示受付工程と、
前記移動指示受付工程により視点位置の移動指示を受け付けたユーザの視点位置が、移動指示を受け付けた先の位置から所定距離内にあるか判定する判定工程と、
前記判定工程により、移動指示を受け付けたユーザの視点位置が移動指示を受け付けた先の位置から所定距離内にあると判定された場合に、前記移動指示を受け付けた先の位置で撮影された画像の撮影の方向にかかる案内を表示制御する案内表示制御工程と、
を含むことを特徴とする情報処理システムの制御方法。 A wearable display device, a position / posture storage means for storing a viewpoint position and posture in a virtual space indicating a user's viewpoint of the display device, and a virtual object storage for storing a virtual object and the position / posture of the virtual object in the virtual space. An information processing device including means and a generation means for generating an image of the virtual object when viewed from the viewpoint of the display device based on the position and orientation of the display device and the position and orientation of the virtual object. It is a control method of the information processing system including
A movement instruction receiving process for receiving an instruction to move the current viewpoint position of the user of the display device to a past position stored in the position / posture storage means.
A determination step of determining whether the viewpoint position of the user who has received the movement instruction of the viewpoint position by the movement instruction receiving process is within a predetermined distance from the position where the movement instruction is received.
When it is determined by the determination step that the viewpoint position of the user who has received the movement instruction is within a predetermined distance from the position where the movement instruction is received, the image taken at the position where the movement instruction is received. The guidance display control process that displays and controls the guidance related to the shooting direction of
A control method for an information processing system, which comprises. 装着型の表示装置と、前記表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて、前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置と、を含む情報処理システムを制御するためのプログラムであって、
前記情報処理システムを、
前記表示装置のユーザの現在の視点位置を、前記位置姿勢記憶手段に記憶されている過去の位置に移動する指示を受け付ける移動指示受付手段と、
前記移動指示受付手段により視点位置の移動指示を受け付けたユーザの視点位置が、移動指示を受け付けた先の位置から所定距離内にあるか判定する判定手段と、
前記判定手段により、移動指示を受け付けたユーザの視点位置が移動指示を受け付けた先の位置から所定距離内にあると判定された場合に、前記移動指示を受け付けた先の位置で撮影された画像の撮影の方向にかかる案内を表示制御する案内表示制御手段として機能させるためのプログラム。 A wearable display device, a position / posture storage means for storing a viewpoint position and posture in a virtual space indicating a user's viewpoint of the display device, and a virtual object storage for storing a virtual object and the position / posture of the virtual object in the virtual space. An information processing device including means and a generation means for generating an image of the virtual object when viewed from the viewpoint of the display device based on the position and orientation of the display device and the position and orientation of the virtual object. A program for controlling the information processing system including
The information processing system
A movement instruction receiving means for receiving an instruction to move the current viewpoint position of the user of the display device to a past position stored in the position / posture storage means.
A determination means for determining whether the viewpoint position of the user who has received the movement instruction of the viewpoint position by the movement instruction receiving means is within a predetermined distance from the position where the movement instruction is received.
When the determination means determines that the viewpoint position of the user who has received the movement instruction is within a predetermined distance from the position where the movement instruction is received, the image taken at the position where the movement instruction is received. A program for functioning as a guidance display control means for displaying and controlling guidance in the direction of shooting.
JP2016201805A 2016-10-13 2016-10-13 Information processing equipment, information processing system, its control method and program Active JP6810342B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016201805A JP6810342B2 (en) 2016-10-13 2016-10-13 Information processing equipment, information processing system, its control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016201805A JP6810342B2 (en) 2016-10-13 2016-10-13 Information processing equipment, information processing system, its control method and program

Publications (2)

Publication Number Publication Date
JP2018063590A JP2018063590A (en) 2018-04-19
JP6810342B2 true JP6810342B2 (en) 2021-01-06

Family

ID=61967802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016201805A Active JP6810342B2 (en) 2016-10-13 2016-10-13 Information processing equipment, information processing system, its control method and program

Country Status (1)

Country Link
JP (1) JP6810342B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6836060B2 (en) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 Information processing equipment, information processing system, information processing method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006064654A (en) * 2004-08-30 2006-03-09 Alpine Electronics Inc Navigation apparatus and method
JP2010266410A (en) * 2009-05-18 2010-11-25 Alpine Electronics Inc Server system, on-vehicle navigation device, and photographic image delivery method
JP2014174589A (en) * 2013-03-06 2014-09-22 Mega Chips Corp Augmented reality system, program and augmented reality provision method

Also Published As

Publication number Publication date
JP2018063590A (en) 2018-04-19

Similar Documents

Publication Publication Date Title
JP6871501B2 (en) Information processing equipment, information processing system, its control method and program
JP7060778B2 (en) Information processing system, information processing system control method and program
JP6618681B2 (en) Information processing apparatus, control method and program therefor, and information processing system
JP6978701B2 (en) Information processing system, its control method, and program, and information processing device, its control method, and program.
KR101833253B1 (en) Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same
JP6677890B2 (en) Information processing system, its control method and program, and information processing apparatus, its control method and program
JP2018106297A (en) Mixed reality presentation system, information processing apparatus and control method thereof, and program
JP6409861B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
JP7273325B2 (en) Information processing device, information processing system, information processing method and program
JP2023103265A (en) Control device, control method and program
JP6011567B2 (en) Information processing apparatus, control method thereof, and program
JP6810342B2 (en) Information processing equipment, information processing system, its control method and program
JP2016122443A (en) Information processing apparatus, control method thereof, program, information processing system, control method thereof, and program
JP2017084215A (en) Information processing system, control method thereof, and program
JP6357412B2 (en) Information processing apparatus, information processing system, information processing method, and program
JP6376251B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2020074108A (en) Information processing system, control method thereof, and program
JP6164177B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP6638326B2 (en) Information processing system, control method thereof, and program
JP7116334B2 (en) Information processing device, information processing system, control method thereof, and program
JP6734537B2 (en) Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program
JP7111940B2 (en) Information processing device, information processing system, control method thereof, and program
JP6741939B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2018190447A (en) Information processing device, information processing system, control method thereof and program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180703

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181031

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R151 Written notification of patent or utility model registration

Ref document number: 6810342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250