JP7273325B2 - Information processing device, information processing system, information processing method and program - Google Patents

Information processing device, information processing system, information processing method and program Download PDF

Info

Publication number
JP7273325B2
JP7273325B2 JP2021014923A JP2021014923A JP7273325B2 JP 7273325 B2 JP7273325 B2 JP 7273325B2 JP 2021014923 A JP2021014923 A JP 2021014923A JP 2021014923 A JP2021014923 A JP 2021014923A JP 7273325 B2 JP7273325 B2 JP 7273325B2
Authority
JP
Japan
Prior art keywords
image
display
information processing
hmd
past
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021014923A
Other languages
Japanese (ja)
Other versions
JP2021099816A (en
Inventor
翔 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2021014923A priority Critical patent/JP7273325B2/en
Publication of JP2021099816A publication Critical patent/JP2021099816A/en
Application granted granted Critical
Publication of JP7273325B2 publication Critical patent/JP7273325B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing system, an information processing method, and a program.

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。複合現実の技術を用いて、ヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザに対し、現実画像にＣＧモデルを配置した複合現実画像を提供し、現実と仮想を複合した複合現実の世界を体験させることができる。複合現実画像を生成するにあたり、ＨＭＤの位置とＣＧモデルの位置とを、センサや二次元マーカを用いて特定する手法が取られている。 In recent years, the technology of mixed reality (hereinafter referred to as MR) has become widespread. Using mixed reality technology, provide a user wearing a head-mounted display (HMD) with a mixed reality image in which a CG model is arranged in a real image, and experience a mixed reality world that combines reality and virtuality. can be done. In generating a mixed reality image, a method of specifying the position of the HMD and the position of the CG model using sensors and two-dimensional markers is adopted.

特許文献１には、ＨＭＤで撮影された画像の中に写る二次元マーカを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。また、特許文献２には、磁気センサを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。 Patent Literature 1 describes a technique of specifying the position and orientation of the HMD using a two-dimensional marker appearing in an image captured by the HMD and providing a mixed reality image. Further, Patent Literature 2 describes a technique of specifying the position and orientation of an HMD using a magnetic sensor and providing a mixed reality image.

また、特許文献３には、撮影した複合現実画像と、その時点での時刻とＨＭＤの位置姿勢を対応付けて記憶することが記載されている。特許文献４には、画像の撮影地点にサムネイル画像を配置した仮想空間画像を提供する技術が記載されている。特許文献５には、視線によるユーザの選択操作に基づいてユーザの視点位置を変更することが記載されている。 Further, Japanese Patent Application Laid-Open No. 2002-200003 describes storing a captured mixed reality image, the time at that point in time, and the position and orientation of the HMD in association with each other. Patent Literature 4 describes a technique for providing a virtual space image in which thumbnail images are arranged at image shooting points. Patent Literature 5 describes changing a user's viewpoint position based on a selection operation by the user based on the line of sight.

特開２００３－３０８５１４号公報JP-A-2003-308514 特開２００３－２４０５３２号公報JP-A-2003-240532 特開２００５－２６０７２４号公報JP 2005-260724 A 特開２０１０－９３７１３号公報JP 2010-93713 A 特開２００８－２９３３５７号公報JP 2008-293357 A

複数人でＭＲを体験する場合、他者が見ていた場所や物を見たい場面が想定される。例えば、記録された複合現実画像に対応する位置を指定することで、当該指定された仮想空間上の位置に自身の視点位置を移動させ、他者が撮影時点で見ていたＣＧモデルを、他者が見ていた場所から確認できる。 When a plurality of people experience MR, it is assumed that they may want to see places or things that other people have seen. For example, by specifying a position corresponding to the recorded mixed reality image, the user can move his or her viewpoint position to the specified position in the virtual space, and the CG model that the other person was looking at at the time of shooting can be viewed by the other person. It can be confirmed from where the person was looking.

例えば他者の仮想空間上の位置を一覧化し、自分が移動したい位置をユーザに選択させることで、選択された仮想空間上の位置にユーザの視点位置を移動させることが考えられる。 For example, it is conceivable to make a list of other people's positions in the virtual space and have the user select the position to which he or she wants to move, thereby moving the user's viewpoint position to the selected position in the virtual space.

しかし、全ての位置の情報を一覧に表示すると、画面が煩雑になり、選択する対象を探し出す手間が増えてしまう。 However, displaying the information of all the positions in the list makes the screen complicated and increases the trouble of searching for the target to be selected.

また、選択肢の一覧を表示するということは、ＭＲの体験者であるユーザの視界を一覧で塞いでしまうこととなる。選択肢となるデータが一覧上に増えるほど、視界が塞がれる範囲が広くなれば、ＭＲの快適な体験を妨げてしまうこととなる。 In addition, displaying a list of options blocks the view of the user who has experienced MR. As the number of data to be selected increases on the list, the wider the range where the field of view is blocked, the more comfortable the MR experience becomes.

本発明は、過去の視点位置にかかる情報を適切に表示することが可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of appropriately displaying information related to past viewpoint positions .

建物における区画の位置を記憶する記憶部から情報を読み出し可能な情報処理装置であって、
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示する表示制御手段と、
前記表示制御手段により表示された前記複数の過去の視点位置と当該視点位置において表示された画像の少なくとも一方の選択を受け付ける選択受付手段と、
を備えることを特徴とする。
An information processing device capable of reading information from a storage unit that stores the positions of sections in a building,
display control means for displaying a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
selection receiving means for receiving selection of at least one of the plurality of past viewpoint positions displayed by the display control means and an image displayed at the viewpoint position;
characterized by comprising

本発明によれば、過去の視点位置にかかる情報を適切に表示することが可能となる。 According to the present invention, it is possible to appropriately display information related to past viewpoint positions .

本発明の実施形態における、情報処理システム構成図の一例を示す図である。It is a figure showing an example of an information processing system block diagram in an embodiment of the present invention. 本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of various apparatuses in embodiment of this invention. 本発明の実施形態における、各種装置の機能構成の一例を示す図である。It is a figure showing an example of functional composition of various devices in an embodiment of the present invention. 本発明の実施形態における、各種装置のモジュール構成の一例を示す処理図である。4 is a processing diagram showing an example of the module configuration of various devices in the embodiment of the present invention; FIG. 本発明の実施形態における、複合現実画像の生成及び表示処理の一例を示す処理図である。FIG. 4 is a processing diagram showing an example of mixed reality image generation and display processing in the embodiment of the present invention. 本発明の実施形態における、各種データ構成の一例を示す図である。It is a figure which shows an example of various data structures in embodiment of this invention. 本発明の実施形態における、現実空間及び仮想空間におけるカメラの様子と、ＭＲ画像の一例を示す図である。FIG. 4 is a diagram showing an example of how a camera looks in a real space and a virtual space and an MR image in the embodiment of the present invention; 本発明の実施形態における、ＨＭＤの方向、角度の例を示す図である。FIG. 4 is a diagram showing an example of the direction and angle of the HMD in the embodiment of the present invention; 本発明の実施形態における、撮影画像の記録処理の流れを示すフローチャートである。4 is a flowchart showing the flow of processing for recording a captured image in the embodiment of the present invention; 本発明の実施形態における、処理の概要を示すフローチャートである。4 is a flowchart showing an outline of processing in the embodiment of the present invention; 本発明の実施形態における、共有画像の表示処理の詳細を示すフローチャートである。4 is a flowchart showing details of display processing of a shared image in the embodiment of the present invention; 本発明の実施形態における、視点位置の移動処理の詳細を示すフローチャートである。4 is a flowchart showing details of viewpoint position movement processing according to the embodiment of the present invention. 本発明の実施形態における、各種データ構成の一例を示す図である。It is a figure which shows an example of various data structures in embodiment of this invention. 本発明の実施形態における、視点移動の様子とＭＲ画像の一例を示す図である。FIG. 4 is a diagram showing an example of how the viewpoint is moved and an MR image in the embodiment of the present invention; 本発明の実施形態における、共有画像の表示の一例を示す図である。FIG. 4 is a diagram showing an example of display of a shared image in the embodiment of the present invention; FIG. 本発明の実施形態における、共有画像の表示の一例を示す図である。FIG. 4 is a diagram showing an example of display of a shared image in the embodiment of the present invention; FIG.

図１を参照して、本発明の実施形態における情報処理システムの構成の一例について説明する。 An example of the configuration of an information processing system according to an embodiment of the present invention will be described with reference to FIG.

図１に示すように、本発明における情報処理システムの各種装置はネットワーク１５０を介して通信可能に接続されている。例えばＰＣ１００は、ＨＭＤ１０１（ＨＭＤ１０１Ａ～ＨＭＤ１０１Ｃの総称）と通信可能に接続されている。ＨＭＤ１０１は、頭部装着型のディスプレイ（ヘッドマウントディスプレイ）である。 As shown in FIG. 1, various devices of the information processing system of the present invention are communicably connected via a network 150 . For example, the PC 100 is communicably connected to the HMD 101 (general term for HMD 101A to HMD 101C). The HMD 101 is a head mounted display (head mounted display).

ＰＣ１００には、ＨＭＤ１０１により撮影される現実画像に重畳する３次元モデル（ＣＧモデル／仮想オブジェクト／仮想物体）が記憶されている。 The PC 100 stores a three-dimensional model (CG model/virtual object/virtual object) superimposed on the real image captured by the HMD 101 .

また、ＰＣ１００は、自機の管理するＨＭＤ１０１（図１におけるＨＭＤ１０１Ａ～１０１Ｃ）より現実画像を取得して、記憶部に記憶する。また、ＰＣ１００はＨＭＤ１０１の位置姿勢を特定し、記憶する。ＨＭＤ１０１の位置姿勢の特定方法は、特許文献１に記載されている、ＨＭＤ１０１の撮影した現実画像中の二次元マーカを用いて特定可能である。また、特許文献２に記載されている、センサ（図１における光学センサ１０４）がＨＭＤ１０１に設置された光学式マーカの位置姿勢をＨＭＤ１０１の位置姿勢として検出し、それをＰＣ１００が取得することで特定可能である。本実施形態においては、特許文献２に記載の方法用いてＨＭＤ１０１の位置姿勢を特定するものとする。 Also, the PC 100 acquires a real image from the HMD 101 (HMD 101A to 101C in FIG. 1) managed by itself and stores it in the storage unit. Also, the PC 100 identifies and stores the position and orientation of the HMD 101 . A method for specifying the position and orientation of the HMD 101 can be specified using a two-dimensional marker in a real image captured by the HMD 101, which is described in Japanese Unexamined Patent Application Publication No. 2002-100003. Further, a sensor (optical sensor 104 in FIG. 1) described in Patent Document 2 detects the position and orientation of an optical marker installed on the HMD 101 as the position and orientation of the HMD 101, and the PC 100 obtains the position and orientation to specify It is possible. In this embodiment, it is assumed that the position and orientation of the HMD 101 are specified using the method described in Patent Document 2. FIG.

ＰＣ１００では、ＨＭＤ１０１の位置姿勢と、記憶部に記憶されている３次元モデル及び３次元モデルの位置姿勢の情報を用いて、現実画像に３次元モデルを重畳した複合現実画像を生成する。そして、当該複合現実画像をＨＭＤ１０１のディスプレイに表示させるべく、ＨＭＤ１０１に送信する。ＨＭＤ１０１は受信した複合現実画像をディスプレイに表示する。以上が図１の説明である。 The PC 100 uses the position and orientation of the HMD 101, the three-dimensional model stored in the storage unit, and the position and orientation information of the three-dimensional model to generate a mixed reality image in which the three-dimensional model is superimposed on the real image. Then, the mixed reality image is transmitted to the HMD 101 so as to be displayed on the display of the HMD 101 . The HMD 101 displays the received mixed reality image on the display. The above is the description of FIG.

次に図２を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。 Next, with reference to FIG. 2, an example of hardware configuration of various devices in the embodiment of the present invention will be described.

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。 The CPU 201 comprehensively controls each device and controller connected to the system bus 204 .

また、ＲＯＭ２０２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。 In addition, the ROM 202 stores a BIOS (Basic Input/Output System), which is a control program for the CPU 201, an operating system (OS), and various other programs necessary for realizing functions executed by various devices.

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。 A RAM 203 functions as a main memory, a work area, and the like for the CPU 201 . The CPU 201 implements various operations by loading programs and the like necessary for execution of processing into the RAM 203 and executing the programs.

本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２０９）からの入力を制御する。 Various programs and the like used by the PC 100 of the present invention to execute various processes to be described later are recorded in the external memory 211, and are executed by the CPU 201 by being loaded into the RAM 203 as necessary. Furthermore, the definition files and various information tables used by the program according to the present invention are stored in the external memory 211 .
An input controller (input C) 205 controls input from a pointing device (input device 209) such as a keyboard or mouse.

また、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。なお、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよいこととする。 If the input device 209 is a touch panel, the user can give various instructions by pressing (touching with a finger or the like) an icon, cursor, or button displayed on the touch panel. Note that the touch panel may be a touch panel, such as a multi-touch screen, capable of detecting positions touched by a plurality of fingers.

ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０１が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。また、入力コントローラ（入力Ｃ）２０５は、ＰＣ１００の備えるディスプレイ２１０（ＣＲＴディスプレイ等）の表示器への表示を制御する。なお、図２では、表示器はＣＲＴディスプレイだけでなく、液晶ディスプレイ等の他の表示器であってもよい。 A video controller (VC) 206 controls display on a display device such as a right-eye/left-eye display 222 provided in the HMD 101 . Output to the right-eye/left-eye display 222 is performed using, for example, an external output terminal (for example, Digital Visual Interface). The right-eye/left-eye display 222 is composed of a right-eye display and a left-eye display. An input controller (input C) 205 controls display on a display 210 (such as a CRT display) provided in the PC 100 . In addition, in FIG. 2, the display may be not only a CRT display but also other display such as a liquid crystal display.

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。 A memory controller (MC) 207 is an adapter for a hard disk (HD) or flexible disk (FD) or a PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, edit files, various data, and the like. It controls access to an external memory 211 such as a card-type memory connected via .

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学センサ１０４との通信も制御する。 A communication I/F controller (communication I/FC) 208 connects and communicates with an external device via a network, and executes communication control processing in the network. For example, Internet communication using TCP/IP is possible. The communication I/F controller 208 also controls communication with the optical sensor 104 through Gigabit Ethernet (registered trademark) or the like.

汎用バス２１２は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。 A general-purpose bus 212 is used to capture images from the right-eye/left-eye video cameras 221 of the HMD 101 . Input from the right-eye/left-eye video camera 221 is performed using an external input terminal (for example, an IEEE1394 terminal). The right-eye/left-eye video camera 221 is composed of a right-eye video camera and a left-eye video camera.

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図２の説明である。 Note that the CPU 201 enables display on the display by, for example, rasterizing an outline font to a display information area in the RAM 203 . The CPU 201 also allows the user to issue instructions using a mouse cursor (not shown) on the display. The above is the description of FIG.

次に図３を参照して、本発明の実施形態における各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of functional configurations of various devices according to the embodiment of the present invention will be described.

撮影画像送信部３０１は、カメラで撮影した撮影画像（現実画像）をＰＣ１００に送信する。 A captured image transmission unit 301 transmits a captured image (real image) captured by a camera to the PC 100 .

撮影画像受信部３１１は、撮影画像を受信して随時ＲＡＭ上に記憶する。位置姿勢記憶部３１２は、光学センサにより取得したＨＭＤ１０１の位置姿勢を記憶する。 The captured image receiving unit 311 receives captured images and stores them in the RAM as needed. A position and orientation storage unit 312 stores the position and orientation of the HMD 101 acquired by the optical sensor.

ＭＲ画像生成部３１３は、現実に仮想物体の画像を重畳した重畳画像であるＭＲ画像を生成する。ＭＲ画像送信部３１４は、生成したＭＲ画像をＨＭＤ１０１において表示させるべく出力する。 The MR image generator 313 generates an MR image, which is a superimposed image obtained by superimposing the image of the virtual object in reality. The MR image transmission unit 314 outputs the generated MR image so as to be displayed on the HMD 101 .

共有画像記憶部３１５は、ＨＭＤ１０１に設置されている不図示のレリーズボタンの押下を受け付けることにより、ＨＭＤ１０１で表示中のＭＲ画像を、レリーズボタン押下時のＨＭＤ１０１の位置姿勢と対応付けて外部メモリに記憶する。レリーズボタンの押下＝表示中のＭＲ画像の撮影及び保存指示である。 The shared image storage unit 315 stores the MR image being displayed on the HMD 101 in the external memory in association with the position and orientation of the HMD 101 when the release button is pressed by accepting the press of a release button (not shown) provided on the HMD 101 . Remember. Depression of the release button=instruction to capture and store the MR image being displayed.

判定部３１６は、ＨＭＤ１０１にかかる属性と、共有画像の属性とが一致するか判定する。例えば、ＨＭＤ１０１のいる部屋と、共有画像が撮影された部屋とが同じか判定する。 The determination unit 316 determines whether the attribute of the HMD 101 matches the attribute of the shared image. For example, it is determined whether the room in which the HMD 101 is located is the same as the room in which the shared image was captured.

決定部３１７は、判定部３１６の判定結果に応じて、各共有画像の表示方法を決定する。例えば、複数ある共有画像のうち、ＨＭＤ１０１のいる部屋と同じ部屋の共有画像を部屋に配置する仮想オブジェクトとして表示する画像として決定し、ＨＭＤ１０１のいる部屋と異なる部屋の共有画像をＨＭＤ１０１に一覧表示する画像として決定する。 A determination unit 317 determines a display method for each shared image according to the determination result of the determination unit 316 . For example, among a plurality of shared images, a shared image in the same room as the room where the HMD 101 is located is determined as an image to be displayed as a virtual object arranged in the room, and a list of shared images in a room different from the room where the HMD 101 is located is displayed on the HMD 101. Determined as an image.

表示制御部３１８は、ＨＭＤ１０１のいる部屋と同じ部屋の共有画像を仮想オブジェクトとして表示するべく、仮想オブジェクトを作成して位置決定し、対象の共有画像を当該仮想オブジェクトに貼り付けてＭＲ画像を生成する。また、ＨＭＤ１０１のいる部屋と別の部屋の共有画像を表示する一覧表示部の画像を生成して一覧表示部における対象の共有画像の位置を決定する。そして、これらのＭＲ画像及び一覧表示部をＨＭＤ１０１に送信して表示指示し、ＨＭＤ１０１に表示させる。 The display control unit 318 creates a virtual object to display the shared image of the same room as the HMD 101 as a virtual object, determines the position, pastes the target shared image on the virtual object, and generates an MR image. do. Also, an image of a list display portion displaying shared images of the room in which the HMD 101 is present and another room is generated, and the position of the target shared image in the list display portion is determined. Then, these MR images and the list display portion are transmitted to the HMD 101 and instructed to be displayed on the HMD 101 .

共有画像一覧表示部３０２は、共有画像記憶部３１５に記憶されているＭＲ画像の一覧を選択可能に表示する。 The shared image list display unit 302 displays a list of MR images stored in the shared image storage unit 315 in a selectable manner.

ＭＲ画像送信部３１４は、視点移動後のＭＲ画像を生成してＨＭＤ１０１に送信する。 The MR image transmission unit 314 generates an MR image after the viewpoint has been moved, and transmits the generated MR image to the HMD 101 .

ＭＲ画像受信部３０３は、当該ＭＲ画像を受信し、表示部３０４は当該ＭＲ画像を表示する。 The MR image receiving unit 303 receives the MR image, and the display unit 304 displays the MR image.

なお、本実施形態においては、３１１～３１８の各機能部の備える機能をＰＣ１００が備えているが、例えばこれらの構成をＨＭＤ１０１が備えるよう構成してもよいものとする。以上が図３の説明である。 In this embodiment, the PC 100 has the functions of the functional units 311 to 318, but the HMD 101 may be configured to have these configurations. The above is the description of FIG.

次に図４を参照して、本発明の実施形態における、各種装置のモジュール構成の一例について説明する。 Next, with reference to FIG. 4, an example of the module configuration of various devices in the embodiment of the present invention will be described.

ＰＣ１００は、オペレーティングシステム４０１（ＯＳ）、グラフィックエンジン４０２、複合現実感プラットフォーム４０３（ＭＲプラットフォームともいう）、複合現実感アプリケーション４０４（ＭＲアプリケーションやビューアアプリケーションともいう）で構成され、ＣＰＵ２０１により制御されている。 The PC 100 includes an operating system 401 (OS), a graphic engine 402, a mixed reality platform 403 (also called MR platform), and a mixed reality application 404 (also called MR application or viewer application), and is controlled by a CPU 201. .

オペレーティングシステム４０１は、ＨＭＤ１０１の入出力を制御しカメラ２２１から入力インターフェースを介して得られた現実画像を複合現実感プラットフォーム４０３へ受け渡す。またグラフィックエンジン４０２で描画された複合現実画像を、出力インターフェースを介して、ディスプレイ２２２へ出力する。 The operating system 401 controls input/output of the HMD 101 and transfers a real image obtained from the camera 221 through the input interface to the mixed reality platform 403 . Also, the mixed reality image drawn by the graphic engine 402 is output to the display 222 via the output interface.

グラフィックエンジン４０２は、外部メモリ２１１に記憶されている３次元モデルから描画する画像を生成し、現実画像に重畳し、合成する。描画に利用するエンジンは、例えば、ＯｐｅｎＧＬやＤｉｒｅｃｔＸなどの広く利用されているグラフィックエンジンでも、独自に開発したグラフィックエンジンでもよい。なお、本実施形態ではグラフィックライブラリとしてＯｐｅｎＧＬを利用するものとする。 The graphic engine 402 generates an image to be drawn from the three-dimensional model stored in the external memory 211, superimposes it on the real image, and synthesizes it. The engine used for drawing may be, for example, a widely used graphic engine such as OpenGL or DirectX, or a uniquely developed graphic engine. Note that OpenGL is used as a graphic library in this embodiment.

複合現実感プラットフォーム４０３は、光学センサ１０４からＨＭＤに付与された複数の光マーカの位置姿勢を受信することでＨＭＤ１０１の位置姿勢を特定し、現実空間と仮想空間の位置合わせを行う。 The mixed reality platform 403 identifies the position and orientation of the HMD 101 by receiving the positions and orientations of the plurality of optical markers given to the HMD from the optical sensor 104, and aligns the physical space and the virtual space.

なお、位置姿勢や位置合わせの技術は、既知の技術として開示されている、特開２００２－３２７８４、特開２００６－０７２９０３、特開２００７－１６６４２７等を用いて実現することが可能である。 It should be noted that the position/orientation and alignment techniques can be realized using known techniques such as JP-A-2002-32784, JP-A-2006-072903, and JP-A-2007-166427.

なお、二次元マーカを使用せずに、ＨＭＤ１０１に位置センサを備え、この位置センサを用いて三角測量により計測された位置をもとに、ＨＭＤ１０１の位置や姿勢を特定して実現することも可能である。 Instead of using a two-dimensional marker, it is also possible to equip the HMD 101 with a position sensor and specify the position and orientation of the HMD 101 based on the position measured by triangulation using this position sensor. is.

複合現実感アプリケーション４０４は、複合現実感プラットフォーム４０３からＨＭＤ１０１の位置姿勢、３次元モデルの形状の情報、位置姿勢の情報を受け付け、グラフィックエンジン４０２に対して、３次元モデルの描画命令を発行する。この時、ＯｐｅｎＧＬのＡＰＩを用いて、描画する３次元モデルの識別情報、位置姿勢の情報を設定した命令を発行する。以上が図４の説明である。 The mixed reality application 404 receives the position and orientation of the HMD 101 from the mixed reality platform 403 , information on the shape of the three-dimensional model, and information on the position and orientation, and issues a three-dimensional model drawing command to the graphic engine 402 . At this time, an OpenGL API is used to issue a command in which identification information and position/orientation information of the three-dimensional model to be drawn are set. The above is the description of FIG.

次に図５を参照して、本発明の実施形態における複合現実画像の生成及び表示処理について説明する。 Next, generation and display processing of a mixed reality image according to the embodiment of the present invention will be described with reference to FIG.

ＨＭＤ１０１は、不図示のユーザ操作を受け付けることにより、ステップＳ５０１で複合現実アプリケーション起動し、カメラ２２１の機能を用いて現実画像の撮影を開始する（ステップＳ５０２）。そして、撮影処理によって取得した現実画像をＰＣ１００に送信する（ステップＳ５０３）。 By receiving a user operation (not shown), the HMD 101 activates the mixed reality application in step S501 and starts capturing a real image using the function of the camera 221 (step S502). Then, the real image acquired by the photographing process is transmitted to the PC 100 (step S503).

当該複合現実アプリケーションの起動及び撮影開始は、例えばＰＣ１００におけるユーザ操作を受け付けることによっても実行可能である。 Activation of the mixed reality application and start of shooting can also be executed by accepting a user operation on the PC 100, for example.

ＰＣ１００のＣＰＵ２０１はＨＭＤ１０１より現実画像を受信し（ステップＳ５０４）、受信した現実画像を外部メモリ２１１に記憶する（ステップＳ５０５）。例えば、図６の現実画像テーブル６３０に示すように、現実画像の送信元のＨＭＤ１０１の識別情報であるＨＭＤ ＩＤ６３１と、現実画像６３２とを対応付けて記憶する。 CPU 201 of PC 100 receives the physical image from HMD 101 (step S504), and stores the received physical image in external memory 211 (step S505). For example, as shown in a physical image table 630 in FIG. 6, an HMD ID 631, which is identification information of the HMD 101 that transmitted the physical image, and a physical image 632 are stored in association with each other.

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置姿勢を取得して（ステップＳ５０６）、外部メモリ２１１に記憶する（ステップＳ５０７）。例えば、図６のＨＭＤ情報６１０に示すように、ＨＭＤ１０１の識別情報であるＨＭＤ ＩＤ６１１と、当該ＨＭＤの位置６１２（Ｘ，Ｙ，Ｚ座標）、姿勢（方向６１３及び角度６１４）を記憶する。 The CPU 201 of the PC 100 acquires the position and orientation of the HMD 101 (step S506), and stores them in the external memory 211 (step S507). For example, as shown in HMD information 610 in FIG. 6, HMD ID 611 that is identification information of HMD 101, position 612 (X, Y, Z coordinates) and orientation (direction 613 and angle 614) of the HMD are stored.

方向６１３及び角度６１４の例を図８に示す。方向６１３は、ＨＭＤ１０１の視線方向である。方向６１３は、図８の８００に示すように、３次元空間のＸＹＺ方向の軸に基づく球８０１上の、視線方向と交差する点のＸＹＺ座標によって示される。 Examples of directions 613 and angles 614 are shown in FIG. A direction 613 is the viewing direction of the HMD 101 . The direction 613 is indicated by the XYZ coordinates of the point that intersects the viewing direction on a sphere 801 based on the XYZ axes of the three-dimensional space, as indicated by 800 in FIG.

角度６１４は、図８の８１０に示すような、ＨＭＤ１０１の左右の傾きの角度である。ＨＭＤ１０１が床面と平行な状態を角度６１４＝０度とする。ＨＭＤ１０１を装着した状態で頭部を左に傾けると＋ｎ度となり、ＨＭＤ１０１を装着した状態で頭部を右に傾けると－ｎ度となる。 An angle 614 is an angle of horizontal tilt of the HMD 101 as indicated by 810 in FIG. A state in which the HMD 101 is parallel to the floor is assumed to be an angle 614=0 degrees. If the head is tilted to the left while wearing the HMD 101, it will be +n degrees, and if the head is tilted to the right while the HMD 101 is worn, it will be -n degrees.

また、ステップＳ５０７において、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の属する（位置する）フロア（階）とルーム（部屋）の識別情報（ＩＤ）を特定して、フロア６１５、ルーム６１６にそれぞれ記憶する。フロア６１５、ルーム６１６はＨＭＤ１０１を装着したユーザの体験状況の属性情報である。 In step S507, the CPU 201 of the PC 100 identifies the floor (where the HMD 101 is located) and the identification information (ID) of the room (room), and stores them in the floor 615 and the room 616, respectively. A floor 615 and a room 616 are attribute information of experience status of the user wearing the HMD 101 .

なお、フロア及びルーム自体の位置の情報は、例えば図６の６６０に示す形式でＰＣ１００の外部メモリ２１１に予め記憶されている。フロア６６１はフロアのＩＤである。ルーム６６２はフロア６６１に属する（位置する）部屋のＩＤである。 Information on the positions of the floors and rooms themselves is stored in advance in the external memory 211 of the PC 100 in the format indicated by 660 in FIG. 6, for example. Floor 661 is the ID of the floor. A room 662 is an ID of a room belonging to (located) on the floor 661 .

位置６６３は、ルーム６６２の示すルームの頂点位置を複数記憶している。当該頂点を、当該頂点が記憶されている順につなぐことでルームの形状（外枠）が特定可能である。つまり、位置６６３は、ルームの位置及び形状の情報である。当該形状（外枠）によって特定される、当該ルーム形状の内側の位置＝ルームの中である。 The position 663 stores a plurality of vertex positions of the room indicated by the room 662 . By connecting the vertices in the order in which the vertices are stored, the shape (outer frame) of the room can be specified. That is, the position 663 is information on the position and shape of the room. The position inside the room shape specified by the shape (outer frame) = inside the room.

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置（Ｘ，Ｙ，Ｚ座標）とルームの位置（Ｘ，Ｙ，Ｚ座標）を用いて、ＨＭＤ１０１が現在どのルームの中にあるかを特定し、特定されたＨＭＤ１０１が位置するルーム及びそのルームのフロアのＩＤをフロア６１５、ルーム６１６にそれぞれ記憶するものである。 The CPU 201 of the PC 100 uses the position (X, Y, Z coordinates) of the HMD 101 and the position (X, Y, Z coordinates) of the room to identify in which room the HMD 101 is currently located. is stored in the floor 615 and the room 616 respectively.

ＰＣ１００のＣＰＵ２０１は、外部メモリ２１１から仮想物体（ここでは３Ｄモデル）の情報を取得し、ＨＭＤ１０１から受信した現実画像に重畳して複合現実画像を生成して（ステップＳ５０８）、ＨＭＤ１０１に送信する（ステップＳ５０９）。 The CPU 201 of the PC 100 acquires information on the virtual object (3D model in this case) from the external memory 211, superimposes it on the real image received from the HMD 101 to generate a mixed reality image (step S508), and transmits it to the HMD 101 ( step S509).

３Ｄモデルの情報は、例えば図６のモデル情報６２０に示す情報である（仮想オブジェクト記憶手段に該当）。モデル情報６２０は、予めＰＣ１００の外部メモリ２１１に記憶されている情報である。モデルＩＤ６２１は３Ｄモデルの識別情報である。 The 3D model information is, for example, the information shown in the model information 620 in FIG. 6 (corresponding to virtual object storage means). The model information 620 is information stored in advance in the external memory 211 of the PC 100 . A model ID 621 is identification information of the 3D model.

モデル名６２２は、３Ｄモデルのファイル名である。ファイルパス６２３は、ファイルが記憶されている場所を示す。位置６２４、姿勢（方向６２５、角度６２６）は、３Ｄモデルの位置姿勢を示す。 The model name 622 is the file name of the 3D model. File path 623 indicates where the file is stored. Position 624 and orientation (direction 625 and angle 626) indicate the position and orientation of the 3D model.

ＰＣ１００のＣＰＵ２０１は、ＨＭＤの現在の位置姿勢から、ＨＭＤ１０１と同じ画角を持つカメラが、モデル情報６２０の位置姿勢の３Ｄモデルを撮影した場合の、当該３Ｄモデルの画像を描画データ６４０として生成する。一例として、レンダリング済みのモデル画像とする。 Based on the current position and orientation of the HMD, the CPU 201 of the PC 100 generates an image of the 3D model in the position and orientation of the model information 620 as drawing data 640 when a camera having the same angle of view as the HMD 101 captures the 3D model. . As an example, assume a rendered model image.

そして、当該描画データを現実画像と合成することで、図６のＭＲ画像テーブル６５０に示すＭＲ画像（複合現実画像）を生成する。ＭＲ画像は、現実に仮想物体の画像を重畳した重畳画像である。 By synthesizing the drawing data with a real image, an MR image (mixed reality image) shown in the MR image table 650 of FIG. 6 is generated. An MR image is a superimposed image obtained by superimposing an image of an actual virtual object.

図７に現実空間及び仮想空間におけるカメラの様子と、ＭＲ画像の一例を示す。図７において、７００は現実空間、７１０は仮想空間、７２０は現実空間と仮想空間を複合した複合現実空間（ＭＲ空間）である。 FIG. 7 shows an example of the state of the camera in the real space and the virtual space and an MR image. In FIG. 7, 700 is a real space, 710 is a virtual space, and 720 is a mixed reality space (MR space) combining the real space and the virtual space.

現実空間７００と仮想空間７１０は、例えば同じ大きさの空間であり、７０３を原点として位置合わせがされている。つまり、現実空間における位置（ＸＹＺ座標）及び姿勢と、仮想空間における位置姿勢は同じである。 The physical space 700 and the virtual space 710 are, for example, spaces of the same size, and are aligned with 703 as the origin. That is, the position (XYZ coordinates) and orientation in the real space are the same as the position and orientation in the virtual space.

現実空間７００においてＨＭＤ１０１の位置姿勢が光学センサ１０４によって特定される。７０２は現実物体であり、７００においてはＨＭＤ１０１のカメラ装置によって現実物体７０２の一部が撮影されている。撮影された現実画像（図６の６３２）の一例を７０１に示す。 The optical sensor 104 identifies the position and orientation of the HMD 101 in the physical space 700 . Reference numeral 702 denotes a physical object, and in 700 a part of the physical object 702 is captured by the camera device of the HMD 101 . An example of a captured real image (632 in FIG. 6) is shown at 701. FIG.

仮想空間７１０において、仮想カメラ７１３は、ＨＭＤ１０１の現実空間上の位置姿勢と同じ仮想空間上の位置姿勢で、仮想空間上に仮想的に配置される。仮想カメラはＨＭＤ１０１ごとに対応づけられて存在する。 In the virtual space 710 , the virtual camera 713 is virtually arranged in the virtual space with the same position and orientation in the virtual space as the position and orientation in the real space of the HMD 101 . A virtual camera exists in association with each HMD 101 .

ＨＭＤ１０１のカメラ装置と仮想カメラ７１３の画角は同じである。ＰＣ１００のＣＰＵ２０１は、仮想カメラ７１３の位置姿勢を、ＨＭＤ１０１の現実空間上の位置姿勢に連動させて変更する。 The angle of view of the camera device of the HMD 101 and the virtual camera 713 are the same. The CPU 201 of the PC 100 changes the position and orientation of the virtual camera 713 in conjunction with the position and orientation of the HMD 101 on the physical space.

仮想カメラ７１３は、仮想空間７１０の画像（動画）を撮影している。例えば仮想空間７１０には仮想物体７１２が配置されており、ＨＭＤ１０１と同じ位置姿勢の仮想カメラ７１３は、仮想物体７１２を撮影している。７１１は仮想カメラ７１３が仮想空間７１０を撮影した仮想画像であり、７１１における７１２は、描画データ６４０の一例である。 A virtual camera 713 captures an image (moving image) of the virtual space 710 . For example, a virtual object 712 is placed in a virtual space 710 , and a virtual camera 713 having the same position and orientation as the HMD 101 captures the virtual object 712 . 711 is a virtual image of the virtual space 710 captured by the virtual camera 713 , and 712 in 711 is an example of the drawing data 640 .

ＰＣ１００のＣＰＵ２０１は、現実画像７０１と仮想画像７１１（仮想画像７１１の中の描画データ）を重畳して、ＭＲ画像７２１（複合現実画像）を生成する。 The CPU 201 of the PC 100 superimposes the real image 701 and the virtual image 711 (drawing data in the virtual image 711) to generate the MR image 721 (mixed reality image).

また、ＭＲ画像テーブル６５０の、ＭＲ画像を生成するために用いた現実画像の送信元のＨＭＤ（ＨＭＤ ＩＤ６５１）と対応付けて記憶する。その後、ＨＭＤ ＩＤ６５１の示すＨＭＤ１０１に、複合現実画像６５２を送信する（ステップＳ５０９）。 Also, it is stored in the MR image table 650 in association with the HMD (HMD ID 651) of the transmission source of the real image used for generating the MR image. After that, the mixed reality image 652 is transmitted to the HMD 101 indicated by the HMD ID 651 (step S509).

ＨＭＤ１０１は、ＰＣ１００から複合現実画像を受信し（ステップＳ５１０）、表示画面に表示する（ステップＳ５１１）。ＨＭＤ１０１及びＰＣ１００は、複合現実アプリケーションの終了指示を受け付けるまで、ステップＳ５０２～Ｓ５１１の処理を繰り返し実行する。以上が図５の説明である。 The HMD 101 receives the mixed reality image from the PC 100 (step S510) and displays it on the display screen (step S511). The HMD 101 and PC 100 repeatedly execute the processes of steps S502 to S511 until receiving an instruction to end the mixed reality application. The above is the description of FIG.

次に図９を参照して、本発明の実施形態における、撮影画像の記録処理の流れについて説明する。ここでいう撮影画像の記録処理とは、撮影指示を受け付けた時点のＨＭＤ１０１の位置姿勢と撮影画像を記憶する処理である。 Next, with reference to FIG. 9, the flow of processing for recording a captured image in the embodiment of the present invention will be described. The captured image recording process referred to here is a process of storing the position and orientation of the HMD 101 and the captured image at the time of receiving the image capturing instruction.

ステップＳ９０１では、ＰＣ１００のＣＰＵ２０１は指示を受け付け、受け付けた指示がＨＭＤ１０１に表示中のＭＲ画像の撮影・保存指示か判定する。 In step S<b>901 , the CPU 201 of the PC 100 receives an instruction and determines whether the received instruction is an instruction to capture/save the MR image being displayed on the HMD 101 .

例えば、ＨＭＤ１０１に設置された不図示のレリーズボタンの押下を受け付けた旨の情報をＨＭＤ１０１から受け付け、ＰＣ１００が当該レリーズボタンの押下を検知した場合に、ＨＭＤ１０１に表示中の画像の保存指示を受け付けたと判定する。ここでいう表示中の画像とはサーバ２００によって生成されたＭＲ画像である。 For example, when the HMD 101 receives from the HMD 101 information indicating that a release button (not shown) pressed on the HMD 101 has been pressed, and the PC 100 detects that the release button has been pressed, an instruction to save the image being displayed on the HMD 101 is received. judge. The image being displayed here is the MR image generated by the server 200 .

ここでは、画像の保存の操作（レリーズボタンの押下）を受け付けたのはＨＭＤ１０１Ａであるものとする。 Here, it is assumed that the HMD 101A has received an image save operation (pressing of the release button).

画像の保存指示を受け付けた場合、ＰＣ１００のＣＰＵ２０１は、ステップＳ９０２で保存指示がされた時点でＨＭＤ１０１に表示していた画像を、保存指示がされた時点のＨＭＤ１０１の位置姿勢と対応付けて記憶する。 When an image save instruction is received, the CPU 201 of the PC 100 stores the image displayed on the HMD 101 when the save instruction is given in step S902 in association with the position and orientation of the HMD 101 when the save instruction is given. .

保存指示された画像は、共有画像情報１３００に記憶されることで他のＨＭＤ１０１からも参照可能となる。つまり、複数のＨＭＤ１０１によって共有される共有画像として記憶される（撮影画像記憶手段に該当）。 The image instructed to be stored is stored in the shared image information 1300 so that other HMDs 101 can refer to the image. That is, it is stored as a shared image shared by a plurality of HMDs 101 (corresponding to captured image storage means).

例えば、図１３の共有画像情報１３００に撮影した画像の情報を記憶する。画像ＩＤ１３０１には、ステップＳ９０２で画像の保存指示がされた時点でＨＭＤ１０１に表示していたＭＲ画像を記憶する。撮影者１３０２には、画像の保存指示がされた、画像ＩＤ１３０１の画像を表示していたＨＭＤのＩＤを記憶する。また、画像の撮影日時を、撮影日時１３０６に記憶する。 For example, the information of the photographed image is stored in the shared image information 1300 of FIG. The image ID 1301 stores the MR image displayed on the HMD 101 when the image storage instruction is given in step S902. For the photographer 1302, the ID of the HMD displaying the image of the image ID 1301 for which the image storage instruction has been issued is stored. Also, the shooting date and time of the image is stored in the shooting date and time 1306 .

ステップＳ９０３で、ＰＣ１００のＣＰＵ２０１は、当該画像と対応付けて、ＨＭＤ１０１の画像撮影当初の位置姿勢を、共有画像情報１３００の１３０３～１３０５に記憶する。 In step S903, the CPU 201 of the PC 100 stores the position and orientation of the HMD 101 at the time of image capturing in 1303 to 1305 of the shared image information 1300 in association with the image.

位置１３０３には、画像の保存指示がされた時点の、撮影者１３０２の示すＨＭＤ１０１の位置を記憶する。 The position 1303 stores the position of the HMD 101 indicated by the photographer 1302 at the time when the image storage instruction is issued.

方向１３０４、角度１３０５には、画像の保存指示がされた時点の、撮影者１３０２の示すＨＭＤ１０１の向いている方向と、角度を記憶する。 A direction 1304 and an angle 1305 store the direction and angle of the HMD 101 indicated by the photographer 1302 at the time when the image storage instruction is issued.

また、ステップ９０４で、ＰＣ１００のＣＰＵ２０１は、画像の保存指示がされた時点の、ＨＭＤ１０１の位置するフロアと部屋の識別情報（ＩＤ）を、フロア１３０７、ルーム１３０８に記憶する。以上が図８の説明である。 In step 904 , CPU 201 of PC 100 stores in floor 1307 and room 1308 identification information (ID) of the floor and room where HMD 101 is located at the time when the image storage instruction is issued. The above is the description of FIG.

次に図１０を参照して、本発明の実施形態における処理の概要について説明する。 Next, with reference to FIG. 10, an outline of processing in the embodiment of the present invention will be described.

ステップＳ１００１で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１に共有画像を表示する表示処理を行う。当該表示所為の詳細については図１１の説明で後述する。 In step S<b>1001 , the CPU 201 of the PC 100 performs display processing for displaying the shared image on the HMD 101 . Details of the display behavior will be described later with reference to FIG. 11 .

ステップＳ１００２で、ＰＣ１００のＣＰＵ２０１は、ユーザ操作により共有画像の選択を受け付ける。 In step S1002, CPU 201 of PC 100 accepts selection of a shared image by user operation.

ＨＭＤ１０１に一覧表示されている共有画像の場合、例えばＨＭＤ１０１に設置されているボタンを複数回押下することで選択中の共有画像を切り替え、ボタンの長押しを受け付けることで共有画像の選択確定をする。また、仮想空間上の当該共有画像の撮影位置に配置され、ＨＭＤ１０１の位置姿勢に応じてＨＭＤ１０１に表示されている共有画像の場合、例えばＨＭＤ１０１の視線で選択を行う。具体的には、ＨＭＤ１０１の視線方向と交差する共有画像（共有画像が貼り付けられた仮想オブジェクト）を選択し、当該交差している状態が所定時間以上（例：５秒以上）継続した場合に選択確定する。 In the case of shared images displayed as a list on the HMD 101, for example, by pressing a button installed on the HMD 101 multiple times, the selected shared image is switched, and a long press of the button is accepted to confirm the selection of the shared image. . Further, in the case of a shared image that is arranged at the shooting position of the shared image in the virtual space and displayed on the HMD 101 according to the position and orientation of the HMD 101, the selection is made by the line of sight of the HMD 101, for example. Specifically, when a shared image (virtual object to which the shared image is pasted) that intersects the line-of-sight direction of the HMD 101 is selected, and the intersecting state continues for a predetermined time or longer (eg, 5 seconds or longer), Confirm the selection.

ここでは、当該共有画像の選択を行ったのはＨＭＤ１０１Ｂであるものとする。 Here, it is assumed that the HMD 101B selects the shared image.

共有画像の選択決定は、選択された共有画像の撮影位置への視点の移動指示である。 The decision to select a shared image is an instruction to move the viewpoint to the shooting position of the selected shared image.

ステップＳ１００３で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１００２で選択された位置に、ＨＭＤ１０１の仮想空間上の視点位置を移動する処理を行う。視点位置の移動処理の詳細は図１２の説明で後述する。以上が図１０の説明である。 In step S1003, the CPU 201 of the PC 100 performs processing for moving the viewpoint position of the HMD 101 in the virtual space to the position selected in step S1002. Details of the viewpoint position movement processing will be described later with reference to FIG. 12 . The above is the description of FIG.

次に図１１を参照して、本発明の実施形態における、共有画像の表示処理の詳細について説明する。 Next, with reference to FIG. 11, the details of the shared image display processing according to the embodiment of the present invention will be described.

共有画像の表示処理は、外部メモリに記憶されているＨＭＤ（ＨＭＤを装着したユーザ）の過去の位置を選択及び識別可能に表示する処理である。 The display process of the shared image is a process of selecting and displaying the past position of the HMD (the user wearing the HMD) stored in the external memory in an identifiable manner.

ステップＳ１１０１で、ＰＣ１００のＣＰＵ２０１は、共有画像の表示指示を受け付ける。例えば、ＨＭＤ１０１に設置された不図示のボタンの押下を受け付け、当該ボタンが押下された旨の情報をＨＭＤ１０１がＰＣ１００に送信し、ＰＣ１００がこれを検知することで共有画像の表示指示を受け付けるものとする。 In step S1101, CPU 201 of PC 100 accepts an instruction to display a shared image. For example, it is assumed that pressing of a button (not shown) installed on the HMD 101 is accepted, the HMD 101 transmits information indicating that the button has been pressed to the PC 100, and the PC 100 detects this and accepts the display instruction of the shared image. do.

ＰＣ１００のＣＰＵ２０１は、共有画像の表示指示を受け付けた場合にステップＳ１１０１の処理を行う。 The CPU 201 of the PC 100 performs the process of step S1101 when receiving the display instruction of the shared image.

ステップＳ１１０１で、ＰＣ１００のＣＰＵ２０１は、現在のＨＭＤ１０１のユーザの体験状況の属性を取得する。具体的には、ボタンが押下されたＨＭＤ１０１の現在のフロア６１５、ルーム６１６を取得する。 In step S<b>1101 , the CPU 201 of the PC 100 acquires attributes of the current experience situation of the user of the HMD 101 . Specifically, the current floor 615 and room 616 of the HMD 101 whose button was pressed are acquired.

ＰＣ１００のＣＰＵ２０１は、図１３の１３００に記憶された共有画像数分、ステップＳ１１０２～Ｓ１１０６の処理を繰り返す。つまり、全ての共有画像に対してステップＳ１１０２、Ｓ１１０３、Ｓ１１０４、Ｓ１１０５又はステップＳ１１０２、Ｓ１１０３、Ｓ１１０６の処理を適用する。 CPU 201 of PC 100 repeats the processing of steps S1102 to S1106 for the number of shared images stored in 1300 in FIG. That is, the processing of steps S1102, S1103, S1104 and S1105 or steps S1102, S1103 and S1106 is applied to all shared images.

ステップＳ１１０２で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１１０３以下の処理を未適用の（未処理の）共有画像を１３００から１つ取得し、処理中の画像としてＲＡＭ上に記憶する。 In step S1102, the CPU 201 of the PC 100 acquires one shared image to which the processing from step S1103 onward is not applied (unprocessed) from the 1300, and stores it on the RAM as an image being processed.

ステップＳ１１０３で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１１０２で取得した画像の属性と、ステップＳ１１０１で取得したＨＭＤ１０１の体験状況の属性とが一致するか判定する。ここでは、取得した共有画像とＨＭＤが同じルームに位置しているか判定するものとする。 In step S1103, the CPU 201 of the PC 100 determines whether the attribute of the image acquired in step S1102 matches the attribute of the experience situation of the HMD 101 acquired in step S1101. Here, it is determined whether the acquired shared image and the HMD are located in the same room.

ステップＳ１１０３で２つのデータの属性が一致している（共有画像とＨＭＤとが同じルームに位置している）と判定された場合、処理をステップＳ１１０４に移行する。ステップＳ１１０３で２つのデータの属性が一致していない（共有画像とＨＭＤとが同じルームに位置していない）と判定された場合、処理をステップＳ１１０６に移行する。 If it is determined in step S1103 that the attributes of the two data match (the shared image and the HMD are located in the same room), the process proceeds to step S1104. If it is determined in step S1103 that the attributes of the two data do not match (the shared image and the HMD are not located in the same room), the process proceeds to step S1106.

ステップＳ１１０４で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１と同じルームに位置すると判定された共有画像を、ＨＭＤ１０１の位置姿勢に応じてＨＭＤ１０１に表示する共有画像として決定し、ＲＡＭ上に記憶する。 In step S1104, the CPU 201 of the PC 100 determines the shared image determined to be located in the same room as the HMD 101 as the shared image to be displayed on the HMD 101 according to the position and orientation of the HMD 101, and stores it in the RAM.

ステップＳ１１０５で、ＰＣ１００のＣＰＵ２０１は、外部メモリに予め記憶されているテンプレートの仮想オブジェクト（テンプレートモデル情報１３１０に図示）を取得する。 In step S1105, the CPU 201 of the PC 100 acquires a template virtual object (shown in the template model information 1310) stored in advance in the external memory.

テンプレートの仮想オブジェクトの構成は、モデル情報６２０の構成と同じである。但し、まだ仮想空間に配置されていない状態のであり、モデルＩＤや位置姿勢の情報は未挿入の状態である。 The configuration of the template virtual object is the same as the configuration of the model information 620 . However, the model has not yet been placed in the virtual space, and information on the model ID and position and orientation has not yet been inserted.

ステップＳ１１０５で、ＰＣ１００のＣＰＵ２０１は、追加表示モデル情報１３２０のテーブルを外部メモリに生成して、取得したテンプレートの仮想オブジェクトをコピーし、追加・記憶する。つまり、表示対象の仮想オブジェクトを生成する。 In step S1105, the CPU 201 of the PC 100 creates a table of the additional display model information 1320 in the external memory, copies the virtual object of the acquired template, and adds/stores it. That is, a virtual object to be displayed is generated.

追加表示モデル情報１３２０は、ＨＭＤ１０１ごと（ユーザごと）に、ＨＭＤ１０１のＩＤと対応付けて作成・記憶・管理する。追加表示モデル情報１３２０は、モデル情報６２０に加えて、当該追加表示モデル情報１３２０に対応するＨＭＤ１０１（共有画像の表示指示がされたＨＭＤ１０１）のＭＲ画像の生成に用いる仮想オブジェクトを記憶するテーブルである。他のＨＭＤ１０１のＭＲ画像の生成には用いない。 The additional display model information 1320 is created, stored, and managed in association with the ID of the HMD 101 for each HMD 101 (each user). The additional display model information 1320 is a table that stores, in addition to the model information 620, a virtual object used for generating the MR image of the HMD 101 corresponding to the additional display model information 1320 (the HMD 101 instructed to display the shared image). . It is not used for generating MR images of other HMDs 101 .

なお、追加表示モデル情報１３２０におけるモデルＩＤには、追加表示モデル情報１３２０へのデータの追加時に新規の値を付与する。また、モデルの姿勢は一律同じ値を設定する。 A new value is assigned to the model ID in the additional display model information 1320 when data is added to the additional display model information 1320 . Also, the posture of the model is uniformly set to the same value.

ＰＣ１００のＣＰＵ２０１は、ステップＳ１１０４でＲＡＭに記憶した共有画像の位置を取得し、追加表示モデル情報１３２０に追加した仮想オブジェクトの位置として記憶する。そして、画像１３２１に、ステップＳ１１０２で取得した共有画像を記憶する。つまり、共有画像の仮想空間上の位置を決定する。 The CPU 201 of the PC 100 acquires the position of the shared image stored in the RAM in step S1104 and stores it as the position of the added virtual object in the additional display model information 1320. FIG. Then, the shared image acquired in step S1102 is stored in the image 1321 . That is, the position of the shared image in the virtual space is determined.

画像１３２１は、当該追加表示モデル情報１３２０に追加した仮想オブジェクトにテクスチャ画像として貼り付ける画像を記憶する記憶部である。 The image 1321 is a storage unit that stores an image to be pasted as a texture image to the virtual object added to the additional display model information 1320 .

ステップＳ１１０６で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１と同じルームに位置しないと判定された共有画像を、ＨＭＤ１０１の共有画像一覧表示部に表示する共有画像として決定し、ＲＡＭ上に記憶する。 In step S1106, the CPU 201 of the PC 100 determines the shared image determined not to be located in the same room as the HMD 101 as the shared image to be displayed in the shared image list display portion of the HMD 101, and stores it in the RAM.

ＰＣ１００のＣＰＵ２０１は、全ての共有画像に対するＳ１１０２～Ｓ１１０６の処理を完了すると、処理をステップＳ１１０７に移行する。 When the CPU 201 of the PC 100 completes the processes of S1102 to S1106 for all shared images, the process proceeds to step S1107.

ステップＳ１１０７で、ＰＣ１００のＣＰＵ２０１は、モデル情報６２０及び追加表示モデル情報１３２０を用いて、ステップＳ１１０１で共有画像の表示指示がされたＨＭＤ１０１のＭＲ画像の生成・表示更新を行う。具体的には、図５のステップＳ５０６以降の処理を順次行い、ステップＳ５０８において、モデル情報６２０だけでなく、追加表示モデル情報１３２０の仮想オブジェクトも用いて描画データの生成及びＨＭＤ１０１の画面における表示位置（描画位置）を決定してＭＲ画像を生成し、ステップＳ５１１まで処理を実行する。 In step S1107, the CPU 201 of the PC 100 uses the model information 620 and the additional display model information 1320 to generate and update the display of the MR image of the HMD 101 instructed to display the shared image in step S1101. Specifically, the processes after step S506 in FIG. 5 are sequentially performed, and in step S508, not only the model information 620 but also the virtual objects of the additional display model information 1320 are used to generate drawing data and display the display position on the screen of the HMD 101. The (drawing position) is determined, an MR image is generated, and the process is executed up to step S511.

また、ステップＳ１１０６で記憶された、ＨＭＤ１０１と同じルームに位置しないと判定された共有画像があるか判定し、ある場合には、当該ＨＭＤ１０１と同じルームに位置しないと判定された共有画像をＨＭＤ１０１に一覧表示する（一覧表示部に各共有画像を配置して表示する）。 Also, it is determined whether there is a shared image that is determined not to be located in the same room as the HMD 101 stored in step S1106. Display a list (arrange and display each shared image in the list display area).

以降、共有画像の表示を終了する指示を受け付けるまで、共有画像の一覧、又は／及び共有画像を貼り付けた仮想オブジェクトを用いたＭＲ画像の生成・表示処理を継続する。以上が図１１の説明である。 From then on, the MR image generation/display processing using the list of shared images and/or the virtual object to which the shared images are pasted is continued until an instruction to end the display of the shared images is received. The above is the description of FIG.

ＨＭＤ１０１と同じルームの共有画像のみ記憶されている場合の共有画像の表示（共有画像がテクスチャとして貼り付けられた仮想オブジェクトの表示）の一例を、図１５の１５００に示す。テンプレートの仮想オブジェクトは、１５０５に示す共有画像の撮像位置（具体的には撮影位置から高さ方向において床に向けて垂直に伸ばした線と床が交差する点）を示す部分と、共有画像を貼り付ける１５０１～１５０４の部分とから成る。１５０１～１５０４には、ＨＭＤ１０１と同じルームの共有画像が貼り付けられ、ＨＭＤ１０１で表示される。 An example of display of a shared image (display of a virtual object to which the shared image is pasted as a texture) when only the shared image of the same room as the HMD 101 is stored is shown in 1500 in FIG. The virtual object of the template includes a portion indicating the imaging position of the shared image indicated by 1505 (specifically, the point where the floor intersects with a line extending vertically from the imaging position toward the floor), and the shared image. 1501 to 1504 to be pasted. Shared images of the same room as the HMD 101 are pasted on 1501 to 1504 and displayed on the HMD 101 .

ＨＭＤ１０１と別のルームの共有画像のみ記憶されている場合の共有画像の表示の一例を、図１５の１５１０に示す。一覧表示部１５１１には、ＨＭＤ１０１と別のルームの共有画像が選択可能に一覧表示されている。 1510 in FIG. 15 shows an example of shared image display when only shared images of the HMD 101 and another room are stored. The list display portion 1511 displays a list of shared images in a room other than the HMD 101 in a selectable manner.

ＨＭＤ１０１と同じルームの共有画像と、ＨＭＤ１０１と別のルームの共有画像の両方が記憶されている場合の共有画像の表示の一例を図１６の１６００に示す。 1600 in FIG. 16 shows an example of shared image display when both a shared image in the same room as the HMD 101 and a shared image in a different room from the HMD 101 are stored.

次に図１２を参照して、本発明の実施形態における、視点位置の移動処理の詳細について説明する。 Next, with reference to FIG. 12, the details of the viewpoint position movement processing according to the embodiment of the present invention will be described.

視点位置を移動させるとは、現実空間におけるＨＭＤ１０１の動きと連動して移動・方向転換する仮想空間上の仮想のカメラの位置を、他の仮想空間上の位置に移動させるということである。例えば図１４に示すように、ＨＭＤ１０１に対応する仮想カメラ７１３の位置を、仮想空間において移動させる処理である。 To move the viewpoint position means to move the position of the virtual camera in the virtual space, which moves and changes direction in conjunction with the movement of the HMD 101 in the real space, to another position in the virtual space. For example, as shown in FIG. 14, this is processing for moving the position of the virtual camera 713 corresponding to the HMD 101 in the virtual space.

現実空間のＨＭＤ１０１の視点が移動するわけではなく、仮想空間上の仮想の視点が移動だけであるため、現実の映像に重畳する仮想物体（ＣＧ）の表示のみが移動先の位置から見た仮想物体の表示に変更されることとなる。共有画像の位置は移動先の候補の位置である。 Since the viewpoint of the HMD 101 in the real space does not move, and the virtual viewpoint in the virtual space only moves, only the display of the virtual object (CG) superimposed on the real image is the virtual image seen from the position of the movement destination. It will be changed to the display of the object. The position of the shared image is the candidate position of the destination.

ステップＳ１２０１で、ＰＣ１００のＣＰＵ２０１は、図１０のステップＳ１００２において選択された共有画像の位置姿勢を取得する。具体的には、図１３の共有画像情報１３００から対象の共有画像の位置１３０３、方向１３０４、角度１３０５を取得する。 In step S1201, the CPU 201 of the PC 100 acquires the position and orientation of the shared image selected in step S1002 of FIG. Specifically, the position 1303, direction 1304, and angle 1305 of the target shared image are acquired from the shared image information 1300 in FIG.

ステップＳ１２０２で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１２０１で取得した位置姿勢情報からＨＭＤ１０１の仮想空間上の位置（視点位置）の移動先の位置を決定する。例えば、当該共有画像の位置１３０３を移動先の位置として決定する。 In step S1202, the CPU 201 of the PC 100 determines the destination position of the position (viewpoint position) of the HMD 101 in the virtual space from the position and orientation information acquired in step S1201. For example, the position 1303 of the shared image is determined as the destination position.

ステップＳ１２０３で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１２０２で決定した移動先の位置に、ＨＭＤ１０１の仮想空間上の視点位置を変更する。つまり、ユーザの視点を指定された共有画像の位置に移動する。 In step S1203, the CPU 201 of the PC 100 changes the viewpoint position of the HMD 101 in the virtual space to the destination position determined in step S1202. That is, the user's viewpoint is moved to the designated shared image position.

ステップＳ１２０４で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１のカメラが撮像している現在の現実画像と、移動先の仮想空間上の視点位置から見た仮想オブジェクトの画像を合成（重畳）して、ＭＲ画像を生成し、ステップＳ１２０５でＨＭＤ１０１に送信して表示させる。 In step S1204, the CPU 201 of the PC 100 synthesizes (superimposes) the current real image captured by the camera of the HMD 101 and the image of the virtual object seen from the viewpoint position in the destination virtual space to generate an MR image. generated and transmitted to the HMD 101 to be displayed in step S1205.

以降、視点位置の移動を解除する操作がされるまで、現在の現実画像と、移動先の仮想空間上の視点位置から見た仮想オブジェクトの画像を合成してＭＲ画像を生成し、ＨＭＤ１０１に表示するものとする。以上が図１２の説明である。 Thereafter, until an operation to cancel the movement of the viewpoint position is performed, the current physical image and the image of the virtual object seen from the viewpoint position in the virtual space of the movement destination are combined to generate an MR image, which is displayed on the HMD 101. It shall be. The above is the description of FIG.

視点の移動前後の位置関係及びＭＲ画像の状態を図１４に示す。１４００の１４０１は現実画像である。１４１０は仮想空間上のＨＭＤ１０１の視点位置（仮想カメラ）の移動の様子を示す。１４１１は視点位置の移動前の仮想空間の画像である。１４２０の１４２１は、視点位置移動後のＭＲ画像の一例である。 FIG. 14 shows the positional relationship and the state of the MR image before and after the viewpoint is moved. 1401 of 1400 is a real image. Reference numeral 1410 indicates how the viewpoint position (virtual camera) of the HMD 101 moves in the virtual space. 1411 is an image of the virtual space before the viewpoint position is moved. 1421 of 1420 is an example of the MR image after the viewpoint position is moved.

以上説明したように、本発明によれば、ユーザと記録済の位置の関係に応じて適切に当該位置の選択部を表示することが可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of appropriately displaying the selection portion of the position according to the relationship between the user and the recorded position.

例えば、ユーザが装着したＨＭＤの位置する部屋と、共有画像の位置する部屋とに応じて、共有画像の表示方法を変更してユーザに提示することができる。 For example, the display method of the shared image can be changed and presented to the user according to the room in which the HMD worn by the user is located and the room in which the shared image is located.

これにより、仮に一覧に表示する共有画像（過去の位置の識別情報）が多い場合であっても、一覧表示部を過剰に拡大してしまいＨＭＤの表示領域を圧迫してしまう危険を低減できる。 As a result, even if there are many shared images (identification information of past positions) to be displayed in the list, it is possible to reduce the risk of excessively enlarging the list display portion and compressing the display area of the HMD.

なお、上述した実施形態においては、図１１のステップＳ１１０３で、ＨＭＤ１０１と共有画像が同じ部屋の中にあるか判定するものとしたが、例えば、ＨＭＤ１０１と共有画像が同じフロアにあるか判定するようしにてもよい。 In the above-described embodiment, it is determined in step S1103 of FIG. 11 whether the HMD 101 and the shared image are in the same room. You can do it.

具体的には、ステップＳ１１０３においてＰＣ１００のＣＰＵ２０１が、ステップＳ１１０１で取得したＨＭＤ１０１の位置するフロアと、ステップＳ１１０２で取得した共有画像に対応するフロアとが一致するか判定し、一致する場合は処理をステップＳ１１０４に移行し、一致しない場合は処理をステップ１１０６に移行する。 Specifically, in step S1103, the CPU 201 of the PC 100 determines whether the floor on which the HMD 101 acquired in step S1101 matches the floor corresponding to the shared image acquired in step S1102. The process moves to step S1104, and if they do not match, the process moves to step S1106.

これにより、仮に一覧に表示する共有画像（過去の位置の識別情報）が多い場合であっても、一覧表示部を過剰に拡大してしまいＨＭＤの表示領域を圧迫してしまう危険を低減できる。 As a result, even if there are many shared images (identification information of past positions) to be displayed in the list, it is possible to reduce the risk of excessively enlarging the list display portion and compressing the display area of the HMD.

また、図６の６６０に示す部屋の情報がない場合であっても、フロアの情報さえれば、ユーザと記録済の位置の関係に応じて適切に当該位置の選択部を表示することが可能となる。 Also, even if there is no room information shown in 660 in FIG. 6, if there is floor information, it is possible to appropriately display the position selection part according to the relationship between the user and the recorded position. becomes.

また、上述した実施形態においては、共有画像として記憶するデータは静止画である画像として説明したが、例えば動画像であってもよい。動画の撮影場所＝動画の撮影が開始された時点（録画開始時点）の撮影者のＨＭＤの位置とする。 Further, in the above-described embodiment, the data stored as the shared image has been described as an image that is a still image, but it may be, for example, a moving image. Moving image shooting location=Position of the HMD of the photographer at the time when the shooting of the moving image is started (when the recording is started).

以上、本発明の実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 Although the embodiments of the present invention have been described above, the present invention can be embodied as, for example, systems, devices, methods, programs, recording media, and the like. Specifically, it may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.

例えば、図２に示すＰＣ１００の構成を全て備えるＨＭＤ１０１が、自機の機能をＣＰＵ２０１で実行して、上述した実施形態においてＰＣ１００の実行するものとして説明した処理の全てを、実行するようにしてもよい。 For example, even if the HMD 101 having all the configurations of the PC 100 shown in FIG. good.

具体的には、ＨＭＤ１０１とＰＣ１００が一体であり、１つ筐体として、ＨＭＤ１０１のＣＰＵ２０１が、ステップＳ５０４～Ｓ５０９の処理及びその他の図のフローチャートに記載の処理を実行するよう構成してもよい。この場合、ＰＣ１００の機能は各ＨＭＤ１０１に備わり、各ＨＭＤ１０１の記憶装置に、光学センサ１０４から取得された各ＨＭＤ１０１の位置姿勢が記憶されるものとする。 Specifically, the HMD 101 and the PC 100 may be integrated into a single housing so that the CPU 201 of the HMD 101 executes the processes of steps S504 to S509 and other processes described in the flowcharts of the drawings. In this case, each HMD 101 has the function of the PC 100 , and the position and orientation of each HMD 101 acquired from the optical sensor 104 are stored in the storage device of each HMD 101 .

なお、上述した実施形態においては、複合現実における視点移動と案内について説明したが、例えば視点移動及び経路案内の表示を、仮想現実や拡張現実の技術を用いて実現するようにしてもよい。 In the above-described embodiment, viewpoint movement and guidance in mixed reality have been described, but for example, viewpoint movement and route guidance display may be realized using virtual reality or augmented reality technology.

また、上述した実施形態においては、現実画像と仮想物体の描画データを重畳することで複合現実画像を生成するものとしたが、例えば透過型（シースルー型）のＨＭＤ１０１を採用し、透過率１００％の現実画像に透過率０％の描画データを重ね合わせてディスプレイに表示し、現実の情報はディスプレイ越しに肉眼で確認できるような複合現実画像を生成・表示するようにしてもよい。 In the above-described embodiment, the mixed reality image is generated by superimposing the drawing data of the real image and the virtual object. Rendering data with a transmittance of 0% may be superimposed on the real image and displayed on the display, and a mixed reality image may be generated and displayed so that the real information can be confirmed with the naked eye through the display.

また、上述した実施形態においては、ＭＲ画像を生成するものとしたが、例えば仮想世界の画像のみを表示するようにしてもよい。つまり、複合現実ではなく、仮想現実の技術を用いて本発明を実現するようにしてもよい。 Also, in the above-described embodiment, the MR image is generated, but for example, only the image of the virtual world may be displayed. In other words, the present invention may be realized using virtual reality technology instead of mixed reality.

また、本発明におけるプログラムは、各図に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各図の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各図の各装置の処理方法ごとのプログラムであってもよい。 Further, the program in the present invention is a program that allows a computer to execute the processing method of each flowchart, and the storage medium of the present invention stores a program that enables a computer to execute the processing method of each drawing. In addition, the program in the present invention may be a program for each processing method of each device in each figure.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、本発明の目的が達成されることは言うまでもない。 As described above, a recording medium recording a program for realizing the functions of the above-described embodiments is supplied to a system or device, and the computer (or CPU or MPU) of the system or device reads the program stored in the recording medium. Needless to say, the object of the present invention can also be achieved by reading and executing.

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium implements the novel functions of the present invention, and the recording medium storing the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。 Examples of recording media for supplying programs include flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, DVD-ROMs, magnetic tapes, non-volatile memory cards, ROMs, EEPROMs, silicon A disk, solid state drive, or the like can be used.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also based on the instructions of the program, the OS (operating system) and the like running on the computer are actually executed. Needless to say, a case where part or all of the processing is performed and the functions of the above-described embodiments are realized by the processing are included.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written in the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is read according to the instruction of the program code. It goes without saying that a case where a CPU or the like provided in a function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Moreover, the present invention may be applied to a system composed of a plurality of devices or to an apparatus composed of a single device. Further, it goes without saying that the present invention can be applied to the case where it is achieved by supplying a program to a system or apparatus. In this case, by loading a recording medium storing a program for achieving the present invention into the system or device, the system or device can enjoy the effects of the present invention.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Furthermore, by downloading and reading out the program for achieving the present invention from a server, database, etc. on the network using a communication program, the system or device can enjoy the effects of the present invention.

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 It should be noted that all configurations obtained by combining each of the above-described embodiments and modifications thereof are also included in the present invention.

１００ ＰＣ
１０１Ａ ＨＭＤ
１０１Ｂ ＨＭＤ
１０１Ｃ ＨＭＤ
１０３ 光学式マーカ
１０４ 光学センサ
１５０ ネットワーク 100 PCs
101A HMD
101B HMD
101C HMDs
103 optical marker 104 optical sensor 150 network

Claims (12)

建物における区画の位置を記憶する記憶部から情報を読み出し可能な情報処理装置であって、
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示するように制御する表示制御手段と、
前記表示制御手段により表示された前記複数の過去の視点位置において表示された画像の選択を受け付ける選択受付手段と、
を備え、
前記表示制御手段は、前記ユーザが位置する区画とは異なる区画で撮影された過去画像について、一覧表示するように制御することを特徴とする情報処理装置。 An information processing device capable of reading information from a storage unit that stores the positions of sections in a building,
display control means for controlling to display a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
selection receiving means for receiving a selection of images displayed at the plurality of past viewpoint positions displayed by the display control means;
with
The information processing apparatus, wherein the display control means performs control to display a list of past images captured in a section different from the section in which the user is located. 前記ユーザの現在の仮想空間上の視点位置を、前記選択受付手段により受け付けた選択により特定される過去の視点位置に移動させる移動手段を備えることを特徴とする請求項１に記載の情報処理装置。 2. The information processing apparatus according to claim 1, further comprising moving means for moving the current viewpoint position of the user in the virtual space to a past viewpoint position specified by the selection received by the selection receiving means. . 前記表示制御手段により表示された前記複数の過去の視点位置は、前記移動手段による仮想空間上の視点位置の移動先候補であることを特徴とする請求項２に記載の情報処理装置。 3. The information processing apparatus according to claim 2, wherein said plurality of past viewpoint positions displayed by said display control means are candidates for movement destinations of viewpoint positions in the virtual space by said moving means. 前記選択受付手段は、ヘッドマウントディスプレイの視線方向による選択を受け付けることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 4. The information processing apparatus according to any one of claims 1 to 3, wherein said selection accepting means accepts selection according to a line-of-sight direction of a head-mounted display. 前記選択受付手段は、ヘッドマウントディスプレイの視線方向と過去画像との交差状態が所定時間以上継続した場合、選択を確定させることを特徴とする請求項４に記載の情報処理装置。 5. The information processing apparatus according to claim 4, wherein the selection accepting means confirms the selection when the line-of-sight direction of the head-mounted display and the past image continue to intersect for a predetermined time or longer. 前記区画とは、フロアまたはルームであることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。 6. The information processing apparatus according to any one of claims 1 to 5, wherein the section is a floor or a room. 前記過去画像は、静止画であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。 7. The information processing apparatus according to claim 1, wherein said past image is a still image. 前記過去画像は、動画像であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。 8. The information processing apparatus according to claim 1, wherein said past image is a moving image. 建物における区画の位置を記憶する記憶部から情報を読み出し可能な情報処理装置の制御方法であって、
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示するように制御する表示制御ステップと、
前記表示制御ステップにより表示された前記複数の過去の視点位置において表示された画像の選択を受け付ける選択受付ステップと、
を備え、
前記表示制御ステップは、前記ユーザが位置する区画とは異なる区画で撮影された過去画像について、一覧表示するように制御することを特徴とする情報処理装置の制御方法。 A control method for an information processing device capable of reading information from a storage unit that stores the positions of blocks in a building,
a display control step of controlling to display a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
a selection receiving step of receiving a selection of images displayed at the plurality of past viewpoint positions displayed by the display control step;
with
The control method for an information processing apparatus, wherein the display control step performs control so as to display a list of past images captured in a section different from a section in which the user is located. 表示装置と、建物における区画の位置を記憶する記憶部から情報を読み出し可能な情報処理装置と、を含む情報処理システムであって、
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示するように制御する表示制御手段と、
前記表示制御手段により表示された前記複数の過去の視点位置において表示された画像の選択を受け付ける選択受付手段と、
を備え、
前記表示制御手段は、前記ユーザが位置する区画とは異なる区画で撮影された過去画像について、一覧表示するように制御することを特徴とする情報処理システム。 An information processing system including a display device and an information processing device capable of reading information from a storage unit that stores the positions of blocks in a building,
display control means for controlling to display a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
selection receiving means for receiving a selection of images displayed at the plurality of past viewpoint positions displayed by the display control means;
with
The information processing system, wherein the display control means performs control to display a list of past images shot in a section different from the section in which the user is located. 表示装置と、建物における区画の位置を記憶する記憶部から情報を読み出し可能な情報処理装置と、を含む情報処理システムの制御方法であって、
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示するように制御する表示制御ステップと、
前記表示制御ステップにより表示された前記複数の過去の視点位置において表示された画像の選択を受け付ける選択受付ステップと、
を備え、
前記表示制御ステップは、前記ユーザが位置する区画とは異なる区画で撮影された過去画像について、一覧表示するように制御することを特徴とする情報処理システムの制御方法。 A control method for an information processing system including a display device and an information processing device capable of reading information from a storage unit that stores the positions of blocks in a building,
a display control step of controlling to display a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
a selection receiving step of receiving a selection of images displayed at the plurality of past viewpoint positions displayed by the display control step;
with
The control method for an information processing system, wherein the display control step controls to display a list of past images captured in a section different from the section in which the user is located. コンピュータを、請求項１乃至８のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。



A program for causing a computer to function as each means of the information processing apparatus according to any one of claims 1 to 8 .
JP2021014923A 2017-01-31 2021-02-02 Information processing device, information processing system, information processing method and program Active JP7273325B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021014923A JP7273325B2 (en) 2017-01-31 2021-02-02 Information processing device, information processing system, information processing method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017015825A JP6836060B2 (en) 2017-01-31 2017-01-31 Information processing equipment, information processing system, information processing method and program
JP2021014923A JP7273325B2 (en) 2017-01-31 2021-02-02 Information processing device, information processing system, information processing method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017015825A Division JP6836060B2 (en) 2017-01-31 2017-01-31 Information processing equipment, information processing system, information processing method and program

Publications (2)

Publication Number Publication Date
JP2021099816A JP2021099816A (en) 2021-07-01
JP7273325B2 true JP7273325B2 (en) 2023-05-15

Family

ID=63111514

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017015825A Active JP6836060B2 (en) 2017-01-31 2017-01-31 Information processing equipment, information processing system, information processing method and program
JP2021014923A Active JP7273325B2 (en) 2017-01-31 2021-02-02 Information processing device, information processing system, information processing method and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017015825A Active JP6836060B2 (en) 2017-01-31 2017-01-31 Information processing equipment, information processing system, information processing method and program

Country Status (1)

Country Link
JP (2) JP6836060B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6836060B2 (en) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 Information processing equipment, information processing system, information processing method and program
JP7525741B2 (en) 2021-07-26 2024-07-30 株式会社Ｎｔｔドコモ Content Sharing System

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020237A (en) 2004-07-05 2006-01-19 Sony Ericsson Mobilecommunications Japan Inc Image processing program, remote control program, image processor and remote controller
JP2006140816A (en) 2004-11-12 2006-06-01 Konica Minolta Photo Imaging Inc Video display device and video display system
JP2010093713A (en) 2008-10-10 2010-04-22 Sony Corp Display control device, display control method, and program
JP2015228050A (en) 2014-05-30 2015-12-17 ソニー株式会社 Information processing device and information processing method
JP2017215664A (en) 2016-05-30 2017-12-07 サン電子株式会社 Terminal device
JP2018124746A (en) 2017-01-31 2018-08-09 キヤノンマーケティングジャパン株式会社 Information processing device, information processing system, information processing method and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122638A (en) * 1997-10-15 1999-04-30 Oki Electric Ind Co Ltd Image processor, image processing method, and computer-readable information recording medium recorded with image processing program
JP6123618B2 (en) * 2013-09-30 2017-05-10 大日本印刷株式会社 Video output apparatus, video output method, and program
JP6705124B2 (en) * 2015-04-23 2020-06-03 セイコーエプソン株式会社 Head-mounted display device, information system, head-mounted display device control method, and computer program
KR20160033376A (en) * 2014-09-18 2016-03-28 (주)에프엑스기어 Head-mounted display controlled by line of sight, method for controlling the same and computer program for controlling the same
JP5876607B1 (en) * 2015-06-12 2016-03-02 株式会社コロプラ Floating graphical user interface
JP5961736B1 (en) * 2015-08-17 2016-08-02 株式会社コロプラ Method and program for controlling head mounted display system
JP2017228044A (en) * 2016-06-21 2017-12-28 株式会社ソニー・インタラクティブエンタテインメント Image forming device, image generation system, and image generation method
JP6810342B2 (en) * 2016-10-13 2021-01-06 キヤノンマーケティングジャパン株式会社 Information processing equipment, information processing system, its control method and program
JP6871501B2 (en) * 2016-10-13 2021-05-12 キヤノンマーケティングジャパン株式会社 Information processing equipment, information processing system, its control method and program
JP6842441B2 (en) * 2018-05-11 2021-03-17 株式会社ソニー・インタラクティブエンタテインメント Programs and information processing equipment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020237A (en) 2004-07-05 2006-01-19 Sony Ericsson Mobilecommunications Japan Inc Image processing program, remote control program, image processor and remote controller
JP2006140816A (en) 2004-11-12 2006-06-01 Konica Minolta Photo Imaging Inc Video display device and video display system
JP2010093713A (en) 2008-10-10 2010-04-22 Sony Corp Display control device, display control method, and program
JP2015228050A (en) 2014-05-30 2015-12-17 ソニー株式会社 Information processing device and information processing method
JP2017215664A (en) 2016-05-30 2017-12-07 サン電子株式会社 Terminal device
JP2018124746A (en) 2017-01-31 2018-08-09 キヤノンマーケティングジャパン株式会社 Information processing device, information processing system, information processing method and program

Also Published As

Publication number Publication date
JP2018124746A (en) 2018-08-09
JP6836060B2 (en) 2021-02-24
JP2021099816A (en) 2021-07-01

Similar Documents

Publication Publication Date Title
JP7060778B2 (en) Information processing system, information processing system control method and program
JP6618681B2 (en) Information processing apparatus, control method and program therefor, and information processing system
JP6871501B2 (en) Information processing equipment, information processing system, its control method and program
KR101833253B1 (en) Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same
JP6920057B2 (en) Image processing equipment, image processing method, computer program
JP7273325B2 (en) Information processing device, information processing system, information processing method and program
JP6004051B2 (en) INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
JP2003296757A (en) Information processing method and device
JP6409861B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2018106297A (en) Mixed reality presentation system, information processing apparatus and control method thereof, and program
JP6011567B2 (en) Information processing apparatus, control method thereof, and program
JP6152888B2 (en) Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof
JP6810342B2 (en) Information processing equipment, information processing system, its control method and program
JP6376251B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2017084215A (en) Information processing system, control method thereof, and program
JP7279113B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM
JP6357412B2 (en) Information processing apparatus, information processing system, information processing method, and program
JP7116334B2 (en) Information processing device, information processing system, control method thereof, and program
JP2020074108A (en) Information processing system, control method thereof, and program
JP6164177B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP7111940B2 (en) Information processing device, information processing system, control method thereof, and program
JP6734537B2 (en) Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program
JP2019012334A (en) Information processor, information processing system, method for control, and program
JP7029087B2 (en) Information processing equipment, information processing system, its control method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221209

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20221227

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230119

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R151 Written notification of patent or utility model registration

Ref document number: 7273325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151