JP7273325B2 - Information processing device, information processing system, information processing method and program - Google Patents
Information processing device, information processing system, information processing method and program Download PDFInfo
- Publication number
- JP7273325B2 JP7273325B2 JP2021014923A JP2021014923A JP7273325B2 JP 7273325 B2 JP7273325 B2 JP 7273325B2 JP 2021014923 A JP2021014923 A JP 2021014923A JP 2021014923 A JP2021014923 A JP 2021014923A JP 7273325 B2 JP7273325 B2 JP 7273325B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- information processing
- hmd
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing system, an information processing method, and a program.
近年、複合現実(Mixed Reality/以下、MRと記載)の技術が普及している。複合現実の技術を用いて、ヘッドマウントディスプレイ(HMD)を装着したユーザに対し、現実画像にCGモデルを配置した複合現実画像を提供し、現実と仮想を複合した複合現実の世界を体験させることができる。複合現実画像を生成するにあたり、HMDの位置とCGモデルの位置とを、センサや二次元マーカを用いて特定する手法が取られている。 In recent years, the technology of mixed reality (hereinafter referred to as MR) has become widespread. Using mixed reality technology, provide a user wearing a head-mounted display (HMD) with a mixed reality image in which a CG model is arranged in a real image, and experience a mixed reality world that combines reality and virtuality. can be done. In generating a mixed reality image, a method of specifying the position of the HMD and the position of the CG model using sensors and two-dimensional markers is adopted.
特許文献1には、HMDで撮影された画像の中に写る二次元マーカを用いてHMDの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。また、特許文献2には、磁気センサを用いてHMDの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。
また、特許文献3には、撮影した複合現実画像と、その時点での時刻とHMDの位置姿勢を対応付けて記憶することが記載されている。特許文献4には、画像の撮影地点にサムネイル画像を配置した仮想空間画像を提供する技術が記載されている。特許文献5には、視線によるユーザの選択操作に基づいてユーザの視点位置を変更することが記載されている。 Further, Japanese Patent Application Laid-Open No. 2002-200003 describes storing a captured mixed reality image, the time at that point in time, and the position and orientation of the HMD in association with each other. Patent Literature 4 describes a technique for providing a virtual space image in which thumbnail images are arranged at image shooting points. Patent Literature 5 describes changing a user's viewpoint position based on a selection operation by the user based on the line of sight.
複数人でMRを体験する場合、他者が見ていた場所や物を見たい場面が想定される。例えば、記録された複合現実画像に対応する位置を指定することで、当該指定された仮想空間上の位置に自身の視点位置を移動させ、他者が撮影時点で見ていたCGモデルを、他者が見ていた場所から確認できる。 When a plurality of people experience MR, it is assumed that they may want to see places or things that other people have seen. For example, by specifying a position corresponding to the recorded mixed reality image, the user can move his or her viewpoint position to the specified position in the virtual space, and the CG model that the other person was looking at at the time of shooting can be viewed by the other person. It can be confirmed from where the person was looking.
例えば他者の仮想空間上の位置を一覧化し、自分が移動したい位置をユーザに選択させることで、選択された仮想空間上の位置にユーザの視点位置を移動させることが考えられる。 For example, it is conceivable to make a list of other people's positions in the virtual space and have the user select the position to which he or she wants to move, thereby moving the user's viewpoint position to the selected position in the virtual space.
しかし、全ての位置の情報を一覧に表示すると、画面が煩雑になり、選択する対象を探し出す手間が増えてしまう。 However, displaying the information of all the positions in the list makes the screen complicated and increases the trouble of searching for the target to be selected.
また、選択肢の一覧を表示するということは、MRの体験者であるユーザの視界を一覧で塞いでしまうこととなる。選択肢となるデータが一覧上に増えるほど、視界が塞がれる範囲が広くなれば、MRの快適な体験を妨げてしまうこととなる。 In addition, displaying a list of options blocks the view of the user who has experienced MR. As the number of data to be selected increases on the list, the wider the range where the field of view is blocked, the more comfortable the MR experience becomes.
本発明は、過去の視点位置にかかる情報を適切に表示することが可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of appropriately displaying information related to past viewpoint positions .
建物における区画の位置を記憶する記憶部から情報を読み出し可能な情報処理装置であって、
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示する表示制御手段と、
前記表示制御手段により表示された前記複数の過去の視点位置と当該視点位置において表示された画像の少なくとも一方の選択を受け付ける選択受付手段と、
を備えることを特徴とする。
An information processing device capable of reading information from a storage unit that stores the positions of sections in a building,
display control means for displaying a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
selection receiving means for receiving selection of at least one of the plurality of past viewpoint positions displayed by the display control means and an image displayed at the viewpoint position;
characterized by comprising
本発明によれば、過去の視点位置にかかる情報を適切に表示することが可能となる。 According to the present invention, it is possible to appropriately display information related to past viewpoint positions .
図1を参照して、本発明の実施形態における情報処理システムの構成の一例について説明する。 An example of the configuration of an information processing system according to an embodiment of the present invention will be described with reference to FIG.
図1に示すように、本発明における情報処理システムの各種装置はネットワーク150を介して通信可能に接続されている。例えばPC100は、HMD101(HMD101A~HMD101Cの総称)と通信可能に接続されている。HMD101は、頭部装着型のディスプレイ(ヘッドマウントディスプレイ)である。 As shown in FIG. 1, various devices of the information processing system of the present invention are communicably connected via a network 150 . For example, the PC 100 is communicably connected to the HMD 101 (general term for HMD 101A to HMD 101C). The HMD 101 is a head mounted display (head mounted display).
PC100には、HMD101により撮影される現実画像に重畳する3次元モデル(CGモデル/仮想オブジェクト/仮想物体)が記憶されている。 The PC 100 stores a three-dimensional model (CG model/virtual object/virtual object) superimposed on the real image captured by the HMD 101 .
また、PC100は、自機の管理するHMD101(図1におけるHMD101A~101C)より現実画像を取得して、記憶部に記憶する。また、PC100はHMD101の位置姿勢を特定し、記憶する。HMD101の位置姿勢の特定方法は、特許文献1に記載されている、HMD101の撮影した現実画像中の二次元マーカを用いて特定可能である。また、特許文献2に記載されている、センサ(図1における光学センサ104)がHMD101に設置された光学式マーカの位置姿勢をHMD101の位置姿勢として検出し、それをPC100が取得することで特定可能である。本実施形態においては、特許文献2に記載の方法用いてHMD101の位置姿勢を特定するものとする。
Also, the PC 100 acquires a real image from the HMD 101 (HMD 101A to 101C in FIG. 1) managed by itself and stores it in the storage unit. Also, the PC 100 identifies and stores the position and orientation of the HMD 101 . A method for specifying the position and orientation of the
PC100では、HMD101の位置姿勢と、記憶部に記憶されている3次元モデル及び3次元モデルの位置姿勢の情報を用いて、現実画像に3次元モデルを重畳した複合現実画像を生成する。そして、当該複合現実画像をHMD101のディスプレイに表示させるべく、HMD101に送信する。HMD101は受信した複合現実画像をディスプレイに表示する。以上が図1の説明である。 The PC 100 uses the position and orientation of the HMD 101, the three-dimensional model stored in the storage unit, and the position and orientation information of the three-dimensional model to generate a mixed reality image in which the three-dimensional model is superimposed on the real image. Then, the mixed reality image is transmitted to the HMD 101 so as to be displayed on the display of the HMD 101 . The HMD 101 displays the received mixed reality image on the display. The above is the description of FIG.
次に図2を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。 Next, with reference to FIG. 2, an example of hardware configuration of various devices in the embodiment of the present invention will be described.
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
The
また、ROM202には、CPU201の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステム(OS)、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。
In addition, the
RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。
A
本発明のPC100が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ211に格納されている。
入力コントローラ(入力C)205は、キーボードやマウス等のポインティングデバイス(入力デバイス209)からの入力を制御する。
Various programs and the like used by the PC 100 of the present invention to execute various processes to be described later are recorded in the
An input controller (input C) 205 controls input from a pointing device (input device 209) such as a keyboard or mouse.
また、入力デバイス209がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができることとする。なお、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよいこととする。
If the
ビデオコントローラ(VC)206は、HMD101が備える右目・左目ディスプレイ222等の表示器への表示を制御する。右目・左目ディスプレイ222に対しては、例えば外部出力端子(例えば、Digital Visual Interface)を用いて出力される。また、右目・左目ディスプレイ222は、右目用のディスプレイと左目用のディスプレイとから構成されている。また、入力コントローラ(入力C)205は、PC100の備えるディスプレイ210(CRTディスプレイ等)の表示器への表示を制御する。なお、図2では、表示器はCRTディスプレイだけでなく、液晶ディスプレイ等の他の表示器であってもよい。
A video controller (VC) 206 controls display on a display device such as a right-eye/left-
メモリコントローラ(MC)207は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフレキシブルディスク(FD)或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ211へのアクセスを制御する。
A memory controller (MC) 207 is an adapter for a hard disk (HD) or flexible disk (FD) or a PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, edit files, various data, and the like. It controls access to an
通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。また、通信I/Fコントローラ208は、ギガビットイーサネット(登録商標)等を通じて光学センサ104との通信も制御する。
A communication I/F controller (communication I/FC) 208 connects and communicates with an external device via a network, and executes communication control processing in the network. For example, Internet communication using TCP/IP is possible. The communication I/
汎用バス212は、HMD101の右目・左目ビデオカメラ221からの映像を取り込むために使用される。右目・左目ビデオカメラ221からは、外部入力端子(例えば、IEEE1394端子)を用いて入力される。右目・左目ビデオカメラ221は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。
A general-
尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ上での表示を可能としている。また、CPU201は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図2の説明である。
Note that the
次に図3を参照して、本発明の実施形態における各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of functional configurations of various devices according to the embodiment of the present invention will be described.
撮影画像送信部301は、カメラで撮影した撮影画像(現実画像)をPC100に送信する。
A captured
撮影画像受信部311は、撮影画像を受信して随時RAM上に記憶する。位置姿勢記憶部312は、光学センサにより取得したHMD101の位置姿勢を記憶する。
The captured
MR画像生成部313は、現実に仮想物体の画像を重畳した重畳画像であるMR画像を生成する。MR画像送信部314は、生成したMR画像をHMD101において表示させるべく出力する。
The
共有画像記憶部315は、HMD101に設置されている不図示のレリーズボタンの押下を受け付けることにより、HMD101で表示中のMR画像を、レリーズボタン押下時のHMD101の位置姿勢と対応付けて外部メモリに記憶する。レリーズボタンの押下=表示中のMR画像の撮影及び保存指示である。
The shared
判定部316は、HMD101にかかる属性と、共有画像の属性とが一致するか判定する。例えば、HMD101のいる部屋と、共有画像が撮影された部屋とが同じか判定する。
The
決定部317は、判定部316の判定結果に応じて、各共有画像の表示方法を決定する。例えば、複数ある共有画像のうち、HMD101のいる部屋と同じ部屋の共有画像を部屋に配置する仮想オブジェクトとして表示する画像として決定し、HMD101のいる部屋と異なる部屋の共有画像をHMD101に一覧表示する画像として決定する。
A
表示制御部318は、HMD101のいる部屋と同じ部屋の共有画像を仮想オブジェクトとして表示するべく、仮想オブジェクトを作成して位置決定し、対象の共有画像を当該仮想オブジェクトに貼り付けてMR画像を生成する。また、HMD101のいる部屋と別の部屋の共有画像を表示する一覧表示部の画像を生成して一覧表示部における対象の共有画像の位置を決定する。そして、これらのMR画像及び一覧表示部をHMD101に送信して表示指示し、HMD101に表示させる。
The
共有画像一覧表示部302は、共有画像記憶部315に記憶されているMR画像の一覧を選択可能に表示する。
The shared image
MR画像送信部314は、視点移動後のMR画像を生成してHMD101に送信する。
The MR
MR画像受信部303は、当該MR画像を受信し、表示部304は当該MR画像を表示する。
The MR
なお、本実施形態においては、311~318の各機能部の備える機能をPC100が備えているが、例えばこれらの構成をHMD101が備えるよう構成してもよいものとする。以上が図3の説明である。
In this embodiment, the
次に図4を参照して、本発明の実施形態における、各種装置のモジュール構成の一例について説明する。 Next, with reference to FIG. 4, an example of the module configuration of various devices in the embodiment of the present invention will be described.
PC100は、オペレーティングシステム401(OS)、グラフィックエンジン402、複合現実感プラットフォーム403(MRプラットフォームともいう)、複合現実感アプリケーション404(MRアプリケーションやビューアアプリケーションともいう)で構成され、CPU201により制御されている。
The
オペレーティングシステム401は、HMD101の入出力を制御しカメラ221から入力インターフェースを介して得られた現実画像を複合現実感プラットフォーム403へ受け渡す。またグラフィックエンジン402で描画された複合現実画像を、出力インターフェースを介して、ディスプレイ222へ出力する。
The operating system 401 controls input/output of the
グラフィックエンジン402は、外部メモリ211に記憶されている3次元モデルから描画する画像を生成し、現実画像に重畳し、合成する。描画に利用するエンジンは、例えば、OpenGLやDirectXなどの広く利用されているグラフィックエンジンでも、独自に開発したグラフィックエンジンでもよい。なお、本実施形態ではグラフィックライブラリとしてOpenGLを利用するものとする。
The graphic engine 402 generates an image to be drawn from the three-dimensional model stored in the
複合現実感プラットフォーム403は、光学センサ104からHMDに付与された複数の光マーカの位置姿勢を受信することでHMD101の位置姿勢を特定し、現実空間と仮想空間の位置合わせを行う。
The
なお、位置姿勢や位置合わせの技術は、既知の技術として開示されている、特開2002-32784、特開2006-072903、特開2007-166427等を用いて実現することが可能である。 It should be noted that the position/orientation and alignment techniques can be realized using known techniques such as JP-A-2002-32784, JP-A-2006-072903, and JP-A-2007-166427.
なお、二次元マーカを使用せずに、HMD101に位置センサを備え、この位置センサを用いて三角測量により計測された位置をもとに、HMD101の位置や姿勢を特定して実現することも可能である。
Instead of using a two-dimensional marker, it is also possible to equip the
複合現実感アプリケーション404は、複合現実感プラットフォーム403からHMD101の位置姿勢、3次元モデルの形状の情報、位置姿勢の情報を受け付け、グラフィックエンジン402に対して、3次元モデルの描画命令を発行する。この時、OpenGLのAPIを用いて、描画する3次元モデルの識別情報、位置姿勢の情報を設定した命令を発行する。以上が図4の説明である。
The mixed reality application 404 receives the position and orientation of the
次に図5を参照して、本発明の実施形態における複合現実画像の生成及び表示処理について説明する。 Next, generation and display processing of a mixed reality image according to the embodiment of the present invention will be described with reference to FIG.
HMD101は、不図示のユーザ操作を受け付けることにより、ステップS501で複合現実アプリケーション起動し、カメラ221の機能を用いて現実画像の撮影を開始する(ステップS502)。そして、撮影処理によって取得した現実画像をPC100に送信する(ステップS503)。
By receiving a user operation (not shown), the
当該複合現実アプリケーションの起動及び撮影開始は、例えばPC100におけるユーザ操作を受け付けることによっても実行可能である。
Activation of the mixed reality application and start of shooting can also be executed by accepting a user operation on the
PC100のCPU201はHMD101より現実画像を受信し(ステップS504)、受信した現実画像を外部メモリ211に記憶する(ステップS505)。例えば、図6の現実画像テーブル630に示すように、現実画像の送信元のHMD101の識別情報であるHMD ID631と、現実画像632とを対応付けて記憶する。
PC100のCPU201は、HMD101の位置姿勢を取得して(ステップS506)、外部メモリ211に記憶する(ステップS507)。例えば、図6のHMD情報610に示すように、HMD101の識別情報であるHMD ID611と、当該HMDの位置612(X,Y,Z座標)、姿勢(方向613及び角度614)を記憶する。
The
方向613及び角度614の例を図8に示す。方向613は、HMD101の視線方向である。方向613は、図8の800に示すように、3次元空間のXYZ方向の軸に基づく球801上の、視線方向と交差する点のXYZ座標によって示される。
Examples of
角度614は、図8の810に示すような、HMD101の左右の傾きの角度である。HMD101が床面と平行な状態を角度614=0度とする。HMD101を装着した状態で頭部を左に傾けると+n度となり、HMD101を装着した状態で頭部を右に傾けると-n度となる。
An
また、ステップS507において、PC100のCPU201は、HMD101の属する(位置する)フロア(階)とルーム(部屋)の識別情報(ID)を特定して、フロア615、ルーム616にそれぞれ記憶する。フロア615、ルーム616はHMD101を装着したユーザの体験状況の属性情報である。
In step S507, the
なお、フロア及びルーム自体の位置の情報は、例えば図6の660に示す形式でPC100の外部メモリ211に予め記憶されている。フロア661はフロアのIDである。ルーム662はフロア661に属する(位置する)部屋のIDである。
Information on the positions of the floors and rooms themselves is stored in advance in the
位置663は、ルーム662の示すルームの頂点位置を複数記憶している。当該頂点を、当該頂点が記憶されている順につなぐことでルームの形状(外枠)が特定可能である。つまり、位置663は、ルームの位置及び形状の情報である。当該形状(外枠)によって特定される、当該ルーム形状の内側の位置=ルームの中である。
The
PC100のCPU201は、HMD101の位置(X,Y,Z座標)とルームの位置(X,Y,Z座標)を用いて、HMD101が現在どのルームの中にあるかを特定し、特定されたHMD101が位置するルーム及びそのルームのフロアのIDをフロア615、ルーム616にそれぞれ記憶するものである。
The
PC100のCPU201は、外部メモリ211から仮想物体(ここでは3Dモデル)の情報を取得し、HMD101から受信した現実画像に重畳して複合現実画像を生成して(ステップS508)、HMD101に送信する(ステップS509)。
The
3Dモデルの情報は、例えば図6のモデル情報620に示す情報である(仮想オブジェクト記憶手段に該当)。モデル情報620は、予めPC100の外部メモリ211に記憶されている情報である。モデルID621は3Dモデルの識別情報である。
The 3D model information is, for example, the information shown in the model information 620 in FIG. 6 (corresponding to virtual object storage means). The model information 620 is information stored in advance in the
モデル名622は、3Dモデルのファイル名である。ファイルパス623は、ファイルが記憶されている場所を示す。位置624、姿勢(方向625、角度626)は、3Dモデルの位置姿勢を示す。
The
PC100のCPU201は、HMDの現在の位置姿勢から、HMD101と同じ画角を持つカメラが、モデル情報620の位置姿勢の3Dモデルを撮影した場合の、当該3Dモデルの画像を描画データ640として生成する。一例として、レンダリング済みのモデル画像とする。
Based on the current position and orientation of the HMD, the
そして、当該描画データを現実画像と合成することで、図6のMR画像テーブル650に示すMR画像(複合現実画像)を生成する。MR画像は、現実に仮想物体の画像を重畳した重畳画像である。 By synthesizing the drawing data with a real image, an MR image (mixed reality image) shown in the MR image table 650 of FIG. 6 is generated. An MR image is a superimposed image obtained by superimposing an image of an actual virtual object.
図7に現実空間及び仮想空間におけるカメラの様子と、MR画像の一例を示す。図7において、700は現実空間、710は仮想空間、720は現実空間と仮想空間を複合した複合現実空間(MR空間)である。 FIG. 7 shows an example of the state of the camera in the real space and the virtual space and an MR image. In FIG. 7, 700 is a real space, 710 is a virtual space, and 720 is a mixed reality space (MR space) combining the real space and the virtual space.
現実空間700と仮想空間710は、例えば同じ大きさの空間であり、703を原点として位置合わせがされている。つまり、現実空間における位置(XYZ座標)及び姿勢と、仮想空間における位置姿勢は同じである。
The
現実空間700においてHMD101の位置姿勢が光学センサ104によって特定される。702は現実物体であり、700においてはHMD101のカメラ装置によって現実物体702の一部が撮影されている。撮影された現実画像(図6の632)の一例を701に示す。
The
仮想空間710において、仮想カメラ713は、HMD101の現実空間上の位置姿勢と同じ仮想空間上の位置姿勢で、仮想空間上に仮想的に配置される。仮想カメラはHMD101ごとに対応づけられて存在する。
In the
HMD101のカメラ装置と仮想カメラ713の画角は同じである。PC100のCPU201は、仮想カメラ713の位置姿勢を、HMD101の現実空間上の位置姿勢に連動させて変更する。
The angle of view of the camera device of the
仮想カメラ713は、仮想空間710の画像(動画)を撮影している。例えば仮想空間710には仮想物体712が配置されており、HMD101と同じ位置姿勢の仮想カメラ713は、仮想物体712を撮影している。711は仮想カメラ713が仮想空間710を撮影した仮想画像であり、711における712は、描画データ640の一例である。
A
PC100のCPU201は、現実画像701と仮想画像711(仮想画像711の中の描画データ)を重畳して、MR画像721(複合現実画像)を生成する。
The
また、MR画像テーブル650の、MR画像を生成するために用いた現実画像の送信元のHMD(HMD ID651)と対応付けて記憶する。その後、HMD ID651の示すHMD101に、複合現実画像652を送信する(ステップS509)。
Also, it is stored in the MR image table 650 in association with the HMD (HMD ID 651) of the transmission source of the real image used for generating the MR image. After that, the
HMD101は、PC100から複合現実画像を受信し(ステップS510)、表示画面に表示する(ステップS511)。HMD101及びPC100は、複合現実アプリケーションの終了指示を受け付けるまで、ステップS502~S511の処理を繰り返し実行する。以上が図5の説明である。
The
次に図9を参照して、本発明の実施形態における、撮影画像の記録処理の流れについて説明する。ここでいう撮影画像の記録処理とは、撮影指示を受け付けた時点のHMD101の位置姿勢と撮影画像を記憶する処理である。
Next, with reference to FIG. 9, the flow of processing for recording a captured image in the embodiment of the present invention will be described. The captured image recording process referred to here is a process of storing the position and orientation of the
ステップS901では、PC100のCPU201は指示を受け付け、受け付けた指示がHMD101に表示中のMR画像の撮影・保存指示か判定する。
In step S<b>901 , the
例えば、HMD101に設置された不図示のレリーズボタンの押下を受け付けた旨の情報をHMD101から受け付け、PC100が当該レリーズボタンの押下を検知した場合に、HMD101に表示中の画像の保存指示を受け付けたと判定する。ここでいう表示中の画像とはサーバ200によって生成されたMR画像である。
For example, when the
ここでは、画像の保存の操作(レリーズボタンの押下)を受け付けたのはHMD101Aであるものとする。
Here, it is assumed that the
画像の保存指示を受け付けた場合、PC100のCPU201は、ステップS902で保存指示がされた時点でHMD101に表示していた画像を、保存指示がされた時点のHMD101の位置姿勢と対応付けて記憶する。
When an image save instruction is received, the
保存指示された画像は、共有画像情報1300に記憶されることで他のHMD101からも参照可能となる。つまり、複数のHMD101によって共有される共有画像として記憶される(撮影画像記憶手段に該当)。
The image instructed to be stored is stored in the shared
例えば、図13の共有画像情報1300に撮影した画像の情報を記憶する。画像ID1301には、ステップS902で画像の保存指示がされた時点でHMD101に表示していたMR画像を記憶する。撮影者1302には、画像の保存指示がされた、画像ID1301の画像を表示していたHMDのIDを記憶する。また、画像の撮影日時を、撮影日時1306に記憶する。
For example, the information of the photographed image is stored in the shared
ステップS903で、PC100のCPU201は、当該画像と対応付けて、HMD101の画像撮影当初の位置姿勢を、共有画像情報1300の1303~1305に記憶する。
In step S903, the
位置1303には、画像の保存指示がされた時点の、撮影者1302の示すHMD101の位置を記憶する。
The
方向1304、角度1305には、画像の保存指示がされた時点の、撮影者1302の示すHMD101の向いている方向と、角度を記憶する。
A
また、ステップ904で、PC100のCPU201は、画像の保存指示がされた時点の、HMD101の位置するフロアと部屋の識別情報(ID)を、フロア1307、ルーム1308に記憶する。以上が図8の説明である。
In step 904 ,
次に図10を参照して、本発明の実施形態における処理の概要について説明する。 Next, with reference to FIG. 10, an outline of processing in the embodiment of the present invention will be described.
ステップS1001で、PC100のCPU201は、HMD101に共有画像を表示する表示処理を行う。当該表示所為の詳細については図11の説明で後述する。
In step S<b>1001 , the
ステップS1002で、PC100のCPU201は、ユーザ操作により共有画像の選択を受け付ける。
In step S1002,
HMD101に一覧表示されている共有画像の場合、例えばHMD101に設置されているボタンを複数回押下することで選択中の共有画像を切り替え、ボタンの長押しを受け付けることで共有画像の選択確定をする。また、仮想空間上の当該共有画像の撮影位置に配置され、HMD101の位置姿勢に応じてHMD101に表示されている共有画像の場合、例えばHMD101の視線で選択を行う。具体的には、HMD101の視線方向と交差する共有画像(共有画像が貼り付けられた仮想オブジェクト)を選択し、当該交差している状態が所定時間以上(例:5秒以上)継続した場合に選択確定する。
In the case of shared images displayed as a list on the
ここでは、当該共有画像の選択を行ったのはHMD101Bであるものとする。
Here, it is assumed that the
共有画像の選択決定は、選択された共有画像の撮影位置への視点の移動指示である。 The decision to select a shared image is an instruction to move the viewpoint to the shooting position of the selected shared image.
ステップS1003で、PC100のCPU201は、ステップS1002で選択された位置に、HMD101の仮想空間上の視点位置を移動する処理を行う。視点位置の移動処理の詳細は図12の説明で後述する。以上が図10の説明である。
In step S1003, the
次に図11を参照して、本発明の実施形態における、共有画像の表示処理の詳細について説明する。 Next, with reference to FIG. 11, the details of the shared image display processing according to the embodiment of the present invention will be described.
共有画像の表示処理は、外部メモリに記憶されているHMD(HMDを装着したユーザ)の過去の位置を選択及び識別可能に表示する処理である。 The display process of the shared image is a process of selecting and displaying the past position of the HMD (the user wearing the HMD) stored in the external memory in an identifiable manner.
ステップS1101で、PC100のCPU201は、共有画像の表示指示を受け付ける。例えば、HMD101に設置された不図示のボタンの押下を受け付け、当該ボタンが押下された旨の情報をHMD101がPC100に送信し、PC100がこれを検知することで共有画像の表示指示を受け付けるものとする。
In step S1101,
PC100のCPU201は、共有画像の表示指示を受け付けた場合にステップS1101の処理を行う。
The
ステップS1101で、PC100のCPU201は、現在のHMD101のユーザの体験状況の属性を取得する。具体的には、ボタンが押下されたHMD101の現在のフロア615、ルーム616を取得する。
In step S<b>1101 , the
PC100のCPU201は、図13の1300に記憶された共有画像数分、ステップS1102~S1106の処理を繰り返す。つまり、全ての共有画像に対してステップS1102、S1103、S1104、S1105又はステップS1102、S1103、S1106の処理を適用する。
ステップS1102で、PC100のCPU201は、ステップS1103以下の処理を未適用の(未処理の)共有画像を1300から1つ取得し、処理中の画像としてRAM上に記憶する。
In step S1102, the
ステップS1103で、PC100のCPU201は、ステップS1102で取得した画像の属性と、ステップS1101で取得したHMD101の体験状況の属性とが一致するか判定する。ここでは、取得した共有画像とHMDが同じルームに位置しているか判定するものとする。
In step S1103, the
ステップS1103で2つのデータの属性が一致している(共有画像とHMDとが同じルームに位置している)と判定された場合、処理をステップS1104に移行する。ステップS1103で2つのデータの属性が一致していない(共有画像とHMDとが同じルームに位置していない)と判定された場合、処理をステップS1106に移行する。 If it is determined in step S1103 that the attributes of the two data match (the shared image and the HMD are located in the same room), the process proceeds to step S1104. If it is determined in step S1103 that the attributes of the two data do not match (the shared image and the HMD are not located in the same room), the process proceeds to step S1106.
ステップS1104で、PC100のCPU201は、HMD101と同じルームに位置すると判定された共有画像を、HMD101の位置姿勢に応じてHMD101に表示する共有画像として決定し、RAM上に記憶する。
In step S1104, the
ステップS1105で、PC100のCPU201は、外部メモリに予め記憶されているテンプレートの仮想オブジェクト(テンプレートモデル情報1310に図示)を取得する。
In step S1105, the
テンプレートの仮想オブジェクトの構成は、モデル情報620の構成と同じである。但し、まだ仮想空間に配置されていない状態のであり、モデルIDや位置姿勢の情報は未挿入の状態である。 The configuration of the template virtual object is the same as the configuration of the model information 620 . However, the model has not yet been placed in the virtual space, and information on the model ID and position and orientation has not yet been inserted.
ステップS1105で、PC100のCPU201は、追加表示モデル情報1320のテーブルを外部メモリに生成して、取得したテンプレートの仮想オブジェクトをコピーし、追加・記憶する。つまり、表示対象の仮想オブジェクトを生成する。
In step S1105, the
追加表示モデル情報1320は、HMD101ごと(ユーザごと)に、HMD101のIDと対応付けて作成・記憶・管理する。追加表示モデル情報1320は、モデル情報620に加えて、当該追加表示モデル情報1320に対応するHMD101(共有画像の表示指示がされたHMD101)のMR画像の生成に用いる仮想オブジェクトを記憶するテーブルである。他のHMD101のMR画像の生成には用いない。
The additional
なお、追加表示モデル情報1320におけるモデルIDには、追加表示モデル情報1320へのデータの追加時に新規の値を付与する。また、モデルの姿勢は一律同じ値を設定する。
A new value is assigned to the model ID in the additional
PC100のCPU201は、ステップS1104でRAMに記憶した共有画像の位置を取得し、追加表示モデル情報1320に追加した仮想オブジェクトの位置として記憶する。そして、画像1321に、ステップS1102で取得した共有画像を記憶する。つまり、共有画像の仮想空間上の位置を決定する。
The
画像1321は、当該追加表示モデル情報1320に追加した仮想オブジェクトにテクスチャ画像として貼り付ける画像を記憶する記憶部である。
The
ステップS1106で、PC100のCPU201は、HMD101と同じルームに位置しないと判定された共有画像を、HMD101の共有画像一覧表示部に表示する共有画像として決定し、RAM上に記憶する。
In step S1106, the
PC100のCPU201は、全ての共有画像に対するS1102~S1106の処理を完了すると、処理をステップS1107に移行する。
When the
ステップS1107で、PC100のCPU201は、モデル情報620及び追加表示モデル情報1320を用いて、ステップS1101で共有画像の表示指示がされたHMD101のMR画像の生成・表示更新を行う。具体的には、図5のステップS506以降の処理を順次行い、ステップS508において、モデル情報620だけでなく、追加表示モデル情報1320の仮想オブジェクトも用いて描画データの生成及びHMD101の画面における表示位置(描画位置)を決定してMR画像を生成し、ステップS511まで処理を実行する。
In step S1107, the
また、ステップS1106で記憶された、HMD101と同じルームに位置しないと判定された共有画像があるか判定し、ある場合には、当該HMD101と同じルームに位置しないと判定された共有画像をHMD101に一覧表示する(一覧表示部に各共有画像を配置して表示する)。
Also, it is determined whether there is a shared image that is determined not to be located in the same room as the
以降、共有画像の表示を終了する指示を受け付けるまで、共有画像の一覧、又は/及び共有画像を貼り付けた仮想オブジェクトを用いたMR画像の生成・表示処理を継続する。以上が図11の説明である。 From then on, the MR image generation/display processing using the list of shared images and/or the virtual object to which the shared images are pasted is continued until an instruction to end the display of the shared images is received. The above is the description of FIG.
HMD101と同じルームの共有画像のみ記憶されている場合の共有画像の表示(共有画像がテクスチャとして貼り付けられた仮想オブジェクトの表示)の一例を、図15の1500に示す。テンプレートの仮想オブジェクトは、1505に示す共有画像の撮像位置(具体的には撮影位置から高さ方向において床に向けて垂直に伸ばした線と床が交差する点)を示す部分と、共有画像を貼り付ける1501~1504の部分とから成る。1501~1504には、HMD101と同じルームの共有画像が貼り付けられ、HMD101で表示される。
An example of display of a shared image (display of a virtual object to which the shared image is pasted as a texture) when only the shared image of the same room as the
HMD101と別のルームの共有画像のみ記憶されている場合の共有画像の表示の一例を、図15の1510に示す。一覧表示部1511には、HMD101と別のルームの共有画像が選択可能に一覧表示されている。
1510 in FIG. 15 shows an example of shared image display when only shared images of the
HMD101と同じルームの共有画像と、HMD101と別のルームの共有画像の両方が記憶されている場合の共有画像の表示の一例を図16の1600に示す。
1600 in FIG. 16 shows an example of shared image display when both a shared image in the same room as the
次に図12を参照して、本発明の実施形態における、視点位置の移動処理の詳細について説明する。 Next, with reference to FIG. 12, the details of the viewpoint position movement processing according to the embodiment of the present invention will be described.
視点位置を移動させるとは、現実空間におけるHMD101の動きと連動して移動・方向転換する仮想空間上の仮想のカメラの位置を、他の仮想空間上の位置に移動させるということである。例えば図14に示すように、HMD101に対応する仮想カメラ713の位置を、仮想空間において移動させる処理である。
To move the viewpoint position means to move the position of the virtual camera in the virtual space, which moves and changes direction in conjunction with the movement of the
現実空間のHMD101の視点が移動するわけではなく、仮想空間上の仮想の視点が移動だけであるため、現実の映像に重畳する仮想物体(CG)の表示のみが移動先の位置から見た仮想物体の表示に変更されることとなる。共有画像の位置は移動先の候補の位置である。
Since the viewpoint of the
ステップS1201で、PC100のCPU201は、図10のステップS1002において選択された共有画像の位置姿勢を取得する。具体的には、図13の共有画像情報1300から対象の共有画像の位置1303、方向1304、角度1305を取得する。
In step S1201, the
ステップS1202で、PC100のCPU201は、ステップS1201で取得した位置姿勢情報からHMD101の仮想空間上の位置(視点位置)の移動先の位置を決定する。例えば、当該共有画像の位置1303を移動先の位置として決定する。
In step S1202, the
ステップS1203で、PC100のCPU201は、ステップS1202で決定した移動先の位置に、HMD101の仮想空間上の視点位置を変更する。つまり、ユーザの視点を指定された共有画像の位置に移動する。
In step S1203, the
ステップS1204で、PC100のCPU201は、HMD101のカメラが撮像している現在の現実画像と、移動先の仮想空間上の視点位置から見た仮想オブジェクトの画像を合成(重畳)して、MR画像を生成し、ステップS1205でHMD101に送信して表示させる。
In step S1204, the
以降、視点位置の移動を解除する操作がされるまで、現在の現実画像と、移動先の仮想空間上の視点位置から見た仮想オブジェクトの画像を合成してMR画像を生成し、HMD101に表示するものとする。以上が図12の説明である。
Thereafter, until an operation to cancel the movement of the viewpoint position is performed, the current physical image and the image of the virtual object seen from the viewpoint position in the virtual space of the movement destination are combined to generate an MR image, which is displayed on the
視点の移動前後の位置関係及びMR画像の状態を図14に示す。1400の1401は現実画像である。1410は仮想空間上のHMD101の視点位置(仮想カメラ)の移動の様子を示す。1411は視点位置の移動前の仮想空間の画像である。1420の1421は、視点位置移動後のMR画像の一例である。
FIG. 14 shows the positional relationship and the state of the MR image before and after the viewpoint is moved. 1401 of 1400 is a real image.
以上説明したように、本発明によれば、ユーザと記録済の位置の関係に応じて適切に当該位置の選択部を表示することが可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of appropriately displaying the selection portion of the position according to the relationship between the user and the recorded position.
例えば、ユーザが装着したHMDの位置する部屋と、共有画像の位置する部屋とに応じて、共有画像の表示方法を変更してユーザに提示することができる。 For example, the display method of the shared image can be changed and presented to the user according to the room in which the HMD worn by the user is located and the room in which the shared image is located.
これにより、仮に一覧に表示する共有画像(過去の位置の識別情報)が多い場合であっても、一覧表示部を過剰に拡大してしまいHMDの表示領域を圧迫してしまう危険を低減できる。 As a result, even if there are many shared images (identification information of past positions) to be displayed in the list, it is possible to reduce the risk of excessively enlarging the list display portion and compressing the display area of the HMD.
なお、上述した実施形態においては、図11のステップS1103で、HMD101と共有画像が同じ部屋の中にあるか判定するものとしたが、例えば、HMD101と共有画像が同じフロアにあるか判定するようしにてもよい。
In the above-described embodiment, it is determined in step S1103 of FIG. 11 whether the
具体的には、ステップS1103においてPC100のCPU201が、ステップS1101で取得したHMD101の位置するフロアと、ステップS1102で取得した共有画像に対応するフロアとが一致するか判定し、一致する場合は処理をステップS1104に移行し、一致しない場合は処理をステップ1106に移行する。
Specifically, in step S1103, the
これにより、仮に一覧に表示する共有画像(過去の位置の識別情報)が多い場合であっても、一覧表示部を過剰に拡大してしまいHMDの表示領域を圧迫してしまう危険を低減できる。 As a result, even if there are many shared images (identification information of past positions) to be displayed in the list, it is possible to reduce the risk of excessively enlarging the list display portion and compressing the display area of the HMD.
また、図6の660に示す部屋の情報がない場合であっても、フロアの情報さえれば、ユーザと記録済の位置の関係に応じて適切に当該位置の選択部を表示することが可能となる。 Also, even if there is no room information shown in 660 in FIG. 6, if there is floor information, it is possible to appropriately display the position selection part according to the relationship between the user and the recorded position. becomes.
また、上述した実施形態においては、共有画像として記憶するデータは静止画である画像として説明したが、例えば動画像であってもよい。動画の撮影場所=動画の撮影が開始された時点(録画開始時点)の撮影者のHMDの位置とする。 Further, in the above-described embodiment, the data stored as the shared image has been described as an image that is a still image, but it may be, for example, a moving image. Moving image shooting location=Position of the HMD of the photographer at the time when the shooting of the moving image is started (when the recording is started).
以上、本発明の実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 Although the embodiments of the present invention have been described above, the present invention can be embodied as, for example, systems, devices, methods, programs, recording media, and the like. Specifically, it may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.
例えば、図2に示すPC100の構成を全て備えるHMD101が、自機の機能をCPU201で実行して、上述した実施形態においてPC100の実行するものとして説明した処理の全てを、実行するようにしてもよい。
For example, even if the
具体的には、HMD101とPC100が一体であり、1つ筐体として、HMD101のCPU201が、ステップS504~S509の処理及びその他の図のフローチャートに記載の処理を実行するよう構成してもよい。この場合、PC100の機能は各HMD101に備わり、各HMD101の記憶装置に、光学センサ104から取得された各HMD101の位置姿勢が記憶されるものとする。
Specifically, the
なお、上述した実施形態においては、複合現実における視点移動と案内について説明したが、例えば視点移動及び経路案内の表示を、仮想現実や拡張現実の技術を用いて実現するようにしてもよい。 In the above-described embodiment, viewpoint movement and guidance in mixed reality have been described, but for example, viewpoint movement and route guidance display may be realized using virtual reality or augmented reality technology.
また、上述した実施形態においては、現実画像と仮想物体の描画データを重畳することで複合現実画像を生成するものとしたが、例えば透過型(シースルー型)のHMD101を採用し、透過率100%の現実画像に透過率0%の描画データを重ね合わせてディスプレイに表示し、現実の情報はディスプレイ越しに肉眼で確認できるような複合現実画像を生成・表示するようにしてもよい。 In the above-described embodiment, the mixed reality image is generated by superimposing the drawing data of the real image and the virtual object. Rendering data with a transmittance of 0% may be superimposed on the real image and displayed on the display, and a mixed reality image may be generated and displayed so that the real information can be confirmed with the naked eye through the display.
また、上述した実施形態においては、MR画像を生成するものとしたが、例えば仮想世界の画像のみを表示するようにしてもよい。つまり、複合現実ではなく、仮想現実の技術を用いて本発明を実現するようにしてもよい。 Also, in the above-described embodiment, the MR image is generated, but for example, only the image of the virtual world may be displayed. In other words, the present invention may be realized using virtual reality technology instead of mixed reality.
また、本発明におけるプログラムは、各図に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各図の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各図の各装置の処理方法ごとのプログラムであってもよい。 Further, the program in the present invention is a program that allows a computer to execute the processing method of each flowchart, and the storage medium of the present invention stores a program that enables a computer to execute the processing method of each drawing. In addition, the program in the present invention may be a program for each processing method of each device in each figure.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読み出し実行することによっても、本発明の目的が達成されることは言うまでもない。 As described above, a recording medium recording a program for realizing the functions of the above-described embodiments is supplied to a system or device, and the computer (or CPU or MPU) of the system or device reads the program stored in the recording medium. Needless to say, the object of the present invention can also be achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium implements the novel functions of the present invention, and the recording medium storing the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、DVD-ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。 Examples of recording media for supplying programs include flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, DVD-ROMs, magnetic tapes, non-volatile memory cards, ROMs, EEPROMs, silicon A disk, solid state drive, or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also based on the instructions of the program, the OS (operating system) and the like running on the computer are actually executed. Needless to say, a case where part or all of the processing is performed and the functions of the above-described embodiments are realized by the processing are included.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written in the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is read according to the instruction of the program code. It goes without saying that a case where a CPU or the like provided in a function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Moreover, the present invention may be applied to a system composed of a plurality of devices or to an apparatus composed of a single device. Further, it goes without saying that the present invention can be applied to the case where it is achieved by supplying a program to a system or apparatus. In this case, by loading a recording medium storing a program for achieving the present invention into the system or device, the system or device can enjoy the effects of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Furthermore, by downloading and reading out the program for achieving the present invention from a server, database, etc. on the network using a communication program, the system or device can enjoy the effects of the present invention.
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 It should be noted that all configurations obtained by combining each of the above-described embodiments and modifications thereof are also included in the present invention.
100 PC
101A HMD
101B HMD
101C HMD
103 光学式マーカ
104 光学センサ
150 ネットワーク
100 PCs
101A HMD
101B HMD
101C HMDs
103
Claims (12)
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示するように制御する表示制御手段と、
前記表示制御手段により表示された前記複数の過去の視点位置において表示された画像の選択を受け付ける選択受付手段と、
を備え、
前記表示制御手段は、前記ユーザが位置する区画とは異なる区画で撮影された過去画像について、一覧表示するように制御することを特徴とする情報処理装置。 An information processing device capable of reading information from a storage unit that stores the positions of sections in a building,
display control means for controlling to display a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
selection receiving means for receiving a selection of images displayed at the plurality of past viewpoint positions displayed by the display control means;
with
The information processing apparatus, wherein the display control means performs control to display a list of past images captured in a section different from the section in which the user is located.
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示するように制御する表示制御ステップと、
前記表示制御ステップにより表示された前記複数の過去の視点位置において表示された画像の選択を受け付ける選択受付ステップと、
を備え、
前記表示制御ステップは、前記ユーザが位置する区画とは異なる区画で撮影された過去画像について、一覧表示するように制御することを特徴とする情報処理装置の制御方法。 A control method for an information processing device capable of reading information from a storage unit that stores the positions of blocks in a building,
a display control step of controlling to display a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
a selection receiving step of receiving a selection of images displayed at the plurality of past viewpoint positions displayed by the display control step;
with
The control method for an information processing apparatus, wherein the display control step performs control so as to display a list of past images captured in a section different from a section in which the user is located.
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示するように制御する表示制御手段と、
前記表示制御手段により表示された前記複数の過去の視点位置において表示された画像の選択を受け付ける選択受付手段と、
を備え、
前記表示制御手段は、前記ユーザが位置する区画とは異なる区画で撮影された過去画像について、一覧表示するように制御することを特徴とする情報処理システム。 An information processing system including a display device and an information processing device capable of reading information from a storage unit that stores the positions of blocks in a building,
display control means for controlling to display a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
selection receiving means for receiving a selection of images displayed at the plurality of past viewpoint positions displayed by the display control means;
with
The information processing system, wherein the display control means performs control to display a list of past images shot in a section different from the section in which the user is located.
ユーザの現在の視点位置と同じ前記区画に位置する複数の過去の視点位置及び当該視点位置において表示された画像を表示するように制御する表示制御ステップと、
前記表示制御ステップにより表示された前記複数の過去の視点位置において表示された画像の選択を受け付ける選択受付ステップと、
を備え、
前記表示制御ステップは、前記ユーザが位置する区画とは異なる区画で撮影された過去画像について、一覧表示するように制御することを特徴とする情報処理システムの制御方法。 A control method for an information processing system including a display device and an information processing device capable of reading information from a storage unit that stores the positions of blocks in a building,
a display control step of controlling to display a plurality of past viewpoint positions located in the same section as the user's current viewpoint position and images displayed at the viewpoint positions;
a selection receiving step of receiving a selection of images displayed at the plurality of past viewpoint positions displayed by the display control step;
with
The control method for an information processing system, wherein the display control step controls to display a list of past images captured in a section different from the section in which the user is located.
A program for causing a computer to function as each means of the information processing apparatus according to any one of claims 1 to 8 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021014923A JP7273325B2 (en) | 2017-01-31 | 2021-02-02 | Information processing device, information processing system, information processing method and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017015825A JP6836060B2 (en) | 2017-01-31 | 2017-01-31 | Information processing equipment, information processing system, information processing method and program |
JP2021014923A JP7273325B2 (en) | 2017-01-31 | 2021-02-02 | Information processing device, information processing system, information processing method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017015825A Division JP6836060B2 (en) | 2017-01-31 | 2017-01-31 | Information processing equipment, information processing system, information processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021099816A JP2021099816A (en) | 2021-07-01 |
JP7273325B2 true JP7273325B2 (en) | 2023-05-15 |
Family
ID=63111514
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017015825A Active JP6836060B2 (en) | 2017-01-31 | 2017-01-31 | Information processing equipment, information processing system, information processing method and program |
JP2021014923A Active JP7273325B2 (en) | 2017-01-31 | 2021-02-02 | Information processing device, information processing system, information processing method and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017015825A Active JP6836060B2 (en) | 2017-01-31 | 2017-01-31 | Information processing equipment, information processing system, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6836060B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6836060B2 (en) * | 2017-01-31 | 2021-02-24 | キヤノンマーケティングジャパン株式会社 | Information processing equipment, information processing system, information processing method and program |
JP7525741B2 (en) | 2021-07-26 | 2024-07-30 | 株式会社Nttドコモ | Content Sharing System |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006020237A (en) | 2004-07-05 | 2006-01-19 | Sony Ericsson Mobilecommunications Japan Inc | Image processing program, remote control program, image processor and remote controller |
JP2006140816A (en) | 2004-11-12 | 2006-06-01 | Konica Minolta Photo Imaging Inc | Video display device and video display system |
JP2010093713A (en) | 2008-10-10 | 2010-04-22 | Sony Corp | Display control device, display control method, and program |
JP2015228050A (en) | 2014-05-30 | 2015-12-17 | ソニー株式会社 | Information processing device and information processing method |
JP2017215664A (en) | 2016-05-30 | 2017-12-07 | サン電子株式会社 | Terminal device |
JP2018124746A (en) | 2017-01-31 | 2018-08-09 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing system, information processing method and program |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11122638A (en) * | 1997-10-15 | 1999-04-30 | Oki Electric Ind Co Ltd | Image processor, image processing method, and computer-readable information recording medium recorded with image processing program |
JP6123618B2 (en) * | 2013-09-30 | 2017-05-10 | 大日本印刷株式会社 | Video output apparatus, video output method, and program |
JP6705124B2 (en) * | 2015-04-23 | 2020-06-03 | セイコーエプソン株式会社 | Head-mounted display device, information system, head-mounted display device control method, and computer program |
KR20160033376A (en) * | 2014-09-18 | 2016-03-28 | (주)에프엑스기어 | Head-mounted display controlled by line of sight, method for controlling the same and computer program for controlling the same |
JP5876607B1 (en) * | 2015-06-12 | 2016-03-02 | 株式会社コロプラ | Floating graphical user interface |
JP5961736B1 (en) * | 2015-08-17 | 2016-08-02 | 株式会社コロプラ | Method and program for controlling head mounted display system |
JP2017228044A (en) * | 2016-06-21 | 2017-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | Image forming device, image generation system, and image generation method |
JP6810342B2 (en) * | 2016-10-13 | 2021-01-06 | キヤノンマーケティングジャパン株式会社 | Information processing equipment, information processing system, its control method and program |
JP6871501B2 (en) * | 2016-10-13 | 2021-05-12 | キヤノンマーケティングジャパン株式会社 | Information processing equipment, information processing system, its control method and program |
JP6842441B2 (en) * | 2018-05-11 | 2021-03-17 | 株式会社ソニー・インタラクティブエンタテインメント | Programs and information processing equipment |
-
2017
- 2017-01-31 JP JP2017015825A patent/JP6836060B2/en active Active
-
2021
- 2021-02-02 JP JP2021014923A patent/JP7273325B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006020237A (en) | 2004-07-05 | 2006-01-19 | Sony Ericsson Mobilecommunications Japan Inc | Image processing program, remote control program, image processor and remote controller |
JP2006140816A (en) | 2004-11-12 | 2006-06-01 | Konica Minolta Photo Imaging Inc | Video display device and video display system |
JP2010093713A (en) | 2008-10-10 | 2010-04-22 | Sony Corp | Display control device, display control method, and program |
JP2015228050A (en) | 2014-05-30 | 2015-12-17 | ソニー株式会社 | Information processing device and information processing method |
JP2017215664A (en) | 2016-05-30 | 2017-12-07 | サン電子株式会社 | Terminal device |
JP2018124746A (en) | 2017-01-31 | 2018-08-09 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing system, information processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP2018124746A (en) | 2018-08-09 |
JP6836060B2 (en) | 2021-02-24 |
JP2021099816A (en) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7060778B2 (en) | Information processing system, information processing system control method and program | |
JP6618681B2 (en) | Information processing apparatus, control method and program therefor, and information processing system | |
JP6871501B2 (en) | Information processing equipment, information processing system, its control method and program | |
KR101833253B1 (en) | Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same | |
JP6920057B2 (en) | Image processing equipment, image processing method, computer program | |
JP7273325B2 (en) | Information processing device, information processing system, information processing method and program | |
JP6004051B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
JP2016122392A (en) | Information processing apparatus, information processing system, control method and program of the same | |
JP2003296757A (en) | Information processing method and device | |
JP6409861B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP2018106297A (en) | Mixed reality presentation system, information processing apparatus and control method thereof, and program | |
JP6011567B2 (en) | Information processing apparatus, control method thereof, and program | |
JP6152888B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
JP6810342B2 (en) | Information processing equipment, information processing system, its control method and program | |
JP6376251B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP2017084215A (en) | Information processing system, control method thereof, and program | |
JP7279113B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM | |
JP6357412B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
JP7116334B2 (en) | Information processing device, information processing system, control method thereof, and program | |
JP2020074108A (en) | Information processing system, control method thereof, and program | |
JP6164177B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP7111940B2 (en) | Information processing device, information processing system, control method thereof, and program | |
JP6734537B2 (en) | Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program | |
JP2019012334A (en) | Information processor, information processing system, method for control, and program | |
JP7029087B2 (en) | Information processing equipment, information processing system, its control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221209 |
|
C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20221227 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230119 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7273325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |