WO2021024479A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2021024479A1
WO2021024479A1 PCT/JP2019/031478 JP2019031478W WO2021024479A1 WO 2021024479 A1 WO2021024479 A1 WO 2021024479A1 JP 2019031478 W JP2019031478 W JP 2019031478W WO 2021024479 A1 WO2021024479 A1 WO 2021024479A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
coordinate axis
processing device
predetermined space
coordinate
Prior art date
Application number
PCT/JP2019/031478
Other languages
English (en)
French (fr)
Inventor
俊亨 森本
Original Assignee
Ｇｒａｆｆｉｔｙ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｇｒａｆｆｉｔｙ株式会社 filed Critical Ｇｒａｆｆｉｔｙ株式会社
Priority to PCT/JP2019/031478 priority Critical patent/WO2021024479A1/ja
Priority to JP2019566704A priority patent/JP6736147B1/ja
Publication of WO2021024479A1 publication Critical patent/WO2021024479A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • the present invention has been made in view of such a situation, and an object of the present invention is to enable a plurality of information processing devices to appropriately execute various types of information processing such as games using AR by sharing a space. To do.
  • the information processing device of one aspect of the present invention is In an information processing device that exchanges information by sharing a predetermined space with other information processing devices.
  • the conversion rule generation means Based on the read image, the position of the other information processing device on the first coordinate axis is estimated, and based on the estimation result, the coordinate axis in the predetermined space is set from the first coordinate axis as the rule. Generate a transformation matrix to convert to the second coordinate axis, be able to.
  • a coordinate conversion means for converting a coordinate axis in the predetermined space from the first coordinate axis to the second coordinate axis using the transformation matrix. Can be further prepared.
  • Each of the information processing methods and programs of one aspect of the present invention is each of the above-mentioned information processing methods and programs of one aspect of the present invention.
  • the information processing device of another aspect of the present invention may be used.
  • an information processing device that exchanges information by sharing a predetermined space with other information processing devices.
  • a coordinate setting means for setting the first coordinate axis in the predetermined space
  • the position of the information processing device on the second coordinate axis is estimated by being read, and the second coordinate axis is estimated based on the estimation result.
  • An image generation means for generating image data used for generating a rule for converting the first coordinate axis based on the first coordinate axis.
  • a display control means that executes control to display the image generated as the data by the image generation means, and To be equipped.
  • Each of the information processing methods and programs of another aspect of the present invention is each of the above-mentioned information processing methods and programs of another aspect of the present invention.
  • a plurality of information processing devices can appropriately execute various types of information processing such as games using AR by sharing a space.
  • FIG. 5 is an arrow chart illustrating an example of a series of processes up to sharing the AR space, which are executed between the master unit and the slave unit having the functional configuration of FIG.
  • FIG. 1 is a block diagram showing a hardware configuration of an embodiment according to the information processing apparatus of the present invention.
  • the information processing device 1 is composed of a smartphone or the like.
  • the information processing device 1 includes a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, a bus 24, an input / output interface 25, a touch operation input unit 26, and the like. It includes a display unit 27, an imaging unit 28, a storage unit 29, a communication unit 30, and a drive 31.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 21 executes various processes according to the program recorded in the ROM 22 or the program loaded from the storage unit 29 into the RAM 23. Data and the like necessary for the CPU 21 to execute various processes are also appropriately stored in the RAM 23.
  • the CPU 21, ROM 22 and RAM 23 are connected to each other via the bus 24.
  • An input / output interface 25 is also connected to the bus 24.
  • a touch operation input unit 26, a display unit 27, an imaging unit 28, a storage unit 29, a communication unit 30, and a drive 31 are connected to the input / output interface 25.
  • the touch operation input unit 26 is composed of, for example, a capacitance type or resistance film type (pressure sensitive type) position input sensor laminated on the display unit 27, and detects the coordinates of the position where the touch operation is performed.
  • the touch operation means an operation of contacting or approaching an object with respect to the touch operation input unit 26.
  • An object that comes into contact with or is close to the touch operation input unit 26 is, for example, a player's finger or a stylus.
  • the position where the touch operation is performed is referred to as a "touch position”
  • the coordinates of the touch position are referred to as "touch coordinates”.
  • the display unit 27 is composed of a display such as a liquid crystal display, and displays various images such as an image related to a game.
  • the touch panel is composed of the touch operation input unit 26 and the display unit 27.
  • the imaging unit 28 images a subject in response to an instruction operation by the player, and outputs data of an captured image (for example, a marker image described later) obtained as a result.
  • the storage unit 29 is composed of a DRAM (Dynamic Random Access Memory) or the like, and stores various data.
  • the communication unit 30 controls communication with other devices (a server (not shown) or another player terminal (not shown) via a network including the Internet (not shown).
  • the drive 31 is provided as needed.
  • a removable media 32 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately mounted on the drive 31.
  • the program read from the removable media 32 by the drive 31 is installed in the storage unit 29 as needed.
  • the removable media 32 can also store various data stored in the storage unit 29 in the same manner as the storage unit 29.
  • the AR space is a space processed by the information processing device 1, and is a space to which some information such as the arrangement of objects is added to the real space (constructed in the information processing device 1 based on the captured image). Space).
  • the position and orientation of an object or the like in the AR space are defined based on the coordinate axes (including the origin) used in the AR space recognized by the information processing device 1. Aligning the coordinate axes used in the AR space in each of the plurality of information processing devices 1 means "sharing the AR space".
  • the plurality of information processing devices 1 (master unit 1-P and slave unit 1-C described later in the example of FIG. 2) have the same coordinate axes used in the AR space.
  • the master unit 1-P refers to an information processing device 1 in which a reference coordinate axis (coordinate axis used in the shared AR space) is set.
  • the slave unit 1-C refers to an information processing device 1 other than the master unit 1-P.
  • each of the master unit 1-P and the slave unit 1-C moves SLAM (Simultaneus Localization and Mapping) to perform spatial recognition.
  • SLAM Simultaneus Localization and Mapping
  • the axis axp in the AS space SP is set on the master unit 1-P side
  • the axis axc (different from the axis app) in the AS space SP is set on the slave unit 1-C side.
  • the master unit 1-P generates data of an image GM (hereinafter, referred to as "marker image GM") as a marker including information capable of identifying the axis axp, and displays the marker image GM on the display unit 27 (hereinafter, referred to as “marker image GM”). It is displayed in Fig. 1).
  • the slave unit 1-C reads the marker image GM using the imaging unit 28 (FIG. 1).
  • the slave unit 1-C When the slave unit 1-C reads the marker image GM, the position and orientation of the master unit 1-P as seen from the slave unit 1-C (coordinates on the axis axc set by the slave unit 1-C and Estimate the vector starting from that coordinate). Based on the estimation result, the slave unit 1-C aligns the origin of the axis axc with the origin of the axis axp and aligns the direction of the axis axc with that of the axis axp.
  • the slave unit 1-C generates a matrix XC (hereinafter, referred to as "transformation matrix XC”) for converting the coordinates and the posture on the axis axc into the coordinates and the posture on the axis axp.
  • transformation matrix XC a matrix XC for converting the coordinates and the posture on the axis axc into the coordinates and the posture on the axis axp.
  • the slave unit 1-C and the master unit 1-P share the AR space SP. That is, the master unit 1-P processes various information in the AR space SP by using the coordinates and directions of the coordinate axis app set first.
  • the slave unit 1-C uses the coordinates and directions of the coordinate axes (same as the coordinate axis axp) converted by the transformation matrix XC with respect to the coordinates and directions of the coordinate axis axc initially set in the AR space SP. Process various information.
  • the slave unit 1-C and the master unit 1-P mutually exchange various information subjected to various processing in this way by P2P (peer-to-peer).
  • the series of processes up to sharing the AR space SP between the master unit 1-P and the slave unit 1-C described above is the cooperation of hardware and software between the master unit 1-P and the slave unit 1-C, respectively. Realized by work.
  • the master unit 1-P and the slave unit 1-C can have, for example, the functional configuration shown in FIG. FIG. 3 is a functional block diagram showing an example of the functional configuration when a series of processes up to sharing the AR space are executed among the functional configurations of the master unit and the slave unit of FIG. 2. ..
  • the master unit processing unit 52 and the communication control unit 53 function.
  • the master unit 1-P may also function as the slave unit 1-C depending on the situation, and in this case, the slave unit processing unit 51 functions.
  • the master unit processing unit 52 is provided with a coordinate setting unit 61, a marker image generation unit 62, and a marker image display control unit 63.
  • the slave unit processing unit 51 and the communication control unit 53 function.
  • the slave unit 1-C may also function as the master unit 1-P depending on the situation, and in this case, the master unit processing unit 52 functions.
  • the slave unit processing unit 52 is provided with a coordinate setting unit 71, a marker image reading unit 72, a conversion matrix generation unit 73, and a coordinate conversion unit 74.
  • FIG. 4 is an arrow chart illustrating an example of a series of processes performed between the master unit and the slave unit having the functional configuration of FIG. 3 until the AR space is shared.
  • step S11 the coordinate setting unit 61 of the master unit 1-P performs spatial recognition by SLAM based on the data of the captured image in the real space captured by the imaging unit 28, and the coordinate axis axp in the AR space SP (FIG. 2). To set.
  • step S21 the coordinate setting unit 71 of the slave unit 1-C performs spatial recognition by SLAM based on the data of the captured image in the real space captured by the imaging unit 28, and the coordinate axis axc in the AR space SP ( Figure 2) is set.
  • step S12 the marker image generation unit 62 of the master unit 1-P generates the data of the marker image GM (FIG. 2) based on the coordinate axis axp set in the process of step S11.
  • step S13 the marker image display control unit 63 of the master unit 1-P executes control to display the marker image GM corresponding to the data generated in the process of step S12 on the display unit 27.
  • step S22 the marker image reading unit 72 of the slave unit 1-C reads the marker image GM (data of the captured image of the imaging unit 28).
  • step S23 the transformation matrix generation unit 73 of the slave unit 1-C has the position and orientation of the master unit 1-P as seen from the slave unit 1-C at the timing of step S22 (the timing when the marker image GM is read). Estimate the coordinates on the axis axc set by the slave unit 1-C and the vector starting from those coordinates).
  • step S24 the transformation matrix generation unit 73 of the slave unit 1-C generates the transformation matrix XC (FIG. 2) based on the position and orientation of the master unit 1-P estimated in the process of step S23.
  • step S25 the coordinate conversion unit 74 of the slave unit 1-C converts the coordinate axes (matches the coordinate axis axp) using the conversion matrix XC generated in the process of step S24.
  • the AR space SP is shared between the slave unit 1-C and the master unit 1-P.
  • step S14 the communication control unit 53 of the master unit 1-P uses the coordinate axis axp (set in the process of step S11) set by the coordinate setting unit 61 to transmit information in the shared AR space SP. , Transfers to and from the slave unit 1-C via the communication unit 30.
  • step S26 the communication control unit 53 of the slave unit 1-C uses the coordinate axis app converted by the coordinate conversion unit 74 (converted in the process of step S25) to transmit information in the shared AR space SP. , Transfers to and from the master unit 1-P via the communication unit 30.
  • a method of matching the coordinate axes axp of the master unit 1-P (the method shown in FIG. 2) was adopted in the above-described embodiment, but the method is not particularly limited thereto, and for example, FIG. And each method shown in FIG. 6 can be adopted.
  • FIG. 5 is an example of a method of sharing an AR space when a plurality of information processing devices of FIG. 1 exist, and is a diagram for explaining an example different from that of FIG.
  • a method of sharing only the transformation matrix is adopted. That is, the example of FIG. 5 is the same as the example of FIG. 4 in that the marker image GM is read on the slave unit 1-C side.
  • the transformation matrix XCC for converting the coordinate axis axp on the master unit 1-P side to the coordinate axis axc on the slave unit 1-C side and the coordinate axis axc on the slave unit 1-C side are used as the master unit 1.
  • the transformation matrix XCP (inverse matrix of the transformation matrix XCC) for converting to the coordinate axis axp on the P side is shared between the master unit 1-P and the slave unit 1-C, so that the AR space SP Sharing is planned.
  • FIG. 6 is an example of a method of sharing an AR space when a plurality of information processing devices of FIG. 1 exist, and is a diagram for explaining an example different from those of FIGS. 4 and 5.
  • the information processing apparatus 1 is equal without distinguishing between the master unit 1-P and the slave unit 1-C. That is, the reference coordinate axis in the AR space SP is adopted as the reference axis axp on the master unit 1-P side in the examples of FIGS. 4 and 5, but is not particularly limited to this, and is set in advance in the example of FIG.
  • the coordinate axis axes that are held on the cloud (Internet) are adopted.
  • the point cloud data PG obtained as a result of restoring the real space SF in three dimensions and the data thereof. It is assumed that the coordinate axes ax used in the PG are associated with each other and are stored in the cloud (on the Internet) in advance. This coordinate axis axes is a reference coordinate axis in the AR space SP corresponding to the real space SF.
  • each of the information processing devices 1-1 and 1-2 images the real space SF, and based on the data of the captured image obtained as a result, The coordinate axis axc1 or the coordinate axis axc2 is set respectively.
  • Each of the information processing devices 1-1 and 1-2 extracts the feature points of the captured image and matches them with the data PG held in the cloud, so that the coordinate axis axc1 or the coordinate axis axc2 is used as a reference coordinate axis. Match to axes.
  • the AR space SP corresponding to the real space SF can be shared between the information processing devices 1-1 and 1-2.
  • the series of processes described above can be executed by hardware or software.
  • the functional configuration of FIG. 3 is merely an example and is not particularly limited. That is, it suffices if the information processing system is provided with a function capable of executing the above-mentioned series of processes as a whole, and what kind of functional block is used to realize this function is not particularly limited to the example of FIG.
  • the location of the functional block is not particularly limited to FIG. 3, and may be arbitrary.
  • each functional block shown in FIG. 3 is provided in the information processing apparatus 1 as a native application in the above-described embodiment, but is implemented as a Web application using HTML and Javascript (registered trademark). Therefore, it is possible to prepare for a server or the like (not shown).
  • one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
  • the computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose smartphone or a personal computer in addition to a server.
  • the recording medium containing such a program is not only composed of a removable medium (not shown) distributed separately from the device main body in order to provide the program to the user, but also is preliminarily incorporated in the device main body to the user. It is composed of the provided recording media and the like.
  • the steps for describing a program recorded on a recording medium are not necessarily processed in chronological order, but also in parallel or individually, even if they are not necessarily processed in chronological order. It also includes the processing to be executed.
  • the term of the system shall mean an overall device composed of a plurality of devices, a plurality of means, and the like.
  • the information processing apparatus to which the present invention is applied takes various embodiments having the following configurations, including the information processing apparatus as the embodiment of FIG. 3, FIG. 5 or FIG. 6 described above. be able to. That is, the information processing device to which the present invention is applied (for example, the information processing device 1 in FIG. 1, specifically, the slave unit 1-C in FIG. 2, etc.) In an information processing device that exchanges information by sharing a predetermined space (for example, AR space SP as shown in FIG. 2) with another information processing device (for example, the master unit 1-P as shown in FIG. 2).
  • a coordinate setting means for example, the coordinate setting unit 71 of FIG. 3) for setting the first coordinate axis (for example, the coordinate axis axc of FIGS.
  • a rule for converting the first coordinate axis into a second coordinate axis used by the other information processing apparatus in the predetermined space (for example, the coordinate axis axp in FIGS. 2 and 4, and the coordinate axis ax in FIG. 5) (for example, FIG. 2).
  • a transformation rule generating means (for example, a transformation matrix generation unit 73 in FIG. 3) for generating a transformation matrix XC, a transformation matrix XCC in FIG. 4 or a transformation matrix XCP), and To be equipped.
  • a reading means for reading the image for example, the marker image reading unit 72 of FIG. 3
  • the conversion rule generation means Based on the read image, the position of the other information processing device on the first coordinate axis is estimated, and based on the estimation result, the coordinate axis in the predetermined space is set from the first coordinate axis as the rule.
  • Generate a transformation matrix to be converted to the second coordinate axis for example, the transformation matrix XC in FIG. 2). be able to.
  • a coordinate conversion means for example, the coordinate conversion unit 74 in FIG. 3) that converts the coordinate axes in the predetermined space from the first coordinate axis to the second coordinate axis by using the conversion matrix can be provided.
  • the information processing device to which the present invention is applied is In an information processing device that shares a predetermined space with another information processing device (for example, slave unit 1-C shown in FIG. 2) to exchange information.
  • a coordinate setting means for example, the coordinate setting unit 61 in FIG. 3) for setting the first coordinate axis (for example, the coordinate axis axp in FIG. 2) in the predetermined space
  • the second coordinate axis for example, the coordinate axis axc in FIG. 2 is set in the predetermined space
  • the position of the information processing device on the second coordinate axis is estimated by being read, and the estimation result thereof.
  • An image generation means for example, a marker image generation unit 62 in FIG. 3 that is generated based on the first coordinate axis
  • a display control means for example, the marker image display control unit 63 in FIG. 3) that executes control for displaying the image generated as the data by the image generation means, and To be equipped.
  • 1 Information processing device, 1-P ... Master unit, 1-C ... Slave unit, 21 ... CPU, 51 ... Slave unit processing unit, Master unit processing unit, 52 ... Slave unit processing unit, master unit processing unit, 53 ... communication control unit, 61 ... coordinate setting unit, 62 ... marker image generation unit, 63 ... marker image display control unit, 71 ... coordinates Setting unit, 72 ... Marker image reading unit, 73 ... Conversion matrix generation unit, 74 ... Coordinate conversion unit

Abstract

複数の情報処理装置がＡＲを利用したゲーム等の各種情報処理を空間を共有して適切に実行できること。　子機１－Ｃは、親機１－Ｐとの間で所定空間を共有して情報の授受を行う。即ち、座標設定部７１前記所定空間における第１座標軸を設定する。変換行列生成部７３は、前記第１座標軸を、前記所定空間において前記他情報処理装置により利用される第２座標軸に変換するための規則を生成する。

Description

情報処理装置、情報処理方法、及びプログラム
　本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
　従来、情報処理の著しい発展により、携帯端末において、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を利用したゲーム等の各種情報処理の実行が可能となっている（例えば特許文献１参照）。
特許６４１７４６７号公報
　しかしながら、近年、複数人が複数の携帯端末の夫々を用いて、空間を共有してＡＲを利用したゲームの実行等をしたいという要求がなされているが、特許文献１を含め従来の技術では、このような要望に十分に応えることができない状況である。
　本発明は、このような状況に鑑みてなされたものであり、複数の情報処理装置がＡＲを利用したゲーム等の各種情報処理を空間を共有して適切に実行できるようにすることを目的とする。
　上記目的を達成するため、本発明の一態様の情報処理装置は、
　他情報処理装置との間で所定空間を共有して情報の授受を行う情報処理装置において、
　前記所定空間における第１座標軸を設定する座標設定手段と、
　前記第１座標軸を、前記所定空間において前記他情報処理装置により利用される第２座標軸に変換するための規則を生成する変換規則生成手段と、
　を備える。
　前記所定空間における前記第２座標軸が設定された前記他情報処理装置に画像が表示されたとき、当該画像を読み取る読取手段、
　をさらに備え、
　前記変換規則生成手段は、
　　読み取られた前記画像に基づいて、前記第１座標軸での前記他情報処理装置の位置の推定をし、その推定の結果に基づいて前記規則として、前記所定空間における座標軸を前記第１座標軸から前記第２座標軸に変換する変換行列を生成する、
　ことができる。
　前記変換行列を用いて、前記所定空間における座標軸を前記第１座標軸から前記第２座標軸に変換する座標変換手段、
　をさらに備えることができる。
　本発明の一態様の情報処理方法及びプログラムの夫々は、上述の本発明の一態様の情報処理方法及びプログラムの夫々である。
　また、上記目的を達成するため、本発明の別の一態様の情報処理装置は、
　他情報処理装置との間で所定空間を共有して情報の授受を行う情報処理装置において、
　前記所定空間における第１座標軸を設定する座標設定手段と、
　前記所定空間における前記第２座標軸が設定された前記他情報処理装置において、読み込まれて、前記第２座標軸での前記情報処理装置の位置が推定され、その推定結果に基づいて、前記第２座標軸を前記第１座標軸に変換するための規則が生成されるために用いられる画像のデータを、前記第１座標軸に基づいて生成する画像生成手段と、
　前記画像生成手段により前記データとして生成された前記画像を表示させる制御を実行する表示制御手段と、
　を備える。
　本発明の別の一態様の情報処理方法及びプログラムの夫々は、上述の本発明の別の一態様の情報処理方法及びプログラムの夫々である。
　本発明によれば、複数の情報処理装置がＡＲを利用したゲーム等の各種情報処理を空間を共有して適切に実行できるようになる。
本発明の情報処理装置の一実施形態に係るハードウェア構成の一例を示すブロック図である。 図１の複数台の情報処理装置が親機又は子機として夫々機能する場合における、親機と子機とのＡＲ空間の共有の手法の一例を説明する図である。 図２の親機と子機との夫々における機能的構成のうち、ＡＲ空間を共有するまでの一連の処理が実行される際の機能的構成の一例を示す機能ブロック図である。 図３の機能的構成を有する親機と子機との間で実行される、ＡＲ空間を共有するまでの一連の処理の一例を説明するアローチャートである。 図１の情報処理装置が複数台存在する場合のＡＲ空間の共有の手法の一例であって、図４とは異なる例を説明する図である。 図１の情報処理装置が複数台存在する場合のＡＲ空間の共有の手法の一例であって、図４や図５とは異なる例を説明する図である。
　以下、本発明の実施形態について、図面を用いて説明する。
　図１は、本発明の情報処理装置に係る一実施形態のハードウェア構成を示すブロック図である。
　情報処理装置１は、スマートフォン等で構成される。
　情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２３と、バス２４と、入出力インターフェース２５と、タッチ操作入力部２６と、表示部２７と、撮像部２８と、記憶部２９と、通信部３０と、ドライブ３１と、を備えている。
　ＣＰＵ２１は、ＲＯＭ２２に記録されているプログラム、又は、記憶部２９からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。
　ＲＡＭ２３には、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
　ＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インターフェース２５も接続されている。入出力インターフェース２５には、タッチ操作入力部２６、表示部２７、撮像部２８、記憶部２９、通信部３０及びドライブ３１が接続されている。
　タッチ操作入力部２６は、例えば表示部２７に積層される静電容量式又は抵抗膜式（感圧式）の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。
　ここで、タッチ操作とは、タッチ操作入力部２６に対する物体の接触又は近接の操作をいう。タッチ操作入力部２６に対して接触又は近接する物体は、例えばプレイヤーの指やタッチペン等である。なお、以下、タッチ操作がなされた位置を「タッチ位置」と呼び、タッチ位置の座標を「タッチ座標」と呼ぶ。
　表示部２７は、液晶等のディスプレイにより構成され、ゲームに関する画像等、各種画像を表示する。
　このように、本実施形態では、タッチ操作入力部２６と表示部２７とにより、タッチパネルが構成されている。
　撮像部２８は、プレイヤーの指示操作に応じて被写体を撮像し、その結果得られる撮像画像（例えば後述るマーカー画像）のデータを出力する。
　記憶部２９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
　通信部３０は、図示せぬインターネットを含むネットワークを介して他の装置（図示せぬサーバや図示せぬ他のプレイヤー端末）との間で行う通信を制御する。
　ドライブ３１は、必要に応じて設けられる。ドライブ３１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３２が適宜装着される。ドライブ３１によってリムーバブルメディア３２から読み出されたプログラムは、必要に応じて記憶部２９にインストールされる。また、リムーバブルメディア３２は、記憶部２９に記憶されている各種データも、記憶部２９と同様に記憶することができる。
　このような図１の情報処理装置１の各種ハードウェアと各種ソフトウェアとの協働により、２台以上の情報処理装置１の間でＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を利用したゲーム等の各種情報処理の実行が可能になる。
　ここで、２台以上の情報処理装置１が、ＡＲを利用したゲーム等の各種情報処理を実行するに際し、ＡＲ空間を共有する必要がある。
　ＡＲ空間とは、情報処理装置１において処理される空間であって、実空間に対してオブジェクトの配置等何らかの情報が付加された空間（撮像された画像に基づいて情報処理装置１内で構築される空間）をいう。
　ＡＲ空間内でのオブジェクト等の位置や姿勢は、情報処理装置１によって認識されたＡＲ空間内で用いられる座標軸（原点を含む）に基づいて規定される。
　複数の情報処理装置１の夫々において、ＡＲ空間内で用いられる座標軸をあわせることが、「ＡＲ空間を共有する」ことである。
　本実施形態では、図２に示すように、複数の情報処理装置１（図２の例では後述の親機１－Ｐ及び子機１－Ｃ）は、ＡＲ空間内で用いられる座標軸を同一にあわせる（一緒にする）ことで、ＡＲ空間の共有を図っている。
　ここで、親機１－Ｐとは、情報処理装置１のうち、基準となる座標軸（共有されたＡＲ空間内で用いられる座標軸）が設定されたものをいう。また、子機１－Ｃとは、情報処理装置１のうち、親機１－Ｐ以外のものをいう。
　図２に示すように、親機１－Ｐと子機１－Ｃの夫々は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）を動かして空間認識を行う。これにより、親機１－Ｐ側で、ＡＳ空間ＳＰにおける軸ａｘｐが設定されるのに対して、子機１－Ｃ側で、ＡＳ空間ＳＰにおける軸ａｘｃ（軸ａｘｐとは異なる）が設定される。
　次に、親機１－Ｐは、軸ａｘｐを特定可能な情報を含むマーカーとしての画像ＧＭ（以下、「マーカ画像ＧＭ」と呼ぶ）のデータを生成し、そのマーカ画像ＧＭを表示部２７（図１）に表示させる。
　子機１－Ｃは、撮像部２８（図１）を用いてマーカ画像ＧＭを読み取る。
　子機１－Ｃは、マーカ画像ＧＭを読み立った際に、当該子機１－Ｃからみた親機１－Ｐの位置及び姿勢（子機１－Ｃで設定された軸ａｘｃでの座標及びその座標を始点とするベクトル）を推定する。
　子機１－Ｃは、その推定の結果に基づいて、軸ａｘｃの原点を軸ａｘｐの原点と一致させ、軸ａｘｃの向きを軸ａｘｐのに合わせる。換言すると、子機１－Ｃは、軸ａｘｃにおける座標及び姿勢を軸ａｘｐにおける座標及び姿勢に変換するための行列ＸＣ（以下、「変換行列ＸＣ」と呼ぶ）を生成する。
　子機１－Ｃと親機１－Ｐとは、これによりＡＲ空間ＳＰを共有する。即ち、親機１－Ｐは、最初に設定した座標軸ａｘｐの座標及び方向を用いて、ＡＲ空間ＳＰ内における各種情報を処理する。一方、子機１－Ｃは、最初に設定した座標軸ａｘｃの座標及び方向に対して変換行列ＸＣで変換を施した座標軸（座標軸ａｘｐと同一）の座標及び方向を用いて、ＡＲ空間ＳＰ内における各種情報を処理する。
　子機１－Ｃと親機１－Ｐとは、このようにして各種処理を施した各種情報を、Ｐ２Ｐ（ｐｅｅｒ－ｔｏ－ｐｅｅｒ）で相互に授受する。
　以上説明した親機１－Ｐと子機１－ＣとにおけるＡＲ空間ＳＰを共有するまでの一連の処理は、親機１－Ｐと子機１－Ｃとの夫々におけるハードウェアとソフトウェアの協働により実現される。この場合、親機１－Ｐと子機１－Ｃとは、例えば図３に示す機能的構成を有することができる。
　図３は、図２の親機と子機との夫々における機能的構成のうち、ＡＲ空間を共有するまでの一連の処理が実行される際の機能的構成の一例を示す機能ブロック図である。
　図３に示すように、親機１－ＰのＣＰＵ２１においては、親機処理部５２と、通信制御部５３とが機能する。なお、親機１－Ｐも状況に応じて子機１－Ｃとして機能する場合があり、この場合には子機処理部５１が機能する。
　親機処理部５２には、座標設定部６１と、マーカ画像生成部６２と、マーカ画像表示制御部６３とが設けられている。
　子機１－ＣのＣＰＵ２１においては、子機処理部５１と、通信制御部５３とが機能する。なお、子機１－Ｃも状況に応じて親機１－Ｐとして機能する場合があり、この場合には親機処理部５２が機能する。
　子機処理部５２には、座標設定部７１と、マーカ画像読取部７２と、変換行列生成部７３と、座標変換部７４とが設けられている。
　以下、図４を適宜参照しつつ、親機１－Ｐと子機１－Ｃとの各機能ブロックの詳細について説明する。
　図４は、図３の機能的構成を有する親機と子機との間で実行される、ＡＲ空間を共有するまでの一連の処理の一例を説明するアローチャートである。
　ステップＳ１１において、親機１－Ｐの座標設定部６１は、撮像部２８により撮像された実空間の撮像画像のデータに基づいてＳＬＡＭで空間認識を行い、ＡＲ空間ＳＰにおける座標軸ａｘｐ（図２）を設定する。
　同様に、ステップＳ２１において、子機１－Ｃの座標設定部７１は、撮像部２８により撮像された実空間の撮像画像のデータに基づいてＳＬＡＭで空間認識を行い、ＡＲ空間ＳＰにおける座標軸ａｘｃ（図２）を設定する。
　ステップＳ１２において、親機１－Ｐのマーカ画像生成部６２は、ステップＳ１１の処理で設定された座標軸ａｘｐに基づいて、マーカ画像ＧＭ（図２）のデータを生成する。
　ステップＳ１３において、親機１－Ｐのマーカ画像表示制御部６３は、ステップＳ１２の処理で生成されたデータに対応するマーカ画像ＧＭを、表示部２７に表示させる制御を実行する。
　親機１－Ｐに表示されたマーカ画像ＧＭが、子機１－Ｃの撮像部２８により撮像されると、子機１－Ｃ側の処理はステップＳ２２に進む。
　ステップＳ２２において、子機１－Ｃのマーカ画像読取部７２は、マーカ画像ＧＭ（撮像部２８の撮像画像のデータ）を読み取る。
　ステップＳ２３において、子機１－Ｃの変換行列生成部７３は、ステップＳ２２のタイミング（マーカ画像ＧＭが読み取られたタイミング）における当該子機１－Ｃからみた親機１－Ｐの位置及び姿勢（子機１－Ｃで設定された軸ａｘｃでの座標及びその座標を始点とするベクトル）を推定する。
　ステップＳ２４において、子機１－Ｃの変換行列生成部７３は、ステップＳ２３の処理で推定された親機１－Ｐの位置及び姿勢に基づいて、変換行列ＸＣ（図２）を生成する。
　ステップＳ２５において、子機１－Ｃの座標変換部７４は、ステップＳ２４の処理で生成された変換行列ＸＣを用いて、座標軸を変換する（座標軸ａｘｐに一致させる）。
　これにより、子機１－Ｃと親機１－Ｐとの間で、ＡＲ空間ＳＰが共有される。
　ステップＳ１４において、親機１－Ｐの通信制御部５３は、座標設定部６１により設定された（ステップＳ１１の処理で設定された）座標軸ａｘｐを用いて、共有されたＡＲ空間ＳＰにて情報を、通信部３０を介して子機１－Ｃとの間で授受する。
　ステップＳ２６において、子機１－Ｃの通信制御部５３は、座標変換部７４により変換された（ステップＳ２５の処理で変換された）座標軸ａｘｐを用いて、共有されたＡＲ空間ＳＰにて情報を、通信部３０を介して親機１－Ｐとの間で授受する。
　以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
　例えばＡＲ空間ＳＰの共有の手法は、上述の実施形態では親機１－Ｐの座標軸ａｘｐに一致させる手法（図２に示す手法）が採用されたが、特にこれに限定されず、例えば図５や図６に示す各手法を採用することができる。
　図５は、図１の情報処理装置が複数台存在する場合のＡＲ空間の共有の手法の一例であって、図４とは異なる例を説明する図である。
　図５の例では、図４の例とは異なり、変換行列のみを共有する手法が採用されている。
　即ち、子機１－Ｃ側でマーカ画像ＧＭが読み取られる点は、図５の例は図４の例と同様である。しかしながら、図５の例では、親機１－Ｐ側の座標軸ａｘｐを子機１－Ｃ側の座標軸ａｘｃに変換するための変換行列ＸＣＣと、子機１－Ｃ側の座標軸ａｘｃを親機１－Ｐ側の座標軸ａｘｐに変換するための変換行列ＸＣＰ（変換行列ＸＣＣの逆行列）とが、親機１－Ｐと子機１－Ｃとの間で共有されることで、ＡＲ空間ＳＰの共有が図られる。
　図６は、図１の情報処理装置が複数台存在する場合のＡＲ空間の共有の手法の一例であって、図４や図５とは異なる例を説明する図である。
　図６の例では、図４や図５の例とは異なり、情報処理装置１は、親機１－Ｐと子機１－Ｃというような区別はなされず対等である。
　即ち、ＡＲ空間ＳＰにおける基準となる座標軸は、図４や図５の例では親機１－Ｐ側の標軸ａｘｐと採用されたが、特にこれに限定されず、図６の例では予め設定されてクラウド（インターネット）上に保持された座標軸ａｘｓが採用されている。
　具体的には例えば、ＡＲ空間ＳＰに対応する実空間ＳＦが既知であるならば、図６に示すように、その実空間ＳＦを３次元で復元した結果得られる点群のデータＰＧと、そのデータＰＧに採用された座標軸ａｘｓとが対応付けられて、予めクラウド（インターネット上）に保持されているものとする。この座標軸ａｘｓが、実空間ＳＦに対応するＡＲ空間ＳＰにおける基準となる座標軸である。
　情報処理装置１－１及び１－２の夫々は、実空間ＳＦに対応するＡＲ空間ＳＰの共有が必要なときは、その実空間ＳＦを撮像し、その結果得られる撮像画像のデータに基づいて、座標軸ａｘｃ１又は座標軸ａｘｃ２の夫々を設定する。情報処理装置１－１及び１－２の夫々は、その撮像画像の特徴点を抽出し、クラウドに保持されているデータＰＧとマッチングをかけることにより、座標軸ａｘｃ１又は座標軸ａｘｃ２を、基準となる座標軸ａｘｓに一致させる。これにより、情報処理装置１－１及び１－２との間で実空間ＳＦに対応するＡＲ空間ＳＰの共有が図られる。
　ここで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
　換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。また、機能ブロックの存在場所も、図３に特に限定されず、任意でよい。
　具体的には例えば、図３に示す各機能ブロックは、上述の実施形態ではネイティブアプリケーションとして情報処理装置１に備えられていたが、ＨＴＭＬとＪａｖａＳｃｒｉｐｔ（登録商標）を用いてＷｅｂアプリケーションとして実装することで、図示せぬサーバ等に備えることもできる。
　また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
　一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
　コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
　このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
　なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
　また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
　換言すると、本発明が適用される情報処理装置は、上述の図３、図５又は図６の実施形態としての情報処理装置を含め、次のような構成を有する各種各様の実施形態を取ることができる。
　即ち、本発明が適用される情報処理装置（例えば図１の情報処理装置１、具体的には例えば図２等の子機１－Ｃ）は、
　他情報処理装置（例えば図２等の親機１－Ｐ）との間で所定空間（例えば図２等のＡＲ空間ＳＰ）を共有して情報の授受を行う情報処理装置において、
　前記所定空間における第１座標軸（例えば図２や図４の座標軸ａｘｃ、図６の座標軸ａｘｃ１又は座標軸ａｘｃ２）を設定する座標設定手段（例えば図３の座標設定部７１）と、
　前記第１座標軸を、前記所定空間において前記他情報処理装置により利用される第２座標軸（例えば図２や図４の座標軸ａｘｐ、図５の座標軸ａｘｓ）に変換するための規則（例えば図２の変換行列ＸＣ、図４の変換行列ＸＣＣや変換行列ＸＣＰ）を生成する変換規則生成手段（例えば図３の変換行列生成部７３）と、
　を備える。
　この場合、
　前記所定空間における前記第２座標軸が設定された前記他情報処理装置に画像（例えば図２のマーカ画像ＧＭ）が表示されたとき、当該画像を読み取る読取手段（例えば図３のマーカ画像読取部７２）、
　をさらに備え、
　前記変換規則生成手段は、
　読み取られた前記画像に基づいて、前記第１座標軸での前記他情報処理装置の位置の推定をし、その推定の結果に基づいて前記規則として、前記所定空間における座標軸を前記第１座標軸から前記第２座標軸に変換する変換行列（例えば図２の変換行列ＸＣ）を生成する、
　ことができる。
　さらに、前記変換行列を用いて、前記所定空間における座標軸を前記第１座標軸から前記第２座標軸に変換する座標変換手段（例えば図３の座標変換部７４）を備えることができる。
　また、本発明が適用される情報処理装置（例えば図１の情報処理装置１、具体的には例えば図２等の親機１－Ｐ）は、
　他情報処理装置（例えば図２等の子機１－Ｃ）との間で所定空間を共有して情報の授受を行う情報処理装置において、
　前記所定空間における第１座標軸（例えば図２の座標軸ａｘｐ）を設定する座標設定手段（例えば図３の座標設定部６１）と、
　前記所定空間における前記第２座標軸（例えば図２の座標軸ａｘｃ）が設定された前記他情報処理装置において、読み込まれて、前記第２座標軸での前記情報処理装置の位置が推定され、その推定結果に基づいて、前記第２座標軸を前記第１座標軸に変換するための規則（例えば図２の変換行列ＸＣ）が生成されるために用いられる画像（例えば図２のマーカ画像ＧＭ）のデータを、前記第１座標軸に基づいて生成する画像生成手段（例えば図３のマーカ画像生成部６２）と、
　前記画像生成手段により前記データとして生成された前記画像を表示させる制御を実行する表示制御手段（例えば図３のマーカ画像表示制御部６３）と、
　を備える。
　１・・・情報処理装置、１－Ｐ・・・親機、１－Ｃ・・・子機、２１・・・ＣＰＵ、５１・・・子機処理部、親機処理部、５２・・・子機処理部、親機処理部、５３・・・通信制御部、６１・・・座標設定部、６２・・・マーカ画像生成部、６３・・・マーカ画像表示制御部、７１・・・座標設定部、７２・・・マーカ画像読取部、７３・・・変換行列生成部、７４・・・座標変換部

Claims (8)

  1. 　他情報処理装置との間で所定空間を共有して情報の授受を行う情報処理装置において、
    　前記所定空間における第１座標軸を設定する座標設定手段と、
    　前記第１座標軸を、前記所定空間において前記他情報処理装置により利用される第２座標軸に変換するための規則を生成する変換規則生成手段と、
    　を備える情報処理装置。
  2. 　前記所定空間における前記第２座標軸が設定された前記他情報処理装置に画像が表示されたとき、当該画像を読み取る読取手段、
    　をさらに備え、
    　前記変換規則生成手段は、
    　　読み取られた前記画像に基づいて、前記第１座標軸での前記他情報処理装置の位置の推定をし、その推定の結果に基づいて前記規則として、前記所定空間における座標軸を前記第１座標軸から前記第２座標軸に変換する変換行列を生成する、
    　請求項１に記載の情報処理装置。
  3. 　前記変換行列を用いて、前記所定空間における座標軸を前記第１座標軸から前記第２座標軸に変換する座標変換手段、
    　をさらに備える請求項２に記載の情報処理装置。
  4. 　他情報処理装置との間で所定空間を共有して情報の授受を行う情報処理装置が実行する情報処理方法において、
    　前記所定空間における第１座標軸を設定する座標設定ステップと、
    　前記第１座標軸を、前記所定空間において前記他情報処理装置により利用される第２座標軸に変換するための規則を生成する変換規則生成ステップと、
    　を含む情報処理方法。
  5. 　他情報処理装置との間で所定空間を共有して情報の授受を行う情報処理装置を制御するコンピュータに、
    　前記所定空間における第１座標軸を設定する座標設定ステップと、
    　前記第１座標軸を、前記所定空間において前記他情報処理装置により利用される第２座標軸に変換するための規則を生成する変換規則生成ステップと、
    　を含む制御処理を実行させるプログラム。
  6. 　他情報処理装置との間で所定空間を共有して情報の授受を行う情報処理装置において、
    　前記所定空間における第１座標軸を設定する座標設定手段と、
    　前記所定空間における前記第２座標軸が設定された前記他情報処理装置において、読み込まれて、前記第２座標軸での前記情報処理装置の位置が推定され、その推定結果に基づいて、前記第２座標軸を前記第１座標軸に変換するための規則が生成されるために用いられる画像のデータを、前記第１座標軸に基づいて生成する画像生成手段と、
    　前記画像生成手段により前記データとして生成された前記画像を表示させる制御を実行する表示制御手段と、
    　を備える情報処理装置。
  7. 　他情報処理装置との間で所定空間を共有して情報の授受を行う情報処理装置が実行する情報処理方法において、
    　前記所定空間における第１座標軸を設定する座標設定ステップと、
    　前記所定空間における前記第２座標軸が設定された前記他情報処理装置において、読み込まれて、前記第２座標軸での前記情報処理装置の位置が推定され、その推定結果に基づいて、前記第２座標軸を前記第１座標軸に変換するための規則（例えば変換行列）が生成されるために用いられる画像のデータを、前記第１座標軸に基づいて生成する画像生成ステップと、
    　前記画像生成ステップの処理において前記データとして生成された前記画像を表示させる制御を実行する表示制御ステップと、
    　を含む情報処理方法。
  8. 　他情報処理装置との間で所定空間を共有して情報の授受を行う情報処理装置を制御するコンピュータに、
    　前記所定空間における第１座標軸を設定する座標設定ステップと、
    　前記所定空間における前記第２座標軸が設定された前記他情報処理装置において、読み込まれて、前記第２座標軸での前記情報処理装置の位置が推定され、その推定結果に基づいて、前記第２座標軸を前記第１座標軸に変換するための規則が生成されるために用いられる画像のデータを、前記第１座標軸に基づいて生成する画像生成ステップと、
    　前記画像生成ステップの処理において前記データとして生成された前記画像を表示させる制御を実行する表示制御ステップと、
    　を含む制御処理を実行させるプログラム。
PCT/JP2019/031478 2019-08-08 2019-08-08 情報処理装置、情報処理方法、及びプログラム WO2021024479A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/031478 WO2021024479A1 (ja) 2019-08-08 2019-08-08 情報処理装置、情報処理方法、及びプログラム
JP2019566704A JP6736147B1 (ja) 2019-08-08 2019-08-08 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031478 WO2021024479A1 (ja) 2019-08-08 2019-08-08 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2021024479A1 true WO2021024479A1 (ja) 2021-02-11

Family

ID=71892399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031478 WO2021024479A1 (ja) 2019-08-08 2019-08-08 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6736147B1 (ja)
WO (1) WO2021024479A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021193538A (ja) * 2020-06-09 2021-12-23 ソニーグループ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP6785025B1 (ja) * 2020-08-18 2020-11-18 Ｇｒａｆｆｉｔｙ株式会社 情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107893A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2015001760A (ja) * 2013-06-13 2015-01-05 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
WO2018092384A1 (ja) * 2016-11-21 2018-05-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107893A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2015001760A (ja) * 2013-06-13 2015-01-05 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
WO2018092384A1 (ja) * 2016-11-21 2018-05-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OKAJIMA YUTA ET AL.: "Proposal of remote collaboration that use sight information of partner gotten by mixed reality technology", IEICE TECHNICAL REPORT, vol. 108, no. 226, 25 September 2008 (2008-09-25), pages 37 - 42, ISSN: 0913-5685 *

Also Published As

Publication number Publication date
JP6736147B1 (ja) 2020-08-05
JPWO2021024479A1 (ja) 2021-09-13

Similar Documents

Publication Publication Date Title
US20180285053A1 (en) Screenshot method and apparatus
US8681179B2 (en) Method and system for coordinating collisions between augmented reality and real reality
CN112889091A (zh) 使用模糊特征的相机位姿估计
JP2013506170A (ja) パーベイシブコンピューティング分野のためのシステム及び方法
WO2021024479A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111984114A (zh) 基于虚拟空间的多人交互系统及其多人交互方法
Speicher et al. XD-AR: Challenges and opportunities in cross-device augmented reality application development
US20200201515A1 (en) Method and electronic device for controlling augmented reality device
US9569161B2 (en) Remote visualization and control for virtual mobile infrastructure
KR101653878B1 (ko) 3차원 형상의 모델링을 위한 블록 및 사용자 단말기와 이를 이용한 3차원 형상의 모델링 방법
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
CN115550687A (zh) 三维模型场景交互方法、系统、设备、装置及存储介质
CN111788819B (zh) 根据输入装置向应用转发用户输入的移动电子装置和方法
US11823353B2 (en) System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same
JP2021026770A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20200107755A (ko) 회전에 영향을 받지 않는 뉴럴 네트워크를 제공하기 위한 방법 및 시스템
CN116402673A (zh) 数据处理方法、系统、计算设备和存储介质
US10290151B2 (en) AR/VR device virtualisation
TW202108219A (zh) 資訊處理裝置、資訊處理方法及程式
CN113835816A (zh) 一种虚拟机桌面显示方法、装置、设备及可读存储介质
US11663752B1 (en) Augmented reality processing device and method
TW202040506A (zh) 虛擬實境視角補償方法、非暫時性電腦可讀取媒體及虛擬實境裝置
Lesniak et al. Real-Time Occlusion Between Real and Digital Objects in Augmented Reality
KR102489927B1 (ko) 증강현실 엔진에 독립적인 피처 데이터 기반의 엔터티 추적 방법 및 장치
WO2022181252A1 (ja) 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019566704

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940409

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940409

Country of ref document: EP

Kind code of ref document: A1