WO2023248619A1 - 端末装置及びオブジェクト管理サーバ - Google Patents

端末装置及びオブジェクト管理サーバ Download PDF

Info

Publication number
WO2023248619A1
WO2023248619A1 PCT/JP2023/016754 JP2023016754W WO2023248619A1 WO 2023248619 A1 WO2023248619 A1 WO 2023248619A1 JP 2023016754 W JP2023016754 W JP 2023016754W WO 2023248619 A1 WO2023248619 A1 WO 2023248619A1
Authority
WO
WIPO (PCT)
Prior art keywords
anchor
captured image
spatial structure
data
terminal device
Prior art date
Application number
PCT/JP2023/016754
Other languages
English (en)
French (fr)
Inventor
宏暢 藤野
真治 木村
健吾 松本
裕一 市川
拓郎 栗原
修 後藤
泰士 山本
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023248619A1 publication Critical patent/WO2023248619A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a terminal device and an object management server.
  • Patent Document 1 discloses a technique for generating spatial data in which an anchor serving as a reference for the position of a virtual object is mapped onto an image representing a real-world environment captured by a user device.
  • the first application for arranging the anchor and the second application for acquiring the spatial structure of the real space may be different from each other.
  • the first application places the anchor on a two-dimensional captured image showing the real space around the anchor.
  • a three-dimensional spatial structure is obtained by measuring the real space around the anchor in three dimensions using the second application.
  • An object of the present disclosure is to provide a terminal device that aligns the anchor position and spatial structure when the anchor position and spatial structure are obtained using different applications.
  • a terminal device includes a first acquisition unit that acquires captured image data indicating a captured image captured by an imaging device in a real space, and acquires spatial structure data indicating a spatial structure around an anchor in the real space. and a spatial adjustment unit that aligns the anchor and the spatial structure by comparing the captured image indicated by the captured image data and the spatial structure indicated by the spatial structure data. Be prepared.
  • the anchor position and the spatial structure can be aligned.
  • FIG. 1 is a block diagram showing the overall configuration of an information processing system 1 according to an embodiment.
  • FIG. 3 is an explanatory diagram for explaining a plane detected based on a captured image Gk.
  • FIG. 3 is a block diagram showing a configuration example of an object management server 30.
  • FIG. An explanatory diagram showing an example of a data structure of a database DB. 7 is a flowchart showing the content of the arrangement process executed by the terminal device 10.
  • 2 is a flowchart showing the contents of a space adjustment process executed by the terminal device 10.
  • FIG. 1 is a block diagram showing the overall configuration of an information processing system 1.
  • the information processing system 1 includes a terminal device 10 used by a developer, an anchor management server 20 that manages an anchor P (see FIG. 2E), an object management server 30 that manages virtual objects VO, and It comprises a user device 40 utilized by a user of the service.
  • the information processing system 1 shown in FIG. 1 includes one terminal device 10. However, the information processing system 1 may include a plurality of terminal devices 10. Further, the information processing system 1 may include a plurality of user devices 40.
  • the terminal device 10 In the information processing system 1, the terminal device 10, the anchor management server 20, the object management server 30, and the user device 40 communicate with each other via the communication network NW.
  • the terminal device 10 is configured by, for example, a smartphone or a tablet terminal.
  • the terminal device 10 is used by a developer of a service that provides an augmented reality space or a mixed reality space to users.
  • the developer virtually places the virtual object VO used for the service at a position in real space.
  • the terminal device 10 provides a display image Gi (see FIG. 2E) that supports the placement work.
  • the virtual object VO is placed at a relative position with respect to the anchor P shown in FIG. 2E.
  • the anchor management server 20 issues an anchor ID corresponding to the anchor P when information regarding the anchor P is uploaded from the terminal device 10.
  • Anchor ID is identification data that uniquely identifies anchor P.
  • the user device 40 obtains the virtual object data Dv and the anchor ID by accessing the object management server 30. By transmitting the captured image captured by the user device 40 and the acquired anchor ID to the anchor management server 20, the user device 40 transmits the position of the user device 40 with the position of the anchor P as the origin from the anchor management server 20, and the user Self-position data indicating the direction in which the device 40 faces the outside world is acquired.
  • the user device 40 includes a display device and an inertial sensor. The user device 40 causes the display device to display an image in which the virtual object VO is superimposed on the real space based on the self-position data and the output signal of the inertial sensor.
  • the processing device 11 is a processor that controls the entire terminal device 10.
  • the processing device 11 is configured using, for example, a single chip or a plurality of chips. Further, the processing device 11 is configured using, for example, a central processing unit (CPU) including an interface with a peripheral device, an arithmetic unit, a register, and the like. Note that some or all of the functions of the processing device 11 may be realized by hardware such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), etc. You may.
  • the processing device 11 executes various processes in parallel or sequentially.
  • the storage device 12 is a recording medium that can be read and written by the processing device 11.
  • the storage device 12 also stores a plurality of programs including the control program PR1, the object adjustment application A1, and the space adjustment application A2 executed by the processing device 11, and various data including the virtual object data Dv.
  • the storage device 12 functions as a work area for the processing device 11.
  • the virtual object data Dv is data that expresses the virtual object VO in three dimensions.
  • the space adjustment application A2 has a function of editing the anchor P placed by the object adjustment application A1 and the simple spatial structure around the anchor P. Furthermore, the space adjustment application A2 has a function of transmitting the anchor P and a simple spatial structure around the anchor P to the object management server 30.
  • a simple spatial structure is expressed by a GLB file, which will be described later.
  • the input device 15 is a device that accepts operations from the developer.
  • the input device 15 outputs an operation signal according to the developer's operation to the processing device 11.
  • the input device 15 is configured by, for example, a touch panel.
  • the communication device 16 is hardware as a transmitting/receiving device for communicating with other devices. Further, the communication device 16 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 16 may include a connector for wired connection, and the object management server 30 corresponding to the connector may include a circuit.
  • the communication device 16 may include a wireless communication interface. Examples of connectors and interface circuits for wired connections include products compliant with wired LAN, IEEE1394, and USB. Furthermore, examples of wireless communication interfaces include products compliant with wireless LAN, Bluetooth (registered trademark), and the like.
  • the measuring device 18 measures the real space in three dimensions under the control of the processing device 11.
  • the measuring device 18 generates spatial structure data Ds indicating the spatial structure of the real space.
  • the measuring device 18 outputs the spatial structure data Ds to the processing device 11.
  • the measurement device 18 may be configured with a LiDEAR or ToF sensor, for example. Note that in this embodiment, the measuring device 18 is included in the terminal device 10. However, the measuring device 18 may not be included in the terminal device 10.
  • the measuring device 18 is an external device of the terminal device 10, the terminal device 10 and the measuring device 18 perform wired communication or wireless communication.
  • the spatial structure data Ds includes at least the outlines of the floor, walls, and elevator doors.
  • FIG. 2B is an explanatory diagram showing the outline of the spatial structure included in the spatial structure data Ds.
  • the dotted lines shown in FIG. 2B are the contour lines of the floor, wall, and elevator door.
  • the second acquisition unit 112 acquires spatial structure data Ds indicating the spatial structure of the real space around the anchor P.
  • the range of the real space imaged by the imaging device 14 and the range of the real space indicated by the spatial structure data Ds do not necessarily match.
  • the spatial structure indicated by the spatial structure data Ds may include the spatial structure around the anchor P in the real space imaged by the imaging device 14.
  • the plane detection unit 113 detects a plane in the spatial structure of the real space based on the captured image data Dg. For example, the plane detection unit 113 analyzes captured image data Dg obtained by capturing an image of real space while moving the terminal device 10. There are various methods for detecting a plane. In an example of a plane detection method, in the first step, feature points are extracted from the captured image Gk for each frame. In the second step, changes in the positions of feature points between frames are tracked. In the third step, a plane is detected by comparing changes in the position and direction of the imaging device 14 obtained from the output signal of the detection device 13 with changes in the position of the feature point. The plane detection unit 113 generates plane data Dy indicating the detected plane.
  • Anchor P is placed on a plane detected by plane detection section 113.
  • plane detection section 113 For example, assume that a developer uses the terminal device 10 to place a virtual object VO in the elevator hall shown in FIG. 2A. Under this assumption, the plane detection unit 113 detects the floor surface surrounded by a bold line in FIG. 2C as a plane. In this case, an ellipse texture is added to distinguish the detected plane from other parts.
  • the spatial adjustment unit 114 aligns the anchor P and the spatial structure by comparing the captured image Gk indicated by the captured image data Dg and the spatial structure indicated by the spatial structure data Ds.
  • the spatial structure data Ds is generated by three-dimensionally measuring the spatial structure of the real space around the anchor P using the measuring device 18.
  • the position of the anchor P is determined based on the simple spatial structure and the specified data Da.
  • the simple spatial structure is estimated based on the sensor information and captured image data Dg output from the detection device 13. As described above, since the algorithm for determining the position of the anchor P and the algorithm for the spatial structure data Ds are different, alignment is required.
  • the space adjustment unit 114 assumes that the spatial structure indicated by the spatial structure data Ds is viewed from the viewpoint of the imaging device 14 at the time when the imaging device 14 images the real space.
  • the viewpoint of the imaging device 14 is determined by position data Pk and direction data Dk.
  • the space adjustment unit 114 adjusts the anchor P and the spatial structure data Ds by associating the outline of the spatial structure when viewed from an assumed viewpoint with the edge extracted from the captured image Gk. Perform alignment with the spatial structure shown. As a result of alignment, the contour line of the spatial structure and the edge extracted from the captured image Gk match.
  • FIG. 2D is an explanatory diagram for explaining the relationship between the surfaces on which the anchors P are arranged and the boundaries of the surfaces.
  • the anchor P is placed on the floor of an elevator hall.
  • the plane on which the anchor P is placed is shown with diagonal lines.
  • the boundary of the surface where the anchor P is arranged is shown by a thick solid line.
  • the image generation unit 115 reads the virtual object data Dv from the storage device 12.
  • the image generation unit 115 generates a virtual object image VOx representing the virtual object VO based on the read virtual object data Dv.
  • the virtual object image VOx is an image that represents the virtual object VO in two dimensions.
  • the image generation unit 115 arranges the virtual object image VOx at a position specified by the developer based on the operation signal output from the input device 15.
  • the developer places the virtual object image VOx at coordinates (x, y, z) with the origin at the position of the anchor P by inputting the x, y, and z coordinates into the input device 15.
  • the data generation unit 116 generates position data Pk indicating the position of the imaging device 14 and a direction in which the imaging device 14 faces the outside world based on the captured image data Dg, the plane data Dy, and the sensor information output from the detection device 13.
  • Direction data Pc is generated.
  • Generating the position data Pk and direction data Pc is called self-position estimation.
  • SLAM Simultaneous Localization and Mapping
  • the data generation unit 116 generates specification data Da when the developer uses the input device 15 to specify the position of the anchor P on the captured image Gk.
  • Designation data Da indicates the position of anchor P in captured image Gk.
  • the position of anchor P is expressed by coordinates in the camera coordinate system. For example, when the captured image Gk is a 4K image, the captured image Gk has a resolution of 3840 pixels horizontally and 2160 pixels vertically.
  • the display image Gi shown in FIG. 2E is captured with the terminal device 10 facing vertically. In the case of FIG. 2E, the horizontal direction of the captured image Gk is the vertical direction, and the vertical direction is the horizontal direction.
  • the coordinates of the anchor P in the captured image Gk of the anchor P are specified by horizontal pixels and vertical pixels.
  • the designation data Da indicates the position of the anchor P in the captured image Gk in the camera coordinate system.
  • the data generation unit 116 generates a GLB file at the time when the anchor P is placed.
  • a GLB file is data that expresses a three-dimensional virtual space in JPEG.
  • the GLB file includes the position and direction of the imaging device 14, the plane detected by the plane detection unit 113, and polygon data expressing the anchor P.
  • the data generation unit 116 generates relative coordinate data Dr.
  • the relative coordinate data Dr indicates the relative position of the virtual object VO with the anchor P as the origin.
  • the data generation unit 116 generates relative coordinate data Dr based on the coordinates (x, y, z) input by the developer using the input device 15 to place the virtual object VO.
  • the display control unit 117 causes the display device 17 to display the display image Gi. Specifically, the display control unit 117 outputs display image data Di to the display device 17.
  • the communication control unit 118 uses the communication device 16 to send the spatial structure data Ds and captured image data Dg used for alignment of the spatial adjustment unit 114 to the object management server 30, as well as the GLB generated by the data generation unit 116. Have the file sent.
  • FIG. 3 is a block diagram showing an example of the configuration of the object management server 30.
  • the object management server 30 includes a processing device 31, a storage device 32, a communication device 33, a display device 34, and an input device 35. Each element of the object management server 30 is interconnected by one or more buses for communicating information.
  • the processing device 31 is a processor that controls the entire object management server 30. Further, the processing device 11 is configured using, for example, a single chip or a plurality of chips. The processing device 11 is configured using, for example, a central processing unit (CPU) that includes interfaces with peripheral devices, an arithmetic unit, registers, and the like. Note that some or all of the functions of the processing device 11 may be realized by hardware such as a DSP, ASIC, PLD, or FPGA. The processing device 11 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 32 is a recording medium that can be read and written by the processing device 31. Furthermore, the storage device 32 stores a plurality of programs including the control program PR2 executed by the processing device 31, and a database DB. Furthermore, the storage device 32 functions as a work area for the processing device 31.
  • the database DB is used by a developer to manage virtual objects VO that are virtually placed in real space.
  • the communication device 33 shown in FIG. 3 is hardware as a transmitting/receiving device for communicating with other devices.
  • the communication device 33 is an example of a first communication device.
  • the communication device 33 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 33 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 33 may include a wireless communication interface.
  • the processing device 31 reads the control program PR2 from the storage device 32 and executes it. As a result, the processing device 31 functions as an acquisition unit 311 and a management unit 312.
  • the management unit 312 manages virtual object data Dv, anchor ID, relative coordinate data Dr, captured image data Dg, display image data Di, GLB file, and spatial structure data Ds in association with each other. Specifically, the management unit 312 manages the database DB.
  • the virtual object placement process and space adjustment process in the terminal device 10 will be described below.
  • the placement process is a process related to the object adjustment application A1.
  • the space adjustment process is processing content related to the space adjustment application A2.
  • FIG. 5 is a flowchart showing the contents of placement processing.
  • step S10 the processing device 11 acquires captured image data Dg.
  • the captured image data Dg indicates a captured image Gk obtained by the developer photographing the environment in which the virtual object VO is to be placed.
  • step S11 the processing device 11 generates position data Pk indicating the position of the imaging device 14 and direction data indicating the direction in which the imaging device 14 faces the outside world, based on the captured image data Dg and the sensor information output from the detection device 13. Generate Dk.
  • step S12 the processing device 11 detects a plane based on the captured image data Dg and the output signal of the detection device 13.
  • the processing device 11 generates plane data Dy indicating the detected plane.
  • step S13 the processing device 11 receives an operation for arranging the anchor P. Specifically, when the developer uses the input device 15 to specify a position on the captured image Gk by a tap operation or the like, the processing device 11 generates the specified data Da and places the anchor P on the captured image Gk. Anchor P is placed on the surface of the structure to be photographed. As a result, a display image Gi on which the anchor image Gak shown in FIG. 2E is superimposed is generated. Here, the anchor P is placed on the plane detected in step S12.
  • step S14 the processing device 11 acquires the anchor ID from the anchor management server 20. More specifically, the processing device 11 transmits an anchor registration request to the anchor management server 20 via the communication device 16.
  • the anchor registration request includes information regarding anchor P.
  • the anchor management server 20 issues an anchor ID for uniquely identifying the anchor P.
  • the anchor management server 20 returns an anchor registration response including the issued anchor ID to the terminal device 10.
  • the processing device 11 obtains the anchor ID by extracting the anchor ID included in the anchor registration response.
  • step S21 the processing device 11 acquires the captured image data Dg generated when the anchor P is placed. Specifically, a read request including the anchor ID is transmitted from the terminal device 10 to the object management server 30.
  • the object management server 30 returns a read response to the terminal device 10.
  • the read response includes the GLB file, virtual object data Dv, relative coordinate data Dr, and captured image data Dg that correspond to the anchor ID.
  • the processing device 11 acquires the captured image data Dg included in the read response.
  • step S22 the processing device 11 aligns the spatial structure and the captured image Gk by comparing the spatial structure indicated by the spatial structure data Ds and the captured image Gk indicated by the captured image data Dg.
  • step S23 the processing device 11 generates display image data Di indicating the display image Gi by superimposing the anchor image Gak and the virtual object image VOx on the captured image Gk.
  • step S24 the processing device 11 transmits the anchor ID and display image data Di to the object management server 30.
  • the object management server 30 associates the display image data Di with the anchor ID and stores it in the database DB.
  • the terminal device 10 Since the terminal device 10 has the above configuration, the position of the anchor P and the spatial structure can be aligned even when the position of the anchor P and the spatial structure data Ds are obtained using different applications. .
  • the terminal device 10 further includes a plane detection unit 113 that detects a plane in the spatial structure of the real space based on the captured image data Dg, and the anchor P is placed on the plane detected by the plane detection unit 113. . Since the terminal device 10 has the above configuration, the anchor P can be placed on the plane of the spatial structure without measuring the real space in three dimensions.
  • the terminal device 10 transmitted a registration request including virtual object data Dv to the object management server 30.
  • the terminal device 10 may transmit the virtual object data Dv to the object management server 30 in advance. In this case, the terminal device 10 transmits a registration request that does not include the virtual object data Dv to the object management server 30.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. which may be referred to throughout the above description, may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may also be represented by a combination of
  • the input/output information may be stored in a specific location (for example, memory) or may be managed using a management table. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • the determination may be made using a value expressed using 1 bit (0 or 1) or a truth value (Boolean: true or false).
  • the comparison may be performed by comparing numerical values (for example, comparing with a predetermined value).
  • each of the functions illustrated in FIGS. 1 to 8 is realized by an arbitrary combination of at least one of hardware and software.
  • the method for realizing each functional block is not particularly limited. That is, each functional block may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g. , wired, wireless, etc.) and may be realized using a plurality of these devices.
  • the functional block may be realized by combining software with the one device or the plurality of devices.
  • the programs exemplified in the above-described embodiments are instructions, instruction sets, codes, codes, regardless of whether they are called software, firmware, middleware, microcode, hardware description language, or by other names. Should be broadly construed to mean a segment, program code, program, subprogram, software module, application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc.
  • software, instructions, information, etc. may be sent and received via a transmission medium.
  • a transmission medium For example, if the software uses wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and/or wireless technology (infrared, microwave, etc.) to create a website, When transmitted from a server or other remote source, these wired and/or wireless technologies are included within the definition of transmission medium.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • the information, parameters, etc. described in this disclosure may be expressed using absolute values, relative values from a predetermined value, or other corresponding information. It may also be expressed as
  • the terminal device 10 and the user device 40 may be mobile stations (MS).
  • a mobile station is defined by a person skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology. Further, in this disclosure, terms such as “mobile station,” “user terminal,” “user equipment (UE),” and “terminal” may be used interchangeably.
  • connection refers to direct or indirect connections between two or more elements. Refers to any connection or combination and may include the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other.
  • the coupling or connection between elements may be a physical coupling or connection, a logical coupling or connection, or a combination thereof.
  • connection may be replaced with "access.”
  • two elements may include one or more wires, cables, and/or printed electrical connections, as well as in the radio frequency domain, as some non-limiting and non-inclusive examples. , electromagnetic energy having wavelengths in the microwave and optical (both visible and non-visible) ranges.
  • (accessing) may include considering something as a “judgment” or “decision.”
  • judgment and “decision” refer to resolving, selecting, choosing, establishing, comparing, etc. as “judgment” and “decision”. may be included.
  • judgment and “decision” may include regarding some action as having been “judged” or “determined.”
  • judgment (decision) may be read as “assuming", “expecting", “considering”, etc.
  • notification of prescribed information is not limited to explicit notification, but may also be done implicitly (for example, by not notifying the prescribed information). Good too.
  • SYMBOLS 1 Information processing system, 10... Terminal device, 11, 31... Processing device, 14... Imaging device, 16, 33... Communication device, 17... Display device, 111... First acquisition part, 112... Second acquisition part, 113 ...Plane detection section, 114... Space adjustment section, 115... Image generation section, 116... Data generation section, 117... Display control section, 118... Communication control section, 311... Acquisition section, 312... Management section, Pk... Position data, Dk...direction data, Dg...captured image data, Di...display image data, Ds...spatial structure data, Dv...virtual object data, Gk...captured image, P...anchor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

端末装置は、現実空間を撮像装置が撮像した撮像画像を示す撮像画像データを取得する第１取得部と、現実空間のうちアンカーの周辺における空間構造を示す空間構造データを取得する第２取得部と、撮像画像データの示す撮像画像と空間構造データの示す空間構造とを比較することによって、アンカーと空間構造との位置合わせを行う空間調整部と、を備える。

Description

端末装置及びオブジェクト管理サーバ
　本発明は、端末装置及びオブジェクト管理サーバに関する。
　特許文献１には、ユーザー装置によってキャプチャされた現実世界の環境を表す画像に対して、仮想オブジェクトの位置の基準となるアンカーを画像にマッピングした空間データを生成する技術が開示されている。
特開２０１９－１８５７５９号公報
　ところで、アンカーを現実空間に仮想的に配置する場合、現実空間の空間構造とアンカーとを対応付けることによって、開発者が仮想オブジェクトを現実空間に容易に配置することが可能となる。ここで、アンカーを配置する第１アプリケーションと、現実空間の空間構造を取得する第２アプリケーションとが、互いに異なる場合がある。第１アプリケーションによって、アンカー周辺の現実空間を示す２次元の撮像画像上でアンカーが配置される。第２アプリケーションによってアンカー周辺の現実空間を３次元で計測することによって、３次元の空間構造が得られる。このように互いに異なるアプリケーションを用いてアンカーと空間構造とを取得する場合、アンカーの位置と空間構造との位置合わせを行う必要がある。しかしながら、アンカーは点に過ぎないので、空間構造上でアンカーの位置を適切に設定することができないといった問題があった。
　本開示は、アンカーの位置と空間構造とを互いに異なるアプリケーションを用いて取得する場合に、アンカーの位置と空間構造との位置合わせを行う端末装置を提供することを目的とする。
　本開示に係る端末装置は、現実空間を撮像装置が撮像した撮像画像を示す撮像画像データを取得する第１取得部と、前記現実空間のうちアンカーの周辺における空間構造を示す空間構造データを取得する第２取得部と、前記撮像画像データの示す撮像画像と、前記空間構造データの示す空間構造とを比較することによって、前記アンカーと前記空間構造との位置合わせを行う空間調整部と、を備える。
　本開示によれば、アンカーの位置と空間構造とを互い互いに異なるアプリケーションを用いて取得する場合であっても、アンカーの位置と空間構造とを位置合わせできる。
実施形態に係る情報処理システム１の全体構成を示すブロック図。 撮像画像Ｇｋの一例を示す説明図。 空間構造の一例を示す説明図。 撮像画像Ｇｋに基づいて検出された平面を説明するための説明図。 撮像画像Ｇｋの一例を示す説明図。 表示画像Ｇｉの一例を示す説明図。 オブジェクト管理サーバ３０の構成例を示すブロック図。 データベースＤＢのデータ構造の一例を示す説明図。 端末装置１０が実行する配置処理の内容を示すフローチャート。 端末装置１０が実行する空間調整処理の内容を示すフローチャート。
１：実施形態
　以下、情報処理システム１について説明する。
１．１：実施形態の構成
１．１．１：全体構成
　図１は、情報処理システム１の全体構成を示すブロック図である。図１に示されるように、情報処理システム１は、開発者によって利用される端末装置１０、アンカーＰ（図２Ｅ参照）を管理するアンカー管理サーバ２０、仮想オブジェクトＶＯを管理するオブジェクト管理サーバ３０及びサービスのユーザーによって利用されるユーザー装置４０を備える。図１に示される情報処理システム１は１個の端末装置１０を備える。しかし、情報処理システム１は複数の端末装置１０を備えてもよい。また、情報処理システム１は複数のユーザー装置４０を備えてもよい。
　情報処理システム１において、端末装置１０、アンカー管理サーバ２０、オブジェクト管理サーバ３０、及びユーザー装置４０は、通信網ＮＷを介して互いに通信する。
　端末装置１０は、例えば、スマートフォン又はタブレット端末によって構成される。端末装置１０は、拡張現実空間又は複合現実空間をユーザーに提供するサービスの開発者によって使用される。開発者は、当該サービスに用いられる仮想オブジェクトＶＯを仮想的に現実空間の位置に配置する。端末装置１０は、開発者が仮想オブジェクトＶＯを配置する場合に、配置作業を支援する表示画像Ｇｉ（図２Ｅ参照）を提供する。仮想オブジェクトＶＯは、図２Ｅに示されるアンカーＰを基準とする相対位置に配置される。
　アンカー管理サーバ２０は、端末装置１０からアンカーＰに関する情報がアップロードされた場合、アンカーＰに対応するアンカーＩＤを発行する。アンカーＩＤは、アンカーＰを一意に識別する識別データである。
　アンカー管理サーバ２０は、アンカーＩＤとアンカーＰに関する情報とを対応付けて記憶する。アンカーＩＤはアンカー管理サーバ２０から端末装置１０に送信される。端末装置１０は、仮想オブジェクトＶＯを示す仮想オブジェクトデータＤｖ、アンカーＩＤ、及びアンカーＰに関する付加データをオブジェクト管理サーバ３０にアップロードする。オブジェクト管理サーバ３０は、仮想オブジェクトデータＤｖ、アンカーＩＤ、及び付加データを対応付けて管理する。付加データには、表示画像Ｇｉを示す表示画像データＤｉ及び後述するＧＬＢ(GL Transmission Format Binary)ファイルが含まれる。
　ユーザー装置４０は、オブジェクト管理サーバ３０にアクセスすることによって、仮想オブジェクトデータＤｖとアンカーＩＤとを取得する。ユーザー装置４０は、ユーザー装置４０によって撮像された撮像画像と取得したアンカーＩＤをアンカー管理サーバ２０に送信することよって、アンカー管理サーバ２０からアンカーＰの位置を原点とするユーザー装置４０の位置とユーザー装置４０が外界を向く方向とを示す自己位置データを取得する。ユーザー装置４０は表示装置と慣性センサを備える。ユーザー装置４０は、自己位置データと慣性センサの出力信号に基づいて、仮想オブジェクトＶＯを現実空間に重畳させた画像を表示装置に表示させる。
２：端末装置の構成
　図１に示されるように端末装置１０は、処理装置１１、記憶装置１２、検出装置１３、撮像装置１４、通信装置１６、及び表示装置１７を備える。端末装置１０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。
　処理装置１１は、端末装置１０の全体を制御するプロセッサである。処理装置１１は、例えば、単数又は複数のチップを用いて構成される。また、処理装置１１は、例えば、周辺装置とのインターフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成される。なお、処理装置１１が有する機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置１２は、処理装置１１による読取及び書込が可能な記録媒体である。また、記憶装置１２は、処理装置１１が実行する制御プログラムＰＲ１、オブジェクト調整アプリＡ１及び空間調整アプリＡ２を含む複数のプログラム、並びに仮想オブジェクトデータＤｖを含む各種のデータを記憶する。記憶装置１２は、処理装置１１のワークエリアとして機能する。仮想オブジェクトデータＤｖは仮想オブジェクトＶＯを三次元で表現するデータである。
　オブジェクト調整アプリＡ１は、アンカーＰの配置及び確認、仮想オブジェクトＶＯのプレビュー、並びに仮想オブジェクトＶＯの位置調整の役割を担う。アンカーの確認とは、表示装置１７にアンカーＰを表示させることによって、どこにアンカーＰが配置されているかを開発者が確認することを意味する。オブジェクト調整アプリＡ１は、アンカーＰを配置する処理において、アンカーＰに関する情報をアンカー管理サーバ２０にアップロードする。また、オブジェクト調整アプリＡ１は、アンカー管理サーバ２０からアンカーＩＤを取得する。
　空間調整アプリＡ２は、オブジェクト調整アプリＡ１によって配置されたアンカーＰとアンカーＰの周辺の簡易的な空間構造とを編集する機能を有する。また、空間調整アプリＡ２は、アンカーＰとアンカーＰの周辺の簡易的な空間構造をオブジェクト管理サーバ３０に送信する機能を有する。簡易的な空間構造は、後述するＧＬＢファイルによって表現される。
　検出装置１３は、端末装置１０の状態を検出する。検出装置１３は、例えば、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサ、並びに、方位を検出する地磁気センサである。加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の加速度を検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸を回転の中心軸とする角加速度を検出する。検出装置１３は、ジャイロセンサの出力情報に基づいて、端末装置１０の姿勢を示す姿勢情報を生成できる。また、検出装置１３は、端末装置１０の姿勢を示す姿勢情報、及び端末装置１０の動きに関する動き情報、端末装置１０の方位を示す方位情報を処理装置１１に出力する。動き情報は、３軸の加速度を各々示す加速度情報及び３軸の角加速度を各々示す角加速度情報を含む。姿勢情報、動き情報、及び方位情報等は、検出装置１３から出力されるセンサ情報に含まれる。
　撮像装置１４は、外界を撮像して得られた撮像画像Ｇｋを出力する。また、撮像装置１４は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅した上でＡＤ変換器に出力する。ＡＤ変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像画像データＤｇに変換する。変換された撮像画像データＤｇは、処理装置１１に出力される。例えば、エレベータホールに仮想オブジェクトＶＯを配置する場合を想定する。開発者が、端末装置１０を用いてエレベータホールを撮像した場合、例えば、図２Ａに示される撮像画像Ｇｋが撮像される。
　入力装置１５は、開発者の操作を受け付ける装置である。入力装置１５は、開発者の操作に応じた操作信号を処理装置１１に出力する。入力装置１５は、例えば、タッチパネルによって構成される。
　通信装置１６は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。また、通信装置１６は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置１６は、有線接続用のコネクターを備え、上記コネクターに対応するオブジェクト管理サーバ３０は、回路を備えていてもよい。また、通信装置１６は、無線通信インターフェースを備えていてもよい。有線接続用のコネクター及びインターフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インターフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　表示装置１７は、画像を表示するデバイスである。表示装置１７は、処理装置１１の制御のもとで各種の画像を表示する。
　計測装置１８は、処理装置１１の制御の下、現実空間を３次元で計測する。計測装置１８は、現実空間の空間構造を示す空間構造データＤｓを生成する。計測装置１８は、空間構造データＤｓを処理装置１１に出力する。計測装置１８は、例えば、ＬｉＤＥＡＲ又はＴｏＦセンサで構成されてもよい。なお、本実施形態では、計測装置１８は端末装置１０に含まれる。しかし、計測装置１８が端末装置１０に含まれなくてもよい。計測装置１８が端末装置１０の外部装置である場合、端末装置１０と計測装置１８とは、有線通信又は無線通信を実行する。例えば、図２Ａに示されるエレベータホールの空間構造を、計測装置１８を用いて３次元で計測した場合、空間構造データＤｓは、少なくとも床面、壁、及びエレベータの扉の輪郭線を含む。図２Ｂは、空間構造データＤｓに含まれる空間構造の輪郭線を示す説明図である。図２Ｂに示される点線は、床面、壁、及びエレベータの扉の輪郭線である。
　以上の構成において、処理装置１１は、制御プログラムＰＲ１、オブジェクト調整アプリＡ１及び空間調整アプリＡ２を記憶装置１２から読み出す。処理装置１１は、読み出した制御プログラムＰＲ１、オブジェクト調整アプリＡ１及び空間調整アプリＡ２を実行することによって、第１取得部１１１、第２取得部１１２、平面検出部１１３、空間調整部１１４、画像生成部１１５、データ生成部１１６、表示制御部１１７、及び通信制御部１１８として、機能する。
　第１取得部１１１は、現実空間を撮像装置１４が現実空間を撮像した撮像画像Ｇｋを示す撮像画像データＤｇと、現実空間に仮想的に配置される仮想オブジェクトＶＯの位置の基準となるアンカーＰを撮像画像Ｇｋ上の点で指定する指定データＤａとを取得する。また、第１取得部１１１は、後述する位置データＰｋ及び方向データＰｃを取得する。
　第２取得部１１２は、アンカーＰの周辺における現実空間の空間構造を示す空間構造データＤｓを取得する。撮像装置１４によって撮像される現実空間の範囲と、空間構造データＤｓの示す現実空間の範囲とは、必ずしも一致しない。空間構造データＤｓの示す空間構造は、撮像装置１４によって撮像される現実空間のうち、アンカーＰの周辺における空間構造を含めばよい。
　平面検出部１１３は、撮像画像データＤｇに基づいて、現実空間の空間構造において平面を検出する。例えば、平面検出部１１３は、端末装置１０を移動しながら現実空間を撮像することによって得られた撮像画像データＤｇを解析する。平面の検出方法には、各種の手法がある。平面の検出方法の一例では、第１ステップにおいて、フレームごとに撮像画像Ｇｋから特徴点が抽出される。第２ステップにおいて、フレーム間での特徴点の位置の変化がトラッキングされる。第３ステップにおいて、検出装置１３の出力信号から得られる撮像装置１４の位置及び撮像装置１４の方向の変化と特徴点の位置の変化と比較することによって、平面が検出される。平面検出部１１３は、検出された平面を示す平面データＤｙを生成する。アンカーＰは平面検出部１１３によって検出された平面に配置される。例えば、開発者が端末装置１０を用いて、図２Ａに示されるエレベータホールに仮想オブジェクトＶＯを配置する場合を想定する。この想定において、平面検出部１１３は、図２Ｃに太線で囲まれた床面を平面として検出する。この場合、検出された平面を他の部分と区別するため、楕円のテスクチャーが付加される。
　空間調整部１１４は、撮像画像データＤｇの示す撮像画像Ｇｋと、空間構造データＤｓの示す空間構造とを比較することによって、アンカーＰと空間構造との位置合わせを行う。上述したように空間構造データＤｓは、計測装置１８を用いて、アンカーＰの周辺における現実空間の空間構造を３次元計測することによって生成される。一方、アンカーＰの位置は、簡易的な空間構造と指定データＤａに基づいて定まる。簡易的な空間構造は、検出装置１３から出力されるセンサ情報及び撮像画像データＤｇに基づいて推定される。このようにアンカーＰの位置を求めるアルゴリズムと空間構造データＤｓのアルゴリズムは相違するため、位置合わせが必要となる。
　撮像画像Ｇｋと空間構造との比較において、空間調整部１１４は、撮像画像データＤｇが示す撮像画像Ｇｋに含まれる構造物が有する面であってアンカーＰが配置される面の境界と、空間構造データＤｓによって示される構造物が有する面であってアンカーＰが配置される面の境界とを対応付ける。空間構造データＤｓによって示される構造物が有する面であってアンカーＰが配置される面の境界は、図２Ｂに示される空間構造の輪郭線に含まれる。面の境界の対応付けは、例えば、撮像画像Ｇｋから抽出されたエッジと空間構造の輪郭線とを対応付けることによってなされる。空間構造データＤｓは３次元で表現され、撮像画像Ｇｋは２次元で表現さる。このため、空間調整部１１４は、撮像装置１４が現実空間を撮像した時点における撮像装置１４の視点から、空間構造データＤｓの示す空間構造を見た場合を想定する。撮像装置１４の視点は位置データＰｋ及び方向データＤｋによって定められる。空間調整部１１４は、想定される視点から空間構造物を見た場合の当該空間構造物の輪郭線と、撮像画像Ｇｋから抽出されたエッジとを対応付けることによって、アンカーＰと空間構造データＤｓの示す空間構造との位置合わせを行う。位置合わせの結果、空間構造物の輪郭線と、撮像画像Ｇｋから抽出されたエッジとが一致する。
　図２Ｄは、アンカーＰが配置される面、及び面の境界の関係を説明するための説明図である。この例では、アンカーＰはエレベータホールの床面に配置されることを想定する。図２Ｄにおいて、アンカーＰが配置される面は斜線で示される。また、図２Ｄにおいて、アンカーＰが配置される面の境界は太い実線で示される。
　画像生成部１１５は、空間調整部１１４によって位置合わせされた空間構造（空間構造物の輪郭線）及びアンカーＰを、撮像画像Ｇｋに重畳した表示画像Ｇｉを示す表示画像データＤｉを生成する。表示画像Ｇｉは、開発者が仮想オブジェクトＶＯを配置する作業を支援するための画像である。図２Ｅは、表示画像Ｇｉの一例を示す説明図である。
　画像生成部１１５は、入力装置１５から出力された操作信号に基づいて、開発者が指定するアンカーＰの位置に、アンカー画像Ｇａｋを配置する。画像生成部１１５は、構造物の面にアンカーＰを配置する。図２Ｅに示される例では、エレベータホールの床面にアンカーＰが配置される。アンカー画像Ｇａｋは、互いに直交するＸ軸、Ｙ軸、及びＺ軸を示しており、各軸の原点にアンカーＰが配置される。
　画像生成部１１５は、記憶装置１２から仮想オブジェクトデータＤｖを読み出す。画像生成部１１５は、読み出された仮想オブジェクトデータＤｖに基づいて、仮想オブジェクトＶＯを示す仮想オブジェクト画像ＶＯｘを生成する。仮想オブジェクト画像ＶＯｘは仮想オブジェクトＶＯを２次元で表現した画像である。画像生成部１１５は、入力装置１５から出力される操作信号に基づいて、開発者が指定する位置に仮想オブジェクト画像ＶＯｘを配置する。開発者は、入力装置１５にｘ座標、ｙ座標、及びｚ座標を入力することによって、アンカーＰの位置を原点とする座標（ｘ，ｙ，ｚ）に、仮想オブジェクト画像ＶＯｘを配置する。
　データ生成部１１６は、撮像画像データＤｇ、平面データＤｙ、及び検出装置１３から出力されるセンサ情報に基づいて、撮像装置１４の位置を示す位置データＰｋ及び撮像装置１４が外界を向く方向を示す方向データＰｃを生成する。位置データＰｋ及び方向データＰｃを生成することを自己位置推定という。自己位置推定には、ＳＬＡＭ（Simultaneous Localization and Mapping）技術が用いられる。
　データ生成部１１６は、開発者が入力装置１５を用いて、撮像画像Ｇｋ上でアンカーＰの位置を指定した場合、指定データＤａを生成する。指定データＤａは撮像画像ＧｋにおけるアンカーＰの位置を示す。アンカーＰの位置は、カメラ座標系の座標によって表現される。例えば、撮像画像Ｇｋが４Ｋの画像である場合、撮像画像Ｇｋは、水平３８４０画素、垂直２１６０画素の解像度となる。図２Ｅに示される表示画像Ｇｉは、端末装置１０を縦に向けた状態で撮像されている。図２Ｅの場合、撮像画像Ｇｋの横方向が垂直方向であり、縦方向が水平方向である。アンカーＰの撮像画像ＧｋにおけるアンカーＰの座標は、水平の画素と垂直の画素によって指定される。指定データＤａは、撮像画像ＧｋにおけるアンカーＰの位置をカメラ座標系で示す。
　データ生成部１１６は、アンカーＰが配置される時点で、ＧＬＢファイルを生成する。ＧＬＢファイルは、３次元の仮想空間をＪＰＥＧで表現するデータである。ＧＬＢファイルには、撮像装置１４の位置及び方向、平面検出部１１３によって検出された平面、及びアンカーＰが表現されたポリゴンデータが含まれる。
　データ生成部１１６は、相対座標データＤｒを生成する。相対座標データＤｒはアンカーＰを原点とする仮想オブジェクトＶＯの相対位置を示す。データ生成部１１６は、開発者が仮想オブジェクトＶＯを配置するために入力装置１５を用いて入力した座標（ｘ，ｙ，ｚ）に基づいて、相対座標データＤｒを生成する。
　表示制御部１１７は、表示画像Ｇｉを表示装置１７に表示させる。具体的には、表示制御部１１７は、表示画像データＤｉを表示装置１７に出力する。
　通信制御部１１８は、通信装置１６を用いて、オブジェクト管理サーバ３０へ、空間調整部１１４の位置合わせに用いられた空間構造データＤｓ及び撮像画像データＤｇ、並びにデータ生成部１１６によって生成されたＧＬＢファイルを送信させる。
　１．１．３：オブジェクト管理サーバの構成
　図３は、オブジェクト管理サーバ３０の構成例を示すブロック図である。オブジェクト管理サーバ３０は、処理装置３１、記憶装置３２、通信装置３３、表示装置３４、及び入力装置３５を備える。オブジェクト管理サーバ３０の各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
　処理装置３１は、オブジェクト管理サーバ３０の全体を制御するプロセッサである。また、処理装置１１は、例えば、単数又は複数のチップを用いて構成される。処理装置１１は、例えば、周辺装置とのインターフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置１１が有する機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置３２は、処理装置３１による読取及び書込が可能な記録媒体である。また、記憶装置３２は、処理装置３１が実行する制御プログラムＰＲ２を含む複数のプログラム、及びデータベースＤＢを記憶する。また、記憶装置３２は、処理装置３１のワークエリアとして機能する。
　データベースＤＢは、開発者によって現実空間に仮想的に配置される仮想オブジェクトＶＯを管理するために用いられる。
　図３に示される通信装置３３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置３３は、第１通信装置の一例である。通信装置３３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置３３は、有線接続用のコネクターを備え、上記コネクターに対応するインターフェース回路を備えていてもよい。また、通信装置３３は、無線通信インターフェースを備えていてもよい。
　表示装置３４は、画像及び文字情報を表示するデバイスである。入力装置３５は、例えば、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。
　処理装置３１は、記憶装置３２から制御プログラムＰＲ２を読み出して実行する。その結果、処理装置３１は、取得部３１１及び管理部３１２として機能する。
　取得部３１１は、通信装置３３を介して、端末装置１０から、仮想オブジェクトデータＤｖ、アンカーＩＤ、相対座標データＤｒ、撮像画像データＤｇ、表示画像データＤｉ、ＧＬＢファイル、及び空間構造データＤｓを取得する。
　管理部３１２は、仮想オブジェクトデータＤｖ、アンカーＩＤ、相対座標データＤｒ、撮像画像データＤｇ、表示画像データＤｉ、ＧＬＢファイル、及び空間構造データＤｓを互いに対応付けて管理する。具体的には、管理部３１２は、データベースＤＢを管理する。
　図５は、データベースＤＢのデータ構造の一例を示す説明図である。データベースＤＢは、複数のレコードを有する。一つのレコードは、仮想オブジェクトＩＤ、仮想オブジェクトデータＤｖ、アンカーＩＤ、相対座標データＤｒ、撮像画像データＤｇ、表示画像データＤｉ、及びＧＬＢファイルを対応付ける。仮想オブジェクトＩＤは、仮想オブジェクトＶＯを一意に識別する識別子である。
２：実施形態の動作
　以下、端末装置１０における仮想オブジェクトの配置処理と空間調整処理とについて説明する。配置処理は、オブジェクト調整アプリＡ１に関する処理内容である。空間調整処理は空間調整アプリＡ２に関する処理内容である。
１．２．１：配置処理
　図５は、配置処理の内容を示すフローチャートである。
　ステップＳ１０において、処理装置１１は、撮像画像データＤｇを取得する。撮像画像データＤｇは、仮想オブジェクトＶＯを配置しようとする環境を開発者が撮影することにより得られた撮像画像Ｇｋを示す。
　ステップＳ１１において、処理装置１１は、撮像画像データＤｇ及び検出装置１３から出力されるセンサ情報に基づいて、撮像装置１４の位置を示す位置データＰｋ及び撮像装置１４が外界を向く方向を示す方向データＤｋを生成する。
　ステップＳ１２において、処理装置１１は、撮像画像データＤｇ及び検出装置１３の出力信号に基づいて、平面を検出する。処理装置１１は、検出された平面を示す平面データＤｙを生成する。
　ステップＳ１３において、処理装置１１は、アンカーＰの配置操作を受け付ける。具体的には、開発者が入力装置１５を用いて撮像画像Ｇｋ上でアンカーＰを配置したい位置をタップ操作等で指定すると、処理装置１１は、指定データＤａを生成する共に、撮像画像Ｇｋに写る構造物の面にアンカーＰを配置する。この結果、図２Ｅに示されるアンカー画像Ｇａｋが重畳された表示画像Ｇｉが生成される。ここで、アンカーＰは、ステップＳ１２で検出された平面に配置される。
　ステップＳ１４において、処理装置１１は、アンカー管理サーバ２０からアンカーＩＤを取得する。より具体的には、処理装置１１は、通信装置１６を介してアンカー管理サーバ２０にアンカー登録要求を送信する。アンカー登録要求には、アンカーＰに関する情報が含まれる。アンカー管理サーバ２０は、アンカー登録要求を受信すると、アンカーＰを一意に識別するためのアンカーＩＤを発行する。アンカー管理サーバ２０は、発行したアンカーＩＤを含むアンカー登録応答を端末装置１０に返信する。処理装置１１は、アンカー登録応答に含まれるアンカーＩＤを取り出すことによって、アンカーＩＤを取得する。
　ステップＳ１５において、処理装置１１は、相対座標データＤｒを取得する。具体的には、処理装置１１は、アンカーＰを基準とする仮想オブジェクトＶＯの相対位置を示す相対座標データＤｒを、開発者が入力装置１５を用いて入力した数値に基づいて取得する。
　ステップＳ１６において、処理装置１１はＧＬＢファイルを生成する。ＧＬＢファイルには、撮像装置１４の位置及び方向、平面検出部１１３によって検出された平面、及びアンカーＰが表現されたポリゴンデータが含まれる。
　ステップＳ１７において、処理装置１１は、アンカーＩＤ、ＧＬＢファイル、仮想オブジェクトデータＤｖ、相対座標データＤｒ及び撮像画像データＤｇを、通信装置１６を介して、オブジェクト管理サーバ３０に送信する。オブジェクト管理サーバ３０は、アンカーＩＤ、ＧＬＢファイル、仮想オブジェクトデータＤｖ、相対座標データＤｒ及び撮像画像データＤｇを管理データベースＤＢに格納する。
　以上の配置処理において、処理装置１１は、以下の様に機能する。処理装置１１は、ステップＳ１０において、第１取得部１１１として機能する。処理装置１１は、ステップＳ１１において、データ生成部１１６として機能する。処理装置１１は、ステップＳ１２において、平面検出部１１３として機能する。処理装置１１は、ステップＳ１５において、データ生成部１１６として機能する。処理装置１１は、ステップＳ１４及びステップＳ１７において、通信制御部１１８として機能する。処理装置１１は、ステップＳ１６において、データ生成部１１６として機能する。
１．２．２：空間調整処理
　図６は、配置処理の内容を示すフローチャートである。
　ステップＳ２０において、処理装置１１は、計測装置１８から出力される空間構造データＤｓを取得する。
　ステップＳ２１において、処理装置１１は、アンカーＰの配置時に生成された撮像画像データＤｇを取得する。具体的には、端末装置１０からオブジェクト管理サーバ３０に、アンカーＩＤを含む読出要求を送信する。
　オブジェクト管理サーバ３０は、読出応答を端末装置１０に返信する。読出応答には、アンカーＩＤに対応する、ＧＬＢファイル、仮想オブジェクトデータＤｖ、相対座標データＤｒ及び撮像画像データＤｇが含まれる。処理装置１１は、読出応答に含まれる撮像画像データＤｇを取得する。
　ステップＳ２２において、処理装置１１は、空間構造データＤｓの示す空間構造と、撮像画像データＤｇの示す撮像画像Ｇｋとを比較することによって、空間構造と撮像画像Ｇｋとの位置合わせを実行する。
　ステップＳ２３において、処理装置１１は、撮像画像Ｇｋにアンカー画像Ｇａｋ及び仮想オブジェクト画像ＶＯｘを重畳することによって、表示画像Ｇｉを示す表示画像データＤｉを生成する。
　ステップＳ２４において、処理装置１１は、アンカーＩＤと表示画像データＤｉをオブジェクト管理サーバ３０に送信する。オブジェクト管理サーバ３０は、表示画像データＤｉをアンカーＩＤと対応付けて、データベースＤＢに記憶する。
　以上の空間調整処理において、処理装置１１は、以下の様に機能する。処理装置１１は、ステップＳ２０において、第２取得部１１２として機能する。処理装置１１は、ステップＳ２１において、第１取得部１１１として機能する。処理装置１１は、ステップＳ２２において、空間調整部１１４として機能する。処理装置１１は、ステップＳ２３において、画像生成部１１５として機能する。処理装置１１は、ステップＳ２４において、通信制御部１１８として機能する。
１．３：実施形態が奏する効果
　以上の説明によれば、端末装置１０は、現実空間を撮像装置１４が撮像した撮像画像Ｇｋを示す撮像画像データＤｇを取得する第１取得部１１１と、現実空間のうちアンカーＰの周辺における空間構造を示す空間構造データＤｓを取得する第２取得部１１２と、撮像画像データＤｇの示す撮像画像Ｇｋと、空間構造データＤｓの示す空間構造とを比較することによって、アンカーＰと空間構造データＤｓの示す空間構造との位置合わせを行う空間調整部１１４とを備える。
　端末装置１０は、以上の構成を備えるので、アンカーＰの位置と空間構造データＤｓとを互い互いに異なるアプリケーションを用いて取得する場合であっても、アンカーＰの位置と空間構造とを位置合わせできる。
　また、端末装置１０は、空間調整部１１４によって位置合わせされた空間構造及びアンカーＰを、撮像画像Ｇｋに重畳した表示画像Ｇｉを示す表示画像データＤｉを生成する画像生成部１１５と、表示画像Ｇｉを表示装置１７に表示させる表示制御部１１７を更に備える。
　端末装置１０は、以上の構成を備えるので、開発者は、空間構造及びアンカーＰを、撮像画像Ｇｋに重畳した表示画像Ｇｉを視認できる。
　また、端末装置１０は、通信装置１６を用いて、仮想オブジェクトＶＯを管理するオブジェクト管理サーバ３０へ空間調整部１１４によって位置合わせに用いられた空間構造データＤｓ及び撮像画像データＤｇを送信させる通信制御部１１８を更に備える。端末装置１０は、以上の構成を有するので、オブジェクト管理サーバ３０は、仮想オブジェクトＶＯ、位置合わせ済みの空間構造データＤｓ及び撮像画像データＤｇを対応付けて管理できる。
　また、端末装置１０は、撮像画像データＤｇに基づいて、現実空間の空間構造において平面を検出する平面検出部１１３を更に備え、アンカーＰは、平面検出部１１３によって検出された平面に配置される。端末装置１０は、以上の構成を有するので、現実空間を３次元で計測しなくても、アンカーＰを空間構造の平面に配置できる。
　オブジェクト管理サーバ３０は、空間調整部１１４の位置合わせに用いられた空間構造データＤｓ及び前記撮像画像データＤｇを端末装置１０から受信する通信装置３３(受信部の一例)と、仮想オブジェクトＶＯと、端末装置１０から受信した空間構造データＤｓ及び撮像画像データＤｇとを対応付けて管理する管理部３１２を備える。仮想オブジェクトＶＯの位置は、空間構造の平面に配置されるアンカーＰを基準に定まる。オブジェクト管理サーバ３０は、仮想オブジェクトＶＯを、アンカーＰの周辺の空間構造及びアンカーＰの周辺の撮像画像といった２種類の情報と対応付けて管理するので、一種類の情報と対応付けて管理する場合と比較して、仮想オブジェクトＶＯの位置をより正確に管理できる。
３：変形例
　本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
３．１：変形例１
　上述した実施形態において、端末装置１０はオブジェクト調整アプリＡ１を実行することによって、検出装置１３から出力されるセンサ情報と撮像画像データＤｇとに基づいて、アンカーＰの周辺の簡易的な空間構造を推定した。この推定の過程において、端末装置１０は撮像画像Ｇｋから得られる特徴点を示す特徴点マップを生成し、生成した特徴点マップをアンカー管理サーバ２０に送信してもよい。アンカー管理サーバ２０は、アンカーＩＤと対応付けて特徴点マップを管理する。アンカー管理サーバ２０は、ユーザー装置４０から撮像画像を受信した場合に、受信した撮像画像から特徴点を抽出し、抽出した特徴点を特徴点マップと照合することによって、ユーザー装置４０の位置と方向を推定し、推定した位置と方向を端末装置１０に返信してもよい。
３．２：変形例２
　上述した実施形態において、端末装置１０は仮想オブジェクトデータＤｖを含む登録要求をオブジェクト管理サーバ３０に送信した。しかし、本開示はこれに限定されない。端末装置１０は、仮想オブジェクトデータＤｖを事前にオブジェクト管理サーバ３０に送信してもよい。この場合、端末装置１０は、仮想オブジェクトデータＤｖを含まない登録要求をオブジェクト管理サーバ３０に送信する。
４：その他
（１）上述した実施形態では、記憶装置１２及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＷから送信されてもよい。
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
（６）図１～図８に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
（１０）端末装置１０及びユーザー装置４０は、移動局（ＭＳ：Mobile　Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザーエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザー端末（user　terminal）」、「ユーザー装置（ＵＥ：User　Equipment）」、「端末」等の用語は、互換的に使用され得る。
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
　１…情報処理システム、１０…端末装置、１１，３１…処理装置、１４…撮像装置、１６，３３…通信装置、１７…表示装置、１１１…第１取得部、１１２…第２取得部、１１３…平面検出部、１１４…空間調整部、１１５…画像生成部、１１６…データ生成部、１１７…表示制御部、１１８…通信制御部、３１１…取得部、３１２…管理部、Ｐｋ…位置データ、Ｄｋ…方向データ、Ｄｇ…撮像画像データ、Ｄｉ…表示画像データ、Ｄｓ…空間構造データ、Ｄｖ…仮想オブジェクトデータ、Ｇｋ…撮像画像、Ｐ…アンカー。

Claims (5)

  1. 　現実空間を撮像装置が撮像した撮像画像を示す撮像画像データを取得する第１取得部と、
    　前記現実空間のうちアンカーの周辺における空間構造を示す空間構造データを取得する第２取得部と、
    　前記撮像画像データの示す撮像画像と、前記空間構造データの示す空間構造とを比較することによって、前記アンカーと前記空間構造との位置合わせを行う空間調整部と、
    　を備える端末装置。
  2. 　前記空間調整部によって位置合わせされた前記空間構造及び前記アンカーを、前記撮像画像に重畳した表示画像を示す表示画像データを生成する画像生成部と、
    　前記表示画像を表示装置に表示させる表示制御部とを更に備える、
    　請求項１に記載の端末装置。
  3. 　通信装置を用いて、仮想オブジェクトを管理するオブジェクト管理サーバへ、前記空間調整部の位置合わせに用いられた前記空間構造データ及び前記空間調整部の位置合わせに用いられた前記撮像画像データを送信させる通信制御部を更に備える、請求項１に記載の端末装置。
  4. 　前記撮像画像データに基づいて、前記現実空間の空間構造において平面を検出する平面検出部を更に備え、
    　前記アンカーは、前記平面検出部によって検出された平面に配置される、
    　請求項１に記載の端末装置。
  5. 　仮想オブジェクトを管理するオブジェクト管理サーバであって、
    　現実空間を撮像装置が撮像した撮像画像を示す撮像画像データを取得する第１取得部と、前記現実空間のうちアンカーの周辺における空間構造を示す空間構造データを取得する第２取得部と、前記撮像画像データの示す撮像画像と前記空間構造データの示す空間構造とを比較することによって、前記アンカーと前記空間構造との位置合わせを行う空間調整部と、を備える端末装置から、前記空間調整部の位置合わせに用いられた前記空間構造データ及び前記撮像画像データを受信する受信部と、
    　前記仮想オブジェクトと、前記端末装置から受信した前記空間構造データ及び前記撮像画像データとを対応付けて管理する管理部と、
    　を備えるオブジェクト管理サーバ。
PCT/JP2023/016754 2022-06-21 2023-04-27 端末装置及びオブジェクト管理サーバ WO2023248619A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-099485 2022-06-21
JP2022099485 2022-06-21

Publications (1)

Publication Number Publication Date
WO2023248619A1 true WO2023248619A1 (ja) 2023-12-28

Family

ID=89379548

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/016754 WO2023248619A1 (ja) 2022-06-21 2023-04-27 端末装置及びオブジェクト管理サーバ

Country Status (1)

Country Link
WO (1) WO2023248619A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002645A (ja) * 2012-06-20 2014-01-09 Shimizu Corp 合成画像表示システム及びその方法
JP2020098568A (ja) * 2018-10-03 2020-06-25 株式会社エム・ソフト 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム
JP6961157B1 (ja) * 2021-05-25 2021-11-05 株式会社x garden 情報処理システム、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002645A (ja) * 2012-06-20 2014-01-09 Shimizu Corp 合成画像表示システム及びその方法
JP2020098568A (ja) * 2018-10-03 2020-06-25 株式会社エム・ソフト 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム
JP6961157B1 (ja) * 2021-05-25 2021-11-05 株式会社x garden 情報処理システム、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US9355452B2 (en) Camera and sensor augmented reality techniques
US7554575B2 (en) Fast imaging system calibration
WO2018164460A1 (en) Method of providing augmented reality content, and electronic device and system adapted to the method
RU2533628C2 (ru) Устройство обработки информации, способ обработки информации и программа
EP2700040B1 (en) Color channels and optical markers
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
WO2011058910A1 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
WO2011070871A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR20120015922A (ko) 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
WO2020042968A1 (zh) 一种对象信息的获取方法、装置以及存储介质
US10672191B1 (en) Technologies for anchoring computer generated objects within augmented reality
CN112116690A (zh) 视频特效生成方法、装置及终端
CA3115906A1 (en) Augmented reality system and method
WO2023248619A1 (ja) 端末装置及びオブジェクト管理サーバ
CN110650210B (zh) 影像数据获取方法、装置及存储介质
US20200042821A1 (en) Interactive method and interactive system
WO2022265347A1 (en) Three-dimensional scene recreation using depth fusion
KR20140103021A (ko) 객체 인식이 가능한 전자 장치
WO2023199627A1 (ja) ガイド画像管理装置
JP2018081424A (ja) 画像処理装置および画像処理方法
CN110460841A (zh) 一种电视机检测方法、装置、电子设备及存储介质
WO2023074852A1 (ja) 情報処理装置
WO2023171341A1 (ja) 表示制御装置
KR20210048244A (ko) 3차원 기반의 실내위치 추정 장치 및 시스템
JP7328361B2 (ja) 測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23826808

Country of ref document: EP

Kind code of ref document: A1