WO2023228856A1 - 仮想オブジェクトデータ選択装置 - Google Patents

仮想オブジェクトデータ選択装置 Download PDF

Info

Publication number
WO2023228856A1
WO2023228856A1 PCT/JP2023/018587 JP2023018587W WO2023228856A1 WO 2023228856 A1 WO2023228856 A1 WO 2023228856A1 JP 2023018587 W JP2023018587 W JP 2023018587W WO 2023228856 A1 WO2023228856 A1 WO 2023228856A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
object data
user
visible
virtual
Prior art date
Application number
PCT/JP2023/018587
Other languages
English (en)
French (fr)
Inventor
亮介 倉地
けい 石黒
文紀 新清
雅之 横尾
正臣 金内
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023228856A1 publication Critical patent/WO2023228856A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a virtual object data selection device.
  • XR Extended Reality
  • XR is a general term for AR (Augmented Reality), VR (Virtual Reality), MR (Mixed Reality), and the like.
  • a server converts object data in a specific format to object data in a common format different from the specific format.
  • the server manages VR content including object data and configuration files in a common format.
  • the content creation device creates VR content that includes common format object data and configuration files downloaded from the server.
  • the content creation device uploads the configuration file to the server.
  • the viewing device allows the viewer to virtually experience immersion in the VR content to be viewed downloaded from the server.
  • virtual object data is transmitted to an XR device in units of areas set in real space or virtual space. That is, when a user holding an XR device enters the area, virtual object data corresponding to all virtual objects placed within the area is transmitted. On the other hand, if visibility within the area is not good, the user may not necessarily see all the virtual objects within the area, and some of the virtual object data transmitted to the XP device may not be used. Further, although a huge virtual object is visible even from outside the area, transmission may not start until the user enters the area.
  • An object of the present invention is to efficiently transmit and receive virtual object data.
  • a virtual object data selection device selects a plurality of virtual objects based on first position information, first shape information, a plurality of second shape information, and a plurality of second position information.
  • a selection unit that selects at least one virtual object data from among a plurality of virtual object data in a one-to-one correspondence, the first position information indicating a user's position in real space, and the first shape information indicates the shape of a real object located in the real space, each of the plurality of second shape information indicates the shape of each virtual object, and each of the plurality of second position information indicates the shape of each virtual object located in the real space.
  • a transmission control unit that transmits the at least one virtual object data selected by the selection unit to a display device.
  • a virtual object based on virtual object data is displayed superimposed on the user's field of view in the real space, and the selection unit selects at least one virtual object that is visible from the user's position from among the plurality of virtual objects.
  • one visible object is estimated, and virtual object data corresponding to the at least one visible object is selected as the at least one virtual object data.
  • virtual object data can be efficiently transmitted and received.
  • FIG. 1 is a block diagram showing the configuration of a system 1 according to an embodiment.
  • 1 is a block diagram showing the configuration of a terminal device 10.
  • FIG. 2 is a block diagram showing the configuration of a server 20.
  • FIG. FIG. 3 is a plan view showing the positional relationship of objects in a virtual object map MP.
  • FIG. 3 is a schematic diagram showing a virtual object map MP.
  • 3 is a flowchart showing the operation of the processing device 206.
  • FIG. 1 is a block diagram showing the configuration of a system 1 according to an embodiment.
  • the system 1 includes a terminal device 10 and a server 20.
  • the terminal device 10 is an example of a display device
  • the server 20 is an example of a virtual object data selection device.
  • the terminal device 10 and the server 20 are connected via a communication network N. Note that although only one terminal device 10 is illustrated in FIG. 1, the system 1 can include any number of terminal devices 10.
  • the system 1 is a system that presents various information to a user holding a terminal device 10 using AR technology.
  • the AR technology is a technology that displays a virtual object superimposed on a real space, thereby allowing the user to view the virtual object as if it existed in the real space. That is, the terminal device 10 displays the virtual object V (see FIG. 5, etc.) based on the virtual object data VD (see FIG. 3) in a superimposed manner on the real space within the visual field of the user.
  • the virtual object is, for example, a still image, a moving image, a 3DCG model, text, or the like.
  • the terminal device 10 may output other types of information, such as audio information.
  • the terminal device 10 is, for example, a see-through head-mounted display, or a mobile information processing terminal such as a smartphone or a tablet. In this embodiment, it is assumed that the terminal device 10 is a see-through head-mounted display.
  • the server 20 stores a plurality of virtual object data VD for displaying virtual objects on the terminal device 10. Each virtual object data VD has a one-to-one correspondence with a different virtual object V.
  • the terminal device 10 receives the virtual object data VD from the server 20 and displays the virtual object V corresponding to the virtual object data VD.
  • FIG. 2 is a block diagram showing the configuration of the terminal device 10.
  • the shape of the terminal device 10 is, for example, the same shape as general eyeglasses.
  • the terminal device 10 has a left lens placed in front of the user's left eye, a right lens placed in front of the user's right eye, and a frame that supports the left lens and the right lens.
  • the frame has a bridge provided between the left lens and the right lens, and a pair of temples that extend over the left and right ears.
  • the terminal device 10 includes a projection device 101, a speaker 102, a communication device 103, a GPS device 104, a storage device 107, a processing device 108, and a bus 109.
  • Each configuration shown in FIG. 2 is stored, for example, in a frame.
  • the projection device 101, the speaker 102, the communication device 103, the GPS device 104, the storage device 107, and the processing device 108 are interconnected by a bus 109 for communicating information.
  • the bus 109 may be configured using a single bus, or may be configured using different buses for each element such as a device.
  • the projection device 101 includes left and right lenses, a display panel, and optical members.
  • the display panel and the optical member are housed in a frame, for example.
  • the display panel and the optical member may be provided in pairs on each side, corresponding to the left and right lenses.
  • the projection device 101 displays a projection image corresponding to a virtual object on a display panel based on control from the processing device 108.
  • the display panel is, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the optical member guides the light emitted from the display panel to the left and right lenses.
  • Each of the left lens and right lens has a half mirror.
  • the half mirrors of the left lens and the right lens transmit the light representing the real space, thereby guiding the light representing the real space to the user's eyes.
  • the half mirrors included in the left lens and the right lens reflect the light representing the virtual object guided by the optical member toward the user's eyes.
  • the light from the real space that has passed through the half mirror and the light reflecting the virtual object reflected by the half mirror are superimposed and incident on the user's eyes, allowing the user to see where the virtual object is located in the real space. I perceive it as if I were there. That is, the left lens and the right lens function as a transmissive display placed in front of the eyeball.
  • the speaker 102 outputs audio.
  • the audio output by the speaker 102 is, for example, audio output accompanying a virtual object.
  • Speaker 102 is controlled by processing unit 108 .
  • the speaker 102 is placed, for example, in a frame. Alternatively, the speaker 102 may not be included in the terminal device 10 and may be separate from the terminal device 10.
  • the communication device 103 communicates with the server 20 using wireless communication or wired communication.
  • the communication device 103 includes an interface connectable to the communication network N, and communicates with the communication device 203 of the server 20 (see FIG. 3) via the communication network N.
  • the GPS device 104 receives radio waves from multiple satellites and generates position information from the received radio waves.
  • the location information indicates the location of the terminal device 10.
  • the location information may be in any format as long as the location can be specified. In this embodiment, latitude and longitude are used as location information.
  • the position information may be obtained using means other than the GPS device 104. For example, information specifying the name of the facility where the terminal device 10 is located and the location in the facility may be received by a beacon or the like provided in the facility.
  • the position of the terminal device 10 and the Posture may also be detected.
  • the position of the terminal device 10 may be detected by a VPS (Visual Positioning Service/System).
  • the terminal device 10 includes an imaging device that images the surroundings of the user, and transmits a captured image captured by the imaging device to the server 20 (or a location specifying server that identifies the location of the terminal device 10).
  • the server 20 (or location specifying server) has a map in which images of real objects arranged in real space are associated with position information of the real objects.
  • the server 20 (or location specifying server) identifies the location where the captured image was captured, that is, the location of the terminal device 10, by comparing the captured image with a map.
  • a marker indicating position information may be placed in advance in real space, and the position information may be acquired by the terminal device 10 detecting the marker from a captured image captured by an imaging device.
  • the storage device 107 is a recording medium that can be read by the processing device 108.
  • the storage device 107 includes, for example, nonvolatile memory and volatile memory. Examples of nonvolatile memories include ROM (Read Only Memory), EPROM (Erasable Programmable Read Only Memory), and EEPROM (Electrically Erasable Memory). Programmable Read Only Memory).
  • the volatile memory is, for example, RAM (Random Access Memory).
  • Storage device 107 stores program PG1.
  • the program PG1 is a program for operating the terminal device 10.
  • the processing device 108 includes one or more CPUs (Central Processing Units).
  • CPUs Central Processing Units
  • One or more CPUs are an example of one or more processors.
  • a processor and a CPU are each an example of a computer.
  • the processing device 108 reads the program PG1 from the storage device 107.
  • the processing device 108 functions as the operation control unit 110 by executing the program PG1.
  • the operation control unit 110 includes a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), and a PLD (Programmable Logic). It may be configured by a circuit such as an FPGA (Field Programmable Gate Array) or an FPGA (Field Programmable Gate Array).
  • the operation control unit 110 controls the operation of the terminal device 10.
  • the operation control unit 110 causes the communication device 103 to control the projection device 101 based on the virtual object data VD from the server 20, and causes the virtual object to be displayed superimposed on the real space.
  • the terminal device 10 when the terminal device 10 is a portable information processing terminal such as a smartphone or a tablet, the terminal device 10 includes, for example, an imaging device and a display instead of the projection device 101.
  • the terminal device 10 displays the captured image captured by the imaging device on the display, and displays the virtual object V corresponding to the virtual object data VD acquired from the server 20 in a superimposed manner on the captured image displayed on the display.
  • FIG. 3 is a block diagram showing the configuration of the server 20.
  • Server 20 includes a communication device 203, a storage device 205, a processing device 206, and a bus 207.
  • the communication device 203, the storage device 205, and the processing device 206 are interconnected by a bus 207 for communicating information.
  • the bus 207 may be configured using a single bus, or may be configured using different buses for each device.
  • the communication device 203 communicates with the terminal device 10 using wireless communication or wired communication.
  • the communication device 203 includes an interface connectable to the communication network N, and communicates with the terminal device 10 via the communication network N.
  • the storage device 205 is a recording medium that can be read by the processing device 206.
  • Storage device 205 includes, for example, nonvolatile memory and volatile memory.
  • Non-volatile memories are, for example, ROM, EPROM and EEPROM.
  • Volatile memory is, for example, RAM.
  • the storage device 205 stores a program PG2, a plurality of virtual object data VD (VD to VDn), and a virtual object map MP.
  • the program PG2 is a program for operating the server 20.
  • the virtual object data VD is data for outputting a virtual object on the terminal device 10.
  • Each of the plurality of virtual object data VD corresponds to a different virtual object. That is, the plurality of virtual object data VD corresponds to the plurality of virtual objects V on a one-to-one basis.
  • the virtual object data VD corresponding to the virtual object Vn will be referred to as virtual object data VDn as necessary.
  • virtual object data VD corresponding to virtual object V1 is virtual object data VD1.
  • the virtual object map MP is data indicating the arrangement of virtual objects V in real space. Details of the virtual object map MP will be described later.
  • the processing device 206 includes one or more CPUs.
  • One or more CPUs are an example of one or more processors.
  • a processor and a CPU are each an example of a computer.
  • the processing device 206 reads the program PG2 from the storage device 205.
  • the processing device 206 functions as an acquisition section 210, a selection section 212, a determination section 214, and a transmission control section 216 by executing the program PG3.
  • At least a portion of the acquisition section 210, the selection section 212, the determination section 214, and the transmission control section 216 may be configured by a circuit such as a DSP, an ASIC, a PLD, and an FPGA.
  • FIG. 5 is a schematic diagram showing the virtual object map MP
  • FIG. 4 is a plan view showing the positional relationship of objects in the virtual object map MP.
  • FIG. 5 is a diagram viewed from the point P shown in FIG. 4 in the direction indicated by the arrow D on the three-dimensional virtual object map MP. In FIGS. 4 and 5, the virtual object V is shown shaded.
  • the virtual object map MP includes first shape information, multiple pieces of second shape information, and multiple pieces of second position information.
  • the first shape information indicates the shape of a real object located in real space.
  • Each of the plurality of pieces of second shape information indicates the shape of each of the plurality of virtual objects V1 to Vn.
  • Each piece of second position information indicates a position in real space where each of the plurality of virtual objects V1 to Vn is placed.
  • buildings B1 to B4, trees T1 to T3, and a road S which are examples of real objects located in real space, are shown in three dimensions.
  • FIG. 5 shows three-dimensionally virtual objects V1, V3, and V6 that are virtually arranged in the real space and superimposed on the real objects.
  • the first shape information is obtained, for example, by three-dimensionally scanning the real space in advance. Further, the second shape information and the second position information are obtained from the virtual object data VD. Note that the virtual object map MP does not necessarily include all of the first shape information, second shape information, and second position information; for example, these pieces of information stored separately may be read each time to create a map as shown in FIG. A three-dimensional map may also be formed.
  • virtual objects V1 to V7 are arranged around point P, but when looking in the direction indicated by arrow D from point P, only virtual objects V1, V3, and V6 are visible. can.
  • the virtual object V2 is hidden by the tree T2 and cannot be seen.
  • the virtual object V4 is placed inside the building B1 and is therefore not visible.
  • the virtual object V5 is located in an area opposite to the direction indicated by the arrow D with respect to the point P, and is therefore not visible.
  • the virtual object V7 is located in an area opposite to the direction indicated by the arrow D with respect to the point P, and is in the shadow of the tree T5, so it is not visible.
  • the acquisition unit 210 acquires first position information indicating the user's position in real space.
  • the acquisition unit 210 acquires the position information generated by the GPS device 104 (see FIG. 2) as the first position information.
  • the selection unit 212 selects at least one of the plurality of virtual object data VD1 to VDn based on the first position information, the first shape information, the plurality of second shape information, and the plurality of second position information. Select virtual object data VD.
  • the virtual object data VD selected by the selection unit 212 is virtual object data VD to be transmitted to the terminal device 10 via the transmission control unit 216, which will be described later.
  • the virtual object data VD selected by the selection unit 212 may be referred to as "selected object data.”
  • the selection unit 212 estimates at least one visible object visible from the user's position from among the plurality of virtual objects V1 to Vn, and selects at least one virtual object data VD corresponding to the at least one visible object. Select as object data.
  • the virtual object map MP includes first shape information, multiple pieces of second shape information, and multiple pieces of second position information.
  • the selection unit 212 estimates how the real space and the virtual object V appear at the user's position based on the virtual object map MP and the first position information acquired by the acquisition unit 210.
  • a virtual object visible from the user's position becomes a visible object. For example, if the user's position is point P shown in FIG.
  • the selection unit 212 estimates that the visible objects are virtual objects V1, V3, and V6. In this case, the selection unit 212 selects the virtual object data VD1, VD3, and VD6 as the selected object data.
  • the selection unit 212 may estimate the user's movement direction based on the change in the first position information over time, and may estimate that the user's face is facing the movement direction. Furthermore, if the direction of the face is unknown, visible objects may be estimated from the user's position all the way around. For example, if the user's position is point P shown in FIG. 4 and the direction the user is facing is unknown, the selection unit 212 estimates that the visible objects are virtual objects V1, V3, V5, and V6. In this case, the selection unit 212 selects virtual object data VD1, VD3, VD5, and VD6 as selected object data.
  • the visible object is a virtual object V that is visible to the user at the present moment, but the selection unit 212 is a virtual object that will be visible to the user in the near future (for example, several seconds, tens of seconds, or several minutes).
  • the virtual object V may be predicted. That is, the selection unit 212 estimates the user's position after a predetermined time based on at least one of the user's moving direction and the user's moving speed. The selection unit 212 estimates at least one predicted visible object that is visible from the user's position after the estimated predetermined time from among the plurality of virtual objects V1 to Vn, and selects a virtual object corresponding to the at least one predicted visible object. Data VD is selected as selected object data. In this case, the transmission control unit 216, which will be described later, transmits virtual object data VD (selected object data) corresponding to the predicted visible object to the terminal device 10.
  • VD selected object data
  • the selection unit 212 estimates that the predicted visible object is the virtual object V2, and selects the virtual object data VD2 as the selected object data.
  • the terminal device 10 can smoothly display the virtual objects V. can be displayed. Further, even when the amount of selected object data is large, for example, the data transmission time can be secured, so that display delays or display defects of the virtual object V are less likely to occur. Therefore, the quality of the user's visual experience using the terminal device 10 can be improved.
  • the user's movement direction can be estimated based on the direction of change over time in the user's position indicated by the first position information, as described above.
  • the user's moving speed may be estimated based on the displacement per unit time of the user's position indicated by the first position information.
  • the user's moving direction and moving speed can be estimated more accurately by using the first shape information. For example, if the user is located in an aisle, it can be predicted that the user's movement direction is likely to be along the aisle. Furthermore, it is predicted that the moving speed will be lower in locations with elevation differences, such as stairs or slopes, compared to flat locations. Therefore, the selection unit 212 may use the first shape information in addition to the first position information to predict the user's moving direction and moving speed.
  • the determining unit 214 determines the transmission order of the plurality of virtual object data VD when the selection unit 212 selects the plurality of virtual object data VD (when there is a plurality of selected object data).
  • the determining unit 214 determines the transmission order of the plurality of virtual object data VD, for example, using any of the following methods [1] to [3].
  • the transmission order of the plurality of virtual object data VD may be, for example, the order in which transmission of each virtual object data VD is started.
  • the transmission of the virtual object data VD whose transmission is started later may be completed earlier than the virtual object data VD whose transmission is started first.
  • the determining unit 214 determines to transmit the plurality of virtual object data VD in order from the virtual object data VD of the virtual object V whose position in the real space is closest to the user's position.
  • the visible objects are virtual object data VD1, VD3, and VD6 as shown in FIG. 5.
  • the determining unit 214 determines to transmit the virtual object data VD1, VD3, and VD6 to the terminal device 10 in this order. According to the method [1], it is possible to more reliably transmit the virtual object data VD of the virtual object V to which the user tends to pay attention.
  • [2] Transmit the virtual objects V in order from the highest priority If a priority is set for each virtual object V, by transmitting the virtual object data VD in the order of the highest priority, the virtual object V with the highest priority can be reliably displayed on the terminal device 10. That is, in [2], when a priority is set for each of the plurality of virtual objects V, the determining unit 214 selects the plurality of virtual object data VD in order from the virtual object data VD of the virtual object V with the highest priority. Decide to send.
  • the virtual objects V1 to V7 are arranged in order of priority: virtual objects V7, V6, V5, V4, V3, V2, and V1.
  • the visible objects are virtual objects V1, V3, and V6 as shown in FIG. 5.
  • the determining unit 214 determines to transmit the virtual object data VD6, VD3, and VD1 to the terminal device 10 in this order. According to the method [2], the virtual object data VD of the virtual object V having a high priority can be transmitted more reliably.
  • the priority order is set by, for example, an administrator who manages the virtual object V.
  • the priority order may be set according to the advertising fee. Specifically, the higher the advertising fee for the virtual object V, the higher the priority may be given.
  • the determining unit 214 estimates the proportion of the visual field of the user that each of the plurality of visible objects displayed by the terminal device 10 occupies, and determines which of the plurality of visible objects has a high proportion of the visual field. It is determined that the virtual object data VD will be transmitted in order.
  • the determining unit 214 determines to transmit the virtual object data VD5, VD1, and VD3 to the terminal device 10 in this order. According to the method [3], it is possible to more reliably transmit the virtual object data VD of the virtual object V that occupies a high proportion of the user's visual field and to which the user tends to pay attention.
  • Virtual object data VD with a large amount of data may take time to complete transmission.
  • the determining unit 214 determines to transmit the plurality of virtual object data VD in order from the one having the largest amount of data.
  • the virtual objects are V6, V5, V4, V2, V1, V3, and V7.
  • the visible objects are virtual objects V1, V3, and V6.
  • the determining unit 214 determines to transmit the virtual object data VD6, VD1, and VD3 to the terminal device 10 in this order. According to the method [4], virtual object data VD having a large amount of data can be transmitted more reliably.
  • the transmission control unit 216 transmits the virtual object data VD to the terminal device 10. More specifically, the transmission control unit 216 controls the communication device 203 to select at least one virtual object data VD selected by the selection unit 213 from among the plurality of virtual object data VD stored in the storage device 205. It is transmitted to the terminal device 10. Furthermore, when a plurality of virtual object data VD are selected by the selection section 213, the transmission control section 216 transmits the plurality of virtual object data VD in the order determined by the determination section 214.
  • the virtual object data VD transmitted by the transmission control unit 216 is received by the terminal device 10.
  • the terminal device 10 uses the projection device 101 to display a virtual object V corresponding to at least one virtual object data VD so as to be superimposed on the user's visual field in the real space. The user perceives the virtual object V as if it actually exists in the surrounding real space.
  • FIG. 6 is a flowchart showing the operation of processing device 206.
  • the processing device 206 repeats the processing of FIG. 6 at predetermined processing intervals.
  • the processing device 206 functions as the acquisition unit 210 and receives the first location information from the terminal device 10 (step S101).
  • the processing device 206 functions as the determining unit 214, maps the position indicated by the first position information on the virtual object map MP, and estimates the visible object (step S102). At this time, the processing device 206 may estimate the user's moving direction and moving speed based on the first position information, and may estimate the predicted visible object.
  • step S103: NO the processing device 206 determines whether there is a new visible object. If there are multiple new visible objects (step S104: YES), the processing device 206 functions as the determining unit 214, and determines the transmission order of the virtual object data VD using, for example, any of the methods [1] to [4] above. Determine (step S105). If there are not a plurality of new visible objects (step S104: NO), the processing device 206 advances the process to step S106.
  • the processing device 206 functions as the transmission control unit 216 and transmits the virtual object data VD of the new visible object to the terminal device 10 (step S106). If there are a plurality of new visible objects, the processing device 206 transmits the plurality of virtual object data VD in the transmission order determined in step S105. After that, the processing device 206 returns the process to step S101.
  • the server 20 stores the user's position in the real space, the shape of the real object located in the real space, the shape of each of the plurality of virtual objects V, Based on the arrangement of each of the plurality of virtual objects V in the real space, a visible object that is a virtual object V that is visible to the user is estimated, and virtual object data VD of the visible object is transmitted to the terminal device 10. Therefore, compared to transmitting the virtual object data VD within an area all at once as in the prior art, unnecessary data transmission and reception is reduced. More specifically, the server 20 avoids transmitting virtual object data VD corresponding to virtual objects V that cannot be visually recognized by the user.
  • the processing load on the server 20 and the terminal device 10 can be reduced, and communication resources can be effectively utilized. Furthermore, the virtual object data VD is also transmitted at an appropriate timing even for a huge virtual object V, such as the virtual object V6, which is located at a distance from the user.
  • the server 20 estimates a predicted visible object that is at least one virtual object that is visible from the user's position after a predetermined time, and transmits virtual object data VD corresponding to the predicted visible object to the terminal device 10.
  • the terminal device 10 can smoothly display the virtual objects V.
  • the amount of virtual object data VD is large, for example, the data transmission time can be secured, so that display delays or display defects of the virtual object V are less likely to occur. Therefore, the quality of the user's visual experience using the terminal device 10 can be improved.
  • the server 20 transmits the plurality of virtual object data VD in order from the virtual object data VD of the virtual object V whose position in real space is closest to the user's position. Send. Therefore, the virtual object data VD of the virtual object V to which the user tends to pay attention can be transmitted more reliably.
  • the server 20 transmits the plurality of virtual object data VD in order from the virtual object data VD of the virtual object V with the highest priority, for example. Therefore, the virtual object data VD of the virtual object V having a high priority can be transmitted more reliably.
  • the server 20 when transmitting the plurality of virtual object data VD, the server 20 sends the plurality of virtual object data VD in order from the virtual object V in which the visible object displayed on the terminal device 10 occupies a high proportion of the user's field of view. Send. It is possible to more reliably transmit the virtual object data VD of the virtual object V that occupies a high proportion of the user's visual field and to which the user tends to pay attention.
  • the server 20 decides, for example, to transmit the plurality of virtual object data VDs in order from the virtual object data VD with the largest amount of data. Therefore, virtual object data VD having a large amount of data can be transmitted more reliably.
  • the terminal device 10 was configured only with a glasses-type terminal device.
  • the terminal device 10 is not limited to this, and may include a glasses-type terminal device and a portable terminal device such as a smartphone, a tablet terminal, or a notebook computer.
  • the eyeglass-type terminal device and the portable terminal device are connected to each other.
  • the terminal device 10 includes a portable terminal device, part or all of the functions of the operation control unit 110 may be performed by the portable terminal device.
  • each functional block may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g. , wired, wireless, etc.) and may be realized using a plurality of these devices.
  • the functional block may be realized by combining software with the one device or the plurality of devices.
  • Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, exploration, confirmation, reception, transmission, output, access, resolution, selection, selection, establishment, comparison, assumption, expectation, consideration, broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, as (signing), but these are limited to I can't do it.
  • a functional block (configuration unit) that performs transmission is called a transmitting unit or a transmitter. In either case, as described above, the implementation method is not particularly limited.
  • information notification may be performed using physical layer signaling (e.g., DCI (Downlink Control Information), UCI (Uplink Control Information)), upper layer signaling (e.g., RRC (Radio Resource Control) signaling, MAC (Medium Access Control) signaling, It may be implemented using broadcast information (MIB (Master Information Block), SIB (System Information Block)), other signals, or a combination thereof.
  • RRC signaling may be referred to as an RRC message, and may be, for example, an RRC Connection Setup message, an RRC Connection Reconfiguration message, or the like.
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-Advanced
  • SUPER 3G IMT-Advanced
  • 4G 4th generation mobile
  • 5G 5th generation mobile communication system
  • 6G 6th generation mobile communication system
  • xG xth generation on mobile communication system
  • FRA Full Radio Access
  • NR new Radio
  • NX New radio access
  • Future generation radio access FX
  • W-CDMA registered trademark
  • GSM registered trademark
  • CDMA2000 Code Division Multiple Access
  • UMB User Mobile Broad band
  • IEEE 802.11 Wi-Fi (registered trademark)
  • IEEE 802.16 WiMAX (registered trademark)
  • IEEE 802.20 UWB (Ultra-Wide Band
  • Bluetooth registered trademark
  • the specific operations performed by the base station may be performed by its upper node in some cases.
  • various operations performed for communication with a terminal are performed by the base station and other network nodes other than the base station (e.g., MME or It is clear that this could be done by at least one of the following: (conceivable, but not limited to) S-GW, etc.).
  • MME mobile phone
  • S-GW network node
  • Information, etc. can be output from the upper layer (or lower layer) to the lower layer (or upper layer).
  • Information etc. may be input/output via multiple network nodes.
  • Input/output information, etc. may be stored in a specific location (eg, memory) or may be managed using a management table. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • Judgment may be performed using a value expressed by 1 bit (0 or 1), a truth value (Boolean: true or false), or a comparison of numerical values. (For example, comparison with a predetermined value).
  • Software includes instructions, instruction sets, codes, code segments, program codes, programs, software, firmware, middleware, microcode, hardware description languages, or other names. Should be construed broadly to mean a subprogram, software module, application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc. Additionally, software, instructions, information, etc. may be sent and received via a transmission medium.
  • the software may use wired (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and/or wireless technologies (infrared, microwave, etc.) to access a website, When transmitted from a server or other remote source, these wired and/or wireless technologies are included within the definition of transmission medium.
  • the information, signals, etc. described in this disclosure may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. which may be referred to throughout the above description, may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may also be represented by a combination of Note that terms explained in this disclosure and terms necessary for understanding this disclosure may be replaced with terms having the same or similar meanings.
  • at least one of the channel and the symbol may be a signal.
  • the signal may be a message.
  • a component carrier (CC) may be called a carrier frequency, a cell, a frequency carrier, or the like.
  • the information, parameters, etc. described in this disclosure may be expressed using absolute values, relative values from a predetermined value, or corresponding It may be expressed using the information of .
  • radio resources may be indicated by an index.
  • the names used for the parameters described above are not restrictive in any respect.
  • the mathematical formulas etc. using these parameters may differ from those explicitly disclosed in this disclosure. Since the various channels (e.g. PUCCH, PDCCH, etc.) and information elements may be identified by any suitable designation, the various names assigned to these various channels and information elements are in no way exclusive designations. isn't it.
  • Base Station (BS),” “wireless base station,” “fixed station,” “NodeB,” “eNodeB (eNB),” and “gNodeB ( gNB)", “access point”, “transmission point”, “reception point”, “transmission/reception point”, “cell”, “se Kuta”, “ Terms such as “cell group”, “carrier”, “component carrier”, etc. may be used interchangeably.
  • a base station is sometimes referred to by terms such as macrocell, small cell, femtocell, and picocell.
  • a base station can accommodate one or more (eg, three) cells.
  • the overall coverage area of the base station can be partitioned into multiple smaller areas, and each smaller area is divided into multiple subsystems (e.g., small indoor base stations (RRHs)). Communication services may also be provided by a remote radio head).
  • RRHs small indoor base stations
  • Communication services may also be provided by a remote radio head).
  • the term "cell” or “sector” refers to a portion or the entire coverage area of a base station and/or base station subsystem that provides communication services in this coverage.
  • the base station transmitting information to the terminal may be read as the base station instructing the terminal to control/operate based on the information.
  • mobile station MS
  • user terminal user equipment
  • terminal terminal
  • a mobile station is defined by a person skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology.
  • At least one of the base station and the mobile station may be called a transmitting device, receiving device, communication device, etc.
  • the base station and the mobile station may be a device mounted on a mobile body, the mobile body itself, or the like.
  • the moving body refers to a movable object, and the moving speed is arbitrary. Naturally, this also includes cases where the moving object is stopped.
  • the mobile object is, for example, a vehicle, a transport vehicle, an automobile, a motorcycle, a bicycle, a connected car, an excavator, a bulldozer, a wheel loader, a dump truck, a forklift, a train, a bus, a cart, a rickshaw, a ship and other watercraft.
  • the mobile object may be a mobile object that autonomously travels based on a travel command. It may be a vehicle (e.g. car, airplane, etc.), an unmanned moving object (e.g. drone, self-driving car, etc.), or a robot (manned or unmanned). good.
  • the base station and the mobile station includes devices that do not necessarily move during communication operations.
  • at least one of the base station and the mobile station may be an IoT (Internet of Things) device such as a sensor.
  • IoT Internet of Things
  • the base station in the present disclosure may be replaced by a user terminal.
  • communication between a base station and a user terminal is replaced with communication between multiple user terminals (for example, it may be called D2D (Device-to-Device), V2X (Vehicle-to-Everything), etc.).
  • D2D Device-to-Device
  • V2X Vehicle-to-Everything
  • each aspect/embodiment of the present disclosure may be applied.
  • a configuration may be adopted in which the user terminal has the functions that the above-described base station has.
  • words such as "up” and “down” may be replaced with words corresponding to inter-terminal communication (for example, "side”).
  • uplink channels, downlink channels, etc. may be replaced with side channels.
  • the user terminal in the present disclosure may be replaced by a base station.
  • the base station may have the functions that the user terminal described above has.
  • determining and “determining” used in the present disclosure may encompass a wide variety of operations.
  • "Judgment” and “decision” include, for example, judging, calculating, computing, processing, deriving, investigating, looking up, searching, in query) (e.g., a search in a table, database, or other data structure), and assuming that an assertion has been made is a “judgment” or “decision.”
  • judgment and “decision” refer to receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, and access.
  • (accessing) may include regarding the act as a "judgment” or “decision.”
  • judgment and “decision” mean that things such as resolving, selecting, choosing, establishing, and comparing are considered to be “judgment” and “decision.” may be included.
  • judgment and “decision” may include regarding some action as having been “judged” or “determined.”
  • judgment (decision) may be read as “assuming", “expecting”, “considering”, etc.
  • connection refers to any direct or indirect connection or coupling between two or more elements.
  • the bonds or connections between elements may be physical, logical, or a combination thereof.
  • connection may be replaced with "access.”
  • two elements may include one or more electrical wires, cables, and/or printed electrical connections, as well as in the radio frequency domain, as some non-limiting and non-inclusive examples. , electromagnetic energy having wavelengths in the microwave and optical (both visible and non-visible) ranges.
  • the reference signal can also be abbreviated as RS (Reference Signal), and may be called a pilot depending on the applied standard.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

選択部は、第１位置情報と、第１形状情報と、複数の第２形状情報と、複数の第２位置情報とに基づいて、複数の仮想オブジェクトデータの中から少なくとも１つの仮想オブジェクトデータを選択する。第１位置情報は、現実空間におけるユーザの位置を示す。第１形状情報は、現実空間に位置する現実オブジェクトの形状を示す。複数の第２形状情報の各々は、各仮想オブジェクトの形状を示す。複数の第２位置情報の各々は、各仮想オブジェクトが配置される現実空間の位置を示す。送信制御部は、仮想オブジェクトデータを表示装置に送信する。選択部は、ユーザの位置から視認可能な少なくとも１つの視認オブジェクトを推定し、少なくとも１つの視認オブジェクトに対応する仮想オブジェクトデータを少なくとも１つの仮想オブジェクトデータとして選択する。

Description

仮想オブジェクトデータ選択装置
　本発明は、仮想オブジェクトデータ選択装置に関する。
　近年、ＸＲ（Ｅｘｔｅｎｄｅｄ　Ｒｅａｌｉｔｙ）技術が普及している。ＸＲは、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）、ＶＲ（ｖｉｒｔｕａｌ　ｒｅａｌｉｔｙ）およびＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）等の総称である。例えば、下記特許文献１に記載のＶＲコンテンツ管理システムにおいて、サーバは、特定フォーマットのオブジェクトデータを、特定フォーマットとは異なる共通フォーマットのオブジェクトデータに変換する。サーバは、共通フォーマットのオブジェクトデータと設定ファイルとを含むＶＲコンテンツを管理する。コンテンツ作成装置は、サーバからダウンロードされた共通フォーマットのオブジェクトデータおよび設定ファイルを含むＶＲコンテンツを作成する。コンテンツ作成装置は、設定ファイルをサーバにアップロードする。視聴装置は、サーバからダウンロードされた視聴対象のＶＲコンテンツへの没入を仮想的に視聴者に体験させる。
特開２０１９－１６８９３４号公報
　一般に、ＸＲデバイスへの仮想オブジェクトデータの送信は、現実空間または仮想空間に設定されたエリア単位で行われる。すなわち、ＸＲデバイスを保持したユーザが上記エリア内に進入した場合には、エリア内に配置された全ての仮想オブジェクトに対応する仮想オブジェクトデータが送信される。一方で、エリア内の見通しが良好ではない場合は、ユーザがエリア内の仮想オブジェクトを全て視認するとは限らず、ＸＰデバイスに送信された仮想オブジェクトデータの一部が利用されない場合もある。また、巨大な仮想オブジェクトは、エリア外からも視認可能にもかかわらず、ユーザがエリア内に進入するまで送信が開始されない場合がある。
　本発明の目的は、仮想オブジェクトデータの送受信を効率的に行うことにある。
　本発明の一態様に係る仮想オブジェクトデータ選択装置は、第１位置情報と、第１形状情報と、複数の第２形状情報と、複数の第２位置情報とに基づいて、複数の仮想オブジェクトと１対１に対応する複数の仮想オブジェクトデータの中から少なくとも１つの仮想オブジェクトデータを選択する選択部であって、前記第１位置情報は、現実空間におけるユーザの位置を示し、前記第１形状情報は、前記現実空間に位置する現実オブジェクトの形状を示し、前記複数の第２形状情報の各々は、各仮想オブジェクトの形状を示し、前記複数の第２位置情報の各々は、各仮想オブジェクトが配置される現実空間の位置を示す、選択部と、前記選択部によって選択された前記少なくとも１つの仮想オブジェクトデータを表示装置に送信する送信制御部と、を備え、前記表示装置は、前記少なくとも１つの仮想オブジェクトデータに基づく仮想オブジェクトを、前記現実空間のうち前記ユーザの視野範囲に重畳して表示し、前記選択部は、前記複数の仮想オブジェクトの中から、前記ユーザの位置から視認可能な少なくとも１つの視認オブジェクトを推定し、前記少なくとも１つの視認オブジェクトに対応する仮想オブジェクトデータを前記少なくとも１つの仮想オブジェクトデータとして選択する。
　本発明の一態様によれば、仮想オブジェクトデータの送受信を効率的に行うことができる。
実施形態に係るシステム１の構成を示すブロック図である。 端末装置１０の構成を示すブロック図である。 サーバ２０の構成を示すブロック図である。 仮想オブジェクトマップＭＰにおけるオブジェクトの位置関係を示す平面図である。 仮想オブジェクトマップＭＰを示す模式図である。 処理装置２０６の動作を示すフローチャートである。
Ａ．実施形態
Ａ－１．システム構成
　図１は、実施形態に係るシステム１の構成を示すブロック図である。システム１は、端末装置１０と、サーバ２０とを備える。端末装置１０は表示装置の一例であり、サーバ２０は仮想オブジェクトデータ選択装置の一例である。端末装置１０と、サーバ２０とは、通信網Ｎを介して接続されている。なお、図１では、端末装置１０を１台のみ図示しているが、システム１は、任意の台数の端末装置１０を備えることが可能である。
　本実施形態において、システム１は、端末装置１０を保持するユーザに対して、ＡＲ技術を利用して各種情報を提示するシステムである。ここで、ＡＲ技術とは、現実空間に仮想オブジェクトを重ね合わせて表示することで、仮想オブジェクトが現実空間に存在するかのようにユーザに視認させる技術である。すなわち、端末装置１０は、仮想オブジェクトデータＶＤ（図３参照）に基づく仮想オブジェクトＶ（図５等参照）をユーザの視野範囲の現実空間に重畳して表示する。仮想オブジェクトは、例えば静止画像、動画、３ＤＣＧモデル、およびテキスト等である。なお、端末装置１０は、仮想オブジェクトＶを表示する際に、例えば音声情報等の他の種類の情報を出力してもよい。
　端末装置１０は、例えばシースルー型のヘッドマウントディスプレイ、またはスマートフォン、タブレット等の携帯情報処理端末である。本実施形態では、端末装置１０が、シースルー型のヘッドマウントディスプレイであるものとする。サーバ２０は、端末装置１０で仮想オブジェクトを表示するための複数の仮想オブジェクトデータＶＤを記憶する。各仮想オブジェクトデータＶＤは、それぞれ異なる仮想オブジェクトＶと１対１に対応している。端末装置１０は、サーバ２０から仮想オブジェクトデータＶＤを受信し、仮想オブジェクトデータＶＤに対応する仮想オブジェクトＶを表示する。
Ａ－２．端末装置１０
　図２は、端末装置１０の構成を示すブロック図である。端末装置１０の形状は、例えば一般的な眼鏡と同様の形状である。端末装置１０は、ユーザの左眼の前方に配置される左レンズと、ユーザの右眼の前方に配置される右レンズと、左レンズおよび右レンズを支持するフレームを有する。フレームは、左レンズと右レンズとの間に設けられたブリッジ、および左右の耳にかかる一対のテンプルを有する。
　端末装置１０は、投影装置１０１と、スピーカ１０２と、通信装置１０３と、ＧＰＳ装置１０４と、記憶装置１０７と、処理装置１０８と、バス１０９とを備える。図２に示す各構成は、例えばフレームに格納されている。投影装置１０１と、スピーカ１０２と、通信装置１０３と、ＧＰＳ装置１０４と、記憶装置１０７と、処理装置１０８とは、情報を通信するためのバス１０９によって相互に接続される。バス１０９は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに異なるバスを用いて構成されてもよい。
　投影装置１０１は、左右のレンズ、表示パネルおよび光学部材を含む。表示パネルおよび光学部材は、例えばフレームに収容されている。表示パネルおよび光学部材は、左右のレンズに対応して、左右１対ずつ設けられてもよい。投影装置１０１は、処理装置１０８からの制御に基づいて、仮想オブジェクトに対応する投射画像を表示パネルに表示する。表示パネルは、例えば、液晶パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルである。光学部材は、表示パネルから射出された光を左右のレンズに導光する。
　左レンズと右レンズの各々は、ハーフミラーを有する。左レンズと右レンズが有するハーフミラーは、現実空間を表す光を透過させることによって、現実空間を表す光をユーザの目に導く。また、左レンズと右レンズが有するハーフミラーは、光学部材によって導光された仮想オブジェクトを示す光をユーザの目に向けて反射する。ハーフミラーを透過した現実空間の光と、ハーフミラーによって反射された仮想オブジェクトを示す光とが重畳してユーザの目に入射されることによって、ユーザは、現実空間上に仮想オブジェクトが位置しているように知覚する。すなわち、左レンズと右レンズは、眼球の前面に配置される透過型のディスプレイとして機能する。
　スピーカ１０２は、音声を出力する。スピーカ１０２が出力する音声は、例えば仮想オブジェクトに付随して出力される音声等である。スピーカ１０２は、処理装置１０８によって制御される。スピーカ１０２は、例えばフレームに配置される。または、スピーカ１０２は、端末装置１０に含まれずに、端末装置１０とは別体でもよい。
　通信装置１０３は、無線通信または有線通信を用いてサーバ２０と通信する。本実施形態において、通信装置１０３は、通信網Ｎに接続可能なインターフェースを備え、通信網Ｎを介してサーバ２０の通信装置２０３（図３参照）と通信する。
　ＧＰＳ装置１０４は、複数の衛星からの電波を受信し、受信した電波から位置情報を生成する。位置情報は、端末装置１０の位置を示す。位置情報は、位置を特定できるのであれば、どのような形式であってもよい。本実施形態では、位置情報として緯度および経度が用いられる。なお、位置情報はＧＰＳ装置１０４以外の手段を用いて得られてもよい。例えば、施設に設けられたビーコン等によって、端末装置１０が位置する施設名および施設における位置を特定する情報を受信してもよい。
　なお、ＧＰＳ装置１０４に代えて、または、ＧＰＳ装置１０４に加えて、地磁気センサ、加速度センサ、角加速度センサ、または慣性計測装置（ＩＭＵ：　Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）等のセンサ類によって端末装置１０の位置および姿勢が検出されてもよい。
　また、ＧＰＳ装置１０４に代えて、または、ＧＰＳ装置１０４に加えて、ＶＰＳ（Ｖｉｓｕａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｅｒｖｉｃｅ／Ｓｙｓｔｅｍ）により端末装置１０の位置が検出されてもよい。この場合、端末装置１０は、ユーザの周囲を撮像する撮像装置を有し、撮像装置で撮像した撮像画像をサーバ２０（または端末装置１０の位置を特定する位置特定サーバ）に送信する。サーバ２０（または位置特定サーバ）は、現実空間に配置された現実オブジェクトを写した画像と現実オブジェクトの位置情報とが対応付けられたマップを有する。サーバ２０（または位置特定サーバ）は、撮影画像とマップとを照合して、撮影画像が撮影された位置、すなわち端末装置１０の位置を特定する。
　または、例えば予め現実空間に位置情報を示すマーカーを配置しておき、端末装置１０が撮像装置で撮像した撮影画像からマーカーを検出することで位置情報が取得されてもよい。
　記憶装置１０７は、処理装置１０８が読み取り可能な記録媒体である。記憶装置１０７は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）およびＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）である。揮発性メモリーは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。記憶装置１０７は、プログラムＰＧ１を記憶する。プログラムＰＧ１は、端末装置１０を動作させるためのプログラムである。
　処理装置１０８は、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含む。１または複数のＣＰＵは、１または複数のプロセッサの一例である。プロセッサおよびＣＰＵの各々は、コンピュータの一例である。
　処理装置１０８は、記憶装置１０７からプログラムＰＧ１を読み取る。処理装置１０８は、プログラムＰＧ１を実行することによって、動作制御部１１０として機能する。動作制御部１１０は、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）およびＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の回路によって構成されてもよい。
　動作制御部１１０は、端末装置１０の動作を制御する。例えば、動作制御部１１０は、通信装置１０３がサーバ２０から仮想オブジェクトデータＶＤに基づいて投影装置１０１を制御し、現実空間に重畳して仮想オブジェクトを表示させる。
　なお、端末装置１０がスマートフォンまたはタブレット等の携帯情報処理端末である場合、端末装置１０は、投影装置１０１に代えて、例えば撮像装置とディスプレイとを備える。端末装置１０は、撮像装置で撮像した撮像画像をディスプレイに表示し、サーバ２０から取得した仮想オブジェクトデータＶＤに対応する仮想オブジェクトＶを、ディスプレイに表示された撮像画像と重畳して表示する。
Ａ－３．サーバ２０
　図３は、サーバ２０の構成を示すブロック図である。サーバ２０は、通信装置２０３と、記憶装置２０５と、処理装置２０６と、バス２０７とを含む。通信装置２０３と、記憶装置２０５と、処理装置２０６とは、情報を通信するためのバス２０７によって相互に接続される。バス２０７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　通信装置２０３は、無線通信または有線通信を用いて端末装置１０と通信する。本実施形態において、通信装置２０３は、通信網Ｎに接続可能なインターフェースを備え、通信網Ｎを介して端末装置１０と通信する。
　記憶装置２０５は、処理装置２０６が読み取り可能な記録媒体である。記憶装置２０５は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ、ＥＰＲＯＭおよびＥＥＰＲＯＭである。揮発性メモリーは、例えば、ＲＡＭである。記憶装置２０５は、プログラムＰＧ２と、複数の仮想オブジェクトデータＶＤ（ＶＤ～ＶＤｎ）と、仮想オブジェクトマップＭＰとを記憶する。
　プログラムＰＧ２は、サーバ２０を動作させるためのプログラムである。仮想オブジェクトデータＶＤは、端末装置１０で仮想オブジェクトを出力するためのデータである。複数の仮想オブジェクトデータＶＤは、それぞれ異なる仮想オブジェクトに対応する。すなわち、複数の仮想オブジェクトデータＶＤは、複数の仮想オブジェクトＶと１対１に対応する。以下、必要に応じて、仮想オブジェクトＶｎに対応する仮想オブジェクトデータＶＤを仮想オブジェクトデータＶＤｎと表記する。例えば、仮想オブジェクトＶ１に対応する仮想オブジェクトデータＶＤは仮想オブジェクトデータＶＤ１である。仮想オブジェクトマップＭＰは、現実空間における仮想オブジェクトＶの配置を示すデータである。仮想オブジェクトマップＭＰの詳細は後述する。
　処理装置２０６は、１または複数のＣＰＵを含む。１または複数のＣＰＵは、１または複数のプロセッサの一例である。プロセッサおよびＣＰＵの各々は、コンピュータの一例である。
　処理装置２０６は、記憶装置２０５からプログラムＰＧ２を読み取る。処理装置２０６は、プログラムＰＧ３を実行することによって、取得部２１０、選択部２１２、決定部２１４および送信制御部２１６として機能する。取得部２１０、選択部２１２、決定部２１４および送信制御部２１６の少なくとも一部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤおよびＦＰＧＡ等の回路によって構成されてもよい。
Ａ－４．処理装置２０６の詳細
　つぎに、処理装置２０６がプログラムＰＧ２を実行することで実現する、取得部２１０、選択部２１２、決定部２１４および送信制御部２１６の詳細について説明する。説明に先立って、記憶装置２０５に記憶された仮想オブジェクトマップＭＰの詳細について説明する。
　図５は、仮想オブジェクトマップＭＰを示す模式図であり、図４は、仮想オブジェクトマップＭＰにおけるオブジェクトの位置関係を示す平面図である。図５は、３次元の仮想オブジェクトマップＭＰ上で図４に示す地点Ｐから矢印Ｄが示す方向を見た図である。図４および図５において、仮想オブジェクトＶが網掛けで示される。
　仮想オブジェクトマップＭＰには、第１形状情報と、複数の第２形状情報と、複数の第２位置情報とが含まれる。第１形状情報は、現実空間に位置する現実オブジェクトの形状を示す。複数の第２形状情報の各々は、複数の仮想オブジェクトＶ１～Ｖｎの各々の形状を示す。複数の第２位置情報の各々は、複数の仮想オブジェクトＶ１～Ｖｎの各々が配置される現実空間の位置を示す。例えば図５には、現実空間に位置する現実オブジェクトの一例である、建物Ｂ１～Ｂ４、樹木Ｔ１～Ｔ３、道路Ｓ等が３次元で示される。また、図５には、現実オブジェクトと重畳して、現実空間に仮想的に配置された仮想オブジェクトＶ１，Ｖ３，Ｖ６が３次元で示される。
　第１形状情報は、例えば予め現実空間を３次元スキャンすることで得られる。また、第２形状情報および第２位置情報は、仮想オブジェクトデータＶＤから得られる。なお、仮想オブジェクトマップＭＰに、第１形状情報、第２形状情報および第２位置情報が全て含まれるに限らず、例えば別々に記憶されたこれらの情報を都度読み込んで、図５に示すような３次元のマップを形成してもよい。
　仮想オブジェクトマップＭＰを用いることによって、現実空間の任意の位置から見た現実空間オブジェクトおよび仮想オブジェクトの見え方を把握することができる。例えば、図４を参照すると、地点Ｐの周辺には仮想オブジェクトＶ１～Ｖ７が配置されているが、地点Ｐから矢印Ｄが示す方向を見た場合には仮想オブジェクトＶ１，Ｖ３，Ｖ６のみが視認できる。例えば、仮想オブジェクトＶ２は樹木Ｔ２の陰になって視認されない。仮想オブジェクトＶ４は建物Ｂ１の内部に配置されているため視認されない。仮想オブジェクトＶ５は地点Ｐに対して矢印Ｄが示す方向と反対側の領域に位置するため視認されない。仮想オブジェクトＶ７は地点Ｐに対して矢印Ｄが示す方向と反対側の領域に位置し、かつ樹木Ｔ５の陰になっているため、視認されない。
　つづいて、処理装置２０６の各機能部（図３参照）について説明する。取得部２１０は、ユーザの現実空間における位置を示す第１位置情報を取得する。本実施形態では、取得部２１０は、ＧＰＳ装置１０４（図２参照）によって生成された位置情報を第１位置情報として取得する。
　選択部２１２は、第１位置情報と、第１形状情報と、複数の第２形状情報と、複数の第２位置情報とに基づいて、複数の仮想オブジェクトデータＶＤ１～ＶＤｎの中から少なくとも１つの仮想オブジェクトデータＶＤを選択する。選択部２１２が選択する仮想オブジェクトデータＶＤは、後述する送信制御部２１６を介して端末装置１０に送信する仮想オブジェクトデータＶＤである。以下、選択部２１２によって選択された仮想オブジェクトデータＶＤを、「選択オブジェクトデータ」という場合がある。
　選択部２１２は、複数の仮想オブジェクトＶ１～Ｖｎの中から、ユーザの位置から視認可能な少なくとも１つの視認オブジェクトを推定し、少なくとも１つの視認オブジェクトに対応する仮想オブジェクトデータＶＤを、少なくとも１つの選択オブジェクトデータとして選択する。上述のように、仮想オブジェクトマップＭＰには、第１形状情報と、複数の第２形状情報と、複数の第２位置情報とが含まれる。選択部２１２は、仮想オブジェクトマップＭＰと、取得部２１０が取得した第１位置情報とに基づいて、ユーザの位置における現実空間および仮想オブジェクトＶの見え方を推定する。ユーザの位置から見える仮想オブジェクトが、視認オブジェクトとなる。例えば、ユーザの位置が図４に示す地点Ｐであり、矢印Ｄが示す方向をユーザが向いている場合、選択部２１２は、視認オブジェクトが仮想オブジェクトＶ１，Ｖ３，Ｖ６であると推定する。この場合、選択部２１２は、仮想オブジェクトデータＶＤ１，ＶＤ３，ＶＤ６を選択オブジェクトデータとして選択する。
　なお、ユーザが視認可能な範囲は、ユーザの顔の向きよって異なる。選択部２１２は、例えば、第１位置情報の経時的な変化に基づいて、ユーザの移動方向を推定し、ユーザの顔が移動方向を向いているもの推定してもよい。また、顔の向きが不明な場合は、ユーザの位置から全周に渡って視認オブジェクトを推定してもよい。例えば、ユーザの位置が図４に示す地点Ｐであり、ユーザが向いている方向が不明な場合、選択部２１２は、視認オブジェクトが仮想オブジェクトＶ１，Ｖ３，Ｖ５，Ｖ６であると推定する。この場合、選択部２１２は、仮想オブジェクトデータＶＤ１，ＶＤ３，ＶＤ５，ＶＤ６を選択オブジェクトデータとして選択する。
　ここで、視認オブジェクトは、現時点においてユーザが視認可能な仮想オブジェクトＶであるが、選択部２１２は、近い将来（例えば数秒後、数十秒後または数分後）にユーザが視認可能となることが予測される仮想オブジェクトＶを予測してもよい。すなわち、選択部２１２は、ユーザの移動方向およびユーザの移動速度の少なくともいずれかに基づいて、所定時間後におけるユーザの位置を推定する。選択部２１２は、複数の仮想オブジェクトＶ１～Ｖｎのうち、当該推定した所定時間後におけるユーザの位置から視認可能な少なくとも１つの予測視認オブジェクトを推定し、少なくとも１つの予測視認オブジェクトに対応する仮想オブジェクトデータＶＤを、選択オブジェクトデータとして選択する。この場合、後述する送信制御部２１６は、予測視認オブジェクトに対応する仮想オブジェクトデータＶＤ（選択オブジェクトデータ）を端末装置１０に送信する。
　例えば、ユーザの現在位置が図４に示す地点Ｐであり、矢印Ｄが示す方向にユーザが歩いている場合、所定時間後にはユーザは地点Ｑに到達することが予測される。地点Ｑからは、地点Ｐでは樹木Ｔ２に隠れて見えなかった仮想オブジェクトＶ２が見えるようになることが予測される。この場合、選択部２１２は、予測視認オブジェクトが仮想オブジェクトＶ２であると推定し、仮想オブジェクトデータＶＤ２を選択オブジェクトデータとして選択する。
　このように、近い将来にユーザから視認可能となる可能性がある予測視認オブジェクトの仮想オブジェクトデータＶＤが選択オブジェクトデータとして端末装置１０に予め送信されることで、端末装置１０は仮想オブジェクトＶをスムーズに表示することができる。また、例えば選択オブジェクトデータのデータ量が大きい場合でも、データの送信時間を確保することができるので、仮想オブジェクトＶの表示遅延または表示不良が生じにくい。よって、端末装置１０を用いたユーザの視覚体験の品質を向上させることができる。
　なお、ユーザの移動方向は、上述のように第１位置情報が示すユーザの位置の経時的な変化の向きに基づいて推定され得る。また、ユーザの移動速度は、第１位置情報が示すユーザの位置の単位時間当たりの変位に基づいて推定され得る。また、ユーザの移動方向および移動速度は、第１形状情報を用いることで、より精度よく推定され得る。例えば、ユーザが通路に位置している場合には、ユーザの移動方向は通路に沿っていく可能性が高いと予測できる。また、例えば階段または坂道などの標高差がある箇所では、平坦な箇所と比較して移動速度が低下することが予測される。よって、選択部２１２は、第１位置情報に加えて第１形状情報を用いて、ユーザの移動方向および移動速度を予測してもよい。
　決定部２１４は、選択部２１２によって複数の仮想オブジェクトデータＶＤが選択された場合に（選択オブジェクトデータが複数ある場合に）、複数の仮想オブジェクトデータＶＤの送信順序を決定する。決定部２１４は、例えば以下の［１］～［３］のいずれかの方法で、複数の仮想オブジェクトデータＶＤの送信順序を決定する。
　なお、複数の仮想オブジェクトデータＶＤの送信に当たって、仮想オブジェクトデータＶＤを１つ１つ直列的に送信する場合と、複数の仮想オブジェクトデータＶＤを並列的に送信する場合とが考えられる。後者の場合、複数の仮想オブジェクトデータＶＤの送信順序とは、例えば各仮想オブジェクトデータＶＤの送信を開始する順序であってもよい。この場合、仮想オブジェクトデータＶＤのデータ量によっては、先に送信が開始された仮想オブジェクトデータＶＤよりも後に送信が開始された仮想オブジェクトデータＶＤの方が先に送信が完了する場合もある。
［１］ユーザの位置に近い仮想オブジェクトＶから順に送信
　視認オブジェクトのうちユーザが注意を向けやすいのは、ユーザに近い位置に配置された視認オブジェクトである場合がある。また、予測視認オブジェクトに関しても、ユーザの現在位置により近い予測視認オブジェクトの方が先に視認可能となる可能性が高いと考えられる。よって、［１］では、決定部２１４は、現実空間において配置される位置が、ユーザの位置に近い仮想オブジェクトＶの仮想オブジェクトデータＶＤから順に複数の仮想オブジェクトデータＶＤを送信すると決定する。
　例えば、ユーザの位置が図４に示す地点Ｐであり、矢印Ｄが示す方向をユーザが向いている場合、視認オブジェクトは、図５に示すように仮想オブジェクトデータＶＤ１，ＶＤ３，ＶＤ６である。この場合、決定部２１４は、仮想オブジェクトデータＶＤ１，ＶＤ３，ＶＤ６の順に端末装置１０に送信すると決定する。［１］の方法によれば、ユーザが注意を向けやすい仮想オブジェクトＶの仮想オブジェクトデータＶＤをより確実に送信することができる。
［２］優先順位が高い仮想オブジェクトＶから順に送信
　それぞれの仮想オブジェクトＶに優先順位が設定されている場合、優先順位が高い順に仮想オブジェクトデータＶＤを送信することで、優先順位が高い仮想オブジェクトＶを端末装置１０で確実に表示することができる。すなわち、［２］では、複数の仮想オブジェクトＶの各々に優先順位が設定されている場合、決定部２１４は、優先順位が高い仮想オブジェクトＶの仮想オブジェクトデータＶＤから順に複数の仮想オブジェクトデータＶＤを送信すると決定する。
　例えば、仮想オブジェクトＶ１～Ｖ７を優先順位が高い順に並べると、仮想オブジェクトＶ７，Ｖ６，Ｖ５，Ｖ４，Ｖ３，Ｖ２，Ｖ１であるものとする。ユーザの位置が図４に示す地点Ｐであり、矢印Ｄが示す方向をユーザが向いている場合、視認オブジェクトは、図５に示すように仮想オブジェクトＶ１，Ｖ３，Ｖ６である。この場合、決定部２１４は、仮想オブジェクトデータＶＤ６，ＶＤ３，ＶＤ１の順に端末装置１０に送信すると決定する。［２］の方法によれば、優先順位が高い仮想オブジェクトＶの仮想オブジェクトデータＶＤをより確実に送信することができる。
　なお、優先順位は、例えば仮想オブジェクトＶを管理する管理者が設定する。例えば仮想オブジェクトＶが、企業等が広告料金を支払って出稿する広告である場合には、広告料金に応じて優先順位を設定してもよい。具体的には、広告料金が高い仮想オブジェクトＶほど、優先順位を高くしてもよい。
［３］ユーザの視野に占める割合が高い仮想オブジェクトから順に送信
　視認オブジェクトのうちユーザが注意を向けやすいのは、ユーザの視野に占める割合が高い、すなわち、ユーザから大きく見える視認オブジェクトである場合がある。よって、［３］では、決定部２１４は、端末装置１０によって表示される複数の視認オブジェクトの各々がユーザの視野範囲に占める割合を推定し、複数の視認オブジェクトのうち視野範囲に占める割合が高いものから順に仮想オブジェクトデータＶＤを送信すると決定する。
　例えば、ユーザの位置が図４に示す地点Ｐであり、矢印Ｄが示す方向をユーザが向いている場合、ユーザの視野範囲に占める割合は、図５に示すように、仮想オブジェクトＶ５，Ｖ１，Ｖ３の順で高い。よって、決定部２１４は、仮想オブジェクトデータＶＤ５，ＶＤ１，ＶＤ３の順に端末装置１０に送信すると決定する。［３］の方法によれば、ユーザの視野に占める割合が高く、ユーザが注意を向けやすい仮想オブジェクトＶの仮想オブジェクトデータＶＤをより確実に送信することができる。
［４］データ量が大きい仮想オブジェクトから順に送信
　データ量が大きい仮想オブジェクトデータＶＤは、送信が完了するまでに時間がかかる場合がある。特に、予測視認オブジェクトの仮想オブジェクトデータＶＤを送信するにあたっては、データ量が大きい仮想オブジェクトデータＶＤを早いタイミングから送信しておくのが有効な場合がある。よって、［４］では、決定部２１４は、データ量の大きい仮想オブジェクトデータＶＤから順に複数の仮想オブジェクトデータＶＤを送信すると決定する。
　例えば、仮想オブジェクトデータＶＤ１～ＶＤ７をデータ量が大きい順に並べると、仮想オブジェクトＶ６，Ｖ５，Ｖ４，Ｖ２，Ｖ１，Ｖ３，Ｖ７であるものとする。ユーザの位置が図４に示す地点Ｐであり、矢印Ｄが示す方向をユーザが向いている場合、視認オブジェクトは、仮想オブジェクトＶ１，Ｖ３，Ｖ６である。この場合、決定部２１４は、仮想オブジェクトデータＶＤ６，ＶＤ１，ＶＤ３の順に端末装置１０に送信すると決定する。［４］の方法によれば、データ量が大きい仮想オブジェクトデータＶＤをより確実に送信することができる。
　上記［１］～［４］では、図４の地点Ｐにユーザが位置する場合の視認オブジェクトを具体例にして仮想オブジェクトデータＶＤの送信順序を説明したが、予測視認オブジェクトを送信する場合についても同様に、［１］～［４］のように送信順序を決定することができる。
　送信制御部２１６は、端末装置１０に仮想オブジェクトデータＶＤを送信する。より詳細には、送信制御部２１６は、通信装置２０３を制御して、記憶装置２０５に記憶された複数の仮想オブジェクトデータＶＤのうち、選択部２１３によって選択された少なくとも１つの仮想オブジェクトデータＶＤを端末装置１０に送信する。また、送信制御部２１６は、選択部２１３によって複数の仮想オブジェクトデータＶＤが選択された場合、決定部２１４が決定した順序で複数の仮想オブジェクトデータＶＤを送信する。
　送信制御部２１６が送信した仮想オブジェクトデータＶＤは、端末装置１０に受信される。端末装置１０は、投影装置１０１を用いて、少なくとも１つの仮想オブジェクトデータＶＤに対応する仮想オブジェクトＶを、現実空間のうちユーザの視野範囲に重畳して表示する。ユーザは、周囲の現実空間に仮想オブジェクトＶが実際に存在するかのように知覚する。
Ａ－５．処理装置２０６の動作
　図６は、処理装置２０６の動作を示すフローチャートである。処理装置２０６は、所定の処理間隔で図６の処理を繰り返す。処理装置２０６は、取得部２１０として機能し、端末装置１０から第１位置情報を受信する（ステップＳ１０１）。処理装置２０６は、決定部２１４として機能し、第１位置情報が示す位置を仮想オブジェクトマップＭＰ上にマッピングし、視認オブジェクトを推定する（ステップＳ１０２）。この時、処理装置２０６は、第１位置情報に基づいてユーザの移動方向および移動速度を推定し、予測視認オブジェクトを推定してもよい。
　ユーザの移動に伴って視認オブジェクトは変化する。前回の視認オブジェクトの推定時にはなかった視認オブジェクトが存在する場合、当該視認オブジェクトを「新規の視認オブジェクト」とする。新規の視認オブジェクトがない場合（ステップＳ１０３：ＮＯ）、処理装置２０６は、処理をステップＳ１０１に戻す。一方、新規の視認オブジェクトがある場合（ステップＳ１０３：ＹＥＳ）、処理装置２０６は、新規の視認オブジェクトが複数であるか否かを判断する（ステップＳ１０４）。新規の視認オブジェクトが複数である場合（ステップＳ１０４：ＹＥＳ）、処理装置２０６は決定部２１４として機能し、例えば上記［１］～［４］のいずれかの方法で仮想オブジェクトデータＶＤの送信順序を決定する（ステップＳ１０５）。新規の視認オブジェクトが複数ではない場合（ステップＳ１０４：ＮＯ）、処理装置２０６は、処理をステップＳ１０６に進める。
　処理装置２０６は送信制御部２１６として機能し、新規の視認オブジェクトの仮想オブジェクトデータＶＤを端末装置１０に送信する（ステップＳ１０６）。新規の視認オブジェクトが複数の場合、処理装置２０６は、ステップＳ１０５で決定した送信順序で複数の仮想オブジェクトデータＶＤを送信する。その後、処理装置２０６は、ステップＳ１０１に処理を戻す。
　Ａ－５．実施形態のまとめ
　以上説明したように、実施形態によれば、サーバ２０は、ユーザの現実空間における位置と、現実空間に位置する現実オブジェクトの形状と、複数の仮想オブジェクトＶの各々の形状と、複数の仮想オブジェクトＶの各々の現実空間における配置とに基づいて、ユーザから視認可能な仮想オブジェクトＶである視認オブジェクトを推定し、視認オブジェクトの仮想オブジェクトデータＶＤを端末装置１０に送信する。よって、先行技術のようにエリア内の仮想オブジェクトデータＶＤを一括して送信するのと比較して、無駄なデータの送受信が低減される。より具体的には、サーバ２０は、ユーザが視認できない仮想オブジェクトＶに対応する仮想オブジェクトデータＶＤを送信するのを回避する。よって、サーバ２０および端末装置１０の処理負荷が軽減されるとともに、通信リソースが有効に活用され得る。また、例えば仮想オブジェクトＶ６のように、ユーザから離れた位置に配置された巨大な仮想オブジェクトＶについても、適切なタイミングで仮想オブジェクトデータＶＤが送信される。
　また、サーバ２０は、所定時間後におけるユーザの位置から視認可能な少なくとも１つの仮想オブジェクトである予測視認オブジェクトを推定し、予測視認オブジェクトに対応する仮想オブジェクトデータＶＤを端末装置１０に送信する。近い将来にユーザから視認可能となる可能性がある予測視認オブジェクトの仮想オブジェクトデータＶＤが予め端末装置１０に送信されることで、端末装置１０は仮想オブジェクトＶをスムーズに表示することができる。また、例えば仮想オブジェクトデータＶＤのデータ量が大きい場合でも、データの送信時間を確保することができるので、仮想オブジェクトＶの表示遅延または表示不良が生じにくい。よって、端末装置１０を用いたユーザの視覚体験の品質を向上させることができる。
　また、サーバ２０は、複数の仮想オブジェクトデータＶＤを送信する際、一例として、現実空間において配置される位置がユーザの位置に近い仮想オブジェクトＶの仮想オブジェクトデータＶＤから順に複数の仮想オブジェクトデータＶＤを送信する。よって、ユーザが注意を向けやすい仮想オブジェクトＶの仮想オブジェクトデータＶＤをより確実に送信することができる。
　また、サーバ２０は、複数の仮想オブジェクトデータＶＤを送信する際、一例として、優先順位が高い仮想オブジェクトＶの仮想オブジェクトデータＶＤから順に複数の仮想オブジェクトデータＶＤを送信する。よって、優先順位が高い仮想オブジェクトＶの仮想オブジェクトデータＶＤをより確実に送信することができる。
　また、サーバ２０は、複数の仮想オブジェクトデータＶＤを送信する際、一例として、端末装置１０で表示された視認オブジェクトがユーザの視野範囲に占める割合が高い仮想オブジェクトＶから順に複数の仮想オブジェクトデータＶＤを送信する。ユーザの視野に占める割合が高く、ユーザが注意を向けやすい仮想オブジェクトＶの仮想オブジェクトデータＶＤをより確実に送信することができる。
　また、サーバ２０は、複数の仮想オブジェクトデータＶＤを送信する際、一例として、データ量の大きい仮想オブジェクトデータＶＤから順に複数の仮想オブジェクトデータＶＤを送信すると決定する。よって、データ量が大きい仮想オブジェクトデータＶＤをより確実に送信することができる。
　Ｂ：変形例
　上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
　Ｂ１：第１変形例
　上述した実施形態では、端末装置１０は眼鏡型の端末装置のみで構成されていた。これに限らず、端末装置１０は眼鏡型の端末装置と、スマートフォン、タブレット端末、ノートパソコン等の携帯型の端末装置とを含んでもよい。この場合、眼鏡型の端末装置と携帯型の端末装置とは相互に接続される。端末装置１０が携帯型の端末装置を含む場合、動作制御部１１０の機能の一部又は全部を、携帯型の端末装置が担ってもよい。
　Ｃ：その他
　（１－１）上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（ｂｒｏａｄｃａｓｔｉｎｇ）、通知（ｎｏｔｉｆｙｉｎｇ）、通信（ｃｏｍｍｕｎｉｃａｔｉｎｇ）、転送（ｆｏｒｗａｒｄｉｎｇ）、構成（ｃｏｎｆｉｇｕｒｉｎｇ）、再構成（ｒｅｃｏｎｆｉｇｕｒｉｎｇ）、割り当て（ａｌｌｏｃａｔｉｎｇ、ｍａｐｐｉｎｇ）、割り振り（ａｓｓｉｇｎｉｎｇ）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（ｔｒａｎｓｍｉｔｔｉｎｇ　ｕｎｉｔ）や送信機（ｔｒａｎｓｍｉｔｔｅｒ）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　（１－２）情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Ｄｏｗｎｌｉｎｋ　Ｃｏｎｔｒｏｌ　Ｉｎｆｏｒｍａｔｉｏｎ）、ＵＣＩ（Ｕｐｌｉｎｋ　Ｃｏｎｔｒｏｌ　Ｉｎｆｏｒｍａｔｉｏｎ））、上位レイヤシグナリング（例えば、ＲＲＣ（Ｒａｄｉｏ　Ｒｅｓｏｕｒｃｅ　Ｃｏｎｔｒｏｌ）シグナリング、ＭＡＣ（Ｍｅｄｉｕｍ　Ａｃｃｅｓｓ　Ｃｏｎｔｒｏｌ）シグナリング、報知情報（ＭＩＢ（Ｍａｓｔｅｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｂｌｏｃｋ）、ＳＩＢ（Ｓｙｓｔｅｍ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｂｌｏｃｋ）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（ＲＲＣ　Ｃｏｎｎｅｃｔｉｏｎ　Ｓｅｔｕｐ）メッセージ、ＲＲＣ接続再構成（ＲＲＣ　Ｃｏｎｎｅｃｔｉｏｎ　Ｒｅｃｏｎｆｉｇｕｒａｔｉｏｎ）メッセージなどであってもよい。
　（１－３）本開示において説明した各態様／実施形態は、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（４ｔｈ　ｇｅｎｅｒａｔｉｏｎ　ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｓｙｓｔｅｍ）、５Ｇ（５ｔｈ　ｇｅｎｅｒａｔｉｏｎ　ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｓｙｓｔｅｍ）、６ｔｈ　ｇｅｎｅｒａｔｉｏｎ　ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｓｙｓｔｅｍ（６Ｇ）、ｘｔｈ　ｇｅｎｅｒａｔｉｏｎ　ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｓｙｓｔｅｍ（ｘＧ）（ｘＧ（ｘは、例えば整数、小数））、ＦＲＡ（Ｆｕｔｕｒｅ　Ｒａｄｉｏ　Ａｃｃｅｓｓ）、ＮＲ（ｎｅｗ　Ｒａｄｉｏ）、Ｎｅｗ　ｒａｄｉｏ　ａｃｃｅｓｓ（ＮＸ）、Ｆｕｔｕｒｅ　ｇｅｎｅｒａｔｉｏｎ　ｒａｄｉｏ　ａｃｃｅｓｓ（ＦＸ）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ｕｌｔｒａ　Ｍｏｂｉｌｅ　Ｂｒｏａｄｂａｎｄ）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅ　Ｂａｎｄ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい
　（１－４）本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　（１－５）本開示において基地局によって行われるとした特定動作は、場合によってはその上位ノード（ｕｐｐｅｒ　ｎｏｄｅ）によって行われることもある。基地局を有する１つ又は複数のネットワークノード（ｎｅｔｗｏｒｋ　ｎｏｄｅｓ）からなるネットワークにおいて、端末との通信のために行われる様々な動作は、基地局及び基地局以外の他のネットワークノード（例えば、ＭＭＥ又はＳ－ＧＷなどが考えられるが、これらに限られない）の少なくとも１つによって行われ得ることは明らかである。上記において基地局以外の他のネットワークノードが１つである場合を例示したが、複数の他のネットワークノードの組み合わせ（例えば、ＭＭＥ及びＳ－ＧＷ）であってもよい。
　（１－６）情報等（※「情報、信号」の項目参照）は、上位レイヤ（又は下位レイヤ）から下位レイヤ（又は上位レイヤ）へ出力され得る。情報等は、複数のネットワークノードを介して入出力されてもよい。
　（１－７）入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　（１－８）判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　（１－９）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　（２－１）ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　（２－２）本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Ｃｏｍｐｏｎｅｎｔ　Ｃａｒｒｉｅｒ）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。
　（２－３）本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
　（２－４）また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
　（２－５）本開示においては、「基地局（ＢＳ：Ｂａｓｅ　Ｓｔａｔｉｏｎ）」、「無線基地局」、「固定局（ｆｉｘｅｄ　ｓｔａｔｉｏｎ）」、「ＮｏｄｅＢ」、「ｅＮｏｄｅＢ（ｅＮＢ）」、「ｇＮｏｄｅＢ（ｇＮＢ）」、「アクセスポイント（ａｃｃｅｓｓ　ｐｏｉｎｔ）」、「送信ポイント（ｔｒａｎｓｍｉｓｓｉｏｎ　ｐｏｉｎｔ）」、「受信ポイント（ｒｅｃｅｐｔｉｏｎ　ｐｏｉｎｔ）、「送受信ポイント（ｔｒａｎｓｍｉｓｓｉｏｎ／ｒｅｃｅｐｔｉｏｎ　ｐｏｉｎｔ）」、「セル」、「セクタ」、「セルグループ」、「キャリア」、「コンポーネントキャリア」などの用語は、互換的に使用され得る。基地局は、マクロセル、スモールセル、フェムトセル、ピコセルなどの用語で呼ばれる場合もある。基地局は、１つ又は複数（例えば、３つ）のセルを収容することができる。基地局が複数のセルを収容する場合、基地局のカバレッジエリア全体は複数のより小さいエリアに区分でき、各々のより小さいエリアは、基地局サブシステム（例えば、屋内用の小型基地局（ＲＲＨ：Ｒｅｍｏｔｅ　Ｒａｄｉｏ　Ｈｅａｄ）によって通信サービスを提供することもできる。「セル」又は「セクタ」という用語は、このカバレッジにおいて通信サービスを行う基地局及び基地局サブシステムの少なくとも一方のカバレッジエリアの一部又は全体を指す。本開示において、基地局が端末に情報を送信することは、基地局が端末に対して、情報に基づく制御・動作を指示することと読み替えられてもよい。
　（２－６）本開示においては、「移動局（ＭＳ：Ｍｏｂｉｌｅ　Ｓｔａｔｉｏｎ）」、「ユーザ端末（ｕｓｅｒ　ｔｅｒｍｉｎａｌ）」、「ユーザ装置（ＵＥ：Ｕｓｅｒ　Ｅｑｕｉｐｍｅｎｔ）」、「端末」などの用語は、互換的に使用され得る。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。
　（２－７）基地局及び移動局の少なくとも一方は、送信装置、受信装置、通信装置などと呼ばれてもよい。なお、基地局及び移動局の少なくとも一方は、移動体に搭載されたデバイス、移動体自体などであってもよい。当該移動体は、移動可能な物体をいい、移動速度は任意である。また移動体が停止している場合も当然含む。当該移動体は、例えば、車両、輸送車両、自動車、自動二輪車、自転車、コネクテッドカー、ショベルカー、ブルドーザー、ホイールローダー、ダンプトラック、フォークリフト、列車、バス、リヤカー、人力車、船舶（ｓｈｉｐ　ａｎｄ　ｏｔｈｅｒ　ｗａｔｅｒｃｒａｆｔ）、飛行機、ロケット、人工衛星、ドローン（登録商標）、マルチコプター、クアッドコプター、気球、およびこれらに搭載される物を含み、またこれらに限らない。また、当該移動体は、運行指令に基づいて自律走行する移動体であってもよい。乗り物（例えば、車、飛行機など）であってもよいし、無人で動く移動体（例えば、ドローン、自動運転車など）であってもよいし、ロボット（有人型又は無人型）であってもよい。なお、基地局及び移動局の少なくとも一方は、必ずしも通信動作時に移動しない装置も含む。例えば、基地局及び移動局の少なくとも一方は、センサなどのＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）機器であってもよい。また、本開示における基地局は、ユーザ端末で読み替えてもよい。例えば、基地局及びユーザ端末間の通信を、複数のユーザ端末間の通信（例えば、Ｄ２Ｄ（Ｄｅｖｉｃｅ－ｔｏ－Ｄｅｖｉｃｅ）、Ｖ２Ｘ（Ｖｅｈｉｃｌｅ－ｔｏ－Ｅｖｅｒｙｔｈｉｎｇ）などと呼ばれてもよい）に置き換えた構成について、本開示の各態様／実施形態を適用してもよい。この場合、上述の基地局が有する機能をユーザ端末が有する構成としてもよい。また、「上り」及び「下り」などの文言は、端末間通信に対応する文言（例えば、「サイド（ｓｉｄｅ）」）で読み替えられてもよい。例えば、上りチャネル、下りチャネルなどは、サイドチャネルで読み替えられてもよい。同様に、本開示におけるユーザ端末は、基地局で読み替えてもよい。この場合、上述のユーザ端末が有する機能を基地局が有する構成としてもよい。
　（３－１）本開示で使用する「判断（ｄｅｔｅｒｍｉｎｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（ｊｕｄｇｉｎｇ）、計算（ｃａｌｃｕｌａｔｉｎｇ）、算出（ｃｏｍｐｕｔｉｎｇ）、処理（ｐｒｏｃｅｓｓｉｎｇ）、導出（ｄｅｒｉｖｉｎｇ）、調査（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、探索（ｌｏｏｋｉｎｇ　ｕｐ、ｓｅａｒｃｈ、ｉｎｑｕｉｒｙ）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ａｓｃｅｒｔａｉｎｉｎｇ）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（ｒｅｃｅｉｖｉｎｇ）（例えば、情報を受信すること）、送信（ｔｒａｎｓｍｉｔｔｉｎｇ）（例えば、情報を送信すること）、入力（ｉｎｐｕｔ）、出力（ｏｕｔｐｕｔ）、アクセス（ａｃｃｅｓｓｉｎｇ）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（ｒｅｓｏｌｖｉｎｇ）、選択（ｓｅｌｅｃｔｉｎｇ）、選定（ｃｈｏｏｓｉｎｇ）、確立（ｅｓｔａｂｌｉｓｈｉｎｇ）、比較（ｃｏｍｐａｒｉｎｇ）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（ａｓｓｕｍｉｎｇ）」、「期待する（ｅｘｐｅｃｔｉｎｇ）」、「みなす（ｃｏｎｓｉｄｅｒｉｎｇ）」などで読み替えられてもよい。
　（３－２）「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
　（３－３）参照信号は、ＲＳ（Ｒｅｆｅｒｅｎｃｅ　Ｓｉｇｎａｌ）と略称することもでき、適用される標準によってパイロット（Ｐｉｌｏｔ）と呼ばれてもよい。
　（３－４）本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　（３－５）本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　（３－６）上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。
　（３－７）本開示において、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。
　（３－８）本開示において、例えば、英語でのａ，　ａｎ及びｔｈｅのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　（３－９）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　（４）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
　１…システム、１０…端末装置、２０…サーバ、１０１…投影装置、１０３…通信装置、１０４…ＧＰＳ装置、２０３…通信装置、２０５…記憶装置、２０６…処理装置、２１０…取得部、２１２…選択部、２１４…決定部、２１６…送信制御部、ＭＰ…仮想オブジェクトマップ、Ｎ…通信網、Ｖ（Ｖ１～Ｖｎ）…仮想オブジェクト、ＶＤ（ＶＤ１～Ｖｎ）…仮想オブジェクトデータ。

Claims (6)

  1. 　第１位置情報と、第１形状情報と、複数の第２形状情報と、複数の第２位置情報とに基づいて、複数の仮想オブジェクトと１対１に対応する複数の仮想オブジェクトデータの中から少なくとも１つの仮想オブジェクトデータを選択する選択部であって、
    　前記第１位置情報は、現実空間におけるユーザの位置を示し、
    　前記第１形状情報は、前記現実空間に位置する現実オブジェクトの形状を示し、
    　前記複数の第２形状情報の各々は、各仮想オブジェクトの形状を示し、
    　前記複数の第２位置情報の各々は、各仮想オブジェクトが配置される現実空間の位置を示す、
    　選択部と、
    　前記選択部によって選択された前記少なくとも１つの仮想オブジェクトデータを表示装置に送信する送信制御部と、を備え、
    　前記表示装置は、前記少なくとも１つの仮想オブジェクトデータに基づく仮想オブジェクトを、前記現実空間のうち前記ユーザの視野範囲に重畳して表示し、
    　前記選択部は、前記複数の仮想オブジェクトの中から、前記ユーザの位置から視認可能な少なくとも１つの視認オブジェクトを推定し、前記少なくとも１つの視認オブジェクトに対応する仮想オブジェクトデータを前記少なくとも１つの仮想オブジェクトデータとして選択する、
    　仮想オブジェクトデータ選択装置。
  2. 　前記選択部は、前記ユーザの移動方向および前記ユーザの移動速度の少なくともいずれかに基づいて、所定時間後における前記ユーザの位置を推定し、前記複数の仮想オブジェクトのうち、前記推定した前記所定時間後における前記ユーザの位置から視認可能な少なくとも１つの予測視認オブジェクトを推定し、前記少なくとも１つの予測視認オブジェクトに対応する仮想オブジェクトデータを前記少なくとも１つの仮想オブジェクトデータとして選択する、
    　請求項１記載の仮想オブジェクトデータ選択装置。
  3. 　前記選択部によって複数の仮想オブジェクトデータが選択された場合に、前記複数の仮想オブジェクトデータの送信順序を決定する決定部を更に備え、
    　前記決定部は、前記現実空間に配置される位置が、前記ユーザの位置に近い仮想オブジェクトの仮想オブジェクトデータから順に前記複数の仮想オブジェクトデータを送信すると決定する、
    　請求項１記載の仮想オブジェクトデータ選択装置。
  4. 　前記選択部によって複数の仮想オブジェクトデータが選択された場合に、前記複数の仮想オブジェクトデータの送信順序を決定する決定部を更に備え、
    　前記複数の仮想オブジェクトの各々には、優先順位が設定されており、
    　前記決定部は、前記優先順位が高い仮想オブジェクトの仮想オブジェクトデータから順に前記複数の仮想オブジェクトデータを送信すると決定する、
    　請求項１記載の仮想オブジェクトデータ選択装置。
  5. 　前記選択部によって複数の仮想オブジェクトデータが選択された場合に、前記仮想オブジェクトデータの送信順序を決定する決定部を更に備え、
    　前記選択部によって選択された複数の仮想オブジェクトデータは、前記ユーザの位置から視認可能と推定された複数の視認オブジェクトに対応し、
    　前記決定部は、前記表示装置によって表示される前記複数の視認オブジェクトの各々が前記視野範囲に占める割合を推定し、前記複数の視認オブジェクトのうち前記視野範囲に占める割合が高いものから順に前記複数の仮想オブジェクトデータを送信すると決定する、
    　請求項１記載の仮想オブジェクトデータ選択装置。
  6. 　前記選択部によって複数の仮想オブジェクトデータが選択された場合に、前記複数の仮想オブジェクトデータの送信順序を決定する決定部を更に備え、
    　前記決定部は、データ量の大きい仮想オブジェクトデータから順に前記複数の仮想オブジェクトデータを送信すると決定する、
    　請求項１記載の仮想オブジェクトデータ選択装置。
PCT/JP2023/018587 2022-05-23 2023-05-18 仮想オブジェクトデータ選択装置 WO2023228856A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-083551 2022-05-23
JP2022083551 2022-05-23

Publications (1)

Publication Number Publication Date
WO2023228856A1 true WO2023228856A1 (ja) 2023-11-30

Family

ID=88919247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018587 WO2023228856A1 (ja) 2022-05-23 2023-05-18 仮想オブジェクトデータ選択装置

Country Status (1)

Country Link
WO (1) WO2023228856A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022505002A (ja) * 2019-10-15 2022-01-14 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022505002A (ja) * 2019-10-15 2022-01-14 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム

Similar Documents

Publication Publication Date Title
US11770724B2 (en) Mobile terminal for displaying whether QoS is satisfied in wireless communication system
WO2019119355A1 (zh) 无人机飞行路径的确定方法及装置
CN109451833B (zh) 用于无人机切换的方法、装置及基站
US11368964B2 (en) Data transmission method, apparatus, and unmanned aerial vehicle
EP3716688A1 (en) Data transmission method and apparatus, and unmanned aerial vehicle
EP3809730A1 (en) Information transmission method and device
US20220264619A1 (en) Operation method of ue associated with sci in wireless communication system
EP3796571B1 (en) Method and device for controlling unmanned aerial vehicle to access network
US10506647B2 (en) Mobility in enterprise networks
KR20210048739A (ko) Ar 모빌리티 제어 장치 및 ar 모빌리티 제어 방법
US20220104169A1 (en) Method and apparatus for controlling early data transmission procedure in a wireless communication system
US20230224951A1 (en) Operation method of relay ue in wireless communication system
WO2023228856A1 (ja) 仮想オブジェクトデータ選択装置
US11997037B2 (en) UE operation method related to sidelink PTRS in wireless communication system
WO2023228565A1 (ja) 表示制御装置
CN114731715A (zh) 在无线通信系统中控制与侧链路通信有关的配置的方法和装置
WO2023243300A1 (ja) レンダリング制御装置
KR20210027037A (ko) 내비게이션 영상 제공 방법 및 디바이스
KR20210134827A (ko) 데이터를 송수신하는 방법 및 통신 기기
US20240049097A1 (en) Methods, apparatuses, and computer program products for fast cell selection using conditional handover and intercell beam management reporting
US20240088991A1 (en) Method for wireless communication and communication device
WO2024085084A1 (ja) アバター制御装置
JP2024039111A (ja) 表示制御装置
WO2024075512A1 (ja) アバター画像生成装置
EP4190115A1 (en) Methods, computer readable medium and devices for communication

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23811729

Country of ref document: EP

Kind code of ref document: A1