WO2024004357A1 - レコメンデーション表示制御装置 - Google Patents

レコメンデーション表示制御装置 Download PDF

Info

Publication number
WO2024004357A1
WO2024004357A1 PCT/JP2023/015961 JP2023015961W WO2024004357A1 WO 2024004357 A1 WO2024004357 A1 WO 2024004357A1 JP 2023015961 W JP2023015961 W JP 2023015961W WO 2024004357 A1 WO2024004357 A1 WO 2024004357A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
virtual
virtual object
avatar
recommendation
Prior art date
Application number
PCT/JP2023/015961
Other languages
English (en)
French (fr)
Inventor
貴則 野村
Original Assignee
株式会社Nttドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Nttドコモ filed Critical 株式会社Nttドコモ
Publication of WO2024004357A1 publication Critical patent/WO2024004357A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements

Definitions

  • the present invention relates to a recommendation display control device.
  • Patent Document 1 discloses an HMD (Head Mounted Display) that displays a virtual space.
  • a virtual camera is located in the virtual space.
  • An area existing in the field of view (angle of view) of the virtual camera in the virtual space is displayed on the HMD.
  • the position of the virtual camera in the virtual space changes according to the change in the position of the HMD in the real world. Therefore, the area of the virtual space displayed on the HMD changes according to the movement of the user wearing the HMD.
  • the movement of the user wearing the HMD can be referred to as an operation in which the user moves the HMD. Therefore, the virtual camera is an example of an operation target that can be moved within the virtual space according to the operation performed by the user.
  • Patent Document 1 further discloses a technique for determining whether or not an advertisement regarding a target object is necessary based on a user's gaze time on the target object in a virtual space.
  • the target object is an example of a virtual object.
  • an advertisement related to a target object is an example of a recommendation related to a virtual object.
  • the positional relationship between the virtual object and an operation target that can be moved within the virtual space in response to an operation performed by the user may indicate the user's level of interest in the virtual object.
  • the user may bring a virtual camera, which is an example of an operation target, close to the virtual object.
  • Patent Document 1 determines whether a recommendation (advertisement) related to the target object is necessary based on the user's gaze time on the target object in the virtual space. For this reason, with the technique disclosed in Patent Document 1, the positional relationship between the operation target and the virtual object cannot be reflected in determining whether a recommendation related to the virtual object is necessary.
  • An object of the present invention is to provide a recommendation display control device that can reflect the positional relationship between an operation target and a virtual object in determining whether a recommendation related to the virtual object is necessary.
  • a recommendation display control device includes a position detection unit that detects a position of an operation target that can be moved in a virtual space in response to an operation performed by a user, and a position of a virtual object in the virtual space; Based on the positional relationship between the position of the operation target and the position of the virtual object, it is determined whether a recommendation related to the virtual object is necessary, and based on the determination result that the recommendation is necessary, the recommendation is and a display control unit that causes the display device to display the data.
  • the positional relationship between the operation target and the virtual object can be reflected in determining whether a recommendation related to the virtual object is necessary.
  • FIG. 1 is a diagram schematically showing a display control system 1.
  • FIG. 1 is a diagram showing an example of a display device 10.
  • FIG. 2 is a diagram showing an example of a terminal device 20.
  • FIG. 3 is a diagram showing an example of a server 30.
  • FIG. It is a figure showing an example of virtual camera E1. It is a figure which shows an example of the display image D3. It is a figure which shows the other example of the display image D3. 3 is a diagram for explaining the operation of the server 30.
  • FIG. It is a figure showing an example of display device 10a. It is a diagram showing an example of a server 30a. It is a diagram showing an example of a server 30b.
  • FIG. 1 is a diagram schematically showing a display control system 1. As shown in FIG.
  • the display control system 1 is a system that controls the display of the virtual space F1. For example, the display control system 1 controls the display of recommendations in the virtual space F1.
  • the display control system 1 includes a display device 10, a terminal device 20, and a server 30.
  • the display device 10 and the terminal device 20 can communicate with each other.
  • the terminal device 20 and the server 30 can communicate with each other via the communication network NW.
  • the display device 10 is, for example, smart glasses. Smart glasses are eyeglass-shaped display devices.
  • the smart glasses are, for example, AR (Augmented Reality) glasses or MR (Mixed Reality) glasses. Smart glasses are also called XR (X Reality) glasses or HMD.
  • the display device 10 is not limited to smart glasses.
  • the display device 10 may be, for example, a non-glass-type display device.
  • a display device that is not a glasses type is, for example, a goggle-shaped HMD.
  • the display device 10 may include a terminal device 20.
  • the display device 10 including the terminal device 20 is, for example, smart glasses that can communicate with the server 30 via the communication network NW.
  • the display device 10 including the terminal device 20 may be smart glasses that can communicate with the server 30 without going through the communication network NW.
  • the display device 10 is carried by the user U.
  • the display device 10 is carried by the user U by being attached to the user U.
  • the display device 10 includes a display surface 11.
  • the display surface 11 displays, for example, the virtual space F1.
  • Virtual space F1 has avatar A1.
  • Avatar A1 is an avatar corresponding to user U. Avatar A1 is used as user U's alter ego.
  • the avatar A1 can move within the virtual space F1 according to the movement of the user U who carries the display device 10.
  • the movement of the user U carrying the display device 10 is an example of an operation in which the user U moves the display device 10.
  • the operation by the user U to move the display device 10 is an example of an operation performed by the user U.
  • the operation performed by the user U to move the avatar A1 is not limited to the operation by the user U to move the display device 10.
  • the operation that the user U performs to move the avatar A1 may be, for example, an operation that the user U performs on the user interface of the display device 10 or an operation that the user U performs on the user interface of the terminal device 20. good.
  • the user interface is, for example, physical operation buttons or a GUI (Graphical User Interface).
  • Avatar A1 is an example of an operation target that can be moved within virtual space F1 according to operations performed by user U.
  • the operation target is not limited to the avatar A1.
  • the operation target may be, for example, a virtual camera E1 (see FIG. 5 described later) that can be moved within the virtual space F1 according to an operation performed by the user U.
  • the virtual camera E1 will be described later.
  • the avatar A1 may be omitted.
  • the virtual space F1 has a plurality of virtual objects in addition to the avatar A1.
  • One virtual object among the plurality of virtual objects is virtual store B1. That is, the virtual store B1 is an example of a virtual object. The virtual object is not limited to the virtual store B1.
  • the virtual object may be, for example, a virtual product or a virtual shopping mall.
  • the virtual space F1 may include an avatar corresponding to a user different from the user U. An avatar corresponding to a user different from user U is used as an alter ego of the user different from user U. Note that an avatar corresponding to a user different from user U may be included in a plurality of virtual objects.
  • the display surface 11 that can display the virtual space F1 is a transmissive display surface.
  • the display surface 11 transmits external light representing the real world while displaying the avatar A1 and the virtual store B1. Therefore, the display device 10 having the display surface 11 can allow the user U to view the real world while allowing the user U to view the avatar A1 and the virtual store B1. That is, the display device 10 can provide augmented reality (AR) to the user U. Avatar A1 and virtual store B1 are located in virtual space F1. Therefore, the display device 10 can provide mixed reality (MR) to the user U.
  • the display surface 11 is not limited to a transmissive display surface.
  • the display surface 11 may be, for example, a non-transmissive display surface.
  • the terminal device 20 is, for example, a smartphone.
  • the terminal device 20 is not limited to a smartphone.
  • the terminal device 20 may be, for example, a tablet terminal, a notebook personal computer, or a game device.
  • the terminal device 20 is carried by the user U, for example.
  • the terminal device 20 may include the display device 10.
  • the terminal device 20 including the display device 10 is, for example, a smartphone, a tablet terminal, a notebook personal computer, or a game device that can display the virtual space F1.
  • the display device 10 is, for example, a display panel of the terminal device 20.
  • the display panel is, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the display surface 11 is, for example, a non-transparent display surface.
  • the terminal device 20 acquires the position information C1 from the display device 10.
  • the position information C1 is information indicating the position of the display device 10 in the real world.
  • the terminal device 20 provides location information C1 to the server 30.
  • the terminal device 20 acquires orientation information C2 from the display device 10.
  • the orientation information C2 is information indicating the orientation of the display device 10 in the real world.
  • the terminal device 20 provides the orientation information C2 to the server 30.
  • the terminal device 20 acquires display information D1 from the server 30.
  • the display information D1 is information indicating the avatar A1, the scheduled display position of the avatar A1, the virtual object, and the scheduled display position of the virtual object.
  • the display information D1 indicates the avatar A1, the scheduled display position of the avatar A1, the virtual store B1, and the scheduled display position of the virtual store B1.
  • Display information D1 may further indicate recommendations related to virtual store B1.
  • the recommendation related to virtual store B1 is, for example, an advertisement regarding virtual store B1.
  • Display information D1 is used to render display image D3.
  • the display image D3 is an image displayed on the display surface 11.
  • the display image D3 is an image representing the virtual space F1.
  • the terminal device 20 generates image information D2 by performing rendering processing using the display information D1.
  • Image information D2 is information indicating display image D3.
  • the terminal device 20 causes the display device 10 to display the display image D3 by providing the image information D2 to the display device 10.
  • the server 30 manages the virtual space F1.
  • the server 30 determines the display area of the virtual space F1 based on the position information C1 and orientation information C2.
  • the display area of the virtual space F1 is a partial area of the virtual space F1.
  • the display area of the virtual space F1 is shown in the display image D3.
  • the server 30 generates display information D1 based on the display area of the virtual space F1.
  • the server 30 provides the display information D1 to the terminal device 20.
  • the server 30 may generate the image information D2 by performing rendering processing using the display information D1.
  • the server 30 provides the image information D2 to the terminal device 20 instead of the display information D1.
  • the terminal device 20 Upon receiving the image information D2 from the server 30, the terminal device 20 causes the display device 10 to display the display image D3 by providing the image information D2 received from the server 30 to the display device 10.
  • the server 30 moves the avatar A1 in the virtual space F1 based on the position information C1.
  • the server 30 determines whether an advertisement regarding the virtual store B1 is necessary based on the positional relationship between the avatar A1 and the virtual store B1.
  • the advertisement regarding virtual store B1 is an example of a recommendation related to a virtual object.
  • Recommendations related to virtual objects are not limited to advertisements related to virtual store B1.
  • a recommendation related to a virtual object may be a description of the virtual object.
  • the description of the virtual object is, for example, a description of the virtual store B1 or a description of products sold at the virtual store B1.
  • the recommendation related to the virtual object may be an advertisement regarding products sold at the virtual store B1.
  • the recommendation related to the virtual object may be a word that urges the user U to pay attention to the virtual object, such as a word in an advertisement regarding the virtual store B1, or may be a general word related to the virtual object.
  • FIG. 2 is a diagram showing an example of the display device 10.
  • the display device 10 includes a transmissive display device 12, a position sensor 13, an orientation sensor 14, a communication device 15, a storage device 16, a processing device 17, and a bus 18.
  • the display device 10 may further include a user interface such as operation buttons.
  • the bus 18 is wiring for communicating information.
  • the bus 18 interconnects the transparent display device 12, the position sensor 13, the orientation sensor 14, the communication device 15, the storage device 16, and the processing device 17.
  • the bus 18 includes a transparent display device 12, a position sensor 13, an orientation sensor 14, a communication device 15, a storage device 16, a processing device 17, and the user interface.
  • the bus 18 may be configured using a single bus, or may be configured using different buses for each element such as a device.
  • the transmissive display device 12 transmits external light representing the real world while displaying the avatar A1 and the virtual store B1.
  • Transmissive display device 12 includes a display panel and a half mirror.
  • the display panel emits light representing the display image D3.
  • the half mirror includes a display surface 11.
  • the half mirror reflects the light emitted by the display panel toward the user's U eyes.
  • the half mirror guides the external light representing the real world to the user's U's eyes by transmitting the external light representing the real world.
  • a non-transmissive display device may be used.
  • the position sensor 13 generates position information C1.
  • the position information C1 indicates the position of the display device 10 in the real world.
  • the position sensor 13 periodically generates position information C1.
  • the position sensor 13 may generate the position information C1 at irregular timing.
  • the position sensor 13 is, for example, a GPS (Global Positioning System) sensor.
  • the position sensor 13 is not limited to a GPS sensor as long as it is a sensor that generates position information C1.
  • the position sensor 13 may generate the position information C1 based on the surrounding scenery captured by the camera.
  • the orientation sensor 14 generates orientation information C2.
  • Orientation sensor 14 indicates the orientation of display device 10 in the real world.
  • the orientation sensor 14 periodically generates orientation information C2.
  • the orientation sensor 14 may generate the orientation information C2 at irregular timing.
  • the orientation sensor 14 is, for example, a gyro sensor.
  • the orientation sensor 14 is not limited to a gyro sensor as long as it is a sensor that generates orientation information C2.
  • the communication device 15 communicates with the terminal device 20 wirelessly.
  • the communication device 15 may communicate with the terminal device 20 by wire.
  • the storage device 16 is a recording medium that can be read by the processing device 17.
  • Storage device 16 includes one or more memories.
  • the storage device 16 includes, for example, nonvolatile memory and volatile memory.
  • Nonvolatile memories include, for example, ROM (Read Only Memory), EPROM (Erasable Programmable Read Only Memory), and EEPROM (Electrically Erasable Programmable Read Only Memory).
  • Volatile memories are, for example, RAM (Random Access Memory) and VRAM (Video Random Access Memory).
  • the storage device 16 stores a program PG1.
  • the processing device 17 includes one or more CPUs (Central Processing Units).
  • CPUs Central Processing Units
  • One or more CPUs are an example of one or more processors.
  • Each of the processor and CPU is an example of a computer.
  • the processing device 17 reads the program PG1 from the storage device 16.
  • the processing device 17 functions as the operation control section 171 by executing the program PG1.
  • the operation control unit 171 may be configured by a circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array).
  • the operation control unit 171 controls the operation of the display device 10. For example, the operation control unit 171 transmits the latest position information C1 from the communication device 15 to the terminal device 20 every time the position information C1 is generated. The operation control unit 171 transmits the latest orientation information C2 from the communication device 15 to the terminal device 20 every time orientation information C2 is generated. When the communication device 15 receives the image information D2 from the terminal device 20, the operation control unit 171 acquires the image information D2 from the communication device 15. The operation control unit 171 causes the transparent display device 12 to display the display image D3 indicated by the image information D2.
  • FIG. 3 is a diagram showing an example of the terminal device 20.
  • the terminal device 20 includes an input device 21 , a display device 22 , a communication device 23 , a communication device 24 , a storage device 25 , a processing device 26 , and a bus 27 .
  • the bus 27 is wiring for communicating information.
  • the bus 27 interconnects the input device 21, the display device 22, the communication device 23, the communication device 24, the storage device 25, and the processing device 26.
  • the bus 27 may be configured using a single bus, or may be configured using different buses for each element such as a device.
  • the input device 21 is a user interface of the terminal device 20.
  • Input device 21 includes a touch panel.
  • the input device 21 may include a plurality of operation keys in addition to a touch panel.
  • the input device 21 may include a plurality of operation keys without including a touch panel.
  • the input device 21 receives operations performed by the user U.
  • the display device 22 includes a display such as a display panel.
  • a touch panel of the input device 21 is stacked on the display of the display device 22 .
  • the display device 22 displays various information.
  • the combination of display device 22 and input device 21 can provide a GUI on terminal device 20 .
  • the display device 22 may be omitted. Even in a configuration in which the terminal device 20 is not included in the display device 10, the display device 22 may be omitted.
  • the communication device 23 communicates with the server 30 via the communication network NW.
  • the communication device 23 may communicate with the server 30 without going through the communication network NW.
  • the communication device 24 communicates with the display device 10 wirelessly.
  • the communication device 24 may communicate with the display device 10 by wire.
  • the storage device 25 is a recording medium that can be read by the processing device 26.
  • Storage device 25 includes one or more memories.
  • the storage device 25 includes, for example, nonvolatile memory and volatile memory.
  • the storage device 25 stores a program PG2.
  • the processing device 26 includes one or more CPUs.
  • the processing device 26 reads the program PG2 from the storage device 25.
  • the processing device 26 functions as the operation control unit 261 by executing the program PG2.
  • the operation control unit 261 may be configured by a circuit such as a DSP, ASIC, or FPGA.
  • the operation control unit 261 controls the operation of the terminal device 20. For example, the operation control unit 261 acquires the latest position information C1 from the communication device 24 every time the communication device 24 receives the position information C1 from the display device 10. The operation control unit 261 transmits the latest position information C1 from the communication device 23 to the server 30 every time it acquires the position information C1.
  • the operation control unit 261 acquires the latest orientation information C2 from the communication device 24 every time the communication device 24 receives orientation information C2 from the display device 10.
  • the operation control unit 261 transmits the latest orientation information C2 from the communication device 23 to the server 30 every time the orientation information C2 is acquired.
  • the operation control unit 261 acquires the display information D1 from the communication device 23.
  • the operation control unit 261 generates image information D2 based on the display information D1.
  • the operation control unit 261 generates the image information D2 by performing rendering processing based on the display information D1.
  • the operation control unit 261 transmits the image information D2 from the communication device 24 to the display device 10.
  • FIG. 4 is a diagram showing an example of the server 30.
  • the server 30 is an example of a recommendation display control device.
  • Server 30 includes a communication device 31, a storage device 32, a processing device 33, and a bus 34.
  • the bus 34 is wiring for communicating information.
  • the bus 34 interconnects the communication device 31, the storage device 32, and the processing device 33.
  • the bus 34 may be configured using a single bus, or may be configured using different buses for each element such as a device.
  • the communication device 31 communicates with the terminal device 20 via the communication network NW.
  • the communication device 31 may communicate with the terminal device 20 without going through the communication network NW.
  • the storage device 32 is a recording medium that can be read by the processing device 33.
  • Storage device 32 includes one or more memories.
  • the storage device 32 includes, for example, nonvolatile memory and volatile memory.
  • the storage device 32 stores virtual space data 321, avatar data 322, recommendation data 323, and program PG3.
  • the virtual space data 321 is data indicating the virtual space F1.
  • Virtual space F1 has a plurality of virtual objects.
  • the plurality of virtual objects includes a plurality of static virtual objects.
  • the static virtual object is, for example, a virtual object fixed in the virtual space F1.
  • Static virtual objects are, for example, a virtual store B1, a virtual road, a virtual plaza, and a virtual product.
  • each of the plurality of virtual objects included in the virtual space F1 is assumed to be a static virtual object.
  • the virtual space data 321 indicates a static virtual object and the position of the static virtual object in the virtual space F1. Virtual space data 321 does not show avatar A1.
  • the avatar data 322 is data indicating the avatar A1 and the transition of the position of the avatar A1 in the virtual space F1.
  • the recommendation data 323 is data indicating, for each virtual object, recommendations related to the virtual object.
  • Recommendation data 323 includes store advertisement data 323a.
  • Store advertisement data 323a is data indicating recommendations related to virtual store B1.
  • Store advertisement data 323a shows advertisements regarding virtual store B1.
  • the processing device 33 is another example of a recommendation display control device.
  • the processing device 33 includes one or more CPUs.
  • the processing device 33 reads the program PG3 from the storage device 32.
  • the processing device 33 functions as a position determination section 331, a display information generation section 332, a position detection section 333, and a display control section 334 by executing the program PG3.
  • At least one of the position determination section 331, display information generation section 332, position detection section 333, and display control section 334 may be configured by a circuit such as a DSP, ASIC, or FPGA.
  • the position determining unit 331 acquires the latest position information C1 from the communication device 31 every time the communication device 31 receives the position information C1. Every time the position determination unit 331 acquires the position information C1, it determines the latest position of the avatar A1 in the virtual space F1 based on the latest position information C1.
  • the position information C1 indicates the coordinates of the display device 10 determined by the coordinate system of the real world as the position of the display device 10 in the real world.
  • the coordinate system of the real world is a three-dimensional coordinate system.
  • the virtual space F1 is a virtual three-dimensional space corresponding to the three-dimensional real world.
  • a coordinate system of the virtual space F1 is defined in the virtual space F1.
  • the coordinate system of the virtual space F1 is a three-dimensional coordinate system.
  • the coordinates defined by the coordinate system of the virtual space F1 have a one-to-one correspondence with the coordinates defined by the coordinate system of the real world.
  • coordinates defined by the coordinate system of the real world can be converted into coordinates defined by the coordinate system of the virtual space F1 by using a translation matrix and a rotation matrix. Note that the coordinate system of the virtual space F1 may match the coordinate system of the real world.
  • the position determination unit 331 Every time the position determination unit 331 acquires the position information C1, it converts the coordinates indicated by the latest position information C1 into the coordinates indicated by the coordinate system of the virtual space F1 by using a translation matrix and a rotation matrix. do.
  • the position determining unit 331 determines the coordinates indicated by the coordinate system of the virtual space F1 as the latest position of the avatar A1 in the virtual space F1.
  • the position determining unit 331 adds the latest position of the avatar A1 in the virtual space F1 to the avatar data 322.
  • the display information generation unit 332 generates display information D1.
  • the display information generation unit 332 periodically generates display information D1.
  • the display information generation unit 332 may generate the display information D1 at irregular timing.
  • the display information generation unit 332 first generates the virtual space F1 based on the virtual space data 321 and the avatar data 322. Subsequently, the display information generation unit 332 determines the display area of the virtual space F1. The display information generation unit 332 determines the display area of the virtual space F1 using, for example, the virtual camera E1.
  • FIG. 5 is a diagram showing an example of the virtual camera E1.
  • the display information generation unit 332 places the virtual camera E1 at the latest position of the avatar A1.
  • the display information generation unit 332 adjusts the orientation of the virtual camera E1 to the orientation indicated by the latest orientation information C2.
  • the display information generation unit 332 determines, in the virtual space F1, an area included in the imaging range E2 of the virtual camera E1 as the display area of the virtual space F1.
  • a part of the virtual store B1 is included in the display area of the virtual space F1.
  • the explanation returns to FIG. 4.
  • the display information generation unit 332 identifies static virtual objects included in the display area of the virtual space F1.
  • the display information generation unit 332 identifies, for each static virtual object included in the display area of the virtual space F1, the static virtual object and the position of the static virtual object in the display area of the virtual space F1.
  • the position of the static virtual object in the display area of the virtual space F1 means the scheduled display position of the static virtual object in the display image D3.
  • the display information generation unit 332 determines the position of the virtual camera E1 in the display area of the virtual space F1 as the scheduled display position of the avatar A1.
  • the scheduled display position of avatar A1 is not limited to the position of virtual camera E1 in the display area of virtual space F1.
  • the scheduled display position of avatar A1 may be a fixed position in display image D3.
  • the fixed position in the display image D3 is, for example, a position below the center of the display image D3 or a position to the right of the center of the display image D3 in the display image D3.
  • the fixed position in the display image D3 may be a position above the center of the display image D3, or a position to the left of the center of the display image D3 in the display image D3.
  • the display information generation unit 332 generates avatar A1, the scheduled display position of avatar A1, static virtual objects included in the display area of virtual space F1, and static virtual objects included in the display area of virtual space F1.
  • Display information D1 indicating the scheduled display position is generated.
  • the static virtual object included in the display area of the virtual space F1 is the virtual store B1.
  • the position detection unit 333 detects the position of avatar A1 and the position of virtual store B1.
  • the position detection unit 333 detects the position of the virtual store B1 in the virtual space F1 by referring to the virtual space data 321.
  • the position detection unit 333 detects the position of the avatar A1 in the virtual space F1 by referring to the avatar data 322.
  • the position detection unit 333 periodically refers to the avatar data 322 to detect changes in the position of the avatar A1 in the virtual space F1.
  • the position detection unit 333 may detect changes in the position of the avatar A1 in the virtual space F1 by referring to the avatar data 322 at irregular timings.
  • the display control unit 334 checks the position of the avatar A1 detected by the position detection unit 333 and the position of the virtual store B1 detected by the position detection unit 333. The display control unit 334 determines whether an advertisement regarding the virtual store B1 is necessary based on the positional relationship between the position of the avatar A1 and the position of the virtual store B1. For example, the display control unit 334 determines whether an advertisement regarding the virtual store B1 is necessary based on a change in the positional relationship between the avatar A1 and the virtual store B1.
  • the display control unit 334 first determines whether the avatar A1 is approaching the virtual store B1 based on the change in the positional relationship between the avatar A1 and the virtual store B1. When avatar A1 is approaching virtual store B1, user U may be interested in virtual store B1. Therefore, when determining that the avatar A1 is approaching the virtual store B1, the display control unit 334 determines that an advertisement regarding the virtual store B1 is necessary. When determining that the avatar A1 is not approaching the virtual store B1, the display control unit 334 determines that an advertisement regarding the virtual store B1 is not necessary.
  • the display control unit 334 determines that avatar A1 is approaching virtual store B1. If the distance between the position of avatar A1 and the position of virtual store B1 does not decrease, display control unit 334 determines that avatar A1 is not approaching virtual store B1.
  • the display control unit 334 may determine that the avatar A1 is approaching the virtual store B1 when the moving direction of the avatar A1 matches the direction from the avatar A1 to the virtual store B1. If the moving direction of avatar A1 does not match the direction from avatar A1 to virtual store B1, display control unit 334 may determine that avatar A1 is not approaching virtual store B1.
  • the case where the moving direction of avatar A1 matches the direction from avatar A1 to virtual store B1 means that the angle between the moving direction of avatar A1 and the direction from avatar A1 to virtual store B1 is 0 degrees or more and M degrees or less.
  • M is, for example, "5".
  • M is not limited to "5".
  • M may be, for example, a positive number of 0 or more and less than 5, or a positive number of 5 or more and 20 or less.
  • the display control unit 334 determines the moving direction of the avatar A1 based on the change in the position of the avatar A1. For example, the display control unit 334 determines the direction from the past position of avatar A1 to the latest position of avatar A1 as the moving direction of avatar A1. The past position of avatar A1 is the position of avatar A1 at one point in time temporally earlier than the latest position of avatar A1. The display control unit 334 determines the direction from the latest position of avatar A1 to the position of virtual store B1 as the direction from avatar A1 to virtual store B1.
  • the display control unit 334 determines that an advertisement regarding the virtual store B1 is necessary based on the fact that the avatar A1 approaches the virtual store B1.
  • the display control unit 334 causes the display device 10 to display an advertisement regarding the virtual store B1 based on the determination result that an advertisement regarding the virtual store B1 is necessary. For example, when determining that an advertisement regarding the virtual store B1 is necessary, the display control unit 334 first reads the store advertisement data 323a from the recommendation data 323.
  • the display control unit 334 adds the store advertisement data 323a to the latest display information D1. Furthermore, the display control unit 334 adds advertisement position data to the latest display information D1.
  • Advertisement position data is data indicating a scheduled display position of an advertisement.
  • the scheduled display position of the advertisement is, for example, a position that overlaps with the position of the virtual store B1 in the display area of the virtual space F1.
  • the scheduled display position of the advertisement is the display area of the virtual space F1. This is the position of an area that partially overlaps with the area where the virtual store B1 is located.
  • the planned display position of the advertisement is not limited to a position that overlaps with the position of the virtual store B1 in the display area of the virtual space F1.
  • the scheduled display position of the advertisement may be, for example, a position in an area adjacent to the virtual store B1.
  • the display control unit 334 transmits the latest display information D1 including store advertisement data 323a and advertisement position data from the communication device 31 to the terminal device 20.
  • the operation control unit 261 of the terminal device 20 acquires the latest display information D1 having the store advertisement data 323a and advertisement position data
  • the operation control unit 261 executes a rendering process based on the latest display information D1 to display the image information D2. generate.
  • the operation control unit 261 of the terminal device 20 causes the display device 10 to display the display image D3 indicated by the image information D2 by providing the image information D2 to the display device 10. Therefore, the display control unit 334 sends the advertisement regarding the virtual store B1 to the display device 10 by transmitting the latest display information D1 having store advertisement data 323a and advertisement position data from the communication device 31 to the terminal device 20. It will be displayed.
  • FIG. 6 is a diagram showing an example of a display image D3 shown by image information D2 based on display information D1 having store advertisement data 323a and advertisement position data.
  • display image D3 shows avatar A1, virtual store B1, and advertisement G1 of virtual store B1.
  • Advertisement G1 of virtual store B1 overlaps with virtual store B1.
  • Advertisement G1 of virtual store B1 is located in front of virtual store B1.
  • the advertisement G1 of the virtual store B1 is not limited to "bargain sale" and can be changed as appropriate.
  • the explanation returns to FIG. 4. If the display control unit 334 determines that the avatar A1 is not approaching the virtual store B1, it determines that an advertisement regarding the virtual store B1 is not necessary. When the display control unit 334 determines that an advertisement regarding the virtual store B1 is not necessary, the display control unit 334 transmits the latest display information D1 that does not include the store advertisement data 323a and advertisement position data from the communication device 31 to the terminal device 20.
  • the operation control unit 261 of the terminal device 20 acquires the latest display information D1 that does not include the store advertisement data 323a and advertisement position data, the operation control unit 261 executes rendering processing based on the latest display information D1, thereby rendering the image Generate information D2.
  • the operation control unit 261 of the terminal device 20 causes the display device 10 to display the display image D3 indicated by the image information D2 by providing the image information D2 to the display device 10.
  • FIG. 7 is a diagram showing an example of a display image D3 shown by image information D2 based on display information D1 that does not have store advertisement data 323a and advertisement position data.
  • display image D3 shows avatar A1 and virtual store B1 without showing advertisement G1 of virtual store B1.
  • FIG. 8 is a diagram for explaining the operation of the server 30.
  • the position determination unit 331 determines the latest position of the avatar A1 in the virtual space F1 based on the latest position information C1 every time the position information C1 is acquired.
  • the position determining unit 331 each time the position determining unit 331 acquires the position information C1, by using a translation matrix and a rotation matrix, the position determining unit 331 converts the coordinates indicated by the latest position information C1 to the coordinates indicated by the coordinate system of the virtual space F1. Convert to The position determining unit 331 determines the coordinates indicated by the coordinate system of the virtual space F1 as the latest position of the avatar A1 in the virtual space F1.
  • step S102 the position determining unit 331 adds the latest position of the avatar A1 in the virtual space F1 to the avatar data 322.
  • step S103 the display information generation unit 332 generates display information D1 based on the latest orientation information C2, virtual space data 321, and avatar data 322.
  • the display information D1 indicates the avatar A1, the scheduled display position of the avatar A1, the virtual store B1, and the scheduled display position of the virtual store B1.
  • the display information generation unit 332 generates the display information D1 by using the virtual camera E1.
  • step S104 the position detection unit 333 detects the position of the avatar A1 and the position of the virtual store B1 based on the virtual space data 321 and the avatar data 322. Note that step S104 may be executed between step S102 and step S103.
  • step S105 the display control unit 334 determines whether an advertisement regarding the virtual store B1 is necessary based on the positional relationship between the avatar A1 and the virtual store B1. For example, the display control unit 334 first determines whether the avatar A1 is approaching the virtual store B1. The display control unit 334 determines that an advertisement regarding the virtual store B1 is necessary based on the determination that the avatar A1 is approaching the virtual store B1. The display control unit 334 determines that an advertisement regarding the virtual store B1 is not necessary based on the determination that the avatar A1 is not approaching the virtual store B1.
  • step S105 If the display control unit 334 determines in step S105 that an advertisement regarding the virtual store B1 is necessary, it executes step S106.
  • step S106 the display control unit 334 adds the store advertisement data 323a and advertisement position data to the latest display information D1.
  • step S107 the display control unit 334 transmits the latest display information D1 having the store advertisement data 323a and advertisement position data from the communication device 31 to the terminal device 20.
  • the operation control unit 261 of the terminal device 20 acquires the latest display information D1 having the store advertisement data 323a and advertisement position data, the operation control unit 261 executes a rendering process based on the latest display information D1 to display the image information D2. generate.
  • the operation control unit 261 of the terminal device 20 causes the display device 10 to display a display image D3 (see FIG. 6) indicated by the image information D2 by providing the image information D2 to the display device 10.
  • step S105 determines in step S105 that an advertisement regarding the virtual store B1 is not necessary, it executes step S108.
  • step S108 the display control unit 334 transmits the latest display information D1 that does not include store advertisement data and advertisement position data from the communication device 31 to the terminal device 20.
  • the operation control unit 261 of the terminal device 20 acquires the latest display information D1 that does not include the store advertisement data 323a and advertisement position data, the operation control unit 261 executes rendering processing based on the latest display information D1, thereby rendering the image Generate information D2.
  • the operation control unit 261 of the terminal device 20 causes the display device 10 to display a display image D3 (see FIG. 7) indicated by the image information D2 by providing the image information D2 to the display device 10.
  • the position detection unit 333 detects the position of the avatar A1 that can move within the virtual space F1 and the position of the virtual store B1 within the virtual space F1 according to the operation performed by the user U. do.
  • the display control unit 334 determines whether a recommendation (for example, an advertisement) related to the virtual store B1 is necessary based on the positional relationship between the position of the avatar A1 and the position of the virtual store B1.
  • the display control unit 334 causes the display device 10 to display the recommendation related to the virtual store B1 based on the determination result that the recommendation related to the virtual store B1 is necessary.
  • the positional relationship between the virtual store B1 and the avatar A1, which can move within the virtual space F1 according to operations performed by the user U, may indicate the degree of interest of the user U in the virtual store B1. For example, if user U is interested in virtual store B1 in virtual space F1, user U may bring avatar A1 closer to virtual store B1.
  • the display control unit 334 determines whether a recommendation related to the virtual store B1 is necessary based on the positional relationship between the avatar A1 and the virtual store B1. Therefore, the positional relationship between the avatar A1 and the virtual store B1 can be reflected in determining whether or not a recommendation related to the virtual store B1 is necessary. Then, based on the result of determining that the recommendation related to the virtual store B1 is necessary based on the positional relationship between the avatar A1 and the virtual store B1, the recommendation related to the virtual store B1 is displayed on the display device 10. can be done.
  • the display control unit 334 determines whether a recommendation related to the virtual store B1 is necessary based on the change in the positional relationship between the avatar A1 and the virtual store B1. Therefore, for example, it is possible to determine whether a recommendation related to the virtual store B1 is necessary based on the relative movement of the avatar A1 with respect to the virtual store B1.
  • the display control unit 334 determines that a recommendation related to the virtual store B1 is necessary based on the fact that the avatar A1 approaches the virtual store B1. Therefore, it is possible to reduce the possibility that a recommendation related to the virtual store B1 is determined to be unnecessary in a situation where the user U is interested in the virtual store B1.
  • the display control unit 334 determines that a recommendation related to the static virtual object is necessary based on the fact that the distance between the avatar A1 and the static virtual object becomes shorter than the threshold H1. Good too. Furthermore, the display control unit 334 may determine that the recommendation related to the static virtual object is not necessary based on the fact that the distance between the avatar A1 and the static virtual object is not shorter than the threshold H1. .
  • the first modification for example, even if avatar A1 approaches a static virtual object in a situation where the distance between avatar A1 and the static virtual object is greater than the threshold value H1, recommendations related to the static virtual object It is determined that the dation is not necessary. Therefore, recommendations related to static virtual objects can be carefully selected. Therefore, it is possible to reduce the occurrence of a situation where the visibility of the virtual space F1 is degraded due to the display of recommendations.
  • the display control unit 334 displays information related to the static virtual object based on the fact that the distance between the avatar A1 and the static virtual object is shorter than the threshold H1. It may be determined that a recommendation is necessary. Furthermore, the display control unit 334 may determine that the recommendation related to the static virtual object is not necessary based on the fact that the distance between the avatar A1 and the static virtual object is not shorter than the threshold H1. .
  • the display control unit 334 determines whether a recommendation related to the virtual object is necessary based on the positional relationship between the avatar A1 and the virtual object, without using the transition in the positional relationship between the avatar A1 and the virtual object. can.
  • the display control unit 334 determines the future of the user U based on the positional relationship between the avatar A1 and a static virtual object such as the virtual store B1. may predict the behavior of The display control unit 334 may determine whether a recommendation related to a static virtual object is necessary based on the result of prediction regarding the future behavior of the user U.
  • the display control unit 334 predicts that the user U will bring the avatar A1 into contact with the static virtual object in the future.
  • the display control unit 334 determines that a recommendation related to a static virtual object is necessary based on the prediction that the user U will bring the avatar A1 into contact with a static virtual object in the future.
  • display control unit 334 predicts that user U will not bring avatar A1 into contact with a static virtual object in the future.
  • the display control unit 334 determines that the recommendation related to the static virtual object is not necessary based on the prediction that the user U will not bring the avatar A1 into contact with the static virtual object in the future.
  • the second modification it is possible to determine whether or not a recommendation related to the virtual object is necessary based on the result of prediction regarding the future behavior of the user U.
  • the plurality of virtual objects in the virtual space F1 include a dynamic virtual object in addition to the plurality of static virtual objects. But that's fine.
  • Dynamic virtual objects are virtual animals and virtual cars. Dynamic virtual objects are not limited to virtual animals and virtual cars.
  • the dynamic virtual object may be, for example, a virtual dynamic character.
  • the virtual space data 321 may further indicate a dynamic virtual object and a transition in the dynamic position of the virtual object in the virtual space F1.
  • the position detection unit 333 may detect the position of the avatar A1 and the position of the dynamic virtual object by referring to the virtual space data 321 and the avatar data 322.
  • the display control unit 334 may check the position of the avatar A1 detected by the position detection unit 333 and the position of the dynamic virtual object detected by the position detection unit 333. The display control unit 334 may determine whether a recommendation related to the dynamic virtual object is necessary based on the positional relationship between the position of the avatar A1 and the position of the dynamic virtual object.
  • the display control unit 334 determines that a recommendation related to the dynamic virtual object is necessary.
  • the recommendation related to the dynamic virtual object is, for example, an annotation indicating the name of the dynamic virtual object or an annotation indicating the characteristics of the dynamic virtual object. Recommendations related to dynamic virtual objects are not limited to annotations and can be changed as appropriate.
  • the display control unit 334 determines that the recommendation related to the dynamic virtual object is not necessary.
  • the display control unit 334 When determining that a recommendation related to a dynamic virtual object is necessary, the display control unit 334 first adds recommendation data indicating a recommendation related to the dynamic virtual object to the display information D1. .
  • recommendation data indicating recommendations related to dynamic virtual objects will be referred to as "annotation data.”
  • the annotation data is included in the recommendation data 323. Therefore, the display control unit 334 reads annotation data from the recommendation data 323. Subsequently, the display control unit 334 adds annotation data to the display information D1.
  • the display control unit 334 adds annotation position data to the display information D1.
  • the annotation position data is data indicating a position overlapping with the position of the dynamic virtual object in the display area of the virtual space F1, as a scheduled display position of a recommendation related to the dynamic virtual object. For example, if the position of the area where the dynamic virtual object is located in the display area of the virtual space F1 is used as the position of the dynamic virtual object in the display area of the virtual space F1, the recommendation related to the dynamic virtual object
  • the planned display position of the partition is the position of an area that partially overlaps with the area where the dynamic virtual object is located in the display area of the virtual space F1.
  • the planned display position of a recommendation related to a dynamic virtual object is not limited to a position that overlaps with the position of the dynamic virtual object in the display area of the virtual space F1.
  • the scheduled display position of the recommendation related to the dynamic virtual object may be, for example, a position in an area adjacent to the dynamic virtual object.
  • the display control unit 334 transmits display information D1 having annotation data and annotation position data from the communication device 31 to the terminal device 20.
  • the operation control unit 261 of the terminal device 20 Upon acquiring display information D1 having annotation data and annotation position data, the operation control unit 261 of the terminal device 20 generates image information D2 by executing a rendering process based on the display information D1.
  • the operation control unit 261 of the terminal device 20 causes the display device 10 to display the display image D3 indicated by the image information D2 by providing the image information D2 to the display device 10.
  • display image D3 represents avatar A1, a dynamic virtual object, and a recommendation related to the dynamic virtual object.
  • the recommendation is displayed at the location indicated by the annotation location data. Therefore, the display control unit 334 transmits the display information D1 having annotation data and annotation position data from the communication device 31 to the terminal device 20, thereby transmitting recommendations related to the dynamic virtual object to the display device 10. will be displayed.
  • the display control unit 334 determines that the recommendation related to the dynamic virtual object is not necessary, the display control unit 334 transmits display information D1 that does not include annotation data and annotation position data from the communication device 31 to the terminal device 20. .
  • the third modification it is possible to determine whether a recommendation related to the dynamic virtual object is necessary or not based on the positional relationship between the avatar A1 and the dynamic virtual object.
  • the display control unit 334 may predict the future behavior of the user U based on the positional relationship between the avatar A1 and the dynamic virtual object. For example, the display control unit 334 predicts the future behavior of the user U based on the moving direction of the avatar A1 and the moving direction of the dynamic virtual object. The display control unit 334 may determine whether a recommendation related to a dynamic virtual object is necessary based on the prediction result about the user U's future behavior.
  • the display control unit 334 may cause user U to move avatar A1 in the future. to predict when it comes into contact with a dynamic virtual object.
  • the display control unit 334 determines the moving direction of the dynamic virtual object using a method similar to the method for determining the moving direction of the avatar A1.
  • the display control unit 334 may predict that the user U will bring the avatar A1 into contact with the dynamic virtual object in the future when the avatar A1 is located in the moving direction of the dynamic virtual object.
  • the display control unit 334 determines that a recommendation related to a dynamic virtual object is necessary based on the prediction that the user U will bring the avatar A1 into contact with a dynamic virtual object in the future.
  • the display control unit 334 allows user U to move avatar A1 dynamically. It is predicted that the object will not come in contact with virtual objects. If the avatar A1 is not located in the moving direction of the dynamic virtual object, the display control unit 334 may predict that the user U will not bring the avatar A1 into contact with the dynamic virtual object in the future.
  • the display control unit 334 determines that the recommendation related to the dynamic virtual object is not necessary based on the prediction that the user U will not bring the avatar A1 into contact with the dynamic virtual object in the future.
  • the fourth modification it is possible to determine whether a recommendation related to a dynamic virtual object is necessary or not based on the result of prediction regarding the future behavior of the user U.
  • the display control unit 334 displays the dynamic virtual object without the above prediction. It may be determined that a recommendation related to is necessary.
  • the display control unit 334 displays the dynamic virtual object without the above prediction. It may be determined that the recommendation related to is not necessary.
  • the display control unit 334 may determine that a recommendation related to the dynamic virtual object is necessary without the above prediction.
  • the display control unit 334 may determine that the recommendation related to the dynamic virtual object is not necessary without the above prediction.
  • the display control unit 334 controls the virtual It may also be determined whether recommendations related to the object are necessary.
  • FIG. 9 is a diagram showing an example of a display device 10a used instead of the display device 10 shown in FIG. 2 in the fifth modification.
  • the display device 10a includes a line-of-sight sensor 19 in addition to the elements included in the display device 10.
  • the line of sight sensor 19 has an eye tracking function.
  • the eye tracking function is a function that detects the line of sight of the user U based on the line of sight of the user's U right eye and left eye.
  • the line-of-sight sensor 19 generates line-of-sight information C3 indicating the user's U line of sight.
  • the line-of-sight sensor 19 periodically generates line-of-sight information C3.
  • the line-of-sight sensor 19 may generate the line-of-sight information C3 at irregular timing.
  • the operation control unit 171 transmits the latest line-of-sight information C3 from the communication device 15 to the terminal device 20 every time the line-of-sight information C3 is generated. Each time the terminal device 20 receives the line-of-sight information C3, it transmits the latest line-of-sight information C3 to the server 30a shown in FIG. 10.
  • FIG. 10 is a diagram showing an example of a server 30a used instead of the server 30 shown in FIG. 4 in the fifth modification.
  • the display information generation unit 332 stores the latest display information D1 in the storage device 32 every time the display information D1 is generated.
  • the storage device 32 further stores gaze history data 324.
  • the line-of-sight history data 324 indicates the history of user U's line-of-sight.
  • the processing device 33 further functions as a line of sight detection section 335 by executing the program PG3.
  • the line of sight detection unit 335 may be configured by a circuit such as a DSP, ASIC, or FPGA.
  • the line-of-sight detection unit 335 acquires the latest line-of-sight information C3 from the communication device 31 every time the communication device 31 receives the line-of-sight information C3.
  • the line-of-sight detection unit 335 adds the latest line-of-sight information C3 to the line-of-sight history data 324 every time it acquires the line-of-sight information C3.
  • the line of sight detection unit 335 also detects the line of sight of the user U by referring to the line of sight history data 324. For example, the line-of-sight detection unit 335 detects changes in the line-of-sight of the user U by referring to the line-of-sight history data 324.
  • the display control unit 334 checks the line of sight of the user U detected by the line of sight detection unit 335. The display control unit 334 determines whether a recommendation related to the virtual object is necessary based on the positional relationship between the avatar A1 and the virtual object and the line of sight of the user U.
  • the display control unit 334 first reads the display information D1 from the storage device 32. Next, based on the display information D1, the display control unit 334 selects one or more virtual objects located in the display image D3 together with the avatar A1 from among the plurality of virtual objects into one or more visible virtual objects. Identify as an object. Note that the one or more visible virtual objects have a positional relationship with the avatar A1 in that they are located in the display image D3 together with the avatar A1.
  • the display control unit 334 determines whether the target virtual object exists among the one or more visible virtual objects based on the user U's line of sight and the display information D1.
  • the target virtual object is a visible virtual object that is located in the line of sight of the user U for a period of time equal to or longer than the determination time T1.
  • the display control unit 334 determines that a recommendation related to the target virtual object is necessary. When determining that the target virtual object does not exist, the display control unit 334 determines that recommendations related to the virtual object are not required. Therefore, recommendations can be made more carefully than in a configuration in which recommendations are made for all visible virtual objects regardless of the presence or absence of the target virtual object.
  • the display control unit 334 When determining that a recommendation related to the target virtual object is necessary, the display control unit 334 indicates data indicating the recommendation related to the target virtual object and a scheduled display position of the recommendation related to the target virtual object. data and is added to the display information D1.
  • the scheduled display position of the recommendation related to the target virtual object is, for example, a position that overlaps with the position of the target virtual object in the display area of the virtual space F1.
  • the scheduled display position of the recommendation related to the target virtual object is , is the position of an area that partially overlaps with the area where the target virtual object is located in the display area of the virtual space F1.
  • the planned display position of the recommendation related to the target virtual object is not limited to a position that overlaps with the position of the target virtual object in the display area of the virtual space F1.
  • the scheduled display position of the recommendation related to the target virtual object may be, for example, a position in an area adjacent to the target virtual object.
  • the display control unit 334 sends display information D1 from the communication device 31 including data indicating a recommendation related to the target virtual object and data indicating a scheduled display position of the recommendation related to the target virtual object.
  • the display control unit 334 sends display information D1 from the communication device 31 including data indicating a recommendation related to the target virtual object and data indicating a scheduled display position of the recommendation related to the target virtual object.
  • the display control unit 334 determines that the recommendation related to the virtual object is not necessary, the display control unit 334 displays the display information D1 that does not have the data indicating the recommendation and the data indicating the scheduled display position of the recommendation to the communication device 31. from there to the terminal device 20.
  • the display control unit 334 displays recommendations related to the dynamic virtual object. may be determined to be necessary. If the line of sight of the user U is not located on the moving direction of a dynamic virtual object among one or more visible virtual objects, the display control unit 334 determines that a recommendation related to the dynamic virtual object is required. It may be determined that this is not the case. In this case, recommendations can be made more carefully than in a configuration in which recommendations are made for all visible virtual objects.
  • the display control unit 334 determines whether a recommendation related to the virtual object is necessary based on the positional relationship between the avatar A1 and the virtual object and the line of sight of the user U.
  • the user U's line of sight tends to be directed toward a virtual object that interests the user U. Therefore, according to the fifth modification, compared to a configuration in which it is determined whether or not a recommendation related to a virtual object is required based only on the positional relationship between the avatar A1 and the virtual object, the determination of whether or not a recommendation is required is more difficult. It is possible to improve the accuracy of
  • the display control unit 334 may predict the future behavior of the user U based on the positional relationship between the avatar A1 and the virtual object and the user U's line of sight.
  • the display control unit 334 predicts that the user U will bring the avatar A1 into contact with the target virtual object in the future.
  • the display control unit 334 determines that a recommendation related to the target virtual object is necessary based on the prediction that the user U will bring the avatar A1 into contact with the target virtual object in the future.
  • the display control unit 334 controls the display control unit 334 so that when the line of sight of the user U is located in the moving direction of a dynamic virtual object among one or more visible virtual objects, the user U will move the avatar A1 to the dynamic virtual object in the future. It may be predicted that the user will come into contact with a virtual object.
  • the display control unit 334 determines that a recommendation related to a dynamic virtual object is necessary based on the prediction that the user U will bring the avatar A1 into contact with a dynamic virtual object in the future.
  • the display control unit 334 based on the positional relationship between the avatar A1 and the virtual object and the words from the user U, It may also be determined whether a recommendation related to a virtual object is necessary.
  • the input device 21 of the terminal device 20 shown in FIG. 3 receives a text message from the user U used for text chat.
  • the text message is an example of words from user U.
  • Words from user U are not limited to text messages.
  • the words from the user U may be, for example, words input by the user U into the microphone by voice.
  • the words input by voice into the microphone from the user U are, for example, words used in voice chat.
  • the terminal device 20 is capable of using a search engine
  • the words from the user U may be words expressed by characters input to the search engine.
  • the input device 21 generates word information C4 indicating words from the user U.
  • the operation control unit 261 provides the word information C4 from the communication device 23 to the server 30b shown in FIG.
  • FIG. 11 is a diagram showing an example of a server 30b used in place of the server 30 shown in FIG. 4 or the server 30a shown in FIG. 10 in the sixth modification.
  • the storage device 32 further stores word history data 325.
  • Word history data 325 shows the history of words from user U.
  • the processing device 33 further functions as an acquisition unit 336 by executing the program PG3.
  • the acquisition unit 336 may be configured by a circuit such as a DSP, ASIC, or FPGA.
  • the acquisition unit 336 acquires the latest word information C4 from the communication device 31 every time the communication device 31 receives the word information C4.
  • the acquisition unit 336 adds the latest word information C4 to the word history data 325 every time it acquires the word information C4.
  • the acquisition unit 336 also acquires words from the user U by referring to the word history data 325. For example, the acquisition unit 336 acquires the words from the user U indicated by the latest word information C4.
  • the acquisition unit 336 may acquire the words from the user U indicated by the word information C4 added to the word history data 325 before the latest word information C4.
  • the acquisition unit 336 first adds the word history data 325 to the word history data 325 during a period from a first time point when the latest word information C4 is added to the word history data 325 to a second time point that is a first time before the first time point.
  • the word information C4 added to is specified as additional word information.
  • the first time is, for example, one hour.
  • the first hour is not limited to one hour.
  • the first time may be shorter than one hour or longer than one hour.
  • the acquisition unit 336 may specify, as additional word information, word information representing the movement of the user U from among the word information C4 added to the word history data 325 during the period from the first time point to the second time point.
  • the word information indicating the movement of the user U is, for example, information indicating the words "Let's go to AAA.”
  • “AAA” is a word meaning, for example, a destination or a meal.
  • the word information representing user U's movement is not limited to information representing the words "Let's go to AAA.”
  • the word information representing user U's movement includes information showing the words “Let's go to AAA,” information showing the words “I'm going to AAA,” information showing the words “I'm going to AAA,” and information showing the words “I'm going to AAA.”
  • the information may be information indicating the words "I want to go to AAA" or information indicating the words "I want to go to AAA.”
  • the acquisition unit 336 acquires the words from user U indicated by the additional word information from each piece of additional word information.
  • the display control unit 334 confirms the words from the user U acquired by the acquisition unit 336.
  • the display control unit 334 determines whether a recommendation related to the virtual object is necessary based on the positional relationship between the avatar A1 and the virtual object and the words from the user U.
  • the display control unit 334 identifies an interesting virtual object from among a plurality of virtual objects.
  • the virtual object of interest is the virtual object indicated by the words from the user U.
  • the virtual object of interest is not limited to the virtual object indicated by the words from the user U.
  • the virtual object of interest may be, for example, a virtual object existing at the position indicated by the words from the user U among the plurality of virtual objects.
  • the display control unit 334 determines that a recommendation related to the interesting virtual object is necessary.
  • the display information D1 includes data indicating the recommendation related to the interested virtual object and information related to the interested virtual object. Add data indicating the planned display position of the recommendation.
  • the planned display position of the recommendation related to the interesting virtual object is, for example, a position that overlaps with the position of the interesting virtual object in the display area of the virtual space F1. For example, when the position of the area where the interesting virtual object is located in the display area of the virtual space F1 is used as the position of the interesting virtual object in the display area of the virtual space F1, recommendations related to the interesting virtual object are displayed.
  • the planned position is the position of an area that partially overlaps with the area where the virtual object of interest is located in the display area of the virtual space F1.
  • the planned display position of a recommendation related to an interesting virtual object is not limited to a position that overlaps with the position of the interesting virtual object in the display area of the virtual space F1.
  • the scheduled display position of the recommendation related to the interesting virtual object may be, for example, a position in an area adjacent to the interesting virtual object.
  • the display control unit 334 transmits display information D1 from the communication device 31 to the terminal, including data indicating a recommendation related to the virtual object of interest and data indicating a scheduled display position of the recommendation related to the virtual object of interest.
  • the transmission to the device 20 causes the display device 10 to display recommendations related to the virtual object of interest. Therefore, in a situation where the acquisition unit 336 acquires a word from the user U indicated by the latest word information C4, when the user U utters a word, the distance between the interested virtual object corresponding to the word and the avatar A1 is is less than the threshold H2, it becomes possible to display recommendations related to the virtual object of interest.
  • the acquisition unit 336 acquires a word from the user U indicated by the word information indicating the movement of the user U, after the user U utters the word and moves, the interested virtual object and avatar corresponding to the word are acquired.
  • the distance to A1 becomes less than the threshold H2, it becomes possible to display recommendations related to the virtual object of interest.
  • the display control unit 334 determines that the recommendation related to the interesting virtual object is not necessary.
  • the display control unit 334 determines that the recommendation related to the virtual object of interest is not necessary, the display control unit 334 displays the display information D1 that does not have data indicating the recommendation and data indicating the scheduled display position of the recommendation on the communication device. 31 to the terminal device 20.
  • the display control unit 334 determines whether a recommendation related to the virtual object is necessary based on the positional relationship between the avatar A1 and the virtual object and the words from the user U. Words from user U tend to represent virtual objects that interest user U, or positions of virtual objects that interest user U. Therefore, according to the sixth modification, compared to a configuration in which it is determined whether or not a recommendation related to a virtual object is required based only on the positional relationship between the avatar A1 and the virtual object, the determination of whether or not a recommendation is required is more difficult. It is possible to improve the accuracy of
  • the display control unit 334 may predict the future behavior of the user U based on the positional relationship between the avatar A1 and the virtual object and the words from the user U.
  • the display control unit 334 predicts that the user U will bring the avatar A1 into contact with the interested virtual object in the future.
  • the display control unit 334 determines that a recommendation related to the interesting virtual object is necessary based on the prediction that the user U will bring the avatar A1 into contact with the interesting virtual object in the future.
  • the display control unit 334 predicts that the user U will not bring the avatar A1 into contact with the interested virtual object in the future.
  • the display control unit 334 determines that the recommendation related to the interesting virtual object is not necessary based on the prediction that the user U will not bring the avatar A1 into contact with the interesting virtual object in the future.
  • Each element realized by the processing device 33 of the server 30, 30a or 30b may be realized by the processing device 26 of the terminal device 20.
  • the terminal device 20 or the processing device 26 is another example of the recommendation display control device.
  • the programs and data stored in the storage device 32 of the server 30, 30a, or 30b may be stored in the storage device 25 of the terminal device 20.
  • the server 30 can be omitted.
  • Each function illustrated in FIG. 2, FIG. 3, FIG. 4, FIG. 9, FIG. 10, or FIG. 11 is realized by any combination of hardware and software.
  • the method for realizing each function is not particularly limited.
  • Each function may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g., wired, It may also be realized using devices configured by connecting (e.g., wirelessly).
  • Each function may be realized by combining software with the one device or the plurality of devices.
  • apparatus may be replaced with other terms such as circuit, device, or unit.
  • the storage device 16, the storage device 25, and the storage device 32 are optical disks such as CD-ROMs (Compact Disc ROMs), hard disk drives, flexible disks, magneto-optical disks (e.g. compact disks, digital versatile disks, Blu-ray disks), smart cards, flash memories (e.g. cards, sticks, key drives), floppy disks, It may be constituted by at least one of magnetic strips and the like.
  • the program may also be transmitted from a network via a telecommunications line.
  • Each of the first embodiment and the first modification to the seventh modification supports LTE (Long Term Evolution), LTE-A (LTA-Advanced), SUPER 3G, IMT-Advanced, and 4G (4th generation mobile communication). system), 5G (5th generation mobile communication system), 6th generation mobile communication system (6G), xth generation mobile communication system (xG) (x is an integer or a decimal, for example), FRA (Future Radio Access), NR (new Radio ), New radio access (NX), Future generation radio access (FX), W-CDMA (registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi (registered trademark) (trademark)), IEEE 802.16 (WiMAX (registered trademark)), IEEE 802.20, UWB (Ultra-WideBand), Bluetooth (registered trademark), and systems that utilize other appropriate systems and extensions based on these; It may be applied to at least one of the modified, created and defined
  • input and output information may be stored in a specific location (for example, memory) or managed using a management table. may be done. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • the determination may be made based on a value (0 or 1) represented by 1 bit, or a truth value (Boolean: true or false), or may be performed based on numerical comparison (for example, comparison with a predetermined value).
  • the programs illustrated in each of the first embodiment and the first to seventh modifications may be referred to as software, firmware, middleware, microcode, hardware description language, or by any other name.
  • wired technology such as coaxial cable, fiber optic cable, twisted pair, and digital subscriber line (DSL)
  • wireless technology such as infrared, microwave
  • At least one of the display device 10 and the terminal device 20 may be a mobile station.
  • a mobile station is defined by a person skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology.
  • a mobile station may be called a transmitting device, a receiving device, a communication device, or the like.
  • the mobile station may be a device mounted on a mobile body, or the mobile body itself.
  • a moving body means a movable object. The moving speed of the moving body is arbitrary. The moving body can be stopped. Examples of moving objects include vehicles, transport vehicles, automobiles, motorcycles, bicycles, connected cars, excavators, bulldozers, wheel loaders, dump trucks, forklifts, trains, buses, carts, rickshaws, ships and other watercraft, Including, but not limited to, airplanes, rockets, artificial satellites, drones (registered trademarks), multicopters, quadcopters, balloons, and items mounted on these.
  • the mobile body may be a mobile body that autonomously travels based on the operation command.
  • the moving object may be a vehicle (for example, a car, an airplane, etc.), an unmanned moving object (for example, a drone, a self-driving car, etc.), or a robot (manned or unmanned).
  • a vehicle for example, a car, an airplane, etc.
  • an unmanned moving object for example, a drone, a self-driving car, etc.
  • a robot manned or unmanned.
  • Mobile stations also include devices that do not necessarily move during communication operations.
  • the mobile station may be an IoT (Internet of Things) device such as a sensor.
  • the term “determining” may include a wide variety of operations.
  • “Decision” includes, for example, judging, calculating, computing, processing, deriving, investigating, looking up, search, inquiry (e.g., table , searching in a database or other data structure), and regarding an ascertaining as a “decision.”
  • “Decision” can also mean receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, accessing ( For example, it may include accessing data in memory) and regarding it as a "judgment” or “decision.”
  • “determining” may include resolving, selecting, choosing, establishing, comparing, and the like, which can be considered to be “determined.” In other words, “determining” may include considering that some action has been “determined.” Furthermore, “determining” may be read as “assuming,” “expecting,” “considering,” or the like.
  • connection refers to the direct or Refers to any connection or coupling that is indirect and may include the presence of one or more intermediate elements between two elements that are "connected” or “coupled” to each other.
  • the bonds or connections between elements may be physical, logical, or a combination thereof.
  • connection may be replaced with "access.”
  • two elements may include one or more electrical wires, cables, and/or printed electrical connections, as well as in the radio frequency domain, as some non-limiting and non-inclusive examples. , electromagnetic energy having wavelengths in the microwave and optical (both visible and non-visible) ranges.
  • any reference to elements using designations such as “first” and “second” does not generally limit the amount or order of those elements. These designations may be used herein as a convenient way of distinguishing between two or more elements. Thus, reference to a first and second element does not imply that only two elements may be employed or that the first element must precede the second element in any way.
  • the recommendation display control device includes a position detection section and a display control section.
  • the position detection unit detects the position of an operation target that can be moved within the virtual space in response to an operation performed by a user, and the position of a virtual object within the virtual space.
  • the display control unit determines whether a recommendation related to the virtual object is necessary based on the positional relationship between the position of the operation target and the position of the virtual object, and determines that the recommendation is necessary. Based on the recommendation, the recommendation is displayed on a display device.
  • the positional relationship between the virtual object and an operation target that can be moved within the virtual space in response to an operation performed by the user may indicate the user's level of interest in the virtual object. For example, if a user is interested in a virtual object in a virtual space, the user may move the operation target closer to the virtual object.
  • the display control unit determines whether a recommendation related to the virtual object is necessary based on the positional relationship between the position of the operation target and the position of the virtual object. Therefore, the positional relationship between the operation target and the virtual object can be reflected in determining whether a recommendation related to the virtual object is necessary. Then, based on the result of determining that recommendations related to the virtual object are necessary based on the positional relationship between the operation target and the virtual object, recommendations related to the virtual object can be displayed on the display device. .
  • the display control unit determines the requirements of the recommendation based on the transition of the positional relationship between the position of the operation target and the position of the virtual object. Determine whether or not. According to this aspect, it is possible to determine whether a recommendation related to the virtual object is necessary, for example, based on the relative movement of the operation target with respect to the virtual object.
  • the display control unit determines that the recommendation is necessary based on the operation target approaching the virtual object. do. According to this aspect, when the user becomes interested in the virtual object and moves the operation target closer to the virtual object, it can be determined that a recommendation related to the virtual object is necessary.
  • the display control unit may select the recommendation based on the distance between the operation target and the virtual object becoming shorter than a threshold. dation is necessary. According to this aspect, even if the avatar approaches the virtual object in a situation where the distance between the avatar and the virtual object is greater than the threshold value, it is not determined that a recommendation related to the virtual object is necessary. Therefore, recommendations related to virtual objects can be carefully selected.
  • the display control unit predicts future actions of the user based on the positional relationship between the position of the operation target and the position of the virtual object. A prediction is made, and based on the result of the prediction, it is determined whether or not the recommendation is necessary. According to this aspect, it is possible to determine whether or not a recommendation related to the virtual object is necessary based on the result of prediction regarding the user's future behavior.
  • the recommendation display control device further includes a line-of-sight detection unit that detects the user's line of sight.
  • the display control unit determines whether or not the recommendation is necessary based on the positional relationship between the position of the operation target and the position of the virtual object and the line of sight of the user.
  • a user's line of sight tends to be directed toward virtual objects that interest the user. Therefore, according to this aspect, the accuracy of determining whether a recommendation is necessary is improved compared to a configuration in which the necessity of a recommendation related to a virtual object is determined based only on the positional relationship between the operation target and the virtual object. can be improved.
  • the recommendation display control device further includes an acquisition unit that acquires words from the user.
  • the display control unit determines whether or not the recommendation is necessary based on the positional relationship between the position of the operation target and the position of the virtual object and words from the user. Words from the user tend to represent virtual objects of interest to the user or locations of virtual objects of interest to the user. Therefore, according to this aspect, the accuracy of determining whether a recommendation is necessary is improved compared to a configuration in which the necessity of a recommendation related to a virtual object is determined based only on the positional relationship between the operation target and the virtual object. can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

レコメンデーション表示制御装置は、ユーザが行う操作に応じて仮想空間内を移動可能な操作対象の位置と、前記仮想空間内の仮想オブジェクトの位置と、を検出する位置検出部と、前記操作対象の位置と前記仮想オブジェクトの位置との位置関係に基づいて、前記仮想オブジェクトに関連するレコメンデーションの要否を判定し、前記レコメンデーションが必要であるという判定結果に基づいて、前記レコメンデーションを表示装置に表示させる表示制御部と、を含む。

Description

レコメンデーション表示制御装置
 本発明は、レコメンデーション表示制御装置に関する。
 特許文献1は、仮想空間を表示するHMD(Head Mounted Display)を開示する。仮想空間には、仮想カメラが位置する。仮想空間において仮想カメラの視界(画角)に存在する領域が、HMDに表示される。仮想空間における仮想カメラの位置は、現実世界におけるHMDの位置の変化に応じて変化する。このため、HMDに表示される仮想空間の領域は、HMDを装着したユーザの移動に応じて変化する。なお、HMDを装着したユーザの移動は、ユーザがHMDを移動する操作と称することができる。よって、仮想カメラは、ユーザが行う操作に応じて仮想空間内を移動可能な操作対象の一例となる。
 特許文献1は、さらに、仮想空間内の対象オブジェクトに対するユーザの注視時間に基づいて、対象オブジェクトに関する広告の要否を決定する技術を開示する。なお、対象オブジェクトは、仮想オブジェクトの一例となる。また、対象オブジェクトに関する広告は、仮想オブジェクトに関連するレコメンデーションの一例となる。
特開2017-41019号公報
 ユーザが行う操作に応じて仮想空間内を移動可能な操作対象と、仮想オブジェクトと、の位置関係は、仮想オブジェクトに対するユーザの興味の程度を示す可能性がある。例えば、特許文献1に開示の技術において、ユーザが、仮想空間の仮想オブジェクトに興味を覚える場合、ユーザは、操作対象の一例である仮想カメラを、仮想オブジェクトに近づける可能性がある。
 特許文献1に開示の技術では、仮想空間内の対象オブジェクトに対するユーザの注視時間に基づいて、対象オブジェクトに関連するレコメンデーション(広告)の要否を決定する。このため、特許文献1に開示の技術では、操作対象と仮想オブジェクトとの位置関係を、仮想オブジェクトに関連するレコメンデーションの要否の判定に反映できない。
 本発明の目的は、操作対象と仮想オブジェクトとの位置関係を、仮想オブジェクトに関連するレコメンデーションの要否の判定に反映可能なレコメンデーション表示制御装置を提供することである。
 一態様に係るレコメンデーション表示制御装置は、ユーザが行う操作に応じて仮想空間内を移動可能な操作対象の位置と、前記仮想空間内の仮想オブジェクトの位置と、を検出する位置検出部と、前記操作対象の位置と前記仮想オブジェクトの位置との位置関係に基づいて、前記仮想オブジェクトに関連するレコメンデーションの要否を判定し、前記レコメンデーションが必要であるという判定結果に基づいて、前記レコメンデーションを表示装置に表示させる表示制御部と、を含む。
 一態様によれば、操作対象と仮想オブジェクトとの位置関係を、仮想オブジェクトに関連するレコメンデーションの要否の判定に反映できる。
表示制御システム1を模式的に示す図である。 表示装置10の一例を示す図である。 端末装置20の一例を示す図である。 サーバ30の一例を示す図である。 仮想カメラE1の一例を示す図である。 表示画像D3の一例を示す図である。 表示画像D3の他の例を示す図である。 サーバ30の動作を説明するための図である。 表示装置10aの一例を示す図である。 サーバ30aの一例を示す図である。 サーバ30bの一例を示す図である。
 A:第1実施形態
 A1:表示制御システム1
 図1は、表示制御システム1を模式的に示す図である。表示制御システム1は、仮想空間F1の表示を制御するシステムである。例えば、表示制御システム1は、仮想空間F1におけるレコメンデーションに関する表示を制御する。
 表示制御システム1は、表示装置10と、端末装置20と、サーバ30と、を含む。表示装置10と端末装置20は、相互に通信可能である。端末装置20とサーバ30は、通信ネットワークNWを介して相互に通信可能である。
 表示装置10は、例えば、スマートグラスである。スマートグラスは、眼鏡型の表示装置である。スマートグラスは、例えば、AR(Augmented Reality)グラス又はMR(Mixed Reality)グラスである。スマートグラスは、XR(X Reality)グラス又はHMDとも称される。表示装置10は、スマートグラスに限らない。表示装置10は、例えば、眼鏡型ではない表示装置でもよい。眼鏡型ではない表示装置は、例えば、ゴーグル形状のHMDである。
 表示装置10は、端末装置20を含んでもよい。端末装置20を含む表示装置10は、例えば、通信ネットワークNWを介してサーバ30と通信可能なスマートグラスである。端末装置20を含む表示装置10は、通信ネットワークNWを介さずにサーバ30と通信可能なスマートグラスでもよい。
 表示装置10は、ユーザUによって携帯される。例えば、表示装置10は、ユーザUに装着されることによって、ユーザUに携帯される。
 表示装置10は、表示面11を含む。表示面11は、例えば、仮想空間F1を表示する。仮想空間F1は、アバターA1を有する。
 アバターA1は、ユーザUに対応するアバターである。アバターA1は、ユーザUの分身として使用される。
 アバターA1は、表示装置10を携帯するユーザUの移動に応じて、仮想空間F1内を移動可能である。表示装置10を携帯するユーザUの移動は、ユーザUが表示装置10を移動する操作の一例である。ユーザUが表示装置10を移動する操作は、ユーザUが行う操作の一例である。アバターA1の移動のためにユーザUが行う操作は、ユーザUが表示装置10を移動する操作に限らない。アバターA1の移動のためにユーザUが行う操作は、例えば、ユーザUが表示装置10のユーザインタフェイスに対して行う操作、又は、ユーザUが端末装置20のユーザインタフェイスに対して行う操作でもよい。ユーザインタフェイスは、例えば、物理的な操作ボタン又はGUI(Graphical User Interface)である。
 アバターA1は、ユーザUが行う操作に応じて仮想空間F1内を移動可能な操作対象の一例である。操作対象は、アバターA1に限らない。操作対象は、例えば、ユーザUが行う操作に応じて仮想空間F1内を移動可能な仮想カメラE1(後述の図5参照)でもよい。仮想カメラE1については後述する。操作対象として、アバターA1の代わりに仮想カメラE1が用いられる場合、アバターA1は省略されてもよい。
 仮想空間F1は、アバターA1に加えて、複数の仮想オブジェクトを有する。複数の仮想オブジェクトのうち1つ仮想オブジェクトは、仮想店舗B1である。すなわち、仮想店舗B1は、仮想オブジェクトの一例である。仮想オブジェクトは、仮想店舗B1に限らない。仮想オブジェクトは、例えば、仮想商品又は仮想のショッピングモールでもよい。仮想空間F1は、アバターA1と複数の仮想オブジェクトとに加えて、ユーザUとは異なるユーザに対応するアバターを含んでもよい。ユーザUとは異なるユーザに対応するアバターは、ユーザUとは異なるユーザの分身として使用される。なお、ユーザUとは異なるユーザに対応するアバターは、複数の仮想オブジェクトに含まれてもよい。
 仮想空間F1を表示可能な表示面11は、透過型の表示面である。表示面11は、例えば、アバターA1と仮想店舗B1とを表示しながら、現実世界を表す外光を透過する。このため、表示面11を有する表示装置10は、ユーザUにアバターA1と仮想店舗B1を視認させながら、ユーザUに現実世界を視認させることができる。すなわち、表示装置10は、ユーザUに拡張現実(AR)を提供できる。アバターA1と仮想店舗B1は、仮想空間F1に位置する。このため、表示装置10は、ユーザUに複合現実(MR)を提供できる。なお、表示面11は、透過型の表示面に限らない。表示面11は、例えば、非透過型の表示面でもよい。
 端末装置20は、例えば、スマートフォンである。端末装置20は、スマートフォンに限らない。端末装置20は、例えば、タブレット端末、ノート型パーソナルコンピュータ又はゲーム装置でもよい。端末装置20は、例えば、ユーザUによって携帯される。
 端末装置20は、表示装置10を含んでもよい。表示装置10を含む端末装置20は、例えば、仮想空間F1を表示可能なスマートフォン、タブレット端末、ノート型パーソナルコンピュータ又はゲーム装置である。表示装置10を含む端末装置20では、表示装置10は、例えば、端末装置20の表示パネルである。表示パネルは、例えば、液晶パネル又は有機EL(Electro Luminescence)パネルである。表示装置10を含む端末装置20では、表示面11は、例えば、非透過型の表示面である。
 端末装置20は、位置情報C1を表示装置10から取得する。位置情報C1は、現実世界における表示装置10の位置を示す情報である。端末装置20は、位置情報C1をサーバ30に提供する。
 端末装置20は、向き情報C2を表示装置10から取得する。向き情報C2は、現実世界における表示装置10の向きを示す情報である。端末装置20は、向き情報C2をサーバ30に提供する。
 端末装置20は、サーバ30から表示情報D1を取得する。表示情報D1は、アバターA1と、アバターA1の表示予定位置と、仮想オブジェクトと、仮想オブジェクトの表示予定位置と、を示す情報である。例えば、表示情報D1は、アバターA1と、アバターA1の表示予定位置と、仮想店舗B1と、仮想店舗B1の表示予定位置と、を示す。表示情報D1は、さらに、仮想店舗B1に関連するレコメンデーションを示してもよい。仮想店舗B1に関連するレコメンデーションは、例えば、仮想店舗B1に関する広告である。表示情報D1は、表示画像D3をレンダリングするために用いられる。表示画像D3は、表示面11に表示される画像である。また、表示画像D3は、仮想空間F1を表す画像である。
 端末装置20は、表示情報D1を用いてレンダリング処理を実行することによって、画像情報D2を生成する。画像情報D2は、表示画像D3を示す情報である。端末装置20は、画像情報D2を表示装置10に提供することによって、表示装置10に表示画像D3を表示させる。
 サーバ30は、仮想空間F1を管理する。サーバ30は、位置情報C1と向き情報C2とに基づいて、仮想空間F1の表示領域を決定する。仮想空間F1の表示領域は、仮想空間F1の一部の領域である。仮想空間F1の表示領域は、表示画像D3に示される。サーバ30は、仮想空間F1の表示領域に基づいて、表示情報D1を生成する。サーバ30は、表示情報D1を端末装置20に提供する。
 サーバ30は、表示情報D1を用いてレンダリング処理を実行することによって、画像情報D2を生成してもよい。この場合、サーバ30は、表示情報D1の代わりに画像情報D2を端末装置20に提供する。端末装置20は、サーバ30から画像情報D2を受け取ると、サーバ30から受け取った画像情報D2を表示装置10に提供することによって、表示装置10に表示画像D3を表示させる。
 サーバ30は、位置情報C1に基づいて、仮想空間F1においてアバターA1を移動する。
 さらに、サーバ30は、アバターA1と仮想店舗B1との位置関係に基づいて、仮想店舗B1に関する広告の要否を判定する。仮想店舗B1に関する広告は、仮想オブジェクトに関連するレコメンデーションの一例である。仮想オブジェクトに関連するレコメンデーションは、仮想店舗B1に関する広告に限らない。例えば、仮想オブジェクトに関連するレコメンデーションは、仮想オブジェクトの説明でもよい。仮想オブジェクトの説明は、例えば、仮想店舗B1の説明、又は仮想店舗B1において販売されている商品の説明である。仮想オブジェクトに関連するレコメンデーションは、仮想店舗B1において販売されている商品に関する広告でもよい。仮想オブジェクトに関連するレコメンデーションは、仮想店舗B1に関する広告における言葉のような、ユーザUの注意が仮想オブジェクトに向くことを促す言葉でもよいし、仮想オブジェクトに関連する一般的な言葉でもよい。
 A2:表示装置10
 図2は、表示装置10の一例を示す図である。表示装置10は、透過表示装置12と、位置センサ13と、向きセンサ14と、通信装置15と、記憶装置16と、処理装置17と、バス18と、を含む。表示装置10は、さらに、操作ボタン等のユーザインタフェイスを含んでもよい。
 バス18は、情報を通信するための配線である。バス18は、透過表示装置12と、位置センサ13と、向きセンサ14と、通信装置15と、記憶装置16と、処理装置17とを、相互に接続する。表示装置10が操作ボタン等のユーザインタフェイスを含む場合、バス18は、透過表示装置12と、位置センサ13と、向きセンサ14と、通信装置15と、記憶装置16と、処理装置17と、ユーザインタフェイスとを、相互に接続する。バス18は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに異なるバスを用いて構成されてもよい。
 透過表示装置12は、例えば、アバターA1と仮想店舗B1を表示しながら、現実世界を表す外光を透過する。透過表示装置12は、表示パネルと、ハーフミラーと、を含む。表示パネルは、表示画像D3を表す光を出射する。ハーフミラーは、表示面11を含む。ハーフミラーは、表示パネルが出射した光をユーザUの眼に向けて反射する。ハーフミラーは、現実世界を表す外光を透過することによって、現実世界を表す外光をユーザUの眼に導く。透過表示装置12の代わりに、非透過型の表示装置が用いられてもよい。
 位置センサ13は、位置情報C1を生成する。位置情報C1は、現実世界における表示装置10の位置を示す。位置センサ13は、定期的に位置情報C1を生成する。位置センサ13は、不規則なタイミングにおいて位置情報C1を生成してもよい。位置センサ13は、例えば、GPS(Global Positioning System)センサである。位置センサ13は、位置情報C1を生成するセンサであれば、GPSセンサに限らない。例えば、表示装置10又は端末装置20がカメラを含む場合、位置センサ13は、当該カメラによって撮像された周囲の景色に基づいて、位置情報C1を生成してもよい。
 向きセンサ14は、向き情報C2を生成する。向きセンサ14は、現実世界における表示装置10の向きを示す。向きセンサ14は、定期的に向き情報C2を生成する。向きセンサ14は、不規則なタイミングにおいて向き情報C2を生成してもよい。向きセンサ14は、例えば、ジャイロセンサである。向きセンサ14は、向き情報C2を生成するセンサであれば、ジャイロセンサに限らない。
 通信装置15は、端末装置20と無線によって通信する。通信装置15は、端末装置20と有線によって通信してもよい。
 記憶装置16は、処理装置17が読み取り可能な記録媒体である。記憶装置16は、1又は複数のメモリを含む。記憶装置16は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)及びEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリは、例えば、RAM(Random Access Memory)及びVRAM(Video Random Access Memory)である。記憶装置16は、プログラムPG1を記憶する。
 処理装置17は、1又は複数のCPU(Central Processing Unit)を含む。1又は複数のCPUは、1又は複数のプロセッサの一例である。プロセッサ及びCPUの各々は、コンピュータの一例である。
 処理装置17は、記憶装置16からプログラムPG1を読み取る。処理装置17は、プログラムPG1を実行することによって、動作制御部171として機能する。動作制御部171は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)及びFPGA(Field Programmable Gate Array)等の回路によって構成されてもよい。
 動作制御部171は、表示装置10の動作を制御する。例えば、動作制御部171は、位置情報C1が生成されるごとに、最新の位置情報C1を、通信装置15から端末装置20に送信する。動作制御部171は、向き情報C2が生成されるごとに、最新の向き情報C2を、通信装置15から端末装置20に送信する。動作制御部171は、通信装置15が端末装置20から画像情報D2を受信すると、通信装置15から画像情報D2を取得する。動作制御部171は、画像情報D2に示される表示画像D3を透過表示装置12に表示させる。
 A3:端末装置20
 図3は、端末装置20の一例を示す図である。端末装置20は、入力装置21と、表示装置22と、通信装置23と、通信装置24と、記憶装置25と、処理装置26と、バス27と、を含む。
 バス27は、情報を通信するための配線である。バス27は、入力装置21と、表示装置22と、通信装置23と、通信装置24と、記憶装置25と、処理装置26とを、相互に接続する。バス27は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに異なるバスを用いて構成されてもよい。
 入力装置21は、端末装置20のユーザインタフェイスである。入力装置21は、タッチパネルを含む。入力装置21は、タッチパネルに加えて、複数の操作キーを含んでもよい。入力装置21は、タッチパネルを含まずに、複数の操作キーを含んでもよい。入力装置21は、ユーザUが行う操作を受け付ける。
 表示装置22は、表示パネル等のディスプレイを含む。表示装置22のディスプレイの上には入力装置21のタッチパネルが積層されている。表示装置22は、種々の情報を表示する。表示装置22と入力装置21との組合せは、端末装置20においてGUIを提供できる。端末装置20が表示装置10に含まれる構成では、表示装置22は省略されてもよい。端末装置20が表示装置10に含まれない構成でも、表示装置22は省略されてもよい。
 通信装置23は、サーバ30と通信ネットワークNWを介して通信する。通信装置23は、サーバ30と通信ネットワークNWを介さずに通信してもよい。
 通信装置24は、表示装置10と無線によって通信する。通信装置24は、表示装置10と有線によって通信してもよい。
 記憶装置25は、処理装置26が読み取り可能な記録媒体である。記憶装置25は、1又は複数のメモリを含む。記憶装置25は、例えば、不揮発性メモリと揮発性メモリとを含む。記憶装置25は、プログラムPG2を記憶する。
 処理装置26は、1又は複数のCPUを含む。処理装置26は、記憶装置25からプログラムPG2を読み取る。処理装置26は、プログラムPG2を実行することによって、動作制御部261として機能する。動作制御部261は、DSP、ASIC及びFPGA等の回路によって構成されてもよい。
 動作制御部261は、端末装置20の動作を制御する。例えば、動作制御部261は、通信装置24が表示装置10から位置情報C1を受信するごとに、最新の位置情報C1を通信装置24から取得する。動作制御部261は、位置情報C1を取得するごとに、最新の位置情報C1を通信装置23からサーバ30に送信する。
 動作制御部261は、通信装置24が表示装置10から向き情報C2を受信するごとに、最新の向き情報C2を通信装置24から取得する。動作制御部261は、向き情報C2を取得するごとに、最新の向き情報C2を通信装置23からサーバ30に送信する。
 動作制御部261は、通信装置23がサーバ30から表示情報D1を受信すると、通信装置23から表示情報D1を取得する。動作制御部261は、表示情報D1に基づいて、画像情報D2を生成する。例えば、動作制御部261は、表示情報D1に基づいてレンダリング処理を実行することによって、画像情報D2を生成する。動作制御部261は、画像情報D2を通信装置24から表示装置10に送信する。
 A4:サーバ30
 図4は、サーバ30の一例を示す図である。サーバ30は、レコメンデーション表示制御装置の一例である。サーバ30は、通信装置31と、記憶装置32と、処理装置33と、バス34と、を含む。
 バス34は、情報を通信するための配線である。バス34は、通信装置31と、記憶装置32と、処理装置33とを、相互に接続する。バス34は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに異なるバスを用いて構成されてもよい。
 通信装置31は、端末装置20と通信ネットワークNWを介して通信する。通信装置31は、端末装置20と通信ネットワークNWを介さずに通信してもよい。
 記憶装置32は、処理装置33が読み取り可能な記録媒体である。記憶装置32は、1又は複数のメモリを含む。記憶装置32は、例えば、不揮発性メモリと揮発性メモリとを含む。記憶装置32は、仮想空間データ321と、アバターデータ322と、レコメンデーションデータ323と、プログラムPG3と、を記憶する。
 仮想空間データ321は、仮想空間F1を示すデータである。仮想空間F1は、複数の仮想オブジェクトを有する。複数の仮想オブジェクトは、複数の静的な仮想オブジェクトを含む。静的な仮想オブジェクトは、例えば、仮想空間F1に固定された仮想オブジェクトである。静的な仮想オブジェクトは、例えば、仮想店舗B1、仮想道路、仮想広場、及び仮想商品である。説明の簡略化のため、第1実施形態では、仮想空間F1に含まれる複数の仮想オブジェクトの各々は、静的な仮想オブジェクトであるとする。
 仮想空間データ321は、静的な仮想オブジェクトと、仮想空間F1における静的な仮想オブジェクトの位置と、を示す。仮想空間データ321はアバターA1を示さない。
 アバターデータ322は、アバターA1と、仮想空間F1におけるアバターA1の位置の推移と、を示すデータである。
 レコメンデーションデータ323は、仮想オブジェクトごとに仮想オブジェクトに関連するレコメンデーションを示すデータである。レコメンデーションデータ323は、店舗広告データ323aを含む。店舗広告データ323aは、仮想店舗B1に関連するレコメンデーションを示すデータである。店舗広告データ323aは、仮想店舗B1に関する広告を示す。
 処理装置33は、レコメンデーション表示制御装置の他の例である。処理装置33は、1又は複数のCPUを含む。処理装置33は、記憶装置32からプログラムPG3を読み取る。処理装置33は、プログラムPG3を実行することによって、位置決定部331、表示情報生成部332、位置検出部333、及び表示制御部334として機能する。位置決定部331、表示情報生成部332、位置検出部333及び表示制御部334のうち少なくとも1つは、DSP、ASIC及びFPGA等の回路によって構成されてもよい。
 位置決定部331は、通信装置31が位置情報C1を受信するごとに、最新の位置情報C1を通信装置31から取得する。位置決定部331は、位置情報C1を取得するごとに、最新の位置情報C1に基づいて、仮想空間F1におけるアバターA1の最新の位置を決定する。
 位置情報C1は、現実世界の座標系によって定められる表示装置10の座標を、現実世界における表示装置10の位置として示す。現実世界の座標系は、3次元の座標系である。仮想空間F1は、3次元の現実世界に対応する仮想の3次元空間である。仮想空間F1には、仮想空間F1の座標系が定められている。仮想空間F1の座標系は、3次元の座標系である。
 仮想空間F1の座標系によって定められる座標は、現実世界の座標系によって定められる座標と1対1の対応関係を有する。例えば、現実世界の座標系によって定められる座標は、平行移動行列と回転行列とを用いることによって、仮想空間F1の座標系によって定められる座標に変換可能である。なお、仮想空間F1の座標系は、現実世界の座標系と一致してもよい。
 位置決定部331は、位置情報C1を取得するごとに、平行移動行列と回転行列とを用いることによって、最新の位置情報C1によって示される座標を、仮想空間F1の座標系によって示される座標に変換する。位置決定部331は、仮想空間F1の座標系によって示される当該座標を、仮想空間F1におけるアバターA1の最新の位置として決定する。位置決定部331は、仮想空間F1におけるアバターA1の最新の位置をアバターデータ322に追加する。
 表示情報生成部332は、表示情報D1を生成する。表示情報生成部332は、定期的に表示情報D1を生成する。表示情報生成部332は、不規則なタイミングにおいて表示情報D1を生成してもよい。
 表示情報生成部332は、まず、仮想空間データ321とアバターデータ322とに基づいて、仮想空間F1を生成する。続いて、表示情報生成部332は、仮想空間F1の表示領域を決定する。表示情報生成部332は、例えば、仮想カメラE1を用いて仮想空間F1の表示領域を決定する。
 図5は、仮想カメラE1の一例を示す図である。表示情報生成部332は、アバターA1の最新の位置に仮想カメラE1を配置する。表示情報生成部332は、仮想カメラE1の向きを、最新の向き情報C2によって示される向きに合わせる。表示情報生成部332は、仮想空間F1において、仮想カメラE1の撮像範囲E2に含まれる領域を、仮想空間F1の表示領域として決定する。図5に示される例では、仮想店舗B1の一部が、仮想空間F1の表示領域に含まれる。
 説明を図4に戻す。表示情報生成部332は、仮想空間F1の表示領域に含まれる静的な仮想オブジェクトを特定する。表示情報生成部332は、仮想空間F1の表示領域に含まれる静的な仮想オブジェクトごとに、静的な仮想オブジェクトと、仮想空間F1の表示領域における静的な仮想オブジェクトの位置と、を特定する。仮想空間F1の表示領域における静的な仮想オブジェクトの位置は、表示画像D3における静的な仮想オブジェクトの表示予定位置を意味する。
 表示情報生成部332は、仮想空間F1の表示領域における仮想カメラE1の位置を、アバターA1の表示予定位置として決定する。アバターA1の表示予定位置は、仮想空間F1の表示領域における仮想カメラE1の位置に限らない。アバターA1の表示予定位置は、表示画像D3において固定された位置でもよい。表示画像D3において固定された位置は、例えば、表示画像D3において表示画像D3の中心よりも下の位置、又は、表示画像D3において表示画像D3の中心よりも右の位置である。表示画像D3において固定された位置は、表示画像D3において表示画像D3の中心よりも上の位置、又は表示画像D3において表示画像D3の中心よりも左の位置でもよい。
 表示情報生成部332は、アバターA1と、アバターA1の表示予定位置と、仮想空間F1の表示領域に含まれる静的な仮想オブジェクトと、仮想空間F1の表示領域に含まれる静的な仮想オブジェクトの表示予定位置と、を示す表示情報D1を生成する。説明の簡略化のため、第1実施形態では、仮想空間F1の表示領域に含まれる静的な仮想オブジェクトは、仮想店舗B1であるとする。
 位置検出部333は、アバターA1の位置と、仮想店舗B1の位置と、を検出する。位置検出部333は、仮想空間データ321を参照することによって、仮想空間F1における仮想店舗B1の位置を検出する。位置検出部333は、アバターデータ322を参照することによって、仮想空間F1におけるアバターA1の位置を検出する。例えば、位置検出部333は、定期的にアバターデータ322を参照することによって、仮想空間F1におけるアバターA1の位置の推移を検出する。位置検出部333は、不規則なタイミングにおいてアバターデータ322を参照することによって、仮想空間F1におけるアバターA1の位置の推移を検出してもよい。
 表示制御部334は、位置検出部333によって検出されたアバターA1の位置と、位置検出部333によって検出された仮想店舗B1の位置と、を確認する。表示制御部334は、アバターA1の位置と仮想店舗B1の位置との位置関係に基づいて、仮想店舗B1に関する広告の要否を判定する。例えば、表示制御部334は、アバターA1と仮想店舗B1との位置関係の推移に基づいて、仮想店舗B1に関する広告の要否を判定する。
 表示制御部334は、まず、アバターA1と仮想店舗B1との位置関係の推移に基づいて、アバターA1が仮想店舗B1に近づいているか否かを判定する。アバターA1が仮想店舗B1に近づいている場合、ユーザUは仮想店舗B1に興味を覚えている可能性がある。このため、表示制御部334は、アバターA1が仮想店舗B1に近づいていると判定する場合、仮想店舗B1に関する広告が必要であると判定する。表示制御部334は、アバターA1が仮想店舗B1に近づいていないと判定する場合、仮想店舗B1に関する広告が必要でないと判定する。
 例えば、表示制御部334は、アバターA1の位置と仮想店舗B1の位置との距離が減少する場合、アバターA1が仮想店舗B1に近づいていると判定する。表示制御部334は、アバターA1の位置と仮想店舗B1の位置との距離が減少しない場合、アバターA1が仮想店舗B1に近づいていないと判定する。
 表示制御部334は、アバターA1の移動方向がアバターA1から仮想店舗B1への方向と一致する場合、アバターA1が仮想店舗B1に近づいていると判定してもよい。表示制御部334は、アバターA1の移動方向がアバターA1から仮想店舗B1への方向と一致しない場合、アバターA1が仮想店舗B1に近づいていないと判定してもよい。
 アバターA1の移動方向がアバターA1から仮想店舗B1への方向と一致する場合とは、アバターA1の移動方向とアバターA1から仮想店舗B1への方向とのなす角度が0度以上M度以下である場合を意味する。Mは、例えば「5」である。Mは、「5」に限らない。Mは、例えば、0以上5未満の正数でもよいし、5以上20以下の正数でもよい。
 表示制御部334は、アバターA1の位置の推移に基づいて、アバターA1の移動方向を決定する。例えば、表示制御部334は、アバターA1の過去の位置からアバターA1の最新の位置への方向を、アバターA1の移動方向として決定する。アバターA1の過去の位置は、アバターA1の最新の位置よりも時間的に前の1つの時点におけるアバターA1の位置である。表示制御部334は、アバターA1の最新の位置から仮想店舗B1の位置への方向を、アバターA1から仮想店舗B1への方向として決定する。
 表示制御部334は、アバターA1が仮想店舗B1に近づくことに基づいて、仮想店舗B1に関する広告が必要であると判定する。表示制御部334は、仮想店舗B1に関する広告が必要であるという判定結果に基づいて、仮想店舗B1に関する広告を表示装置10に表示させる。例えば、表示制御部334は、仮想店舗B1に関する広告が必要であると判定する場合、まず、レコメンデーションデータ323から、店舗広告データ323aを読み出す。表示制御部334は、店舗広告データ323aを最新の表示情報D1に付加する。さらに、表示制御部334は、広告位置データを最新の表示情報D1に付加する。広告位置データは、広告の表示予定位置を示すデータである。
 広告の表示予定位置は、例えば、仮想空間F1の表示領域における仮想店舗B1の位置と重なる位置である。例えば、仮想空間F1の表示領域における仮想店舗B1の位置として、仮想空間F1の表示領域において仮想店舗B1が位置する領域の位置が用いられる場合、広告の表示予定位置は、仮想空間F1の表示領域において仮想店舗B1が位置する領域と部分的に重なる領域の位置である。
 広告の表示予定位置は、仮想空間F1の表示領域における仮想店舗B1の位置と重なる位置に限らない。広告の表示予定位置は、例えば、仮想店舗B1と隣り合う領域の位置でもよい。続いて、表示制御部334は、店舗広告データ323aと広告位置データとを有する最新の表示情報D1を、通信装置31から端末装置20に送信する。
 端末装置20の動作制御部261は、店舗広告データ323aと広告位置データとを有する最新の表示情報D1を取得すると、当該最新の表示情報D1に基づいてレンダリング処理を実行することによって、画像情報D2を生成する。端末装置20の動作制御部261は、画像情報D2を表示装置10に提供することによって、画像情報D2が示す表示画像D3を表示装置10に表示させる。このため、表示制御部334は、店舗広告データ323aと広告位置データとを有する最新の表示情報D1を、通信装置31から端末装置20に送信することによって、仮想店舗B1に関する広告を表示装置10に表示させることになる。
 図6は、店舗広告データ323aと広告位置データとを有する表示情報D1に基づく画像情報D2によって示される表示画像D3の一例を示す図である。図6において、表示画像D3は、アバターA1と、仮想店舗B1と、仮想店舗B1の広告G1と、を示す。仮想店舗B1の広告G1は、仮想店舗B1と重なっている。仮想店舗B1の広告G1は、仮想店舗B1よりも前面に位置する。仮想店舗B1の広告G1は、「バーゲンセール」に限らず適宜変更可能である。
 説明を図4に戻す。表示制御部334は、アバターA1が仮想店舗B1に近づいていないと判定すると、仮想店舗B1に関する広告が必要でないと判定する。表示制御部334は、仮想店舗B1に関する広告が必要でないと判定する場合、店舗広告データ323aと広告位置データとを有さない最新の表示情報D1を通信装置31から端末装置20に送信する。
 端末装置20の動作制御部261は、店舗広告データ323aと広告位置データとを有さない最新の表示情報D1を取得すると、当該最新の表示情報D1に基づいてレンダリング処理を実行することによって、画像情報D2を生成する。端末装置20の動作制御部261は、画像情報D2を表示装置10に提供することによって、画像情報D2が示す表示画像D3を表示装置10に表示させる。
 図7は、店舗広告データ323aと広告位置データとを有さない表示情報D1に基づく画像情報D2によって示される表示画像D3の一例を示す図である。図7において、表示画像D3は、仮想店舗B1の広告G1を示さずに、アバターA1と、仮想店舗B1と、を示す。
 A5:動作の説明
 図8は、サーバ30の動作を説明するための図である。ステップS101において位置決定部331は、位置情報C1を取得するごとに、最新の位置情報C1に基づいて、仮想空間F1におけるアバターA1の最新の位置を決定する。
 例えば、位置決定部331は、位置情報C1を取得するごとに、平行移動行列と回転行列とを用いることによって、最新の位置情報C1によって示される座標を、仮想空間F1の座標系によって示される座標に変換する。位置決定部331は、仮想空間F1の座標系によって示される当該座標を、仮想空間F1におけるアバターA1の最新の位置として決定する。
 続いて、ステップS102において位置決定部331は、仮想空間F1におけるアバターA1の最新の位置をアバターデータ322に追加する。
 続いて、ステップS103において表示情報生成部332は、最新の向き情報C2と、仮想空間データ321と、アバターデータ322と、に基づいて、表示情報D1を生成する。表示情報D1は、アバターA1と、アバターA1の表示予定位置と、仮想店舗B1と、仮想店舗B1の表示予定位置と、を示す。例えば、表示情報生成部332は、仮想カメラE1を用いることによって表示情報D1を生成する。
 続いて、ステップS104において位置検出部333は、仮想空間データ321と、アバターデータ322と、に基づいて、アバターA1の位置と仮想店舗B1の位置とを検出する。なお、ステップS104は、ステップS102とステップS103との間において実行されてもよい。
 続いて、ステップS105において表示制御部334は、アバターA1と仮想店舗B1との位置関係に基づいて、仮想店舗B1に関する広告の要否を判定する。例えば、表示制御部334は、まず、アバターA1が仮想店舗B1に近づいているか否かを判定する。表示制御部334は、アバターA1が仮想店舗B1に近づいているという判定に基づいて、仮想店舗B1に関する広告が必要であると判定する。表示制御部334は、アバターA1が仮想店舗B1に近づいていないという判定に基づいて、仮想店舗B1に関する広告が必要でないと判定する。
 表示制御部334は、ステップS105において仮想店舗B1に関する広告が必要であると判定する場合、ステップS106を実行する。
 ステップS106では表示制御部334は、店舗広告データ323aと、広告位置データとを、最新の表示情報D1に付加する。
 続いて、ステップS107において表示制御部334は、店舗広告データ323aと広告位置データとを有する最新の表示情報D1を通信装置31から端末装置20に送信する。
 端末装置20の動作制御部261は、店舗広告データ323aと広告位置データとを有する最新の表示情報D1を取得すると、当該最新の表示情報D1に基づいてレンダリング処理を実行することによって、画像情報D2を生成する。端末装置20の動作制御部261は、画像情報D2を表示装置10に提供することによって、画像情報D2が示す表示画像D3(図6参照)を表示装置10に表示させる。
 一方、表示制御部334は、ステップS105において仮想店舗B1に関する広告が必要でないと判定する場合、ステップS108を実行する。
 ステップS108では表示制御部334は、店舗広告データと広告位置データとを有さない最新の表示情報D1を通信装置31から端末装置20に送信する。
 端末装置20の動作制御部261は、店舗広告データ323aと広告位置データとを有さない最新の表示情報D1を取得すると、当該最新の表示情報D1に基づいてレンダリング処理を実行することによって、画像情報D2を生成する。端末装置20の動作制御部261は、画像情報D2を表示装置10に提供することによって、画像情報D2が示す表示画像D3(図7参照)を表示装置10に表示させる。
 A6:第1実施形態のまとめ
 位置検出部333は、ユーザUが行う操作に応じて仮想空間F1内を移動可能なアバターA1の位置と、仮想空間F1内の仮想店舗B1の位置と、を検出する。表示制御部334は、アバターA1の位置と仮想店舗B1の位置との位置関係に基づいて、仮想店舗B1に関連するレコメンデーション(例えば、広告)の要否を判定する。表示制御部334は、仮想店舗B1に関連するレコメンデーションが必要であるという判定結果に基づいて、仮想店舗B1に関連するレコメンデーションを表示装置10に表示させる。
 ユーザUが行う操作に応じて仮想空間F1内を移動可能なアバターA1と、仮想店舗B1と、の位置関係は、仮想店舗B1に対するユーザUの興味の程度を示す可能性がある。例えば、ユーザUが、仮想空間F1の仮想店舗B1に興味を覚える場合、ユーザUは、アバターA1を、仮想店舗B1に近づける可能性がある。
 表示制御部334は、アバターA1と仮想店舗B1との位置関係に基づいて、仮想店舗B1に関連するレコメンデーションの要否を判定する。このため、アバターA1と仮想店舗B1との位置関係を、仮想店舗B1に関連するレコメンデーションの要否の判定に反映できる。そして、アバターA1と仮想店舗B1との位置関係に基づいて仮想店舗B1に関連するレコメンデーションが必要であると判定された結果に基づいて、仮想店舗B1に関連するレコメンデーションを表示装置10に表示させることができる。
 表示制御部334は、アバターA1と仮想店舗B1との位置関係の推移に基づいて、仮想店舗B1に関連するレコメンデーションの要否を判定する。このため、例えば、仮想店舗B1に対するアバターA1の相対的な移動に基づいて、仮想店舗B1に関連するレコメンデーションの要否を判定できる。
 表示制御部334は、アバターA1が仮想店舗B1に近づくことに基づいて、仮想店舗B1に関連するレコメンデーションが必要であると判定する。このため、ユーザUが仮想店舗B1に対して興味を覚える状況において仮想店舗B1に関連するレコメンデーションが不要と判定されることを低減できる。
 B:変形例
 上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択される2以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
 B1:第1変形例
 ユーザUは、仮想店舗B1等の静的な仮想オブジェクトに興味を覚える場合、アバターA1を静的な仮想オブジェクトに近づけることによって、アバターA1と静的な仮想オブジェクトとの距離を閾値H1よりも短くする可能性がある。
 このため、表示制御部334は、アバターA1と静的な仮想オブジェクトとの距離が閾値H1よりも短くなることに基づいて、静的な仮想オブジェクトに関連するレコメンデーションが必要であると判定してもよい。また、表示制御部334は、アバターA1と静的な仮想オブジェクトとの距離が閾値H1よりも短くならないことに基づいて、静的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定してもよい。
 第1変形例によれば、例えば、アバターA1と静的な仮想オブジェクトとの距離が閾値H1より大きい状況においてアバターA1が静的な仮想オブジェクトに近づいても、静的な仮想オブジェクトに関連するレコメンデーションは必要でないと判定される。このため、静的な仮想オブジェクトに関連するレコメンデーションを厳選できる。したがって、レコメンデーションの表示によって仮想空間F1の視認性の低下が生じてしまう状況の発生を低減できる。
 なお、ユーザUは、仮想店舗B1等の静的な仮想オブジェクトに興味を覚える場合、静的な仮想オブジェクトを観察するために、アバターA1を静的な仮想オブジェクトの近傍に位置させ続ける可能性がある。このため、第1実施形態及び第1変形例において、表示制御部334は、アバターA1と静的な仮想オブジェクトとの距離が閾値H1よりも短いことに基づいて、静的な仮想オブジェクトに関連するレコメンデーションが必要であると判定してもよい。また、表示制御部334は、アバターA1と静的な仮想オブジェクトとの距離が閾値H1よりも短くないことに基づいて、静的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定してもよい。
 この場合、表示制御部334は、アバターA1と仮想オブジェクトとの位置関係の推移を用いることなく、アバターA1と仮想オブジェクトとの位置関係に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定できる。
 B2:第2変形例
 第1実施形態及び第1変形例において、表示制御部334は、アバターA1と、仮想店舗B1等の静的な仮想オブジェクトと、の位置関係に基づいて、ユーザUの将来の行動を予測してもよい。表示制御部334は、ユーザUの将来の行動についての予測の結果に基づいて、静的な仮想オブジェクトに関連するレコメンデーションの要否を判定してもよい。
 例えば、表示制御部334は、アバターA1の移動方向上に静的な仮想オブジェクトが位置する場合、将来的にユーザUはアバターA1を静的な仮想オブジェクトに接触させると予測する。表示制御部334は、将来的にユーザUはアバターA1を静的な仮想オブジェクトに接触させるという予測の結果に基づいて、静的な仮想オブジェクトに関連するレコメンデーションが必要であると判定する。
 一方、表示制御部334は、アバターA1の移動方向上に静的な仮想オブジェクトが位置しない場合、将来的にユーザUはアバターA1を静的な仮想オブジェクトに接触させないと予測する。表示制御部334は、将来的にユーザUはアバターA1を静的な仮想オブジェクトに接触させないという予測の結果に基づいて、静的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定する。
 第2変形例によれば、ユーザUの将来の行動についての予測の結果に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定できる。
 B3:第3変形例
 第1実施形態及び第1変形例から第2変形例において、仮想空間F1における複数の仮想オブジェクトは、複数の静的な仮想オブジェクトに加えて、動的な仮想オブジェクトを含んでもよい。動的な仮想オブジェクトは、仮想の動物及び仮想の自動車である。動的な仮想オブジェクトは、仮想の動物及び仮想の自動車に限らない。動的な仮想オブジェクトは、例えば、仮想の動的なキャラクタでもよい。
 仮想空間データ321は、動的な仮想オブジェクトと、仮想空間F1における動的な仮想オブジェクトの位置の推移と、をさらに示してもよい。
 位置検出部333は、仮想空間データ321とアバターデータ322を参照することによって、アバターA1の位置と動的な仮想オブジェクトの位置とを検出してもよい。
 表示制御部334は、位置検出部333によって検出されたアバターA1の位置と、位置検出部333によって検出された動的な仮想オブジェクトの位置と、を確認してもよい。表示制御部334は、アバターA1の位置と、動的な仮想オブジェクトの位置と、の位置関係に基づいて、動的な仮想オブジェクトに関連するレコメンデーションの要否を判定してもよい。
 例えば、ユーザUが仮想空間F1における仮想の動物(動的な仮想オブジェクトの一例)に興味を覚える場合、ユーザUは、アバターA1を用いて仮想の動物を追いかけることによって、アバターA1を仮想の動物に近づける可能性がある。また、ユーザUが仮想空間F1における仮想の自動車(動的な仮想オブジェクトの他の例)に興味を覚える場合、ユーザUは、移動中の仮想の自動車を見るためにアバターA1を仮想の自動車に近づける可能性がある。
 このため、表示制御部334は、例えばアバターA1と動的な仮想オブジェクトとの距離が減少している場合、動的な仮想オブジェクトに関連するレコメンデーションが必要であると判定する。動的な仮想オブジェクトに関連するレコメンデーションは、例えば、動的な仮想オブジェクトの名称を示す注釈(アノテーション)、又は、動的な仮想オブジェクトの特徴を示す注釈である。動的な仮想オブジェクトに関連するレコメンデーションは、注釈に限らず適宜変更可能である。一方、アバターA1と動的な仮想オブジェクトとの距離が減少していない場合、表示制御部334は、動的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定する。
 表示制御部334は、動的な仮想オブジェクトに関連するレコメンデーションが必要であると判定する場合、まず、表示情報D1に、動的な仮想オブジェクトに関連するレコメンデーションを示すレコメンデーションデータを付加する。以下、動的な仮想オブジェクトに関連するレコメンデーションを示すレコメンデーションデータを「注釈データ」と称する。注釈データは、レコメンデーションデータ323に含まれている。このため、表示制御部334は、レコメンデーションデータ323から注釈データを読み取る。続いて、表示制御部334は、注釈データを表示情報D1に付加する。
 さらに、表示制御部334は、注釈位置データを表示情報D1に付加する。注釈位置データは、動的な仮想オブジェクトに関連するレコメンデーションの表示予定位置として、仮想空間F1の表示領域における動的な仮想オブジェクトの位置と重なる位置を示すデータである。例えば、仮想空間F1の表示領域における動的な仮想オブジェクトの位置として、仮想空間F1の表示領域において動的な仮想オブジェクトが位置する領域の位置が用いられる場合、動的な仮想オブジェクトに関連するレコメンデーションの表示予定位置は、仮想空間F1の表示領域において動的な仮想オブジェクトが位置する領域と部分的に重なる領域の位置である。
 動的な仮想オブジェクトに関連するレコメンデーションの表示予定位置は、仮想空間F1の表示領域における動的な仮想オブジェクトの位置と重なる位置に限らない。動的な仮想オブジェクトに関連するレコメンデーションの表示予定位置は、例えば、動的な仮想オブジェクトと隣り合う領域の位置でもよい。
 続いて、表示制御部334は、注釈データと注釈位置データとを有する表示情報D1を、通信装置31から端末装置20に送信する。
 端末装置20の動作制御部261は、注釈データと注釈位置データとを有する表示情報D1を取得すると、当該表示情報D1に基づいてレンダリング処理を実行することによって、画像情報D2を生成する。端末装置20の動作制御部261は、画像情報D2を表示装置10に提供することによって、画像情報D2が示す表示画像D3を表示装置10に表示させる。この場合、表示画像D3は、アバターA1と、動的な仮想オブジェクトと、動的な仮想オブジェクトに関連するレコメンデーションと、を表す。レコメンデーションは、注釈位置データによって示される位置に表示される。このため、表示制御部334は、注釈データと注釈位置データとを有する表示情報D1を、通信装置31から端末装置20に送信することによって、動的な仮想オブジェクトに関連するレコメンデーションを表示装置10に表示させることになる。
 表示制御部334は、動的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定する場合、注釈データと注釈位置データとを有さない表示情報D1を、通信装置31から端末装置20に送信する。
 第3変形例によれば、アバターA1と動的な仮想オブジェクトとの位置関係に基づいて、動的な仮想オブジェクトに関連するレコメンデーションの要否を判定できる。
 B4:第4変形例
 第3変形例において、表示制御部334は、アバターA1と動的な仮想オブジェクトとの位置関係に基づいて、ユーザUの将来の行動を予測してもよい。例えば、表示制御部334は、アバターA1の移動方向と、動的な仮想オブジェクトの移動方向と、に基づいて、ユーザUの将来の行動を予測する。表示制御部334は、ユーザUの将来の行動についての予測の結果に基づいて、動的な仮想オブジェクトに関連するレコメンデーションの要否を判定してもよい。
 例えば、アバターA1からの距離が第1距離以内である領域において、アバターA1の移動方向が動的な仮想オブジェクトの移動方向と交差する場合、表示制御部334は、将来的にユーザUはアバターA1を動的な仮想オブジェクトに接触させると予測する。なお、表示制御部334は、動的な仮想オブジェクトの移動方向を、アバターA1の移動方向を決定する手法と同様の手法によって決定する。表示制御部334は、動的な仮想オブジェクトの移動方向上にアバターA1が位置する場合、将来的にユーザUはアバターA1を動的な仮想オブジェクトに接触させると予測してもよい。
 表示制御部334は、将来的にユーザUはアバターA1を動的な仮想オブジェクトに接触させるという予測の結果に基づいて、動的な仮想オブジェクトに関連するレコメンデーションが必要であると判定する。
 一方、アバターA1からの距離が第1距離以内である領域において、アバターA1の移動方向が動的な仮想オブジェクトの移動方向と交差しない場合、表示制御部334は、ユーザUはアバターA1を動的な仮想オブジェクトに接触させないと予測する。表示制御部334は、動的な仮想オブジェクトの移動方向上にアバターA1が位置しない場合、将来的にユーザUはアバターA1を動的な仮想オブジェクトに接触させないと予測してもよい。
 表示制御部334は、将来的にユーザUはアバターA1を動的な仮想オブジェクトに接触させないという予測の結果に基づいて、動的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定する。
 第4変形例によれば、ユーザUの将来の行動についての予測の結果に基づいて、動的な仮想オブジェクトに関連するレコメンデーションの要否を判定できる。
 表示制御部334は、アバターA1からの距離が第1距離以内である領域においてアバターA1の移動方向が動的な仮想オブジェクトの移動方向と交差する場合、上述の予測なしに、動的な仮想オブジェクトに関連するレコメンデーションが必要であると判定してもよい。
 表示制御部334は、アバターA1からの距離が第1距離以内である領域においてアバターA1の移動方向が動的な仮想オブジェクトの移動方向と交差しない場合、上述の予測なしに、動的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定してもよい。
 表示制御部334は、動的な仮想オブジェクトの移動方向上にアバターA1が位置する場合、上述の予測なしに、動的な仮想オブジェクトに関連するレコメンデーションが必要であると判定してもよい。
 表示制御部334は、動的な仮想オブジェクトの移動方向上にアバターA1が位置しない場合、上述の予測なしに、動的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定してもよい。
 B5:第5変形例
 第1実施形態及び第1変形例から第4変形例において、表示制御部334は、アバターA1と仮想オブジェクトとの位置関係と、ユーザUの視線と、に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定してもよい。
 図9は、第5変形例において、図2に示される表示装置10の代わりに用いられる表示装置10aの一例を示す図である。
 表示装置10aは、表示装置10に含まれる要素に加えて、視線センサ19を含む。視線センサ19は、アイトラッキング機能を有する。アイトラッキング機能は、ユーザUの右目および左目の各視線に基づいて、ユーザUの視線を検出する機能である。視線センサ19は、ユーザUの視線を示す視線情報C3を生成する。視線センサ19は、定期的に視線情報C3を生成する。視線センサ19は、不規則なタイミングにおいて視線情報C3を生成してもよい。動作制御部171は、視線情報C3が生成されるごとに、最新の視線情報C3を通信装置15から端末装置20に送信する。端末装置20は、視線情報C3を受信するごとに、最新の視線情報C3を、図10に示されるサーバ30aに送信する。
 図10は、第5変形例において、図4に示されるサーバ30の代わりに用いられるサーバ30aの一例を示す図である。
 サーバ30aにおいて、表示情報生成部332は、表示情報D1生成するごとに、最新の表示情報D1を記憶装置32に記憶していく。
 サーバ30aにおいて、記憶装置32は、視線履歴データ324をさらに記憶する。視線履歴データ324は、ユーザUの視線の履歴を示す。
 サーバ30aにおいて、処理装置33は、プログラムPG3を実行することによって、さらに、視線検出部335として機能する。視線検出部335は、DSP、ASIC及びFPGA等の回路によって構成されてもよい。
 視線検出部335は、通信装置31が視線情報C3を受信するごとに、最新の視線情報C3を通信装置31から取得する。視線検出部335は、視線情報C3を取得するごとに、最新の視線情報C3を視線履歴データ324に追加する。また、視線検出部335は、視線履歴データ324を参照することによって、ユーザUの視線を検出する。例えば、視線検出部335は、視線履歴データ324を参照することによって、ユーザUの視線の推移を検出する。
 表示制御部334は、視線検出部335によって検出されたユーザUの視線を確認する。表示制御部334は、アバターA1と仮想オブジェクトとの位置関係と、ユーザUの視線と、に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定する。
 例えば、表示制御部334は、まず、記憶装置32から表示情報D1を読み取る。続いて、表示制御部334は、表示情報D1に基づいて、複数の仮想オブジェクトのうち、アバターA1と一緒に表示画像D3に位置する1又は複数の仮想オブジェクトを、1又は複数の視認可能な仮想オブジェクトとして特定する。なお、1又は複数の視認可能な仮想オブジェクトは、アバターA1との位置関係として、アバターA1と共に表示画像D3に位置するという位置関係を有する。
 続いて、表示制御部334は、ユーザUの視線と表示情報D1とに基づいて、1又は複数の視認可能な仮想オブジェクトの中にターゲット仮想オブジェクトが存在するか否かを判定する。ターゲット仮想オブジェクトは、判定時間T1以上の間、ユーザUの視線上に位置する視認可能な仮想オブジェクトである。
 表示制御部334は、ターゲット仮想オブジェクトが存在すると判定する場合、ターゲット仮想オブジェクトに関連するレコメンデーションが必要であると判定する。表示制御部334は、ターゲット仮想オブジェクトが存在しないと判定する場合、仮想オブジェクトに関連するレコメンデーションが必要でないと判定する。このため、ターゲット仮想オブジェクトの有無にかかわらず視認可能な仮想オブジェクトのすべてに対してレコメンデーションを実施する構成に比べて、レコメンデーションを厳選できる。
 表示制御部334は、ターゲット仮想オブジェクトに関連するレコメンデーションが必要であると判定する場合、ターゲット仮想オブジェクトに関連するレコメンデーションを示すデータと、ターゲット仮想オブジェクトに関連するレコメンデーションの表示予定位置を示すデータと、を表示情報D1に付加する。
 ターゲット仮想オブジェクトに関連するレコメンデーションの表示予定位置は、例えば、仮想空間F1の表示領域におけるターゲット仮想オブジェクトの位置と重なる位置である。例えば、仮想空間F1の表示領域におけるターゲット仮想オブジェクトの位置として、仮想空間F1の表示領域においてターゲット仮想オブジェクトが位置する領域の位置が用いられる場合、ターゲット仮想オブジェクトに関連するレコメンデーションの表示予定位置は、仮想空間F1の表示領域においてターゲット仮想オブジェクトが位置する領域と部分的に重なる領域の位置である。
 ターゲット仮想オブジェクトに関連するレコメンデーションの表示予定位置は、仮想空間F1の表示領域におけるターゲット仮想オブジェクトの位置と重なる位置に限らない。ターゲット仮想オブジェクトに関連するレコメンデーションの表示予定位置は、例えば、ターゲット仮想オブジェクトと隣り合う領域の位置でもよい。
 続いて、表示制御部334は、ターゲット仮想オブジェクトに関連するレコメンデーションを示すデータと、ターゲット仮想オブジェクトに関連するレコメンデーションの表示予定位置を示すデータと、を有する表示情報D1を、通信装置31から端末装置20に送信することによって、ターゲット仮想オブジェクトに関連するレコメンデーションを表示装置10に表示させる。
 一方、表示制御部334は、仮想オブジェクトに関連するレコメンデーションが必要でないと判定する場合、レコメンデーションを示すデータとレコメンデーションの表示予定位置を示すデータとを有さない表示情報D1を通信装置31から端末装置20に送信する。
 なお、表示制御部334は、ユーザUの視線が、1又は複数の視認可能な仮想オブジェクトのうちの動的な仮想オブジェクトの移動方向上に位置する場合、動的な仮想オブジェクトに関連するレコメンデーションが必要であると判定してもよい。表示制御部334は、ユーザUの視線が、1又は複数の視認可能な仮想オブジェクトのうちの動的な仮想オブジェクトの移動方向上に位置しない場合、動的な仮想オブジェクトに関連するレコメンデーションが必要でないと判定してもよい。この場合、視認可能な仮想オブジェクトのすべてに対してレコメンデーションを実施する構成に比べて、レコメンデーションを厳選できる。
 第5変形例によれば、表示制御部334は、アバターA1と仮想オブジェクトとの位置関係と、ユーザUの視線と、に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定する。ユーザUの視線は、ユーザUが興味を覚える仮想オブジェクトに向く傾向を有する。このため、第5変形例によれば、アバターA1と仮想オブジェクトとの位置関係のみに基づいて仮想オブジェクトに関連するレコメンデーションの要否を判定する構成に比べて、レコメンデーションの要否の判定についての精度を向上可能である。
 なお、表示制御部334は、アバターA1と仮想オブジェクトとの位置関係と、ユーザUの視線と、に基づいて、ユーザUの将来の行動を予測してもよい。
 例えば、表示制御部334は、ターゲット仮想オブジェクトが存在すると判定する場合、将来的にユーザUはアバターA1をターゲット仮想オブジェクトに接触させると予測する。表示制御部334は、将来的にユーザUはアバターA1をターゲット仮想オブジェクトに接触させるという予測の結果に基づいて、ターゲット仮想オブジェクトに関連するレコメンデーションが必要であると判定する。
 表示制御部334は、ユーザUの視線が、1又は複数の視認可能な仮想オブジェクトのうちの動的な仮想オブジェクトの移動方向上に位置する場合、将来的にユーザUはアバターA1を当該動的な仮想オブジェクトに接触させると予測してもよい。表示制御部334は、将来的にユーザUはアバターA1を動的な仮想オブジェクトに接触させるという予測の結果に基づいて、動的な仮想オブジェクトに関連するレコメンデーションが必要であると判定する。
 B6:第6変形例
 第1実施形態及び第1変形例から第5変形例において、表示制御部334は、アバターA1と仮想オブジェクトとの位置関係と、ユーザUからの言葉と、に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定してもよい。
 第6変形例では、図3に示される端末装置20の入力装置21は、テキストチャットに用いられるテキストメッセージをユーザUから受け付ける。テキストメッセージは、ユーザUからの言葉の一例である。ユーザUからの言葉は、テキストメッセージに限らない。例えば、入力装置21がマイクを含む場合、ユーザUからの言葉は、例えば、ユーザUからマイクに音声によって入力される言葉でもよい。ユーザUからマイクに音声によって入力される言葉は、例えば、ボイスチャットに用いられる言葉である。また、端末装置20が検索エンジンを利用可能である場合、ユーザUからの言葉は、検索エンジンに対して入力される文字によって表される言葉でもよい。入力装置21は、ユーザUからの言葉を示す言葉情報C4を生成する。動作制御部261は、言葉情報C4を、通信装置23から、図11に示されるサーバ30bに提供する。
 図11は、第6変形例において、図4に示されるサーバ30又は図10に示されるサーバ30aの代わりに用いられるサーバ30bの一例を示す図である。
 サーバ30bにおいて、記憶装置32は、言葉履歴データ325をさらに記憶する。言葉履歴データ325は、ユーザUからの言葉の履歴を示す。
 サーバ30bにおいて、処理装置33は、プログラムPG3を実行することによって、さらに、取得部336として機能する。取得部336は、DSP、ASIC及びFPGA等の回路によって構成されてもよい。
 取得部336は、通信装置31が言葉情報C4を受信するごとに、最新の言葉情報C4を通信装置31から取得する。取得部336は、言葉情報C4を取得するごとに、最新の言葉情報C4を言葉履歴データ325に追加する。また、取得部336は、言葉履歴データ325を参照することによって、ユーザUからの言葉を取得する。例えば、取得部336は、最新の言葉情報C4によって示されるユーザUからの言葉を取得する。取得部336は、最新の言葉情報C4よりも前に言葉履歴データ325に追加された言葉情報C4によって示されるユーザUからの言葉を取得してもよい。例えば、取得部336は、まず、最新の言葉情報C4を言葉履歴データ325に追加した第1時点から、第1時点よりも第1時間前の第2時点まで、の期間に、言葉履歴データ325に追加された言葉情報C4を、追加言葉情報として特定する。第1時間は、例えば1時間である。第1時間は、1時間に限らない。第1時間は、1時間よりも短い時間でもよいし、1時間よりも長い時間でもよい。取得部336は、第1時点から第2時点までの期間に言葉履歴データ325に追加された言葉情報C4のうち、ユーザUの移動を表す言葉情報を、追加言葉情報として特定してもよい。ユーザUの移動を表す言葉情報は、例えば、「AAAに行こう」という言葉を示す情報である。「AAA」は、例えば、目的地又は食事を意味する言葉である。ユーザUの移動を表す言葉情報は、「AAAに行こう」という言葉を示す情報に限らない。例えば、ユーザUの移動を表す言葉情報は、「AAAへ行こう」という言葉を示す情報、「AAAに行きます」という言葉を示す情報、「AAAへ行きます」という言葉を示す情報、「AAAに行きたい」という言葉を示す情報、又は、「AAAへ行きたい」という言葉を示す情報でもよい。続いて、取得部336は、追加言葉情報の各々から、追加言葉情報によって示されるユーザUからの言葉を取得する。
 表示制御部334は、取得部336によって取得されたユーザUからの言葉を確認する。表示制御部334は、アバターA1と仮想オブジェクトとの位置関係と、ユーザUからの言葉と、に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定する。
 例えば、表示制御部334は、複数の仮想オブジェクトの中から、関心あり仮想オブジェクトを特定する。関心あり仮想オブジェクトは、ユーザUからの言葉に示される仮想オブジェクトである。関心あり仮想オブジェクトは、ユーザUからの言葉に示される仮想オブジェクトに限らない。関心あり仮想オブジェクトは、例えば、複数の仮想オブジェクトのうち、ユーザUからの言葉に示される位置に存在する仮想オブジェクトでもよい。
 表示制御部334は、関心あり仮想オブジェクトとアバターA1との距離が閾値H2未満である場合、関心あり仮想オブジェクトに関連するレコメンデーションが必要であると判定する。
 表示制御部334は、関心あり仮想オブジェクトに関連するレコメンデーションが必要であると判定する場合、表示情報D1に、関心あり仮想オブジェクトに関連するレコメンデーションを示すデータと、関心あり仮想オブジェクトに関連するレコメンデーションの表示予定位置を示すデータと、を付加する。
 関心あり仮想オブジェクトに関連するレコメンデーションの表示予定位置は、例えば、仮想空間F1の表示領域における関心あり仮想オブジェクトの位置と重なる位置である。例えば、仮想空間F1の表示領域における関心あり仮想オブジェクトの位置として、仮想空間F1の表示領域において関心あり仮想オブジェクトが位置する領域の位置が用いられる場合、関心あり仮想オブジェクトに関連するレコメンデーションの表示予定位置は、仮想空間F1の表示領域において関心あり仮想オブジェクトが位置する領域と部分的に重なる領域の位置である。
 関心あり仮想オブジェクトに関連するレコメンデーションの表示予定位置は、仮想空間F1の表示領域における関心あり仮想オブジェクトの位置と重なる位置に限らない。関心あり仮想オブジェクトに関連するレコメンデーションの表示予定位置は、例えば、関心あり仮想オブジェクトと隣り合う領域の位置でもよい。
 表示制御部334は、関心あり仮想オブジェクトに関連するレコメンデーションを示すデータと、関心あり仮想オブジェクトに関連するレコメンデーションの表示予定位置を示すデータと、を有する表示情報D1を、通信装置31から端末装置20に送信することによって、関心あり仮想オブジェクトに関連するレコメンデーションを表示装置10に表示させる。このため、取得部336が、最新の言葉情報C4によって示されるユーザUからの言葉を取得する状況では、ユーザUが言葉を発したとき当該言葉に対応する関心あり仮想オブジェクトとアバターA1との距離が閾値H2未満であると、関心あり仮想オブジェクトに関連するレコメンデーションを表示することが可能になる。取得部336が、ユーザUの移動を表す言葉情報によって示されるユーザUからの言葉を取得する状況では、ユーザUが当該言葉を発してから移動した後に当該言葉に対応する関心あり仮想オブジェクトとアバターA1との距離が閾値H2未満になると、関心あり仮想オブジェクトに関連するレコメンデーションを表示することが可能になる。
 一方、表示制御部334は、関心あり仮想オブジェクトとアバターA1との距離が閾値H2以上である場合、関心あり仮想オブジェクトに関連するレコメンデーションが必要でないと判定する。
 表示制御部334は、関心あり仮想オブジェクトに関連するレコメンデーションが必要でないと判定する場合、レコメンデーションを示すデータとレコメンデーションの表示予定位置を示すデータとを有さない表示情報D1を、通信装置31から端末装置20に送信する。
 このため、関心あり仮想オブジェクトのすべてに対してレコメンデーションを実施する構成に比べて、レコメンデーションを厳選できる。
 第6変形例によれば、表示制御部334は、アバターA1と仮想オブジェクトとの位置関係と、ユーザUからの言葉と、に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定する。ユーザUからの言葉は、ユーザUが興味を覚える仮想オブジェクト、又はユーザUが興味を覚える仮想オブジェクトの位置、を表す傾向を有する。このため、第6変形例によれば、アバターA1と仮想オブジェクトとの位置関係のみに基づいて仮想オブジェクトに関連するレコメンデーションの要否を判定する構成に比べて、レコメンデーションの要否の判定についての精度を向上可能である。
 なお、表示制御部334は、アバターA1と仮想オブジェクトとの位置関係と、ユーザUからの言葉と、に基づいて、ユーザUの将来の行動を予測してもよい。
 例えば、表示制御部334は、関心あり仮想オブジェクトとアバターA1との距離が閾値H2未満である場合、将来的にユーザUはアバターA1を関心あり仮想オブジェクトに接触させると予測する。表示制御部334は、将来的にユーザUはアバターA1を関心あり仮想オブジェクトに接触させるという予測の結果に基づいて、関心あり仮想オブジェクトに関連するレコメンデーションが必要であると判定する。
 表示制御部334は、関心あり仮想オブジェクトとアバターA1との距離が閾値H2以上である場合、将来的にユーザUはアバターA1を関心あり仮想オブジェクトに接触させないと予測する。表示制御部334は、将来的にユーザUはアバターA1を関心あり仮想オブジェクトに接触させないという予測の結果に基づいて、関心あり仮想オブジェクトに関連するレコメンデーションが必要でないと判定する。
 B7:第7変形例
 サーバ30、30a又は30bの処理装置33によって実現される各要素は、端末装置20の処理装置26によって実現されてもよい。この場合、端末装置20又は処理装置26は、レコメンデーション表示制御装置の他の例である。また、サーバ30、30a又は30bの記憶装置32に記憶されているプログラム及びデータは、端末装置20の記憶装置25に記憶されてもよい。
 第7変形例によれば、サーバ30を省略できる。
 C:その他
 (1)図2、図3、図4、図9、図10又は図11に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。各機能の実現方法は特に限定されない。各機能は、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続することによって構成される装置を用いて実現されてもよい。各機能は、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
 (2)本明細書において、「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えられてもよい。
 (3)第1実施形態及び第1変形例~第7変形例の各々においては、記憶装置16、記憶装置25及び記憶装置32は、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリー(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。また、プログラムは電気通信回線を介してネットワークから送信されてもよい。
 (4)第1実施形態及び第1変形例~第7変形例の各々は、LTE(Long Term Evolution)、LTE-A(LTA-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobile communication system)、5G(5th generation mobile communication system)、6th generation mobile communication system(6G)、xth generation mobile communication system(xG)(xは、例えば整数又は小数)、FRA(Future Radio Access)、NR(new Radio)、New radio access(NX)、Future generation radio access(FX)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi(登録商標))、IEEE 802.16(WiMAX(登録商標))、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて(例えば、LTE及びLTE-Aの少なくとも一方と5Gとの組み合わせ等)適用されてもよい。
 (5)第1実施形態及び第1変形例~第7変形例の各々において例示した処理手順、シーケンス、又はフローチャート等は、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序において様々なステップの要素を提示しており、提示した特定の順序に限定されない。
 (6)第1実施形態及び第1変形例~第7変形例の各々において、入出力された情報等は特定の場所(例えば、メモリー)に保存されてもよいし、管理テーブルを用いて管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
 (7)第1実施形態及び第1変形例~第7変形例の各々において、判断は、1ビットによって表される値(0か1か)に基づいて行われてもよいし、真偽値(Boolean:true又はfalse)に基づいて行われてもよいし、数値の比較(例えば、所定の値との比較)に基づいて行われてもよい。
 (8)第1実施形態及び第1変形例~第7変形例の各々において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。また、ソフトウェア、又は命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
 (9)第1実施形態及び第1変形例~第7変形例の各々において説明した情報などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、情報などは、電圧、電流、電磁波、磁界、磁性粒子、光場、光子、又はこれらの任意の組み合わせにて表されてもよい。なお、本明細書において説明した用語及び本明細書の理解に必要な用語は、同一の又は類似する意味を有する用語と置き換えられてもよい。
 (10)第1実施形態及び第1変形例~第7変形例の各々において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
 (11)第1実施形態及び第1変形例~第7変形例の各々において、表示装置10及び端末装置20の少なくとも1つは、移動局でもよい。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語を用いて称される場合もある。
 (12)移動局は、送信装置、受信装置又は通信装置などと呼ばれてもよい。移動局は、移動体に搭載されたデバイス、又は移動体自体などであってもよい。移動体は、移動可能な物体を意味する。移動体の移動速度は任意である。移動体は、停止可能である。移動体は、例えば、車両、輸送車両、自動車、自動二輪車、自転車、コネクテッドカー、ショベルカー、ブルドーザー、ホイールローダー、ダンプトラック、フォークリフト、列車、バス、リヤカー、人力車、船舶(ship and other watercraft)、飛行機、ロケット、人工衛星、ドローン(登録商標)、マルチコプター、クアッドコプター、気球、及びこれらに搭載される物を含み、またこれらに限らない。移動体は、運行指令に基づいて自律走行する移動体であってもよい。移動体は、乗り物(例えば、車、飛行機など)であってもよいし、無人で動く移動体(例えば、ドローン、自動運転車など)であってもよし、ロボット(有人型又は無人型)であってもよい。移動局は、必ずしも通信動作時に移動しない装置も含む。例えば、移動局は、センサなどのIoT(Internet of Things)機器であってもよい。
 (13)第1実施形態及び第1変形例~第7変形例の各々において、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「決定」したとみなす事などを含み得る。また、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「決定」したとみなす事を含み得る。つまり、「決定」は、何らかの動作を「決定」したとみなす事を含み得る。また、「決定」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
 (14)第1実施形態及び第1変形例~第7変形例の各々において、「接続された(connected)」という用語、又はこれのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
 (15)第1実施形態及び第1変形例~第7変形例の各々において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
 (16)本明細書において使用する「第1」及び「第2」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること又は何らかの形において第1要素が第2要素に先行しなければならないことを意味しない。
 (17)第1実施形態及び第1変形例~第7変形例の各々において「含む(include)」、「含んでいる(including)」及びそれらの変形が、本明細書あるいは特許請求の範囲において使用されている場合、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
 (18)本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
 (19)本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
 D:上述の形態又は変形例から把握される態様
 上述の形態又は変形例の少なくとも1つから以下の態様が把握される。
 D1:第1態様
 第1態様に係るレコメンデーション表示制御装置は、位置検出部と、表示制御部と、を含む。位置検出部は、ユーザが行う操作に応じて仮想空間内を移動可能な操作対象の位置と、前記仮想空間内の仮想オブジェクトの位置と、を検出する。表示制御部は、前記操作対象の位置と前記仮想オブジェクトの位置との位置関係に基づいて、前記仮想オブジェクトに関連するレコメンデーションの要否を判定し、前記レコメンデーションが必要であるという判定結果に基づいて、前記レコメンデーションを表示装置に表示させる。
 ユーザが行う操作に応じて仮想空間内を移動可能な操作対象と、仮想オブジェクトと、の位置関係は、仮想オブジェクトに対するユーザの興味の程度を示す可能性がある。例えば、ユーザが、仮想空間の仮想オブジェクトに興味を覚える場合、ユーザは、操作対象を、仮想オブジェクトに近づける可能性がある。
 表示制御部は、操作対象の位置と仮想オブジェクトの位置との位置関係に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定する。このため、操作対象と仮想オブジェクトとの位置関係を、仮想オブジェクトに関連するレコメンデーションの要否の判定に反映できる。そして、操作対象と仮想オブジェクトとの位置関係に基づいて仮想オブジェクトに関連するレコメンデーションが必要であると判定された結果に基づいて、仮想オブジェクトに関連するレコメンデーションを表示装置に表示させることができる。
 D2:第2態様
 第1態様の例(第2態様)において、前記表示制御部は、前記操作対象の位置と前記仮想オブジェクトの位置との前記位置関係の推移に基づいて、前記レコメンデーションの要否を判定する。この態様によれば、例えば、仮想オブジェクトに対する操作対象の相対的な移動に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定できる。
 D3:第3態様
 第1態様又は第2態様の例(第3態様)において、前記表示制御部は、前記操作対象が前記仮想オブジェクトに近づくことに基づいて、前記レコメンデーションが必要であると判定する。この態様によれば、ユーザが、仮想オブジェクトに対して興味を覚えて操作対象を仮想オブジェクトに近づける場合、仮想オブジェクトに関連するレコメンデーションが必要であると判定できる。
 D4:第4態様
 第1態様又は第2態様の例(第4態様)において、前記表示制御部は、前記操作対象と前記仮想オブジェクトとの距離が閾値よりも短くなることに基づいて、前記レコメンデーションが必要であると判定する。この態様によれば、アバターと仮想オブジェクトとの距離が閾値より大きい状況においてアバターが仮想オブジェクトに近づいても、仮想オブジェクトに関連するレコメンデーションは必要であると判定されない。このため、仮想オブジェクトに関連するレコメンデーションを厳選できる。
 D5:第5態様
 第1態様の例(第5態様)において、前記表示制御部は、前記操作対象の位置と前記仮想オブジェクトの位置との前記位置関係に基づいて、前記ユーザの将来の行動を予測し、前記予測の結果に基づいて、前記レコメンデーションの要否を判定する。この態様によれば、ユーザの将来の行動についての予測の結果に基づいて、仮想オブジェクトに関連するレコメンデーションの要否を判定できる。
 D6:第6態様
 第1態様の例(第6態様)において、前記レコメンデーション表示制御装置は、前記ユーザの視線を検出する視線検出部をさらに含む。前記表示制御部は、前記操作対象の位置と前記仮想オブジェクトの位置との前記位置関係と、前記ユーザの視線と、に基づいて、前記レコメンデーションの要否を判定する。ユーザの視線は、ユーザが興味を覚える仮想オブジェクトに向く傾向を有する。このため、この態様によれば、操作対象と仮想オブジェクトとの位置関係のみに基づいて仮想オブジェクトに関連するレコメンデーションの要否を判定する構成に比べて、レコメンデーションの要否の判定についての精度を向上できる。
 D7:第7態様
 第1態様の例(第7態様)において、前記レコメンデーション表示制御装置は、前記ユーザからの言葉を取得する取得部をさらに含む。前記表示制御部は、前記操作対象の位置と前記仮想オブジェクトの位置との前記位置関係と、前記ユーザからの言葉と、に基づいて、前記レコメンデーションの要否を判定する。ユーザからの言葉は、ユーザが興味を覚える仮想オブジェクト又はユーザが興味を覚える仮想オブジェクトの位置を表す傾向を有する。このため、この態様によれば、操作対象と仮想オブジェクトとの位置関係のみに基づいて仮想オブジェクトに関連するレコメンデーションの要否を判定する構成に比べて、レコメンデーションの要否の判定についての精度を向上できる。
 1…表示制御システム、10…表示装置、10a…表示装置、11…表示面、12…透過表示装置、13…位置センサ、14…向きセンサ、15…通信装置、16…記憶装置、17…処理装置、18…バス、19…視線センサ、20…端末装置、21…入力装置、22…表示装置、23…通信装置、24…通信装置、25…記憶装置、26…処理装置、27…バス、30…サーバ、30a…サーバ、30b…サーバ、31…通信装置、32…記憶装置、33…処理装置、34…バス、171…動作制御部、261…動作制御部、331…位置決定部、332…表示情報生成部、333…位置検出部、334…表示制御部、335…視線検出部、336…取得部。

Claims (7)

  1.  ユーザが行う操作に応じて仮想空間内を移動可能な操作対象の位置と、前記仮想空間内の仮想オブジェクトの位置と、を検出する位置検出部と、
     前記操作対象の位置と前記仮想オブジェクトの位置との位置関係に基づいて、前記仮想オブジェクトに関連するレコメンデーションの要否を判定し、前記レコメンデーションが必要であるという判定結果に基づいて、前記レコメンデーションを表示装置に表示させる表示制御部と、
     を含むレコメンデーション表示制御装置。
  2.  前記表示制御部は、
     前記操作対象の位置と前記仮想オブジェクトの位置との前記位置関係の推移に基づいて、前記レコメンデーションの要否を判定する、
     請求項1に記載のレコメンデーション表示制御装置。
  3.  前記表示制御部は、
     前記操作対象が前記仮想オブジェクトに近づくことに基づいて、前記レコメンデーションが必要であると判定する、
     請求項1に記載のレコメンデーション表示制御装置。
  4.  前記表示制御部は、
     前記操作対象と前記仮想オブジェクトとの距離が閾値よりも短くなることに基づいて、前記レコメンデーションが必要であると判定する、
     請求項1に記載のレコメンデーション表示制御装置。
  5.  前記表示制御部は、
     前記操作対象の位置と前記仮想オブジェクトの位置との前記位置関係に基づいて、前記ユーザの将来の行動を予測し、
     前記予測の結果に基づいて、前記レコメンデーションの要否を判定する、
     請求項1に記載のレコメンデーション表示制御装置。
  6.  前記ユーザの視線を検出する視線検出部をさらに含み、
     前記表示制御部は、
     前記操作対象の位置と前記仮想オブジェクトの位置との前記位置関係と、前記ユーザの視線と、に基づいて、前記レコメンデーションの要否を判定する、
     請求項1に記載のレコメンデーション表示制御装置。
  7.  前記ユーザからの言葉を取得する取得部をさらに含み、
     前記表示制御部は、
     前記操作対象の位置と前記仮想オブジェクトの位置との前記位置関係と、前記ユーザからの言葉と、に基づいて、前記レコメンデーションの要否を判定する、
     請求項1に記載のレコメンデーション表示制御装置。
PCT/JP2023/015961 2022-07-01 2023-04-21 レコメンデーション表示制御装置 WO2024004357A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-106952 2022-07-01
JP2022106952 2022-07-01

Publications (1)

Publication Number Publication Date
WO2024004357A1 true WO2024004357A1 (ja) 2024-01-04

Family

ID=89381890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/015961 WO2024004357A1 (ja) 2022-07-01 2023-04-21 レコメンデーション表示制御装置

Country Status (1)

Country Link
WO (1) WO2024004357A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216052A (ja) * 2000-11-17 2002-08-02 Fujitsu Ltd ネットワーク上での情報提供要求方法および装置
JP2009093183A (ja) * 2007-10-09 2009-04-30 Sony Computer Entertainment America Inc 対話型環境において広告印象の数を増やす方法
JP2019192026A (ja) * 2018-04-26 2019-10-31 大日本印刷株式会社 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置
JP2021071984A (ja) * 2019-10-31 2021-05-06 株式会社ドワンゴ 特典配信システム、特典配信方法及び特典配信プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216052A (ja) * 2000-11-17 2002-08-02 Fujitsu Ltd ネットワーク上での情報提供要求方法および装置
JP2009093183A (ja) * 2007-10-09 2009-04-30 Sony Computer Entertainment America Inc 対話型環境において広告印象の数を増やす方法
JP2019192026A (ja) * 2018-04-26 2019-10-31 大日本印刷株式会社 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置
JP2021071984A (ja) * 2019-10-31 2021-05-06 株式会社ドワンゴ 特典配信システム、特典配信方法及び特典配信プログラム

Similar Documents

Publication Publication Date Title
US10323952B2 (en) System and method for presenting media contents in autonomous vehicles
US10511878B2 (en) System and method for providing content in autonomous vehicles based on perception dynamically determined at real-time
JP6310531B2 (ja) 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法
CN107436153B (zh) 基于实时交通信息在无人驾驶车辆中提供内容的系统和方法
US11538289B2 (en) Artificial intelligence device mounted on vehicle to perform self-diagnosis, and method for the same
US11176389B2 (en) Non-intrusive intra-vehicular user location detection
JP2017055181A (ja) 運転支援方法およびそれを利用した運転支援装置
WO2024004357A1 (ja) レコメンデーション表示制御装置
CN114851846A (zh) 用于车辆座舱的方法、系统、车辆、存储介质及程序产品
US20210183364A1 (en) Artificial intelligence apparatus and method for predicting performance of voice recognition model in user environment
US20220198794A1 (en) Related information output device
US20220315033A1 (en) Apparatus and method for providing extended function to vehicle
WO2023218770A1 (ja) 表示制御装置
WO2021192873A1 (ja) 測位システム
WO2023203883A1 (ja) 透過率制御装置
WO2023095833A1 (ja) 情報処理装置
US11543258B2 (en) Personalized notification system for mobility as a service
WO2023218751A1 (ja) 表示制御装置
JP7373068B2 (ja) 情報処理システム
WO2023203847A1 (ja) 表示制御装置
JP2023104144A (ja) 情報処理装置
WO2023119966A1 (ja) ウェアラブル装置
WO2023085124A1 (ja) 情報処理装置
WO2023026634A1 (ja) 表示制御装置
WO2020230892A1 (ja) 処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23830810

Country of ref document: EP

Kind code of ref document: A1