WO2023171341A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2023171341A1
WO2023171341A1 PCT/JP2023/005988 JP2023005988W WO2023171341A1 WO 2023171341 A1 WO2023171341 A1 WO 2023171341A1 JP 2023005988 W JP2023005988 W JP 2023005988W WO 2023171341 A1 WO2023171341 A1 WO 2023171341A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
information
display
location information
display control
Prior art date
Application number
PCT/JP2023/005988
Other languages
English (en)
French (fr)
Inventor
真治 木村
修 後藤
泰士 山本
裕一 市川
宏暢 藤野
拓郎 栗原
健吾 松本
Original Assignee
株式会社Nttドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Nttドコモ filed Critical 株式会社Nttドコモ
Publication of WO2023171341A1 publication Critical patent/WO2023171341A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a display control device.
  • the present invention relates to a display control device that causes a display device to display a virtual space including virtual objects based on position information.
  • a display control device using AR (Augmented Reality) technology causes a display device to display an augmented reality space that is a virtual extension of a real space.
  • the display control device displays, in the augmented reality space, particularly content related to facilities existing around the user of the display device, the position information acquired by the positioning device may be used.
  • Patent Document 1 discloses an AR platform system that creates display information to be displayed in an AR space and then transmits the display information to a device used by an information user.
  • a device used by an information provider transmits position information determined by its own positioning device to the platform.
  • the platform searches the database that stores location information and then outputs the display information to the device used by the information user. do.
  • a display device that displays an AR space uses location information acquired from a positioning device
  • the accuracy of the location information and the locations where the location information can be used vary depending on the type of the positioning device.
  • the present invention provides a display control device that, when displaying a virtual object using location information, changes the method of controlling the display of the virtual object depending on the type of positioning device that has acquired the location information. purpose.
  • a display control device includes an acquisition unit that acquires a plurality of position information output from a plurality of positioning devices, each of which measures the position of a display device, and acquires a virtual object from a server. , a plurality of determination units in one-to-one correspondence with the plurality of positioning devices, determining whether each of the plurality of positional information has been acquired by the acquisition unit, based on determination results of the plurality of determination units; and a display control unit that causes the display device to display the virtual object acquired by the acquisition unit from the server.
  • the method for controlling the display of the virtual object when displaying a virtual object using position information, the method for controlling the display of the virtual object can be changed depending on the type of positioning device that acquired the position information.
  • FIG. 1 is a diagram showing the overall configuration of an information processing system 1.
  • FIG. FIG. 2 is a block diagram showing a configuration example of a location information server 20.
  • FIG. FIG. 3 is a block diagram showing a configuration example of a content server 30.
  • FIG. FIG. 2 is a block diagram showing a configuration example of a content database CD.
  • An explanatory diagram showing an example of a second virtual object A An explanatory diagram showing an example of a first virtual object B.
  • FIG. 3 is a block diagram showing a configuration example of a terminal device 10-K. Flowchart showing the operation of the terminal device 10-K.
  • FIG. 3 is a block diagram showing a configuration example of a content server 30A. Flowchart showing the operation of terminal devices 10A-K.
  • FIG. 1 shows the overall configuration of an information processing system 1.
  • the information processing system 1 includes terminal devices 10-1, 10-2, ... 10-K, ... 10-J, a location information server 20, and a content server 30.
  • J is an integer of 1 or more.
  • K is an integer greater than or equal to 1 and less than or equal to J.
  • the terminal devices 10-1 to 10-J have the same configuration. However, terminal devices with different configurations may be included.
  • the terminal devices 10-1 to 10-J, the location information server 20, and the content server 30 are communicably connected to each other via the communication network NET. Note that in FIG. 1, it is assumed that the user U uses the terminal device 10-K.
  • the location information server 20 provides location information to the terminal devices 10-1 to 10-J. Specifically, as described later, the terminal devices 10-1 to 10-J are equipped with a VPS device 13. The location information server 20 generates VPS information based on the image information acquired from the terminal devices 10-1 to 10-J. Further, the location information server 20 provides the generated VPS information to the terminal devices 10-1 to 10-J as first location information.
  • the content server 30 provides various data and cloud services to the terminal devices 10-1 to 10-J via the communication network NET.
  • the content server 30 provides various contents to be displayed in the AR space to the terminal devices 10-1 to 10-J.
  • the terminal device 10-K is connected to the display 17 provided in the terminal device 10-K or the AR glasses or MR (Mixed Reality) glasses that are connected to the terminal device 10-K and worn on the head by the user U.
  • a virtual object placed in an augmented reality space or a mixed reality space is displayed.
  • virtual objects include virtual objects representing data such as still images, moving images, 3DCG models, HTML files, and text files, and virtual objects representing applications.
  • text files include memos, source codes, diaries, and recipes.
  • applications include a browser, an application for using SNS, and an application for generating a document file.
  • the terminal device 10-K is preferably a mobile terminal device such as a smartphone or a tablet.
  • FIG. 2 is a block diagram showing an example of the configuration of the location information server 20.
  • the location information server 20 includes a processing device 21, a storage device 22, a communication device 23, a display 24, and an input device 25.
  • Each element included in the location information server 20 is interconnected using a single bus or multiple buses for communicating information.
  • the processing device 21 is a processor that controls the entire location information server 20. Further, the processing device 21 is configured using, for example, a single chip or a plurality of chips. The processing device 21 is configured using, for example, a central processing unit (CPU) that includes an interface with peripheral devices, an arithmetic unit, registers, and the like. Note that some or all of the functions of the processing device 21 may be realized using hardware such as a DSP, an ASIC, a PLD, and an FPGA. The processing device 21 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 22 is a recording medium that can be read and written by the processing device 21. Furthermore, the storage device 22 stores a plurality of programs including the control program PR2 executed by the processing device 21.
  • the storage device 22 stores a 3D map database MD used when calculating the first position information.
  • the 3D map database MD is a database of three-dimensional maps.
  • the VPS device 13 provided in the terminal device 10-K uses image information indicating an image of the scenery in front of the user U, captured by the imaging device 15 also provided in the terminal device 10-K, as location information. Output to the server 20.
  • a calculation unit 212 which will be described later, provided in the position information server 20 compares the image information with a three-dimensional map stored in the 3D map database MD, and determines the position of the user U in the real space and the user U's ability to visually observe the real space. Calculate the direction.
  • the communication device 23 is hardware as a transmitting/receiving device for communicating with other devices.
  • the communication device 23 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 23 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 23 may include a wireless communication interface. Examples of connectors and interface circuits for wired connections include products compliant with wired LAN, IEEE1394, and USB.
  • examples of the wireless communication interface include products compliant with wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 24 is a device that displays images and text information.
  • the display 24 displays various images under the control of the processing device 21.
  • various display panels such as a liquid crystal display panel and an organic EL display panel are suitably used as the display 24.
  • the input device 25 is a device that accepts operations from the administrator of the information processing system 1.
  • the input device 25 includes a keyboard, a touch pad, a touch panel, or a pointing device such as a mouse.
  • the input device 25 may also serve as the display 24.
  • the processing device 21 reads the control program PR2 from the storage device 22 and executes it. As a result, the processing device 21 functions as an acquisition section 211, a calculation section 212, and an output section 213.
  • the acquisition unit 211 acquires, from the terminal device 10-K, image information indicating an image of the scenery in front of the user U, captured by the imaging device 15 provided in the terminal device 10-K.
  • the calculation unit 212 compares the image information acquired by the acquisition unit 211 with the 3D map stored in the 3D map database MD stored in the storage device 22, and calculates the position of the user U in the real space and the location of the user U in the real space. Calculate the direction in which the space is viewed. More specifically, the calculation unit 212 extracts a plurality of feature points from the image indicated by the above image information. Further, the calculation unit 212 compares the extracted feature points with feature points included in the three-dimensional map. The calculation unit 212 calculates the position of the user U in the real space and the direction in which the user U views the real space based on the result of this verification.
  • the output unit 213 outputs the position of the user U in the real space and the direction in which the user U views the real space, which are calculated by the calculation unit 212, to the terminal device 10-K.
  • FIG. 3 is a block diagram showing an example of the configuration of the content server 30.
  • the content server 30 includes a processing device 31, a storage device 32, a communication device 33, a display 34, and an input device 35.
  • Each element included in the content server 30 is interconnected using one or more buses for communicating information.
  • the processing device 31 is a processor that controls the entire content server 30. Further, the processing device 31 is configured using, for example, a single chip or a plurality of chips. The processing device 31 is configured using, for example, a central processing unit (CPU) that includes an interface with peripheral devices, an arithmetic unit, registers, and the like. Note that some or all of the functions of the processing device 31 may be realized using hardware such as a DSP, an ASIC, a PLD, and an FPGA. The processing device 31 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 32 is a recording medium that can be read and written by the processing device 31. Furthermore, the storage device 32 stores a plurality of programs including the control program PR3 executed by the processing device 31.
  • the storage device 32 stores a content database CD that stores content to be provided to the terminal device 10-K.
  • FIG. 4 is a block diagram showing an example of the configuration of the content database CD.
  • the content database CD stores content data 321A to 321N as data indicating content to be provided to the terminal device 10-K.
  • the number of pieces of data from content data 321A to content data 321N may be any number.
  • the content data 321A includes first virtual object data 321A-1 and second virtual object data 321A-2. Note that the number of each of the first virtual object data 321A-1 and the second virtual object data 321A-2 included in the content data 321A may be any number.
  • the acquisition unit 311 acquires VPS information as first location information from the terminal device 10-K. Furthermore, the acquisition unit 311 acquires GPS information as second position information from the terminal device 10-K.
  • the first virtual object data 321A-1 is data indicating a first virtual object B that is transmitted by the output unit 313 (described later) to the terminal device 10-K when the acquisition unit 311 acquires the first position information. It is.
  • the first virtual object B corresponds to first position information.
  • the second virtual object data 321A-2 is generated by the output unit 313 (to be described later) to the terminal device 10-K. This is data indicating the second virtual object A to be transmitted.
  • the second virtual object A corresponds to second position information.
  • FIG. 5 is an explanatory diagram showing an example of the second virtual object A.
  • the real space RS is displayed on either the display 17 provided in the terminal device 10-K or the AR glasses and MR glasses connected to the terminal device 10-K, and a second It is assumed that virtual objects A1 to A3 are superimposed.
  • the second virtual objects A1 to A3 are superimposed on the real space RS to form an augmented reality space or a mixed reality space.
  • second virtual objects A1 and A2 are icons.
  • the user U clicks on the icon on the display 17 or specifies the icon in the augmented reality space displayed on the AR glasses information about the equipment located below the icon is displayed.
  • the second virtual object A3 is a text box.
  • the second virtual object A3 is a text box that explains what kind of equipment is located below the text box.
  • these icons and text boxes are two-dimensional images.
  • the display positions of the second virtual objects A1 to A3 only roughly indicate the positions of the equipment indicated by the respective second virtual objects A1 to A3.
  • the reason why the display positions are approximate is that the second virtual objects A1 to A3 correspond to the GPS information, which is the second position information, and the GPS information is expected to have an error of about 10 meters. is the reason.
  • the second virtual objects A1 to A3 are simple icons or text boxes, and only explain the category of equipment indicated by the second virtual objects A1 to A3.
  • FIG. 6 is an explanatory diagram showing an example of the first virtual object B.
  • the real space RS is displayed on either the display 17 provided in the terminal device 10-K or the AR glasses and MR glasses connected to the terminal device 10-K, and the first It is assumed that virtual objects B1 and B2 are superimposed.
  • the first virtual objects B1 to B2 are superimposed on the real space RS to configure an augmented reality space or a mixed reality space.
  • the first virtual object B1 is a floor guide of the equipment indicated by the first virtual object B1.
  • the floor guide is a three-dimensional image that uses both images and text to show detailed information about the floors included in the facility.
  • the first virtual object B2 is a virtual signboard.
  • the first virtual object B2 extends in the width direction of the building and is displayed to match the position in the width direction of the building.
  • the reason why the display position is so precise is that the first virtual objects B1 and B2 correspond to the VPS information, which is the first position information, and the VPS information is expected to have an error of about 1 meter at most. The reason is that there is no.
  • the first virtual objects B1-B2 are three-dimensional images that display details of prepared information.
  • the virtual objects superimposed on the real space RS include the above-described first virtual objects B1 to B2 and second virtual objects A1 to A3.
  • the terminal device 10-K displays the first virtual objects B1 to B2 as virtual objects or displays the second virtual objects based on whether the acquired location information is first location information or second location information. Switch whether to display A1 to A3.
  • the first virtual objects B1 to B2 are three-dimensional images, as described above, , the second virtual objects A1 to A3 are two-dimensional image icons or text boxes. That is, the first virtual objects B1 to B2 and the second virtual objects A1 to A3 are of different types. Furthermore, the information indicated by the first virtual objects B1 to B2 has a higher degree of detail than the information indicated by the second virtual objects A1 to A3.
  • the images shown by the first virtual objects B1 to B2 are better than the icons or text boxes shown by the second virtual object A, both in terms of appearance and in terms of the information related to the equipment conveyed to the user U. Contains more information.
  • the first virtual objects B1 to B2 are displayed at pinpoint positions with respect to the equipment corresponding to the first virtual objects B1 to B2, taking into consideration the shape and size of the actual building.
  • the second virtual objects A1 to A3 are displayed at positions roughly indicating the positions of the equipment to which the second virtual objects A1 to A3 correspond. That is, the first virtual objects B1 to B2 and the second virtual objects A1 to A3 have different display position accuracy with respect to the real space.
  • the terminal device 10-K can utilize more accurate coordinates, for example, when the first virtual objects B1 to B2 are shared between users. Furthermore, if the terminal device 10-K uses the second virtual objects A1 to A3 in a situation where the user U needs navigation to a predetermined facility, for example, it may display only arrows indicating the start and end points of the travel route. It only shows the simplified route used. On the other hand, when the terminal device 10-K uses the first virtual objects B1 to B2, a more detailed route can be superimposed on the real space.
  • the communication device 33 is hardware as a transmitting/receiving device for communicating with other devices.
  • the communication device 33 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 33 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 33 may include a wireless communication interface. Examples of connectors and interface circuits for wired connections include products compliant with wired LAN, IEEE1394, and USB.
  • examples of the wireless communication interface include products compliant with wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 34 is a device that displays images and text information.
  • the display 34 displays various images under the control of the processing device 31.
  • various display panels such as a liquid crystal display panel and an organic EL display panel are suitably used as the display 34.
  • the input device 35 is a device that accepts operations from the administrator of the information processing system 1.
  • the input device 35 includes a keyboard, a touch pad, a touch panel, or a pointing device such as a mouse.
  • the input device 35 may also serve as the display 34.
  • the processing device 31 reads the control program PR3 from the storage device 32 and executes it. As a result, the processing device 31 functions as an acquisition section 311, a determination section 312, and an output section 313.
  • the acquisition unit 311 acquires position information from the terminal device 10-K via the communication device 33.
  • the determination unit 312 determines whether the location information acquired by the acquisition unit 311 from the terminal device 10-K is first location information corresponding to VPS information or second location information corresponding to GPS information.
  • the output unit 313 When the determination result of the determining unit 312 is the first position information, the output unit 313 outputs any of the first virtual object data 321A-1 to 312N-1 corresponding to the first position information from the content database CD. Read out.
  • “any of the first virtual object data 321A-1 to 312N-1 corresponding to the first location information” means “any of the first virtual object data 321A-1 to 312N-1 corresponding to the first location information” means “any of the first virtual object data 321A-1 to 312N-1 corresponding to the first location information" "any of the first virtual object data 321A-1 to 312N-1 corresponding to the equipment”.
  • the output unit 313 transmits the first virtual object B indicated by any of the first virtual object data 321A-1 to 312N-1 read from the content database CD to the terminal device 10-K.
  • the output unit 313 outputs second virtual object data 321A-2 to 312N-2 corresponding to the second position information from the content database CD.
  • “any of the second virtual object data 321A-2 to 312N-2 corresponding to the second location information” means “any of the second virtual object data 321A-2 to 312N-2 corresponding to the second location information" "any of the second virtual object data 321A-2 to 312N-2 corresponding to the equipment”.
  • the output unit 313 transmits the second virtual object A indicated by any of the second virtual object data 321A-2 to 312N-2 read from the content database CD to the terminal device 10-K.
  • FIG. 7 is a block diagram showing an example of the configuration of the terminal device 10-K.
  • the terminal device 10-K includes a processing device 11, a storage device 12, a VPS device 13, a GPS device 14, an imaging device 15, a communication device 16, a display 17, an input device 18, and an inertial sensor 19.
  • Each element included in the terminal device 10-K is interconnected using one or more buses for communicating information.
  • the processing device 11 is a processor that controls the entire terminal device 10-K. Further, the processing device 11 is configured using, for example, a single chip or a plurality of chips. The processing device 11 is configured using, for example, a central processing unit (CPU) that includes an interface with peripheral devices, an arithmetic unit, registers, and the like. Note that some or all of the functions of the processing device 11 may be implemented using hardware such as a DSP, an ASIC, a PLD, and an FPGA. The processing device 21 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 12 is a recording medium that can be read and written by the processing device 11. Furthermore, the storage device 12 stores a plurality of programs including the control program PR1 executed by the processing device 11. Further, the storage device 12 may further store image information indicating an image displayed on the display 17.
  • the VPS device 13 acquires VPS information as first location information from the location information server 20. More specifically, the VPS device 13 acquires image information indicating an image of the scenery in front of the user U from the imaging device 15 described below. Further, the VPS device 13 transmits image information acquired from the imaging device 15 to the location information server 20 via the communication device 16. Furthermore, the VPS device 13 acquires VPS information from the location information server 20 via the communication device 16. The VPS information includes the position of the user U in the real space and the direction in which the user U views the real space. Note that the VPS device 13 is an example of a first positioning device. Further, the VPS information acquired by the VPS device 13 is first location information that indicates the location of the terminal device 10-K and, by extension, the location of the display 17 or the user U, which will be described later.
  • the GPS device 14 receives radio waves from multiple satellites. Furthermore, the GPS device 14 generates GPS information as second position information from the received radio waves.
  • the second location information may be in any format as long as it can specify the location.
  • the second location information indicates, for example, the latitude and longitude of the terminal device 10-K.
  • GPS information as the second location information is obtained from the GPS device 14.
  • the terminal device 10-K may use any method to obtain the second location information.
  • the acquired second position information is output to the processing device 11.
  • the GPS device 14 is an example of a second positioning device.
  • the GPS information generated by the GPS device 14 is second location information indicating the location of the terminal device 10-K and, by extension, the location of the display 17 or the user U, which will be described later.
  • the VPS device 13 as the first positioning device and the GPS device 14 as the second positioning device differ from each other in at least one of measurement accuracy and positioning method.
  • the imaging device 15 outputs imaging information obtained by imaging the outside world. Further, the imaging device 15 includes, for example, a lens, an imaging element, an amplifier, and an AD converter.
  • the light collected through the lens is converted by the image sensor into an image signal, which is an analog signal.
  • the amplifier amplifies the imaging signal and outputs it to the AD converter.
  • the AD converter converts the amplified imaging signal, which is an analog signal, into imaging information, which is a digital signal.
  • the converted imaging information is output to the processing device 11 and the VPS device 13. Note that, as described later, when the terminal device 10-K uses AR glasses or MR glasses connected to the terminal device 10-K instead of having the display 17, the terminal device 10-K is equipped with an image capturing device. Instead of the device 15, an imaging device included in the AR glasses or MR glasses may be used.
  • the communication device 16 is hardware as a transmitting/receiving device for communicating with other devices.
  • the communication device 16 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 16 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 16 may include a wireless communication interface. Examples of connectors and interface circuits for wired connections include products compliant with wired LAN, IEEE1394, and USB.
  • examples of the wireless communication interface include products compliant with wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 17 is a device that displays images and text information.
  • the display 17 displays various images under the control of the processing device 11.
  • various display panels such as a liquid crystal display panel and an organic EL (Electro Luminescence) display panel are suitably used as the display 17.
  • the display 17 does not have to be an essential component.
  • the terminal device 10-K may be configured without the display 17.
  • the display 17, AR glasses, and MR glasses are examples of display devices.
  • the input device 18 accepts operations from the user U.
  • the input device 18 includes a keyboard, a touch pad, a touch panel, or a pointing device such as a mouse.
  • the input device 18 may also serve as the display 17.
  • the inertial sensor 19 is a sensor that detects inertial force.
  • the inertial sensor 19 includes, for example, one or more of an acceleration sensor, an angular velocity sensor, and a gyro sensor.
  • the processing device 11 detects the attitude of the terminal device 10-K based on the output information of the inertial sensor 19. Further, the processing device 11 selects one or more of the second virtual objects A1 to A3 and the first virtual objects B1 to B2 in the augmented reality space or the mixed reality space based on the attitude of the terminal device 10-K. , accepts input of characters, and input of instructions.
  • the second virtual objects A1 to A3 are placed in the predetermined area.
  • the first virtual objects B1 to B2 are selected.
  • the user U's operation on the input device 18 is, for example, a double tap. In this way, by operating the terminal device 10-K, the user U can select one of the second virtual objects A1 to A3 and the first virtual objects B1 to B2 without looking at the input device 18 of the terminal device 10-K. You can select 1 or more.
  • the processing device 11 reads the control program PR1 from the storage device 12 and executes it. As a result, the processing device 11 functions as an acquisition unit 111 , a first determination unit 112 , a second determination unit 113 , an output unit 114 , and a display control unit 115 .
  • the acquisition unit 111 acquires VPS information as first position information from the VPS device 13 as a first positioning device.
  • the acquisition unit 111 also acquires GPS information as second position information from the GPS device 14 as a second positioning device.
  • the acquisition unit 111 may or may not be able to obtain VPS information from the VPS device 13.
  • the VPS device 13 transmits image information indicating an image of the scenery in front of the user U, captured by the imaging device 15, to the location information server 20.
  • the position information server 20 extracts a plurality of feature points from the image indicated by the image information, and compares the extracted feature points with feature points included in the three-dimensional map. Thereafter, the position information server 20 calculates the position of the user U in the real space and the direction in which the user U views the real space based on the comparison result between the feature points.
  • the scenery in front of the user U may be, for example, a space without a pattern, a place with few visual features such as a grassland, a scenery that changes depending on the season, weather, and time, stairs, stone pavement, and a lattice door.
  • the location information server 20 cannot extract feature points from the captured image of the landscape. In this case, even if the VPS device 13 transmits image information indicating an image of the scenery in front of the user U to the location information server 20, no VPS information is obtained. Therefore, the acquisition unit 111 may be able to obtain VPS information from the VPS device 13 and may not be able to obtain it.
  • the acquisition unit 111 may or may not be able to obtain GPS information from the GPS device 14.
  • the GPS device 14 receives radio waves from multiple satellites. Furthermore, the GPS device 14 generates position information from the received radio waves. Therefore, if the radio wave environment is poor, the GPS device 14 cannot generate GPS information. Therefore, the acquisition unit 111 may be able to obtain GPS information from the GPS device 14 and may not be able to obtain it.
  • VPS information When comparing VPS information and GPS information, VPS information has higher accuracy as location information than GPS information. Therefore, a service that provides AR information or MR information using VPS information can provide a service that uses more accurate position information than a service that uses GPS information.
  • VPS information can be used are more limited than the places where GPS information can be used. Therefore, services that provide AR information or MR information using GPS information can be deployed over a wider range than services that use VPS information.
  • the acquisition unit 111 acquires a virtual object from the content server 30.
  • the first determination unit 112 determines whether the acquisition unit 111 was able to acquire the VPS information as the first location information.
  • the second determination unit 113 determines whether the acquisition unit 111 was able to acquire GPS information as the second location information.
  • the output unit 114 outputs the first position information or the second position information to the content via the communication device 16 based on at least one of the determination result of the first determination unit 112 and the determination result of the second determination unit 113. Send to server 30. More specifically, when it is determined that the acquisition unit 111 has acquired the VPS information as the first location information, the output unit 114 transmits the VPS information as the first location information to the content server 30. On the other hand, if it is determined that the acquisition unit 111 did not acquire the VPS information as the first location information but acquired the GPS information as the second location information, the output unit 114 outputs the information as the second location information. GPS information is output to the content server 30.
  • the content server 30 selects the first virtual object data corresponding to the acquired VPS information from among the first virtual object data 321A-1 to 321N-1.
  • the first virtual object B indicated by the object data is output to the terminal device 10-K.
  • the content server 30 acquires GPS information as the second location information
  • the content server 30 selects second virtual object data corresponding to the acquired GPS information from among the second virtual object data 321A-2 to 321N-2.
  • the second virtual object A indicated by is output to the terminal device 10-K.
  • the acquisition unit 111 acquires the first virtual object B or the second virtual object A output from the content server 30.
  • the display control unit 115 causes the display 17 to display the first virtual object B or the second virtual object A acquired by the acquisition unit 111.
  • the display control unit 115 displays the first virtual object B or The second virtual object A is displayed on either the AR glasses or the MR glasses.
  • the display control unit 115 displays the virtual object that the acquisition unit 111 acquired from the content server 30 on the display 17 and the AR glasses based on the determination result of the first determination unit 112 and the determination result of the second determination unit 113. , and MR glasses.
  • the terminal device 10-K has the above configuration, when displaying a virtual object using position information, the display of the virtual object is controlled according to the type of positioning device that acquired the position information. You can change the method.
  • the display control unit 115 causes the first virtual object B to be displayed on the display device. Further, if the determination result of the first determination unit 112 is negative and the determination result of the second determination unit 113 is positive, the display control unit 115 causes the second virtual object A to be displayed on the display device.
  • the display control unit 115 determines whether the determination result of the first determination unit 112 is negative in a state where the second virtual object A is displayed on one of the display devices of the display 17, AR glasses, and MR glasses. When the transition is affirmative, it is preferable to display the first virtual object B instead of the second virtual object A on the display device.
  • the terminal device 10-K when the terminal device 10-K acquires the first position information while displaying the second virtual object A on the display device, the terminal device 10-K can display the first virtual object B corresponding to the first position information. Can be switched to display.
  • the display control unit 115 displays the virtual object on the display 17, the AR glasses, and the It may be displayed on any display device of the MR glasses.
  • “user information regarding user U” is, for example, information regarding user U's behavior in the real space RS.
  • “information regarding user U's behavior” is information regarding user U's movement, for example.
  • the acquisition unit 111 acquires VPS information in a situation where a plurality of second virtual objects A related to a plurality of facilities located within a predetermined distance from the user U are displayed, If a plurality of detailed routes to the equipment are displayed, the display content on the display device becomes complicated. For this reason, the display control unit 115 may select only one route, taking into account the movement direction of the user U, and display only one detailed route on the display device.
  • the acquisition unit 111 acquires the VPS information
  • a plurality of first virtual objects B related to a plurality of facilities located within a predetermined distance from the user U can be displayed, but the user U can quickly browse the location indicated by the VPS information.
  • the display control unit 115 may display a plurality of second virtual objects A instead of the first virtual object B.
  • the terminal device 10-K can display the virtual object on the display device in accordance with the behavior of the user U of the terminal device 10-K, for example.
  • the display control unit 115 determines the type of virtual object to be displayed, the degree of detail of the information indicated by the virtual object, and It can be said that the accuracy of the display position of the virtual object in the real space is controlled.
  • the terminal device 10-K can change the display mode of the virtual object depending on whether the first position information or the second position information is acquired.
  • the acquisition unit 111 acquires VPS information as the first position information from the VPS device 13
  • the acquisition unit 111 acquires visual information regarding the direction in which the user U views the real space, which is included in the VPS information.
  • the display control unit 115 may display the virtual object, particularly the first virtual object B, on any one of the display devices 17, AR glasses, and MR glasses using the visual information.
  • the terminal device 10-K can display the virtual object on the display device, taking into account the viewing direction of the user U of the terminal device 10-K.
  • FIG. 8 is a flowchart showing the operation of the terminal device 10-K included in the information processing system 1 according to the first embodiment. The operation of the terminal device 10-K will be described below with reference to FIG.
  • step S1 the processing device 11 provided in the terminal device 10-K functions as the first determination unit 112.
  • the processing device 11 determines whether the acquisition unit 111 has acquired the first position information output from the VPS device 13 as the first positioning device. If the determination result is affirmative, the processing device 11 executes the process of step S2. If the determination result is negative, the processing device 11 executes the process of step S5.
  • step S2 the processing device 11 provided in the terminal device 10-K functions as the output unit 114.
  • the processing device 11 transmits the first location information to the content server 30.
  • step S3 the processing device 11 provided in the terminal device 10-K functions as the acquisition unit 111.
  • the processing device 11 receives from the content server 30 the first virtual object B indicated by the first virtual object data corresponding to the first position information transmitted in step S2 among the first virtual object data 321A-1 to 321N-1. get.
  • step S4 the processing device 11 provided in the terminal device 10-K functions as the display control section 115.
  • the processing device 11 causes the first virtual object B acquired in step S3 to be displayed on one of the display devices 17, AR glasses, and MR glasses. After that, the processing device 11 executes the process of step S1.
  • step S5 the processing device 11 provided in the terminal device 10-K functions as the second determination unit 113.
  • the processing device 11 determines whether the acquisition unit 111 has acquired the second position information output from the GPS device 14 as the second positioning device. If the determination result is affirmative, the processing device 11 executes the process of step S6. If the determination result is negative, the processing device 11 executes the process of step S1.
  • step S6 the processing device 11 provided in the terminal device 10-K functions as the output unit 114.
  • the processing device 11 transmits the second location information to the content server 30.
  • step S7 the processing device 11 provided in the terminal device 10-K functions as the acquisition unit 111.
  • the processing device 11 receives from the content server 30 the second virtual object A indicated by the second virtual object data corresponding to the second position information transmitted in step S6 among the second virtual object data 321A-2 to 321N-2. get.
  • step S8 the processing device 11 provided in the terminal device 10-K functions as the display control section 115.
  • the processing device 11 causes the second virtual object A acquired in step S7 to be displayed on one of the display devices of the display 17, AR glasses, and MR glasses. After that, the processing device 11 executes the process of step S1.
  • the terminal device 10-K as a display control device includes the acquisition unit 111.
  • the acquisition unit 111 acquires a plurality of position information output from a plurality of positioning devices each of which positions the display 17 as a display device, AR glasses, or MR glasses, and a virtual object. More specifically, the acquisition unit 111 acquires first position information output from a first positioning device that positions the display 17 as a display device, AR glasses, or MR glasses.
  • the acquisition unit 111 also acquires GPS information as second position information output from a second positioning device that measures the position of the display device.
  • the terminal device 10-K includes a plurality of determination units.
  • the plurality of determination units determine whether the acquisition unit 111 has acquired each of the plurality of pieces of position information. More specifically, the terminal device 10-K includes a first determining section 112 and a second determining section 113. The first determination unit 112 determines whether the acquisition unit 111 has acquired the first position information. The second determination unit 113 determines whether the acquisition unit 111 has determined the second position information. The terminal device 10-K also includes a display control section 115. The display control unit 115 causes the display device to display the virtual object acquired from the content server 30 based on the determination results of the plurality of determination units. More specifically, the display control unit 115 causes the display device to display the virtual object acquired from the content server 30 based on the determination result of the first determination unit 112 and the determination result of the second determination unit 113.
  • the terminal device 10-K when displaying a virtual object using position information, the method for controlling the display of the virtual object is changed depending on the type of positioning device that acquired the position information. can.
  • the terminal device 10-K acquires VPS information as the first position information output from the VPS device 13 as the first positioning device, and output from the GPS device 14 as the second positioning device.
  • GPS information When acquiring GPS information as the second location information, a virtual object that corresponds to either VPS information or GPS information can be displayed depending on the acquisition status.
  • the display control unit 115 determines the type of virtual object, the degree of detail of the information indicated by the virtual object, and the reality based on the determination results of the plurality of determination units described above. Controls at least one of the accuracy of the display position of a virtual object superimposed on the space with respect to the real space. More specifically, in the terminal device 10-K, the display control unit determines the type of the virtual object and the information indicated by the virtual object based on the determination result of the first determination unit 112 and the determination result of the second determination unit 113. At least one of the degree of detail and the accuracy of the display position of the virtual object superimposed on the real space with respect to the real space is controlled.
  • the display mode of the virtual object can be changed depending on which of the first position information and the second position information is acquired. For example, if the first location information is VPS information and the second location information is GPS information, the terminal device 10-K will In comparison, a virtual object with a larger amount of information can be displayed in a position precisely matched to the real space.
  • the plurality of measurement devices specifically, the first positioning device and the second positioning device, differ from each other in at least one of measurement accuracy and positioning method. .
  • the terminal device 10-K Since the terminal device 10-K has the above configuration, it can be equipped with a plurality of different types of positioning devices, such as a VPS device and a GPS device, for example. Furthermore, the terminal device 10-K can display the virtual object in accordance with at least one of the measurement accuracy of the measurement value obtained from the positioning device and the positioning method.
  • the acquisition unit 111 acquires visual information regarding the direction in which the user of the display device views the real space RS.
  • the display control unit 115 uses the visual information described above to display the virtual object on the display device described above.
  • the virtual object can be displayed on the display device by taking into account the viewing direction of the user U of the terminal device 10-K.
  • the plurality of pieces of position information include the first position information.
  • the plurality of determination units include a first determination unit 112 that determines whether or not first position information has been acquired. If the determination result of the first determination unit 112 is positive, the display control unit 115 displays the virtual object based on the first position information and the user information regarding the user of the display device.
  • the terminal device 10-K Since the terminal device 10-K has the above configuration, a virtual object can be displayed on the display device in accordance with the behavior of the user U of the terminal device 10-K, for example.
  • the above plurality of location information includes first location information and second location information.
  • the plurality of determination units include a first determination unit 112 that determines whether or not first position information has been acquired.
  • the virtual objects include a first virtual object B corresponding to first position information and a second virtual object A corresponding to second position information.
  • the acquisition unit 111 acquires the first virtual object B and the second virtual object A.
  • the display control unit 115 displays a second virtual object instead of the second virtual object A. 1. Display the virtual object B on the above display device.
  • the terminal device 10-K Since the terminal device 10-K has the above configuration, when the first position information is acquired while the second virtual object A is being displayed on the display device, the first position information corresponding to the first position information is displayed. The display is switched to virtual object B.
  • FIGS. 9 and 10 Second Embodiment
  • the configuration of an information processing system 1A including terminal devices 10A-K as display control devices according to a second embodiment of the present invention will be described with reference to FIGS. 9 and 10.
  • the same components as those in the information processing system 1 according to the first embodiment will be described as follows.
  • the same reference numerals may be used and their explanations may be omitted.
  • the information processing system 1A according to the second embodiment of the present invention is different from the information processing system 1 according to the first embodiment in that the terminal device The difference is that a terminal device 10A is provided instead of the terminal device 10, and a content server 30A is provided instead of the content server 30.
  • the overall configuration of the information processing system 1A is the same as the overall configuration of the information processing system 1 according to the first embodiment shown in FIG. 1, so illustration and description thereof will be omitted.
  • the terminal device 10-K transmits VPS information as first location information or GPS information as second location information to the content server 30. Further, when the terminal device 10-K transmits VPS information as the first location information to the content server 30, the content server 30 sends the VPS information among the first virtual object data 321A-1 to 321N-1. The first virtual object B indicated by the first virtual object data corresponding to is acquired. On the other hand, when the terminal device 10-K transmits GPS information as second location information to the content server 30, the content server 30 transmits the GPS information from the second virtual object data 321A-2 to 321N-2. The second virtual object A indicated by the second virtual object data corresponding to the information was acquired.
  • the terminal device 10A-K transmits location information including at least one of VPS information as the first location information and GPS information as the second location information to the content. Send to server 30. Furthermore, the terminal devices 10A-K obtain content data 321 corresponding to the position information from among the content data 321A to 321N including both the first virtual object data and the second virtual object data. Thereafter, the terminal device 10A-K displays one of the first virtual object B and the second virtual object A on the display device based on the determination result of the first determination unit 112 and the determination result of the second determination unit 113. to be displayed.
  • the terminal device 10A-K differs from the terminal device 10-K in that it includes a processing device 11A instead of the processing device 11, and a storage device 12A instead of the storage device 12.
  • the storage device 12A stores the control program PR1A instead of the control program PR1.
  • the processing device 11A is different from the processing device 11 in that it includes an acquisition section 111A instead of the acquisition section 111, an output section 114A instead of the output section 114, and a display control section 115A instead of the display control section 115.
  • the configuration of the terminal device 10A-K is the same as the configuration of the terminal device 10-K shown in FIG. 7, so illustration thereof will be omitted.
  • the output unit 114A transmits position information including at least one of the first position information and the second position information to the content server 30A via the communication device 16.
  • the acquisition unit 111A acquires content data 321 corresponding to the position information transmitted by the output unit 114A from the content data 321A to 321N from the content server 30A.
  • content data 321 corresponding to the location information transmitted by the output unit 114A means “content data 321 corresponding to equipment existing in a predetermined range centered on the location indicated by the location information". be.
  • the content data 321 includes first virtual object data and second virtual object data. That is, the acquisition unit 111A acquires both the first virtual object B indicated by the first virtual object data and the second virtual object A indicated by the second virtual object data from the content server 30A.
  • the display control unit 115A displays the first virtual object B on the display 17 or on one of the AR glasses and MR glasses connected to the terminal devices 10A-K. display on the display device.
  • the display control unit 115A causes the second virtual object A to be displayed on the display device.
  • the terminal device 10A-K acquires both the first virtual object B and the second virtual object A from the content server 30A in parallel, and acquires each of the first position information and the second position information.
  • the virtual object to be displayed can be switched between the first virtual object B and the second virtual object A depending on whether or not the virtual object is available.
  • FIG. 9 is a block diagram showing an example of the configuration of the content server 30A.
  • the content server 30A differs from the content server 30 in that it includes a processing device 31A instead of the processing device 31 and a storage device 32A instead of the storage device 32.
  • the storage device 32A unlike the storage device 32, stores the control program PR3A instead of the control program PR3.
  • the processing device 31A includes an acquisition section 311A instead of the acquisition section 311 provided in the processing device 31, and an output section 313A instead of the output section 313. Furthermore, the processing device 31A does not include the determination unit 312 included in the processing device 31 as an essential component.
  • the acquisition unit 311A acquires location information including at least one of first location information and second location information from the terminal devices 10A-K via the communication device 33.
  • the output unit 313A transmits content data 321 corresponding to the position information acquired by the acquisition unit 311A among the content data 321A to 321N to the terminal devices 10A-K via the communication device 33.
  • FIG. 10 is a flowchart showing the operation of the terminal devices 10A-K included in the information processing system 1A according to the second embodiment. The operation of the terminal devices 10A-K will be described below with reference to FIG.
  • step S11 the processing device 11A provided in the terminal devices 10A-K functions as the output unit 114A.
  • the processing device 11A transmits location information including at least one of the first location information and the second location information to the content server 30A.
  • step S12 the processing device 11A provided in the terminal device 10A-K functions as the acquisition unit 111A.
  • the processing device 11A acquires the content data 321 corresponding to the position information transmitted in step S11 from the content server 30A among the content data 321A to 321N.
  • step S13 the processing device 11A provided in the terminal devices 10A-K functions as the first determination unit 112.
  • the processing device 11A determines whether the acquisition unit 111A has acquired the first position information output from the VPS device 13 as the first positioning device. If the determination result is affirmative, the processing device 11A executes the process of step S14. If the determination result is negative, the processing device 11A executes the process of step S15.
  • step S14 the processing device 11A provided in the terminal device 10A-K functions as the display control section 115A.
  • the processing device 11A causes the first virtual object B indicated by the first virtual object data included in the content data 321 acquired in step S12 to be displayed on one of the display devices 17, AR glasses, and MR glasses. After that, the processing device 11A executes the process of step S11.
  • step S15 the processing device 11A provided in the terminal devices 10A-K functions as the second determination unit 113.
  • the processing device 11A determines whether the acquisition unit 111A has acquired the second position information output from the GPS device 14 as the second positioning device. If the determination result is affirmative, the processing device 11A executes the process of step S16. If the determination result is negative, the processing device 11A executes the process of step S11.
  • step S16 the processing device 11A provided in the terminal device 10A-K functions as the display control section 115A.
  • the processing device 11A displays the second virtual object A indicated by the second virtual object data included in the content data 321 acquired in step S12 on one of the display devices 17, AR glasses, and MR glasses. After that, the processing device 11A executes the process of step S11.
  • the plurality of pieces of position information include the first position information and the second position information.
  • the plurality of determination units described above include a first determination unit 112 that determines whether the first location information has been acquired, and a second determination unit 113 that determines whether or not the second location information has been acquired.
  • the virtual objects include a first virtual object B corresponding to the first position information and a second virtual object A corresponding to the second position information.
  • the acquisition unit 111A acquires the first virtual object B and the second virtual object A. If the determination result of the first determination unit 112 is positive, the display control unit 115A causes the first virtual object B to be displayed on the display device. Furthermore, when the determination result of the first determination section 112 is negative and the determination result of the second determination section 113 is positive, the display control section 115A causes the second virtual object A to be displayed on the display device.
  • the terminal device 10A-K Since the terminal device 10A-K has the above configuration, it acquires both the first virtual object B and the second virtual object A from the content server 30A in parallel, and acquires the first position information and the second position information.
  • the virtual object to be displayed can be switched between the first virtual object B and the second virtual object A depending on whether or not each of them can be acquired.
  • the terminal device 10-K was equipped with two positioning devices, a VPS device 13 and a GPS device 14. Furthermore, the terminal device 10-K included a first determining section 112 and a second determining section 113 corresponding to each of these two positioning devices. However, the number of positioning devices included in the terminal device 10-K is not limited to two, and may be three or more.
  • the terminal device 10-K may include two VPS devices and one GPS device. In this case, the terminal device 10-K determines, for example, whether or not the first location information could be obtained from the more accurate VPS device of the two VPS devices. If the first location information could not be acquired, the terminal device 10-K determines whether or not the second location information could be acquired from the VPS device with lower accuracy among the two VPS devices. If both the first location information and the second location information cannot be obtained, the terminal device 10-K obtains the third location information from the GPS device. The terminal device 10-K outputs the position information that it has acquired to the content server 30, and acquires from the content server 30 a virtual object corresponding to the type of the output position information.
  • the storage devices 12 and 12A, the storage devices 22, and the storage devices 32 and 32A are exemplified as ROM, RAM, etc., but flexible disks, magneto-optical disks (e.g. compact disks) , digital versatile discs, Blu-ray discs), smart cards, flash memory devices (e.g. cards, sticks, key drives), CD-ROMs (Compact Disc-ROMs), registers, removable disks, hard disks, A floppy disk, magnetic strip, database, server, or other suitable storage medium.
  • the program may also be transmitted from a network via a telecommunications line. Further, the program may be transmitted from the communication network NET via a telecommunications line.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. which may be referred to throughout the above description, may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may also be represented by a combination of
  • the input/output information may be stored in a specific location (for example, memory) or may be managed using a management table. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • the determination may be made using a value expressed using 1 bit (0 or 1) or a truth value (Boolean: true or false).
  • the comparison may be performed by comparing numerical values (for example, comparing with a predetermined value).
  • each function illustrated in FIGS. 1 to 10 is realized by an arbitrary combination of at least one of hardware and software.
  • the method for realizing each functional block is not particularly limited. That is, each functional block may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g. , wired, wireless, etc.) and may be realized using a plurality of these devices.
  • the functional block may be realized by combining software with the one device or the plurality of devices.
  • the programs exemplified in the above-described embodiments are instructions, instruction sets, codes, codes, regardless of whether they are called software, firmware, middleware, microcode, hardware description language, or by other names. Should be broadly construed to mean a segment, program code, program, subprogram, software module, application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc.
  • software, instructions, information, etc. may be sent and received via a transmission medium.
  • a transmission medium For example, if the software uses wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and/or wireless technology (infrared, microwave, etc.) to create a website, When transmitted from a server or other remote source, these wired and/or wireless technologies are included within the definition of transmission medium.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • the information, parameters, etc. described in this disclosure may be expressed using absolute values, relative values from a predetermined value, or other corresponding information. It may also be expressed as
  • the terminal devices 10-1 to 10-J, the terminal devices 10A-1 to 10A-J, the location information server 20, and the content servers 30 to 30A are mobile stations (MS).
  • MS mobile stations
  • a mobile station is defined by a person skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology.
  • terms such as “mobile station,” “user terminal,” “user equipment (UE),” and “terminal” may be used interchangeably.
  • connection refers to direct or indirect connections between two or more elements. Refers to any connection or combination, including the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other.
  • the coupling or connection between elements may be a physical coupling or connection, a logical coupling or connection, or a combination thereof.
  • connection may be replaced with "access.”
  • two elements may include one or more wires, cables, and/or printed electrical connections, as well as in the radio frequency domain, as some non-limiting and non-inclusive examples. , electromagnetic energy having wavelengths in the microwave and optical (both visible and invisible) ranges.
  • determining and “determining” used in this disclosure may encompass a wide variety of operations.
  • “Judgment” and “decision” include, for example, judging, calculating, computing, processing, deriving, investigating, looking up, search, and inquiry. (e.g., searching in a table, database, or other data structure), and regarding an ascertaining as a “judgment” or “decision.”
  • judgment and “decision” refer to receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, and access.
  • (accessing) may include considering something as a “judgment” or “decision.”
  • judgment and “decision” refer to resolving, selecting, choosing, establishing, comparing, etc. as “judgment” and “decision”. may be included.
  • judgment and “decision” may include regarding some action as having been “judged” or “determined.”
  • judgment (decision) may be read as “assuming", “expecting", “considering”, etc.
  • notification of prescribed information is not limited to explicit notification, but may also be done implicitly (for example, by not notifying the prescribed information). Good too.
  • Output unit 115, 115A... Display control unit, 211... Acquisition unit, 212... Calculation unit, 213... Output unit, 311, 311A... Acquisition unit, 312... Judgment unit, 313, 313A... Output unit, 321... Content data, A, A1-A3...second virtual object, B, B1-B2...first virtual object, PR1-PR3A...control program

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示制御装置は、各々が表示装置の位置を測位する複数の測位装置から出力される複数の位置情報を取得するとともに、サーバから、仮想オブジェクトを取得する取得部と、取得部によって複数の位置情報の各々が取得されたか否かを判定する、複数の測位装置と1対1に対応する複数の判定部と、複数の判定部の判定結果に基づいて、サーバから取得部が取得した前記仮想オブジェクトを表示装置に表示させる表示制御部と、を備える。

Description

表示制御装置
 本発明は、表示制御装置に関する。とりわけ本発明は、位置情報に基づいて、表示装置に仮想オブジェクトを含む仮想空間を表示させる表示制御装置に関する。
 AR(Augmented Reality)技術を用いた表示制御装置は、表示装置に対し、現実空間を仮想的に拡張した拡張現実空間を表示させる。当該表示制御装置が、拡張現実空間において、とりわけ表示装置の使用者の周辺に存在する施設に関するコンテンツを表示させる場合、測位装置が取得した位置情報を用いることがある。
 例えば特許文献1は、AR空間に表示する表示情報を作成した後、当該表示情報を情報利用者が使用する装置に送信するARプラットフォームシステムを開示している。当該ARプラットフォームシステムにおいて、情報提供者が使用する装置は、自身に備わる測位装置が測位した位置情報をプラットフォームに送信する。情報利用者が使用する装置が、プラットフォームに対して表示情報を要求するリクエストを出力すると、プラットフォームは、位置情報が格納されたデータベースを検索した後、情報利用者が使用する装置に表示情報を出力する。
特開2020-166555号公報
 AR空間を表示する表示装置が、測位装置から取得した位置情報を用いる場合、当該測位装置の種類によって、位置情報の精度及び位置情報を利用できる場所が異なってくる。
 そこで本発明は、位置情報を用いて仮想オブジェクトを表示する場合に、当該位置情報を取得した測位装置の種類に応じて、仮想オブジェクトの表示の制御方法を変更する表示制御装置を提供することを目的とする。
 本発明の好適な態様に係る表示制御装置は、各々が表示装置の位置を測位する複数の測位装置から出力される複数の位置情報を取得するとともに、サーバから、仮想オブジェクトを取得する取得部と、前記取得部によって前記複数の位置情報の各々が取得されたか否かを判定する、前記複数の測位装置と1対1に対応する複数の判定部と、前記複数の判定部の判定結果に基づいて、前記サーバから前記取得部が取得した前記仮想オブジェクトを前記表示装置に表示させる表示制御部と、を備える表示制御装置である。
 本発明によれば、位置情報を用いて仮想オブジェクトを表示する場合に、当該位置情報を取得した測位装置の種類に応じて、仮想オブジェクトの表示の制御方法を変更できる。
情報処理システム1の全体構成を示す図。 位置情報サーバ20の構成例を示すブロック図。 コンテンツサーバ30の構成例を示すブロック図。 コンテンツデータベースCDの構成例を示すブロック図。 第2仮想オブジェクトAの例を示す説明図。 第1仮想オブジェクトBの例を示す説明図。 端末装置10-Kの構成例を示すブロック図。 端末装置10-Kの動作を示すフローチャート。 コンテンツサーバ30Aの構成例を示すブロック図。 端末装置10A-Kの動作を示すフローチャート。
1:第1実施形態
 以下、図1~図8を参照しつつ、本発明の第1実施形態に係る表示制御装置としての端末装置10を含む情報処理システム1の構成について説明する。
1-1:第1実施形態の構成
1-1-1:全体構成
 図1は、情報処理システム1の全体構成を示す。図1に示されるように、情報処理システム1は、端末装置10-1、10-2、…10-K、…10-J、位置情報サーバ20、及びコンテンツサーバ30を備える。Jは1以上の整数である。Kは1以上J以下の整数である。本実施形態において、端末装置10-1~10-Jは同一の構成である。但し、構成が同一でない端末装置が含まれても良い。
 情報処理システム1において、端末装置10-1~10-Jと、位置情報サーバ20と、コンテンツサーバ30とは、通信網NETを介して互いに通信可能に接続される。なお、図1において、ユーザUは、端末装置10-Kを利用するものとする。
 位置情報サーバ20は、端末装置10-1~10-Jに対して位置情報を提供する。具体的には、後述のように、端末装置10-1~10-Jは、VPS装置13を備える。位置情報サーバ20は、端末装置10-1~10-Jから取得した画像情報に基づいて、VPS情報を生成する。更に、位置情報サーバ20は、生成したVPS情報を、第1位置情報として端末装置10-1~10-Jに対して提供する。
 コンテンツサーバ30は、通信網NETを介して、端末装置10-1~10-Jに対して各種データ及びクラウドサービスを提供する。とりわけ、コンテンツサーバ30は、端末装置10-1~10-Jに対して、AR空間に表示される各種コンテンツを提供する。
 端末装置10-Kは、当該端末装置10-Kに備わるディスプレイ17、又は当該端末装置10-Kに接続され、ユーザUが頭部に装着するARグラス又はMR(Mixed Reality)グラスに対して、拡張現実空間又は複合現実空間に配置される仮想オブジェクトを表示させる。仮想オブジェクトは、例として、静止画像、動画、3DCGモデル、HTMLファイル、及びテキストファイル等のデータを示す仮想オブジェクト、及びアプリケーションを示す仮想オブジェクトである。ここで、テキストファイルとしては、例として、メモ、ソースコード、日記、及びレシピが挙げられる。また、アプリケーションとしては、例として、ブラウザ、SNSを用いるためのアプリケーション、及びドキュメントファイルを生成するためのアプリケーションが挙げられる。なお、端末装置10-Kは、例として、スマートフォン、及びタブレット等の携帯端末装置であることが好適である。
1-1-2:位置情報サーバの構成
 図2は、位置情報サーバ20の構成例を示すブロック図である。位置情報サーバ20は、処理装置21、記憶装置22、通信装置23、ディスプレイ24、及び入力装置25を備える。位置情報サーバ20が有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。
 処理装置21は、位置情報サーバ20の全体を制御するプロセッサである。また、処理装置21は、例えば、単数又は複数のチップを用いて構成される。処理装置21は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU)を用いて構成される。なお、処理装置21の機能の一部又は全部を、DSP、ASIC、PLD、及びFPGA等のハードウェアを用いて実現してもよい。処理装置21は、各種の処理を並列的又は逐次的に実行する。
 記憶装置22は、処理装置21による読取及び書込が可能な記録媒体である。また、記憶装置22は、処理装置21が実行する制御プログラムPR2を含む複数のプログラムを記憶する。
 また、記憶装置22は、第1位置情報を算出する場合に用いる3DマップデータベースMDを記憶する。3DマップデータベースMDは、3次元マップのデータベースである。後述のように、端末装置10-Kに備わるVPS装置13は、同じく端末装置10-Kに備わる撮像装置15が撮像した、ユーザUの眼前の風景が撮像された画像を示す画像情報を位置情報サーバ20に出力する。位置情報サーバ20に備わる後述の算出部212は、当該画像情報を、3DマップデータベースMDに格納された3次元マップに照合し、ユーザUの現実空間における位置、及びユーザUが現実空間を目視する方向を算出する。
 通信装置23は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置23は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、又は通信モジュール等とも呼ばれる。通信装置23は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置23は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、及びUSBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ24は、画像及び文字情報を表示するデバイスである。ディスプレイ24は、処理装置21の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機EL表示パネル等の各種の表示パネルがディスプレイ24として好適に利用される。
 入力装置25は、情報処理システム1の管理者からの操作を受け付ける機器である。例えば、入力装置25は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置25は、タッチパネルを含んで構成される場合、ディスプレイ24を兼ねてもよい。
 処理装置21は、例えば、記憶装置22から制御プログラムPR2を読み出して実行する。その結果、処理装置21は、取得部211、算出部212、及び出力部213として機能する。
 取得部211は、端末装置10-Kから、当該端末装置10-Kに備わる撮像装置15が撮像した、ユーザUの眼前の風景が撮像された画像を示す画像情報を取得する。
 算出部212は、取得部211が取得した画像情報を、記憶装置22に記憶される3DマップデータベースMDに格納された3次元マップに照合し、ユーザUの現実空間における位置、及びユーザUが現実空間を目視する方向を算出する。より詳細には、算出部212は、上記の画像情報によって示される画像から複数の特徴点を抽出する。また、算出部212は、抽出した特徴点を、3次元マップに含まれる特徴点と照合する。算出部212は、この照合の結果に基づいて、ユーザUの現実空間における位置、及びユーザUが現実空間を目視する方向を算出する。
 出力部213は、算出部212が算出した、ユーザUの現実空間における位置、及びユーザUが現実空間を目視する方向を、端末装置10-Kに出力する。
1-1-3:コンテンツサーバの構成
 図3は、コンテンツサーバ30の構成例を示すブロック図である。コンテンツサーバ30は、処理装置31、記憶装置32、通信装置33、ディスプレイ34、及び入力装置35を備える。コンテンツサーバ30が有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。
 処理装置31は、コンテンツサーバ30の全体を制御するプロセッサである。また、処理装置31は、例えば、単数又は複数のチップを用いて構成される。処理装置31は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU)を用いて構成される。なお、処理装置31の機能の一部又は全部を、DSP、ASIC、PLD、及びFPGA等のハードウェアを用いて実現してもよい。処理装置31は、各種の処理を並列的又は逐次的に実行する。
 記憶装置32は、処理装置31による読取及び書込が可能な記録媒体である。また、記憶装置32は、処理装置31が実行する制御プログラムPR3を含む複数のプログラムを記憶する。
 また、記憶装置32は、端末装置10-Kに提供するコンテンツを格納するコンテンツデータベースCDを記憶する。
 図4は、コンテンツデータベースCDの構成例を示すブロック図である。コンテンツデータベースCDには、端末装置10-Kに提供するコンテンツを示すデータとして、コンテンツデータ321A~コンテンツデータ321Nが格納される。これらコンテンツデータ321A~コンテンツデータ321Nまでのデータの個数は、任意の個数であってよい。また、コンテンツデータ321Aを例にとると、コンテンツデータ321Aは、第1仮想オブジェクトデータ321A-1と第2仮想オブジェクトデータ321A-2を含む。なお、コンテンツデータ321Aに含まれる、第1仮想オブジェクトデータ321A-1と第2仮想オブジェクトデータ321A-2の各々の個数は、任意の個数であってよい。
 後述のように、取得部311は、端末装置10-Kから、第1位置情報としてVPS情報を取得する。また、取得部311は、端末装置10-Kから、第2位置情報としてGPS情報を取得する。第1仮想オブジェクトデータ321A-1は、取得部311が第1位置情報を取得した場合に、後述の出力部313が、端末装置10-Kに対して送信する、第1仮想オブジェクトBを示すデータである。当該第1仮想オブジェクトBは、第1位置情報に対応する。一方、第2仮想オブジェクトデータ321A-2は、取得部311が第1位置情報を取得しない代わりに、第2位置情報を取得した場合に、後述の出力部313が、端末装置10-Kに対して送信する、第2仮想オブジェクトAを示すデータである。当該第2仮想オブジェクトAは、第2位置情報に対応する。
 図5は、第2仮想オブジェクトAの例を示す説明図である。ここでは、端末装置10-Kに備わるディスプレイ17、又は当該端末装置10-Kに接続されるARグラス及びMRグラスのいずれかに、現実空間RSが表示され、当該現実空間RSに対して第2仮想オブジェクトA1~A3が重畳されるものとする。換言すれば、現実空間RSに、第2仮想オブジェクトA1~A3が重畳されて、拡張現実空間又は複合現実空間が構成される。図5において、第2仮想オブジェクトA1及びA2はアイコンである。ユーザUがディスプレイ17上において当該アイコンをクリックするか、ARグラスに表示される拡張現実空間において当該アイコンを指定すると、当該アイコンの下方に位置する設備の情報が表示される。また、第2仮想オブジェクトA3はテキストボックスである。第2仮想オブジェクトA3は、当該テキストボックスの下方に位置する設備が、どのような設備であるかを説明するテキストボックスである。図5に示される例において、これらのアイコン及びテキストボックスは2次元画像である。また、第2仮想オブジェクトA1~A3の表示位置は、各々の第2仮想オブジェクトA1~A3が示す設備の位置を大まかに示すのみである。このように表示位置が大まかになっているのは、第2仮想オブジェクトA1~A3が、第2位置情報であるGPS情報に対応していると共に、GPS情報は、10m程度の誤差が見込まれることを理由とする。上記のように、第2仮想オブジェクトA1~A3は、簡易的なアイコン又はテキストボックスであると共に、当該第2仮想オブジェクトA1~A3によって示される設備のカテゴリを説明するのみである。
 図6は、第1仮想オブジェクトBの例を示す説明図である。ここでは、端末装置10-Kに備わるディスプレイ17、又は当該端末装置10-Kに接続されるARグラス及びMRグラスのいずれかに、現実空間RSが表示され、当該現実空間RSに対して第1仮想オブジェクトB1~B2が重畳されるものとする。換言すれば、現実空間RSに、第1仮想オブジェクトB1~B2が重畳されて、拡張現実空間又は複合現実空間が構成される。第1仮想オブジェクトB1は、当該第1仮想オブジェクトB1が示す設備のフロアガイドである。当該フロアガイドは、画像とテキストの双方を用いて、当該設備に含まれるフロアの詳細な情報を示す3次元画像である。第1仮想オブジェクトB2は仮想的な看板である。当該第1仮想オブジェクトB2は、建物の幅方向に伸長すると共に、当該建物の幅方向の位置と一致して表示される。このように表示位置が精緻になっているのは、第1仮想オブジェクトB1~B2が、第1位置情報であるVPS情報に対応していると共に、VPS情報は、高々1m程度の誤差しか見込まれないことを理由とする。図6に示される例において、第1仮想オブジェクトB1~B2は、用意されている情報の詳細を表示する3次元画像である。
 端末装置10-Kが表示する拡張現実空間又は複合現実空間において、現実空間RSに重畳される仮想オブジェクトは、上記の第1仮想オブジェクトB1~B2と第2仮想オブジェクトA1~A3とを含む。端末装置10-Kは、取得した位置情報が、第1位置情報であるか第2位置情報であるかに基づいて、仮想オブジェクトとして第1仮想オブジェクトB1~B2を表示させるか、第2仮想オブジェクトA1~A3を表示させるかを切り替える。
 図5及び図6に示される例において、第1仮想オブジェクトB1~B2と第2仮想オブジェクトA1~A3を比較すると、上記のように、第1仮想オブジェクトB1~B2が3次元画像である一方で、第2仮想オブジェクトA1~A3は、2次元画像のアイコン又はテキストボックスである。すなわち第1仮想オブジェクトB1~B2と、第2仮想オブジェクトA1~A3とでは、種類が異なる。また、第1仮想オブジェクトB1~B2が示す情報は、第2仮想オブジェクトA1~A3が示す情報に比較して詳細度が高い。具体的には、第1仮想オブジェクトB1~B2によって示される画像は、第2仮想オブジェクトAによって示されるアイコン又はテキストボックスよりも、見た目の点でも、ユーザUに伝える設備に係る情報の点でも、より多くの情報量を含む。また、第1仮想オブジェクトB1~B2は、当該第1仮想オブジェクトB1~B2に対応する設備に対して、実際の建物の形状及び大きさも考慮したピンポイントの位置に表示される。一方で、第2仮想オブジェクトA1~A3は、当該第2仮想オブジェクトA1~A3が対応する設備の位置を大まかに示す位置に表示される。すなわち、第1仮想オブジェクトB1~B2と、第2仮想オブジェクトA1~A3とでは、現実空間に対する表示位置の正確性が異なる。
 また、図5及び図6には示されないが、端末装置10-Kは、例えば、ユーザ間で当該第1仮想オブジェクトB1~B2を共有する場合に、より正確な座標を利用できる。更に、例えばユーザUが、所定の施設へのナビゲーションを必要とする状況において、端末装置10-Kが第2仮想オブジェクトA1~A3を用いる場合には、通行ルートの始点と終点を示す矢印のみを用いた、簡略化した通行ルートを示すのみである。一方で、端末装置10-Kが第1仮想オブジェクトB1~B2を用いる場合には、現実空間に対して、より詳細なルートを重畳できる。
 説明を図3に戻すと、通信装置33は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置33は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置33は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置33は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、USBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ34は、画像及び文字情報を表示するデバイスである。ディスプレイ34は、処理装置31の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機EL表示パネル等の各種の表示パネルがディスプレイ34として好適に利用される。
 入力装置35は、情報処理システム1の管理者からの操作を受け付ける機器である。例えば、入力装置35は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置35は、タッチパネルを含んで構成される場合、ディスプレイ34を兼ねてもよい。
 処理装置31は、例えば、記憶装置32から制御プログラムPR3を読み出して実行する。その結果、処理装置31は、取得部311、判定部312、及び出力部313として機能する。
 取得部311は、通信装置33を介して、端末装置10-Kから位置情報を取得する。
 判定部312は、取得部311が端末装置10-Kから取得した位置情報が、VPS情報に対応する第1位置情報か、GPS情報に対応する第2位置情報かを判定する。
 出力部313は、判定部312の判定結果が第1位置情報であった場合に、コンテンツデータベースCDから、当該第1位置情報に対応する第1仮想オブジェクトデータ321A-1~312N-1のいずれかを読み出す。ここで、「当該第1位置情報に対応する第1仮想オブジェクトデータ321A-1~312N-1のいずれか」とは、「当該第1位置情報によって示される位置を中心とする所定範囲に存在する設備に対応する、第1仮想オブジェクトデータ321A-1~312N-1のいずれか」という意味である。また、出力部313は、コンテンツデータベースCDから読み出した、第1仮想オブジェクトデータ321A-1~312N-1のいずれかによって示される第1仮想オブジェクトBを、端末装置10-Kに送信する。
 一方で、出力部313は、判定部312の判定結果が第2位置情報であった場合に、コンテンツデータベースCDから、当該第2位置情報に対応する第2仮想オブジェクトデータ321A-2~312N-2のいずれかを読み出す。ここで、「当該第2位置情報に対応する第2仮想オブジェクトデータ321A-2~312N-2のいずれか」とは、「当該第2位置情報によって示される位置を中心とする所定範囲に存在する設備に対応する、第2仮想オブジェクトデータ321A-2~312N-2のいずれか」という意味である。また、出力部313は、コンテンツデータベースCDから読み出した、第2仮想オブジェクトデータ321A-2~312N-2のいずれかによって示される第2仮想オブジェクトAを、端末装置10-Kに送信する。
1-1-4:端末装置の構成
 図7は、端末装置10-Kの構成例を示すブロック図である。端末装置10-Kは、処理装置11、記憶装置12、VPS装置13、GPS装置14、撮像装置15、通信装置16、ディスプレイ17、入力装置18、及び慣性センサ19を備える。端末装置10-Kが有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。
 処理装置11は、端末装置10-Kの全体を制御するプロセッサである。また、処理装置11は、例えば、単数又は複数のチップを用いて構成される。処理装置11は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU)を用いて構成される。なお、処理装置11が有する機能の一部又は全部を、DSP、ASIC、PLD、及びFPGA等のハードウェアを用いて実現してもよい。処理装置21は、各種の処理を並列的又は逐次的に実行する。
 記憶装置12は、処理装置11による読取及び書込が可能な記録媒体である。また、記憶装置12は、処理装置11が実行する制御プログラムPR1を含む複数のプログラムを記憶する。また、記憶装置12は、ディスプレイ17に表示される画像を示す画像情報を更に記憶してもよい。
 VPS装置13は、第1位置情報としてのVPS情報を位置情報サーバ20から取得する。より詳細には、VPS装置13は、後述の撮像装置15から、ユーザUの眼前の風景が撮像された画像を示す画像情報を取得する。また、VPS装置13は、撮像装置15から取得した画像情報を、通信装置16を介して、位置情報サーバ20に送信する。更に、VPS装置13は、通信装置16を介して、位置情報サーバ20からVPS情報を取得する。当該VPS情報は、ユーザUの現実空間における位置、及びユーザUが現実空間を目視する方向を含む。なお、VPS装置13は、第1測位装置の一例である。また、VPS装置13が取得するVPS情報は、端末装置10-Kの位置、延いては後述のディスプレイ17又はユーザUの位置を示す第1位置情報である。
 GPS装置14は、複数の衛星からの電波を受信する。また、GPS装置14は、受信した電波から第2位置情報としてのGPS情報を生成する。第2位置情報は、位置を特定できるのであれば、どのような形式であってもよい。第2位置情報は、例えば、端末装置10-Kの緯度と経度とを示す。一例として、第2位置情報としてのGPS情報はGPS装置14から得られる。しかし、端末装置10-Kは、どのような方法を用いて第2位置情報を取得してもよい。取得された第2位置情報は、処理装置11に出力される。なお、GPS装置14は、第2測位装置の一例である。また、GPS装置14が生成するGPS情報は、端末装置10-Kの位置、延いては後述のディスプレイ17又はユーザUの位置を示す第2位置情報である。
 上記のように、第1測位装置としてのVPS装置13と、第2測位装置としてのGPS装置14とでは、測定精度及び測位方式のうち少なくとも1つが互いに異なる。
 撮像装置15は、外界を撮像して得られた撮像情報を出力する。また、撮像装置15は、例えば、レンズ、撮像素子、増幅器、及びAD変換器を備える。レンズを介して集光された光は、撮像素子がアナログ信号である撮像信号に変換する。増幅器は撮像信号を増幅した上でAD変換器に出力する。AD変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置11及びVPS装置13に出力される。なお、後述のように、端末装置10-Kがディスプレイ17を備える代わりに、当該端末装置10-Kに接続されたARグラス又はMRグラスを用いる場合には、当該端末装置10-Kは、撮像装置15に代えて、当該ARグラス又はMRグラスに備わる撮像装置を用いてもよい。
 通信装置16は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置16は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置16は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置16は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、及びUSBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ17は、画像及び文字情報を表示するデバイスである。ディスプレイ17は、処理装置11の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機EL(Electro Luminescence)表示パネル等の各種の表示パネルがディスプレイ17として好適に利用される。なお、端末装置10-Kに、ARグラス及びMRグラスのいずれかが接続される場合、ディスプレイ17は必須の構成要素としなくてもよい。具体的には、当該ARグラス又はMRグラスをディスプレイ17として用いることで、端末装置10-Kにディスプレイ17が備わらない構成としてもよい。ディスプレイ17、ARグラス、及びMRグラスは、表示装置の一例である。
 入力装置18は、ユーザUからの操作を受け付ける。例えば、入力装置18は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置18は、タッチパネルを含んで構成される場合、ディスプレイ17を兼ねてもよい。
 慣性センサ19は、慣性力を検出するセンサである。慣性センサ19は、例えば、加速度センサ、角速度センサ、及びジャイロセンサのうち、1以上のセンサを含む。処理装置11は、慣性センサ19の出力情報に基づいて、端末装置10-Kの姿勢を検出する。更に、処理装置11は、端末装置10-Kの姿勢に基づいて、拡張現実空間又は複合現実空間において、第2仮想オブジェクトA1~A3及び第1仮想オブジェクトB1~B2のうちいずれか1以上の選択、文字の入力、及び指示の入力を受け付ける。例えば、ユーザUが端末装置10-Kの中心軸を拡張現実空間又は複合現実空間の所定領域に向けた状態で、入力装置18を操作すると、所定領域に配置される第2仮想オブジェクトA1~A3又は第1仮想オブジェクトB1~B2が選択される。入力装置18に対するユーザUの操作は、例えば、ダブルタップである。このようにユーザUは端末装置10-Kを操作することで、端末装置10-Kの入力装置18を見なくても第2仮想オブジェクトA1~A3及び第1仮想オブジェクトB1~B2のうちいずれか1以上を選択できる。
 処理装置11は、記憶装置12から制御プログラムPR1を読み出して実行する。その結果、処理装置11は、取得部111、第1判定部112、第2判定部113、出力部114、及び表示制御部115として機能する。
 取得部111は、第1測位装置としてのVPS装置13から第1位置情報としてのVPS情報を取得する。また、取得部111は、第2測位装置としてのGPS装置14から第2位置情報としてのGPS情報を取得する。
 なお、取得部111は、VPS装置13からVPS情報を取得できる場合と、取得できない場合とがある。
 上記のように、VPS装置13は、撮像装置15によって撮像された、ユーザUの眼前の風景が撮像された画像を示す画像情報を位置情報サーバ20に送信する。位置情報サーバ20は、当該画像情報によって示される画像から複数の特徴点を抽出し、抽出した特徴点を、3次元マップに含まれる特徴点と照合する。その後、位置情報サーバ20は、特徴点同士の照合結果に基づいて、ユーザUの現実空間における位置、及びユーザUが現実空間を目視する方向を算出する。ここで、ユーザUの眼前の風景が、例えば、模様のない空間、草原のような視覚的特徴が乏しい場所、季節、天候、及び時間によって変化する風景、階段、石畳、及び格子戸のように同じ模様が続く風景である場合、位置情報サーバ20は、当該風景が撮像された画像から特徴点を抽出できない。この場合、VPS装置13が、ユーザUの眼前の風景が撮像された画像を示す画像情報を位置情報サーバ20に送信しても、VPS情報は得られない。従って、取得部111は、VPS装置13からVPS情報を取得できる場合と、取得できない場合とがある。
 同様に、取得部111は、GPS装置14からGPS情報を取得できる場合と、取得できない場合とがある。上記のように、GPS装置14は複数の衛星からの電波を受信する。また、GPS装置14は受信した電波から位置情報を生成する。従って、電波環境が悪い場合、GPS装置14はGPS情報を生成できない。従って、取得部111は、GPS装置14からGPS情報を取得できる場合と、取得できない場合とがある。
 VPS情報とGPS情報とを比較すると、VPS情報の方がGPS情報よりも位置情報としての精度が高い。従って、VPS情報を利用したAR情報又はMR情報を提供するサービスは、GPS情報を利用したサービスに比較すると、より高精度の位置情報を利用したサービスを展開できる。
 一方で、VPS情報を使用できる場所は、GPS情報を利用できる場所よりも限定的である。従って、GPS情報を利用したAR情報又はMR情報を提供するサービスは、VPS情報を利用したサービスに比較すると、より広範囲に展開できる。
 また、後述のように、取得部111は、コンテンツサーバ30から仮想オブジェクトを取得する。
 第1判定部112は、取得部111が第1位置情報としてのVPS情報が取得できたか否かを判定する。
 第2判定部113は、取得部111が第2位置情報としてのGPS情報が取得できたか否かを判定する。
 出力部114は、第1判定部112の判定結果、及び第2判定部113の判定結果のうち少なくとも一方に基づいて、第1位置情報又は第2位置情報を、通信装置16を介して、コンテンツサーバ30に送信する。より詳細には、取得部111が、第1位置情報としてのVPS情報を取得したと判定された場合には、出力部114は、第1位置情報としてのVPS情報をコンテンツサーバ30に送信する。一方で、取得部111が、第1位置情報としてのVPS情報を取得せず、第2位置情報としてのGPS情報を取得したと判定された場合には、出力部114は、第2位置情報としてのGPS情報をコンテンツサーバ30に出力する。
 上記のように、コンテンツサーバ30は、第1位置情報としてのVPS情報を取得した場合には、第1仮想オブジェクトデータ321A-1~321N-1のうち、取得したVPS情報に対応する第1仮想オブジェクトデータによって示される第1仮想オブジェクトBを、端末装置10-Kに出力する。一方で、コンテンツサーバ30は、第2位置情報としてのGPS情報を取得した場合には、第2仮想オブジェクトデータ321A-2~321N-2のうち、取得したGPS情報に対応する第2仮想オブジェクトデータによって示される第2仮想オブジェクトAを、端末装置10-Kに出力する。コンテンツサーバ30から出力される、第1仮想オブジェクトB又は第2仮想オブジェクトAは、取得部111が取得する。
 表示制御部115は、取得部111が取得した第1仮想オブジェクトB、又は第2仮想オブジェクトAを、ディスプレイ17に表示させる。端末装置10-Kがディスプレイ17の代わりに、当該端末装置10-Kに接続されるARグラス及びMRグラスのいずれかを備える場合には、表示制御部115は、上記の第1仮想オブジェクトB又は第2仮想オブジェクトAを、当該ARグラス及び当該MRグラスのいずれかに表示させる。
 換言すれば、表示制御部115は、第1判定部112の判定結果及び第2判定部113の判定結果に基づいて、取得部111がコンテンツサーバ30から取得した仮想オブジェクトを、ディスプレイ17、ARグラス、及びMRグラスのうちいずれかの表示装置に表示させる。
 この結果、端末装置10-Kは、上記の構成を備えるので、位置情報を用いて仮想オブジェクトを表示する場合に、当該位置情報を取得した測位装置の種類に応じて、仮想オブジェクトの表示の制御方法を変更できる。
 表示制御部115は、第1判定部112の判定結果が肯定である場合、第1仮想オブジェクトBを上記の表示装置に表示させる。また、表示制御部115は、第1判定部112の判定結果が否定、且つ第2判定部113の判定結果が肯定である場合、第2仮想オブジェクトAを上記の表示装置に表示させる。
 とりわけ、表示制御部115は、第2仮想オブジェクトAが、ディスプレイ17、ARグラス、及びMRグラスのうちいずれかの表示装置に表示されている状態において、第1判定部112の判定結果が否定から肯定に遷移した場合、第2仮想オブジェクトAの替わりに第1仮想オブジェクトBを上記の表示装置に表示させることが好適である。
 この結果、端末装置10-Kは、第2仮想オブジェクトAを表示装置に表示させている最中に、第1位置情報を取得した場合に、第1位置情報に対応した第1仮想オブジェクトBの表示に切り替えられる。
 また、表示制御部115は、とりわけ第1判定部112の判定結果が肯定である場合に、第1位置情報とユーザUに関する使用者情報に基づいて、仮想オブジェクトを、ディスプレイ17、ARグラス、及びMRグラスのうちいずれかの表示装置に表示させてもよい。ここで、「ユーザUに関する使用者情報」とは、例えば、現実空間RSにおけるユーザUの行動に関する情報である。また、「ユーザUの行動に関する情報」とは、例えばユーザUの移動に関する情報である。
 一例として、ユーザUから所定距離以内にある複数の設備に関する第2仮想オブジェクトAが複数表示されている状況において、取得部111がVPS情報を取得した場合に、ユーザUの現在位置から当該複数の設備までの詳細なルートが複数表示されてしまうと、表示装置における表示内容が煩雑になってしまう。このため、表示制御部115は、ユーザUの移動方向を加味した結果、一つのルートのみを選択し、一つの詳細ルートのみを表示装置に表示させてもよい。
 あるいは、取得部111がVPS情報を取得した場合に、ユーザUから所定距離以内にある複数の設備に関する第1仮想オブジェクトBを複数表示させられるものの、ユーザUが、VPS情報によって示される場所を高速で通過するのみの場合には、表示制御部115は、第1仮想オブジェクトBの代わりに第2仮想オブジェクトAを複数表示させてもよい。
 この結果、端末装置10-Kは、例えば当該端末装置10-KのユーザUの行動に合わせて、仮想オブジェクトを表示装置に表示させられる。
 また、上記のように、第1仮想オブジェクトBと第2仮想オブジェクトAとでは、当該仮想オブジェクトの種類、当該仮想オブジェクトが示す情報の詳細度、及び現実空間に対して重畳される仮想オブジェクトの、当該現実空間に対する表示位置の正確性が異なる。すなわち、表示制御部115は、第1仮想オブジェクトB又は第2仮想オブジェクトAのうちいずれかを表示装置に表示させることで、表示させる仮想オブジェクトの種類、当該仮想オブジェクトが示す情報の詳細度、及び当該仮想オブジェクトの現実空間に対する表示位置の正確性を制御すると言える。
 この結果、端末装置10-Kは、第1位置情報と第2位置情報のいずれを取得したかに応じて、仮想オブジェクトの表示態様を変更できる。
 更に、取得部111が、VPS装置13から第1位置情報としてのVPS情報を取得する場合、当該取得部111は、当該VPS情報に含まれる、ユーザUが現実空間を目視する方向に関する目視情報を取得することとなる。表示制御部115は、当該目視情報を用いて、ディスプレイ17、ARグラス、及びMRグラスのうちいずれかの表示装置に、仮想オブジェクト、とりわけ第1仮想オブジェクトBを表示させてもよい。
 この結果、端末装置10-Kは、当該端末装置10-KのユーザUが目視する方向を加味した結果、仮想オブジェクトを表示装置に表示させられる。
1-2:第1実施形態の動作
 図8は、第1実施形態に係る情報処理システム1に含まれる端末装置10-Kの動作を示すフローチャートである。以下、図8を参照しつつ、端末装置10-Kの動作について説明する。
 ステップS1において、端末装置10-Kに備わる処理装置11は、第1判定部112として機能する。処理装置11は、取得部111が、第1測位装置としてのVPS装置13から出力される第1位置情報を取得したか否かを判定する。判定結果が肯定である場合には、処理装置11はステップS2の処理を実行する。判定結果が否定である場合には、処理装置11はステップS5の処理を実行する。
 ステップS2において、端末装置10-Kに備わる処理装置11は、出力部114として機能する。処理装置11は、第1位置情報をコンテンツサーバ30に送信する。
 ステップS3において、端末装置10-Kに備わる処理装置11は、取得部111として機能する。処理装置11は、コンテンツサーバ30から、第1仮想オブジェクトデータ321A-1~321N-1のうち、ステップS2において送信した第1位置情報に対応する第1仮想オブジェクトデータが示す第1仮想オブジェクトBを取得する。
 ステップS4において、端末装置10-Kに備わる処理装置11は、表示制御部115として機能する。処理装置11は、ステップS3において取得した第1仮想オブジェクトBを、ディスプレイ17、ARグラス、及びMRグラスのうちいずれかの表示装置に表示させる。その後、処理装置11は、ステップS1の処理を実行する。
 ステップS5において、端末装置10-Kに備わる処理装置11は、第2判定部113として機能する。処理装置11は、取得部111が、第2測位装置としてのGPS装置14から出力される第2位置情報を取得したか否かを判定する。判定結果が肯定である場合には、処理装置11はステップS6の処理を実行する。判定結果が否定である場合には、処理装置11はステップS1の処理を実行する。
 ステップS6において、端末装置10-Kに備わる処理装置11は、出力部114として機能する。処理装置11は、第2位置情報をコンテンツサーバ30に送信する。
 ステップS7において、端末装置10-Kに備わる処理装置11は、取得部111として機能する。処理装置11は、コンテンツサーバ30から、第2仮想オブジェクトデータ321A-2~321N-2のうち、ステップS6において送信した第2位置情報に対応する第2仮想オブジェクトデータが示す第2仮想オブジェクトAを取得する。
 ステップS8において、端末装置10-Kに備わる処理装置11は、表示制御部115として機能する。処理装置11は、ステップS7において取得した第2仮想オブジェクトAを、ディスプレイ17、ARグラス、及びMRグラスのうちいずれかの表示装置に表示させる。その後、処理装置11は、ステップS1の処理を実行する。
1-3:第1実施形態が奏する効果
 以上の説明によれば、表示制御装置としての端末装置10-Kは、取得部111を備える。取得部111は、各々が、表示装置としてのディスプレイ17、ARグラス、又はMRグラスの位置を測位する複数の測位装置から出力される複数の位置情報と、仮想オブジェクトと、を取得する。より具体的には、取得部111は、表示装置としてのディスプレイ17、ARグラス、又はMRグラスの位置を測位する第1測位装置から出力される、第1位置情報を取得する。また、取得部111は、上記の表示装置の位置を測位する第2測位装置から出力される、第2位置情報としてのGPS情報を取得する。また、端末装置10-Kは、複数の判定部を備える。当該複数の判定部は、取得部111が複数の位置情報の各々を取得したか否かを判定する。より具体的には、端末装置10-Kは、第1判定部112と、第2判定部113とを備える。第1判定部112は、取得部111が、第1位置情報を取得したか否かを判定する。第2判定部113は、取得部111が、第2位置情報を判定したか否かを判定する。また、端末装置10-Kは、表示制御部115を備える。当該表示制御部115は、複数の判定部の判定結果に基づいて、コンテンツサーバ30から取得した仮想オブジェクトを表示装置に表示させる。より具体的には、表示制御部115は、第1判定部112の判定結果及び第2判定部113の判定結果に基づいて、コンテンツサーバ30から取得した仮想オブジェクトを表示装置に表示させる。
 端末装置10-Kは、上記の構成を備えるので、位置情報を用いて仮想オブジェクトを表示する場合に、当該位置情報を取得した測位装置の種類に応じて、仮想オブジェクトの表示の制御方法を変更できる。例えば、端末装置10-Kが、第1測位装置としてのVPS装置13から出力される、第1位置情報としてのVPS情報を取得すると共に、第2測位装置としてのGPS装置14から出力される、第2位置情報としてのGPS情報を取得する場合に、取得状況に応じて、VPS情報とGPS情報のいずれかに対応させた仮想オブジェクトを表示できる。
 また以上の説明によれば、端末装置10-Kにおいて、表示制御部115は、上記の複数の判定部の判定結果に基づいて、仮想オブジェクトの種類、仮想オブジェクトが示す情報の詳細度、及び現実空間に対して重畳される仮想オブジェクトの、現実空間に対する表示位置の正確性のうち少なくとも1つを制御する。より具体的には、端末装置10-Kにおいて、表示制御部は、第1判定部112の判定結果及び第2判定部113の判定結果に基づいて、仮想オブジェクトの種類、仮想オブジェクトが示す情報の詳細度、及び現実空間に対して重畳される仮想オブジェクトの、現実空間に対する表示位置の正確性のうち少なくとも1つを制御する。
 端末装置10-Kは、上記の構成を備えるので、第1位置情報と第2位置情報のいずれの位置情報を取得したかに応じて、仮想オブジェクトの表示態様を変更できる。例えば、第1位置情報がVPS情報で、第2位置情報がGPS情報である場合に、端末装置10-Kは、第1位置情報を取得できた場合に、第2位置情報を取得した場合に比較して、より情報量の多い仮想オブジェクトを、現実空間に対して精緻に合わせた位置に表示できる。
 また以上の説明によれば、端末装置10-Kにおいて、上記の複数の測定装置、具体的には、第1測位装置及び第2測位装置は、測定精度及び測位方式のうち少なくとも1つが互いに異なる。
 端末装置10-Kは、上記の構成を備えるので、例えば、VPS装置とGPS装置のように、複数の異なる種類の測位装置を備えられる。更には、端末装置10-Kは、測位装置から取得した測定値の測定精度及び測位方式のうち少なくとも1つに合わせて、仮想オブジェクトを表示させられる。
 また以上の説明によれば、端末装置10-Kにおいて、取得部111は、上記の表示装置の使用者が現実空間RSを目視する方向に関する目視情報を取得する。表示制御部115は、上記の目視情報を用いて、仮想オブジェクトを上記の表示装置に表示させる。
 端末装置10-Kは、上記の構成を備えるので、当該端末装置10-KのユーザUが目視する方向を加味した結果、仮想オブジェクトを表示装置に表示させられる。
 また以上の説明によれば、端末装置10-Kにおいて、上記の複数の位置情報は、第1位置情報を含む。複数の判定部は、第1位置情報が取得されたか否かを判定する第1判定部112を含む。表示制御部115は、第1判定部112の判定結果が肯定である場合、第1位置情報、及び上記の表示装置の使用者に関する使用者情報に基づいて、仮想オブジェクトを表示させる。
 端末装置10-Kは、上記の構成を備えるので、例えば当該端末装置10-KのユーザUの行動に合わせて、仮想オブジェクトを表示装置に表示させられる。
 また以上の説明によれば、端末装置10-Kにおいて、上記の複数の位置情報は、第1位置情報及び第2位置情報を含む。複数の判定部は、第1位置情報が取得されたか否かを判定する第1判定部112を含む。仮想オブジェクトは、第1位置情報に対応する第1仮想オブジェクトBと、第2位置情報に対応する第2仮想オブジェクトAを含む。取得部111は、第1仮想オブジェクトBと第2仮想オブジェクトAとを取得する。表示制御部115は、第2仮想オブジェクトAが上記の表示装置に表示されている状態において、第1判定部112の判定結果が否定から肯定に遷移した場合、第2仮想オブジェクトAの替わりに第1仮想オブジェクトBを上記の表示装置に表示させる。
 端末装置10-Kは、上記の構成を備えるので、第2仮想オブジェクトAを表示装置に表示させている最中に、第1位置情報を取得した場合に、第1位置情報に対応した第1仮想オブジェクトBの表示に切り替えられる。
2:第2実施形態
 以下、図9~図10を参照しつつ、本発明の第2実施形態に係る表示制御装置としての端末装置10A-Kを含む情報処理システム1Aの構成について説明する。なお、以下の説明では、説明の簡略化を目的に、第2実施形態に係る情報処理システム1Aが備える構成要素のうち、第1実施形態に係る情報処理システム1と同一の構成要素については、同一の符号を用いると共に、その説明を省略することがある。
2-1:第2実施形態の構成
2-1-1:全体構成
 本発明の第2実施形態に係る情報処理システム1Aは、第1実施形態に係る情報処理システム1に比較して、端末装置10の代わりに端末装置10Aを、コンテンツサーバ30の代わりにコンテンツサーバ30Aを備える点で異なる。それ以外の点では、情報処理システム1Aの全体構成は、図1に示される第1実施形態に係る情報処理システム1の全体構成と同一であるので、その図示と説明を省略する。
 第1実施形態に係る情報処理システム1において、端末装置10-Kは、第1位置情報としてのVPS情報、又は第2位置情報としてのGPS情報をコンテンツサーバ30に送信していた。また、端末装置10-Kが、第1位置情報としてのVPS情報をコンテンツサーバ30に送信した場合には、コンテンツサーバ30から第1仮想オブジェクトデータ321A-1~321N-1のうち、当該VPS情報に対応する第1仮想オブジェクトデータが示す第1仮想オブジェクトBを取得していた。一方で、端末装置10-Kが、第2位置情報としてのGPS情報をコンテンツサーバ30に送信した場合には、コンテンツサーバ30から第2仮想オブジェクトデータ321A-2~321N-2のうち、当該GPS情報に対応する第2仮想オブジェクトデータが示す第2仮想オブジェクトAを取得していた。
 一方で、第2実施形態に係る情報処理システム1Aにおいて、端末装置10A-Kは、第1位置情報としてのVPS情報、及び第2位置情報としてのGPS情報のうち少なくとも一方を含む位置情報をコンテンツサーバ30に送信する。また、端末装置10A-Kは、第1仮想オブジェクトデータと第2仮想オブジェクトデータとの双方を含むコンテンツデータ321A~321Nのうち、当該位置情報に対応するコンテンツデータ321を取得する。その後、端末装置10A-Kは、第1判定部112の判定結果、及び第2判定部113の判定結果に基づいて、第1仮想オブジェクトBと第2仮想オブジェクトAのうちいずれか一方を表示装置に表示させる。
2-1-2:端末装置の構成
 端末装置10A-Kは端末装置10-Kと異なり、処理装置11の代わりに処理装置11Aを、記憶装置12の代わりに記憶装置12Aを備える。
 記憶装置12Aは、記憶装置12と異なり、制御プログラムPR1の代わりに制御プログラムPR1Aを記憶する。処理装置11Aは、処理装置11と異なり、取得部111の代わりに取得部111Aを、出力部114の代わりに出力部114Aを、表示制御部115の代わりに表示制御部115Aを備える。その他の点で、端末装置10A-Kの構成は、図7に示される端末装置10-Kの構成と同一であるので、その図示を省略する。
 出力部114Aは、第1位置情報及び第2位置情報の少なくとも一方を含む位置情報を、通信装置16を介して、コンテンツサーバ30Aに送信する。
 取得部111Aは、コンテンツサーバ30Aから、コンテンツデータ321A~321Nのうち、出力部114Aが送信した位置情報に対応するコンテンツデータ321を取得する。ここで、「出力部114Aが送信した位置情報に対応するコンテンツデータ321」とは、「当該位置情報によって示される位置を中心とする所定範囲に存在する設備に対応するコンテンツデータ321」という意味である。当該コンテンツデータ321は、第1仮想オブジェクトデータと第2仮想オブジェクトデータとを含む。すなわち、取得部111Aは、コンテンツサーバ30Aから、第1仮想オブジェクトデータが示す第1仮想オブジェクトBと、第2仮想オブジェクトデータが示す第2仮想オブジェクトAとの双方を取得する。
 表示制御部115Aは、第1判定部112の判定結果が肯定である場合、第1仮想オブジェクトBを、ディスプレイ17、又は、端末装置10A-Kに接続されるARグラス及びMRグラスのうちいずれかの表示装置に表示させる。一方で、表示制御部115Aは、第1判定部112の判定結果が否定、且つ第2判定部113の判定結果が肯定である場合、第2仮想オブジェクトAを上記の表示装置に表示させる。
 この結果、端末装置10A-Kは、コンテンツサーバ30Aから、第1仮想オブジェクトBと第2仮想オブジェクトAの双方を並行して取得しておき、第1位置情報と第2位置情報の各々の取得の可否に合わせて、表示する仮想オブジェクトを、第1仮想オブジェクトBと第2仮想オブジェクトAとの間で切り替えられる。
2-1-3:コンテンツサーバの構成
 図9は、コンテンツサーバ30Aの構成例を示すブロック図である。コンテンツサーバ30Aはコンテンツサーバ30と異なり、処理装置31の代わりに処理装置31Aを、記憶装置32の代わりに記憶装置32Aを備える。
 記憶装置32Aは、記憶装置32と異なり、制御プログラムPR3の代わりに制御プログラムPR3Aを記憶する。
 処理装置31Aは、処理装置31に備わる取得部311の代わりに取得部311Aを、出力部313の代わりに出力部313Aを備える。また、処理装置31Aは、処理装置31に備わる判定部312を必須の構成要素としない。
 取得部311Aは、第1位置情報及び第2位置情報の少なくとも一方を含む位置情報を、通信装置33を介して、端末装置10A-Kから取得する。
 出力部313Aは、コンテンツデータ321A~321Nのうち、取得部311Aが取得した位置情報に対応するコンテンツデータ321を、通信装置33を介して、端末装置10A-Kに送信する。
2-2:第2実施形態の動作
 図10は、第2実施形態に係る情報処理システム1Aに含まれる端末装置10A-Kの動作を示すフローチャートである。以下、図10を参照しつつ、端末装置10A-Kの動作について説明する。
 ステップS11において、端末装置10A-Kに備わる処理装置11Aは、出力部114Aとして機能する。処理装置11Aは、第1位置情報と第2位置情報のうち少なくとも一方を含む位置情報を、コンテンツサーバ30Aに送信する。
 ステップS12において、端末装置10A-Kに備わる処理装置11Aは、取得部111Aとして機能する。処理装置11Aは、コンテンツサーバ30Aから、コンテンツデータ321A~321Nのうち、ステップS11において送信した位置情報に対応するコンテンツデータ321を取得する。
 ステップS13において、端末装置10A-Kに備わる処理装置11Aは、第1判定部112として機能する。処理装置11Aは、取得部111Aが、第1測位装置としてのVPS装置13から出力される第1位置情報を取得したか否かを判定する。判定結果が肯定である場合には、処理装置11AはステップS14の処理を実行する。判定結果が否定である場合には、処理装置11AはステップS15の処理を実行する。
 ステップS14において、端末装置10A-Kに備わる処理装置11Aは、表示制御部115Aとして機能する。処理装置11Aは、ステップS12において取得したコンテンツデータ321に含まれる第1仮想オブジェクトデータが示す第1仮想オブジェクトBを、ディスプレイ17、ARグラス、及びMRグラスのうちいずれかの表示装置に表示させる。その後、処理装置11Aは、ステップS11の処理を実行する。
 ステップS15において、端末装置10A-Kに備わる処理装置11Aは、第2判定部113として機能する。処理装置11Aは、取得部111Aが、第2測位装置としてのGPS装置14から出力される第2位置情報を取得したか否かを判定する。判定結果が肯定である場合には、処理装置11AはステップS16の処理を実行する。判定結果が否定である場合には、処理装置11AはステップS11の処理を実行する。
 ステップS16において、端末装置10A-Kに備わる処理装置11Aは、表示制御部115Aとして機能する。処理装置11Aは、ステップS12において取得したコンテンツデータ321に含まれる第2仮想オブジェクトデータが示す第2仮想オブジェクトAを、ディスプレイ17、ARグラス、及びMRグラスのうちいずれかの表示装置に表示させる。その後、処理装置11Aは、ステップS11の処理を実行する。
2-3:第2実施形態が奏する効果
 以上の説明によれば、表示制御装置としての端末装置10A-Kにおいて、上記の複数の位置情報は、第1位置情報及び第2位置情報を含む。また、上記の複数の判定部は、第1位置情報が取得されたか否かを判定する第1判定部112と、第2位置情報が取得されたか否かを判定する第2判定部113とを含む。仮想オブジェクトは、第1位置情報に対応する第1仮想オブジェクトBと、第2位置情報に対応する第2仮想オブジェクトAと、を含む。取得部111Aは、第1仮想オブジェクトBと、第2仮想オブジェクトAと、を取得する。表示制御部115Aは、第1判定部112の判定結果が肯定である場合、第1仮想オブジェクトBを上記の表示装置に表示させる。また、表示制御部115Aは、第1判定部112の判定結果が否定、且つ第2判定部113の判定結果が肯定である場合、第2仮想オブジェクトAを上記の表示装置に表示させる。
 端末装置10A-Kは、上記の構成を備えるので、コンテンツサーバ30Aから、第1仮想オブジェクトBと第2仮想オブジェクトAの双方を並行して取得しておき、第1位置情報と第2位置情報の各々の取得の可否に合わせて、表示する仮想オブジェクトを、第1仮想オブジェクトBと第2仮想オブジェクトAとの間で切り替えられる。
3:変形例
 本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を併合してもよい。
3-1:変形例1
 第1実施形態において、端末装置10-Kは、VPS装置13とGPS装置14との2つの測位装置を備えていた。また、端末装置10-Kは、これら2つの測位装置の各々に対応する第1判定部112と第2判定部113とを備えていた。しかし、端末装置10-Kが備える測位装置の数は2つに限定されず、3つ以上であってもよい。
 例えば、端末装置10-Kは2つのVPS装置と、1つのGPS装置とを備えてもよい。この場合、端末装置10-Kは、例えば、2つのVPS装置のうち、より精度の高いVPS装置から第1の位置情報を取得できたか否かを判断する。第1の位置情報を取得できなかった場合には、端末装置10-Kは、2つのVPS装置のうち、より精度の低いVPS装置から第2の位置情報が取得できたか否かを判断する。第1の位置情報及び第2の位置情報の双方を取得できなかった場合には、端末装置10-Kは、GPS装置から第3の位置情報を取得する。端末装置10-Kは、自身が取得できた位置情報をコンテンツサーバ30に出力し、コンテンツサーバ30から、出力した位置情報の種類に対応する仮想オブジェクトを取得する。
4:その他
(1)上述した実施形態では、記憶装置12及び12A、記憶装置22、並びに記憶装置32及び32Aは、ROM及びRAMなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網NETから送信されてもよい。
(2)上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
(3)上述した実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
(4)上述した実施形態において、判定は、1ビットを用いて表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
(5)上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
(6)図1~図10に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
(7)上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
 また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
(8)前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
(9)本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
(10)上述した実施形態において、端末装置10-1~10-J、端末装置10A-1~10A-J、位置情報サーバ20、及びコンテンツサーバ30~30Aは、移動局(MS:Mobile Station)である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語によって呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末(user terminal)」、「ユーザ装置(UE:User Equipment)」、「端末」等の用語は、互換的に使用され得る。
(11)上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含められる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えられる。
(12)上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
(13)本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などによって読み替えられてもよい。
(14)上述した実施形態において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
(15)本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
(16)本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
(17)本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行う通知に限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
 以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
1、1A…情報処理システム、10、10A…端末装置、11、11A…処理装置、12、12A…記憶装置、13…VPS装置、14…GPS装置、15…撮像装置、16…通信装置、17…ディスプレイ、18…入力装置、19…慣性センサ、20…位置情報サーバ、21…処理装置、22…記憶装置、23…通信装置、24…ディスプレイ、25…入力装置、30~30A…コンテンツサーバ、31、31A…処理装置、32、32A…記憶装置、33…通信装置、34…ディスプレイ、35…入力装置、111、111A…取得部、112…第1判定部、113…第2判定部、114、114A…出力部、115、115A…表示制御部、211…取得部、212…算出部、213…出力部、311、311A…取得部、312…判定部、313、313A…出力部、321…コンテンツデータ、A、A1~A3…第2仮想オブジェクト、B、B1~B2…第1仮想オブジェクト、PR1~PR3A…制御プログラム

Claims (7)

  1.  各々が表示装置の位置を測位する複数の測位装置から出力される複数の位置情報を取得するとともに、サーバから、仮想オブジェクトを取得する取得部と、
     前記取得部によって前記複数の位置情報の各々が取得されたか否かを判定する、前記複数の測位装置と1対1に対応する複数の判定部と、
     前記複数の判定部の判定結果に基づいて、前記サーバから前記取得部が取得した前記仮想オブジェクトを前記表示装置に表示させる表示制御部と、を備える表示制御装置。
  2.  前記表示制御部は、前記複数の判定部の判定結果に基づいて、前記仮想オブジェクトの種類、前記仮想オブジェクトの示す情報の詳細度、及び現実空間に対して重畳される前記仮想オブジェクトの、前記現実空間に対する表示位置の正確性のうち少なくとも1つを制御する、請求項1に記載の表示制御装置。
  3.  前記複数の測位装置は、測定精度及び測位方式のうち少なくとも1つが互いに異なる、請求項1又は請求項2に記載の表示制御装置。
  4.  前記取得部は、前記表示装置の使用者が現実空間を目視する方向に関する目視情報を取得し、
     前記表示制御部は、前記目視情報を用いて前記仮想オブジェクトを前記表示装置に表示させる、請求項1から請求項3のいずれか1項に記載の表示制御装置。
  5.  前記複数の位置情報は、第1位置情報を含み、
     前記複数の判定部は、前記第1位置情報が取得されたか否かを判定する第1判定部を含み、
     前記表示制御部は、前記第1判定部の判定結果が肯定である場合、前記第1位置情報及び前記表示装置の使用者に関する使用者情報に基づいて、前記仮想オブジェクトを表示させる、請求項4に記載の表示制御装置。
  6.  前記複数の位置情報は、第1位置情報及び第2位置情報を含み、
     前記複数の判定部は、前記第1位置情報が取得されたか否かを判定する第1判定部と、前記第2位置情報が取得されたか否かを判定する第2判定部とを含み、
     前記仮想オブジェクトは、前記第1位置情報に対応する第1仮想オブジェクトと、前記第2位置情報に対応する第2仮想オブジェクトと、を含み、
     前記表示制御部は、前記第1判定部の判定結果が肯定である場合、前記第1仮想オブジェクトを前記表示装置に表示させ、前記第1判定部の判定結果が否定、且つ前記第2判定部の判定結果が肯定である場合、前記第2仮想オブジェクトを前記表示装置に表示させる、
     請求項4に記載の表示制御装置。
  7.  前記複数の位置情報は、第1位置情報及び第2位置情報を含み、
     前記複数の判定部は、前記第1位置情報が取得された否かを判定する第1判定部を含み、
     前記仮想オブジェクトは、前記第1位置情報に対応する第1仮想オブジェクトと、前記第2位置情報に対応する第2仮想オブジェクトと、を含み、
     前記表示制御部は、前記第2仮想オブジェクトが前記表示装置に表示されている状態において、前記第1判定部の判定結果が否定から肯定に遷移した場合、前記第2仮想オブジェクトの替わりに前記第1仮想オブジェクトを前記表示装置に表示させる、
     請求項1から請求項4のいずれか1項に記載の表示制御装置。
PCT/JP2023/005988 2022-03-08 2023-02-20 表示制御装置 WO2023171341A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022035217 2022-03-08
JP2022-035217 2022-03-08

Publications (1)

Publication Number Publication Date
WO2023171341A1 true WO2023171341A1 (ja) 2023-09-14

Family

ID=87936871

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/005988 WO2023171341A1 (ja) 2022-03-08 2023-02-20 表示制御装置

Country Status (1)

Country Link
WO (1) WO2023171341A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020157995A1 (ja) * 2019-01-28 2020-08-06 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
JP2021077384A (ja) * 2021-01-06 2021-05-20 株式会社三井住友銀行 Arプラットフォームシステム、方法およびプログラム
JP2021169990A (ja) * 2020-04-17 2021-10-28 Kddi株式会社 測位システム、方法及びプログラム
JP2021190082A (ja) * 2020-05-26 2021-12-13 株式会社Magic コンピュータプログラム、情報処理装置、情報処理システム、拡張現実画像表示方法及び情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020157995A1 (ja) * 2019-01-28 2020-08-06 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
JP2021169990A (ja) * 2020-04-17 2021-10-28 Kddi株式会社 測位システム、方法及びプログラム
JP2021190082A (ja) * 2020-05-26 2021-12-13 株式会社Magic コンピュータプログラム、情報処理装置、情報処理システム、拡張現実画像表示方法及び情報処理方法
JP2021077384A (ja) * 2021-01-06 2021-05-20 株式会社三井住友銀行 Arプラットフォームシステム、方法およびプログラム

Similar Documents

Publication Publication Date Title
US8798323B2 (en) Mobile imaging device as navigator
EP2748561B1 (en) Method, apparatus and computer program product for displaying items on multiple floors in multi-level maps
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
CN106416318B (zh) 确定与邻近计算设备相关联的数据的方法、设备和系统
US10475224B2 (en) Reality-augmented information display method and apparatus
EP3467790A1 (en) Information processing device, information processing method, and storage medium
CN110473293B (zh) 虚拟对象处理方法及装置、存储介质和电子设备
US20120044264A1 (en) Apparatus and method for providing augmented reality
US20180089869A1 (en) System and Method For Previewing Indoor Views Using Augmented Reality
US20160212591A1 (en) Exhibition guide apparatus, exhibition display apparatus, mobile terminal, and exhibition guide method
KR20160087276A (ko) 전시 안내 장치, 전시 미디어 디스플레이 장치 및 단말 장치와 전시 안내 방법
Kasapakis et al. Augmented reality in cultural heritage: Field of view awareness in an archaeological site mobile guide
KR20130053535A (ko) 무선 통신 디바이스를 이용한 건물 내부의 증강현실 투어 플랫폼 서비스 제공 방법 및 장치
CN112101339A (zh) 地图兴趣点的信息获取方法、装置、电子设备和存储介质
CN110619085B (zh) 信息处理方法和装置
CN107480173B (zh) Poi信息的展示方法及装置、设备及可读介质
CN109218982A (zh) 景点信息获取方法、装置、移动终端以及存储介质
CN111737603A (zh) 用于判断兴趣点是否可视的方法、装置、电子设备以及存储介质
US9589358B1 (en) Determination of point of interest views from selected vantage points
US20110122132A1 (en) Apparatus and method of managing objects and events with vector-based geographic information system
WO2023171341A1 (ja) 表示制御装置
KR20200127107A (ko) 증강현실을 이용한 지역 상권 데이터 가시화 시스템
CN113654548A (zh) 定位方法、装置、电子设备及存储介质
WO2023074852A1 (ja) 情報処理装置
Gómez et al. A system to enable level-of-detail mobile interaction with augmented media objects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766520

Country of ref document: EP

Kind code of ref document: A1