WO2023074852A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2023074852A1
WO2023074852A1 PCT/JP2022/040396 JP2022040396W WO2023074852A1 WO 2023074852 A1 WO2023074852 A1 WO 2023074852A1 JP 2022040396 W JP2022040396 W JP 2022040396W WO 2023074852 A1 WO2023074852 A1 WO 2023074852A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
information
position information
wearable device
self
Prior art date
Application number
PCT/JP2022/040396
Other languages
English (en)
French (fr)
Inventor
健介 上田
信貴 松嶌
勇一 水越
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023074852A1 publication Critical patent/WO2023074852A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to an information processing device.
  • MR Mated Reality
  • the real environment perceived by the user is augmented by a computer.
  • this technology for example, it is possible to precisely superimpose the virtual space on the real space that the user sees through the MR glasses worn on the head.
  • Patent Document 1 discloses a technology for replacing the position coordinates of the virtual space with the latitude, longitude, and altitude information of the real space.
  • the measurement processing device is a position specifying device that measures latitude, longitude, and altitude. Get the position coordinates in .
  • the measurement processor also images the localization device.
  • the measurement processing device generates a correspondence table by associating the position coordinates in the virtual space of the photographed position specifying device with the position coordinates in the real space of the measurement points.
  • the measurement processing device converts the coordinates of the three-dimensional point cloud data in the virtual space into position coordinates in the real space using a predetermined conversion formula generated using the correspondence table.
  • the measurement processing device calculates the coordinates of the three-dimensional point cloud data in the virtual space. , it cannot be converted to the coordinates of the real space accurately. Therefore, when the technique according to Patent Document 1 is applied to the MR glasses, the real space and the virtual space do not precisely overlap with each other in the MR glasses. For example, the virtual object displayed on the MR glasses is displayed at a position different from the position intended by the service provider of the virtual space.
  • an object of the present invention is to provide an information processing apparatus that enables MR glasses to acquire a more accurate self-position when acquiring the self-position.
  • An information processing device stores imaging information indicating a captured image captured by an imaging device, imaging position information indicating the position of the imaging device, and provisional position information indicating the position of a wearable device.
  • an acquisition unit that acquires; an identification unit that identifies a person wearing the wearable device from one or more person images included in the captured image based on the imaging information and the provisional position information; and the imaging position information.
  • a calculation unit that calculates self-position information indicating the position of the wearable device worn by the person identified by the identification unit, an output unit that supplies the self-position information to the wearable device, and wherein accuracy of the imaging position information is higher than accuracy of the provisional position information.
  • a more accurate self-position can be obtained when the MR glasses obtain the self-position.
  • FIG. 1 is a block diagram showing a configuration example of a wearable device 20 according to a first embodiment
  • FIG. FIG. 2 is a perspective view showing the appearance of the MR glasses 50 according to the first embodiment
  • 4 is a schematic diagram of virtual space VS provided to user U1 by using MR glasses 50.
  • FIG. 4 is a schematic diagram of virtual space VS provided to user U1 by using MR glasses 50.
  • FIG. 4 is a schematic diagram of virtual space VS provided to user U1 by using MR glasses 50.
  • FIG. 4 is a schematic diagram of virtual space VS provided to user U1 by using MR glasses 50.
  • FIG. 2 is a block diagram showing a configuration example of the MR glasses 50; 2 is a block diagram showing a configuration example of a terminal device 40 according to the first embodiment;
  • FIG. 1 is a block diagram showing a configuration example of an information processing apparatus 10 according to a first embodiment;
  • FIG. 4 is a flowchart showing the operation of the information processing system 1 according to the first embodiment;
  • the block diagram which shows the structural example of 20 A of wearable apparatuses which concern on 2nd Embodiment.
  • the block diagram which shows the structural example of 10 A of information processing apparatuses which concern on 2nd Embodiment.
  • the flowchart which shows operation
  • FIG. 1 First Embodiment
  • FIG. 1 First Embodiment
  • FIG. 1 the configuration of an information processing system 1 including an information processing apparatus 10 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 10.
  • FIG. 1 First Embodiment
  • FIG. 1 is a diagram showing the overall configuration of an information processing system 1 according to the first embodiment of the present invention.
  • the information processing system 1 is a system that provides a virtual space to a user U1 wearing MR glasses 50, which will be described later, using MR technology.
  • the MR technology is, for example, a device such as a see-through type head-mounted display, in which the coordinate space of the real world and the coordinate space of the virtual world are superimposed precisely so that the user wearing the device can see the real world. It is a technology that makes it possible to experience a composite world of the world and the virtual world.
  • MR technology includes AR (Augmented Reality) technology and VR (Virtual Reality) technology.
  • the information processing system 1 includes an information processing device 10 , a wearable device 20 and an imaging device 30 .
  • the information processing device 10, the wearable device 20, and the imaging device 30 are communicably connected to each other via a communication network NET.
  • FIG. 1 shows two wearable devices 20, a wearable device 20-1 and a wearable device 20-2, as the wearable devices 20.
  • this number is merely an example, and the information processing system 1 can include any number of wearable devices 20 .
  • the wearable device 20 is a device worn by the user to perceive the virtual space.
  • FIG. 2 is a block diagram showing a configuration example of the wearable device 20.
  • Wearable device 20 includes terminal device 40 and MR glasses 50 .
  • the terminal device 40 and the MR glasses 50 are communicably connected to each other.
  • the terminal device 40 acquires image information to be displayed on the MR glasses 50 from the information processing device 10 by being communicably connected to the information processing device 10 . Further, the terminal device 40 causes the MR glasses 50 to display the image information acquired from the information processing device 10 .
  • the terminal device 40 is a device for displaying a virtual object placed in the virtual space on the MR glasses 50 worn on the head of the user.
  • the virtual space is, for example, a celestial space.
  • the virtual objects are, for example, virtual objects representing data such as still images, moving images, 3DCG models, HTML files, and text files, and virtual objects representing applications. Examples of text files include memos, source codes, diaries, and recipes. Examples of applications include browsers, applications for using SNS, and applications for generating document files.
  • the terminal device 40 is preferably a mobile terminal device such as a smart phone and a tablet, for example.
  • the MR glasses 50 are see-through wearable displays worn on the user's head. Under the control of the terminal device 40, the MR glasses 50 display virtual objects on the display panels provided for each of the binocular lenses. In the present invention, the position of the MR glasses 50 is the position of the wearable device 20. FIG.
  • the information processing device 10 provides various data and cloud services to the terminal device 40 via the communication network NET.
  • the information processing device 10 also calculates self-position information indicating the absolute position of the wearable device 20 in the world coordinate system. Furthermore, the information processing device 10 outputs the calculated self-location information to the wearable device 20 .
  • the world coordinate system in this embodiment is a coordinate system representing the entire space including the wearable device 20 and the imaging device 30 .
  • the imaging device 30 images a person wearing the wearable device 20 .
  • the imaging device 30 is, for example, a stereo camera, and in addition to the image of the person wearing the wearable device 20, acquires vector information indicating the distance and direction from the imaging device 30 to the imaging target.
  • each pixel forming a captured image captured by the imaging device 30 is associated with vector information indicating the distance and direction from the imaging device 30 to the pixel.
  • the captured image captured by the imaging device 30, the distance from the imaging device 30 to the imaging target, and the imaging information indicating the direction from the imaging device 30 to the imaging target are sent to the information processing device 10 via the communication network NET. supplied.
  • the installation position of the imaging device 30 is fixed.
  • imaging information indicating a captured image and distance information supplied from the imaging device 30 is an example of second imaging information described later.
  • FIG. 3 is a perspective view showing the appearance of the MR glasses 50.
  • the MR glasses 50 have temples 91 and 92, a bridge 93, trunks 94 and 95, and lenses 59L and 59R, like general spectacles.
  • An imaging device 56 is provided in the bridge 93 . After imaging the external world, the imaging device 56 outputs imaging information indicating the captured image. Imaging information indicating a captured image output from the imaging device 56 is an example of first imaging information described later.
  • Each of the lenses 59L and 59R has a half mirror.
  • the body portion 94 is provided with a liquid crystal panel or an organic EL panel for the left eye (hereinafter collectively referred to as a display panel) and an optical member for guiding light emitted from the display panel for the left eye to the lens 59L. .
  • the half mirror provided in the lens 59L transmits external light and guides it to the left eye, and reflects the light guided by the optical member to enter the left eye.
  • the body portion 95 is provided with a display panel for the right eye and an optical member that guides light emitted from the display panel for the right eye to the lens 59R.
  • the half mirror provided in the lens 59R transmits external light and guides it to the right eye, and reflects the light guided by the optical member to enter the right eye.
  • the display 58 which will be described later, includes a lens 59L, a left-eye display panel, a left-eye optical member, and a lens 59R, a right-eye display panel, and a right-eye optical member.
  • the user can observe the image displayed on the display panel in a see-through state superimposed on the state of the outside world. Further, the MR glasses 50 display the image for the left eye on the display panel for the left eye and the image for the right eye on the display panel for the right eye, among the binocular images with parallax, so that the image for the user U1 is displayed. On the other hand, it is possible to perceive the displayed image as if it had depth and stereoscopic effect.
  • FIG. 4 to 6 are schematic diagrams of the virtual space VS provided to the user U1 by using the MR glasses 50.
  • FIG. As shown in FIG. 4, in the virtual space VS, virtual objects VO1 to VO5 representing various contents such as browsers, cloud services, images, and moving images are arranged.
  • the user U1 walks around the public space while wearing the MR glasses 50 on which the virtual objects VO1 to VO5 arranged in the virtual space VS are displayed. It becomes possible to experience the space VS.
  • the user U1 can act in the public space while receiving benefits brought about by the virtual objects VO1 to VO5 placed in the virtual space VS.
  • a plurality of users U1 to U3 it is possible for a plurality of users U1 to U3 to share the virtual space VS.
  • the plurality of users U1-U3 share one or a plurality of virtual objects VO, and the users U1-U3 It is possible to communicate between
  • the MR glasses 50 display a text box X superimposed on the scenery image W as the real space to notify the reception status of mail and today's schedule. be done.
  • the text box X in an area without obstacles in the landscape image W, that is, in the blue sky area in the example shown in FIG. Become.
  • FIG. 7 is a block diagram showing a configuration example of the MR glasses 50.
  • the MR glasses 50 include a processing device 51 , a storage device 52 , a line-of-sight detection device 53 , a GPS device 54 , a motion detection device 55 , an imaging device 56 , a communication device 57 and a display 58 .
  • Each element of the MR glasses 50 is interconnected by one or more buses for communicating information.
  • the term "apparatus" in this specification may be read as another term such as a circuit, a device, or a unit.
  • the processing device 51 is a processor that controls the entire MR glass 50, and is configured using, for example, one or more chips.
  • the processing device 51 is configured using, for example, a central processing unit (CPU) including an interface with peripheral devices, an arithmetic device, registers, and the like. Some or all of the functions of the processing device 51 are implemented by hardware such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array). may be realized.
  • the processing device 51 executes various processes in parallel or sequentially.
  • the storage device 52 is a recording medium readable and writable by the processing device 51, and stores a plurality of programs including the control program PR1 executed by the processing device 51.
  • the line of sight detection device 53 After detecting the line of sight of the user U1, the line of sight detection device 53 supplies line of sight information indicating the direction of the line of sight of the user U1 to the processing device 51, which will be described later. Any method may be used for the line-of-sight detection device 53 to detect the line of sight.
  • the line-of-sight detection device 53 may detect line-of-sight information based on the position of the inner corner of the eye and the position of the iris.
  • the GPS device 54 receives radio waves from a plurality of satellites and generates first position information from the received radio waves.
  • the positional information indicates the position of the MR glasses 50 .
  • the first location information may be in any format as long as the location can be specified.
  • the first position information indicates the latitude and longitude of the MR glasses 50, for example.
  • the first position information may indicate the altitude of the MR glasses 50 in addition to the latitude and longitude.
  • the first location information is obtained from GPS device 54 .
  • the MR glasses 50 may obtain the first position information by any method.
  • the acquired first position information is supplied to the processing device 51 as temporary position information indicating the position of the wearable device 20 .
  • the movement detection device 55 After detecting the movement of the MR glasses 50 , the movement detection device 55 supplies movement information indicating the movement to the processing device 51 .
  • the motion detection device 55 corresponds to an inertial sensor such as an acceleration sensor that detects acceleration and a gyro sensor that detects angular acceleration.
  • the acceleration sensor detects acceleration in orthogonal X-, Y-, and Z-axes.
  • the gyro sensor detects angular acceleration around the X-, Y-, and Z-axes.
  • the motion detection device 55 can generate posture information indicating the posture of the MR glasses 50 based on the output information of the gyro sensor.
  • the motion data includes acceleration data respectively indicating three-axis accelerations and angular acceleration data respectively indicating three-axis angular accelerations.
  • the imaging device 56 outputs first imaging information indicating a captured image obtained by imaging the outside world.
  • the imaging device 56 includes, for example, a lens, an imaging element, an amplifier, and an AD converter.
  • the light condensed through the lens is converted into an image pickup signal, which is an analog signal, by the image pickup device.
  • the amplifier amplifies the imaging signal and outputs it to the AD converter.
  • the AD converter converts the amplified imaging signal, which is an analog signal, into first imaging information, which is a digital signal.
  • the converted first imaging information is supplied to the processing device 51 .
  • the first imaging information output to the processing device 51 is supplied to the terminal device 40 via the communication device 57 .
  • the terminal device 40 controls the terminal device 40 according to the recognized gestures. That is, the imaging device 56 functions as an input device for inputting instructions from the user U1, like a pointing device and a touch panel.
  • the communication device 57 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 57 is also called a network device, network controller, network card, communication module, or the like, for example.
  • the communication device 57 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 57 may have a wireless communication interface.
  • Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection.
  • a wireless communication interface there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 58 is a device that displays images.
  • a display 58 displays various images under the control of the processing device 51 .
  • the display 58 includes a lens 59L, a left-eye display panel, a left-eye optical member, and a lens 59R, a right-eye display panel, and a right-eye optical member, as described above.
  • Various display panels such as a liquid crystal display panel and an organic EL display panel are preferably used as the display panel.
  • the processing device 51 functions as an acquisition unit 511 and a display control unit 512, for example, by reading the control program PR1 from the storage device 52 and executing it.
  • the acquisition unit 511 acquires the control signal from the terminal device 40 . More specifically, the acquisition unit 511 acquires a control signal for controlling display on the MR glasses 50 generated by a display control unit 415 provided in the terminal device 40 and described later.
  • the acquisition unit 511 also acquires line-of-sight information input from the line-of-sight detection device 53 , position information input from the GPS device 54 , motion information input from the motion detection device 55 , and first information input from the imaging device 56 . Acquire imaging information. Then, the acquisition unit 511 supplies the acquired line-of-sight information, first position information, motion information, and imaging information to the communication device 57 . The communication device 57 transmits the line-of-sight information, the first position information, the motion information, and the imaging information acquired from the acquisition unit 511 to the terminal device 40 . Furthermore, the acquisition unit 511 stores the acquired line-of-sight information, first position information, motion information, and imaging information in the storage device 52 .
  • the acquisition unit 511 acquires second position information as self-position information indicating the position of the wearable device 20 from the terminal device 40 by using the communication device 57 . Furthermore, the acquisition unit 511 stores the acquired second position information in the storage device 52 .
  • the second position information has higher accuracy than the first position information.
  • the first location information is GPS information obtained from the GPS device 54 as described above. An error of about 100 m may occur with a general-purpose GPS device.
  • the second location information is self-location information that the MR glasses 50 acquire from the information processing device 10 via the terminal device 40 .
  • the self position information is calculated using relative position information from the imaging device 30 to the MR glasses 50 . Since the relative position information is information measured by the imaging device 30 as a stereo camera, for example, when the distance from the imaging device 30 to the imaging target is about 100 m, an error of at most about 1 m occurs.
  • the display control unit 512 controls display on the display 58 based on the control signal from the terminal device 40 acquired by the acquisition unit 511 .
  • FIG. 8 is a block diagram showing a configuration example of the terminal device 40.
  • the terminal device 40 includes a processing device 41 , a storage device 42 , a communication device 43 , a display 44 , an input device 45 and an inertial sensor 46 .
  • Each element of the terminal device 40 is interconnected by one or more buses for communicating information.
  • the processing device 41 is a processor that controls the entire terminal device 40, and is configured using, for example, one or more chips.
  • the processing unit 41 is configured using, for example, a central processing unit (CPU) including interfaces with peripheral devices, arithmetic units, registers, and the like.
  • CPU central processing unit
  • a part or all of the functions of the processing device 11 may be implemented by hardware such as DSP, ASIC, PLD, and FPGA.
  • the processing device 41 executes various processes in parallel or sequentially.
  • the storage device 42 is a recording medium readable and writable by the processing device 41, and stores a plurality of programs including the control program PR2 executed by the processing device 41.
  • the communication device 43 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 43 is also called a network device, a network controller, a network card, a communication module, etc., for example.
  • the communication device 43 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 43 may have a wireless communication interface.
  • Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection.
  • a wireless communication interface there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 44 is a device that displays images and character information.
  • the display 44 displays various images under the control of the processing device 41 .
  • various display panels such as a liquid crystal display panel and an organic EL (Electro Luminescence) display panel are preferably used as the display 44 .
  • the input device 45 accepts operations from the user U1 who wears the MR glasses 50 on his head.
  • the input device 45 includes a pointing device such as a keyboard, touch pad, touch panel, or mouse.
  • the input device 45 may also serve as the display 44 .
  • the inertial sensor 46 is a sensor that detects inertial force.
  • the inertial sensor 46 includes, for example, one or more sensors among an acceleration sensor, an angular velocity sensor, and a gyro sensor.
  • the processing device 41 detects the orientation of the terminal device 40 based on the output information from the inertial sensor 46 . Further, the processing device 41 receives selection of the virtual object VO, input of characters, and input of instructions in the celestial sphere virtual space VS based on the orientation of the terminal device 40 .
  • the user U1 directs the central axis of the terminal device 40 toward a predetermined area of the virtual space VS, and operates the input device 45 to select the virtual object VO arranged in the predetermined area.
  • the user U1's operation on the input device 45 is, for example, a double tap. By operating the terminal device 40 in this way, the user U1 can select the virtual object VO without looking at the input device 45 of the terminal device 40 .
  • the processing device 41 functions as an acquisition unit 411, an action recognition unit 412, an identification unit 413, an output unit 414, and a display control unit 415 by reading the control program PR2 from the storage device 42 and executing it.
  • the acquisition unit 411 acquires instruction information according to the motion of the user U1 who wears the MR glasses 50 on his head.
  • the operation of the user U1 is, for example, inputting to the terminal device 40 using the input device 45 by the user U1. More specifically, the action of the user U1 may be pressing of a specific part as the input device 45 provided in the terminal device 40 . Alternatively, the operation of user U1 may be an operation using terminal device 40 as a portable controller.
  • the instruction information includes, for example, information specifying a specific virtual object VO, information changing the display of the specific virtual object VO, and, if the specific virtual object VO is an application, starting the application. Information.
  • the action of the user U1 may be visual observation of the MR glasses 50 by the user U1.
  • the instruction information is the viewpoint of the user U1 on the MR glasses 50.
  • the instruction information is transmitted from the MR glasses 50 to the terminal device 40 .
  • the action of user U1 may be a gesture of user U1.
  • the motion recognition unit 412 recognizes various gestures of the user U1.
  • the acquisition unit 411 may acquire instruction information according to various gestures of the user U1.
  • the acquisition unit 411 uses the communication device 43 to acquire the first imaging information and the first position information as the provisional position information from the MR glasses 50 .
  • the acquisition unit 411 uses the communication device 43 to acquire second position information as self-position information indicating the position of the wearable device 20 from the information processing device 10 .
  • the self-location information acquired by the acquisition unit 411 is the virtual space in which the virtual object VO is displayed and the real space viewed by the user through the MR glasses 50. It is used to precisely align the
  • the motion recognition unit 412 recognizes various gestures of the user U1 based on the imaging information obtained from the MR glasses 50. More specifically, as described above, the imaging device 56 provided in the MR glasses 50 outputs imaging information obtained by imaging the outside world. If the imaging data includes a part of the body of the user U1 wearing the MR glasses 50 on the head, the motion recognition unit 412 performs various actions of the user U1 based on the imaging data acquired from the MR glasses 50. gestures.
  • the specifying unit 413 specifies one virtual object VO among the plurality of virtual objects VO arranged in the virtual space VS.
  • the instruction information acquired by the acquisition unit 411 is information for changing the display of one virtual object VO specified by the specification unit 413, or information for activating the one virtual object VO
  • the output unit 414 Then, the instruction information is supplied to the information processing apparatus 10 .
  • the information processing device 10 changes the display of one specified virtual object VO or activates it based on the instruction information acquired from the terminal device 40 .
  • the output unit 414 transmits the first imaging information acquired from the MR glasses 50 by the acquisition unit 411 to the information processing apparatus 10 . Further, the output unit 414 transmits the first position information as the provisional position information of the wearable device 20 acquired from the MR glasses 50 by the acquisition unit 411 to the information processing device 10 .
  • the output unit 414 supplies the second position information as self-position information of the wearable device 20 acquired from the information processing device 10 by the acquisition unit 411 to the MR glasses 50 included in the wearable device 20. do. More specifically, the information processing apparatus 10 calculates second position information with higher accuracy than the first position information by a method described later. Acquisition unit 411 acquires the second position information from information processing apparatus 10 . The output unit 414 supplies the second position information to the MR glasses 50 included in the wearable device 20. FIG.
  • the display control unit 415 causes the MR glasses 50 as a display device to display a plurality of virtual objects VO arranged in the virtual space VS. More specifically, after generating image data to be displayed on the MR glasses 50 , the display control unit 415 transmits the generated image data to the MR glasses 50 via the communication device 13 .
  • the terminal device 40 may be provided with a GPS device similar to the GPS device 54 provided in the MR glasses 50.
  • the MR glasses 50 may not be equipped with the GPS device 54 .
  • FIG. 9 is a block diagram showing a configuration example of the information processing apparatus 10. As shown in FIG.
  • the information processing device 10 includes a processing device 11 , a storage device 12 , a communication device 13 , a display 14 and an input device 15 .
  • Each element of the information processing apparatus 10 is interconnected by a single bus or a plurality of buses for communicating information.
  • the processing device 11 is a processor that controls the entire information processing device 10, and is configured using, for example, one or more chips.
  • the processing unit 11 is configured using, for example, a central processing unit (CPU) including interfaces with peripheral devices, arithmetic units, registers, and the like.
  • CPU central processing unit
  • a part or all of the functions of the processing device 11 may be implemented by hardware such as DSP, ASIC, PLD, and FPGA.
  • the processing device 11 executes various processes in parallel or sequentially.
  • the storage device 12 is a recording medium readable and writable by the processing device 11, and stores a plurality of programs including a control program PR3 executed by the processing device 11, a first learning model LM1, a second learning model LM2, a third A learning model LM3, map data MD, and imaging position information indicating the absolute position of the imaging device 30 are stored.
  • the first learning model LM1 is a learning model for the later-described specifying unit 112 to extract, from a captured image, a person image included in the captured image.
  • the first learning model LM1 is generated by learning teacher data in the learning phase.
  • the teacher data used to generate the first learning model LM1 has multiple pairs of captured images and human images included in the captured images.
  • the first learning model LM1 is generated by a device external to the information processing device 10 .
  • the first learning model LM1 is preferably generated in a server (not shown).
  • the information processing apparatus 10 acquires the first learning model LM1 from a server (not shown) via the communication network NET.
  • the second learning model LM2 is a learning model for the later-described calculation unit 113 to further extract the image of the MR glasses 50 from the person image of one person identified by the identification unit 112 .
  • the second learning model LM2 is generated by learning teacher data in the learning phase.
  • the teacher data used to generate the second learning model LM2 has multiple sets of captured images and images of the MR glasses 50 included in the captured images.
  • the second learning model LM2 is generated by a device external to the information processing device 10 .
  • the second learning model LM2 is preferably generated in a server (not shown).
  • the information processing apparatus 10 acquires the second learning model LM2 from a server (not shown) via the communication network NET.
  • the third learning model LM3 is a learning model for the later-described calculation unit 113 to extract, from a captured image, a building image included in the captured image.
  • the third learning model LM3 is generated by learning teacher data in the learning phase.
  • the teacher data used to generate the third learning model LM3 has multiple pairs of captured images and building images included in the captured images.
  • the third learning model LM3 is generated by a device external to the information processing device 10 .
  • the third learning model LM3 is preferably generated in a server (not shown).
  • the information processing apparatus 10 acquires the third learning model LM3 from a server (not shown) via the communication network NET.
  • the map data MD includes captured images captured in advance by a stereo camera or the like capable of simultaneously capturing images of an object from a plurality of different directions, feature amounts of feature points included in the captured images, and absolute values associated with the feature points. It is data that includes location information. Among other things, the captured images include images of local buildings. Also, the absolute position information associated with the feature point is global position information as well as position information in the world coordinate system.
  • the communication device 13 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 13 is also called a network device, a network controller, a network card, a communication module, etc., for example.
  • the communication device 13 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 13 may have a wireless communication interface.
  • Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection.
  • a wireless communication interface there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 14 is a device that displays images and character information.
  • the display 14 displays various images under the control of the processing device 11 .
  • various display panels such as a liquid crystal display panel and an organic EL display panel are preferably used as the display 14 .
  • the input device 15 is a device that accepts operations by an administrator of the information processing system 1 .
  • the input device 15 includes a pointing device such as a keyboard, touch pad, touch panel, or mouse.
  • the input device 15 may also serve as the display 14 .
  • the processing device 11 functions as an acquisition unit 111, a specification unit 112, a calculation unit 113, a comparison unit 114, and an output unit 115, for example, by reading the control program PR3 from the storage device 12 and executing it.
  • the acquisition unit 111 acquires, from the terminal device 40 , first imaging information indicating a captured image captured by the imaging device 56 provided in the MR glasses 50 . More specifically, the acquisition unit 111 acquires, from the terminal device 40 , the first imaging information representing the captured image of the outside world of the MR glasses 50 captured by the imaging device 56 . The acquisition unit 111 also acquires first position information as provisional position information indicating the position of the wearable device 20 from the terminal device 40 .
  • the acquisition unit 111 also acquires imaging position information indicating the absolute position of the imaging device 30 in the world coordinate system. More specifically, the acquisition unit 111 may acquire imaging position information from the imaging device 30 . Alternatively, the acquisition unit 111 may acquire the imaging position information stored in the storage device 12 . Note that the accuracy of the imaging position information is higher than the accuracy of the provisional position information.
  • the acquisition unit 111 acquires second imaging information indicating the captured image from the imaging device 30 . More specifically, the acquisition unit 111 acquires second imaging information indicating a captured image including a person wearing the wearable device 20 from the imaging device 30 . As described above, since the imaging device 30 is, for example, a stereo camera, the second imaging information includes distance information from the imaging device 30 to the imaging target.
  • the identifying unit 112 uses the first learning model LM1 to extract one or more human images from the captured image indicated by the second imaging information. Further, based on the first position information as the provisional position information acquired by the acquisition unit 111, the specifying unit 112 selects the wearable device corresponding to the provisional position information from the person indicated by the extracted one or more person images. A single person wearing the device 20 is identified.
  • the second imaging information includes vector information from the imaging device 30 to the imaging target.
  • Each pixel included in one or more person images is associated with vector information corresponding to each pixel.
  • the identifying unit 112 identifies the person included in the person image having the vector information closest to the first position information as the provisional position information as one person wearing the wearable device 20 corresponding to the provisional position information. do.
  • the specifying unit 112 uses the second learning model LM2 to extract an image of the MR glasses 50 from the specified human image of the one person.
  • the calculation unit 113 calculates third position information as self-position information of the wearable device 20 based on the first imaging information acquired by the acquisition unit 111 .
  • the calculation unit 113 uses the third learning model LM3 to extract an image of a building specific to the land where the wearable device 20 is located in the captured image indicated by the first captured information. Further, the calculation unit 113 calculates the position of the extracted building by referring to the map data MD stored in the storage device 12 . Further, the calculation unit 113 calculates the distance and direction from the MR glasses 50 to the building based on the image of the building extracted from the first imaging information. Finally, the calculation unit 113 calculates third position information as self-position information of the wearable device 20 based on the position of the building and the distance and direction from the MR glasses 50 to the building.
  • the calculated third position information is normally transmitted to the terminal device 40 by the output unit 115, which will be described later.
  • the calculation unit 113 calculates self-position accuracy information based on the first imaging information acquired by the acquisition unit 111 .
  • the calculation unit 113 calculates the self-position accuracy information based on the feature amount included in the captured image indicated by the first imaging information.
  • the calculation unit 113 matches the building image included in the captured image indicated by the first imaging information with the building image included in the map data MD, and calculates the self-position accuracy information according to the degree of matching. can be calculated.
  • the calculation unit 113 matches the feature points included in the captured image indicated by the first imaging information with the feature points included in the map data MD, and calculates self-position accuracy information according to the degree of matching. You may
  • the calculation unit 113 uses the imaging position information to calculate second position information as self-position information indicating the position of the wearable device 20 worn by one person identified by the identification unit 112 . More specifically, the calculation unit 113 uses the second learning model LM2 to determine the MR glasses 50 worn by the person from the person image of the person identified by the identification unit 112. Extract the image of the part it occupies. Further, the calculation unit 113 calculates the position of the imaging device 30 as a reference based on a plurality of pieces of vector information associated with each pixel of the image of the portion occupied by the extracted MR glasses 50 . Then, the relative position information of the MR glasses 50 is calculated.
  • the calculation unit 113 calculates the vector information of the shortest distance from the imaging device 30 among a plurality of pieces of vector information associated with the pixels of the image of the portion occupied by the MR glasses 50, based on the wearable device worn by the one person. 20 may be relative position information indicating the relative position. Alternatively, the calculation unit 113 determines the vector information of the farthest distance from the imaging device 30 among the plurality of vector information associated with the pixels of the image of the portion occupied by the MR glasses 50, which is the vector information of the person wearing the MR glasses 50. It may be relative position information indicating the relative position of the wearable device 20 .
  • the calculation unit 113 adds the relative position information of the wearable device 20 to the imaging position information indicating the absolute position of the imaging device 30, thereby obtaining the self-position information indicating the absolute position of the wearable device 20 as the second position information. Calculated as position information.
  • the comparison unit 114 compares the self-location accuracy information calculated by the calculation unit 113 with the threshold. In particular, when the self-location accuracy information is less than the threshold, that is, when the accuracy of the third location information is lower than the threshold, the output unit 115 described later sends the terminal device 40 the provisional A request signal requesting first position information as position information is output.
  • the output unit 115 uses the communication device 13 to send the terminal device 40 the first position information of the wearable device 20 calculated by the calculation unit 113 based on the first imaging information. 3 location information.
  • the output unit 115 uses the communication device 13 to transmit an imaging instruction signal to the imaging device 30 using the acquisition of the provisional position information from the terminal device 40 by the acquisition unit 111 as a trigger.
  • the imaging device 30 acquires the imaging instruction signal from the information processing device 10
  • the imaging device 30 images the person wearing the wearable device 20 .
  • the output unit 115 uses the communication device 13 to transmit the second position information as self-position information of the wearable device 20 calculated by the calculation unit 113 based on the imaging position information to the terminal device 40. is transmitted to the terminal device 40 .
  • FIG. 10 is a flowchart showing the operation of the information processing system 1 according to the first embodiment. The operation of the information processing system 1 will be described below with reference to FIG.
  • step S ⁇ b>101 the processing device 41 provided in the terminal device 40 functions as the output unit 414 to transmit the first imaging information acquired from the MR glasses 50 to the information processing device 10 .
  • step S ⁇ b>102 the processing device 11 provided in the information processing device 10 functions as the calculation unit 113 to calculate self-location accuracy information based on the first imaging information acquired from the terminal device 40 .
  • step S103 the processing device 11 provided in the information processing device 10 functions as the comparison unit 114 to compare the calculated self-location accuracy information with the threshold. If the self-location accuracy information is equal to or greater than the threshold value, that is, if the determination result of step S103 is true, the information processing device 10 ends all processing. If the self-location accuracy information is less than the threshold, that is, if the determination result of step S103 is false, the information processing device 10 executes the process of step S104.
  • step S ⁇ b>104 the processing device 11 provided in the information processing device 10 functions as the output unit 115 to generate a request signal requesting the terminal device 40 for the first position information as the temporary position information of the wearable device 20 . to send.
  • step S ⁇ b>105 the processing device 41 provided in the terminal device 40 functions as the output unit 414 to transmit the first position information as provisional position information of the wearable device 20 acquired from the MR glasses 50 to the information processing device 10 . send to.
  • step S ⁇ b>106 the processing device 11 provided in the information processing device 10 functions as the output unit 115 to transmit an imaging instruction signal to the imaging device 30 .
  • step S ⁇ b>107 the imaging device 30 captures an image of the person wearing the wearable device 20 including the terminal device 40 and the MR glasses 50 .
  • step S ⁇ b>108 the imaging device 30 transmits to the information processing device 10 second imaging information indicating the captured image captured by the imaging device 30 .
  • step S109 the processing device 11 provided in the information processing device 10 functions as the specifying unit 112 to extract one or more person images from the captured image indicated by the second imaging information.
  • the processing device 11 functions as the specifying unit 112, based on the first position information as the provisional position information, to identify the person indicated by the extracted one or more person images and correspond to the provisional position information.
  • One person who wears the wearable device 20 is specified.
  • step S110 the processing device 11 included in the information processing device 10 functions as the calculation unit 113 to calculate the position of the wearable device 20 worn by the person identified in step S109 using the imaging position information.
  • the self-location information to be shown is calculated.
  • step S111 the processing device 11 included in the information processing device 10 functions as the output unit 115 to transmit the self-location information calculated in step S110 to the terminal device 40 using the communication device 13. .
  • the processing device 41 provided in the terminal device 40 functions as an output unit 414 to transmit the self-location information acquired from the information processing device 10 to the MR glasses 50 .
  • the information processing apparatus 10 includes the acquisition unit 111 , the identification unit 112 , the calculation unit 113 , and the output unit 115 .
  • the acquisition unit 111 acquires imaging information indicating a captured image captured by the imaging device 30 , imaging position information indicating the position of the imaging device 30 , and provisional position information indicating the position of the wearable device 20 .
  • the identifying unit 112 identifies the person wearing the wearable device 20 from one or more person images included in the captured image based on the imaging information and the provisional position information.
  • the calculation unit 113 calculates self-position information indicating the position of the wearable device 20 worn by the person identified by the identification unit 112 using the imaging position information.
  • the output unit 115 supplies self-location information to the wearable device 20 .
  • the accuracy of the imaging position information is higher than the accuracy of the provisional position information.
  • the MR glasses 50 can acquire a more accurate self-location when acquiring the self-location.
  • the calculation unit 113 calculates self-position information using more accurate imaging position information than provisional position information that can be acquired by the MR glasses 50 being equipped with the GPS device 54, thereby obtaining more accurate self-position information. High self-location information can be calculated.
  • the imaging position information indicates the absolute position of the imaging device 30 .
  • Self-position information indicates the absolute position of the wearable device 20 .
  • the calculation unit 113 calculates relative position information indicating the relative position of the wearable device 20 with respect to the position of the imaging device 30 indicated by the imaging position information. Further, the calculation unit 113 calculates self-position information based on the imaging position information and the relative position information.
  • the calculation unit 113 calculates imaging position information, which is the absolute position of the imaging device 30, and the relative position indicating the relative position of the wearable device 20 based on the position of the imaging device 30.
  • Imaging position information which is the absolute position of the imaging device 30, and the relative position indicating the relative position of the wearable device 20 based on the position of the imaging device 30.
  • Self-position information which is the absolute position of the wearable device 20, can be calculated from the information.
  • FIG. 2 Second Embodiment A configuration of an information processing system 1A including an information processing apparatus 10A according to a second embodiment of the present invention will be described below with reference to FIGS. 11 to 15.
  • FIG. 1A for simplification of description, the same symbols are used for the same components as in the first embodiment, and the description of their functions may be omitted. Also, in the following description, for the sake of simplification of description, mainly the differences between the second embodiment and the first embodiment will be described.
  • FIG. 11 is a diagram showing the overall configuration of an information processing system 1A according to the second embodiment of the present invention.
  • the information processing system 1A differs from the information processing system 1 according to the first embodiment in that an information processing device 10A is provided instead of the information processing device 10, and a wearable device 20A is provided instead of the wearable device 20.
  • the imaging device 30 simultaneously images the first person wearing the first wearable device 20A-1 and the second person wearing the second wearable device 20A-2.
  • FIG. 12 is a block diagram showing a configuration example of the wearable device 20A.
  • the wearable device 20A differs from the wearable device 20 according to the first embodiment in that it includes a terminal device 40A instead of the terminal device 40.
  • FIG. 12 is a block diagram showing a configuration example of the wearable device 20A.
  • the wearable device 20A differs from the wearable device 20 according to the first embodiment in that it includes a terminal device 40A instead of the terminal device 40.
  • FIG. 12 is a block diagram showing a configuration example of the wearable device 20A.
  • the wearable device 20A differs from the wearable device 20 according to the first embodiment in that it includes a terminal device 40A instead of the terminal device 40.
  • FIG. 12 is a block diagram showing a configuration example of the wearable device 20A.
  • the wearable device 20A differs from the wearable device 20 according to the first embodiment in that it includes a terminal device 40A instead of the terminal device 40.
  • FIG. 13 is a block diagram showing a configuration example of the information processing apparatus 10A.
  • the information processing device 10A differs from the information processing device 10 according to the first embodiment in that it includes a processing device 11A instead of the processing device 11 .
  • the processing device 11A has an acquisition unit 111A instead of the acquisition unit 111, a specification unit 112A instead of the specification unit 112, and a calculation unit 113A instead of the calculation unit 113.
  • the storage device 12 stores a control program PR3A instead of the control program PR3 according to the first embodiment.
  • the acquisition unit 111A does not necessarily acquire the first location information as the provisional location information.
  • the specifying unit 112A After extracting a plurality of human images from the captured image indicated by the second imaging information, the specifying unit 112A selects the person indicated by the plurality of extracted human images as the first person wearing the first wearable device 20A-1. and a second person wearing the second wearable device 20A-2. Further, the specifying unit 112A extracts the image of the MR glasses 50-1 from the human image of the first person. Furthermore, the identifying unit 112A extracts the image of the MR glasses 50-2 from the human image of the second person.
  • the calculation unit 113A uses the imaging position information to calculate self-position information indicating the first position of the first wearable device 20A-1 and the second position of the second wearable device 20A-2.
  • the output unit 115 transmits the self-location data to the terminal device 40A-1 included in the first wearable device 20A-1 and the terminal device 40A-2 included in the second wearable device 20A-2.
  • the information indicates both the first location of the first wearable device 20A-1 and the second location of the second wearable device 20A-2.
  • FIG. 13 is a block diagram showing a configuration example of the terminal device 40A.
  • the terminal device 40A differs from the terminal device 40 according to the first embodiment in that it includes a processing device 41A instead of the processing device 41.
  • the processing device 41A further includes a selection unit 416 in addition to the components included in the processing device 41 according to the first embodiment.
  • the storage device 42 stores a control program PR2A instead of the control program PR2 according to the first embodiment.
  • the selection unit 416 selects one position from the first position and the second position indicated by the self-position information acquired from the information processing device 10A. select. More specifically, the selection unit 416 selects the self-position information indicating the position closer to the position indicated by the provisional position information, out of the first position and the second position.
  • the first provisional position information is stored in the storage device 42 as the provisional position information. Moreover, the selection unit 416 selects the self-position information indicating the first position as the position closer to the first provisional position information, out of the first position and the second position.
  • the second provisional position information is stored in the storage device 42 as the provisional position information.
  • the selection unit 416 selects the self-position information indicating the second position as the position closer to the second provisional position information, out of the first position and the second position.
  • FIG. 15 is a flowchart showing the operation of the information processing system 1A according to the second embodiment. The operation of the information processing system 1A will be described below with reference to FIG.
  • step S201 the processing device 41A provided in the terminal device 40A-1 functions as the output unit 414 to transmit the first imaging information acquired from the MR glasses 50-1 to the information processing device 10.
  • step S202 the processing device 41A provided in the terminal device 40A-2 functions as the output unit 414 to transmit the first imaging information acquired from the MR glasses 50-2 to the information processing device 10.
  • step S203 the processing device 11A provided in the information processing device 10A functions as the calculation unit 113A to calculate self-location accuracy information based on the first imaging information acquired from the terminal device 40A-1. Further, the processing device 11A provided in the information processing device 10A functions as the calculation unit 113A to calculate the self-location accuracy information based on the first imaging information acquired from the terminal device 40A-2.
  • step S204 the processing device 11A provided in the information processing device 10A functions as the comparison unit 114 to compare the calculated self-location accuracy information with the threshold. If both pieces of self-location accuracy information calculated in step S203 are equal to or greater than the threshold value, that is, if the determination result in step S204 is true, the terminal device 40A-1 ends all processing. If any of the self-position accuracy information calculated in step S203 is less than the threshold, that is, if the determination result in step S204 is false, the information processing device 10A executes the process in step S205.
  • step S205 the processing device 11A provided in the information processing device 10A functions as the output unit 115 to transmit an imaging instruction signal to the imaging device 30.
  • step S206 the imaging device 30 captures the person wearing the first wearable device 20A-1 including the terminal device 40A-1 and the MR glasses 50-1 and the terminal device 40A-2 and the MR glasses 50-2.
  • a person wearing the second wearable device 20A-2 including the two is imaged at the same time.
  • step S207 the imaging device 30 outputs second imaging information indicating the captured image captured by itself to the information processing device 10A.
  • step S208 the processing device 11A provided in the information processing device 10A extracts a plurality of human images from the captured image indicated by the second captured information by functioning as the specifying unit 112A. Further, the processing device 11A functions as the identification unit 112A to select the first person wearing the first wearable device 20A-1 and the second wearable device 20A-1 from the persons indicated by the plurality of extracted person images. A second person wearing 20A-2 is specified.
  • step S209 the processing device 11A provided in the information processing device 10A functions as the calculation unit 113A, and uses the imaging position information to determine the first wearable device 20A worn by the first person identified in step S208.
  • Self-position information indicating a first position that is the absolute position of -1 and a second position that is the absolute position of the second wearable device 20A-2 worn by the second person is calculated.
  • step S210 the processing device 11A provided in the information processing device 10A functions as the output unit 115 to transmit the self-location information calculated in step S209 to the terminal device 40A-1 using the communication device 13. Send.
  • step S211 the processing device 11A provided in the information processing device 10A functions as the output unit 115 to transmit the self-location information calculated in step S209 to the terminal device 40A-2 using the communication device 13. Send.
  • step S212 the processing device 41A provided in the terminal device 40A-1 functions as the selection unit 416 to indicate the first position as the position closer to the first provisional position information, out of the first position and the second position. Select self-location information. Thereafter, the processing device 41A provided in the terminal device 40A-1 functions as the output section 414 to supply the self-location information selected by the selection section 416 to the MR glasses 50-1.
  • step S213 the processing device 41A provided in the terminal device 40A-2, by functioning as the selection unit 416, indicates the second position as the position closer to the second provisional position information, out of the first position and the second position. Select self-location information.
  • the processing device 41A provided in the terminal device 40A-2 functions as the output unit 414 to supply the self-location information selected by the selection unit 416 to the MR glasses 50-2.
  • the information processing apparatus 10A includes the acquisition unit 111, the identification unit 112A, the calculation unit 113A, and the output unit 115.
  • the acquisition unit 111 acquires imaging information indicating a captured image captured by the imaging device 30 and imaging position information indicating the position of the imaging device 30 .
  • the identifying unit 112A determines the first person wearing the first wearable device 20A-1 included in the captured image and the second person wearing the second wearable device 20A-2 included in the captured image. Identify 2 persons.
  • Calculation unit 113A calculates self-position information indicating the first position of first wearable device 20A-1 and the second position of second wearable device 20A-2 using the imaging position information.
  • the output unit 115 supplies self-location information to the first wearable device 20A-1 and the second wearable device 20A-2.
  • the first wearable device 20A-1 stores first provisional position information indicating the first position.
  • the second wearable device 20A-2 stores second provisional position information indicating the second position.
  • the first wearable device 20A-1 selects one position from the first position and the second position indicated by the self-position information based on the position indicated by the first provisional position information, so that the first wearable device 20A-1 Locate device 20A-1.
  • the second wearable device 20A-2 selects one position from the first position and the second position indicated by the self-position information based on the position indicated by the second provisional position information, thereby making the second wearable device 20A-2 Locate device 20A-2.
  • the accuracy of the imaging position information is higher than the accuracy of the provisional position information.
  • the MR glasses 50-1 and 50-2 can acquire more accurate self-positions when acquiring their own positions.
  • the calculation unit 113A obtains By calculating the self-position information using the imaging position information with higher precision than the possible provisional position information, it is possible to calculate the self-position information with higher precision.
  • the imaging position information indicates the absolute position of the imaging device 30 .
  • Self-position information indicates the absolute positions of the first wearable device 20A-1 and the second wearable device 20A-2.
  • the calculation unit 113A further calculates relative Calculate location information. Furthermore, the calculation unit 113A calculates self-position information based on the imaging position information and the relative position information.
  • the calculation unit 113A calculates the imaging position information, which is the absolute position of the imaging device 30, and the first wearable device 20A-1 and the second wearable device 20A-1 based on the position of the imaging device 30.
  • Self-position information which is the absolute positions of the first wearable device 20A-1 and the second wearable device 20A-2, can be calculated from the relative position information indicating the relative positions of the two wearable devices 20A-2.
  • the imaging device 30 is a stereo camera as an example.
  • the imaging device 30 is not limited to a stereo camera as long as it can acquire vector information indicating the distance and direction from the imaging device 30 to the imaging target.
  • the imaging device 30 includes a projection device that projects light from the imaging device 30 onto an imaging target, and a distance measuring device that calculates the distance to the imaging target based on the phase of reflected light from the imaging target. It is good also as a structure provided.
  • the imaging device 30 may acquire distance information indicating the distance to the imaging target by performing image processing on the captured image captured by the imaging device 30 .
  • the imaging device 30 may have other depth estimation functions.
  • the imaging device 30 images a person wearing the wearable device 20 .
  • the imaging device 30 includes a first person wearing the first wearable device 20A-1 and a second person wearing the second wearable device 20A-2. A person is imaged at the same time.
  • the imaging devices other than the imaging device 30 are the person wearing the wearable device 20, or the first person wearing the first wearable device 20A-1 and the second person wearing the second wearable device 20A-2. Two persons may be imaged.
  • the imaging device 56 provided in the second wearable device 20 different from the wearable device 20 may capture an image of a person wearing the wearable device 20 .
  • the imaging device 56 provided in the third wearable device 20A-3 which is different from the first wearable device 20A-1 and the second wearable device 20A-2, A first person wearing the first wearable device 20A-1 and a second person wearing the second wearable device 20A-2 may be imaged simultaneously.
  • the imaging device 30 is installed separately from the wearable device 20 or the wearable device 20A. It is possible to capture an image of a person wearing the wearable device 20 or the wearable device 20A without needing to do so.
  • the calculation unit 113 provided in the information processing device 10 acquires self-location information of the wearable device 20 based on the first imaging information acquired from the MR glasses 50 by the acquisition unit 111. to calculate the third position information as .
  • the comparison unit 114 provided in the information processing device 10 compares the self-location accuracy information acquired from the information processing device 10 by the acquisition unit 111 with the threshold.
  • the terminal device 40 or the terminal device 40A instead of the information processing device 10 or the information processing device 10A, may include the calculation unit 113 and the comparison unit 114 .
  • the calculation unit 113 included in the information processing device 10 calculates relative position information from the imaging device 30 to the wearable device 20 .
  • the calculation unit 113A included in the information processing device 10 calculates relative values from the imaging device 30 to the first wearable device 20A-1 and the second wearable device 20A-2. Position information is calculated.
  • the imaging device 30 may calculate these relative position information instead of the information processing device 10 and the information processing device 10A.
  • the terminal device 40 and the MR glasses 50 are implemented separately.
  • the terminal device 40A and the MR glasses 50 are implemented separately.
  • the method of realizing the terminal device 40 or the terminal device 40A and the MR glasses 50 in the embodiment of the present invention is not limited to this.
  • the terminal device 40 or 40A and the MR glasses 50 may be implemented in a single housing by providing the MR glasses 50 with the same functions as the terminal device 40 or the terminal device 40A.
  • the storage device 12, the storage device 42, and the storage device 52 are ROM and RAM, but flexible discs, magneto-optical discs (e.g., compact discs, digital versatile discs, Blu-ray discs), smart cards, flash memory devices (e.g. cards, sticks, key drives), CD-ROMs (Compact Disc-ROMs), registers, removable discs, hard disks, floppies ) disks, magnetic strips, databases, servers and other suitable storage media.
  • the program may be transmitted from a network via an electric communication line.
  • the program may be transmitted from the communication network NET via an electric communication line.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. may be represented by a combination of
  • input/output information and the like may be stored in a specific location (for example, memory), or may be managed using a management table. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.
  • the determination may be made by a value (0 or 1) represented using 1 bit, or by a true/false value (Boolean: true or false). Alternatively, it may be performed by numerical comparison (for example, comparison with a predetermined value).
  • each function illustrated in FIGS. 1 to 15 is realized by any combination of at least one of hardware and software.
  • the method of realizing each functional block is not particularly limited. That is, each functional block may be implemented using one device that is physically or logically coupled, or directly or indirectly using two or more devices that are physically or logically separated (e.g. , wired, wireless, etc.) and may be implemented using these multiple devices.
  • a functional block may be implemented by combining software in the one device or the plurality of devices.
  • the programs illustrated in the above embodiments whether referred to as software, firmware, middleware, microcode, hardware description language, or by other names, include instructions, instruction sets, code, should be construed broadly to mean code segments, program code, programs, subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, functions, etc. be.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • the software uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.) to website, Wired and/or wireless technologies are included within the definition of transmission medium when sent from a server or other remote source.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • system and “network” are used interchangeably.
  • Information, parameters, etc. described in this disclosure may be expressed using absolute values, may be expressed using relative values from a predetermined value, or may be expressed using corresponding other information. may be represented as
  • the information processing device 10, the information processing device 10A, the imaging device 30, the terminal device 40, and the terminal device 40A may be mobile stations (MS).
  • a mobile station is defined by those skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be called a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable term.
  • terms such as “mobile station”, “user terminal”, “user equipment (UE)", “terminal”, etc. may be used interchangeably.
  • connection refers to any direct or indirect connection between two or more elements. Any connection or coupling is meant and can include the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other. Couplings or connections between elements may be physical couplings or connections, logical couplings or connections, or a combination thereof. For example, “connection” may be replaced with "access.”
  • two elements are defined using at least one of one or more wires, cables, and printed electrical connections and, as some non-limiting and non-exhaustive examples, in the radio frequency domain. , electromagnetic energy having wavelengths in the microwave and optical (both visible and invisible) regions, and the like.
  • the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
  • determining and “determining” as used in this disclosure may encompass a wide variety of actions.
  • “Judgement” and “determination” are, for example, judging, calculating, computing, processing, deriving, investigating, looking up, searching, inquiring (eg, lookup in a table, database, or other data structure), ascertaining as “judged” or “determined”, and the like.
  • "judgment” and “determination” are used for receiving (e.g., receiving information), transmitting (e.g., transmitting information), input, output, access (accessing) (for example, accessing data in memory) may include deeming that a "judgment” or “decision” has been made.
  • judgment and “decision” are considered to be “judgment” and “decision” by resolving, selecting, choosing, establishing, comparing, etc. can contain.
  • judgment and “decision” can include considering that some action is “judgment” and “decision”.
  • judgment (decision) may be read as “assuming”, “expecting”, “considering”, or the like.
  • the term "A and B are different” may mean “A and B are different from each other.” The term may also mean that "A and B are different from C”. Terms such as “separate,” “coupled,” etc. may also be interpreted in the same manner as “different.”
  • notification of predetermined information is not limited to explicit notification, but is performed implicitly (for example, not notification of the predetermined information). good too.

Abstract

情報処理装置は、撮像装置によって撮像された撮像画像を示す撮像情報と、撮像装置の位置を示す撮像位置情報と、ウェアラブル装置の位置を示す暫定位置情報とを取得する取得部と、撮像情報及び暫定位置情報に基づいて、撮像画像に含まれる１又は複数の人物画像から、ウェアラブル装置を装着した人物を特定する特定部と、撮像位置情報を用いることによって、特定部によって特定された人物が装着するウェアラブル装置の位置を示す自己位置情報を算出する算出部と、自己位置情報をウェアラブル装置に出力する出力部と、を備え、撮像位置情報の精度は、暫定位置情報の精度よりも高い。

Description

情報処理装置
　本発明は、情報処理装置に関する。
　ＭＲ（Mixed Reality）技術において、ユーザが知覚する現実の環境はコンピュータにより拡張される。この技術を用いることにより、例えば、ユーザが頭部に装着するＭＲグラスを通じて視認する現実空間に、仮想空間を精緻に重ね合わせることが可能となる。
　ＭＲグラスにおいては、現実空間に仮想空間を精緻に重ね合わせるため、当該ＭＲグラスの正確な自己位置を取得する必要がある。
　現実空間と仮想空間との重ね合わせに係る技術に関して、例えば特許文献１は、仮想空間の位置座標を、現実空間の緯度、経度、及び高度情報に置換する技術を開示している。具体的には、特許文献１に係る技術において、測定処理装置は、緯度、経度、及び高度を計測する位置特定機器から、当該位置特定機器の自己の位置として測定された測定点の、現実空間内の位置座標を取得する。また、測定処理装置は、位置特定機器を撮影する。更に、測定処理装置は、撮影された位置特定機器の仮想空間内の位置座標を、上記の測定点の現実空間内の位置座標と対応付けて対応テーブルを生成する。更に、測定処理装置は、当該対応テーブルを用いて生成された所定の変換式を用いて、仮想空間内の３次元点群データの座標を、現実空間の位置座標に変換する。
特許６９２８２１７号公報
　しかし、特許文献１に係る技術において、位置特定機器が自己の位置として測定する緯度、経度、及び高度の精度が高くない場合、測定処理装置は、仮想空間内の３次元点群データの座標を、現実空間の座標に正確に変換できないこととなってしまう。そのため、ＭＲグラスに対して特許文献１に係る技術を適用した場合、ＭＲグラスにおいて現実空間と仮想空間とが精緻に重ね合わなくなる。例えば、ＭＲグラスに表示される仮想オブジェクトが、仮想空間に係るサービスを提供する側の意図した位置とはずれた位置に表示されることとなってしまう。
　そこで本発明は、ＭＲグラスが自己位置を取得する場合に、より正確な自己位置を取得することを可能とする情報処理装置を提供することを目的とする。
　本発明の好適な態様に係る情報処理装置は、撮像装置によって撮像された撮像画像を示す撮像情報と、前記撮像装置の位置を示す撮像位置情報と、ウェアラブル装置の位置を示す暫定位置情報とを取得する取得部と、前記撮像情報及び前記暫定位置情報に基づいて、前記撮像画像に含まれる１又は複数の人物画像から、前記ウェアラブル装置を装着した人物を特定する特定部と、前記撮像位置情報を用いることによって、前記特定部によって特定された人物が装着する前記ウェアラブル装置の位置を示す自己位置情報を算出する算出部と、前記自己位置情報を前記ウェアラブル装置に対して供給する出力部と、を備え、前記撮像位置情報の精度は、前記暫定位置情報の精度よりも高い、情報処理装置である。
　本発明によれば、ＭＲグラスが自己位置を取得する場合に、より正確な自己位置を取得できる。
第１実施形態に係る情報処理システム１の全体構成を示す図。 第１実施形態に係るウェアラブル装置２０の構成例を示すブロック図。 第１実施形態に係るＭＲグラス５０の外観を示す斜視図。 ＭＲグラス５０を用いることによりユーザＵ１に提供される仮想空間ＶＳの模式図。 ＭＲグラス５０を用いることによりユーザＵ１に提供される仮想空間ＶＳの模式図。 ＭＲグラス５０を用いることによりユーザＵ１に提供される仮想空間ＶＳの模式図。 ＭＲグラス５０の構成例を示すブロック図。 第１実施形態に係る端末装置４０の構成例を示すブロック図。 第１実施形態に係る情報処理装置１０の構成例を示すブロック図。 第１実施形態に係る情報処理システム１の動作を示すフローチャート。 第２実施形態に係る情報処理システム１Ａの全体構成を示す図。 第２実施形態に係るウェアラブル装置２０Ａの構成例を示すブロック図。 第２実施形態に係る情報処理装置１０Ａの構成例を示すブロック図。 第２実施形態に係る端末装置４０Ａの構成例を示すブロック図。 第２実施形態に係る情報処理システム１Ａの動作を示すフローチャート。
１：第１実施形態
　以下、図１～図１０を参照することにより、本発明の第１実施形態に係る情報処理装置１０を含む情報処理システム１の構成について説明する。
１．１：第１実施形態の構成
１．１．１：全体構成
　図１は、本発明の第１実施形態に係る情報処理システム１の全体構成を示す図である。情報処理システム１は、後述のＭＲグラス５０を装着したユーザＵ１に対して、ＭＲ技術により、仮想空間を提供するシステムである。ここで、ＭＲ技術とは、例えば、シースルー型のヘッドマウントディスプレイ等の装置において、現実世界の座標空間と仮想世界の座標空間とを精緻に重ね合わせることで、当該装置を着用したユーザが、現実世界と仮想世界との複合世界を体験することを可能とする技術である。ＭＲ技術には、ＡＲ（Augmented Reality）技術とＶＲ（Virtual Reality）技術とが含まれる。
　情報処理システム１は、情報処理装置１０、ウェアラブル装置２０、及び撮像装置３０を備える。情報処理装置１０、ウェアラブル装置２０、及び撮像装置３０は、通信網ＮＥＴを介して互いに通信可能に接続される。なお、図１において、ウェアラブル装置２０として、ウェアラブル装置２０－１とウェアラブル装置２０－２の２台のウェアラブル装置２０が示される。しかし、当該台数はあくまで一例であって、情報処理システム１は、任意の台数のウェアラブル装置２０を備えることが可能である。
　ウェアラブル装置２０は、ユーザが仮想空間を知覚するために身に着ける装置である。図２は、ウェアラブル装置２０の構成例を示すブロック図である。ウェアラブル装置２０は、端末装置４０と、ＭＲグラス５０とを備える。端末装置４０とＭＲグラス５０とは互いに通信可能に接続される。端末装置４０は、情報処理装置１０と互いに通信可能に接続することにより、情報処理装置１０から、ＭＲグラス５０に表示する画像情報を取得する。また、端末装置４０は、情報処理装置１０から取得した画像情報を、ＭＲグラス５０に表示させる。
　端末装置４０は、ユーザが頭部に装着するＭＲグラス５０に対して、仮想空間に配置される仮想オブジェクトを表示させるための装置である。当該仮想空間は、一例として、天球型の空間である。また、仮想オブジェクトは、例として、静止画像、動画、３ＤＣＧモデル、ＨＴＭＬファイル、及びテキストファイル等のデータを示す仮想オブジェクト、及びアプリケーションを示す仮想オブジェクトである。ここで、テキストファイルとしては、例として、メモ、ソースコード、日記、及びレシピが挙げられる。また、アプリケーションとしては、例として、ブラウザ、ＳＮＳを用いるためのアプリケーション、及びドキュメントファイルを生成するためのアプリケーションが挙げられる。なお、端末装置４０は、例として、スマートフォン、及びタブレット等の携帯端末装置であることが好適である。
　ＭＲグラス５０は、ユーザの頭部に装着するシースルー型のウェアラブルディスプレイである。ＭＲグラス５０は、端末装置４０の制御により、両眼用のレンズの各々に設けられた表示パネルに仮想オブジェクトを表示させる。なお、本発明においては、ＭＲグラス５０の位置を、ウェアラブル装置２０の位置とする。
　図１に説明を戻すと、情報処理装置１０は、通信網ＮＥＴを介して、端末装置４０に対して各種データ及びクラウドサービスを提供する。また、情報処理装置１０は、世界座標系におけるウェアラブル装置２０の絶対位置を示す自己位置情報を算出する。更に、情報処理装置１０は、算出した自己位置情報をウェアラブル装置２０に出力する。なお、本実施形態における世界座標系とは、ウェアラブル装置２０及び撮像装置３０を含む空間全体を表す座標系のことである。
　撮像装置３０は、ウェアラブル装置２０を装着した人物を撮像する。具体的には、撮像装置３０は、例えばステレオカメラであり、ウェアラブル装置２０を装着した人物自体の画像に加えて、当該撮像装置３０から撮像対象までの距離と方向とを示すベクトル情報を取得することが可能である。より詳細には、一例として、撮像装置３０によって撮像された撮像画像を構成する各画素に、撮像装置３０から当該画素までの距離と方向とを示すベクトル情報が紐づけられる。撮像装置３０によって撮像された撮像画像、撮像装置３０から撮像対象までの距離、及び撮像装置３０から撮像対象への方向を示す撮像情報は、通信網ＮＥＴを介して、情報処理装置１０に対して供給される。なお、撮像装置３０の設置位置は固定されている。また、撮像装置３０から供給される、撮像画像及び距離情報を示す撮像情報は、後述の第２の撮像情報の一例である。
１．１．２：ＭＲグラスの構成
　図３は、ＭＲグラス５０の外観を示す斜視図である。図３に示されるようにＭＲグラス５０の外観は、一般的な眼鏡と同様にテンプル９１及び９２、ブリッジ９３、胴部９４及び９５、及びレンズ５９Ｌ及び５９Ｒを有する。ブリッジ９３には撮像装置５６が設けられる。撮像装置５６は外界を撮像した後、撮像画像を示す撮像情報を出力する。撮像装置５６から出力される、撮像画像を示す撮像情報は、後述の第１の撮像情報の一例である。
　レンズ５９Ｌ及び５９Ｒの各々は、ハーフミラーを備えている。胴部９４には、左眼用の液晶パネル又は有機ＥＬパネル（以下、表示パネルと総称する）と、左眼用の表示パネルから射出された光をレンズ５９Ｌに導光する光学部材が設けられる。レンズ５９Ｌに設けられるハーフミラーは、外界の光を透過させて左眼に導くと共に、光学部材によって導光された光を反射することにより、左眼に入射させる。胴部９５には、右眼用の表示パネルと、右眼用の表示パネルから射出された光をレンズ５９Ｒに導光する光学部材が設けられる。レンズ５９Ｒに設けられるハーフミラーは、外界の光を透過させて右眼に導くと共に、光学部材によって導光された光を反射することにより、右眼に入射させる。
　後述するディスプレイ５８は、レンズ５９Ｌ、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ５９Ｒ、右眼用の表示パネル、及び右眼用の光学部材を含む。
　以上の構成において、ユーザは表示パネルに表示される画像を、外界の様子と重ね合わせたシースルーの状態で観察できる。また、ＭＲグラス５０は、視差を伴う両眼画像のうち、左眼用画像を左眼用の表示パネルに表示させ、右眼用画像を右眼用の表示パネルに表示させることによって、ユーザＵ１に対し、表示された画像があたかも奥行き、及び立体感を持つかのように知覚させることが可能となる。
　図４～図６は、ＭＲグラス５０を用いることによりユーザＵ１に提供される仮想空間ＶＳの模式図である。図４に示されるように、当該仮想空間ＶＳには、例えばブラウザ、クラウドサービス、画像、及び動画等の各種コンテンツを示す仮想オブジェクトＶＯ１～ＶＯ５が配置される。ユーザＵ１は、当該仮想空間ＶＳに配置される仮想オブジェクトＶＯ１～ＶＯ５が表示されたＭＲグラス５０を装着した状態で公共の空間を行き来することにより、公共の空間において、プライベートな空間としての当該仮想空間ＶＳを体験することが可能となる。延いては、当該ユーザＵ１が、当該仮想空間ＶＳに配置された仮想オブジェクトＶＯ１～ＶＯ５のもたらす便益を受けながら、公共の空間において行動することが可能となる。
　また、図５に示されるように、複数のユーザＵ１～Ｕ３で仮想空間ＶＳを共有することも可能である。複数のユーザＵ１～Ｕ３で仮想空間ＶＳを共有することにより、当該複数のユーザＵ１～Ｕ３で、１又は複数の仮想オブジェクトＶＯを共用すると共に、共用した仮想オブジェクトＶＯを介して、ユーザＵ１～Ｕ３間でコミュニケーションを行うことが可能となる。
　更に、図６に示されるように、ＭＲグラス５０には、一例として、現実空間としての風景画像Ｗに対して、メールの受信状況と今日の予定とを通知するテキストボックスＸが重畳されて表示される。本実施形態においては、ＭＲ技術を用いることにより、風景画像Ｗのうち、障害物がない領域、すなわち図６に示される例においては、青空の領域にテキストボックスＸが表示されることが可能となる。
　図７は、ＭＲグラス５０の構成例を示すブロック図である。ＭＲグラス５０は、処理装置５１、記憶装置５２、視線検出装置５３、ＧＰＳ装置５４、動き検出装置５５、撮像装置５６、通信装置５７、及びディスプレイ５８を備える。ＭＲグラス５０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えてもよい。
　処理装置５１は、ＭＲグラス５０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成される。処理装置５１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成される。なお、処理装置５１が有する機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置５１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置５２は、処理装置５１による読取及び書込が可能な記録媒体であり、処理装置５１が実行する制御プログラムＰＲ１を含む複数のプログラムを記憶する。
　視線検出装置５３は、ユーザＵ１の視線を検出した後、検出結果に基づいてユーザＵ１の視線の方向を示す視線情報を、後述の処理装置５１に対して供給する。視線検出装置５３が視線を検出する方法として、どのような方法を用いてもよい。例えば、視線検出装置５３は、目頭の位置と虹彩の位置に基づいて視線情報を検出してもよい。
　ＧＰＳ装置５４は、複数の衛星からの電波を受信し、受信した電波から第１の位置情報を生成する。位置情報は、ＭＲグラス５０の位置を示す。第１の位置情報は、位置を特定できるのであれば、どのような形式であってもよい。第１の位置情報は、例えば、ＭＲグラス５０の緯度と経度とを示す。なお、第１の位置情報は、ＭＲグラス５０の緯度と経度の他に、高度を示してもよい。一例として、第１の位置情報はＧＰＳ装置５４から得られる。しかし、ＭＲグラス５０は、どのような方法によって第１の位置情報を取得してもよい。取得された第１の位置情報は、ウェアラブル装置２０の位置を示す暫定位置情報として、処理装置５１に対して供給される。
　動き検出装置５５は、ＭＲグラス５０の動きを検出した後、当該動きを示す動き情報を処理装置５１に対して供給する。動き検出装置５５としては、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサが該当する。加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の加速度を検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸を回転の中心軸とする角加速度を検出する。動き検出装置５５は、ジャイロセンサの出力情報に基づいて、ＭＲグラス５０の姿勢を示す姿勢情報を生成できる。動きデータは、３軸の加速度を各々示す加速度データ及び３軸の角加速度を各々示す角加速度データを含む。
　撮像装置５６は、外界を撮像することによって得られた撮像画像を示す第１の撮像情報を出力する。撮像装置５６は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅した上でＡＤ変換器に出力する。ＡＤ変換器はアナログ信号である増幅された撮像信号をデジタル信号である第１の撮像情報に変換する。変換された第１の撮像情報は、処理装置５１に対して供給される。処理装置５１に出力された第１の撮像情報は、通信装置５７を介して、上記の端末装置４０に対して供給される。端末装置４０は、第１の撮像情報に基づいて、ユーザＵ１の各種のジェスチャーを認識した後、認識されたジェスチャーに応じて端末装置４０を制御する。即ち、撮像装置５６は、ポインティングデバイス及びタッチパネルのように、ユーザＵ１の指示を入力するための入力装置として機能する。
　通信装置５７は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置５７は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置５７は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置５７は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、及びＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ５８は、画像を表示するデバイスである。ディスプレイ５８は、処理装置５１による制御のもとで各種の画像を表示する。ディスプレイ５８は、上記のように、レンズ５９Ｌ、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ５９Ｒ、右眼用の表示パネル、及び右眼用の光学部材を含む。表示パネルとしては、例えば、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルが好適に利用される。
　処理装置５１は、例えば、記憶装置５２から制御プログラムＰＲ１を読み出して実行することによって、取得部５１１、及び表示制御部５１２として機能する。
　取得部５１１は、端末装置４０からの制御信号を取得する。より詳細には、取得部５１１は、端末装置４０に備わる、後述の表示制御部４１５によって生成される、ＭＲグラス５０での表示を制御するための制御信号を取得する。
　また、取得部５１１は、視線検出装置５３から入力される視線情報、ＧＰＳ装置５４から入力される位置情報、動き検出装置５５から入力される動き情報、及び撮像装置５６から入力される第１の撮像情報を取得する。その上で、取得部５１１は、取得した視線情報、第１の位置情報、動き情報、及び撮像情報を、通信装置５７に対して供給する。通信装置５７は、取得部５１１から取得した視線情報、第１の位置情報、動き情報、及び撮像情報を、端末装置４０に対して送信する。更に、取得部５１１は、取得した視線情報、第１の位置情報、動き情報、及び撮像情報を、記憶装置５２に格納する。
　また、取得部５１１は、通信装置５７を用いることによって、端末装置４０から、ウェアラブル装置２０の位置を示す自己位置情報としての第２の位置情報を取得する。更に、取得部５１１は、取得した第２の位置情報を記憶装置５２に格納する。ここで、第２の位置情報は、第１の位置情報よりも精度が高い。具体的には、第１の位置情報は、上記のようにＧＰＳ装置５４から取得されるＧＰＳ情報である。汎用的なＧＰＳ装置であれば１００ｍ程度の誤差が発生することがある。一方で、第２の位置情報は、ＭＲグラス５０が端末装置４０を介して、情報処理装置１０から取得する自己位置情報である。後述のように、当該自己位置情報は、撮像装置３０からＭＲグラス５０までの相対位置情報を用いて算出される。当該相対位置情報は、例としてステレオカメラとしての撮像装置３０によって測定される情報であるため、撮像装置３０から撮像対象までの距離が１００ｍ程度である場合に、高々１ｍ前後の誤差しか発生しない。
　表示制御部５１２は、取得部５１１によって取得された端末装置４０からの制御信号に基づいて、ディスプレイ５８における表示を制御する。
１．１．３：端末装置の構成
　図８は、端末装置４０の構成例を示すブロック図である。端末装置４０は、処理装置４１、記憶装置４２、通信装置４３、ディスプレイ４４、入力装置４５、及び慣性センサ４６を備える。端末装置４０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
　処理装置４１は、端末装置４０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成される。処理装置４１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置１１が有する機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡ等のハードウェアによって実現してもよい。処理装置４１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置４２は、処理装置４１が読取及び書込が可能な記録媒体であり、処理装置４１が実行する制御プログラムＰＲ２を含む複数のプログラムを記憶する。
　通信装置４３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置４３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置４３は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置４３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、及びＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ４４は、画像及び文字情報を表示するデバイスである。ディスプレイ４４は、処理装置４１の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ（Electro　Luminescence）表示パネル等の各種の表示パネルがディスプレイ４４として好適に利用される。
　入力装置４５は、ＭＲグラス５０を頭部に装着したユーザＵ１からの操作を受け付ける。例えば、入力装置４５は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置４５は、タッチパネルを含んで構成される場合、ディスプレイ４４を兼ねてもよい。
　慣性センサ４６は、慣性力を検出するセンサである。慣性センサ４６は、例えば、加速度センサ、角速度センサ、及びジャイロセンサのうち、１以上のセンサを含む。処理装置４１は、慣性センサ４６の出力情報に基づいて、端末装置４０の姿勢を検出する。更に、処理装置４１は、端末装置４０の姿勢に基づいて、天球型の仮想空間ＶＳにおいて、仮想オブジェクトＶＯの選択、文字の入力、及び指示の入力を受け付ける。例えば、ユーザＵ１が端末装置４０の中心軸を仮想空間ＶＳの所定領域に向けた状態で、入力装置４５を操作することによって、所定領域に配置される仮想オブジェクトＶＯが選択される。入力装置４５に対するユーザＵ１の操作は、例えば、ダブルタップである。このようにユーザＵ１は端末装置４０を操作することによって、端末装置４０の入力装置４５を見なくても仮想オブジェクトＶＯを選択できる。
　処理装置４１は、記憶装置４２から制御プログラムＰＲ２を読み出して実行することによって、取得部４１１、動作認識部４１２、特定部４１３、出力部４１４、及び表示制御部４１５として機能する。
　取得部４１１は、ＭＲグラス５０が頭部に装着されるユーザＵ１の動作に応じた指示情報を取得する。ここで、ユーザＵ１の動作とは、例として、ユーザＵ１が入力装置４５を用いて端末装置４０へ入力することである。より詳細には、ユーザＵ１の動作は、端末装置４０に設けられた、入力装置４５としての特定部位の押下であってよい。あるいは、ユーザＵ１の動作は、端末装置４０を携帯型のコントローラとして用いた操作であってよい。これらの場合、指示情報は、例えば、特定の仮想オブジェクトＶＯを指定する情報、特定の仮想オブジェクトＶＯの表示を変更する情報、及び、特定の仮想オブジェクトＶＯがアプリケーションである場合、当該アプリケーションを起動する情報である。
　又は、ユーザＵ１の動作は、ＭＲグラス５０に対するユーザＵ１の目視であってもよい。ユーザＵ１の動作が目視である場合、指示情報は、ＭＲグラス５０におけるユーザＵ１の視点である。この場合、指示情報は、ＭＲグラス５０から端末装置４０へ送信される。
　あるいは、ユーザＵ１の動作は、ユーザＵ１のジェスチャーであってもよい。後述のように、動作認識部４１２は、ユーザＵ１の各種のジェスチャーを認識する。取得部４１１は、ユーザＵ１の各種ジェスチャーに応じた指示情報を取得してもよい。
　また、取得部４１１は、通信装置４３を用いて、ＭＲグラス５０から、第１の撮像情報、及び暫定位置情報としての第１の位置情報を取得する。
　更に、取得部４１１は、通信装置４３を用いて、情報処理装置１０からウェアラブル装置２０の位置を示す自己位置情報としての第２の位置情報を取得する。取得部４１１によって取得された自己位置情報は、端末装置４０がＭＲグラス５０に仮想オブジェクトＶＯを表示させる場合、仮想オブジェクトＶＯが表示される仮想空間と、ＭＲグラス５０を通してユーザが視認する現実空間とを精緻に位置合わせするために用いられる。
　動作認識部４１２は、ＭＲグラス５０から得た撮像情報に基づいて、ユーザＵ１の各種のジェスチャーを認識する。より詳細には、上記のように、ＭＲグラス５０に備わる撮像装置５６は、外界を撮像することによって得た撮像情報を出力する。当該撮像データに、ＭＲグラス５０を頭部に装着したユーザＵ１の身体の一部が含まれる場合には、動作認識部４１２は、ＭＲグラス５０から取得した撮像データに基づいて、ユーザＵ１の各種のジェスチャーを認識する。
　特定部４１３は、取得部４１１によって取得された指示情報に基づいて、仮想空間ＶＳに配置された複数の仮想オブジェクトＶＯのうち、１つの仮想オブジェクトＶＯを特定する。
　出力部４１４は、取得部４１１によって取得された指示情報が、特定部４１３によって特定された１つの仮想オブジェクトＶＯの表示を変更する情報、又は、当該１つの仮想オブジェクトＶＯを起動する情報である場合に、当該指示情報を情報処理装置１０に対して供給する。情報処理装置１０は、端末装置４０から取得した当該指示情報に基づいて、特定された１つの仮想オブジェクトＶＯの表示を変更したり、起動したりする。
　また、出力部４１４は、取得部４１１によってＭＲグラス５０から取得された第１の撮像情報を情報処理装置１０に対して送信する。また、出力部４１４は、取得部４１１によってＭＲグラス５０から取得された、ウェアラブル装置２０の暫定位置情報としての第１の位置情報を、情報処理装置１０に対して送信する。
　更に、出力部４１４は、取得部４１１によって情報処理装置１０から取得された、ウェアラブル装置２０の自己位置情報としての第２の位置情報を、当該ウェアラブル装置２０に含まれるＭＲグラス５０に対して供給する。より詳細には、情報処理装置１０は、後述の方法により、第１の位置情報よりも精度が高い第２の位置情報を算出する。取得部４１１は、情報処理装置１０から、当該第２の位置情報を取得する。出力部４１４は、当該第２の位置情報を、ウェアラブル装置２０に含まれるＭＲグラス５０に対して供給する。
　表示制御部４１５は、表示装置としてのＭＲグラス５０に、仮想空間ＶＳに配置される複数の仮想オブジェクトＶＯを表示させる。より具体的には、表示制御部４１５は、ＭＲグラス５０に表示させる画像データを生成した後、生成した画像データを、通信装置１３を介してＭＲグラス５０へ送信する。
　なお、図８には示さないが、端末装置４０は、ＭＲグラス５０に備わるＧＰＳ装置５４と同様のＧＰＳ装置を備えてもよい。この場合、ＭＲグラス５０は、ＧＰＳ装置５４を備えなくてもよい。
１．１．４：情報処理装置の構成
　図９は、情報処理装置１０の構成例を示すブロック図である。情報処理装置１０は、処理装置１１、記憶装置１２、通信装置１３、ディスプレイ１４、及び入力装置１５を備える。情報処理装置１０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
　処理装置１１は、情報処理装置１０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成される。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置１１の機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡ等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置１２は、処理装置１１が読取及び書込が可能な記録媒体であり、処理装置１１が実行する制御プログラムＰＲ３を含む複数のプログラム、第１学習モデルＬＭ１、第２学習モデルＬＭ２、第３学習モデルＬＭ３、マップデータＭＤ、及び撮像装置３０の絶対位置を示す撮像位置情報を記憶する。
　第１学習モデルＬＭ１は、後述の特定部１１２が、撮像画像から、当該撮像画像に含まれる人物画像を抽出するための学習モデルである。
　第１学習モデルＬＭ１は、学習フェーズにおいて、教師データを学習することによって生成される。第１学習モデルＬＭ１を生成するために用いられる教師データは、撮像画像と、当該撮像画像に含まれる人物画像との組を複数有する。
　また、第１学習モデルＬＭ１は、情報処理装置１０の外部の装置で生成される。とりわけ第１学習モデルＬＭ１は、図示しないサーバにおいて生成されることが好適である。この場合、情報処理装置１０は、通信網ＮＥＴを介して図示しないサーバから第１学習モデルＬＭ１を取得する。
　第２学習モデルＬＭ２は、後述の算出部１１３が、特定部１１２によって特定された１人の人物の人物画像から、更にＭＲグラス５０の画像を抽出するための学習モデルである。
　第２学習モデルＬＭ２は、学習フェーズにおいて、教師データを学習することによって生成される。第２学習モデルＬＭ２を生成するために用いられる教師データは、撮像画像と、当該撮像画像に含まれるＭＲグラス５０の画像との組を複数有する。
　また、第２学習モデルＬＭ２は、情報処理装置１０の外部の装置で生成される。とりわけ第２学習モデルＬＭ２は、図示しないサーバにおいて生成されることが好適である。この場合、情報処理装置１０は、通信網ＮＥＴを介して図示しないサーバから第２学習モデルＬＭ２を取得する。
　第３学習モデルＬＭ３は、後述の算出部１１３が、撮像画像から、当該撮像画像に含まれる建物画像を抽出するための学習モデルである。
　第３学習モデルＬＭ３は、学習フェーズにおいて、教師データを学習することによって生成される。第３学習モデルＬＭ３を生成するために用いられる教師データは、撮像画像と、当該撮像画像に含まれる建物画像との組を複数有する。
　また、第３学習モデルＬＭ３は、情報処理装置１０の外部の装置で生成される。とりわけ第３学習モデルＬＭ３は、図示しないサーバにおいて生成されることが好適である。この場合、情報処理装置１０は、通信網ＮＥＴを介して図示しないサーバから第３学習モデルＬＭ３を取得する。
　マップデータＭＤは、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ等によって予め撮像された撮像画像、当該撮像画像に含まれる特徴点の特徴量、及び当該特徴点に関連付けられた絶対的な位置情報を含むデータである。とりわけ、当該撮像画像には、土地に固有の建物の画像が含まれる。また、特徴点に関連付けられた絶対的な位置情報は、グローバルな位置情報であると共に、世界座標系における位置情報である。
　通信装置１３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置１３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置１３は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置１３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、及びＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ１４は、画像及び文字情報を表示するデバイスである。ディスプレイ１４は、処理装置１１による制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルがディスプレイ１４として好適に利用される。
　入力装置１５は、情報処理システム１の管理者による操作を受け付ける機器である。例えば、入力装置１５は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置１５は、タッチパネルを含んで構成される場合、ディスプレイ１４を兼ねてもよい。
　処理装置１１は、例えば、記憶装置１２から制御プログラムＰＲ３を読み出して実行することによって、取得部１１１、特定部１１２、算出部１１３、比較部１１４、及び出力部１１５として機能する。
　取得部１１１は、端末装置４０から、ＭＲグラス５０に備わる撮像装置５６によって撮像された撮像画像を示す第１の撮像情報を取得する。より詳細には、取得部１１１は、端末装置４０から、撮像装置５６によって撮像されたＭＲグラス５０の外界の撮像画像を示す第１の撮像情報を取得する。また、取得部１１１は、端末装置４０から、ウェアラブル装置２０の位置を示す暫定位置情報としての第１の位置情報を取得する。
　また、取得部１１１は、世界座標系における撮像装置３０の絶対位置を示す撮像位置情報を取得する。より詳細には、取得部１１１は、撮像装置３０から撮像位置情報を取得してもよい。あるいは、取得部１１１は、記憶装置１２に記憶される撮像位置情報を取得してもよい。なお、撮像位置情報の精度は、暫定位置情報の精度よりも高い。
　更に、取得部１１１は、撮像装置３０から撮像画像を示す第２の撮像情報を取得する。より詳細には、取得部１１１は、撮像装置３０からウェアラブル装置２０を装着した人物が含まれる撮像画像を示す第２の撮像情報を取得する。上記のように、撮像装置３０は、例えばステレオカメラであるため、当該第２の撮像情報には、撮像装置３０から撮像対象までの距離情報が含まれる。
　特定部１１２は、第１学習モデルＬＭ１を用いて、第２の撮像情報によって示される撮像画像から１又は複数の人物画像を抽出する。また、特定部１１２は、取得部１１１によって取得された暫定位置情報としての第１の位置情報に基づいて、抽出された１又は複数の人物画像の示す人物から、当該暫定位置情報に対応するウェアラブル装置２０を装着した１人の人物を特定する。
　より詳細には、上記のように、第２の撮像情報には、撮像装置３０から撮像対象までのベクトル情報が含まれる。１又は複数の人物画像に含まれる各画素には、各々の画素に対応するベクトル情報が紐づけられる。特定部１１２は、暫定位置情報としての第１の位置情報に最も近接したベクトル情報を有する人物画像に含まれる人物を、当該暫定位置情報に対応するウェアラブル装置２０を装着した１人の人物として特定する。
　更に、特定部１１２は、第２学習モデルＬＭ２を用いて、特定された１人の人物の人物画像から、ＭＲグラス５０の画像を抽出する。
　算出部１１３は、取得部１１１によって取得された第１の撮像情報に基づいて、ウェアラブル装置２０の自己位置情報としての第３の位置情報を算出する。例えば、算出部１１３は、第３学習モデルＬＭ３を用いて、第１の撮像情報によって示される撮像画像内における、ウェアラブル装置２０が位置する土地に固有の建物の画像を抽出する。また、算出部１１３は、記憶装置１２に記憶されるマップデータＭＤを参照することにより、抽出された建物の位置を算出する。更に、算出部１１３は、第１の撮像情報から抽出した建物の画像に基づいて、ＭＲグラス５０から当該建物までの距離と方向を算出する。最後に、算出部１１３は、当該建物の位置と、ＭＲグラス５０から当該建物までの距離と方向に基づいて、ウェアラブル装置２０の自己位置情報としての第３の位置情報を算出する。
　算出された第３の位置情報は、通常時において、後述の出力部１１５により、端末装置４０に対して送信される。
　また、算出部１１３は、取得部１１１によって取得された第１の撮像情報に基づいて、自己位置精度情報を算出する。
　ＭＲグラス５０に備わる撮像装置５６によって撮像される撮像画像に含まれる特徴量、例えば撮像画像に含まれるウェアラブル装置２０が位置する土地に固有の建物の画像に含まれる特徴点が少なくなるほど、第１の撮像情報に基づいて算出された自己位置情報の精度は低くなる。このため、算出部１１３は、第１の撮像情報によって示される撮像画像に含まれる特徴量に基づいて、自己位置精度情報を算出する。あるいは、算出部１１３は、第１の撮像情報によって示される撮像画像に含まれる建物の画像を、マップデータＭＤに含まれる建物の画像とマッチングし、マッチングの度合いに応じて、自己位置精度情報を算出してもよい。あるいは、算出部１１３は、第１の撮像情報によって示される撮像画像に含まれる特徴点と、マップデータＭＤに含まれる特徴点をとマッチングし、マッチングの度合いに応じて、自己位置精度情報を算出してもよい。
　また、算出部１１３は、撮像位置情報を用いることによって、特定部１１２によって特定された１人の人物が装着するウェアラブル装置２０の位置を示す自己位置情報としての第２の位置情報を算出する。より詳細には、算出部１１３は、第２学習モデルＬＭ２を用いて、特定部１１２によって特定された１人の人物の人物画像から、当該１人の人物が身に着けているＭＲグラス５０が占める部分の画像を抽出する。また算出部１１３は、抽出されたＭＲグラス５０が占める部分の画像の各画素と紐づく複数のベクトル情報に基づいて、撮像装置３０の位置を基準とする、当該１人の人物が身に着けているＭＲグラス５０の相対位置情報を算出する。算出部１１３は、ＭＲグラス５０が占める部分の画像の画素と紐づく複数のベクトル情報のうち、撮像装置３０から最も近距離のベクトル情報を、当該１人の人物が身に着けているウェアラブル装置２０の相対位置を示す相対位置情報としてもよい。あるいは、算出部１１３は、ＭＲグラス５０が占める部分の画像の画素と紐づく複数のベクトル情報のうち、撮像装置３０から最も遠距離のベクトル情報を、当該１人の人物が身に着けているウェアラブル装置２０の相対位置を示す相対位置情報としてもよい。その上で、算出部１１３は、撮像装置３０の絶対位置を示す撮像位置情報に、ウェアラブル装置２０の相対位置情報を加算することで、ウェアラブル装置２０の絶対位置を示す自己位置情報を第２の位置情報として算出する。
　比較部１１４は、算出部１１３によって算出された自己位置精度情報を、閾値と比較する。とりわけ、自己位置精度情報が閾値未満であった場合、すなわち第３の位置情報の精度が閾値よりも低い場合には、後述の出力部１１５は、端末装置４０に対して、ウェアラブル装置２０の暫定位置情報としての第１の位置情報を要求する要求信号を出力する。
　出力部１１５は、通常時において、通信装置１３を用いて、端末装置４０に対して、算出部１１３によって、第１の撮像情報に基づいて算出された、ウェアラブル装置２０の自己位置情報としての第３の位置情報を供給する。
　また、出力部１１５は、取得部１１１によって端末装置４０から暫定位置情報が取得されたことをトリガとして、通信装置１３を用いて、撮像装置３０に対して、撮像指示信号を送信する。撮像装置３０は、情報処理装置１０から撮像指示信号を取得すると、ウェアラブル装置２０を装着した人物を撮像する。
　更に、出力部１１５は、通信装置１３を用いて、端末装置４０に対して、算出部１１３によって、撮像位置情報に基づいて算出された、ウェアラブル装置２０の自己位置情報としての第２の位置情報を、端末装置４０に送信する。
１．２：第１実施形態の動作
　図１０は、第１実施形態に係る情報処理システム１の動作を示すフローチャートである。以下、図１０を参照することにより、情報処理システム１の動作について説明する。
　ステップＳ１０１において、端末装置４０に備わる処理装置４１は、出力部４１４として機能することにより、ＭＲグラス５０から取得した第１の撮像情報を情報処理装置１０に対して送信する。
　ステップＳ１０２において、情報処理装置１０に備わる処理装置１１は、算出部１１３として機能することにより、端末装置４０から取得した第１の撮像情報に基づいて、自己位置精度情報を算出する。
　ステップＳ１０３において、情報処理装置1０に備わる処理装置１１は、比較部１１４として機能することにより、算出された自己位置精度情報を閾値と比較する。自己位置精度情報が閾値以上である、すなわちステップＳ１０３の判定結果が真である場合には、情報処理装置１０は全ての処理を終了する。自己位置精度情報が閾値未満の場合、すなわちステップＳ１０３の判定結果が偽である場合には、情報処理装置１０はステップＳ１０４の処理を実行する。
　ステップＳ１０４において、情報処理装置１０に備わる処理装置１１は、出力部１１５として機能することにより、端末装置４０に対して、ウェアラブル装置２０の暫定位置情報としての第１の位置情報を要求する要求信号を送信する。
　ステップＳ１０５において、端末装置４０に備わる処理装置４１は、出力部４１４として機能することにより、ＭＲグラス５０から取得したウェアラブル装置２０の暫定位置情報としての第１の位置情報を、情報処理装置１０に対して、送信する。
　ステップＳ１０６において、情報処理装置１０に備わる処理装置１１は、出力部１１５として機能することにより、撮像装置３０に対して、撮像指示信号を送信する。
　ステップＳ１０７において、撮像装置３０は、端末装置４０とＭＲグラス５０とを含むウェアラブル装置２０を装着した人物を撮像する。
　ステップＳ１０８において、撮像装置３０は、当該撮像装置３０が撮像した撮像画像を示す第２の撮像情報を、情報処理装置１０に送信する。
　ステップＳ１０９において、情報処理装置１０に備わる処理装置１１は、特定部１１２として機能することにより、第２の撮像情報によって示される撮像画像から１又は複数の人物画像を抽出する。また、処理装置１１は、特定部１１２として機能することにより、暫定位置情報としての第１の位置情報に基づいて、抽出された１又は複数の人物画像の示す人物から、当該暫定位置情報に対応するウェアラブル装置２０を装着した１人の人物を特定する。
　ステップＳ１１０において、情報処理装置１０に備わる処理装置１１は、算出部１１３として機能することにより、撮像位置情報を用いて、ステップＳ１０９において特定された１人の人物が装着するウェアラブル装置２０の位置を示す自己位置情報を算出する。
　ステップＳ１１１において、情報処理装置１０に備わる処理装置１１は、出力部１１５として機能することにより、通信装置１３を用いて、ステップＳ１１０において算出された自己位置情報を、端末装置４０に対して送信する。その後、端末装置４０に備わる処理装置４１は、出力部４１４として機能することにより、情報処理装置１０から取得した自己位置情報を、ＭＲグラス５０に対して送信する。
１．３：第１実施形態が奏する効果
　以上の説明によれば、情報処理装置１０は、取得部１１１、特定部１１２、算出部１１３、及び出力部１１５を備える。取得部１１１は、撮像装置３０によって撮像された撮像画像を示す撮像情報と、撮像装置３０の位置を示す撮像位置情報と、ウェアラブル装置２０の位置を示す暫定位置情報とを取得する。特定部１１２は、撮像情報及び暫定位置情報に基づいて、撮像画像に含まれる１又は複数の人物画像から、ウェアラブル装置２０を装着した人物を特定する。算出部１１３は、撮像位置情報を用いて、特定部１１２によって特定された人物が装着するウェアラブル装置２０の位置を示す自己位置情報を算出する。出力部１１５は、自己位置情報をウェアラブル装置２０に対して供給する。ここで、撮像位置情報の精度は、暫定位置情報の精度よりも高い。
　情報処理装置１０が上記の構成を用いることにより、ＭＲグラス５０は、自己位置を取得する場合に、より正確な自己位置を取得できる。とりわけ、算出部１１３は、ＭＲグラス５０がＧＰＳ装置５４を備えていることによって取得可能な暫定位置情報よりも、精度の高い撮像位置情報を用いて自己位置情報を算出することにより、より精度の高い自己位置情報を算出できる。
　また、撮像位置情報は撮像装置３０の絶対位置を示す。自己位置情報はウェアラブル装置２０の絶対位置を示す。算出部１１３は、撮像情報に基づいて、撮像位置情報によって示される撮像装置３０の位置を基準とするウェアラブル装置２０の相対位置を示す相対位置情報を算出する。また、算出部１１３は、撮像位置情報と相対位置情報とに基づいて、自己位置情報を算出する。
　情報処理装置１０が上記の構成を用いることにより、算出部１１３は、撮像装置３０の絶対位置である撮像位置情報と、撮像装置３０の位置を基準とするウェアラブル装置２０の相対位置を示す相対位置情報とから、ウェアラブル装置２０の絶対位置である自己位置情報を算出できる。
２：第２実施形態
　以下、図１１～図１５を参照することにより、本発明の第２実施形態に係る情報処理装置１０Ａを含む情報処理システム１Ａの構成について説明する。なお、以下の説明では、説明の簡略化のため、第１実施形態と同一の構成要素に対しては、同一の符号を用いると共に、その機能の説明を省略することがある。また、以下の説明では、説明の簡略化のため、主として、第２実施形態が、第１実施形態に比較して相違する点について説明する。
２．１：第１実施形態の構成
２．１．１：全体構成
　図１１は、本発明の第２実施形態に係る情報処理システム１Ａの全体構成を示す図である。情報処理システム１Ａは、第１実施形態に係る情報処理システム１に比較して、情報処理装置１０の代わりに情報処理装置１０Ａを、ウェアラブル装置２０の代わりにウェアラブル装置２０Ａを備える点で異なる。また、撮像装置３０は、第１のウェアラブル装置２０Ａ－１を装着した第１の人物と、第２のウェアラブル装置２０Ａ－２を装着した第２の人物とを同時に撮像する。
　図１２は、ウェアラブル装置２０Ａの構成例を示すブロック図である。ウェアラブル装置２０Ａは、第１実施形態に係るウェアラブル装置２０に比較して、端末装置４０の代わりに端末装置４０Ａを備える点で異なる。
２．１．２：情報処理装置の構成
　図１３は、情報処理装置１０Ａの構成例を示すブロック図である。情報処理装置１０Ａは、第１実施形態に係る情報処理装置１０に比較して、処理装置１１の代わりに処理装置１１Ａを備える点で異なる。処理装置１１Ａは、第１実施形態に係る処理装置１１に比較して、取得部１１１の代わりに取得部１１１Ａを、特定部１１２の代わりに特定部１１２Ａを、算出部１１３の代わりに算出部１１３Ａを備える点で異なる。また、記憶装置１２は、第１実施形態に係る制御プログラムＰＲ３の代わりに、制御プログラムＰＲ３Ａを記憶する。
　取得部１１１Ａは、取得部１１１とは異なり、暫定位置情報としての第１の位置情報の取得は必須としない。
　特定部１１２Ａは、第２の撮像情報によって示される撮像画像から複数の人物画像を抽出した後、抽出された複数の人物画像の示す人物から、第１のウェアラブル装置２０Ａ－１を装着した第１の人物と、第２のウェアラブル装置２０Ａ－２を装着した第２の人物とを特定する。また、特定部１１２Ａは、第１の人物の人物画像から、ＭＲグラス５０－１の画像を抽出する。更に、特定部１１２Ａは、第２の人物の人物画像から、ＭＲグラス５０－２の画像を抽出する。
　算出部１１３Ａは、撮像位置情報を用いて、第１のウェアラブル装置２０Ａ－１の第１位置と、第２のウェアラブル装置２０Ａ－２の第２位置とを示す自己位置情報を算出する。その結果、出力部１１５によって、第１のウェアラブル装置２０Ａ－１に含まれる端末装置４０Ａ－１、及び第２のウェアラブル装置２０Ａ－２に含まれる端末装置４０Ａ－２に対して送信される自己位置情報は、第１のウェアラブル装置２０Ａ－１の第１位置と、第２のウェアラブル装置２０Ａ－２の第２位置との双方を示す。
２．１．３：端末装置の構成
　図１３は、端末装置４０Ａの構成例を示すブロック図である。端末装置４０Ａは、第１実施形態に係る端末装置４０に比較して、処理装置４１の代わりに処理装置４１Ａを備える点で異なる。処理装置４１Ａは、第１実施形態に係る処理装置４１が備える構成要素に加えて、更に、選択部４１６を備える。また、記憶装置４２は、第１実施形態に係る制御プログラムＰＲ２の代わりに、制御プログラムＰＲ２Ａを記憶する。
　選択部４１６は、記憶装置４２に記憶される暫定位置情報が示す位置に基づいて、情報処理装置１０Ａから取得された自己位置情報によって示される第１位置及び第２位置の中から一つの位置を選択する。より詳細には、選択部４１６は、第１位置及び第２位置のうち、暫定位置情報が示す位置により近い方の位置を示す自己位置情報を選択する。
　端末装置４０Ａが、端末装置４０Ａ－１である場合には、記憶装置４２には、暫定位置情報として第１暫定位置情報が記憶される。また、選択部４１６は、第１位置及び第２位置のうち、第１暫定位置情報により近い位置として、第１位置を示す自己位置情報を選択する。
　端末装置４０Ａが、端末装置４０Ａ－２である場合には、記憶装置４２には、暫定位置情報として第２暫定位置情報が記憶される。選択部４１６は、第１位置及び第２位置のうち、第２暫定位置情報により近い位置として、第２位置を示す自己位置情報を選択する。
２．２：第２実施形態の動作
　図１５は、第２実施形態に係る情報処理システム１Ａの動作を示すフローチャートである。以下、図１５を参照することにより、情報処理システム１Ａの動作について説明する。
　ステップＳ２０１において、端末装置４０Ａ－１に備わる処理装置４１Ａは、出力部４１４として機能することにより、ＭＲグラス５０－１から取得した第１の撮像情報を情報処理装置１０に対して送信する。
　ステップＳ２０２において、端末装置４０Ａ－２に備わる処理装置４１Ａは、出力部４１４として機能することにより、ＭＲグラス５０－２から取得した第１の撮像情報を情報処理装置１０に対して送信する。
　ステップＳ２０３において、情報処理装置１０Ａに備わる処理装置１１Ａは、算出部１１３Ａとして機能することにより、端末装置４０Ａ－１から取得した第１の撮像情報に基づいて、自己位置精度情報を算出する。また、情報処理装置１０Ａに備わる処理装置１１Ａは、算出部１１３Ａとして機能することにより、端末装置４０Ａ－２から取得した第１の撮像情報に基づいて、自己位置精度情報を算出する。
　ステップＳ２０４において、情報処理装置１０Ａに備わる処理装置１１Ａは、比較部１１４として機能することにより、算出された自己位置精度情報を閾値と比較する。ステップＳ２０３において算出された双方の自己位置精度情報が閾値以上である、すなわちステップＳ２０４の判定結果が真である場合には、端末装置４０Ａ－１は全ての処理を終了する。ステップＳ２０３において算出されたいずれかの自己位置精度情報が閾値未満の場合、すなわちステップＳ２０４の判定結果が偽である場合には、情報処理装置１０ＡはステップＳ２０５の処理を実行する。
　ステップＳ２０５において、情報処理装置１０Ａに備わる処理装置１１Ａは、出力部１１５として機能することにより、撮像装置３０に対して、撮像指示信号を送信する。
　ステップＳ２０６において、撮像装置３０は、端末装置４０Ａ－１とＭＲグラス５０－１とを含む第１のウェアラブル装置２０Ａ－１を装着した人物、及び端末装置４０Ａ－２とＭＲグラス５０－２とを含む第２のウェアラブル装置２０Ａ－２を装着した人物を同時に撮像する。
　ステップＳ２０７において、撮像装置３０は、自身が撮像した撮像画像を示す第２の撮像情報を、情報処理装置１０Ａに出力する。
　ステップＳ２０８において、情報処理装置１０Ａに備わる処理装置１１Ａは、特定部１１２Ａとして機能することにより、第２の撮像情報によって示される撮像画像から複数の人物画像を抽出する。また、処理装置１１Ａは、特定部１１２Ａとして機能することにより、抽出された複数の人物画像の示す人物から、第１のウェアラブル装置２０Ａ－１を装着した第１の人物と、第２のウェアラブル装置２０Ａ－２を装着した第２の人物とを特定する。
　ステップＳ２０９において、情報処理装置１０Ａに備わる処理装置１１Ａは、算出部１１３Ａとして機能することにより、撮像位置情報を用いて、ステップＳ２０８において特定された第１の人物が装着する第１のウェアラブル装置２０Ａ－１の絶対位置である第１位置と、第２の人物が装着する第２のウェアラブル装置２０Ａ－２の絶対位置である第２位置を示す自己位置情報を算出する。
　ステップＳ２１０において、情報処理装置１０Ａに備わる処理装置１１Ａは、出力部１１５として機能することにより、通信装置１３を用いて、ステップＳ２０９において算出された自己位置情報を、端末装置４０Ａ－１に対して送信する。
　ステップＳ２１１において、情報処理装置１０Ａに備わる処理装置１１Ａは、出力部１１５として機能することにより、通信装置１３を用いて、ステップＳ２０９において算出された自己位置情報を、端末装置４０Ａ－２に対して送信する。
　ステップＳ２１２において、端末装置４０Ａ－１に備わる処理装置４１Ａは、選択部４１６として機能することにより、第１位置及び第２位置のうち、第１暫定位置情報により近い位置として、第１位置を示す自己位置情報を選択する。その後、端末装置４０Ａ－１に備わる処理装置４１Ａは、出力部４１４として機能することにより、選択部４１６によって選択された自己位置情報を、ＭＲグラス５０－１に対して供給する。
　ステップＳ２１３において、端末装置４０Ａ－２に備わる処理装置４１Ａは、選択部４１６として機能することにより、第１位置及び第２位置のうち、第２暫定位置情報により近い位置として、第２位置を示す自己位置情報を選択する。その後、端末装置４０Ａ－２に備わる処理装置４１Ａは、出力部４１４として機能することにより、選択部４１６によって選択された自己位置情報を、ＭＲグラス５０－２に対して供給する。
２．３：第２実施形態が奏する効果
　以上の説明によれば、情報処理装置１０Ａは、取得部１１１、特定部１１２Ａ、算出部１１３Ａ、及び出力部１１５を備える。取得部１１１は、撮像装置３０によって撮像された撮像画像を示す撮像情報と、撮像装置３０の位置を示す撮像位置情報とを取得する。特定部１１２Ａは、撮像情報に基づいて、撮像画像に含まれる第１のウェアラブル装置２０Ａ－１を装着した第１の人物と、撮像画像に含まれる第２のウェアラブル装置２０Ａ－２を装着した第２の人物とを特定する。算出部１１３Ａは、撮像位置情報を用いて、第１のウェアラブル装置２０Ａ－１の第１位置と、第２のウェアラブル装置２０Ａ－２の第２位置とを示す自己位置情報を算出する。出力部１１５は、自己位置情報を第１のウェアラブル装置２０Ａ－１及び第２のウェアラブル装置２０Ａ－２に対して供給する。
　また、第１のウェアラブル装置２０Ａ－１は、第１位置を示す第１暫定位置情報を記憶している。第２のウェアラブル装置２０Ａ－２は、第２位置を示す第２暫定位置情報を記憶している。
　第１のウェアラブル装置２０Ａ－１は、第１暫定位置情報が示す位置に基づいて、自己位置情報が示す第１位置及び第２位置の中から一つの位置を選択することによって、第１のウェアラブル装置２０Ａ－１の位置を特定する。
　第２のウェアラブル装置２０Ａ－２は、第２暫定位置情報が示す位置に基づいて、自己位置情報が示す第１位置及び第２位置の中から一つの位置を選択することによって、第２のウェアラブル装置２０Ａ－２の位置を特定する。
　ここで、撮像位置情報の精度は、前記暫定位置情報の精度よりも高い。
　情報処理装置１０Ａが上記の構成を用いることにより、ＭＲグラス５０－１及びＭＲグラス５０－２は、自己位置を取得する場合に、より正確な自己位置を取得できる。とりわけ、算出部１１３Ａは、ＭＲグラス５０－１を含む第１のウェアラブル装置２０Ａ－１、及びＭＲグラス５０－２を含む第２のウェアラブル装置２０Ａ－２がＧＰＳ装置５４を備えていることによって取得可能な暫定位置情報よりも、精度の高い撮像位置情報を用いて自己位置情報を算出することにより、より精度の高い自己位置情報を算出できる。
　また、撮像位置情報は撮像装置３０の絶対位置を示す。自己位置情報は第１のウェアラブル装置２０Ａ－１及び第２のウェアラブル装置２０Ａ－２の絶対位置を示す。算出部１１３Ａは、更に、撮像情報に基づいて、撮像位置情報の示す撮像装置３０の位置を基準とする第１のウェアラブル装置２０Ａ－１及び第２のウェアラブル装置２０Ａ－２の相対位置を示す相対位置情報を算出する。更に、算出部１１３Ａは、撮像位置情報と相対位置情報とに基づいて、自己位置情報を算出する。
　情報処理装置１０Ａが上記の構成を用いることにより、算出部１１３Ａは、撮像装置３０の絶対位置である撮像位置情報と、撮像装置３０の位置を基準とする第１のウェアラブル装置２０Ａ－１及び第２のウェアラブル装置２０Ａ－２の相対位置を示す相対位置情報とから、第１のウェアラブル装置２０Ａ－１及び第２のウェアラブル装置２０Ａ－２の絶対位置である自己位置情報を算出することができる。
３：変形例
　本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
３．１：変形例１
　第１実施形態に係る情報処理システム１及び第２実施形態に係る情報処理システム１Ａにおいて、撮像装置３０は一例としてステレオカメラであった。しかし、撮像装置３０は、当該撮像装置３０から撮像対象までの距離と方向を示すベクトル情報を取得できれば、ステレオカメラに限定されない。例えば、撮像装置３０は、当該撮像装置３０から撮像対象に対して光を投射する投射装置と、撮像対象からの反射光の位相に基づいて、撮像対象までの距離を算出する測距装置とを備える構成としてもよい。あるいは、撮像装置３０は、当該撮像装置３０によって撮像された撮像画像を画像処理することにより、撮像対象までの距離を示す距離情報を取得してもよい。あるいは、撮像装置３０は、その他の奥行き推定機能を備えてもよい。
３．２：変形例２
　第１実施形態に係る情報処理システム１において、撮像装置３０は、ウェアラブル装置２０を装着した人物を撮像する。また、第２実施形態に係る情報処理システム１Ａにおいて、撮像装置３０は、第１のウェアラブル装置２０Ａ－１を装着した第１の人物と、第２のウェアラブル装置２０Ａ－２を装着した第２の人物とを同時に撮像する。しかし、撮像装置３０以外の撮像装置が、ウェアラブル装置２０を装着した人物、又は、第１のウェアラブル装置２０Ａ－１を装着した第１の人物と、第２のウェアラブル装置２０Ａ－２を装着した第２の人物を撮像してもよい。例えば、第１実施形態に係る情報処理システム１において、ウェアラブル装置２０とは異なる第２のウェアラブル装置２０に備わる撮像装置５６が、当該ウェアラブル装置２０を装着した人物を撮像してもよい。同様に、第２実施形態に係る情報処理システム１Ａにおいて、第１のウェアラブル装置２０Ａ－１及び第２のウェアラブル装置２０Ａ－２とは異なる第３のウェアラブル装置２０Ａ－３に備わる撮像装置５６が、当該第１のウェアラブル装置２０Ａ－１を装着した第１の人物と、当該第２のウェアラブル装置２０Ａ－２を装着した第２の人物を、同時に撮像してもよい。第１実施形態に係る情報処理システム１、及び第２実施形態に係る情報処理システム１Ａが上記の構成を備えることにより、ウェアラブル装置２０又はウェアラブル装置２０Ａとは別体となった撮像装置３０を設置する必要なく、ウェアラブル装置２０又はウェアラブル装置２０Ａを装着した人物を撮像することが可能となる。
３．３：変形例３
　第１実施形態に係る情報処理システム１において、情報処理装置１０に備わる算出部１１３は、取得部１１１によってＭＲグラス５０から取得された第１の撮像情報に基づいて、ウェアラブル装置２０の自己位置情報としての第３の位置情報を算出する。また、情報処理装置１０に備わる比較部１１４は、取得部１１１によって情報処理装置１０から取得された自己位置精度情報を、閾値と比較する。第２実施形態に係る情報処理システム１Ａにおいても同様である。しかし、情報処理装置１０又は情報処理装置１０Ａではなく、端末装置４０又は端末装置４０Ａが、算出部１１３及び比較部１１４を備えてもよい。
３．４：変形例４
　第１実施形態に係る情報処理システム１において、情報処理装置１０に備わる算出部１１３が、撮像装置３０からウェアラブル装置２０までの相対位置情報を算出する。同様に、第２実施形態に係る情報処理システム１Ａにおいて、情報処理装置１０に備わる算出部１１３Ａが、撮像装置３０から第１のウェアラブル装置２０Ａ－１及び第２のウェアラブル装置２０Ａ－２までの相対位置情報が算出される。しかし、情報処理装置１０及び情報処理装置１０Ａではなく、撮像装置３０がこれらの相対位置情報を算出してもよい。
３．５：変形例５
　第１実施形態に係る情報処理システム１において、端末装置４０とＭＲグラス５０とは別体として実現されている。第２実施形態に係る情報処理システム１Ａにおいても同様に、端末装置４０ＡとＭＲグラス５０とは別体として実現されている。しかし、本発明の実施形態における、端末装置４０又は端末装置４０ＡとＭＲグラス５０の実現方法は、これには限定されない。例えば、ＭＲグラス５０が、端末装置４０又は端末装置４０Ａと同一の機能を備えることにより、端末装置４０又は４０ＡとＭＲグラス５０とが単一の筐体内で実現されてもよい。
４：その他
（１）上述した実施形態では、記憶装置１２、記憶装置４２、及び記憶装置５２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、及びサーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
（６）図１～図１５に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又はハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、及び機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、及び情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
（１０）上述した実施形態において、情報処理装置１０、情報処理装置１０Ａ、撮像装置３０、端末装置４０、及び端末装置４０Ａは、移動局（ＭＳ：Mobile　Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user　terminal）」、「ユーザ装置（ＵＥ：User　Equipment）」、「端末」等の用語は、互換的に使用され得る。
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
１、１Ａ…情報処理システム、１０、１０Ａ…情報処理装置、１１、１１Ａ…処理装置、１２…記憶装置、１３…通信装置、１４…ディスプレイ、１５…入力装置、２０、２０Ａ…ウェアラブル装置、３０…撮像装置、４０、４０Ａ…端末装置、４１、４１Ａ…処理装置、４２…記憶装置、４３…通信装置、４４…ディスプレイ、４５…入力装置、４６…慣性センサ、５０…ＭＲグラス、５１…処理装置、５２…記憶装置、５３…視線検出装置、５４…ＧＰＳ装置、５５…動き検出装置、５６…撮像装置、５７…通信装置、５８…ディスプレイ、５９Ｌ、５９Ｒ…レンズ、９１…テンプル、９３…ブリッジ、９４、９５…胴部、１１１、１１１Ａ…取得部、１１２、１１２Ａ…特定部、１１３、１１３Ａ…算出部、１１４…比較部、１１５…出力部、４１１…取得部、４１２…動作認識部、４１３…特定部、４１４、…出力部、４１５…表示制御部、４１６…選択部、５１１…取得部、５１２…表示制御部、ＬＭ１…学習モデル、ＰＲ１～ＰＲ３…制御プログラム、Ｕ１～Ｕ３…ユーザ、ＶＯ、ＶＯ１～ＶＯ５…仮想オブジェクト

Claims (6)

  1. 　撮像装置によって撮像された撮像画像を示す撮像情報と、前記撮像装置の位置を示す撮像位置情報と、ウェアラブル装置の位置を示す暫定位置情報とを取得する取得部と、
    　前記撮像情報及び前記暫定位置情報に基づいて、前記撮像画像に含まれる１又は複数の人物画像が示す人物から、前記ウェアラブル装置を装着した人物を特定する特定部と、
    　前記撮像位置情報を用いることによって、前記特定部によって特定された人物が装着する前記ウェアラブル装置の位置を示す自己位置情報を算出する算出部と、
    　前記自己位置情報を前記ウェアラブル装置に対して供給する出力部と、を備え、
    　前記撮像位置情報の精度は、前記暫定位置情報の精度よりも高い、
    　情報処理装置。
  2. 　前記算出部は、更に、
    　前記撮像情報に基づいて、前記撮像位置情報の示す前記撮像装置の位置を基準とする前記ウェアラブル装置の相対位置を示す相対位置情報を算出し、
    　前記撮像位置情報と前記相対位置情報とに基づいて、前記自己位置情報を算出し、
    　前記撮像位置情報は前記撮像装置の絶対位置を示し、前記自己位置情報は前記ウェアラブル装置の絶対位置を示す、
    　請求項１に記載の情報処理装置。
  3. 　前記ウェアラブル装置は、第１のウェアラブル装置であり、
    　前記撮像装置は、前記第１のウェアラブル装置以外の第２のウェアラブル装置に装着される、請求項１又は請求項２に記載の情報処理装置。
  4. 　撮像装置によって撮像された撮像画像を示す撮像情報と、前記撮像装置の位置を示す撮像位置情報とを取得する取得部と、
    　前記撮像情報に基づいて、前記撮像画像に含まれる第１のウェアラブル装置を装着した第１の人物と、前記撮像画像に含まれる第２のウェアラブル装置を装着した第２の人物とを特定する特定部と、
    　前記撮像位置情報を用いることによって、前記第１のウェアラブル装置の第１位置と、前記第２のウェアラブル装置の第２位置とを示す自己位置情報を算出する算出部と、
    　前記自己位置情報を前記第１のウェアラブル装置及び前記第２のウェアラブル装置に対して供給する出力部と、を備え、
    　前記第１のウェアラブル装置は、
    　当該第１位置を示す第１暫定位置情報を記憶しており、
    　前記第２のウェアラブル装置は、
    　当該第２位置を示す第２暫定位置情報を記憶しており、
    　前記第１のウェアラブル装置は、前記第１暫定位置情報が示す前記第1位置に基づいて、前記自己位置情報が示す前記第１位置及び前記第２位置の中から一つの位置を選択することによって、当該第１のウェアラブル装置の位置を特定し、
    　前記第２のウェアラブル装置は、前記第２暫定位置情報が示す前記第２位置に基づいて、前記自己位置情報が示す前記第１位置及び前記第２位置の中から一つの位置を選択することによって、当該第２のウェアラブル装置の位置を特定し、
    　前記撮像位置情報の精度は、前記第１暫定位置情報の精度及び前記第２暫定位置情報の精度よりも高い、
    　情報処理装置。
  5. 　前記算出部は、更に、
    　前記撮像情報に基づいて、前記撮像位置情報の示す前記撮像装置の位置を基準とする前記第１のウェアラブル装置及び前記第２のウェアラブル装置の各相対位置を示す相対位置情報を算出し、
    　前記撮像位置情報と前記相対位置情報とに基づいて、前記自己位置情報を算出し、
    　前記撮像位置情報は前記撮像装置の絶対位置を示し、前記自己位置情報は前記第１のウェアラブル装置及び前記第２のウェアラブル装置の絶対位置を示す、
    請求項１に記載の情報処理装置。
  6. 　前記撮像装置は、前記第１のウェアラブル装置及び前記第２のウェアラブル装置以外の第３のウェアラブル装置に装着される、請求項４又は請求項５に記載の情報処理装置。
PCT/JP2022/040396 2021-10-29 2022-10-28 情報処理装置 WO2023074852A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021177823 2021-10-29
JP2021-177823 2021-10-29

Publications (1)

Publication Number Publication Date
WO2023074852A1 true WO2023074852A1 (ja) 2023-05-04

Family

ID=86159487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040396 WO2023074852A1 (ja) 2021-10-29 2022-10-28 情報処理装置

Country Status (1)

Country Link
WO (1) WO2023074852A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007127536A (ja) * 2005-11-04 2007-05-24 Advanced Telecommunication Research Institute International 姿勢検出システム及び発光装置
WO2020031486A1 (ja) * 2018-08-08 2020-02-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2022025283A1 (ja) * 2020-07-31 2022-02-03 松尾建設株式会社 測定処理装置、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007127536A (ja) * 2005-11-04 2007-05-24 Advanced Telecommunication Research Institute International 姿勢検出システム及び発光装置
WO2020031486A1 (ja) * 2018-08-08 2020-02-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2022025283A1 (ja) * 2020-07-31 2022-02-03 松尾建設株式会社 測定処理装置、方法及びプログラム

Similar Documents

Publication Publication Date Title
EP2418621B1 (en) Apparatus and method for providing augmented reality information
US20200058156A1 (en) Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
EP3422153A1 (en) System and method for selective scanning on a binocular augmented reality device
WO2013162235A1 (ko) 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
CN115512534A (zh) 远程设备的发现和连接
CN113936085A (zh) 三维重建方法和装置
TWI750822B (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
Grimm et al. VR/AR input devices and tracking
WO2023074852A1 (ja) 情報処理装置
KR20140140442A (ko) 모바일 증강현실 기반의 정보 제공 시스템
CN113936064B (zh) 定位方法和装置
WO2022240933A1 (en) Depth-from- stereo bending correction
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2023079875A1 (ja) 情報処理装置
WO2023149255A1 (ja) 表示制御装置
JP7266329B2 (ja) 現実空間で視認可能な位置に存在する副端末を特定する主端末、プログラム、システム及び方法
WO2023149498A1 (ja) 表示制御装置
WO2023149256A1 (ja) 表示制御装置
WO2023120472A1 (ja) アバター生成装置
CN110580275A (zh) 地图显示方法及装置
WO2023171341A1 (ja) 表示制御装置
WO2023199627A1 (ja) ガイド画像管理装置
WO2023162499A1 (ja) 表示制御装置
WO2023085302A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887177

Country of ref document: EP

Kind code of ref document: A1